Semantic Paint : la peinture en réalité augmentée selon Microsoft

Microsoft Research Labs continue de tracer le sillon des technologies de réalité augmentée, ce qui tombe plutôt bien au moment où Microsoft vante les mérites de ses casque AR HoloLens. L’une des dernières créations du Lab s’appelle Semantic Paint, un outil de dessin qui s’appuie sur les capacités de la caméra Kinect et des systèmes de traitement AR. La caméra renvoie au logiciel – et en temps réel – une vue 3D de la pièce où se trouve l’utilisateur, une modélisation qu’il sera ensuite possible de colorier en désignant directement les objets autour de soi.

Par exemple, si l’utilisateur pointe du doigt le fauteuil à côté de lui, ce dernier changera de couleur dans l’espace modélisé à l’écran. Mieux encore, si de la main l’on fait mine de colorier le même fauteuil, sa version modélisée changera de teinte comme si c’était sur elle que nous appliquions nos gestes. Bluffant !

La pertinence du logiciel ne s’arrête pas là; le système est en effet capable de classifier les différents objets qui lui sont proposés et même d’en apprendre de nouveau (d’où le terme de Semantic Paint), l’objectif final étant de créer un système AR capable de reconnaitre le moindre objet pointé par l’utilisateur (et d’y appliquer les différents traitement souhaités, comme d’en changer la couleur par exemple). Les perspectives sont énormes et Microsoft confirme ici qu’il a sans doute un gros coup d’avance dans ce secteur des technologies liées à la réalité augmentée.