Microsoft Research fait encore de la “magie”. Cette semaine, la division a présenté une technologie appelée SemanticPaint qui permet à l’utilisateur de “numériser” l’environnement dans lequel il se trouve et d’y effectuer une série d’actions virtuelles.
Comme son nom l’indique, le projet est presque comme une version de réalité virtuelle de Paint, cette application de dessin qui accompagne Windows depuis le début de la plate-forme. C’est possible changer les couleurs des objets, appliquer un effet de pulvérisation, changer l’angle de vue, etc.
Pour visualiser l’environnement dans lequel vous vous trouvez et le manipuler virtuellement, l’utilisateur peut porter des lunettes spéciales (Microsoft n’a pas utilisé l’HoloLens dans le cadre de la recherche, mais rien n’empêche les deux projets de fusionner à l’avenir). L’interaction et la cartographie 3D du site est réalisée via Kinect, en temps réel.
L’opération est assez intéressante. Dans un premier temps, la SemanticPaint “monte” l’environnement comme un artefact uniquement. Dans la séquence, les objets sont identifiés, classés (chaises, verres, tables, etc.) et délimités. C’est ce qui permet à l’utilisateur de ne sélectionner qu’un seul élément pour modifier.
Grâce à la reconnaissance, l’utilisateur peut, en plus des gestes, utiliser des commandes vocales. En prononçant “banane”, par exemple, le SemanticPaint est capable de rechercher l’objet par son environnement et de le mettre en évidence.
Tout le traitement se fait dans les nuages et est basé sur un système d’apprentissage. Ainsi, plus SemanticPaint est utilisé, plus votre technologie de reconnaissance sera précise.
Il est facile d’imaginer les applications possibles. Jeux, programmes éducatifs, services de divertissement, formation virtuelle, entre autres.
Microsoft Research souligne également que la technologie peut être utilisée pour développer des équipements pour les malvoyants et même pour améliorer l’orientation des robots ? le SemanticPaint est également capable de contextualiser l’environnement, en identifiant, par exemple, une échelle qui empêche la locomotion d’une machine qui utilise des roues.
Vous trouverez plus de détails sur le projet dans ce document (PDF).
