Vous venez de trouver ici une autre application intéressante pour Kinect : l’utiliser pour l’interprétation en langue des signes en temps réel. Il s’agit d’une autre initiative de Microsoft Research, mais cette fois en partenariat avec l’Académie chinoise des sciences (CAS).
L’idée n’est pas vraiment nouvelle : Microsoft a obtenu un brevet pour la reconnaissance du langage des signes américain sur Kinect en août 2010. La différence est que le projet est maintenant sorti de la planche à dessin et qu’il est déjà en phase de test, comme le montre la vidéo ci-dessous.
L’application a essentiellement deux modes de fonctionnement. Dans le premier cas, le Kinect détecte les mouvements et affiche à l’écran l’interprétation correspondante, qu’il s’agisse d’un mot ou d’une phrase entière.
Le second, le mode de communication, est de loin le plus intéressant. Une personne y tape son message et celui-ci est interprété par une poupée 3D pour l’individu qui communique à partir du langage des signes. Ses gestes sont interprétés et décrits à l’écran.
Notez que l’idée peut recevoir d’autres candidatures. Par exemple, Kinect peut être utilisé pour faire se comprendre deux personnes qui communiquent dans des langues des signes différentes. Ou bien l’application peut être utilisée en remplacement des commandes vocales, en particulier sur Xbox One, qui promet d’utiliser et d’abuser de cette option.
La technologie est encore en développement, mais elle fonctionne “étonnamment bien”, selon les chercheurs du CAS, à tel point qu’elle a été récemment démontrée lors du Sommet des facultés 2013. Le fait que le projet ait été testé dès le départ par la partie la plus intéressée : des volontaires malentendants y ont contribué.
Pour l’instant, les tests se limitent à l’anglais et au chinois, mais rien n’empêche d’adapter la technologie à d’autres langues, techniquement parlant.
