On entend beaucoup parler de deux technologies qui perturbent la réalité : la technologie augmentée et la technologie virtuelle. Nous couvrons à la fois no PerlmOl, en parlant de gadgets comme Oculus Rift, Gear VR, Google Glass et HoloLens. Mais quelle est exactement la différence entre eux ? Et quelles sont les principales applications ?
Nous transmettons ces questions au Prof. Dr. Antonio Carlos Sementille, expert en réalité virtuelle et en réalité augmentée. Sementille est professeur adjoint au département d’informatique de la faculté des sciences de l’Universidade Estadual Paulista (Unesp). Il explique les innombrables utilités des gadgets qui apparaissent, dans des domaines tels que la médecine, l’ingénierie et l’éducation.
PerlmOl ? Quelles sont les différences pratiques entre la réalité virtuelle et la réalité augmentée ?
Antônio Carlos Sementille ? Ces deux domaines de recherche sont complémentaires. Le réalité virtuel (RV) consiste à créer un environnement entièrement généré par ordinateur, 100% virtuel. L’utilisateur peut interagir avec cet environnement, et l’idéal serait qu’il émerge, c’est-à-dire que tout ce qu’il y verrait serait généré par ordinateur.
Il est très courant d’utiliser des casques de réalité virtuelle, de sorte que l’utilisateur ne voit plus le monde réel. Les applications, du point de vue de l’interaction de l’utilisateur, deviendraient un peu plus complexes. Comment ne voit-il pas le monde réel, comment va-t-il interagir avec les objets ? On porte donc des gants qui captent la position des mains et des doigts, des capteurs qui vérifient la position de la tête de l’utilisateur pour ajuster l’image qu’il voit, etc.
Outre l’immersion, l’interaction avec l’utilisateur, un autre problème de la réalité virtuelle est l’implication de l’utilisateur. Il est important que l’application convainque l’utilisateur que ce qu’il voit est réel. Les jeux numériques sont un exemple très courant d’applications de VR. Les jeux d’aujourd’hui sont pour la plupart considérés comme des applications de réalité virtuelle. Mais la plupart d’entre eux sont ce que nous considérons comme non immersifs, c’est-à-dire que vous jouez en regardant l’écran de l’ordinateur et continuez à voir le monde réel qui vous entoure.
Dans le cas de la réalité augmentée (RA), l’utilisateur continue à voir le monde réel, complété par quelques éléments virtuels. Soudain, je regarde un vrai moteur de voiture et j’en vois l’intérieur avec les soupapes en mouvement et l’explosion qui se produit, par exemple, mais je continue à voir le monde réel.
C’est pourquoi je pense que, dorénavant, les applications mobiles de réalité augmentée seront beaucoup plus courantes. Vous sortez et voyez le monde réel, complété par des informations virtuelles.
PerlmOl ? Dans les démonstrations HoloLens, Microsoft a utilisé de nombreux exemples axés sur la médecine, montrant qu’un médecin pouvait enseigner à des apprentis en leur montrant des représentations du cerveau humain, par exemple. Les étudiants ont pu voir et faire pivoter l’image, et ils ont dit qu’il était beaucoup plus facile pour la médecine de faire virtualiser cette visualisation du corps humain. Comment la réalité augmentée peut-elle être utile dans ce domaine ?
Sementille ? Je pense qu’elle sera très utile pour la médecine. Non seulement lorsque l’apprenti, étudiant en médecine, est confronté à un modèle du corps humain conçu devant lui, mais aussi pour que le médecin lui-même, lors d’une intervention chirurgicale, puisse voir, en regardant le patient, les informations qui ont été obtenues à partir de tests, mariés à la vision du médecin.
Ce serait le plus grand avantage. O MIT, puisque la fin des années 90 dispose d’un système assisté par réalité augmentée qui combine en temps réel les informations des tomographes, de l’imagerie par résonance magnétique, des rayons X et autres au moment de l’opération. Ils ont fait cela avec un projecteur au-dessus du patient.
Pendant l’opération, il montrerait les informations qui seraient également utiles au médecin, c’est-à-dire l’endroit où il peut faire une incision, la profondeur de celle-ci, etc. Cela serait projeté directement. Avec ces lunettes, il sera désormais possible pour le médecin de les placer et, en regardant le patient, avec les informations obtenues précédemment, de les aligner sur l’intervention chirurgicale.
La réalité augmentée a des applications dans l’enseignement, mais elle est aussi très utile pour l’intervention médicale elle-même.
PerlmOl ? C’est-à-dire qu’avant, il était plus courant que chaque chercheur ait son équipement et maintenant nous voyons l’HoloLens, fabriqué par Microsoft. Cette production de masse est-elle positive, puisqu’il y a tout un SDK derrière elle ?
Sementille ? Oui, bien sûr. Prenez l’affaire Kinect, par exemple. Il a été publié par Microsoft pour être diffusé en même temps que la Xbox, mais les gens de la robotique et de la vision informatique ont vu que cet équipement était très important et intéressant à mettre dans les robots.
Pourquoi ? Il a un capteur qui peut scanner l’environnement avec l’infrarouge. Cela est très important pour la vision par ordinateur. Auparavant, les chercheurs devaient utiliser des caméras spéciales très coûteuses pour développer un prototype, qui est aujourd’hui proposé à bas prix par Kinect.
Beaucoup de choses développées dans un but précis finissent par avoir un usage différent. Kinect était fait pour les jeux, et qui pensait qu’il aurait une application en robotique ?
PerlmOl ? Certaines personnes ont des labyrinthites ou des nausées lorsqu’elles portent des lunettes de réalité virtuelle, n’est-ce pas ? Oculus Rift informe sur leur site web d’un “niveau nauséabond” de l’application ou du jeu.
Sementille ? Oui, vous avez ce problème. Le système génère l’information, la scène virtuelle (VR) ou la scène combinée (RA) à une certaine fréquence d’images et le corps humain finit par s’adapter à cette fréquence. Ensuite, vous enlevez ce casque et vous conduisez une voiture, par exemple. C’est dangereux, car la personne peut en avoir un peu hors de contrôle.
Cette méthode n’a pas encore été suffisamment étudiée car vous ne disposez pas d’un échantillon très important de personnes qui l’utilisent souvent et pendant de nombreuses heures, mais elle sera de plus en plus courante. Il suffit de se souvenir de la controverse sur Google Glass, par exemple. Les autorités américaines s’inquiétaient des personnes qui utilisaient le matériel pour diriger ou entrer au cinéma avec, par peur de filmer. C’est même une question d’éthique. Pouvez-vous pouvez-vous aller n’importe où et commencer à filmer ? Il y a là un problème éthique et de sécurité que les autorités vont réglementer au fur et à mesure de sa popularisation.
PerlmOl ? Qu’en est-il de ce problème de vertige, comment le résoudre ?
Sementille ? Je pense qu’à court terme, ça va être un peu difficile. L’équipement doit avoir une capacité de traitement qui soit photoréaliste et qu’il n’y ait pas beaucoup de différence avec notre perception du monde réel. Ces équipements ne peuvent toujours pas y parvenir, surtout ceux des véhicules de loisirs. Je pense que cela va persister.
PerlmOl ? Et la réalité virtuelle, a aussi des applications en médecine ?
Sementille ? CD Oui, oui. Il a d’abord été utilisé dans l’enseignement, la publicité, la médecine, les jeux. En médecine, l’idée est la simulation. Vous ne voyez pas le monde réel, mais un monde simulé, de sorte que vous pouvez simuler des procédures médicales. Il existe des équipements anciens qui simulent l’utilisation de matériel médical, comme une seringue ou un scalpel.
Il y a aussi les quipements haptiques qui créent une sensation de force contraire pour l’utilisateur, donnant une sorte de feedback. Par exemple : il porte un casque et voit le corps humain, il voit ce qu’il doit faire dans une ponction. Lorsqu’il tient un tel équipement, il ressent une force contraire alors qu’il interagit avec un modèle virtuel. C’est pour la formation ? vous ne pouvez pas le faire avec un vrai patient.
PerlmOl ? La réalité virtuelle peut être utilisée même pour générer plus d’empathie chez les gens. Les chercheurs peuvent simuler des conditions comme la surdité ou la migraine, par exemple.
Sementille ? Précisément, c’est possible. Aide au traitement des phobies également. Pour une personne qui a la phobie de l’avion, par exemple, on simule qu’elle est à l’intérieur d’un avion. Bien sûr, il serait préférable de créer tout un appareil pour secouer la chaise, par exemple. Mais ce n’est pas nouveau.
Vous pouvez aussi traiter l’arachnophobie. Vous créez des araignées virtuelles. Et même la réalité augmentée est meilleure, parce que l’utilisateur verrait toujours le monde réel, comme une table sur laquelle des araignées grimpent et vont vers la personne. Vous seriez plus convaincant avec les applications AR qu’avec les VR. Il y a du développement dans ce domaine également.
La réalité augmentée est utilisée depuis plus d’une décennie avec les combattants. Ils sont conçus dans le cockpit du chasseur pour informer le pilote. Il existe également des casques RA pour les pilotes pour une durée beaucoup plus longue, mais ils coûtent seulement 250 000 euros. Bien sûr, elle n’est pas comparable à la valeur de l’avion.
PerlmOl ? Qu’en est-il des applications en dehors de la médecine ?
Sementille ? Dans le domaine du marketing, une application récente a été développée en utilisant Kinect, par exemple, qui permet de capturer le corps d’une personne et de changer ses vêtements, adaptés au corps. Il est possible de créer des applications dans lesquelles vous naviguez à l’intérieur d’un appartement virtuel avant qu’il ne soit construit, par exemple.
Dans le cas de l’éducation, elle a diverses applications, car alors vous n’auriez pas besoin d’avoir des laboratoires de physique ou de chimie, vous pourriez simuler cela par ordinateur.
En ingénierie, le personnel utilise également beaucoup de . Vous pouvez suivre l’évolution d’une œuvre en pointant la tablette ou en portant un casque et en voyant le bâtiment virtuel tel qu’il serait, ou à ce stade de la construction, là où il devrait être et tel qu’il est maintenant.
Outre la mise en œuvre de manuels pour les voitures, le personnel de l’industrie du meuble utilise également la réalité virtuelle et la réalité augmentée dans la conception des produits. Pour changer le tableau de bord d’une voiture, par exemple, vous pouvez la déplacer en camping-car, en faisant un zoom avant et arrière sur le tableau de bord. Mais tout sera virtualisé.
Dans le cas de la réalité augmentée, la personne peut monter dans la vraie voiture et y voir un nouveau panneau. Elle peut changer cela pour le rendre plus beau, plus ergonomique, à l’intérieur d’une vraie voiture. C’est très intéressant, parce que je dois contraster le réel avec le virtuel, est-ce que ça fait bien dans une vraie voiture ?
Autrefois, il fallait faire un prototype à l’échelle, parfois même naturel, pour avoir cette idée. Pas aujourd’hui, vous pouvez vous occuper de modèles virtuels. Autrefois, c’était juste sur l’écran de l’ordinateur, maintenant il y a une vue projetée.
Le grand problème est de développer des applications pour ce type d’équipement. Bien sûr, cela va devenir de plus en plus fréquent.
PerlmOl ? Nous voyons beaucoup d’applications intéressantes de la RA et de la RV en science, mais les produits sont très chers pour le consommateur moyen encore, qui est aussi curieux d’essayer ces outils. Pensez-vous qu’il est important de populariser cette technologie ?
Sementille ? Bien sûr. Elle viendra s’ajouter aux demandes déjà traditionnelles. Imaginez, par exemple, une application AR où vous pouvez, à l’aide de votre téléphone portable, pointer vers une partie de la ville et où l’application vous indique à où vous devez aller. Ou bien vous pointez votre téléphone portable vers un immeuble, par exemple, et vous voyez déjà ce que vous avez à l’intérieur de cet immeuble en termes de bureaux, d’entreprises, d’appartements à louer.
Dans les jeux également, la possibilité pour vous de créer des jeux dans lesquels vous pouvez vous déplacer dans la ville, sur une large zone et avoir des indices, des informations qui vous sont données lorsque vous pointez un certain jalon dans la ville.
PerlmOl ? Pour le consommateur moyen, les meilleurs appareils de réalité augmentée sont les smartphones et les tablettes, donc ?
Sementille ? Oui ! Les deux sont assez sophistiqués aujourd’hui. Ces technologies n’existaient pas il y a dix ans avec ce degré de sophistication. Vous avez des caméras de bonne résolution, à l’avant comme à l’arrière. Vous avez des écrans de bonne résolution sur certains équipements, d’autres même de très haute résolution. Vous avez un processeur quadricœur, voire octa-cœur dans certains équipements, ce qui est extrêmement nécessaire pour la réalité augmentée.
Les cartes mémoire de certains téléphones portables permettent également de remédier au problème de stockage. Out d’autres équipements qui y sont intégrés, tels que le GPS, l’accéléromètre, les gyroscopes (qui indiquent le nombre de tours de l’équipement). Vous avez besoin de ces informations dans les applications RV ou AR, pour ajuster l’image en conséquence.
Dans le passé, le chercheur a créé son propre équipement, un appareil combinant ces capteurs séparés, car il n’avait pas de smartphone ou de tablette comme aujourd’hui. Et il y avait un prototype géant. Aujourd’hui, vous disposez d’un appareil miniaturisé, qui plus est, mobile. Je pense donc que ces plates-formes mobiles seront vraiment la première cible, un ensemble d’appareils, propices aux applications de RA.
PerlmOl ? Que manque-t-il essentiellement pour que la RA et la RV deviennent populaires ?
Sementille ? La réduction des coûts des appareils me semble essentielle. Avec cela, bien sûr, viendra le développement de plus d’applications et la diversité des applications, alors vous êtes motivé pour acheter l’équipement aussi. Parce que si vous allez acheter l’HoloLens et que vous n’avez qu’une demi-douzaine de demandes, est-ce que ça va payer ?
PerlmOl ? Le prix du camping-car est aussi le prix ?
Sementille ? Il y a aussi les défis techniques, par exemple, la capacité de générer des scènes photoréalistes. Il est important, dans une application de VR, de convaincre l’utilisateur qu’elle est réelle. Pour que cela soit réel, il faut avoir des images photoréalistes. Un tigre virtuel doit ressembler à un vrai tigre, pas à un dessin animé.
Bien sûr, il est plus facile de traiter quelque chose qui n’a pas beaucoup de texture, beaucoup de vertices, mais il faut avoir le développement. Pour un jeu, on accepte certaines simplifications, mais en réalité virtuelle, elles sont beaucoup plus frappantes.
PerlmOl ? Et que peut-on attendre de l’avenir des réalités augmentées et virtuelles ?
Sementille ? Nous devons attendre les prochaines sorties de l’industrie, car la popularisation vient toujours de l’industrie. Le travail de l’académie avec l’industrie.
J’attends avec impatience de nouveaux équipements et de nouveaux SDK qui permettront de développer des applications de RA. La plateforme peut être mobile, tablette, HoloLens, et autres. Mais le problème est le suivant : comment développer rapidement et avec qualité des applications pour ces équipements ?
Les fabricants doivent également proposer des alternatives de développement. Par exemple, dans le cas de l’HoloLens, ils utilisent beaucoup une plateforme de jeu appelée Unity 3D, un environnement graphique conçu à l’origine pour les jeux, mais qui est aujourd’hui utilisé pour des simulations et des expériences scientifiques.
Quelqu’un qui apprend déjà l’Unity a aussi la capacité de créer des applications pour l’HoloLens, par exemple, parce qu’elle connaît la plateforme de développement graphique. Et HoloLens est une autre façon de le montrer. Il pourrait être sur l’écran de l’ordinateur, mais il est sous les yeux de l’utilisateur.
