Regardez bien les objets qui vous entourent. Le croiriez-vous si quelqu’un vous disait qu’ils peuvent tous être “passés au micro-ondes ? même de façon précaire ? Car sachez que les scientifiques du MIT, en partenariat avec des chercheurs de Microsoft et d’Adobe, ont réalisé une étude pour prouver que cette possibilité est si réelle que sert de base à une idée désormais moins futuriste : recréer audio à partir d’images de vidéos.
L’ingrédient principal de la conclusion est le mouvement que la surface de l’objet produit lorsqu’il est frappé par une onde sonore. Cette vibration crée un signal si discret qu’il ne peut être perçu par nos yeux. C’est pourquoi les chercheurs ont utilisé une caméra capable d’enregistrer entre 2 000 et 6 000 images par seconde pour “voir” le phénomène. Pour que vous sachiez ce que ces chiffres représentent, la plupart des smartphones actuels permettent de réaliser des vidéos avec jusqu’à 30 images par seconde.
Lors des tests, l’équipement a pu enregistrer l’action des sons sur la surface de divers objets. Dans l’une des expériences les plus impressionnantes, la caméra est restée en dehors de l’environnement où un discours était joué, mais a réussi à capter la vibration provenant de un simple paquet de puces laissé sur place.
Dans l’étape suivante, les chercheurs ont utilisé un algorithme pour analyser chaque trame et convertir les informations correspondant aux vibrations en sons qui peuvent être reproduits par un ordinateur. Les résultats ont été étonnants : dans le cas du paquet de pommes de terre, le discours a été recréé avec des défauts, mais a permis de comprendre plusieurs des mots prononcés.
Dans un autre test, une chanson a été jouée dans l’environnement où se trouvait une plante. Lors du processus de recréation du son, le contenu résultant du tournage des feuilles présentait des sifflements et d’autres défauts, mais aucun de ces problèmes n’a empêché l’identification de la mélodie.
La vidéo suivante montre ces expériences et d’autres encore :
Comme vous pouvez le voir, cette technique permet de reconstruire le son des enregistrements à partir de l’analyse du contenu visuel. C’est une idée fabuleuse, mais qui fait peur si on s’arrête pour raisonner sur ses applications.
Imaginez, par exemple, une caméra à longue portée dans le bâtiment voisin pointant vers un pot de plantes qui se trouve sur votre bureau mais qui est visible de la fenêtre. N’est-il pas troublant de penser que quelqu’un puisse découvrir tout ce dont on a parlé là-bas en filmant simplement l’objet inoffensif, sans aucun microphone ?
Ceux qui craignent pour leur vie privée seront encore plus inquiets lorsqu’ils découvriront que la technique peut être légèrement modifiée pour fonctionner avec des caméras plus simples, comme celles qui fonctionnent avec des images allant jusqu’à 60 images par seconde.
Les caméras qui génèrent des vidéos avec des milliers d’images par seconde sont importantes car l’algorithme utilise une batterie de filtres pour identifier toute modification de l’image par rapport à la précédente et ainsi identifier les motifs correspondant aux vibrations. Une ligne de pixels qui était bleue dans un cadre, est devenue rouge dans l’image suivante et est revenue à la couleur d’origine dans la séquence, permet d’indiquer le mouvement d’une bordure, par exemple.
Plus il y a d’images, plus la reconstruction audio a tendance à être précise, mais même un ensemble d’images séquentielles considérablement plus petit peut permettre la formation de sons, bien qu’avec des résultats très médiocres.
Il n’est donc pas surprenant que les chercheurs tentent de mettre en évidence le côté positif de la recherche en affirmant que la technique sera particulièrement utile dans les applications médico-légales, par exemple.
Vous pouvez en savoir plus sur le sujet et voir d’autres démonstrations sur le site de la recherche.
