Quand les aveugles voient avec les oreilles
Décrire le monde aux aveugles et aux malvoyants à l’aide de sons, c’est le principe de la substitution visuo-auditive. Différents dispositifs sont déjà disponibles et utilisés actuellement. Les chercheurs ont pu constater une activation nouvelle des aires visuelles chez les personnes équipées, après apprentissage.
© diego_cervo
Alors que les géants du Web comme Facebook ou Microsoft ont développé des outils d’intelligence artificielle pour décrire le monde aux aveugles et malvoyants avec des mots (voir notre article de novembre 2016 sur le sujet), un champ de recherche bien plus ancien continue d’explorer la voie de la substitution sensorielle.
L’idée ? Coder les signaux optiques (environnement, objets, visages) avec des sons et apprendre aux non-voyants à les interpréter. « On ne peut pas opposer les deux approches, elles sont en fait complémentaires. Il serait illusoire de penser qu’on peut couvrir tous les besoins avec un seul dispositif. En fait, il s’agit surtout de savoir quelle information sera pertinente en fonction du moment et des besoins », explique le Docteur Malika Auvray, chercheuse à l’Université Pierre et Marie Curie, qui travaille sur des systèmes de substitution visuo-auditive et visuo-tactile. « Par exemple pour détecter des obstacles, le codage en distance très fin et la vision large d’une scène avec la substitution visuo-auditive sera peut-être plus intéressante que les systèmes de description par intelligence artificielle ».
Actuellement, environ une quinzaine de dispositifs de substitution visuo-auditive existent ou sont en cours de développement. Les plus utilisés sont The vOICe, mis au point en 1992 par l’ingénieur Peter Meijer aux Pays-Bas, et EyeMusic, développé beaucoup plus récemment par le Docteur Amir Amedi à l’Université hébraïque de Jérusalem.
Un apprentissage complexe
Le fonctionnement de ces dispositifs de substitution visuo-auditive est toujours fondé sur le même principe : on remplace une intensité lumineuse par une intensité sonore, une position verticale par une fréquence plus élevée. Ainsi, une barre qui monte sera représentée par un son qui grimpe vers les aigus, un V par un son qui descend suivi d’un son qui monte. « Tout l’alphabet peut être codé ainsi, mais aussi n’importe quelle autre forme, comme une maison, un objet ou même l’expression d’un visage », explique Laurent Cohen, Professeur de neurologie à l’hôpital de la Pitié-Salpêtrière, qui a travaillé avec le Dr. Amedi et vient de faire paraître « Comment lire avec les oreilles », aux éditions Odile Jacob. Une petite caméra embarquée sur des lunettes permet de recueillir les images qui sont analysées et traduites en sons dans un smartphone.
Les logiciels correspondants sont disponibles en open-source, mais leur usage ne s’est pas énormément démocratisé pour autant. « Il y a plusieurs raisons à cela. D’autres outils plus simples sont très utilisés, comme les cannes électroniques qui émettent des bruits en présence d’obstacles, ou les claviers numériques, qui ont des principes communs avec la substitution sensorielle. À l’inverse, The vOICe ou EyeMusic sont complexes d’apprentissage, assez coûteux cognitivement même après l’apprentissage et il faut encore en améliorer l’intuitivité et la résolution », estime le Dr. Auvray.
Le cerveau, une machine à tâches?
Dr. Amedi et Pr. Cohen ont testé EyeMusic sur des aveugles de naissance. Plusieurs heures d’entrainement se sont révélées nécessaires pour que ces derniers puissent interpréter les signaux sonores correctement. Au départ, ce nouveau langage doit être traduit comme une langue étrangère. En observant l’activation des aires cérébrales, les chercheurs ont observé qu’après apprentissage, on passe d’une activation des aires auditives à une activation des aires visuelles. « Or l’entrée n’est pas visuelle, il y a bien plasticité cérébrale, mais on ne peut pas dire pour autant que la perception devient visuelle. D’ailleurs, les rapports d’expérience des participants varient. Certains « visualisent » des images, d’autres entendent uniquement des sons. Cela semble également dépendre du type de tâche à effectuer, comme se localiser ou reconnaître un visage », détaille le Dr. Auvray.
Cela a amené Dr. Amedi à proposer de repenser le cerveau non plus comme une machine sensorielle, avec des aires auditives ou visuelles, mais comme une machine à « tâches », comme par exemple la reconnaissance faciale, quel que soit le sens d’entrée en jeu. « Un autre résultat que nous avons obtenu sur des expériences ultérieures est que le cortex visuel des personnes aveugles est capable de se convertir vers des fonctions nouvelles par rapport aux voyants, comme l’analyse du langage parlé, la mémoire ou la prise de décision. Il n’y a pas d’aire visuelle qui resterait totalement inutile chez les personnes aveugles », ajoute le Pr. Cohen.
Des dispositifs à coupler avec une chirurgie de réhabilitation visuelle
Pour autant, il faut rester prudent et ne pas sur-vendre ces dispositifs. « C’est peut-être l’une des raisons de leur échec pour le moment. Il ne s’agit pas de « retrouver la vue » mais de donner accès à de nouvelles informations et de permettre aux malvoyants d’appréhender leur environnement autrement », tempère le Dr. Auvray. On reproche souvent à ces dispositifs de ne donner accès à aucune émotion. « La qualité de nos expériences perceptives n’est en effet pas liée à des caractéristiques de l’image. L’émotion vient d’une expérience, or l’historique de celles-ci ne peut être plaqué d’une stimulation à une autre. Il faut pour cela recréer de l’émotionalité avec les nouveaux dispositifs ».
Face à l’imperfection des systèmes, le Dr. Amedi suggère de coupler la substitution visuo-auditive avec la chirurgie de réhabilitation visuelle, comme l’implantation de prothèses visuelles ou d’un œil bionique. « Le dispositif peut alors aider à entraîner le cerveau avant l’opération, à fournir des signaux explicatifs après celle-ci et à augmenter les capacités en combinant les informations provenant de la même image », propose-t-il.
Pour en savoir plus sur le système de description intelligent pour les personnes malvoyantes MyEye, disponible au Centre de Basse Vision CECOM de Paris (Fondation Groupe Optic 2ooo), retrouvez notre article de février 2017 consacré à cette technologie.
L’écholocation, voir comme une chauve-souris
Les dispositifs de substitution visuo-auditive, comme la canne électronique, utilisent le principe d’écholocation : ils émettent un son et calculent le temps d’aller-retour de celui-ci sur un objet, à la manière d’un sonar de dauphin ou de chauve-souris. Une petite faculté d’écholocation est présente chez tous les non-voyants. Certains semblent même avoir développé des capacités extraordinaires pour analyser leur environnement en utilisant simplement le claquement de leur langue. C’est le cas de Daniel Kish ou de Ben Underwood.
Le premier, devenu aveugle après un cancer de la rétine à 13 mois, a développé un « flash sonar » extrêmement performant et a fondé une école pour partager sa méthode. Le second, aujourd’hui décédé de la maladie qui l’a rendu aveugle, pouvait faire du roller, du vélo ou jouer au basket uniquement en analysant les échos autour de lui. Quelques publications ont montré qu’une plasticité cérébrale analogue à celle développée avec les dispositifs de substitution visuo-auditive pourrait être en jeu. « Je ne crois toutefois pas qu’il y ait possibilité de capacités surhumaines. Si le cas de Kish n’est pas un canular, il est en tout cas partagé par très peu de monde », juge le Dr. Malika Auvray.
