Ce projet de recherche a été mené dans le cadre du groupe de recherche NECOTIS (Neurosciences Computationnelles et Traitement Intelligent du Signal). Ce groupe de recherche agit principalement dans le domaine du traitement de l’image et de l’audio grâce à des méthodes de traitement de signal bio-inspirées. Différentes applications ont été développées en reconnaissance de la parole, dans la séparation de sources sonores ou encore en reconnaissance d’images. Bien qu’ils existent depuis plus de quarante ans, les systèmes d’aide aux personnes atteintes de déficiences visuelles, que cela soit des prothèses visuelles (invasif) ou des système de substitution sensorielle (non invasif), n’ont pas percé dans le milieu du handicap. Il serait difficile d’imputer cet état de fait à des limitations technologiques : depuis les premières approches, les prothèses visuelles ou les systèmes de substitution sensorielle n’ont cessé de se perfectionner et de se diversifier. Toutefois, si la question de savoir comment transmettre le signal est bien documentée, la question de savoir quel signal transmettre a été plus rarement abordée. Différents systèmes ont été développés mais le plus impressionnant est le récit des utilisateurs de tels systèmes. Ainsi, il fait plaisir de lire que l’artiste Neil Harbisson, qui ne voit aucune couleur, explique comment une caméra attachée à se tête lui permet d’entendre des couleurs et ainsi de pouvoir peindre [Montandon, 2004]. Un autre exemple tout aussi impressionnant, la scientifique Wanda Díaz-Merced, qui travaille pour xSonify, explique comment elle analyse différentes données en les encodant de façon sonore [Feder, 2012]. C’est dans ce cadre que ce projet de substitution sensorielle de la vision vers l’audition a été développé. En effet, nous avons utilisé le traitement de signal bio-inspiré afin d’extraire différentes caractéristiques représentatives de la vision. De plus, nous avons essayé de générer un son agréable à l’oreille et représentatif de l’environnement dans lequel évolue la personne. Ce projet a donc davantage été axé sur la nature du signal transmis à la personne ayant des déficiences visuelles.

Depuis quelques années, la plupart des constructeurs automobiles innovent en faisant appel aux techniques de la réalité virtuelle (RV). Cette approche possède un fort potentiel en termes de gain de temps et de réduction des coûts. Elle permet également d'évaluer de nouvelles approches liées au processus de conception lui-même. Cependant, un certain nombre de verrous technologiques et méthodologiques subsistent. Ils concernent en particulier (i) la simplification et la physicalisation des maquettes numériques issues des logiciels de CAO, (ii) le développement de configurations visuo-haptiques adaptées aux différentes tâches impliquées par le prototypage virtuel, et (iii) l'identification des retours sensoriels les plus pertinents, permettant à l'opérateur d'effectuer ces tâches efficacement. Un ensemble de problématiques soulevées par le service R&D de Valeo Lighting Systems (Angers) nous a conduit à traiter les trois aspects évoqués ci-dessus. Les tâches étudiées sont l'accessibilité, l'extraction et la manipulation de lampes sur prototype virtuel à l'échelle 1:1. Dans le manuscrit, nous commençons par aborder les limites du prototypage réel et les apports liés au prototypage virtuel. Ces apports sont examinés en particulier pour les phases de création et de validation des prototypes. Puis, nous présentons un état de l'art exhaustif des dispositifs d'affichage et des interfaces à retour d'effort, que nous avons classées en fonction de leur architecture mécanique et de leur support de référence. Ensuite, nous traitons la simplification et l'intégration de maquettes virtuelles ainsi que l'intégration du modèle biomécanique de l'opérateur humain. Différentes simulations permettant de valider la méthodologie d'intégration proposée sont décrites. Celles-ci sont basées sur l'utilisation de notre plate-forme de réalité virtuelle. Enfin, nous décrivons une série cohérente et progressive d'expérimentations permettant d'évaluer la pertinence et l'influence de différentes modalités sensorielles (visuelle, sonore, vibro-tactile, et kinesthésique) sur la performance humaine. L'objectif est d'identifier les avantages et inconvénients de ces retours d'information dans différentes configurations matérielles. Les résultats sont analysés via différents indicateurs de performance (temps de réalisation des tâches, précision de placement). Des données subjectives sont également recueillies via l'observation des sujets pendant l'exécution des tâches et à partir de questionnaires.

Cette Dissertation porte sur deux problèmes théoriques concernant les modalités sensorielles. Le premier pose la question de savoir comment les sens sont individués (indépendamment de la façon dont on les conçoit communément). La stratégie consiste à tester la résistance des critères d'individuation proposés dans la littérature contre les objections qui leur ont été adressées. Je défends la thèse selon laquelle les sens sont individués par les propriétés environnementales auxquelles ils donnent accès, et je montre que ce critère résiste à toutes les objections qui lui ont été adressés. Le second problème concerne l'origine de notre croyance en exactement cinq sens. Sur la base d'observations issues de l'anthropologie et de la linguistique comparative, je défends que cette croyance résulte uniquement de ce qui nous a été enseigné. En outre, ce travail doctoral contient deux études supplémentaires. La première porte sur la question de savoir comment les gens distinguent ordinairement les sens. Je défends que nos concepts ordinaires des sens sont sensibles aux types de propriétés environnementales auxquelles les sens donnent accès ainsi qu'aux parties du corps auxquelles ils sont attachés. La seconde étude se concentre sur le phénomène de la substitution sensorielle, longtemps considéré comme un défi pour l'individuation des sens. Je défends que la substitution sensorielle n'est pas un défi de cet ordre parce que le type d'information environnementale traité par un outil de substitution sensorielle est métamodale, i.e. accessible par n'importe qu'elle modalité. / This Dissertation is concerned with two theoretical issues about the senses. The first issue focuses on the question how the senses are to be individuated (regardless of the way one commonly conceive of them). The strategy is to test the ability of the criteria of individuation available in the literature to withstand objections. I argue that the senses are to be individuated in terms of the environmental properties they give access to, and show that this criterion can withstand all of the objections it has received. The second issue is the question why do we believe in exactly five senses? On the basis of observations from anthropology and comparative linguistics, I argue that this belief result from what we been taught. In addition, this Dissertation contains two supplementary studies. The first study focuses on the question how people ordinarily distinguish among the senses. I argue that people are sensitive both to the types of environmental properties the senses give access to and to the body parts they are attached to. The second study is concerned with the phenomenon of sensory substitution that has long been considered as a challenge for the individuation of the senses. I argue that sensory substitution is not a challenge of this kink because the type of environmental information processed by a sensory substitution device is metamodal, i.e. accessible through any sensory modality

L'environnement dans lequel nous évoluons nous apparaît comme stable. Il nous semble exister indépendamment de notre mouvement et du sens à partir duquel nous le percevons. Or, chacun de nos déplacements peut modifier l'information sensorielle : l'image rétinienne est constamment modifiée lorsque nous sommes en mouvement ou l'information tactile lorsque nous déplaçons la main pour identifier un objet. Par ailleurs, les éléments extérieurs peuvent se déplacer produisant également une modification de la stimulation de nos capteurs. La connaissance de notre propre mouvement dans cet environnement est un élément essentiel permettant de distinguer les modifications sensorielles liées à notre propre action de celles qui nous sont extérieure. Le mouvement est généralement réalisé par le capteur sensoriel: celui-ci subit la modification de stimulation liée à son propre déplacement. Le toucher est fondamentalement une modalité active car, l'objet exploré tactilement est généralement plus grand que la surface de peau utilisée pour ce faire. Le mouvement permet donc de reconstituer spatialement les caractéristiques de l'objet, en associant les informations locales successives. Mais, le nombre de degrés de liberté du mouvement en haptique complexifie cette opération, et l'on peut s'interroger sur la représentation de ce mouvement. Il a été observé que l'association sensorimotrice haptique apparaît pouvoir dépasser le cadre de son usage quotidien. Dans le cas de certains dispositifs de substitution sensorielle visuo-tactile, le participant, non-voyant ou bien les yeux bandés, déplace une caméra dont l'image est retransmise tactilement dans le dos grâce à une matrice de vibreurs tactiles. Après un entraînement, les participants rapportent percevoir l'élément filmé, et localisé dans l'espace. Or, il existe deux grandes différences par rapport à une perception tactile usuelle. Tout d'abord, la modification de la stimulation liée au mouvement correspond à une modalité distale, comme la vision, et non proximale comme l'est le toucher. Ensuite, le mouvement est réalisé par une partie du corps, le bras, et la conséquence sensorielle tactile est située sur une autre partie, le dos. Afin d'étudier l'association sensorimotrice dans la perception spatiale haptique, nous avons dû établir une méthodologie permettant de séparer le mouvement réalisé de la stimulation tactile résultante afin qu'ils soient situés à deux endroits distincts sur le corps. Nous avons tout d'abord choisi le cas où la conséquence tactile du mouvement d'une main est stimulée sur l'index de l'autre main. Cette expérience a montré qu'il existait une représentation du mouvement, abstraite de son origine, pouvant être associée avec la stimulation tactile situé sur l'autre main, sans entraînement. L'association sensorimotrice entre les deux bras peut être considérée comme un cas spécifique en raison de la coordination bimanuelle. Nous avons donc étudié cette association lorsque le mouvement est réalisé par le pied ou les yeux ou lorsqu'un point se déplace visuellement sans aucun mouvement du participant. Les résultats ont montré qu'il existe deux représentations complémentaires du mouvement. Une première, plus abstraite, correspondant au codage d'une direction dans l'espace. Elle est utilisée même lorsqu'il n'y a pas d'action mais simplement la visualisation d'un mouvement. L'autre représentation correspond aux caractéristiques du mouvement (amplitude/vitesse) et n'a pu être observé que lorsqu'il y avait une action. L'étude suivante s'est concentrée sur le référentiel de représentation de la direction du mouvement. Les résultats ont montré qu'il s'agissait en partie d'un référentiel centré sur le participant. Dans le cas où les bras étaient positionnés devant et à proximité du participant, présentaient une tendance plus instable voire allocentrique pour certains participants. / The world appears stable to us. It seems to exist independently from our own movements and the sense we use to perceive it. Our movements can however modify the sensory information we receive: the retinal image is constantly modified when we walk as is the tactile stimulation when we move the hand to identify an object. External objects can also move in the meantime, further modifying the stimulation. The knowledge of our own movement in the environment is necessary to distinguish sensory modifications linked to our own action and the ones linked to external movement. In most of the cases, the sensory receptor itself is moved in order to perceive and it generates the sensory modification linked to its movement. Touch is fundamentally an active modality. Explored objects are generally larger than the skin surface used to perceive them. Spatial characteristics of the objects are perceived thanks to the movement, by combining the successive local tactile information, which is made even more complicated by the degrees of freedom inherent to the movement in haptic perception. This leads to the question on how the movement is represented. It has been observed that sensory-motor combination in haptic goes beyond the way it is normally used on a daily basis. Participants -blind or blindfolded- uses visuo-tactile sensory substitution displays by moving a camera. The resulting image is "displayed" tactilely on the back of the participant using a matrix of vibrators. After a period of training, participants report that they perceive the filmed object, located in space. There are two main differences between this experiment and the usual haptic perception. First, the modification of the stimulation linked to the movement corresponds to a distal modality, like vision, and not a proximal modality, like haptic. Then, the movement is made with one part of the body, the arm, and the sensory consequence is perceived on another part of the body, the back. In order to study the sensory-motor association in spatial haptic perception, we have set up a method to divide location of the movement on the body from the location where the resulting tactile consequence is perceived. Our first study was the case of moving one hand and feeling the tactile consequence on the other hand's index finger. This experiment has shown that a representation of the movement, abstract from its location on the body, could be associated to the tactile simulation, without training. Moreover, we have studied this association in the situations where feet or eyes move, or for a seen motion (without any movement of the participant). Results have shown that there are two distinct and complementary representations of the movement. The first one, more abstract, corresponds to the spatial direction. It is used even when there is no action -visual movement-. The other representation corresponds to the movement's characteristics (amplitude/velocity) and hasn't been observed when participants are not moving. In another experiment, we have studied the reference frame of the movement's direction. Results have shown that the main part of the reference frame was egocentric but in the cases where the arms were positioned in front of and near from the participant, the reference frame was instable and even allocentric for some participants.

Notre perception du monde est multimodale. Les différents sens (vision, audition, tactile, etc) sont coordonnés entre eux afin d'accomplir nos tâches quotidiennes. Dans le cas où un organe des sens connaît un dysfonctionnement, le système nerveux central est capable de remplacer ou de renforcer l'information manquante en faisant appel à d'autres modalités sensorielles intactes. Le cadre conceptuel de ce remplacement d'un sens par un autre est le paradigme de substitution sensorielle. Cette thèse se situe dans ce contexte et, pour explorer certains aspects de ce paradigme, exploite un dispositif d'électro-stimulation linguale, le Tongue Display Unit (TDU), une matrice de 12x12 électrodes destinée à restituer sous la forme de voltages variables des scènes visuelles sur la langue.L'efficacité de ce dispositif souffre de nombreux problèmes au rang desquels le problème de fading (atténuation) qui correspond à une perte rapide de perception du signal d'électro-stimulation par les sujets et celui de la fusion de perceptions multi-modales qui, nous le verrons, se complique avec l'usage du TDU. Dans cette thèse, nous proposons d'étudier l'effet sur la qualité de perception et sur l'atténuation du signal de l'adjonction au signal image de saccades et de tremblements, processus qui nous ont été inspirés par la vision. Nous étudions également la façon dont les sujets perçoivent un signal image en cas de multi-modalité perceptive (vision + substitution visuelle sur la langue) et l'effet que produisent des contradictions d'information dans ce contexte.Ce travail met en évidence l'importance de la présence de saccades ou de scintillement dans le signal d'électro-stimulation pour contrer les effets de fading : grâce à ces procédés, même lorsque les stimulations sont longues, les sujets continuent de percevoir correctement le signal image. De plus, les expériences de perception multi-modale et de contradictions nous ont permis de montrer que la perception d'informations de type image par l'intermédiaire du TDU était comparable à celle de la vision. Enfin, nous avons pu mettre en évidence un effet de fusion d'informations contradictoires entre la perception visuelle et linguale, connu dans le cadre de la fusion d'information visuo-auditives sous le nom d'effet Mc Gurck.La compréhension de l'effet de procédés destinés à améliorer la perception dans le cadre de la substitution visuelle et celle de l'importance des effets de fusion multi-modale dégagée au cours de thèse devraient trouver application dans de nombreux domaines où ces effets sont présents ou requis, en particulier dans le domaine émergent de la vision prothétique. / Our perception of the world is by essence multimodal. Various sensory cues (vision, hearing, touch, etc.) are hence integrated to allow us the execution of daily life activities. When one sense organ is missing or impaired, in some circumstances, the central nervous system can replace or reinforce the missing sensory information by using reliable sensory information coming from an other intact sense organ. This doctoral thesis was designed to explore this so-called ‘sensory substitution' concept through the exploitation of a visual-to-tactile sensory substitution device. the Tongue Display Unit (TDU) is made of a 12x12 electro-tactile matrix capable of rendering visual scences on the dorsal part of the tongue.However, the effectiveness of this device suffers from numerous drawbacks among which two main problems : (i) the problem of ‘fading' (mitigation) which corresponds to a rapid loss of perception of electrostimulation signal by the individuals and (ii) the problem of multimodal fusion. In the present work, we propose to investigate these problems and their effects on the quality of perception, by (i) applying some eye-inspired mechanisms (micro-saccades) to the electro-tactile signal on the tongue, (ii) studying how individuals perceive a picture signal with multi-modal perceptual (visual stimulus + substitution on the tongue) and (iii) the effect produced contradictions of information in this context.This work evidence the importance of applying saccades and sparkle mechanisms in electro-tactile signal to resolve the problem of fading especially when stimulation periods are relatively long. Furthermore, the experiments we have conducted on multi-modal perception and contradictions suggested that the perception of image information through the TDU was comparable to that of vision. Finally, we were able to identify a conflicting information fusion effect between visual perception and electrotactile tongue perception. This phenomenon is known as Mc Gurck effect (fusion of visual and auditory information). Understanding the effect of these processes to improve the quality of perception through the visual substitution paradigm and the importance of multi-modal fusion effects during this thesis could be applied in various areas where these effects are present or required, especially in the emerging field of prosthetic vision.

L’attribution distale réfère à notre capacité d’attribuer à nos sensations proximales (lumière sur la rétine, ondes sonores, etc.) une localisation dans l’espace distal. Les travaux issus de la substitution sensorielle ont permis d’identifier et de tester ce processus. L’objectif de cette thèse est d’investiguer l’attribution distale grâce à une approche conjointe et intégrée des théories sensorimotrices et idéomotrices. Dans deux études, nous utilisons une procédure idéomotrice classique consistant à associer des conséquences sensorielles proximales à des mouvements. La première étude montre que l’attribution de caractéristiques distales aux sensations proximales est déterminée par l’association bidirectionnelle sensations – mouvements. De plus, nous montrons que l’orientation du mouvement est consubstantielle des caractéristiques distales que nous conférons aux conséquences sensorielles. La seconde étude réplique ces résultats et les étend aux caractéristiques liées à l’amplitude du mouvement. Ces expériences nous amènent à définir l’attribution distale comme un processus sensori-moteur et relevant d’un mécanisme idéomoteur, inscrivant ainsi nos études dans une perspective constructiviste. Les limites théoriques et expérimentales de nos études nous conduisent alors à proposer de nouvelles expériences visant à mieux définir l’importance du mouvement dans la perception. / Distal attribution refers to the capacity to attribute localization to proximal sensations (light on the retina, sound waves, etc.) in the distal space. Works in sensory substitution allowed identifying and testing this process. This thesis aims to investigate distal attribution thanks to a joint and integrated approach of sensorimotor and ideomotor theories. In two studies, we use a classic ideomotor procedure consisting in associating proximal sensory consequences to movements. The first study shows that the attribution of distal characteristics to proximal sensations is determined by the bidirectional association sensations-movements. Moreover, we show that movement orientation is consubstantial with distal characteristics we confer to sensory consequences. The second study replicates these results and extends them to characteristics related to the range of movement. These experiments bring us to define distal attribution as an embodied process depending on an ideomotor mechanism, thus making our studies fall within a constructivist approach. Theoretical as well as experimental limits to our studies invite us to propose ideas for new experiments aiming to better define the importance of movement in perception

Les escarres sont des plaies profondes causées par une compression mécanique des tissus. Les conséquences en termes de santé et d'économie sont dramatiques. Les personnes paraplégiques y sont particulièrement sujettes du fait de leur handicap moteur, mais surtout sensoriel leur empêchant de percevoir les signaux d'alerte naturels. Nous avons utilisé le paradigme de suppléance perceptive, consistant à suppléer un sens absent ou déficient en véhiculant les informations par une autre modalité, pour développer un dispositif dédié à rendre une perception des surpressions dangereuses aux personnes paraplégiques. Celui-ci consiste en une nappe de pressions posée sur l'assise du fauteuil et un stimulateur sensoriel tactile déclenché en cas de danger. Trois premières études ont montré l'efficacité du système sur des personnes valides et paraplégiques. Diverses études d'acceptabilité ont été menées et ont engendré des modifications profondes qui ont été validées à leur tour.

La perte de la vision affecte considérablement la capacité de se déplacer dans l’environnement. Les personnes aveugles utilisent aujourd’hui des aides à la mobilité comme la canne blanche et le chien guide. Cependant, ces aides ne donnent pas assez d’information sur l’environnement, et des accidents peuvent parfois survenir, notamment avec des obstacles en hauteur, non détectés par la canne blanche. Les systèmes de substitution sensorielle permettent d’apporter l’information visuelle via une autre modalité intacte comme le toucher. Il en existe principalement deux types, des systèmes de guidages, comme le EyeCane qui donne une information de distance en un point, et des systèmes visuels comme le Tongue Display Unit, basé sur le contraste qui transforme le signal d’une caméra en stimulation électro-tactile sur la langue. Le but de l’étude était de comparer ces deux appareils dans un même couloir à obstacle à taille réelle (21m x 2,4m). Des aveugles précoces et tardifs, et des contrôles voyants aux yeux bandés devaient traverser le couloir tout en détectant, identifiant et évitant les obstacles (cube, porte, sol, poteau) rencontrés. Les résultats ont montré que tous les participants ont été capables de naviguer avec les deux appareils. De plus, avec le EyeCane, les participants aveugles ont significativement mieux évité les obstacles après détection que les voyants, et que les aveugles précoces étaient significativement plus rapides pour traverser le couloir que les deux autres groupes. Cependant, la comparaison entre les deux appareils a révélé que les aveugles tardifs ont détecté significativement plus d’obstacles avec le TDU qu’avec le EyeCane sans pour autant améliorer les performances de navigation. De plus, la quantité d’information sur l’environnement fournie par le TDU semble ralentir et fatiguer les participants après une longue période d’utilisation. On peut alors suggérer que seules les informations de l’environnement immédiat données par le EyeCane sont nécessaires et suffisantes à la navigation. Cette étude permet de mieux guider la conception de futurs appareils destinés à améliorer l’indépendance de navigation chez les personnes aveugles. / Vision loss affects the ability to move around the environment. People who are blind today use mobility aids such as the long cane and guide dog. However, these aids do not provide enough information about the environment, and accidents can sometimes occur, especially with high obstacles not detected by the white cane. Sensory substitution systems allow visual information to be provided via another intact modality such as touch. There are mainly two types: guidance systems, like the EyeCane, that give distance information at a point, and visual systems, like the Tongue Display Unit, based on contrast which transforms the signal from a camera into electrotactile stimulation on the tongue. The aim of the study was to compare these two devices in the same full-size obstacle course (21m x 2.4m). Early and late blind, and blindfolded sighted controls had to cross the hallway while detecting, identifying and avoiding encountered obstacles (cube, door, floor, pole). It was found that all participants were able to navigate with both devices. Furthermore, with the EyeCane, the blind participants were significantly better to avoid obstacles after detection than the sighted, and the early blind were significantly faster to cross the corridor than the other two groups. However, the comparison between the two devices revealed that participants detected significantly more obstacles with the TDU than with the EyeCane without improving navigation performance. In addition, the amount of environmental information provided by the TDU appears to slow down and tire participants after a long period of use. We can then suggest that only the information of the immediate environment given by the EyeCane is necessary and sufficient for navigation. This study helps to guide the design of future devices to improve navigation independence in blind people.

La vision est le sens privilégié pour intéragir avec notre environnement. C’est pourquoi le système visuel prend plus d’un tiers du cortex cérébral. Lorsqu’un individu perd sa vision, ce système est dépourvu de sa source première de stimuli. Il subit donc une réorganisation neuronale massive et devient un espace intermodal. Pour ce faire, il recrute des afférences des autres modalités afin que celles-ci prennent en charge les fonctions qui sont normalement soutenues par la vision. Ce phénomène, appelé plasticité cérébrale, est stimulé par la durée de la cécité et par l’entraînement des sens fonctionnels. Ceci fait en sorte que les aveugles développent des supra-capacités dans les modalités fonctionnelles. La substitution sensorielle est un principe qui exploite ce phénomène. Celle-ci permet de substituer un sens déficient par un autre sens. Pour ce faire, des appareils de substitution sensorielle sont développés pour acheminer des informations visuelles via le toucher ou l’audition. Bien que le but de ces appareils est d’offrir une vision fonctionnelle aux aveugles, la problématique principale demeure l’indépendance de navigation des aveugles. Cependant, ces appareils sont très peu appréciés par les aveugles parce qu’ils sont inaccessibles et qu’ils fournissent un signal complexe qui demande un entraînement intense et une charge cognitive trop élevée. Dans ce projet, nous avons évalué le potentiel d’un nouvel appareil de substitution sensorielle qui fournit des informations strictement pertinentes à la navigation spatiale sous la forme de sons spatialisés horizontalement. Pour ce faire, des participants aveugles précoces, aveugles tardifs et des voyants aux yeux bandés ont été testé pour leurs habiletés à détecter et éviter des obstacles à l’aide de l’appareil dans des conditions expérimentales de détection et d’évitement d’obstacles. L’étude a démontré qu’il est possible d’utiliser cet appareil en tant qu’aide à la navigation et que ce système est utilisé plus efficacement par les groupes d’aveugles. / Vision is the preferred sense for interacting with our environment. This is why the visual system takes up more than a third of the cerebral cortex. When an individual loses his vision, this system misses its primary source of stimuli. It therefore undergoes a massive neuronal reorganization and becomes an intermodal space. To do so, it recruits afferents from other modalities so that they take over the functions that are normally mediated by vision. This phenomenon, known as cerebral plasticity, is stimulated by the experience of blindness as well as by the training of the functional senses. This causes the blind to develop supra-abilities in their functional modalities. Sensory substitution is a principle that exploits this phenomenon. It makes it possible to substitute a deficient modality with another modality. To help the blind, sensory substitution devices are being developed to convey visual information via touch or hearing. Although these devices attempt to provide functional vision for the blind, the main issue they try to address is the improvement of the navigational independency of the blind. However, these devices are very little appreciated by the blind since they are inaccessible and provide a complex signal that requires intense training and too high of a cognitive load. Therefore, in this project, we evaluated the potential of a new sensory substitution device that provides information strictly relevant to spatial navigation in the form of horizontally spatialized sounds. To do so, early blind , late blind and sighted blindfolded individuals were tested for their ability to detect and avoid obstacles using the device under experimental conditions. The study showed that it is possible to use this device as a navigation aid and that this system is used more effectively by the blind.

Résumé: Les systèmes de substitution sensorielle convertissent des stimuli d’une modalité sensorielle en des stimuli d’une autre modalité. Ils peuvent fournir les moyens pour les personnes handicapées de percevoir des stimuli d’une modalité défectueuse par une autre modalité. Le but de ce projet de recherche était d’étudier des systèmes de substitution de l’audition vers la vision. Ce type de substitution n’est pas bien étudié probablement en raison de la complexité du système auditif et des difficultés résultant de la désadaptation entre les sons audibles qui peuvent changer avec des fréquences allant jusqu’à 20000 Hz et des stimuli visuels qui changent très lentement avec le temps afin d’être perçus. Deux problèmes spécifiques des systèmes de substitution de l’audition vers la vision ont été ciblés par cette étude: la recherche de correspondances audiovisuelles et l’extraction de caractéristiques auditives. Une expérience audiovisuelle a été réalisée en ligne pour trouver les associations entre les caractéristiques auditives (la fréquence fondamentale et le timbre) et visuelles (la forme, la couleur, et la position verticale). Une forte corrélation entre le timbre des sons utilisés et des formes visuelles a été observée. Les sujets ont fortement associé des timbres “doux” avec des formes arrondies bleues, vertes ou gris clair, des timbres “durs” avec des formes angulaires pointues rouges, jaunes ou gris foncé et des timbres comportant simultanément des éléments de douceur et de dureté avec un mélange des deux formes visuelles arrondies et angulaires. La fréquence fondamentale n’a pas été associée à la position verticale, ni le niveau de gris ou la couleur. Étant donné la correspondance entre le timbre et une forme visuelle, dans l’étape sui- vante, un modèle hiérarchique flexible et polyvalent bio-inspiré pour analyser le timbre et extraire des caractéristiques importantes du timbre a été développé. Inspiré par les découvertes dans les domaines des neurosciences, neurosciences computationnelles et de la psychoacoustique, non seulement le modèle extrait-il des caractéristiques spectrales et temporelles d’un signal, mais il analyse également les modulations d’amplitude sur différentes échelles de temps. Il utilise un banc de filtres cochléaires pour résoudre les composantes spectrales d’un son, l’inhibition latérale pour améliorer la résolution spectrale, et un autre banc de filtres de modulation pour extraire l’enveloppe temporelle et la rugosité du son à partir des modulations d’amplitude. Afin de démontrer son potentiel pour la représentation du timbre, le modèle a été évalué avec succès pour trois applications : 1) la comparaison avec les valeurs subjectives de la rugosité 2) la classification d’instruments de musique 3) la sélection de caractéristiques pour les sons qui ont été regroupés en fonction de la forme visuelle qui leur avait été attribuée dans l’expérience audiovisuelle. La correspondance entre le timbre et la forme visuelle qui a été révélée par cette étude et le modèle proposé pour l’analyse de timbre peuvent être utilisés pour développer des systèmes de substitution de l’audition vers la vision intuitifs codant le timbre en formes visuelles. / Abstract: Sensory substitution systems encode a stimulus modality into another stimulus modality. They can provide the means for handicapped people to perceive stimuli of an impaired modality through another modality. The purpose of this study was to investigate auditory to visual substitution systems. This type of sensory substitution is not well-studied probably because of the complexities of the auditory system and the difficulties arising from the mismatch between audible sounds that can change with frequencies up to 20000 Hz and visual stimuli that should change very slowly with time to be perceived. Two specific problems of auditory to visual substitution systems were targeted in this research: the investigation of audiovisual correspondences and the extraction of auditory features. An audiovisual experiment was conducted online to find the associations between the auditory (pitch and timbre) and visual (shape, color, height) features. One hundred and nineteen subjects took part in the experiments. A strong association between timbre of envelope normalized sounds and visual shapes was observed. Subjects strongly associated soft timbres with blue, green or light gray rounded shapes, harsh timbres with red, yellow or dark gray sharp angular shapes and timbres having elements of softness and harshness together with a mixture of the previous two shapes. Fundamental frequency was not associated with height, grayscale or color. Given the correspondence between timbre and shapes, in the next step, a flexible and multipurpose bio-inspired hierarchical model for analyzing timbre and extracting the important timbral features was developed. Inspired by findings in the fields of neuroscience, computational neuroscience, and psychoacoustics, not only does the model extract spectral and temporal characteristics of a signal, but it also analyzes amplitude modulations on different timescales. It uses a cochlear filter bank to resolve the spectral components of a sound, lateral inhibition to enhance spectral resolution, and a modulation filter bank to extract the global temporal envelope and roughness of the sound from amplitude modulations. To demonstrate its potential for timbre representation, the model was successfully evaluated in three applications: 1) comparison with subjective values of roughness, 2) musical instrument classification, and 3) feature selection for labeled timbres. The correspondence between timbre and shapes revealed by this study and the proposed model for timbre analysis can be used to develop intuitive auditory to visual substitution systems that encode timbre into visual shapes.