Les systèmes de réalité virtuelle interactifs combinent des représentations visuelle, sonore et haptique, afin de simuler de manière immersive l'exploration d'un monde tridimensionnel représenté depuis le point de vue d'un observateur contrôlé en temps réel par l'utilisateur. La plupart des travaux effectués dans ce domaine ont historiquement port'e sur les aspects visuels (par exemple des méthodes d'affichage interactif de modèles 3D complexes ou de simulation réaliste et efficace de l'éclairage) et relativement peu de travaux ont été consacrés 'a la simulation de sources sonores virtuelles 'également dénommée auralisation. Il est pourtant certain que la simulation sonore est un facteur clé dans la production d'environnements de synthèse, la perception sonore s'ajoutant à la perception visuelle pour produire une interaction plus naturelle. En particulier, les effets sonores spatialisés, dont la direction de provenance est fidèlement reproduite aux oreilles de l'auditeur, sont particulièrement importants pour localiser les objets, séparer de multiples signaux sonores simultanés et donner des indices sur les caractéristiques spatiales de l'environnement (taille, matériaux, etc.). La plupart des systèmes de réalité virtuelle immersifs, des simulateurs les plus complexes aux jeux vidéo destin'es au grand public mettent aujourd'hui en œuvre des algorithmes de synthèse et spatialisation des sons qui permettent d'améliorer la navigation et d'accroître le réalisme et la sensation de présence de l'utilisateur dans l'environnement de synthèse. Comme la synthèse d'image dont elle est l'équivalent auditif, l'auralisation, appel'ee aussi rendu sonore, est un vaste sujet 'a la croisée de multiples disciplines : informatique, acoustique et 'électroacoustique, traitement du signal, musique, calcul géométrique mais également psycho-acoustique et perception audio-visuelle. Elle regroupe trois problématiques principales: synthèse et contrôle interactif de sons, simulation des effets de propagation du son dans l'environnement et enfin, perception et restitution spatiale aux oreilles de l'auditeur. Historiquement, ces trois problématiques émergent de travaux en acoustique architecturale, acoustique musicale et psycho-acoustique. Toutefois une différence fondamentale entre rendu sonore pour la réalité virtuelle et acoustique réside dans l'interaction multimodale et dans l'efficacité des algorithmes devant être mis en œuvre pour des applications interactives. Ces aspects importants contribuent 'a en faire un domaine 'a part qui prend une importance croissante, tant dans le milieu de l'acoustique que dans celui de la synthèse d'image/réalité virtuelle.

In this research we introduce a novel reading system that enables Individuals with Blindness<br />or Severe Visual Impairment (IBSVI) to have equivalent spatial reading experience to their<br />sighted counterparts, in terms of being able to engage in different reading strategies e.g.<br />scanning, skimming, and active reading. IBSVI are enabled to read in a self-paced manner<br />with spatial access to the original layout of any electronic text document. This system<br />renders text on iPad-type devices, and reads aloud each word touched by the user\'s finger.<br />The user could move her finger smoothly along the lines to read continuously with the<br />support of tactile landmarks. A tactile overlay on the iPad screen helps IBSVI to navigate<br />a page, furnishing a framework of tactile landmarks to give IBSVI a sense of place on the<br />page. As the user moves her finger along the tangible pattern of the overlay, the text on the<br />screen that is touched is rendered audibly to speech. The system supports IBSVI to develop<br />and maintain a cognitive map of the structure and the layout of the page. IBSVI are enabled<br />to fuse audio, tactile landmarks, and spatial information in order to read.<br />The system\'s initial design is founded on a theoretical hypothesis. A participatory design<br />approach with IBSVI consultants was then applied to refine the initial design. The re"fined<br />design was tested in a usability study, which revealed two major issues with the tested<br />design. These issues are related to the lack of instant feedback from the system (psycho-<br />motorical problem), and the lack of conveying the semantic level of the page structure.<br />We adapted the reader design to solve the usability problems. The improved design was<br />tested in an experience sampling study. The results showed a leap in the system usability.<br />IBSVI participants successfully self-paced read spatial text. Further reading support was<br />then added to the system to improve the user experience while reading and interacting with<br />the system. We tested the latest design of the reader system with respect to its featured<br />function of enabling self-paced reading and re-finding information. A decomposition study<br />was conducted to evaluate the main components of the system; the tactile overlay, and the<br />intelligent active reading support. The results showed that both components are required<br />to achieve the best performance in terms of efficiency, effectiveness, and spatial perception.<br />We conducted an evaluation study to compare our reader system to the state-of-the-art<br />iBook with VoiceOver. The results show that our reader system is more effective than iBook<br />with VoiceOver in finding previously read information and in estimating the layout of the<br />page, implying that IBSVI were able to construct a cognitive map for the pages they read,<br />and perform advanced reading strategies. Our goal is to to enable IBSVI to access digital<br />reading materials effectively, so that they may have equal learning opportunities as their<br />sighted counterparts. / Ph. D.

De nombreuses études ont été menées lors des vingt dernières années dans le domaine de l’auralisation.Elles consistent à rendre audible les résultats d’une simulation acoustique. Ces études se sont majoritairementfocalisées sur les algorithmes de propagation et la restitution du champ acoustique dans desenvironnements complexes. Actuellement, de nombreux travaux portent sur le rendu sonore en tempsréel.Cette thèse aborde la problématique du rendu sonore dynamique d’environnements complexes selonquatre axes : la propagation des ondes sonores, le traitement du signal, la perception spatiale du son etl’optimisation informatique. Dans le domaine de la propagation, une méthode permettant d’analyser lavariété des algorithmes présents dans la bibliographie est proposée. A partir de cette méthode d’analyse,deux algorithmes dédiés à la restitution en temps réel des champs spéculaires et diffus ont été extraits.Dans le domaine du traitement du signal, la restitution est réalisée à l’aide d’un algorithme optimisé despatialisation binaurale pour les chemins spéculaires les plus significatifs et un algorithme de convolutionsur carte graphique pour la restitution du champ diffus. Les chemins les plus significatifs sont extraitsgrace à un modèle perceptif basé sur le masquage temporel et spatial des contributions spéculaires.Finalement, l’implémentation de ces algorithmes sur des architectures parallèles récentes en prenant encompte les nouvelles architectures multi-coeurs et les nouvelles cartes graphiques est présenté. / During the past twenty years many studies have been conducted in the field of auralization, which aimsat rendering audible the results of an acoustic simulation. These studies have mainly focused on thepropagation algorithms and the sound field audio rendering for complex environments. Currently, muchresearch concentrates on real-time audio rendering.This thesis addresses the problematic of real-time audio rendering of complex environments accordingto four axes: sound propagation, Digital Signal Processing (DSP), spatial perception of sound andcomputational optimizations. In the field of propagation, a method that aims at analyzing the varietyof existing algorithms is proposed. This method yields two algorithms dedicated to the real-time propagationof both specular and diffuse information. In the field of DSP, the auralization is performed withan efficient binaural spatialization module for the most significant specular information, and a GPUconvolution algorithm for the diffuse sound field auralization. The most significant paths are extractedthanks to a perceptive model based on temporal and spatial masking of the specular contributions.Finally, the implementation of these algorithms on recent computer architectures, taking advantage ofthe parallel processing of the new CPUs, and the benefits of GPUs for DSP calculations is presented.