Ces travaux de thèse concernent la conception d’un dispositif de restitution sonore léger en salle usuelle, permettant la diffusion de signaux binauraux. La priorité du travail est la précision dans la reproduction du niveau et du timbre, avant la spatialisation du son. Afin d’assurer la compatibilité avec les signaux binauraux existants et pour proposer un système à faible nombre de canaux, la technologie transaurale est prise comme point de départ. Pour limiter la coloration introduite par la salle d’écoute, particulièrement gênante, il est proposé de placer les sources du système à proximité de l’auditeur afin de maximiser le rapport champ direct sur champ diffus. Ce placement inhabituel a plusieurs effets, parmi lesquels quatre ont été étudiés séparément : l’influence des filtres transauraux sur les sources électro-acoustiques, les variations inter-individuelles de morphologies, l’effet de salle et le placement de l’auditeur. Des tests d’écoute ont été réalisés pour une sélection de configurations, et les résultats ont permis d’implémenter des indicateurs objectifs représentatifs des réponses des auditeurs. La synthèse de ces indicateurs a permis de proposer trois configurations considérées comme optimales, et dont la combinaison pourrait être envisagée. / This work deals with the design of a 3D sound system involving a few number of loudspeaker and able to work inside any usual room, for reproducing binaural sounds. This system focuses on an accurate reproduction of perceived level and timbre, even before the sound spatialization. To ensure compatibility with binaural recordings and to achieve a system with a low number of loudspeakers, this work started from a transaural system. To avoid tone coloration induced by the listening room, the sound sources are placed close to the listener, thus maximizing the energy ratio between direct and diffuse fields. This has consequences on other aspects, four of which are considered separately: inter-individual morphological variations, demands on the electro-acoustic sources, room effect and misalignment of the listener. Some configurations have been evaluated in listening tests, and objective indicators are deduced from these results. The generalization allows to propose three configurations considered as optimal, and which might be combined.

La synthèse binaurale est la technique de spatialisation sonore la plus proche de<br />l'écoute naturelle. Elle permet un rendu spatialisé d'une source monophonique à une po-<br />sition donnée avec seulement deux filtres qui correspondent aux oreilles gauche et droite :<br />les HRTF (Head Related Transfer Function). L'inconvénient majeur de la technique bi-<br />naurale repose sur le fait que les HRTF, liées à la morphologie de l'auditeur, sont propres<br />à chaque utilisateur. Une écoute avec des HRTF non-individuelles comporte des artefacts<br />audibles. Il faut donc acquérir des HRTF individuelles. Cette thèse aborde le problème<br />de l'individualisation de la synthèse binaurale dans le cadre de son implémentation en un<br />retard pur, la différence interaurale de temps (ITD), et un filtre à phase minimale déter-<br />miné par le module de la HRTF. Le travail sur l'ITD permet de valider l'implémentation<br />choisie même pour les positions où les HRTF sont mal décrites par des filtres à phase<br />minimale et permet de déterminer, parmi les méthodes classiques de calcul de l'ITD,<br />celles qui estiment une ITD proche de la perception. Une étude expérimentale est aussi<br />menée pour établir la résolution de l'ITD avec l'angle d'élévation. Les résultats indiquent<br />la nécessité perceptive de reproduire les variations de l'ITD en élévation. Une nouvelle<br />formule d'estimation de l'ITD créée sur la base d'un modèle de tête sphérique, la formule<br />de déplacement des oreilles (FDO), est développée pour rendre compte de ces variations.<br />L'optimisation des paramètres de cette formule aux ITD de toute une base de données<br />de HRTF permet d'entrevoir une formulation moyenne convenant pour un grand nombre<br />de personne et pour de nombreuses applications. L'étude s'est ensuite focalisée sur la<br />modélisation du module spectral (filtre à phase minimale). Le travail réalisé sur l'appli-<br />cation des méthodes de calcul par éléments de frontière (BEM pour Boundary Element<br />Method) pour l'acquisition de HRTF, indique que cette méthode, peut notamment être<br />utilisée en complément des mesures pour l'acquisition de la partie basse fréquence des<br />HRTF. Une approche originale, qui applique des techniques d'apprentissage statistique,<br />est proposée et étudiée pour la modélisation de HRTF. Un réseau de neurones artificiels<br />(RNA) est entra^³né pour calculer des HRTF d'un individu à partir de la connaissance<br />des HRTF mesurées en un nombre réduit de positions. Les premiers résultats sont en-<br />courageants : le modèle permet d'atteindre un degré assez fin d'individualisation, ce qui<br />suggère un protocole simplifié d'acquisition de HRTF. Un faible nombre de mesures est<br />acquis et les autres sont prédites par le modèle.

La plupart des applications qui intègrent le son 3D en environnement virtuel sont limitées à la simulation acoustique. L'objectif de cette thèse est d'étudier l'apport du son 3D dans l'interaction en environnement virtuel. Nous avons développé une technique de stimulation sonore appelée: Sensation Artificielle Spatialisée Auditive (SASA), basée sur la création d'effets sonores. Cette technique restitue des sensations de spatialisation de son permettant la localisation précise (en azimut et en élévation) de sources sonores. Afin d'améliorer le temps de localisation de sources sonores, nous avons développé un modèle qui intègre la fonction HRTF (Head-Related Transfer Function) avec la technique SASA. Pour simuler la profondeur de sources sonores, nous avons développé une technique basée sur la combinaison entre l'indice d'intensité et les différences interaurales de temps. Les techniques développées dans le cadre de cette thèse ont été utilisées pour le guidage auditif afin de fournir des informations spatiales en azimut, en élévation et en profondeur. Nous avons appliqué cette technique dans la simulation chirurgicale pour assister l'opérateur dans la phase de triangulation. Nous avons validé cette approche en termes de performance de manipulation et du retour d'informations de l'utilisateur. Les résultats obtenus des travaux de cette thèse sont prometteurs pour l'utilisation de son 3D dans l'interaction en environnement virtuel.

Cette thèse porte sur la transformation de la voix d’un locuteur dans l’objectif d’indiquer la distance de celui-ci : une transformation en voix chuchotée pour indiquer une distance proche et une transformation en voix criée pour une distance plutôt éloignée. Nous effectuons dans un premier temps des analyses approfondies pour déterminer les paramètres les plus pertinentes dans une voix chuchotée et surtout dans une voix criée (beaucoup plus difficile). La contribution principale de cette partie est de montrer la pertinence des paramètres prosodiques dans la perception de l’effort vocal dans une voix criée. Nous proposons ensuite des descripteurs permettant de mieux caractériser les contours prosodiques. Pour la transformation proprement dite, nous proposons plusieurs nouvelles règles de transformation qui contrôlent de manière primordiale la qualité des voix transformées. Les résultats ont montré une très bonne qualité des voix chuchotées transformées ainsi que pour des voix criées pour des structures linguistiques relativement simples (CVC, CVCV, etc.). / This thesis focuses on speaker voice transformation in the aim to indicate the distance of it: a spokento-whispered voice transformation to indicate a close distance and a spoken-to-shouted voicetransformation for a rather far distance. We perform at first, in-depth analysis to determine mostrelevant features in whispered voices and especially in shouted voices (much harder). The maincontribution of this part is to show the relevance of prosodic parameters in the perception of vocaleffort in a shouted voice. Then, we propose some descriptors to better characterize the prosodiccontours. For the actual transformation, we propose several new transformation rules whichimportantly control the quality of transformed voice. The results showed a very good quality oftransformed whispered voices and transformed shouted voices for relatively simple linguisticstructures (CVC, CVCV, etc.).

Dans ce travail nous étudions la problématique des ingénieurs du son face au mixage d’un microphone principal HOA avec des microphones d’appoint, et notamment l’estimation des paramètres tels que le retard, la position et le gain des sources acoustiques associées aux microphones d’appoint. Nous proposons un algorithme fournissant les paramètres estimés (retard, position, gain) basé sur des équations d’encodage spatial au format HOA qui peuvent alors être utilisées pour traiter les signaux des microphones d’appoint durant le mixage. Cette extraction automatique des paramètres peut être vue comme une assistance pour les ingénieurs du son, leur permettant d’éviter un travail à faible valeur ajoutée (mesure de la distance et des angles entre microphones) afin de pouvoir se concentrer sur des problèmes artistiques comme l’ajustement des paramètres de niveau, d’égalisation ou de compression, voire l’ajustement fin des paramètres de retard, position, gain. La robustesse de l’algorithme est bien présentée pour les scènes sonores de différents niveaux de complexité (plusieurs sources acoustiques, réverbération, encodage réel du microphone…). Nous proposons des tests de performances pour les scènes sonores simulées et réels afin de montrer l’efficacité de l’algorithme ainsi que ces limites. La conclusion et les perspectives pour des futurs travaux complètent cette thèse à la fin du document. / In this thesis we study the problematic of a sound engineer mixing HOA (Higher Order Ambisonics) and spot microphones, namely the estimation of parameters such as delay, position and gain of acoustic sources associated to spot microphones. We present a typical workflow in this context, and also propose an algorithm extracting parameters that could be applied to the spot microphone signals. This mixing assistance allows sound engineers to easily work with HOA 3D sound and to concentrate on artistic choices (fine adjustments of the parameters), by avoiding a low-added value work (coarse parameter estimation). The robustness of the estimators is evaluated on recorded and artificial sound scenes, with different degrees of complexity in terms of number of sources and acoustic conditions (reverberation, effect of real microphone encoding, …). We also provide performance evaluations, based on both sound scene simulations and real recordings, showing encouraging results along with actual limits, and conclude on perspectives.

Peu d'études ont été menées sur l'influence de la stéréoscopie sur la perception d'un mixage audio au cinéma. Les témoignages de mixeurs ou les articles scientifiques montrent pourtant une grande diversité d'opinions à ce sujet. Certains estiment que cette influence est négligeable, d'autres affirment qu'il faut totalement revoir notre conception de la bande-son, aussi bien au niveau du mixage que de la diffusion. Une première série d'expériences s'est intéressée à la perception des sons d'ambiance. 8 séquences, dans leurs versions stéréoscopiques (3D-s) et non-stéréoscopiques (2D), ont été diffusées dans un cinéma à des sujets avec plusieurs mixages différents. Pour chaque présentation, les sujets devaient évaluer à quel point le mixage proposé leur paraissait trop frontal ou au contraire trop « surround », le but étant de mettre en évidence une éventuelle influence de la stéréoscopie sur la perception de la balance frontal/surround d'un mixage audio. Les résultats obtenus ont rejoint ceux d'une expérience préliminaire menée dans un auditorium de mixage, où les sujets se trouvaient en situation de mixeur et devaient eux-mêmes régler la balance frontal/surround : l'influence de la stéréoscopie était faible et n'apparaissait que pour quelques séquences. Des études ont ensuite été menées sur la perception des objets sonores tels que dialogues et effets. Une quatrième expérience s'est intéressée à l'effet ventriloque en élévation : lorsque l'on présente à un sujet des stimuli audio et visuel temporellement coïncidents mais spatialement disparates, les sujets perçoivent parfois le stimulus sonore au même endroit que le stimulus visuel. On appelle ce phénomène l’effet ventriloque car il rappelle l'illusion créée par le ventriloque lorsque sa voix semble plutôt provenir de sa marionnette que de sa propre bouche. Ce phénomène a été très largement étudié dans le plan horizontal, et dans une moindre mesure en distance. Par contre, très peu d'études se sont intéressées à l'élévation. Dans cette expérience, nous avons présenté à des sujets des séquences audiovisuelles montrant un homme en train de parler. Sa voix pouvait être reproduite sur différents haut-parleurs, qui créaient des disparités plus ou moins grandes en azimut et en élévation entre le son et l'image. Pour chaque présentation, les sujets devaient indiquer si la voix semblait ou non provenir de la même direction que la bouche de l'acteur. Les résultats ont montré que l'effet ventriloque était très efficace en élévation, ce qui suggère qu'il n'est peut-être pas nécessaire de rechercher la cohérence audiovisuelle en élévation au cinéma. / Few psychoacoustic studies have been carried out about the influence of stereoscopy on the sound mixing of movies. Yet very different opinions can be found in the cinema industry and in scientific papers. Some argue that sound needs to be mixed differently for stereoscopic movies while others pretend that this influence is negligible.A first set of experiments was conducted, which focused on the perception of ambience. Eight sequences - in their stereoscopic (s-3D) and non-stereoscopic (2D) versions, with several different sound mixes - were presented to subjects. For each presentation, subjects had to judge to what extent the mix sounded frontal or “surround.” The goal was to verify whether stereoscopy had an influence on the perception of the front/surround balance of ambience. Results showed that this influence was weak, which was consistent with a preliminary experiment conducted in a mixing auditorium where subjects had to mix the front/surround balance of several sequences themselves.Studies were then conducted on the perception of sound objects such as dialogs or on-screen effects. A fourth experiment focused on ventriloquism in elevation: when presented with a spatially discordant auditory-visual stimulus, subjects sometimes perceive the sound and the visual stimuli as coming from the same location. Such a phenomenon is often referred to as ventriloquism, because it evokes the illusion created by a ventriloquist when his voice seems to emanate from his puppet rather than from his mouth. While this effect has been extensively examined in the horizontal plane and to a lesser extent in distance, few psychoacoustic studies have focused on elevation. In this experiment, sequences of a man talking were presented to subjects. His voice could be reproduced on different loudspeakers, which created disparities in both azimuth and elevation between the sound and the visual stimuli. For each presentation, subjects had to indicate whether or not the voice seemed to emanate from the mouth of the actor. Ventriloquism was found to be highly effective in elevation, which suggests that audiovisual coherence in elevation might be unnecessary in theaters.

Dans cette thèse, nous proposons la mise en place d'un système de réalité augmentée fondé sur le son 3D et la sonification, ayant pour objectif de fournir les informations nécessaires aux non- voyants pour un déplacement fiable et sûr. La conception de ce système a été abordée selon trois axes. L'utilisation de la synthèse binaurale pour générer des sons 3D est limitée par le problème de l'individualisation des HRTF. Une méthode a été mise en place pour adapter les individus aux HRTF en utilisant la plasticité du cerveau. Évaluée avec une expérience de localisation, cette méthode a permis de montrer les possibilités d'acquisition rapide d'une carte audio-spatiale virtuelle sans utiliser la vision. La sonification de données spatiales a été étudiée dans le cadre d'un système permettant la préhension d'objet dans l'espace péripersonnel. Les capacités de localisation de sources sonores réelles et virtuelles ont été étudiées avec un test de localisation. Une technique de sonification de la distance a été développée. Consistant à relier le paramètre à sonifier aux paramètres d'un effet audio, cette technique peut être appliquée à tout type de son sans nécessiter d'apprentissage supplémentaire. Une stratégie de sonification permettant de prendre en compte les préférences des utilisateurs a été mise en place. Les " morphocons " sont des icônes sonores définis par des motifs de paramètres acoustiques. Cette méthode permet la construction d'un vocabulaire sonore indépendant du son utilisé. Un test de catégorisation a montré que les sujets sont capables de reconnaître des icônes sonores sur la base d'une description morphologique indépendamment du type de son utilisé.

Le travail de thèse qui est rapporté dans le présent document a porté sur la réalisation d'un système de restitution sonore spatialisée pour la visioconférence. La principale contrainte de ce projet a résidé dans la taille de la zone d'écoute qui doit être sufisamment grande pour englober plusieurs auditeurs simultanément. Chaque auditeur doit également pouvoir se déplacer au sein de la zone d'écoute. A l'issue d'un tour d'horizon des différentes méthodes de spatialisation sonore existantes (stéréophonie, techniques binaurales, système ambisonique...) dont la pertinence a été examinée du point de vue du contexte de visioconférence, une approche holophonique a été finalement choisie. Attendu qu'elle s'avère être la solution la plus pertinente pour obtenir une zone d'écoute étendue. Un prototype de système holophonique pour la visioconférence a ainsi été conçu et réalisé. D'un point de vue théorique, l'holophonie dérive du Principe de Huygens. Elle constitue l'équivalent acoustique de l'holographie et consiste à reproduire un champ sonore à partir d'un enregistrement sur une surface. Sur la plan pratiqu, le champ sonore est enregistré par un réseau de microphones auquel on substitue un réseau de haut-parleurs de géométrie identique à la restitution. Le concept de Wavefield Synthesis qui a été mis au point à l'UTD (Université Technologique de Delft) définit un exemple de mise en oeuvre d'un système holophonique. Le prototype qui a été développé au cours de cette thèse s'en est largement inspiré. En particulier les simplifications mises en évidence à l'UTD, principalement afin de réduire la taille du réseau de transducteurs et leur nombre, ont été retenues. On a néanmoins eu le souci constant d'analyser la pertinence de la démarche menée à l'UTD et de l'approfondir. Ainsi les questions de l'échantillonnage spatial et de la troncature du réseau de transducteurs ont fait l'objet d'études spécifiques. Au final, le système holophonique qui a été mis au point se compose d'une antenne de haut-parleurs pilotés par une carte DSP. Il a été validé à la fois en environnement anéchoïque et dans un studio expérimental de visioconférence. Au delà de la réalisation d'un système de spatialisation sonore pour la visioconférence, le second objectif de cette thèse visait une meilleure compréhension des procédés de spatialisation sonore à partir de l'approche générale que définit l'holophonie. Cet objectif a été atteint en reliant le système ambisonique à l'holophonie. Il est montré que, loin de constituer deux méthodes distinctes, les systèmes ambisonique et holophonique sont fondés sur des processus analogues et qu'en réalité, le système ambisonique est un cas particulier de l'holophonie. De ce résultat, un formalisme unifiée de la reconstruction de champ sonore a été dégagé, il permet une comparaison directe des performances des deux méthodes, en termes d'enco age et de décodage de l'information spatiale du champ sonore. Il en ressort que, bien que le système ambisonique soit très séduisant sur le plan théorique, il se heurte à de nombreux problèmes de mise en œuvre. Par suite, l'holophonie reste la méthode la plus robuste sur le plan pratique.