Les technologies nomades (smartphones, tablettes, . . . ) étant actuellement très répandues,nous avons souhaité, dans le cadre de cette thèse, les utiliser comme vecteur pour proposer au grand public des outils de spatialisation sonore. La taille et le nombre de transducteurs utilisés pour la captation et la restitution sonore spatialisée sont à ce jour la limitation principale pour une utilisation nomade. Dans une première étape, la captation d’un opéra pour une restitution sur des tablettes tactiles nous a permis d’évaluer les technologies audio 3D disponibles aujourd’hui. Les résultats de cette évaluation ont révélé que l’utilisation des quatre capteurs du microphone Soundfield donne de bons résultats à condition d’effectuer un décodage binaural adapté pour une restitution sur casque. Selon une approche inspirée des méthodes de localisation de source et le concept de format « objet », un prototype de prise de son 3D léger et compact a été développé. Le dispositif microphonique proposé se compose de trois capsules microphoniques cardioïdes. A partir des signaux microphoniques, un algorithme de post-traitement spatial est capable, d’une part, de déterminer la direction des sources et, d’autre part, d’extraire un signal sonore représentatif de la scène spatiale. Ces deux informations permettent ainsi de caractérisercomplètement la scène sonore 3D en fournissant un encodage spatial offrant le double avantage d’une compression de l’information audio et d’une flexibilité pour le choix du système de reproduction. En effet, la scène sonore ainsi encodée peut être restituée en utilisant un décodage adapté sur n’importe quel type de dispositif.Plusieurs méthodes de localisation et différentes configurations microphoniques (géométrie et directivité) ont été étudiées.Dans une seconde étape, l’algorithme d’extraction de l’information spatiale a été modifié pour prendre en compte les caractéristiques réelles in situ des microphones.Des méthodes pour compléter la chaîne acoustique sont proposées permettant la restitution binaurale ainsi que sur tout autre dispositif de restitution. Elles proposent l’utilisation de capteurs de localisation présents sur les terminaux mobiles afin d’exploiter les capacités qu’ils offrent aujourd’hui. / Mobile technologies (such as smartphones and tablets) are now common devices of the consumer market. In this PhD we want to use those technologies as the way to introduce tools of sound spatialization into the mass market. Today the size and the number of traducers used to pick-up and to render a spatial sound scene are the main factors which limit the portability of those devices. As a first step, a listening test, based on a spatial audio recording of an opera, let us to evaluate the 3D audio technologies available today for headphone rendering. The results of this test show that, using the appropriate binaural decoding, it is possible to achieve a good binaural rendering using only the four sensors of the Soundfield microphone.Then, the steps of the development of a 3D sound pick-up system are described. Several configurations are evaluated and compared. The device, composed of 3 cardioid microphones, was developed following an approach inspired by the sound source localization and by the concept of the "object format encoding". Using the microphone signals and an adapted post-processing it is possible to determine the directions of the sources and to extract a sound signal which is representative of the sound scene. In this way, it is possible to completely describe the sound scene and to compress the audio information.This method offer the advantage of being cross platform compatible. In fact, the sound scene encoded with this method can be rendered over any reproduction system.A second method to extract the spatial information is proposed. It uses the real in situ characteristics of the microphone array to perform the sound scene analysis.Some propositions are made to complement the 3D audio chain allowing to render the result of the sound scene encoding over a binaural system or any king of speaker array using all capabilities of the mobile devices.

Ce travail de thèse s'intéresse à la conférence audio en Voix sur IP et plus précisément à son enrichissement au travers de l'amélioration de la qualité (bande élargie et traitement d'amélioration) et de la spatialisation sonore. Cette évolution de la conférence audio sera examinée à la lumière des architectures centralisée et distribuée de la conférence sur IP standard. L'objectif est d'étudier des solutions en termes d'architecture intégrant la spatialisation et des extensions pour gérer et contrôler cette spatialisation. Il conviendra aussi d'effectuer les tests montrant les qualités audio et de spatialisation résultantes. Notre première contribution a été de proposer des architectures permettant d'allier la conférence audio en voix sur IP, les méthodes de spatialisation retenues, les terminaux ou pont de conférence ainsi que les traitements d'améliorations connus (annulation d'écho ou de bruit, etc.). Nous avons montré qu'il semblait difficile par exemple d'utiliser conjointement la spatialisation et la commutation de flux. Par contre la solution utilisant un pont mixeur ne présentait pas d'inconvénient pour inclure la spatialisation tout en conservant l'ensemble des traitements de qualité. Par cette configuration, nous garantissons en plus l'interopérabilité avec les réseaux voix existants. Les solutions distribuées sont tout autant réalisables dans la théorie mais pâtissent actuellement des limites des terminaux. Pour une interopérabilité avec les autres réseaux voix, il est en plus nécessaire d'avoir une entité de mixage pour créer un contenu monophonique. Par la suite, nous avons souligné les avantages et les inconvénients de l'utilisation de pont de conférence de type mixeur et de type répliquant pour proposer une solution de pont mixte. Cette solution fonctionne tantôt en mode répliquant, tantôt en mode mixeur suivant les capacités des terminaux. Par ailleurs, nous avons validé une méthode de réduction de la bande passante d'un pont répliquant vers un terminal, basée sur le masquage auditif. La seconde contribution de nos travaux consiste en de nouvelles solutions protocolaires adaptées à la gestion et au contrôle de la spatialisation. Nous avons donc défini les extensions nécessaires à la gestion et au transport du son spatialisé. Nous avons tout d'abord défini les spécifications permettant de commander un positionnement de locuteurs dans une conférence audio spatialisée. Nous avons cherché à présenter toutes les solutions possibles pour les gestions automatique ou manuelle. Dans le cas de la spatialisation sur un pont de conférence, nous avons ainsi souligné le fait que cette gestion ne pouvait se faire par l'intermédiaire du protocole SIP, car ce n'est pas le rôle de ce dernier de transporter dans ses messages des informations sur les contenus ou des commandes de spatialisation. Nous avons proposé une solution basée sur ce qui se fait dans les conférences audio standard : une solution de web-pilotage certes propriétaire à chaque fournisseur de services mais en cohérence avec la gestion des protocoles de Voix sur IP. Pour la conférence avec un pont mixeur, nous avons établi les paramètres du protocole de signalisation SIP nécessaires au transport de flux asymétriques tout en garantissant une interopérabilité avec les terminaux existants. La nécessité de transporter ces flux asymétriques est due à notre hypothèse de départ concernant l'équipement des terminaux : prise de son monophonique et restitution sur casque ou deux haut-parleurs. Notre troisième contribution s'exprime au travers d'une campagne de tests pour valider nos solutions en termes de qualité audio et de qualité de spatialisation. Ces tests nous ont amené à définir des nouveaux protocoles adaptés à ces architectures audio spatialisées. Nous justifions dans un premier temps nos choix de codeurs et dans un second temps nos choix de tests. Nous avons montré dans un premier temps que les codeurs n'étaient pas perçus de la même façon suivant que l'on écoute en écoute monaurale ou en écoute diotique. Il ressort de ces tests que les codeurs G.711 (PCM) et G.722 (ADPCM) sont les plus adaptés à la conférence audio centralisée avec une qualité jugée nettement supérieure aux codeurs CELP. Ces deux codeurs sont de plus de faible complexité, robustes au transcodage, à la perte de trames, au transport de contenu binaural et au transport de contenus multi-locuteur. Quant aux codeurs CELP, ils sont à utiliser uniquement lorsque les contraintes de débit sont fortes. Concernant la conférence audio distribuée wideband, les codeurs AMR-WB à 23.85 kbits/s, G.729.1 à 32 kbits/s et G.722 à 64 kbits/s semblent les plus adaptés quelle que soit la perte de trames. Ils ont une qualité jugée équivalente. En narrowband, les codeurs G.711, AMR à 12.2 kbits/s et G.729.1 à 12 kbits/s obtiennent les meilleures notes de qualité, quelle que soit la perte de trames. Au final, dans tous les cas distribués, le choix du codeur dépendra des contraintes de l'application suivant un compromis complexité/débit.

La réalité virtuelle ouvre une fenêtre, voulue transparente, sur un monde virtuel dans lequel sont plongés des participants. Conçus d'abord comme uniquement visuels, les mondes virtuels sont maintenant aussi sonores, grâce aux technologies récentes de rendu sonore spatialisé. Le système innovant proposé et étudié ici se compose de larges panneaux de structure sandwich, servant d'écrans, au revers desquels sont collés des excitateurs électrodynamiques qui les mettent en vibration, créant ainsi un champ acoustique autour des auditeurs. Le rendu visuel 3D est généré par stéréoscopie passive adaptative et le rendu sonore spatialisé par holophonie. L'utilisation d'un panneau comme source sonore étendue pour l'holophonie suppose la compréhension de son comportement vibro-acoustique. L'estimation des non-linéarités dans les systèmes vibrants est abordée à partir d'une méthode proposée par A. Farina en 2000 : cette méthode est justifiée sur le plan théorique et son applicabilité est étendue (séparation des sources de non-linéarité). Une méthode d'estimation des modules d'élasticité et des facteurs d'amortissement pertinents pour la propagation dans le panneau sandwich des ondes de flexion et de cisaillement est aussi développée. Le système est caractérisé expérimentalement grâce à ces deux outils. La perception spatiale, par les modalités audio, visuelle et audio-visuelle, du monde virtuel synthétisé par le dispositif est ensuite abordée. Il est montré que les participants fusionnent avec succès les flux auditif et visuel qui leur sont présentés et perçoivent les rendus auditif et visuel de façon spatialement cohérente. Les caractéristiques de leur perception spatiale de l'espace virtuel sont analysées en fonction des modalités mises en jeu et comparées avec les données de la littérature. Le concept d'ancrage du monde virtuel au dispositif réel qui le crée est en outre proposé : la distance entre le sujet et le panneau semble en effet jouer un rôle pivot dans la loi de compression des distances perçues. Enfin, deux applications de réalité virtuelle basées sur ce système illustrent les nombreuses possibilités offertes par cette nouvelle interface "homme-machine".