No description available.

Grâce au diverse applications prévues dans le divertissement, l’éducation et les domaines professionnels, la création d’un monde virtuel interactif a intéressé beaucoup de chercheurs dans l’académie et l’industrie. L’espace acoustique trois-dimensionnelle peut être synthétisé à partir de deux perspectives : les approches physiques et les approches perceptives. Méthode de transfert de rayonnement acoustique est une méthode efficace pour modéliser les réflexions diffuses et la réverbération tardive. Une extension de la méthode de transfert de rayonnement est proposée dans cette thèse, qui permet de modéliser les réflexions précoces et spéculaires, en conservant son avantage pour la simulation de réverbération tardive. Les approches perceptives utilisent des paramètres acoustiques pour modéliser la perception acoustique principale de l’environnement modélisé. Des réseaux récursifs de lignes à retard sont beaucoup utilisés pour générer de la réverbération tardive. Dans cette thèse, une nouvelle méthode est présentée, qui hérite l’efficacité de la structure des réseaux récursifs de lignes à retard, mais en le même temps, relie les paramètres des réseaux directement à la géométrie de l’environnement modélisé. Puis, l’approche physique et l’approche perceptive ont été combinées. La méthode de transfert de rayonnement acoustique simplifiée, avec extension à modéliser les réflexions spéculaires et diffuses, est incorporée à la structure des réseaux récursifs de lignes à retard. Le nouveau filtre réverbérant, en dépit de la modélisation des réfections diffuses et la réverbération tardive, est également capable de simuler les réflexions précoces et spéculaires avec précision. / There is an increasing interest in creating interactive virtual worlds due to the wide variety of potential applications in entertainment and education. The 3D acoustic scene can be synthesized from two perspectives : the physical approaches and the perceptual approaches. Acoustic radiance transfer method is an efficient ray-based method to model the diffuse reflections and the late reverberation. An extension of the Radiance Transfer Method (RTM) is proposed in this thesis, which allows modeling the early part of specular reflections while keeping the advantage of the original model for the late reverberation simulation. Feedback delay networks are widely used structures to generate the late reverberation. A new method is presented in this thesis, which inherits the efficiency of the Feedback Delay Network (FDN) structure, but aims at linking the parameters of the FDN directly to the geometries of the modeled environment. The relation is achieved by assigning a physical meaning to each delay line and studying the sound energy exchange between them. Then the physical approachand the perceptual approach are combined. The simplified acoustic Radiance Transfer Method, with extension for both specular and diffuse reflections, is incorporated with the Feedback Delay Networks. The new reverberator, despite of modeling the diffuse and late reverberation, is also capable of simulating the early and specular reflections with accuracy.

Il y a un intérêt important et croissant à procurer des expériences d’écoute immersives pour une variété d’applications, et les améliorations constantes des technologies de reproduction audio 3D permettent de produire des scènes auditives immersives à la fois créatives et réalistes. Mais bien que ces technologies de rendu audio 3D soient maintenant relativement disponibles pour les consommateurs, la production et la création des contenus adéquats restent difficiles en raison de la variété des techniques de rendu, des considérations perceptives et des limites des interfaces utilisateur disponibles. Cette thèse traite de ces problèmes en développant un cadre de conception basé sur deux points de vue : l’analyse morphologique des méthodes et des pratiques audio 3D, et la conception d’interaction. À partir du recueil de données ethnographiques sur les outils, les méthodes et les pratiques pour la production de contenu audio 3D, de considérations sur la perception spatiale liée à l’audio 3D, et d’une analyse morphologique sur les objets d’intérêt connexes (objets audio 3D, paramètres interactifs et techniques de rendu), nous avons identifié les taches que doivent supporter les interfaces utilisateur audio 3D et proposé un cadre de conception qui caractérise la création et la manipulation des objets audio. Ensuite, nous avons conçu plusieurs techniques d’interaction pour la création audio 3D et avons étudié leurs performances et leur facilité d’utilisation selon différentes caractéristiques des méthodes d’entrée et de ’mapping’ (multiplexage, intégralité, ’directitude’). Nous avons observé des différences de performances lors de la création et de l’édition de trajectoires audio suggérant que l’augmentation de la sensibilité de la technique de ’mapping’ améliore les performances, et qu’un équilibre entre la séparabilité et l’intégralité des méthodes d’entrée peut résulter en un compromis satisfaisant entre la performance de l’utilisateur et la simplicité matérielle de la solution. Plus généralement, à partir de ces perspectives, nous avons identifié les critères de conception requis pour les interfaces utilisateur audio 3D en vue de compléter notre cadre de conception. Ce dernier, associé à nos résultats expérimentaux, sont un moyen d’aider les concepteurs à mieux prendre en compte les dimensions importantes dans le processus de conception, analyser les fonctionnalités et améliorer les interfaces utilisateur pour les outils de production audio 3D. / There has been a significant interest in providing immersive listening experiences for a variety of applications, and recent improvements in audio production have provided the capability for 3D audio practitioners to produce realistic and imaginative immersive auditory scenes. Even though technologies to reproduce 3D audio content are becoming readily available for consumers, producing and authoring this type of content is difficult due to the variety of rendering techniques, perceptual considerations, and limitations of available user interfaces. This thesis examines these issues through the development of a framework of design spaces that classifies how 3D audio objects can be created and manipulated from two different viewpoints : Morphological Analysis of 3D Audio Methods and Practices and Interaction Design. By gathering ethnographic data on tools, methods, and practices of 3D audio practitioners, overviewing spatial perception related to 3D audio, and conducting a morphological analysis on related objects of interest (3D audio objects, interactive parameters, and rendering techniques), we identified the tasks required to produce 3D audio content and how 3D audio objects can be created and manipulated. This work provided the dimensions of two design spaces that identify the interactive spatial parameters of audio objects by their recording and rendering methods, describing how user interfaces provide visual feedback and control the interactive parameters. Lastly, we designed several interaction techniques for 3D audio authoring and studied their performance and usability according to different characteristics of input and mapping methods (multiplexing, integrality, directness). We observed performance differences when creating and editing audio trajectories, suggesting that increasing the directness of the mapping technique improves performance and that a balance between separability and integrality of input methods can result into a satisfactory trade-off between user performance and cost of equipment. This study provided results that inform designers on what they might expect in terms of usability when designing input and mapping methods for 3D audio trajectory authoring tasks. From these viewpoints, we proposed design criteria required for user interfaces for 3D audio user production that developed and improved the framework of design spaces. We believe this framework and the results of our studies could help designers better account for important dimensions in the design process, analyze functionalities in current tools, and improve the usability of user interfaces for 3D audio production tools.

Un espace auditif virtuel (par référence à l'acronyme anglais VAS pour Virtual Auditory Space) est une scène sonore virtuelle constituée d'un ensemble de sources sonores qui n'existent que dans l'espace perceptif de l'auditeur. Cet espace est généré au moyen des technologies de spatialisation sonore (telles que : stéréophonie, technologie binaurale, Wave Field Synthesis ou Higher Order Ambisonics) qui reposent sur des modèles de représentation de la scène sonore. La modélisation est le premier aspect à étudier et concerne notamment les étapes de la captation et de la restitution de l'information spatiale. La notion de format audio spatialeé (et par la même les questions de conversion de format et de compression) est implicite. A l'autre extrémité se situe la perception de l'espace ainsi généré pour évaluer comment l'auditeur perçoit les sources sonores virtuelles. Ce mémoire ouvre une réflexion sur ces différentes problèmatiques. En complément d'un état des lieux des connaissances actuelles, deux questions sont traitées en détails. La première question porte sur les technologies de spatialisation multi haut-parleurs en se focalisant sur les technologies Wave Field Synthesis (WFS) et Higher Order Ambisonics (HOA). Il est montré quel(s) système(s) concret(s) peuvent être mis en oeuvre à partir des équations théoriques. Grâce à un formalisme unifié les convergences entre les deux technologies sont mises en évidence, pour ouvrir sur une évaluation comparée. La seconde question concerne l'application de la spatialisation sonore à des terminaux individuels (c'est à dire mono auditeur) et portables, impliquant de façon préférentielle un rendu sur casque. Il s'agit du domaine de la technologie binaurale qui consiste à reproduire les signaux acoustiques à l'entrée des conduits auditifs. Cette technologie repose principalement sur la reproduction des indices de localisation qui résultent de l'interaction des ondes acoustiques avec le corps de l'auditeur et sont par la même fortement individuels. Il est décrit comment modéliser ces indices (notamment les informations temporelles correspondant à l'Interaural Time Difference ou ITD et les informations spectrales associées aux Indices Spectraux ou IS) et comment individualiser cette modélisation.

Nous nous sommes intéressés à la "plasticité" comportementale de l'individu dès lors qu'il est privé de vision dès la naissance. Plus spécifiquement, nous avons étudié la façon dont cet individu pouvait se représenter mentalement l'espace dans lequel il évolue, et la façon dont il pouvait bénéficier des informations provenant des autres sens. Il s'agissait de comprendre si des étapes indispensables dans la construction des représentations mentales opéraient dès le plus jeune âge, et dans quelle mesure la plasticité comportementale/cérébrale pouvait pallier cette privation visuelle précoce. Trois séries d'expériences ont été proposées à des participants non-voyants de naissance, non-voyants tardifs, voyants privés de vision, et voyants gardant les yeux ouverts. La première consistait en une tâche d'exploration mentale, la seconde en une tâche de comparaison mentale des distances. Dans ces deux expériences, les participants apprenaient la configuration d'un environnement spatial par description verbale ou par exploration tactile. La dernière série d'expériences avait pour objectif d'examiner si l'immersion des individus dans l'environnement à mémoriser pouvait améliorer leurs performances. Nous avons conçu une plate-fore de Réalité Virtuelle en "audio 3D", permettant de générer un environnement spatial composé de sources sonores virtuelles dans lequel les individus avaient la possibilité de se déplacer. Les résultats suggèrent que la taille de la configuration initiale n'a pas d'effet sur le traitement des relations spatiales, même si les personnes non-voyantes précoces font plus d'erreurs d'évaluation des distances sur des configurations de petite taille.

La thèse s’inscrit dans un contexte d’essor de l’audio spatialisé (5.1, Dolby Atmos...). Parmi les formats audio 3D existants, l’ambisonie permet une représentation spatiale homogène du champ sonore et se prête naturellement à des manipulations : rotations, distorsion du champ sonore. L’objectif de cette thèse est de fournir un outil d’analyse et de manipulation de contenus audio (essentiellement vocaux) au format ambisonique. Un fonctionnement temps-réel et en conditions acoustiques réelles sont les principales contraintes à respecter. L’algorithme mis au point est basé sur une analyse en composantes indépendantes (ACI) appliquée trame à trame qui permet de décomposer le champ acoustique en un ensemble de contributions, correspondant à des sources (champ direct) ou à de la réverbération. Une étape de classification bayésienne, appliquée aux composantes extraites, permet alors l’identification et le dénombrement des sources sonores contenues dans le mélange. Les sources identifiées sont localisées grâce à la matrice de mélange obtenue par ACI, pour fournir une cartographie de la scène sonore. Une étude exhaustive des performances est menée sur des contenus réels en fonction de plusieurs paramètres : nombre de sources, environnement acoustique, longueur des trames, ou ordre ambisonique utilisé. Des résultats fiables en terme de localisation et de comptage de sources ont été obtenus pour des trames de quelques centaines de ms. L’algorithme, exploité comme prétraitement dans un prototype d’assistant vocal domestique, permet d’améliorer significativement les performances de reconnaissance, notamment en prise de son lointaine et en présence de sources interférentes. / The context of this thesis is the development of spatialized audio (5.1 contents, Dolby Atmos...) and particularly of 3D audio. Among the existing 3D audio formats, Ambisonics and Higher Order Ambisonics (HOA) allow a homogeneous spatial representation of a sound field and allows basics manipulations, like rotations or distorsions. The aim of the thesis is to provides efficient tools for ambisonics and HOA sound scene analyse and manipulations. A real-time implementation and robustness to reverberation are the main constraints to deal with. The implemented algorithm is based on a frame-by-frame Independent Component Analysis (ICA), wich decomposes the sound field into a set of acoustic contributions. Then a bayesian classification step is applied to the extracted components to identify the real sources and the residual reverberation. Direction of arrival of the sources are extracted from the mixing matrix estimated by ICA, according to the ambisonic formalism, and a real-time cartography of the sound scene is obtained. Performances have been evaluated in different acoustic environnements to assess the influence of several parameters such as the ambisonic order, the frame length or the number of sources. Accurate results in terms of source localization and source counting have been obtained for frame lengths of a few hundred milliseconds. The algorithm is exploited as a pre-processing step for a speech recognition prototype and allows a significant increasing of the recognition results, in far field conditions and in the presence of noise and interferent sources.

[pt] Durante muito tempo, a simulação computacional de fenômenos acústicos tem sido utilizada principalmente no projeto e estudo da acústica de ambientes. Recentemente, no entanto, podemos ver um maior interesse na utilização dessas simulações como forma de aumentar a sensação de imersão em ambientes virtuais. De forma geral, podemos dizer que um ambiente acústico virtual deve ser capaz de realizar duas tarefas: simular a propagação do som em um ambiente e ser capaz de reproduzi-lo com seu conteúdo espacial, isto é, reproduzi-lo de forma a permitir o reconhecimento da direção de propagação do som. Esta dissertação trata desses dois assuntos. São revistos os algoritmos mais comuns para o cálculo da propagação do som e, brevemente, as formas utilizadas para reproduzir áudio com conteúdo espacial. Também é apresentada a implementação de um ambiente acústico virtual, baseado nos algoritmos de beam tracing, que simula a propagação do som em ambientes bidimensionais. Como grande parte do cálculo de propagação é realizada em uma etapa de pré-processamento, o ambiente acústico virtual implementado trata apenas de fontes fixas no espaço. Os caminhos de propagação calculados são compostos de reflexões especulares e difrações do som. / [en] For a long time, computational simulation of acoustic phenomena has been used mainly in the design and study of the acoustic properties of concert and lecture halls. Recently, however, there is a growing interest in the use of such simulations in virtual environments in order to enhance users` immersion experience. Generally, we can say that a virtual acoustic environment must be able to accomplish two tasks: simulating the propagation of sound in an environment and reproducing audio with spatial content, that is, in a way that it allows the recognition of the direction of sound propagation. These tasks are the topic of the present dissertation. We begin with a revision of the most common algorithms for the simulation of sound propagation and, briefly, of the reproduction of audio with spatial content. We then present the implementation of a virtual acoustic environment, based on beam tracing algorithms, which simulates the propagation of sound waves in two-dimensional environments. As most of the computation is made in a pre-processing stage, the virtual acoustic environment implemented is appropriate only for spatially fixed sound sources. The propagation paths computed are made of specular reflections and of diffractions.

This thesis deals with library for recording video in the background of 3D application. A library is designed to work under the Microsoft Windows and Linux operation systems.  It records image and also sound. Image recording is supported in OpenGL, Direct3D9, Direct3D10 and Direct3D11. To reduce video data size, library supports image compression using MJPG codec. Audio is recorded by WaveForm audio, Windows Core Audio or ALSA. Recorded sound is for whole operation system. A library is able to record up to two audio streams to accommodate possible microphone input. It can mix audio data together if needed. Output data are then written into AVI file. It is possible to write own text information as overlay that is rendered as part of application screen output.