The main focus of the research presented within this thesis is, as the title suggests, binaural spatialization. Binaural technology and, especially, the binaural recording technique are not particu-larly recent. Nevertheless, the interest in this technology has lately become substantial due to the increase in the calculation power of personal computers, which started to allow the complete and accurate real-time simulation of three-dimensional sound-fields over headphones. The goals of this body of research have been determined in order to provide elements of novelty and of contribution to the state of the art in the field of binaural spatialization. A brief summary of these is found in the following list: • The development and implementation of a binaural spatialization technique with Distance Simulation, based on the individual simulation of the distance cues and Binaural Reverb, in turn based on the weighted mix between the signals convolved with the different HRIR and BRIR sets; • The development and implementation of a characterization process for modifying a BRIR set in order to simulate different environments with different characteristics in terms of frequency response and reverb time; • The creation of a real-time and offline binaural spatialization application, imple-menting the techniques cited in the previous points, and including a set of multichannel(and Ambisonics)-to-binaural conversion tools. • The performance of a perceptual evaluation stage to verify the effectiveness, realism, and quality of the techniques developed, and • The application and use of the developed tools within both scientific and artistic “case studies”. In the following chapters, sections, and subsections, the research performed between January 2006 and March 2010 will be described, outlining the different stages before, during, and after the development of the software platform, analysing the results of the perceptual evaluations and drawing conclusions that could, in the future, be considered the starting point for new and innovative research projects.

Att använda spatialt ljud när det kommer till utforskning av en spelvärld blir allt vanligare. Hur kan skräckljud påverka intresset av utforskning? Genom att blanda maskinljud med djurläten för att skapa abstrakta ljud med olika fokusområden av frekvensinformation för att se hur spelare reagerar när de utforskar en virtuellstadsmiljö. Beroende på hur frekvensområdet ser ut gör det tydligare att höra ljudet och därefter kunna lokalisera ljudkällan. Genom att använda spatialljudimplementation och ljudocklusion för att skapa en trovärdig lyssnarupplevelse för spelaren samt att kunna se hur navigering och lokalisering påverkas. Användning av spatialt ljud och hur olika frekvensområden kan göra det enklare att navigera kan ha stor nytta inom framtida arbeten för att ge individer med nedsatt syn en bättre spelupplevelse. / <p>Det finns övrigt digitalt material (t.ex. film-, bild- eller ljudfiler) eller modeller/artefakter tillhörande examensarbetet som ska skickas till arkivet.</p>

Mainstream video games retain players' interest with dynamic updates of graphics such as game characters, levels, themes and other game inventory items. For visually impaired players, updates in graphics for player retention are not very efficient. Video games for people with serious visual impairment rely heavily on audio. The players are presented with either frequent audio instructions or 3D audio to be able to roughly judge the state of the game. In both cases, the players could either overwhelmed by frequent audio instructions or might lose interest in the game after some time. A possible reason could be that there are limited ways to evolve these games to keep the players interested as compared to games developed for sighted players. Multiplayer functionality can potentially bring a continuous stream of challenges and competitive situations in games. The research question investigated in this thesis focuses on whether the addition of multiplayer functionality in 3D audio game will increase the level of player interest. The hypothesis was evaluated by performing an experiment. The results of the study showed that multiplayer functionality can significantly increase the level of player interest and enjoyment in 3D audio based game for people with serious visual impairment.

With spatialized audio being tools for developers to enhance the experience  of playing a game, how does the use of spatialized audio and different types of sounds affect the imagination and the feeling of being immersed in the sound environment? In this study, the use of spatialized audio and complete darkness explores the feelings and how someone perceives the different sounds being heard. / <p>Det finns övrigt digitalt material (t.ex. film-, bild- eller ljudfiler) eller modeller/artefakter tillhörande examensarbetet som ska skickas till arkivet.</p><p>There are other digital material (eg film, image or audio files) or models/artifacts that belongs to the thesis and need to be archived.</p>

This thesis focuses on the mapping of the microphone array’s response to match the characteristics of a human subject’s Head-Related Transfer Function (HRTF). The mapping of the response is first explored with a ‘monaural HRTF matching’ that filters the response independent of the arrival angles. For arbitrary array geometry with the listener external to the acoustic, the monaural HRTF matching did not provide listeners with enough spatial information to precisely localize sound sources. To correct this, a preprocessor control algorithm was added to the HRTF matching, a ‘binaural HRTF matching’ process. The binaural HRTF matching increased the listeners’ performance in perceiving the location of a sound source. With the addition of simulated head movement, the listeners’ perception increased by 20%. An issue with this approach is the use of HRTFs other than the listeners’ measured HRTF, creating a psychoacoustic based error in localization, i.e., front/back confusion. / Master of Science

16 personer deltog i en studie vars syfte var att undersöka hur deltagare upplevde olika implementationssätt av spatialt ljud. Studien presenterar tidigare forskning och ett teoretiskt ramverk för att ge läsaren inblick i ämnet, där bland annat tekniska begrepp såsom HRTF och spatialt ljud redovisas. Studiens omfattning är otillräcklig för att etablera konkreta bevis gällande vilket implementationssätt som är bättre eller sämre än något annat i förhållande till vad som föredras av användare. Dock kan man se tendenser gällande specifika attribut i ljudbilden som bidrar till deltagares närvaro i miljön, såsom occlusion och reverb. För framtida arbete kan studien utvecklas genom att inkludera fler parametrar såsom att titta på en specifik genre inom spel samt inkludera insamling av kvantitativa data som används för att utvärdera effektiviteten hos de olika systemen. / <p>Det finns övrigt digitalt material (t.ex. film-, bild- eller ljudfiler) eller modeller/artefakter tillhörande examensarbetet som ska skickas till arkivet.</p><p>There are other digital material (eg film, image or audio files) or models/artifacts that belongs to the thesis and need to be archived.</p>

La synthèse binaurale est la technique de spatialisation sonore la plus proche de<br />l'écoute naturelle. Elle permet un rendu spatialisé d'une source monophonique à une po-<br />sition donnée avec seulement deux filtres qui correspondent aux oreilles gauche et droite :<br />les HRTF (Head Related Transfer Function). L'inconvénient majeur de la technique bi-<br />naurale repose sur le fait que les HRTF, liées à la morphologie de l'auditeur, sont propres<br />à chaque utilisateur. Une écoute avec des HRTF non-individuelles comporte des artefacts<br />audibles. Il faut donc acquérir des HRTF individuelles. Cette thèse aborde le problème<br />de l'individualisation de la synthèse binaurale dans le cadre de son implémentation en un<br />retard pur, la différence interaurale de temps (ITD), et un filtre à phase minimale déter-<br />miné par le module de la HRTF. Le travail sur l'ITD permet de valider l'implémentation<br />choisie même pour les positions où les HRTF sont mal décrites par des filtres à phase<br />minimale et permet de déterminer, parmi les méthodes classiques de calcul de l'ITD,<br />celles qui estiment une ITD proche de la perception. Une étude expérimentale est aussi<br />menée pour établir la résolution de l'ITD avec l'angle d'élévation. Les résultats indiquent<br />la nécessité perceptive de reproduire les variations de l'ITD en élévation. Une nouvelle<br />formule d'estimation de l'ITD créée sur la base d'un modèle de tête sphérique, la formule<br />de déplacement des oreilles (FDO), est développée pour rendre compte de ces variations.<br />L'optimisation des paramètres de cette formule aux ITD de toute une base de données<br />de HRTF permet d'entrevoir une formulation moyenne convenant pour un grand nombre<br />de personne et pour de nombreuses applications. L'étude s'est ensuite focalisée sur la<br />modélisation du module spectral (filtre à phase minimale). Le travail réalisé sur l'appli-<br />cation des méthodes de calcul par éléments de frontière (BEM pour Boundary Element<br />Method) pour l'acquisition de HRTF, indique que cette méthode, peut notamment être<br />utilisée en complément des mesures pour l'acquisition de la partie basse fréquence des<br />HRTF. Une approche originale, qui applique des techniques d'apprentissage statistique,<br />est proposée et étudiée pour la modélisation de HRTF. Un réseau de neurones artificiels<br />(RNA) est entra^³né pour calculer des HRTF d'un individu à partir de la connaissance<br />des HRTF mesurées en un nombre réduit de positions. Les premiers résultats sont en-<br />courageants : le modèle permet d'atteindre un degré assez fin d'individualisation, ce qui<br />suggère un protocole simplifié d'acquisition de HRTF. Un faible nombre de mesures est<br />acquis et les autres sont prédites par le modèle.

Les systèmes de réalité virtuelle ont pour objectif de plonger les utilisateurs dans un espace suggéré artificiellement par des informations multi-sensorielles, auditive entre autres. Le positionnement des sources sonores dans l'espace constitue un facteur important d'immersion et contribue grandement au réalisme d'une scène virtuelle. La synthèse binaurale est la technique de spatialisation sonore qui s'approche le plus de l'écoute naturelle. Elle permet de spatialiser un événement sonore monophonique à l'aide de seulement deux filtres, les HRTF (Head-Related Transfer Functions), caractérisant la propagation acoustique de la source vers les oreilles d'un auditeur. Les différences de temps d'arrivée et de niveau de pression au niveau des tympans sont des indices de localisation primordiaux pour estimer de la latéralité d'une source, mais sont insuffisants pour la situer précisément en élévation. Le contenu spectral des HRTF contient les indices permettant cette discrimination, notamment les pics et creux en hautes fréquences induits par les effets de diffraction au sein des pavillons d'oreille. L'inconvénient majeur de la technique binaurale repose donc sur le fait que les HRTF sont propres à chaque utilisateur, car liés aux déformations subies par l'onde sonore lorsqu'elle rencontre les différentes parties du corps humain. Une écoute avec des filtres non individuels comporte des artéfacts perceptibles. Il est donc nécessaire d'acquérir des HRTF individuelles. La mesure ou le calcul numérique sont des méthodes couramment utilisées pour l'estimation de ces dernières, mais sont trop coûteuse en temps et en moyen pour être employées dans des applications grand public. D'autres procédés de personnalisation des HRTF tentent de modéliser le lien entre la morphologie d'un auditeur et les indices de localisation qui lui sont associés, en se basant sur des mesures anthropométriques. Cependant, l'estimation correcte des paramètres morphologiques ne peut être garantie que via l'utilisation d'outils de mesure robuste et souvent onéreux, notamment pour les dimensions liées aux pavillons d'oreille. Cette thèse propose une nouvelle approche d'individualisation des HRTF, fondée sur une séparation des indices de localisation liés au torse et à la tête de ceux liés aux pavillons. La composante tête/torse est modélisée numériquement alors que la composante pavillonnaire est recrée à l'aide de réseaux de haut-parleurs entourant chacun des pavillons d'oreille de l'auditeur. L'idée de cette méthode est d'essayer d'exciter les véritables indices acoustiques induits par la diffraction du front d'onde reconstruit sur les pavillons. Ce nouveau concept, que nous appellerons " holophonie binaurale ", car dérivé de techniques holophonique et binaurale, est développé dans ce manuscrit : différentes simulations ont été menées dans des cas de figure idéaux, et différentes optimisations sont proposées pour améliorer le fonctionnement du procédé pour un nombre réaliste de transducteurs. Ces études ont conduit à la conception et à l'évaluation d'un prototype de casque multi-haut-parleur dédié.

La plupart des applications qui intègrent le son 3D en environnement virtuel sont limitées à la simulation acoustique. L'objectif de cette thèse est d'étudier l'apport du son 3D dans l'interaction en environnement virtuel. Nous avons développé une technique de stimulation sonore appelée: Sensation Artificielle Spatialisée Auditive (SASA), basée sur la création d'effets sonores. Cette technique restitue des sensations de spatialisation de son permettant la localisation précise (en azimut et en élévation) de sources sonores. Afin d'améliorer le temps de localisation de sources sonores, nous avons développé un modèle qui intègre la fonction HRTF (Head-Related Transfer Function) avec la technique SASA. Pour simuler la profondeur de sources sonores, nous avons développé une technique basée sur la combinaison entre l'indice d'intensité et les différences interaurales de temps. Les techniques développées dans le cadre de cette thèse ont été utilisées pour le guidage auditif afin de fournir des informations spatiales en azimut, en élévation et en profondeur. Nous avons appliqué cette technique dans la simulation chirurgicale pour assister l'opérateur dans la phase de triangulation. Nous avons validé cette approche en termes de performance de manipulation et du retour d'informations de l'utilisateur. Les résultats obtenus des travaux de cette thèse sont prometteurs pour l'utilisation de son 3D dans l'interaction en environnement virtuel.

Spatialization of audio in the vertical plane has historically been limited. Instead, sound designers have used basic DSP to create pseudo height effects to explain the positions of corresponding objects. In recent years, binaural synthesis has become more widespread following an increase in the use of software rendering methods. With these advancements, uncertainty seems to be present around best practices when combining sound design with binaural synthesis for vertical placement of audio cues in games. This thesis compares the vertical localization performance between head related transfer functions (HRTFs) and stereo interaural level difference (ILD), when sounds have been designed with basic DSP to have auditory spatial schema (ASC). A sort of embedment of positional information. It was found that there was no significant time difference between the conditions, while hitcount, the number of correct directions selected, displayed a significant difference in some of the comparisons.