Denna uppsats faller inom ämnesområdet ljud-&musikproduktion och studiens syfte är att bidra med en djupare förståelse för hur dagens lyssnare upplever binaurala egenskaper i musik. Tidigare forskning föreslår att introducera framtida lyssnare till binaural musik genom så kallade hybridmixar, vanliga stereomixar med vissa binaurala egenskaper. Metodiskt utfördes ett lyssningstest där 15 ljudutbildade personer fick jämföra två låtar, båda mixade i stereo och binauralt. För den första låten applicerades en helt binaural strategi medans den andra låten mixades som en hybridmix. Resultaten visade på att en helt binauralt mixad låt mest bidrog med förvirring och inte var att föredra över en vanlig stereomix. Dock visade sig en blandning av stereo- och binaurala egenskaper i hybridmixen vara något som lyssnarna föredrog över vanlig stereomix då det tillförde något extra och spännande. Sammanfattningsvis tyder resultaten på att hybridmixad musik är något som lyssnarna upplever både nytt och spännande, vilket skulle kunna vara det första steget mot helt binaural musik.

En undersökning om HRTFs effektivitet när spelandet sker med ett öra.

The video game industry is experiencing tremendous growth and developing games that stand out against the competition requires ever increasing production budgets. Graphics have been a selling point for video games for a long time, resulting in huge technical advancements in visuals. Audio has received more attention during the recent years, both in terms of sound-design and technical developments. This study compared two alternatives for spatializing audio over headphones in a game setting, while also comparing them against a more traditional stereo output. A commercial game was used to provide the game setting and participants rated the three different outputs based on three attributes and described their experience using Microsoft Product Reaction Cards. No statistically significant differences were found between the three outputs in any of the six rated attributes when doing a paired t-test or a Wilcoxon Signed-Rank Test. Further analysis of frequency content, participants’ comments and Microsoft Product Reaction Cards were done to find out what sets the spatializing alternatives and stereo apart from each other.

With spatialized audio it lets developers create further experiences and provide accessibility options in video games and interactive media. The technology has evolved during the years, making it easier to use system such as Head-Related Transfer Functions in games. In this study the use of spatialized audio to navigate and locate smaller invisible objects in a larger area is explored, comparing spatialized audio panning with stereo panning. / <p>Det finns övrigt digitalt material (t.ex. film-, bild- eller ljudfiler) eller modeller/artefakter tillhörande examensarbetet som ska skickas till arkivet. / There are other digital material (eg film, image or audio files) or models/artifacts that belongs to the thesis and need to be archived. </p>

Diese Arbeit stellt grundlegende Konzepte und Tools vor, die bei der Arbeit mit Game Audio angewendet werden können. Sie soll dabei einen Überblick über das Thema Game Audio bieten und die Kernthemen sowohl in theoretischer als auch praktischer Form darstellen. So sollen die Grundlagen vermittelt werden, Game Audio zu implementieren. Die Arbeit richtet sich damit insbesondere an Einsteiger, die ggf. bereits erste Erfahrungen mit der Entwicklung von Spielen gemacht haben, jedoch bislang wenig Berührungspunkte mit dem Audiobereich von Games hatten. Den Hauptteil der Arbeit stellt der praktische Leitfaden dar. In diesem werden die wichtigsten Game Audio Themen besprochen. Dabei wird sowohl auf Game-spezifische und physikalische Grundprinzipien eingegangen als auch auf die praktische Umsetzung mit der jeweiligen Software. Begleitend dazu wurde ein Prototyp entwickelt, bei dem die Ausführungen des Leitfadens Anwendung fanden. Im Leitfaden wird u. a. geklärt, welche Tools es braucht, um Audio in Games zu implementieren und wie diese funktionieren. Repräsentativ wurde dafür die Game Engine Unity sowie die beiden dazu kompatiblen Audio-Middlewares FMOD und Wwise eingesetzt. Darüber hinaus wird die Verwendung von sogenannten Spatial Audio Plugins mit einbezogen und wie diese die Darstellung von 3D-Audio verbessern.:I Einleitung II Theoretische Grundlagen 1 Auditive Wahrnehmung 1.1 Schall 1.2 Menschliches Hörsystem 1.3 Räumliche Orientierung 2 Hörumgebung und Formate 3 Audio in digitalen Medien III Praktischer Leitfaden 1 Entwicklungsumgebung 1.1 Unity 1.2 FMOD 1.3 Wwise 1.4 Spatial Audio Plugins 1.5 Prototyp 2 Diegese 2.1 Theorie 2.2 Implementierung 3 Panning und HRTF 3.1 Theorie 3.2 Implementierung 4 Distance 4.1 Theorie 4.2 Implementierung 5 Occlusion, Obstruction und Exclusion 5.1 Theorie 5.2 Implementierung 6 Salienz 6.1 Theorie 6.2 Implementierung 7 Reverb 7.1 Theorie 7.2 Implementierung 8 Ambience 8.1 Theorie 8.2 Implementierung 9 Variabilität 9.1 Theorie 9.2 Implementierung 10 Dynamische Musik 10.1 Theorie 10.2 Implementierung IV Schlussbetrachtung 1 Diskussion 2 Zusammenfassung und Ausblick Literatur Internetquellen Abbildungsverzeichnis Tabellenverzeichnis

Virtual acoustic prototyping (auralization) is the rendering of a virtual sound field that is created from the calculated acoustic response of a modeled structure. Auralization is useful in the design and subjective evaluation of buildings, automobiles, and aircraft. The virtual acoustic prototyping method in this thesis uses finite element modeling (FEM), the equivalent source method (ESM), and head-related transfer functions (HRTFs). A tradeoff exists between the accuracy of the auralization process and the number of equivalent sources (and thus computational power) that are required. The goal of this research is to validate (numerically and subjectively) a virtual acoustic prototyping method for use in structural design; this thesis illustrates the first attempt to apply the aforementioned methods to a structure that represents a typical building or automobile. The structure's acoustics were modeled using FEM, ESM, and HRTFs. A prototype of the modeled structure was built. A 36% correlation was achieved between the model and prototype. Slight variations in boundary conditions caused significant FEM error, but the data represented a typical structure. Psychoacoustic comparison testing was performed to determine the number of equivalent sources that must be used in an auralization to accurately recreate the sound field. The number was found to be dependent on the type of noise that is played to the test subject. A clear relationship between the numerical correlation of two sounds and the percentage of subjects who could hear a difference between those two sounds was established for impulsive, broadband, and engine noises. / Master of Science

La variabilité inter-individuelle en localisation auditive a été étudiée à travers plusieurs expérimentations. La première expérimentation a exploré la variabilité inter-individuelle en localisation auditive de sources sonores virtuelles (HRTFs individuelles et non individuelles) dans une population de 25 auditeurs naïfs préalablement soumis à un entraînement procédural. D'après nos résultats, la variabilité inter-individuelle dans la dimension gauche/droite pourrait être liée à une préférence individuelle vers un type d'indices parmi ceux utilisables pour la localisation dans cette dimension (indices binauraux/spectraux). Dans les dimensions haut/bas et avant/arrière, la variabilité inter-individuelle pourrait être liée à l'attention spatiale et à sa variation entre les zones de l'espace. Une seconde expérimentation réalisée chez les mêmes auditeurs a montré qu'une amélioration des capacités de localisation était possible par un entraînement par feedback visuel ou audio-moteur. Cette amélioration était souvent fonction de la performance avant entraînement, conduisant ainsi à une réduction de la variabilité inter-individuelle après entraînement. La variabilité inter-individuelle dans la dimension haut/bas après entraînement était en partie expliquée par l'activité du faisceau olivocochléaire efférent médian (FOCEM), structure du système auditif probablement impliquée dans le codage des indices spectraux de localisation. Ce résultat a été conforté par les résultats d'une troisième expérimentation qui ont révélé que les auditeurs dont la performance de localisation était la moins altérée dans le bruit étaient ceux dont le FOCEM avait été déterminé comme le plus actif. / Several experiments were performed to investigate interindividual variability in auditory localization. The first experiment explored interindividual variability in the localization of virtual sound sources (individualized and non-individualized HRTFs) in 25 naive listeners following procedural training. The results suggest that interindividual variability in localization performance in the left-right dimension stems from interindividual differences in the use of the different types of cues available for sound localization in this dimension (binaural/spectral cues). Interindividual variability in sound-localization performance in the up-down and front-back dimensions appears to be related primarily to spatial attention and to its variation across the area of space. A second experiment in the same group of listeners showed that localization performance can be improved by the provision of visual or auditory-motor feedback. The improvement depended upon pre-training performance, in such a way that interindividual variability in performance was smaller after training than before training. In addition, interindividual variability in the up-down dimension after training was found to be related to interindividual differences in the activity of the medial olivocochlear bundle (MOCB), an efferent auditory system that is currently likely thought to be involved in the processing of spectral cues for sound localization. This result was supported by the results of a third experiment which revealed that the listeners in whom localization performance was least impacted by background noise were those in whom the strongest MOCB had been measured.

Detta kandidatarbete handlar om hur implementation av binauralt ljud kan användas för att öka precisionen för spelares ljudlokalisering i datorspel. I detta arbete skapades en artefakt som testade spelares förmåga att lokalisera ljudkällor på olika vertikala nivåer. Resultatet analyserades och problematiserades med kvantitativa- och kvalitativa undersökningsmetoder. Arbetet kopplas till tidigare forskning inom binauralt ljud och hur det används inom digitala medier. Studien tar även upp ämnen som involverar den mänskliga hörseln och ljudimplementation i datorspel.

Ce projet de recherche a été mené dans le cadre du groupe de recherche NECOTIS (Neurosciences Computationnelles et Traitement Intelligent du Signal). Ce groupe de recherche agit principalement dans le domaine du traitement de l’image et de l’audio grâce à des méthodes de traitement de signal bio-inspirées. Différentes applications ont été développées en reconnaissance de la parole, dans la séparation de sources sonores ou encore en reconnaissance d’images. Bien qu’ils existent depuis plus de quarante ans, les systèmes d’aide aux personnes atteintes de déficiences visuelles, que cela soit des prothèses visuelles (invasif) ou des système de substitution sensorielle (non invasif), n’ont pas percé dans le milieu du handicap. Il serait difficile d’imputer cet état de fait à des limitations technologiques : depuis les premières approches, les prothèses visuelles ou les systèmes de substitution sensorielle n’ont cessé de se perfectionner et de se diversifier. Toutefois, si la question de savoir comment transmettre le signal est bien documentée, la question de savoir quel signal transmettre a été plus rarement abordée. Différents systèmes ont été développés mais le plus impressionnant est le récit des utilisateurs de tels systèmes. Ainsi, il fait plaisir de lire que l’artiste Neil Harbisson, qui ne voit aucune couleur, explique comment une caméra attachée à se tête lui permet d’entendre des couleurs et ainsi de pouvoir peindre [Montandon, 2004]. Un autre exemple tout aussi impressionnant, la scientifique Wanda Díaz-Merced, qui travaille pour xSonify, explique comment elle analyse différentes données en les encodant de façon sonore [Feder, 2012]. C’est dans ce cadre que ce projet de substitution sensorielle de la vision vers l’audition a été développé. En effet, nous avons utilisé le traitement de signal bio-inspiré afin d’extraire différentes caractéristiques représentatives de la vision. De plus, nous avons essayé de générer un son agréable à l’oreille et représentatif de l’environnement dans lequel évolue la personne. Ce projet a donc davantage été axé sur la nature du signal transmis à la personne ayant des déficiences visuelles.

The main focus of the research presented within this thesis is, as the title suggests, binaural spatialization. Binaural technology and, especially, the binaural recording technique are not particu-larly recent. Nevertheless, the interest in this technology has lately become substantial due to the increase in the calculation power of personal computers, which started to allow the complete and accurate real-time simulation of three-dimensional sound-fields over headphones. The goals of this body of research have been determined in order to provide elements of novelty and of contribution to the state of the art in the field of binaural spatialization. A brief summary of these is found in the following list: • The development and implementation of a binaural spatialization technique with Distance Simulation, based on the individual simulation of the distance cues and Binaural Reverb, in turn based on the weighted mix between the signals convolved with the different HRIR and BRIR sets; • The development and implementation of a characterization process for modifying a BRIR set in order to simulate different environments with different characteristics in terms of frequency response and reverb time; • The creation of a real-time and offline binaural spatialization application, imple-menting the techniques cited in the previous points, and including a set of multichannel(and Ambisonics)-to-binaural conversion tools. • The performance of a perceptual evaluation stage to verify the effectiveness, realism, and quality of the techniques developed, and • The application and use of the developed tools within both scientific and artistic “case studies”. In the following chapters, sections, and subsections, the research performed between January 2006 and March 2010 will be described, outlining the different stages before, during, and after the development of the software platform, analysing the results of the perceptual evaluations and drawing conclusions that could, in the future, be considered the starting point for new and innovative research projects.