Sonification allows for the analysis and interpretation of data through its rendering into sound. It is a method that remains largely unexplored from a digital humanities perspective. The present thesis addresses this research gap by exploring aspects of sonification as a mode of data perceptualization. Methodologically, it combines an extensive review of sonification literature with the design of a sonification prototype. The prototype is created using an exploratory programming approach and is evaluated through a small user study. One of the main challenges of using sonification within the humanities consists in aligning it with humanistic interpretative and critical modes of inquiry, in the thesis understood through the framework of Johanna Drucker’s critical hermeneutics. Another challenge is related to the shortage of existing projects and previous research, and also to a lack of relatively easy-to-use sonification tools. In the thesis, these challenges are primarily made visible through the process of prototype design and through the subsequent user study. Nevertheless, the literature review successfully uncovers a number of potential strategies for the realization of humanistic-interpretative sonification design, focusing especially on the concepts of phenomenology of listening and musical sonification. By applying musical sonification, it becomes possible to move beyond the simple representation of data, allowing instead for interpretative approaches. The findings presented in the thesis provide foundations for future research into humanities sonification.

Unbekannte Ziele in öffentlichen Gebäuden zu erreichen, ist ein besonderes Problem für blinde und sehbehinderte Menschen. Es gibt elektronische Hilfsmittel, die dieses Problem lösen, aber meist auf sprachlicher Ausgabe basieren. Die non-verbale Ausgabe der Wegführung hat den Vorteil, dass Informationsübertragung durch kürzere Sinnesreize weniger belasten. Die vorliegende Arbeit präsentiert eine Benutzungsschnittstelle zur Routenführung durch Sonifikation. Es wurde dafür ein Set von akustischen Signalen erarbeitet, die durch Tonhöhenunterschiede und Stereopanorama Richtungen angeben. Die Wahl dieser Parameter wurde durch einen Labortest ermittelt. Es wurde untersucht, welche Informationen für eine erfolgreiche Routenführung notwendig sind. Durch eine einfach gehaltene Funktionsweise mit turn-by-turn Anweisungen und ohne große Anforderungen an akustische Schnittstellen ist die Benutzungsschnittstelle leicht auf bestehende Navigationssysteme übertragbar. In einem Pilottest wurde das Führungskonzept in einer realitätsnahen Umgebung auf seine Gebrauchstauglichkeit hin überprüft.:1 Einleitung 2 Orientierung Blinder und Sehbehinderter 3 Sonifikation 4 Anforderungen und Abgrenzungen 5 Richtungssignale 6 Entwurf 7 Pilot-Studie 8 Fazit Soundverzeichnis Literaturverzeichnis Abbildungsverzeichnis Tabellenverzeichnis A.1 Befragungsbogen Richtungsdarstellung A.2 Befragungsbogen Pilotversuch

Historically, the education of surgical navigation in minimally invasive neurosurgery has been constrained by several factors. Medical students have been required to physically be in the operating room to observe a teacher perform the different procedures. This restricts their opportunities to gain valuable hands-on experience in their field. An extended reality simulation system that employs auditory feedback in the form of sonification could be used to provide an inexpensive alternative to this traditional approach. Such a system would allow medical students to get practical experience with valuable insights during their initial years of training without requiring access to the operating room. In order to perform a first evaluation of the impact of sonification on neurosurgical learning using extended reality simulations, a prototype of a surgical simulation tool with six possible sonifications was implemented for the task of aligning a catheter against a target angle. The sonification types studied were spatial, psychoacoustic and direct parameter-mapping, each of which encoded the component angles either in parallel or sequentially. The sonifications were evaluated against each other and the baseline condition in a comparative mixed-design user study measuring the participants efficacy as accuracy, precision, time-to-completion and perceived workload for an assisted neurosurgical simulation task. Participants were found to be significantly slower when using the psychoacoustic sonification as compared to using no aid. Both the spatial and direct sonification showed non-significant tendencies to be slower than the baseline condition. Whilst no significant difference was found between the sonifications, the participants tended to have higher efficacy when using the spatial and direct sonifications, than with the psychoacoustic sonification. Hence these sonifications show the most promise as possible candidates for an auditory feedback system in an extended reality simulator for surgical navigation. However, further evaluation is needed to conclude the full effect of the direct and spatial sonifications on the students’ efficacy. / Utbildningen av kirurgisk navigation för minimalinvasiva neurokirurgiska operationer har historiskt begränsats av flera anledningar. För att kunna lära sig, så har läkarstudenter behövt fysiskt närvara i operationssalen för att observera en lärare genomföra olika operationer. Det har begränsat studenternas möjlighet att få viktig praktisk erfarenhet inom sitt fält. Som ett alternativ till traditionella metoder skulle ett simulationssystem baserat på extended reality (utökat verklighet) och som använder auditiv återkoppling i form av sonifikation kunna användas. Ett sådant system skulle kunna ge läkarstudenter möjligheten att träna praktiskt utanför operationssalen samtidigt som de kan få direkt återkoppling under operationens gång. För att genomföra en första utvärdering av sonifikations påverkan på inlärningen av neurokirurgi när simulationer baserad på extended reality används, så utvecklades en prototyp av en kirurgisk simulator med sex möjliga sonifikationer för uppgiften att positionera en kateter så att den är vinklad i en given riktning. Sonifikationerna byggde på parametrisk mappning baserad på spatiala, psykoakustiska eller direkta metoder. För vardera av de tre metoderna kunde komponent vinklarna antingen kommuniceras parallellt eller sekventiellt. Prototyperna utvärderades mot varandra och basfallet då ingen hjälp användes. Utvärderingen genomfördes som en användarstudie av mixed design (blandad design). Användarnas effektivitet mättes som noggrannhet, precision, använd tid och upplevd arbetsbörda. Deltagarna var signifikant långsammare än basfallet när den psykoakustiska sonifikationen användes. Både den spatiala och direkta sonifikation påvisade en likartad, men icke-signifikanta tendens att va långsammare än basfallet. Medans ingen signifikant skillnad upptäcktes mellan sonifikationerna, så tenderade deltagarna att va mer effektiva när de använde den spatiala och direkta sonifikationerna, i jämförelse med när de använde den psykoakustiska sonifikationen. Därmed verkar dessa två metoder för sonifikation vara de mest lovande kandidater för ett auditivt återkopplingssystem i en extended reality simulator för kirurgisk navigation. Dock behövs vidare utvärdering för att finna en slutsats om spatiala och direkta sonifikationers fulla påverkan på läkarstudenternas effektivitet.

Ce mémoire présente une composition d’études et de travaux de recherche orientés autour de trois grandes thématiques : la synthèse, la reproduction et la perception des sons, en considérant à la fois les sons de nature musicale mais aussi environnementale. Il vise en outre un champ d’application, le design sonore, qui implique globalement la création intentionnelle de sons du quotidien. La structure du document est conçu selon un schéma relativement uniforme et comporte, pour chaque partie, une présentation générale de la thématique apportant des éléments théoriques et des données relatives à l’état de l’art, suivie de développements spécifiques permettant de converger vers les sujets d’étude propres à chaque thème – explicitement, formalisme modal dans la synthèse par modélisation physique, pour la partie "Synthèse" ; mesure et contrôle de la directivité des instruments de musique, pour la partie "Reproduction" ; timbre et identification des sources sonores, pour la partie "Perception"– puis d’une présentation détaillée des travaux personnels relatifs à chacun des sujets, le cas échéant, sous la forme d’un article publié. Ces divers éléments de connaissance et d’expérience propose donc une contribution personnelle et originale, volontairement inscrite dans un cadre de recherche élargi, pluridisciplinaire et appliqué. / This dissertation presents a composition of studies and research works articulated around three main topics : synthesis, reproduction and perception of sounds, considering both musical and environmental sounds. Moreover, it focuses on an application field, the sound design, that globally involves the conception of intentional everyday sounds. The document is based on a rather uniform structure and contains, for each part, a general presentation of the topic which brings theoretical elements together with an overview of the state-of-the-art, followed by more precise developments in order to focus on the specific matters related to each topic – in detail, modal formalism in sound synthesis by physical modeling, for the "Synthesis" section ; measurement and control of musical instruments directivity, for the "Reproduction" section ; timbre and sound sources identification, for the "Perception" section – and then followed by a detailed presentation of the personal works related to each matter, in some cases, in the form of published papers. Then, these several elements of knowledge and experience offer a personal and original contribution, deliberately put in a broad, multidisciplinary and applied framework.

Ce mémoire présente une composition d’études et de travaux de recherche orientés autour de trois grandes thématiques : la synthèse, la reproduction et la perception des sons, en considérant à la fois les sons de nature musicale mais aussi environnementale. Il vise en outre un champ d’application, le design sonore, qui implique globalement la création intentionnelle de sons du quotidien. La structure du document est conçu selon un schéma relativement uniforme et comporte, pour chaque partie, une présentation générale de la thématique apportant des éléments théoriques et des données relatives à l’état de l’art, suivie de développements spécifiques permettant de converger vers les sujets d’étude propres à chaque thème – explicitement, formalisme modal dans la synthèse par modélisation physique, pour la partie "Synthèse" ; mesure et contrôle de la directivité des instruments de musique, pour la partie "Reproduction" ; timbre et identification des sources sonores, pour la partie "Perception"– puis d’une présentation détaillée des travaux personnels relatifs à chacun des sujets, le cas échéant, sous la forme d’un article publié. Ces divers éléments de connaissance et d’expérience propose donc une contribution personnelle et originale, volontairement inscrite dans un cadre de recherche élargi, pluridisciplinaire et appliqué. / This dissertation presents a composition of studies and research works articulated around three main topics : synthesis, reproduction and perception of sounds, considering both musical and environmental sounds. Moreover, it focuses on an application field, the sound design, that globally involves the conception of intentional everyday sounds. The document is based on a rather uniform structure and contains, for each part, a general presentation of the topic which brings theoretical elements together with an overview of the state-of-the-art, followed by more precise developments in order to focus on the specific matters related to each topic – in detail, modal formalism in sound synthesis by physical modeling, for the "Synthesis" section ; measurement and control of musical instruments directivity, for the "Reproduction" section ; timbre and sound sources identification, for the "Perception" section – and then followed by a detailed presentation of the personal works related to each matter, in some cases, in the form of published papers. Then, these several elements of knowledge and experience offer a personal and original contribution, deliberately put in a broad, multidisciplinary and applied framework.

Ce mémoire présente une composition d’études et de travaux de recherche orientés autour de trois grandes thématiques : la synthèse, la reproduction et la perception des sons, en considérant à la fois les sons de nature musicale mais aussi environnementale. Il vise en outre un champ d’application, le design sonore, qui implique globalement la création intentionnelle de sons du quotidien. La structure du document est conçu selon un schéma relativement uniforme et comporte, pour chaque partie, une présentation générale de la thématique apportant des éléments théoriques et des données relatives à l’état de l’art, suivie de développements spécifiques permettant de converger vers les sujets d’étude propres à chaque thème – explicitement, formalisme modal dans la synthèse par modélisation physique, pour la partie "Synthèse" ; mesure et contrôle de la directivité des instruments de musique, pour la partie "Reproduction" ; timbre et identification des sources sonores, pour la partie "Perception"– puis d’une présentation détaillée des travaux personnels relatifs à chacun des sujets, le cas échéant, sous la forme d’un article publié. Ces divers éléments de connaissance et d’expérience propose donc une contribution personnelle et originale, volontairement inscrite dans un cadre de recherche élargi, pluridisciplinaire et appliqué. / This dissertation presents a composition of studies and research works articulated around three main topics : synthesis, reproduction and perception of sounds, considering both musical and environmental sounds. Moreover, it focuses on an application field, the sound design, that globally involves the conception of intentional everyday sounds. The document is based on a rather uniform structure and contains, for each part, a general presentation of the topic which brings theoretical elements together with an overview of the state-of-the-art, followed by more precise developments in order to focus on the specific matters related to each topic – in detail, modal formalism in sound synthesis by physical modeling, for the "Synthesis" section ; measurement and control of musical instruments directivity, for the "Reproduction" section ; timbre and sound sources identification, for the "Perception" section – and then followed by a detailed presentation of the personal works related to each matter, in some cases, in the form of published papers. Then, these several elements of knowledge and experience offer a personal and original contribution, deliberately put in a broad, multidisciplinary and applied framework.

Dans cette thèse, nous proposons la mise en place d'un système de réalité augmentée fondé sur le son 3D et la sonification, ayant pour objectif de fournir les informations nécessaires aux non- voyants pour un déplacement fiable et sûr. La conception de ce système a été abordée selon trois axes. L'utilisation de la synthèse binaurale pour générer des sons 3D est limitée par le problème de l'individualisation des HRTF. Une méthode a été mise en place pour adapter les individus aux HRTF en utilisant la plasticité du cerveau. Évaluée avec une expérience de localisation, cette méthode a permis de montrer les possibilités d'acquisition rapide d'une carte audio-spatiale virtuelle sans utiliser la vision. La sonification de données spatiales a été étudiée dans le cadre d'un système permettant la préhension d'objet dans l'espace péripersonnel. Les capacités de localisation de sources sonores réelles et virtuelles ont été étudiées avec un test de localisation. Une technique de sonification de la distance a été développée. Consistant à relier le paramètre à sonifier aux paramètres d'un effet audio, cette technique peut être appliquée à tout type de son sans nécessiter d'apprentissage supplémentaire. Une stratégie de sonification permettant de prendre en compte les préférences des utilisateurs a été mise en place. Les " morphocons " sont des icônes sonores définis par des motifs de paramètres acoustiques. Cette méthode permet la construction d'un vocabulaire sonore indépendant du son utilisé. Un test de catégorisation a montré que les sujets sont capables de reconnaître des icônes sonores sur la base d'une description morphologique indépendamment du type de son utilisé.

Auditory graphs and active point estimation provide an inexpensive, accessible alternative for low vision and blind K-12 students using number lines and coordinate graphs. In the first phase of this research program, a series of four psychophysics studies demonstrated an interactive auditory number line that enables blind, low vision, and sighted people to find small targets with a laptop, headphones, and a mouse or a keyboard. The Fitts' Law studies showed that, given appropriate auditory feedback, blind people can use a mouse. In addition, auditory feedback can generate target response patterns similar to when people use visual feedback. Phase two introduced SQUARE, a novel method for building accessible alternatives to existing education technologies. The standards-driven and teacher-directed approach generated 17 graphing standards for sixth grade mathematics, all of which emphasized point estimation. It also showed that how only few basic behavioral components are necessary for these graphing problems. The third phase evaluated active point estimation tools in terms of training, classroom situations, and a testing situation. This work shows that students can learn to graph in K-12 environments, regardless of their visual impairment. It also provides several technologies used for graphing, and methods to further develop education accessibility research.

Nyfikenhet och känsla av att kontakt med vår omgivning är viktigt för vårt välbefinnande. Däremot bidrar kombinationen av att vara hemmablind och mobiltelefonens tjuvande av vår uppmärksamhet till att vi distanserar än mer från den. Genom att engagera människor genom ljud för att rikta vår uppmärksamhet mot omgivningen och bort från mobiltelefonen kan man väcka nyfikenheten till liv, och på så sätt få ökad kontakt med omgivningen. En konceptdriven designstudie ligger till grund för ett designkoncept som den här kandidatuppsatsen presenterar. Syftet är att studien skall skall bidra med insikter och lärdomar för framtida forskning inom området. Arbetet undersöker hur användarupplevelsen av ett förstärkt ljudlandskap potentiellt kan designas för att människor ska få ökad kontakt med sin omgivning. I en empiriskt studie får deltagarna jämföra hur deras sinnesstämning påverkas av ett förstärkt ljudlandskap med det naturliga ljudlandskapet i en, för dem, känd miljö. Resultatet visar att det går att påverka användarens sinnesstämning, men att det råder delade meningar om den ger ökad kontakt med omgivningen. Slutsatsen blir att; sinnesstämningen påverkas olika, vilket kan bero på vilka personliga preferenser användaren redan har med sig. / Curiosity and a sense of connection with our everyday environment is important for our well-being. However, the combination of not being able to appreciate what is close to us and smartphones stealing our attention just makes a larger gap between us and everyday environments. By engaging people through sound to direct our focus towards our surroundings and away from the smartphone, you can bring your curiosity to life, and in that way get an enhanced connection to the everyday environment. This paper presents a design concept based on a study made with a Concept-Driven Design method. The purpose of the suggested design concept is that the insights and knowledge that is drawn from it can be used to help future research within the field. This paper examines how a user experience of an augmented soundscape could be designed for people to enhance their connection to their surroundings. In an empirical study, participants get to compare how their mood is affected by a natural soundscape compared to an augmented soundscape in an everyday environment. The result shows that all of the participants' mood was affected by the soundscape, however when it comes to enhanced connection to their surroundings only 40% of the participants said it did. A conclusion was made that the mood is affected differently depending on personal preferences and previous experience.