Audio has the capacity to display geospatial data. As auditory display design grapples with the challenge of aligning the spatial dimensions of the data with the dimensions of the display, this dissertation investigates the role of time in auditory geographic maps. Three auditory map types translate geospatial data into collections of musical notes, and arrangement of those notes in time vary across three map types: sequential, augmented-sequential, and concurrent. Behavioral and neuroimaging methods assess the auditory symbology. A behavioral task establishes geographic context, and neuroimaging provides a quantitative measure of brain responses to the behavioral task under recall and active listening response conditions. In both behavioral and neuroimaging data, two paired contrasts measure differences between the sequential and augmented-sequential map types, and between the augmented- sequential and concurrent map types. Behavioral data reveal differences in both response time and accuracy. Response times for the augmented-sequential map type are substantially longer in both contrasts under the active response condition. Accuracy is lower for concurrent maps than for augmented-sequential maps; response condition influences direction of differences in accuracy between the sequential and augmented-sequential map types. Neuroimaging data from functional magnetic resonance imaging (fMRI) show significant differences in blood-oxygenation level dependent (BOLD) response during map listening. The BOLD response is significantly stronger in the left auditory cortex and planum temporale for the concurrent map type in contrast to the augmented- sequential map type. And the response in the right auditory cortex and bilaterally in the visual cortex is significantly stronger for augmented-sequential maps in contrast to sequential maps. Results from this research provide empirical evidence to inform choices in the design of auditory cartographic displays, enriching the diversity of geographic map artifacts. Four supplemental files and two data sets are available online. Three audio files demonstrate the three map types: sequential (Supplementary Files, Audio 1), augmented- sequential (Supplementary Files, Audio 2), and concurrent (Supplementary Files, Audio 3). Associated data are available through OpenNeuro (https://openneuro.org/ datasets/ds001415).

This thesis presents the design and implementation of a generative model of tonal tension. It further describes the application of the generative model in realtime sonification. The thesis discusses related theoretical work in musical fields including generative system design, sonification, and perception and cognition. It highlights a review of the related research from historical to contemporary work. It contextualizes this work in informing the design and application of the generative model of tonal tension. The thesis concludes by presenting a formal evaluation of the system. The evaluation consists of two independent subject-response studies assessing the effectiveness of the generative system to create tonal tension and map it to visual parameters in sonification.

A sonification is a nonverbal speech act and might sound like “wa-UM-eii”, or “wooosh!” The purpose of this study was to investigate a choreographer’s use of sonification in dance instructions, to see if there are different types of sonifications and if the use of these might differ with a change in context. Video material capturing the rehearsals of a noted dance company was analyzed using a cognitive ethnography-based approach. Nine different types of sonifications were identified and described according to purpose, and a context-based analysis showed that certain kinds of sonifications occurred more frequently in some contexts than others. The results suggest that sonification used in dance instruction can serve multiple different purposes – the three main purposes described here are these: to communicate the quality of a movement, to facilitate communication between choreographer and dancers, and to coordinate the dancers as a group.

This study focuses on evaluating a system containing five different mappings of physical movement parameters to auditory parameters. Physical parameter variables such as size, location, among others, were obtained by using a motion tracking system, where the two hands of the user would work as rigid bodies. Translating these variables to auditory parameter variables gave the ability to control different parameters of MIDI files. The aim of the study was to determine how well a total of five participants, all with prior musical knowledge and experience, could adapt to the system concerning both user generated data as well as overall user experience. The study showed that the participants developed a positive personal engagement with the system and this way of audio and music alteration. Exploring the initial mappings of the system established ideas for future development of the system in potential forthcoming work.

Syftet med detta arbete är att undersöka interaktivt ljud ställt i relation till Augmented Reality. Vi vill undersöka begreppet genom ett fokus på ljud, och därigenom bredda uppfattningen om vad Augmented Reality potentiellt kan innebära. Vi har undersökt Sonification, Audio Spatial Awareness och Augmented Reality för att producera en gestaltning baserad på en kombination av dessa teoribildningar. Dels för att undersöka hur Sonification kan göra vissa aspekter av verkligheten tydligare för människor, samt för att använda denna information för att försöka påverka människors inställning till och uppfattning av varandra. Gestaltningens syfte är att undersöka hur mänskligt samspel kan påverkas genom ljud baserat på rumslig data, och är ett resultat av den forskning som lagt den teoretiska grunden och den primära metod som vi valt för att utveckla den genom. Performative Experience Design ämnas till att undersöka och främja interaktivitet utifrån ett performativt perspektiv, då den uppmanar till ett öppet och nyfiket förhållningssätt till mänskligt samspel. Resultat av detta är ett system med stor potential för vidareutveckling, men också en påbörjad diskussion om vad Augmented Reality kan innebära. / The purpose of this work is to investigate interactive sound in relation to Augmented Reality. We want to explore the concept by focusing on sound, thereby broadening the perception of what Augmented Reality potentially could mean. We have investigated Sonication, Audio Spatial Awareness and Augmented Reality to produce an artefact based on a combination of these theories. Our focus is to investigate how Sonification can make certain aspects of reality clearer to people, as well as to use this information to try to influence people's perception of each other. We aim to investigate how human interaction can be influenced by sound based on spatial data, and is directly influenced by the research which laid the theoretical foundation combined with the primary method we chose. Performative Experience Design aims to investigate and generate interaction based on a performance perspective, as it calls for an open and curious approach to human interaction. The result of this is a system with great potential for further development, but also a beginning to an initial discussion of what constitutes Augmented reality.

Cette thèse étudie le design et la conception d’un Goniomètre Radio Fréquence (GRF) visant à assister les services de secours à la personne (e.g. équipes de sauvetage déblaiement), exploitant les téléphones des victimes à retrouver comme des balises de détresse radio. La conception est focalisée sur une interface audio, utilisant le son pour guider progressivement les sauveteurs vers la victime. L’ambition de la thèse est d’exploiter les mécanismes naturels propres à l’audition humaine pour améliorer les performances générales du processus de recherche plutôt que de développer de nouvelles techniques d’Estimation de Direction de Source (EDS).Les techniques d’EDS classiques sont tout d’abord exposées, ainsi qu’une série d’outils permettant d’en évaluer les performances. Basée sur ces outils, une étude de cas est proposée visant à évaluer les performances attendues d’un GRF portable, adapté aux conditions d’emploi nominales envisagées. Il est montré que les performances des techniques dites « à haute résolution » généralement utilisées pour l’EDS sont sérieusement amoindries lorsqu’une contrainte de taille/poids maximum est imposée sur le réseau d’antennes associé au GRF, particulièrement en présence de multi-trajets de propagation entre le téléphone ciblé et le tableau d’antenne.Par la suite, une étude bibliographique concernant la sonification par encodage de paramètres (Parameter Mapping Sonification) est proposée. Plusieurs paradigmes de sonification sont considérés et évalués en rapport à leur capacité à transmettre une information issue de différents designs de GRF envisagés. Des tests d’écoute sont menés, suggérant qu’après une courte phase d’entrainement les sujets sont capables d’analyser plusieurs flux audio en parallèle ainsi que d’interpréter des informations de haut niveau encodées dans des flux sonores complexes. Lesdits tests ont permis de souligner le besoin d’une sonification du GRF basée sur une hiérarchie perceptive de l’information présentée, permettant aux débutants de focaliser leur attention sans efforts et uniquement sur les données les plus importantes. Une attention particulière est portée à l’ergonomie de l’interface sonore et à son impact sur l’acceptation et la confiance de l’opérateur vis-à-vis du GRF (e.g. en ce qui concerne la perception du bruit de mesure pendant l’utilisation du GRF pendant la navigation).Finalement, un prototype virtuel est proposé, simulant une navigation basée sur le GRF dans un environnement virtuel pour en évaluer les performances (e.g. paradigmes de sonification proposés plus haut). En parallèle, un prototype physique est assemblé afin d’évaluer la validité écologique du prototype virtuel. Le prototype physique est basé sur une architecture radio logicielle, permettant d’accélérer les phases de développement entre les différentes versions du design de GRF étudiées. L’ensemble des études engageant les prototypes virtuels et physiques sont menées en collaboration avec des professionnels des opérations de recherche à la personne. Les performances des designs de GRF proposés sont par la suite comparées à celles des solutions de recherche existantes (géo-stéréophone, équipes cynotechniques, etc.).Il est montré que, dans le contexte envisagé, un simple GRF basé sur la sonification en parallèle des signaux provenant de plusieurs antennes directionnelles peut offrir des performances de navigations comparables à celles résultantes de designs plus complexes basés sur des méthodes à haute résolution. Puisque l’objectif de la tâche est de progressivement localiser une cible, la pierre angulaire du système semble être la robustesse et la consistance de ses estimations plutôt que sa précision ponctuelle. Impliquer l’utilisateur dans le processus d’estimation permet d’éviter des situations critiques où ledit utilisateur se sentirait impuissant face à un système autonome (boîte noire) produisant des informations qui lui semblent incohérentes. / This research investigates the design of a radio Direction Finder (DF) for rescue operation using victims' cellphone as localization beacons. The conception is focused on an audio interface, using sound to progressively guide rescuers towards their target. The thesis' ambition is to exploit the natural mechanisms of human hearing to improve the global performance of the search process rather than to develop new Direction-Of-Arrival (DOA) estimation techniques.Classical DOA estimation techniques are introduced along with a range of tools to assess their efficiency. Based on these tools, a case study is proposed regarding the performance that might be expected from a lightweight DF design tailored to portable operation. It is shown that the performance of high-resolution techniques usually implemented for DOA estimation are seriously impacted by any size-constraint applied on the DF, particularly in multi-path propagation conditions.Subsequently, a review of interactive parameter mapping sonification is proposed. Various sonification paradigms are designed and assessed regarding their capacity to convey information related to different levels of DF outputs. Listening tests are conducted suggesting that trained subjects are capable of monitoring multiple audio streams and gather information from complex sounds. Said tests also indicate the need for a DF sonification that perceptively orders the presented information, for beginners to be able to effortlessly focus on the most important data only. Careful attention is given to sound aesthetic and how it impacts operators' acceptance and trust in the DF, particularly regarding the perception of measurement noise during the navigation.Finally, a virtual prototype is implemented that recreates DF-based navigation in a virtual environment to evaluate the proposed sonification mappings. In the meantime, a physical prototype is developed to assess the ecological validity of the virtual evaluations. Said prototype exploits a software defined radio architecture for rapid iteration through design implementations. The overall performance evaluation study is conducted in consultation with rescue services representatives and compared with their current search solutions.It is shown that, in this context, simple DF designs based on the parallel sonification of the output signal of several antennas may produce navigation performance comparable to these of more complex designs based on high-resolution methods. As the task objective is to progressively localize a target, the system's cornerstone appears to be the robustness and consistency of its estimations rather than its punctual accuracy. Involving operators in the estimation allows avoiding critical situations where one feels helpless when faced with an autonomous system producing non-sensical estimations. Virtual prototyping proved to be a sensible and efficient method to support this study, allowing for fast iterations through sonifications and DF designs implementations.

La poursuite est un mouvement oculaire qui permet de suivre un objet qui se déplace de manière lente et continue dans notre environnement. Les recherches ont démontré que ce mouvement est sous-tendu par la contribution simultanée de signaux liés à l'image de la cible et du contexte visuel sur la rétine, de signaux extra rétiniens reflétant l'implication de mécanismes cognitifs et de la copie d'efférence, ainsi que de la mise en jeu de processus d'inhibition et de suppression de certains signaux liés au contexte visuel. Cette combinaison dynamique permet au système de s'adapter et de maintenir le mouvement de poursuite dans une grande variété de contextes. Si la présence et la sélection d'un signal de mouvement dans l'environnement est considérée comme une condition sine qua none au déclenchement et au maintien de la poursuite, certaines observations depuis les années 70 nuancent ce postulat. Afin d'approfondir la compréhension des mécanismes sous-jacent au maintien de la poursuite après disparition du signal de mouvement et de questionner la nature des signaux sensoriels conduisant à la génération de poursuite, mon travail de thèse a porté sur l'étude de l'influence de deux contextes spécifiques. Ces deux contextes, l'un visuel l'autre auditif, partagent la propriété d'être corrélés au mouvement oculaire généré par l'individu. De fait, ces contextes fournissent un signal nouveau porteur d'une information sur le mouvement en cours. Dans différentes configurations de visibilité de la cible, nous avons étudiés l'influence de ces contextes sur le maintien de la poursuite, et sur la génération volontaire de mouvements oculaires lisses et continus. / Pursuit eye movements allow us to track a target which moves continuously and slowly in our visual environment. Studies have shown this movement is based on the simultaneous contribution of retinal signals linked to the retinal image of the visual target and to the context, on extra retinal signals underlying cognitive process and the efference copy, and some inhibition and suppression processes related to the visual context. This dynamical combination allows the pursuit system to adapt in a wide range of contexts. If the presence of a motion signal in the visual environment is thought as a prerequisite to initiate and then to maintain the pursuit, some results since the 70’s moderate this view. In order to investigate the mechanisms underlying the maintenance of pursuit eye movements after target disappearance and the nature of signals leading to generate pursuit, we investigate the effects of two different contexts. These contexts, a visual one, and an auditory one, share the same property which is to be dependent on eye movements. As a result of this dependence, the contexts yield a new signal, visual or auditory, which carry an information about the ongoing eye movement. We study the effects of these information induced by the contexts in procedure involving the generation and the maintenance of smooth pursuit eye movements, and the generation of smooth and continuous eye movements without a moving target.

Les constructeurs automobiles proposent un vaste éventail de fonctions secondaires à la conduite, en relation avec le GPS, la musique, ou encore la ventilation. L'ensemble de ces fonctions est centralisé sur un écran accessible au centre de l'habitacle, équipé d'une dalle tactile dans nombre de véhicules récents. Cependant, leur manipulation en conduite peut se révéler périlleuse : la sollicitation de la modalité visuelle pour interagir avec l'interface peut entraîner une baisse de vigilance vis-à-vis de la tâche de conduite, ce qui peut mener à des situations dangereuses. Au cours de cette thèse, fruit d'une collaboration entre le Groupe PSA et le laboratoire PRISM, nous nous sommes attachés à proposer une association de gestes et de sons comme alternative à une sollicitation visuelle. Le but est de proposer des interactions réalisables en aveugle, pour permettre au conducteur de focaliser ses yeux sur la route. Pour réaliser conjointement une manipulation de l'interface et une tâche de conduite, une sollicitation multisensorielle peut en effet permettre de faire baisser la charge mentale du conducteur, en comparaison à une situation unimodale visuelle. Pour que le lien entre les gestes et les sons paraisse naturel, un objet virtuel a été introduit, manipulable grâce à des gestes. Cet objet est le support des stratégies de sonification, par analogie aux sons de notre environnement, qui sont la conséquence d'une action sur un objet. L'objet virtuel permet également de structurer différents gestes autour d'une même métaphore, ou encore de redéfinir le menu d'une interface. La première partie de cette thèse est consacrée à la mise au point de stratégies de sonification pour transmettre des informations pertinentes sur la dynamique de l'objet virtuel. Deux expériences perceptives ont été mises en place, qui ont conduit à la discrimination de deux stratégies de sonification intéressantes. Dans une deuxième partie, nous avons œuvré à la mise en situation automobile par un travail sur les stimuli sonores, sur l'interface, et par l'étude de l'intégration multisensorielle. Un design des stratégies de sonification a été proposé pour permettre de se projeter dans une utilisation en véhicule. Par la suite, les évocations provoquées par le couplage des gestes et des sons ont été au centre d'une troisième expérience perceptive. Cette étude a été effectuée en aveugle, où le concept d'objet virtuel était inconnu et découvert progressivement par les sujets. Ces images mentales véhiculées par les stratégies de sonification peuvent en effet être utiles lors de la familiarisation des utilisateurs avec l'interface. Une quatrième expérience perceptive s'est concentrée sur la prise en main de l'objet virtuel, où l'intégration des stimuli visuels et auditifs a été étudiée, dans le contexte du maniement d'une interface. Les sujets ont été placés dans des conditions similaires à la découverte de l'interface en véhicule à l'arrêt, avec des stimuli audio-visuels ; puis à son utilisation en aveugle grâce aux stratégies de sonification. Les enseignements de ces expériences ont permis de bâtir une interface gestuelle, qui a été comparée à une interface tactile dans une dernière expérience perceptive réalisée en simulateur de conduite. Bien que les résultats montrent une utilisation plus performante de l'interface tactile, l'association des gestes et des sons semble intéressante du point de vue de la charge cognitive des conducteurs. L'interface gestuelle peut donc offrir une alternative prometteuse ou un complément aux interfaces tactiles pour une utilisation simultanée à la conduite en toute sécurité. / Car manufacturers offer a wide range of secondary driving controls, such as GPS, music, or ventilation, often localized on a central touch-sensitive screen. However, operating them while driving proves to be unsafe: engaging the sense of sight for interface interaction can lead to vigilance reduction towards the driving task, which can lead to high-risk situations. In this PhD thesis, which is a part of a collaborative research project involving both the PSA Group and the PRISM laboratory, we aim to provide a gesture and sound association as an alternative to the visual solicitation. The goal is to enable blind interface interactions, allowing the driver to focus their eyes on the road. When jointly performing interface manipulations and the driving task, a multisensory solicitation can lower the driver's cognitive load, in comparison with a visual unimodal situation. For the gesture-sound association to feel more natural, a virtual object that can be handled with gestures is introduced. This object is the support for sonification strategies, constructed by analogy with sounds from our environment, which are the consequence of an action on an object .The virtual object also allows to structure different gestures around the same metaphor, or to redefine the interface's menu. The first part of this thesis deals with the development of sonification strategies, with the aim to inform users about the virtual object dynamic. Two perceptual experiments were set up, which led to the discrimination of two valuable sonification strategies. In a second part, the automotive application was addressed by designing new sound stimuli, the interface, and by studying the multisensory integration. Sounds were proposed for each of the two sonification strategies, to progress towards an in-vehicle integration. The evocations brought by the gestures and sounds association were the subject of a third perceptive blinded experiment. The concepts around the virtual object were unknown and gradually discovered by the subjects. These mental images conveyed by the sonification strategies can help users familiarize with the interface. A fourth perceptual experiment focused on the virtual object handling for first-time users, where the integration of audio-visual stimuli was studied, in the context of an interface manipulation. The experiment conditions were similar to the driver first discovering of the interface in a parked vehicle thanks to audio-visual stimuli, and then operating it through sonification strategies only. The results of this experiment lead to the design of a gestural interface, which was compared with the results obtained with a touchscreen interface in a final perceptual experiment, carried out in a driving simulator. Although the results show better performances for the tactile interface, the combination of gestures and sounds proved to be effective from the cognitive load point of view. The gesture interface can therefore offer a promising alternative or complement to tactile interfaces for a safe simultaneous use in driving condition.

Ces travaux de thèse portent sur la mise en place d’une stratégie de sonification qui vise à proposer un retour sonore pouvant se substituer au bruit moteur dans les véhicules électriques, rendant au conducteur les informations qu’il transmet habituellement sur la dynamique du véhicule.Pour cela, nous nous sommes basés sur une première phase d’analyse qui nous a permis d’étudier comment le bruit automobile influence notre perception du mouvement. A partir de deux expériences menées en simulateur de conduite, nous avons pu relier le retour sonore et la vitesse perçue par le conducteur, définissant ainsi la métaphore du bruit moteur sur laquelle s’appuie le contrôle des sons de synthèse.De façon similaire au bruit moteur, le retour sonore proposé informe le conducteur par l’intermédiaire de sa variation de hauteur tonale. Pour arriver à un son qui informe le conducteur efficacement et qui reste acceptable sur toute la gamme de vitesse du véhicule, nous nous sommes appuyés sur l’illusion de glissando infini de Shepard-Risset, qui nous permet de donner un retour d’information précis grâce à une hauteur tonale qui varie rapidement tout en restant contenue dans une plage de fréquence restreinte.L’apport de cette stratégie a enfin été testé lors de deux expériences, la première portant sur l’influence de ce retour sonore sur la perception de la vitesse des conducteurs, la seconde sur leur comportement dans une tâche de freinage. Ces deux études ont montré un effet significatif du retour sonore qui suggère que ces informations sont bien intégrées par les conducteurs, faisant de ces sons un candidat prometteur pour devenir le « bruit moteur » des véhicules de demain. / This thesis aims to build an auditory display to sonify electric vehicles. Our goal consisted in bringing back to the driver the motion information, which is usually provided by the combustion engine noise.The first stage of this work consisted in analyzing how automotive noises can influence drivers’ perception of motion. We conducted two driving simulator experiments to study drivers’ speed perception in presence of different automotive noises. These results provided a link between the acoustic feedback and the speed perceived by the driver, on which we based our sonification strategy.Similarly to combustion engine noise, the acoustic feedback proposed in this work informs the driver via its pitch variation. We used the Shepard Risset glissando illusion to sonify the whole speed range of the vehicle. Pitch circularity in the construction of these sounds provides a precise information on small speed variation with fast pitch variations, and is in addition restrained within a narrow bandwith.We then tested the contribution of this strategy in two experiments. The first dealt with the influence of the proposed sounds on drivers’ speed perception ; the second with their behavior in a common braking task. These studies showed that the drivers easily integrate the information brought by this sound, and that it influences their perception of motion and modifies their driving behavior. These inputs make the proposed sound a good candidate to become the new « engine noise » of future electric cars.

Nous percevons mieux notre corps et notre environnement si l’on tient compte de plusieurs sources sensorielles en même temps. Mais tous les systèmes sensoriels déclinent progressivement au cours du vieillissement. Cette thèse a contribué à mieux comprendre comment les perceptions multisensorielles et les réseaux cérébraux qui les sous-tendent sont modifiés chez la personne âgée. Ce travail souligne l’existence d’une repondération des informations sensorielles et une facilitation générale des processus d’interaction entre les sens pour optimiser la perception des mouvements du corps ou la perception de textures dès 65 ans. Au niveau cérébral, l'effondrement des processus inhibiteurs avec l'âge entrainerait une moins bonne sélection des réseaux et expliquerait les troubles perceptifs. Néanmoins, les personnes âgées pourraient bénéficier d’un recrutement cérébral moins spécifique pour surmonter au moins partiellement ces déclins sensoriels. / We can better perceive our body and our environment if we take into account several sensory sources at the same time. However, all sensory systems gradually decline with aging. This thesis contributes to a better understanding of how multisensory perceptions and the underlying brain networks are modified in the elderly. This work highlights both a reweighting of sensory information and a general facilitation of interaction processes between the senses to optimize the perception of body movements or the perception of textures as soon of 65 years old. At the brain level, the break-down of inhibitory processes with age would lead to a poorer selection of networks and would explain perceptual disorders. Nevertheless, older people could benefit from less specific brain recruitment to at least partially compensate these sensory declines.