Cette thèse s'est intéressée aux relations entre les mouvements biologiques et la perception sonore en considérant le cas spécifique des mouvements graphiques et des sons de frottement qu'ils génèrent. L'originalité de ces travaux réside dans l'utilisation d'un modèle de synthèse sonore basé sur un principe perceptif issu de l'approche écologique de la perception et contrôlé par des modèles de gestes. Des stimuli sonores dont le timbre n'est modulé que par des variations de vitesse produites par un geste ont ainsi pu être générés permettant de se focaliser sur l'influence perceptive de cet invariant transformationel. Une première étude a ainsi montré que l'on reconnait la cinématique des mouvements biologiques (la loi en puissance 1/3), et que l'on peut discriminer des formes géométriques simples juste à partir des sons de frottement produits. Une seconde étude a montré l'existence de prototypes dynamiques sonores caractérisant les trajectoires elliptiques, mettant ainsi en évidence que les prototypes géométriques peuvent émerger d'un couplage sensorimoteur. Enfin, une dernière étude a montré qu'une cinématique évoquée par un sonore influence significativement la cinématique et la géométrie d'un geste dans une tâche de reproduction graphique du mouvement d'un point lumineux. Ce résultat révèle l'importance de la modalité auditive dans l'intégration multisensorielle des mouvements continus dans une situation jamais explorée. Ces résultats ont permis le contrôle de modèles de synthèse par des descriptions gestuelles et la création d'outils de sonification pour l'apprentissage de gestes et la réhabilitation d'une pathologie motrice, la dysgraphie. / This thesis focused on the relations between biological movements and auditory perception in considering the specific case of graphical movements and the friction sounds they produced. The originality of this work lies in the use of sound synthesis processes that are based on a perceptual paradigm and that can be controlled by gesture models. The present synthesis model made it possible to generate acoustic stimuli which timbre was directly modulated by the velocity variations induced by a graphic gesture in order to exclusively focus on the perceptual influence of this transformational invariant. A first study showed that we can recognize the biological motion kinematics (the 1/3 power law) and discriminate simple geometric shapes simply by listening to the timbre variations of friction sounds that solely evoke velocity variations. A second study revealed the existence of dynamic prototypes characterized by sounds corresponding to the most representative elliptic trajectory, thus revealing that prototypical shapes may emerged from sensorimotor coupling. A final study showed that the kinematics evoked by friction sounds may significantly affect the dynamic and geometric dimension in the visuo-motor coupling. This shed critical light on the relevance of auditory perception in the multisensory integration of continuous motion in a situation never explored. All of these theoretical results enabled the gestural control of sound synthesis models from a gestural description and the creation of sonification tools for gesture learning and rehabilitation of a graphomotor disease, dysgraphia.

L’art sonore et la musique apparaissent plus régulièrement dans la programmation de musées d'art depuis le tournant du 21e siècle et provoquent des transformations majeures au sein des pratiques de l'exposition. Toutefois, aucun modèle expositionnel n'a permis jusqu'à maintenant de réinvestir le sujet à partir des enjeux spécifiques au sonore, de ses technologies et de ses possibilités d'écoute, qui sont souvent négligées, ni de réévaluer intrinsèquement les limites des modèles oculocentristes qui ont orienté les discours et les pratiques des institutions muséales. Cette thèse revisite l'exposition du musée d'art, soit l'ensemble des espaces discursif et physique qui interagissent avec le lieu, en démontrant l'épuisement d'une logique rappelant les codes du white cube et de la black box, en proposant le studio de son et le concert de musique comme nouveaux modèles d'exposition, issus des modèles de production et de diffusion de l'industrie de la musique. Pour ce faire, cette recherche défend le postulat selon lequel le développement du sonore dans l'exposition est tributaire des sons enregistrés produits grâce aux technologies de reproduction et de diffusion sonores ainsi que des pratiques – individuelles et collectives – d’écoute de la sphère quotidienne. L'étude s'appuie sur une série d'expositions dévoilant différentes déclinaisons de la relation entre le discours muséal et la mise en espace selon des points d'ancrage sonores spécifiques : l'exposition d'art sonore Soundings: A Contemporary Score (2013) au Museum of Modern Art ; Ragnar Kjartansson (2015) et Anri Sala (2011) au Musée d'art contemporain de Montréal ; la musique électronique de Sonic Process (2002) au Centre Pompidou ; et finalement, la musique populaire au sein de l'exposition David Bowie Is (2013) développée par le Victoria & Albert Museum. De là, cette thèse démontre, en s'appuyant sur les théories des sound studies et de la phénoménologie de l’écoute, la manière dont le son exposé renvoie à des enjeux qui lui sont propres, à des éléments de mixage qui favorisent des régimes d'écoute au musée d'art et qui reconstruisent la posture du visiteur par l'errance. Au-delà de la dimension sensorielle, le son dans le contexte du musée d'art déplace les modèles théoriques et disciplinaires de manière à abolir les hiérarchies et à reconfigurer l'idée du musée sous l'angle de la résonance. / Sound art and music have appeared in art museum programming with increasing regularity since the turn of the 21st Century and have caused major shifts in the exhibitory practices. However, no exhibition model has so far been able to properly account for the multifarious issues raised by sound in the museum space. There has been a failure to adequately address both the technological and audible opportunities of sound and, concomitantly, an inability to re-evaluate the intrinsic limits of oculocentric models that have guided the discourses and practices of museum institutions. This thesis revisits the exhibition practices of the art museum—the set of discursive and physical spaces that interact within these locations. It demonstrates the limits of a logic built on codes reminiscent of the white cube and the black box, proposing instead the idea of the sound studio and the music concert as new exhibition models, which are related to the production and distribution models of the music industry. To do so, this research initially argues that the development of sound in an exhibition context depends on the recorded sounds of reproduction and distribution technologies as well as the practices—individual and collective—of listening in everyday. The study is based on a series of exhibitions that reveal variations in the relation between the museum discourse mapped out above and the organization of the exhibition spaces according to sound-specific pieces: the exhibition of sound art Soundings: A Contemporary Score (2013) at the Museum of Modern Art; Ragnar Kjartansson (2015) and Anri Sala (2011) at the Museum of Contemporary Art in Montreal; the electronic music of Sonic Process (2002) at the Center Pompidou; and finally, popular music in the David Bowie Is exhibition (2013) developed by the Victoria & Albert Museum. From here, the thesis will demonstrate—based on the theories derived from both sound studies and listening phenomenology—the ways in which the sound within the exhibition space raises specific issues, how mixing encourages regimes of listening in the art museum and how the visitor's posture is transformed by the possibilities of wandering through the museum space. Beyond the sensory dimension, sound in the art museum context brings about a shift in theoretical and disciplinary models; abolishing hierarchies and reconfiguring how we understand the idea of the museum from the concept of resonance.

Suite à un état de l'art détaillant la création et l'utilisation de l'espace sonore dans divers environnements urbains virtuels (soundmaps, jeux vidéo, réalité augmentée), il s'agira de déterminer une méthodologie et des techniques de conception pour les espaces sonores urbains virtuels du point de vue de l'immersion, de l'interface et de la dramaturgie.ces développements se feront dans le cadre du projet terra dynamica, tendant vers une utilisation plurielle de la ville virtuelle (sécurité et sureté, transports de surface, aménagement de l'urbanisme, services de proximité et citoyens, jeux). le principal objectif du doctorat sera de déterminer des réponses informatiques concrètes à la problématique suivante : comment, en fonction de leur utilisation anticipée, les espaces sonores urbains virtuels doivent-ils être structurés et avec quels contenus?la formalisation informatique des solutions étayées au fil du doctorat et la création du contenu sonore illustrant le projet seront basés sur l'analyse de données scientifiques provenant de domaines variés tels que la psychologie de la perception, l'architecture et l'urbanisme, l'acoustique, la recherche esthétique (musicale) ainsi que sur l'observation et le recueil de données audio-visuelles du territoire urbain, de manière à rendre compte tant de la richesse du concept d'espace sonore que de la multiplicité de ses déclinaisons dans le cadre de la ville virtuelle. / In video gaming and interactive media, the making of complex sound ambiences relies heavily on the allowed memory and computational resources. So a compromise solution is necessary regarding the choice of audio material and its treatment in order to reach immersive and credible real-time ambiences. Alternatively, the use of procedural audio techniques, i.e. the generation of audio content relatively to the data provided by the virtual scene, has increased in recent years. Procedural methodologies seem appropriate to sonify complex environments such as virtual cities.In this thesis we specifically focus on the creation of interactive urban sound ambiences. Our analysis of these ambiences is based on the Soundscape theory and on a state of art on game oriented urban interactive applications. We infer that the virtual urban soundscape is made of several perceptive auditory grounds including a background. As a first contribution we define the morphological and narrative properties of such a background. We then consider the urban background sound as a texture and propose, as a second contribution, to pinpoint, specify and prototype a granular synthesis tool dedicated to interactive urban sound backgrounds.The synthesizer prototype is created using the visual programming language Pure Data. On the basis of our state of the art, we include an urban ambiences recording methodology to feed the granular synthesis. Finally, two validation steps regarding the prototype are described: the integration to the virtual city simulation Terra Dynamica on the one side and a perceptive listening comparison test on the other.

Dans le cadre de cette maîtrise, Mélanie Frisoli s’est penchée sur un travail de compositions spatiales qui impliquent des dispositifs de haut-parleurs conséquents (de 16 à 64 haut-parleurs) et qui s’inspirent fortement de l’esthétique du paysage sonore et des théories de l’écologie sonore. Le médium multiphonique en trois dimensions (proche de notre vécu sensoriel quotidien) s’est avéré un support de choix pour expérimenter la sensibilisation aux bruits et à notre environnement sonore via la composition musicale. Mélanie a également tenté de comprendre pourquoi la spatialisation pouvait être intéressante et ce que ce paradigme proposait d’original et de sensible par rapport à la composition stéréophonique. En parallèle, la composition musicale de paysage sonore a été explorée avec tout ce qu’elle implique en tant que posture artistique. L’ensemble de ces questionnements et de ces recherches ont permis d’élaborer des stratégies compositionnelles pour la mise en espace du son sous des dômes de haut-parleurs. Sont ainsi nées trois œuvres acousmatiques (fixes sur support) et une performance en direct qui explorent les thématiques de l’espace, de la pollution sonore, de l’immersion et de la conscientisation de l’écoute. Enfin, différentes technologies pour la spatialisation du son sont présentées dans ce mémoire, avec un intérêt particulier apporté à celle utilisée dans ce travail de recherche-création. Mélanie Frisoli a également développé cinq outils informatiques afin de mieux appréhender le travail de spatialisation et de faciliter l’intégration du paramètre d’espace au processus de composition. / As part of this master’s degree, Mélanie Frisoli worked on spatial compositions that involve substantial loudspeaker devices (16 to 64 loudspeakers) and are strongly inspired by the aesthetics of soundscape composition and the theories of sound ecology. Due to its close connection to our daily sensory experience, the three-dimensional multiphonic medium was ideal for experiencing awareness of noises and our sound environment through musical composition. She also attempted to understand why spatialization could be interesting and what was original and sensitive compared to stereo compositions. In parallel, the musical composition of soundscape was used to study what it implies as an artistic posture. All these questions and research led to the development of compositional strategies for setting sound in space under loudspeaker domes. Three acousmatic works (fixed on support) and a live performance were created, all of which explore themes such as space, sound pollution, immersion, and awareness of listening. Finally, Mélanie presented various existing technologies for sound spatialization in this thesis, but mainly focused on the one used in this research-creation work. She also developed five computer tools to support her work in spatialization and facilitate the integration of the space parameter within the composition process.

Cette thèse de recherche-création explore certaines des causes esthétiques, techniques et inter- artistiques qui font du cinéma un domaine privilégié pour l’étude du son. Les hypothèses de cette recherche sont formulées à partir de ma posture de concepteur sonore pour le cinéma et émergent des conditions pratiques et esthétiques singulières ayant menées à la création sonore de différentes œuvres. La première partie de la thèse explore ces trois axes (esthétique, technique et inter- artistique) par la mise en résonance d’expériences pratiques et de recherches théoriques : mon travail de conception sonore pour le film Le silence des semences (Guillaume Roussel-Garneau, 2021) m’amène d’abord à rendre compte de l’émergence du courant expressiviste à la fin du XVIIIe siècle (Taylor) et de la reprise de l’expression comme modèle théorique en art (Abrams) pour ensuite mettre ces modèles à l’épreuve des théories du son au cinéma (Chion, Fano) ; mon travail de post-production sonore pour le film Le rêve et la radio (Renaud Després-Larose et Ana Tapia- Rousiouk, 2022) m’entraîne à explorer ce qui, dans la nature mécanique et matérielle du son capté, monté et reproduit par différentes techniques (Altman, Lastra, Schaeffer, Schafer, Cardinal), permet de rejouer ces tensions entre représentation et expression ; ma « sensibilité technicienne » (Tapia-Rousiouk) me permet de faire l’étude des modes d’articulation et d’interaction des sons entre eux, avec l’image, avec le spectateur ou l’auditeur ; ces modes d’articulation et d’interaction sont empruntés aux autres arts sonores, et ils survivent dans l’univers cinématographique à travers les œuvres et la pratique des musiciens et créateurs sonores Ernst Karel (Heard Laboratories, Heard Laboratories Performed, Leviathan) et Christian Calon (Continental Divide). La deuxième partie de cette thèse prend la forme de quatre œuvres sonores crées pour l’exposition La couleur du temps, le son d’un espace, présentée au Centre d’exposition de l’Université de Montréal à l’été 2022. Chacune d’elles, par leur mise en scène du son, de l’écoute et du corps, permettent de rejouer ces enjeux esthétiques et techniques fondamentaux de la création sonore au cinéma : tension entre espace sonore et espace visuel ; matérialité du sonore, entre sens et sensation ; malléabilité des qualités temporelles du son ; qualités transformatives de l’écoute, tant au niveau de la création que de la réception. / This research-creation thesis explores some of the aesthetic, technical and inter-artistic reasons that make cinema a privileged field for the study of sound. The hypotheses of this research are formulated from my position as a sound designer for film and emerge from the singular practical and aesthetic conditions that led to the sound design of different works. The first part of the thesis explores this question along these three axes (aesthetic, technical and inter-artistic) through practical experiences and theoretical research. My sound design work for the film Le silence des semences (Guillaume Roussel-Garneau, 2021) leads me first to recount the emergence of the expressivist current at the end of the 18th century (Taylor) and the use of expression as a theoretical model in art (Abrams) and then confront these models to theories on sound in cinema (Chion, Fano). My audio post-production work for the film Le rêve et la radio (Renaud Després-Larose and Ana Tapia-Rousiouk, 2022) leads me to explore what, in the mechanical and material nature of recorded, edited and reproduced sound with the use of sound reproduction technologies (Altman, Lastra, Schaeffer, Schafer, Cardinal), replays the tensions between representation and expression. My “technical sensibility” (Tapia-Rousiouk) allows me to study the modes of articulation and interaction between sounds, between sound and image, with the spectator or the listener. These modes of articulation and interaction are borrowed from other sound arts, and they survive in the cinematic world through the works and practice of musicians and sound artists such as Ernst Karel (Heard Laboratories, Heard Laboratories Performed, Leviathan) and Christian Calon (Continental Divide). The second part of this thesis takes the form of four sound works created for the exhibition La couleur du temps, le son d’un espace, presented at the Centre d'exposition de l'Université de Montréal in the summer of 2022. Each of these works, through their staging of sound, listening and the body, reformulate these fundamental aesthetic and technical questions regarding sound creation in cinema: the tension between auditory space and visual space; the materiality of sound, between meaning and sensation; the plasticity of the temporal qualities of sound; the transformative qualities of listening, both in terms of creation and reception.

Cette thèse a pour objet principal la notion de dissociation élémentielle associée à la spatialisation, principalement en musique instrumentale. Elle inclut quatre compositions accompagnées des partitions et des enregistrements de même qu’un texte écrit comprenant les analyses des quatre œuvres présentées. Dans le chapitre I, le texte expose d’abord la notion de dissociation élémentielle, explique que celle-ci naît de l’autonomie des éléments musicaux les uns par rapport aux autres et traite de l’influence exercée sur ma démarche par le compositeur Charles E. Ives. J’aborde aussi l’importance de la spatialisation musicale et de la notion de paysage sonore composé. Je retrace également quelques exemples de dissociation des éléments dans le répertoire et je fais un parallèle avec la musique électroacoustique. Le chapitre II s’attarde à la dissociation "élémentielle" tant en ce qui a trait aux procédés techniques qu’à l’écriture et à la mise en forme. Le chapitre III traite de la perception auditive en situation "élémentielle" et spatialisée au regard de la psychoacoustique ainsi que des pistes de recherches ultérieures possibles. Les chapitres suivants ont pour objet les analyses des quatre œuvres présentées : 21 courtes pièces sur des textes d’Étienne Lalonde, L’Être et la réminiscence, Les passants et L’autre (le cor étranger). / The primary focus of this thesis is the notion of what I have termed elemential (élémentiel) dissociation associated with spatialization, particularly in instrumental music. It includes four compositions accompanied by scores and recordings, as well as a written text comprising the analyses of the four works presented. In Chapter I, the text presents the notion of elemential (élémentiel) dissociation, explains that it arises from the autonomy of musical elements in relation to each other, and contextualizes the influence of the composer Charles E. Ives' approach upon my own. I also address the importance of musical spatialization and the concept of the complex sound landscape. Additionally, I delineate some examples of the dissociation of elements in the repertoire and draw a parallel to electroacoustic music. Chapter II elaborates upon elemential (élémentiel) dissociation as much in terms of technical processes as of writing and formal structure. Chapter III deals with auditory perception in elemential (élémentiel) and spatialized contexts with regard to psychoacoustics, as well as possible areas for further research. The following chapters are comprised of the analyses of the four works presented: 21 courtes pièces sur des textes d’Étienne Lalonde, L’Être et la réminiscence, Les passants et L’autre (le cor étranger).

Bien que l'évaluation perceptive et les tests de qualité sonore soient maintenant reconnus comme des parties essentielles du processus de développement de produit dans plusieurs domaines, ils sont rarement mis en oeuvre en utilisant des techniques de reproduction sonore spatiale. À la place, différentes présentations auditives (par exemple: stéréophoniques, Surround ou binaurales) sont utilisées. Ce mémoire propose une méthode pour utiliser des modèles vibroacoustiques courants en ingénierie pour commander des systèmes audio basés sur la Wave Field Synthesis 2.5D et formés de plusieurs réseaux linéaires de haut-parleurs. Des opérateurs pour Wave Field Synthesis (WFS) 2.5D améliorés sont proposés, pour une application dans un contexte d'ingénierie. Les opérateurs sont étudiés pour plusieurs cas de reproduction de modèles analytiques vibroacoustiques 3D de plaques (sources primaires étendues extérieures ou focalisées). La méthode accepte aussi en intrant d'autres types de modèles (méthode des éléments finis, méthode des éléments frontière). Des simulations de reproduction en champ libre démontrent que les opérateurs développés permettent une reproduction physique acceptable. Des reproductions physiques mesurées dans une salle WFS suggèrent que les nombreux effets de salle (réflexions et diffractions) modifient les caractéristiques reproduites du modèle. Globalement, de nombreuses similitudes existent entre les mesures et les simulations, soit les amplitudes globales, les distributions spatiales et temporelles, ainsi que les directions d'arrivée des fronts d'onde. Les caractéristiques spatiales et sonores des modèles sont bien reproduites, soit le patron de directivité, l'étendue spatiale perçue et le timbre. Cette validité est limitée dans le plan horizontal de reproduction, choix inhérent à la WFS 2.5D. On peut tirer du travail de l'étudiant quelques contributions originales: 1) Un opérateur WFS 2.5D qui permet des sources primaires étendues focalisées et extérieures pour une configuration formée de plusieurs réseaux linéaires de haut-parleurs. 2) Un facteur de compensation d'amplitude et de phase pour les sources primaires hors du plan de reproduction, adapté au nouveau concept de ligne de référence. 3) Une proposition pour ne pas utiliser la simplification traditionnelle en WFS qui suppose que la source virtuelle est suffisamment loin des haut-parleurs. 4) Un facteur de correction d'énergie, ce qui permet l'obtention des bons niveaux physiques pour la reproduction. 5) L'application de la Wave Field Synthesis telle que développée dans une partie d'un processus de développement de produit acoustique, c'est-à-dire l'auralisation d'une mesure de perte par transmission ou de perte par insertion de panneaux, afin d'illustrer le potentiel d'utilisation en ingénierie.

Le développement de la publicité sur Internet et la présence croissante de la musique dans notre vie quotidienne nous a conduit à étudier les bannières publicitaires sonores. Partant des travaux antérieurs, nous tentons de comprendre l'effet de la musique sur l'attitude de l'internaute en faisant varier le genre musical et le tempo. Nous avons étudié l'impact des caractéristiques musicales sur les réponses à la publicité, mais aussi le rôle de la préférence, de l'activation, de la typicalité ainsi que ceux du type d'implication et de l'expertise musicale de l'internaute. Dans cette étude, des échelles sont adaptées et validées dans le contexte turc. Notre étude a montré que les influences affectives et cognitives de la musique pouvaient agir en même temps sur les réponses à la publicité. La présence de musique augmente la mémorisation de la bannière. La cohérence entre le tempo et le genre musical favorise la préférence. C'est pourquoi ces deux éléments, faciles à manipuler, ne doivent absolument pas être négligés dans une campagne publicitaire. En outre, le rôle de l'implication est démontré permettant un meilleur ciblage des internautes.

L'écriture et la lecture sont les deux espaces, visuel le premier et auditif le deuxième, qui représentent les coordonnées sur lesquelles Calvino construit son univers de signes : l'œil et l'oreille. Ce sont les deux fonctions, sensorielles et mentales, qui permettent la transmission d'un savoir, d'un message, même en l'absence de celui qui " parle ". C'est là la raison, pouvons-nous supposer, de l'importance que l'écrivain a accordée à la fonction de l'écoute, outre, évidemment, celle qu'il conférait à la vue. Dans notre analyse de la poétique de l'écoute dans l'œuvre d'Italo Calvino, nous avons essayé de montrer en quoi consiste la particularité de son oreille. Comme pour la vue, Calvino applique pour l'ouïe une méthode personnelle de connaissance : car c'est toujours le sujet, le " moi " avec tous ses organes de perception qui nous permet de nous rapprocher du monde extérieur et de sonder notre esprit. Calvino a dès lors construit un univers de sons très particulier étant donné que cet univers sonore vient de son monde à lui, de sa propre expérience et surtout de sa façon d'entrer en relation avec le monde : or cela n'est jamais définitif, et même toujours problématique. C'est là la manière propre à celui qui refuse les dogmes et les écoles, qui sait bien qu'une seule réponse ou une seule vérité est impossible, mais qui ne peut s'empêcher de continuer à sonder l'univers réel ou fictionnel [celui de la vie comme celui de la page], même si au terme de sa recherche, le résultat est toujours le cercle vide, l'espace blanc de la page. Cela explique aussi les différentes modalités que la fonction de l'écoute a eues dans le parcours personnel et littéraire de Calvino.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal.