Mémoire en recherche-création / L’expérience sonore immersive est souvent associée à la spatialisation du son. Mais, le phénomène d’immersion est plutôt complexe et le réduire au seul emploi d’un dispositif technique ne permet pas d’en apprécier les causes multiples sur le plan de la réception. Ce mémoire présente un projet de recherche-création intitulé Cathédrales, dont l’objectif est de mieux comprendre la réception d’une œuvre de musique acousmatique spa- tialisée en 3D et intentionnellement immersive. Ce travail porte notamment sur les stratégies de composition adoptées et leurs effets, au regard des intentions de départs et de l’analyse des commentaires émis par un ensemble d’auditeurs-participants. Les trois premiers chapitres présentent les aspects conceptuels soutenant la démarche de création des œuvres Ville Aux Cent Clochers et Réverbérence. Le premier chapitre vise à préciser d’entrée de jeu ce que signifie l’immersion sonore, de sa compréhension plus générale jusqu’à ses significations plus particulières; le deuxième chapitre présente ensuite l’immersion sous l’angle d’une narratologie naturelle de la musique; tandis que le troisième chapitre intègre cette approche narrative au langage du cinéma pour l’oreille et adapte le tout au contexte multidirectionnel du médium de diffusion sonore. Les deux parties qui composent l’œuvre Cathédrales : I. Ville Aux Cent Clochers et II. Réverbérence, sont présentées au quatrième chapitre. Après avoir introduit le propos de l’œuvre dans son ensemble, les intentions et les stratégies spécifiques à chacune de ces pièces y sont également développées. Enfin, le cinquième chapitre présente les résultats de deux études de réception, impliquant un certain nombre d’auditeurs, sur l’écoute de musiques spatialisées pour dôme de haut-parleurs. L’analyse esthésique découlant de ces enquêtes permet de proposer différentes catégories conceptuelles de l’expérience sonore immersive. Ces catégories peuvent éventuellement servir à schématiser les effets de certaines stratégies de composition, combinées à l’emploi d’un dispositif technologique particulier, sur la réception d’une musique spatialisée en 3D. / The immersive sound experience is often associated with sound spatialization. But the immersive phenomenon is rather complex and reducing it to the sole usage of a technical device does a disservice to our appreciation of its multiple causes in terms of a work’s reception. This memoir presents a research-creation project, entitled Cathédrales, that aims to better understand the reception of an intentionally immersive 3Dspatialized acousmatic music. This work focuses on the adopted compositional strategies and their effects, with regard to initial intentions and the analysis of comments made by listener participants. The first three chapters present the concepts underlying the creative process for the works Ville Aux Cent Clochers ("City of a hundred bell towers") and Réverbérence ("Reverberence"). The first chapter clarifies the meaning of sound immersion from the outset, from its more general understanding to its more specific meanings; the second chapter then presents immersion under the scope of a natural narratology of music; while the third chapter integrates such narrative approach within the language of a "cinema for the ear", while adapting it to the multidirectional context of the sound diffusion medium. In the fourth chapter are presented the two parts composing Cathédrales ("Cathedrals") : I. Ville Aux Cent Clochers and II. Réverbérence. After introducing the concept of the work as a whole, the intentions and strategies that are more specific to each part of the work are then exposed. Finally, the fifth chapter presents the results of two case studies on the reception behaviors of multiple participants listening to spatialized music over a loudspeakers dome. Aesthesic analysis arising from these surveys allows to provide different conceptual categories of the immersive sound experience. Such categorization may eventually serve to schematize the effects of certain compositional strategies, in combination with the usage of a particular technological device, on the reception of 3D spatialized music.

Le paysage sonore est une forme de perception de notre environnement qui nous permet d’identifier les composantes sonores de notre quotidien. Ce projet de recherche porte sur une thématique particulière, les sons produits par les végétaux et leurs rôles dans les ambiances sonores paysagères. C’est la perspective que nous avons explorée in situ, en comparant les différentes espèces végétales; cette collection d’informations nous permet de proposer une typologie d’ambiances sonores des végétaux. Dans la première partie, des notions rattachées au « monde sonore » telles que l’objet sonore, le paysage sonore et les effets sonores justifient d’établir, dans la méthodologie, une grille d’analyse comportant différentes échelles d’écoute. Une lecture multidisciplinaire propose, d’une part, de réunir de l’information sur le son et les végétaux, la morphologie de ces derniers, l’aménagement au site, les conditions climatiques et, d’autre part, de retrouver ce qui a trait au son dans l’histoire des jardins, dont les jardins sensoriels, thérapeutiques, technologiques, et des sentiers d’interprétation sonore, sous l’angle du son comme projet. De plus, une liste de végétaux recevant les chants et cris de la faune vient introduire la notion de biodiversité sonore. Une enquête sociale de terrain, par la méthode des parcours commentés, et une enquête « experte » ont été réalisées au Jardin botanique de Montréal. Ces deux enquêtes nous ont permis de constituer une grille d’analyse croisée comprenant plusieurs échelles d’écoute : textures, actions sonores, effets sonores... De là, des générateurs d’ambiance (morphologie, organisation, climat) ont été relevés pour déterminer les aspects de récurrences et de différenciations d’un type d’ambiance sonore à l’autre. Des associations se sont formées en fonction de onze types de végétaux, chacun comprenant plusieurs sous-catégories. Celles-ci proposent des ambiances sonores spécifiques, des échelles d’écoute à considérer pour chaque type d’ambiance et l’énumération d’espèces à utiliser. Cette recherche ouvre la voie à un autre type de lecture sonore, par thématique d’ambiance (les sons du végétal dans notre cas), afin d’offrir de nouveaux outils de conception pour les professionnels, en profonde relation avec les perceptions sonores d’usagers sur le terrain et l’agencement spécifique d’un site. / The soundscape is a new way of perceiving our environment which allows us to identify the sound elements of our daily life. This research project is based on a specific theme, sounds produced by the plants and their role in the sound ambiances in the landscape. This is the perspective that we have explored in situ by comparing different plant species. This data collection has enabled us to propose a typology of plants soundscapes. In the first part, concepts related to the world of sound such as soundscape, sound object, and sound effect are at the origin of a framework that considers different scales measuring perceptions of sound. A literature review has focused on three complementary subject matters: first, we gathered different pieces of information related to sound and plants, on such topics as morphology, development, and weather conditions; second, we realized a rapid venture through the history of gardens, paying attention, on the one hand, to sensorial, therapeutic and technological gardens, and on the other hand, to sound trails through the perspective which defines sound as a project; third, we examined a list of plants receiving the songs and cries of wildlife, thus introducing the concept of biodiversity in the study of sound. An empirical data collection was performed at the Montreal Botanical Garden. Two complementary research methods were used: the first consisted of a soundwalks with participants during an hour in the Arboretum; the second consisted in an investigation conducted with an expert. These two sources of information lead to the elaboration of a framework composed of many listening scales targeting aspects such as textures and sound effects. This phase was completed by two others: first, the identification of various criteria (morphology, organization, weather); second, the determination of different atmospheres linked to them. We were then able to identify associations formed between eleven types of plants, each including various sub- scales. These sub-scales take into account specific sound atmospheres, listening scales designed to measure these atmospheres and a list of species to consider. This research opens the path to the perception of specific sounds with a thematic angle and in our case, the sounds of plants. It offers a new design tool to professionals, based upon the measurement of user’s perceptions regarding sound and the organization of a site.

La version intégrale de ce mémoire est disponible uniquement pour consultation individuelle à la Bibliothèque de musique de l'Université de Montréal (www.bib.umontreal.ca/MU). / Le programme de composition de musiques de film et multimédia de la Faculté de musique à l'Université de Montréal encourage la création de trois musiques de nature différente: acoustique, électroacoustique et mixte. Ces dernières supportent chacune une oeuvre visuelle. Pour mieux explorer les possibilités, trois projets de nature visuelle différents, soit une chorégraphie, deux court-métrages cinématographiques et une oeuvre dramatique, ont été créées en collaboration avec d'autres artistes. Pour la chorégraphie, X/Y, une trame sonore a été créée pour être jouée sur place par un petit ensemble acoustique. La musique des films, Mi Feng et Motel Pluton, est un mélange d'échantillonneurs et d'instruments acoustiques et a été enregistrée en studio. Quand à l'oeuvre dramatique, L'Araignée, la trame sonore est de nature entièrement électronique, avec des échantillonneurs et de la manipulation électroacoustique. / Université de Montréal's Film and Multimedia Music Composition program encourages the creation of three compositions in differing styles: acoustic, electro-acoustic, and mixed. These compositions each support a visual project. A choreography, two short films and a theatrical piece were created in a collaborative effort to explore the range and diversity of visual media. An acoustic score played by a small ensemble was used for the choreography X/Y. Both acoustic and digital instruments were used in recording sessions for the score of the two short films Mi Feng and Motel Pluton. The score for L'Araignée, the theatrical piece, is electro-acoustic, using samples, audio files, and digital signal processing (DSP).

La version intégrale de ce mémoire est disponible uniquement pour consultation individuelle à la Bibliothèque de musique de l’Université de Montréal (www.bib.umontreal.ca/MU). / Le compositeur canadien Paul Baillargeon a réalisé la musique de plus de quarante épisodes des séries télévisées Star Trek, maintenant traduites et diffusées à travers le monde. Star Trek est l’une des dernières séries télévisuelles américaines ayant utilisé un orchestre symphonique d’envergure avant que ses principaux compositeurs réalisent eux-mêmes leurs bandes sonores à l’aide d’ordinateurs et d’échantillons numériques, remplaçant ainsi la cinquantaine de musiciens qui perpétuait la tradition acoustique de la production musicale à Hollywood. Non seulement ces outils influencent-ils la musique de Paul Baillargeon, mais ils transforment aussi son travail au sein de la postproduction des populaires séries télévisées. Ce regard microscopique sur l’influence des technologies musicales dans la création télévisuelle s’inscrit dans un contexte plus vaste qui concerne les transformations culturelles et sociales issues des rapides progrès technologiques auxquelles nous assistons depuis deux décennies. / Canadian composer Paul Baillargeon wrote the music for more than forty television shows for the Star Trek series, now translated and broadcasted around the world. Star Trek was one of the last television series produced by a complete symphonic orchestra when Paul Baillargeon started using computers and digital samples, thereby replacing those musicians that were perpetuating Hollywood’s acoustical tradition. Not only do these tools affect the music of Paul Baillargeon, they also transform his work among the postproduction team of the popular television series. This close look at how musical technology influences composition and music production for that particular composer is part of a vast context in which technological progress has transformed our cultural and social fields for the past two decades.

L’amusie congénitale est un trouble neuro-développemental qui s’exprime par un déficit de discrimination tonale fine. Le cerveau des amusiques ne répond pas aux petites différences de hauteur, tel que révélé par l’absence de la composante de potentiel évoqué P3b, qui est associée aux processus de discrimination tonale tardifs et conscients. Peu d’études se sont penchées sur les mécanismes précoces et préconscients de discrimination tonale chez les amusiques, qui peuvent être étudiés par l’entremise d’une composante de potentiel évoqué appelée la négativité de discordance (MMN). Certaines études ont démontré qu’il est possible d’enregistrer la MMN pendant la présentation d’un film avec la trame sonore en simultané aux sons visant à évoquer la composante. Toutefois, une étude a démontré que la présentation de la trame sonore réduisait l’amplitude de la MMN, sans néanmoins clarifier la nature de l’effet d’interférence en cause. Les objectifs du présent projet sont d’abord, d’investiguer les effets à l’origine de la réduction d’amplitude de la MMN observée lors de la présentation d’un film avec la trame sonore, puis d’évaluer cette même composante chez les amusiques. La première étude visait à déterminer si un effet d’interférence attentionnelle ou acoustique était en cause dans la réduction d’amplitude observée sur la MMN lors de la présentation de la trame sonore d’un film. Les résultats ont montré qu’un effet de masquage acoustique, attribuable à la trame sonore, était responsable de la réduction d’amplitude de la MMN, cette dernière augmentant au fur et à mesure que l’intensité sonore de la trame du film était réduite. La seconde étude a été conduite dans le but d’investiguer la MMN chez les amusiques et de vérifier si le complexe d’ondes anormales N2b-P3b, observé en réponse aux grandes différences tonales chez les amusiques, pouvait être attribuable à un effet de saillance des stimuli. Dans un premier temps, nous avons comparé la MMN des amusiques à celle des contrôles, puis nous avons modifié le paradigme expérimental visant à évoquer la N2b-P3b en ajustant les probabilités d’occurrence des sons présentés aux contrôles en fonction des sons perçus par les amusiques. Les résultats ont montré que le cerveau des amusiques parvient à discriminer les différences de hauteur à un niveau précoce et préconscient, tel que révélé par une MMN normale, mais que les réponses cérébrales plus tardives, associées au processus de discrimination des hauteurs conscient, sont anormales chez les amusiques, et ce, uniquement pour les petites différences de hauteur, tel que révélé par l’absence de la P3b. En conclusion, ces résultats démontrent que l’amplitude de la MMN est affectée de manière significative par la présentation de la trame sonore d’un film et que cela est attribuable à un effet d’interférence acoustique. Dans un deuxième temps, nous avons démontré que les mécanismes précoces et préconscients de discrimination tonale sont préservés chez les amusiques, et que le déficit sous-jacent à l’amusie congénitale est attribuable à une atteinte du processus de discrimination tonale fine associé à un niveau de traitement cérébral tardif et conscient, le complexe d’ondes anormales N2b-P3b étant pour sa part attribuable à un effet de saillance des stimuli. / Congenital amusia is a neurodevelopmental disorder which is characterized by a deficit in fine-grained pitch discrimination. In fact, the amusic brain does not respond to small pitch changes, such as reflected by the absence of the event-related (ERP) component P3b, which is associated to late and conscious pitch discrimination processes. Until now, very few studies focused on early preconscious levels of processing in amusia, which can be studied through an ERP component called the mismatch negativity (MMN). Some studies have demonstrated that the MMN can be recorded while playing the soundtrack of a movie in concurrence with the MMN-critical tones. However, one study demonstrated that playing the movie soundtrack reduced MMN amplitude, but did not investigate the origin of this effect. The main goals of this project are, first, to investigate the nature of the effect responsible for the MMN reduction observed when playing a movie soundtrack, and secondly, to evaluate the MMN in congenital amusia. The first study aimed to investigate if an attentionnal or acoustical interference effect could account for the reduction in MMN amplitude observed when playing the movie soundtrack. The results showed that an acoustical masking effect of the movie soundtrack was responsible for the reduction in MMN amplitude. In fact, MMN amplitude increased as the intensity level of the movie soundtrack decreased. The goal of the second study was to investigate the MMN in congenital amusia, but also to explore if the abnormal N2b-P3b complex observed in amusics in a previous study could be accounted for by an effect of salience of the stimuli. Thus, we first compared the MMN results between amusics and controls, and then, we modified the experimental paradigm meant to evoke the N2b-P3b by adjusting the probabilities of occurrence of the sounds presented to the controls as a function of the sounds perceived by their matched amusics. The results showed that the amusic brain can detect all pitch changes at an early and preconscious level of processing, such as demonstrated by a normal MMN in both groups. Furthermore, our results showed that the amusic brain does not respond normally solely to small pitch changes at a later conscious level of processing, such as revealed by the absence of the P3b, thus showing that the abnormal N2b-P3b complex of ERP components observed in a previous study is better explained by a saliency effect of the stimuli and does not represent an electrophysiological anomaly specific to congenital amusia. In conclusion, our results have first shown that MMN amplitude is decreased by presenting a movie soundtrack and this is due to a masking effect at the acoustical level of the soundtrack over the MMN-critical tones. Finally, our second study showed that the early preconscious mechanisms of pitch discrimination are preserved in congenital amusia, and that the pitch deficit underlying congenital amusia is limited to an anomaly in the late and conscious processing of small pitch changes, the abnormal N2b-P3b complex being rather explained by an effect of salience of the stimuli.

La version intégrale de ce mémoire est disponible uniquement pour consultation individuelle à la bibliothèque de musique de l'Université de Montréal (www.bib.umontreal.ca/MU). / Durant ces trois dernières années, mon langage musical a évolué vers une dialectique de plus en plus gestuelle. Par l’intermédiaire de cet élément, j’ai recherché comment on pouvait « chorégraphier » la musique. Ces réflexions m’ont poussé à choisir une approche basée aussi bien sur le mouvement que sur la temporalité afin d’en déduire certains aspects musicaux. La finalité est de mêler d’une manière cohérente le geste chorégraphique, le geste musical et le geste instrumental. J’ai choisi de présenter mes pièces en ordre chronologique afin de montrer les liens qui subsistent entre elles, aussi bien dans leurs caractères que dans l’évolution de mon discours compositionnel. Ces oeuvres, qui utilisent toutes certains paradigmes électroacoustiques, exhibent une forte disparité énergétique et démontrent un intérêt marqué pour les extrêmes. Ces éléments sont au coeur de mon écriture et de ma pensée musicale. Ces considérations m’ont permis de faire évoluer un concept de « musique chorégraphique » dans lequel le discours musical s’oriente à travers différents types d’événements gestuels. / During these last three years, my language evolved constantly towards a more gestural vocabulary. Through this, I searched for a way to « choreograph » music. During this research, I gave as much importance to movement as to temporality in order to highlight certain aspects that are purely musical. The objective is mixing the pure choreographical movement, the musical gesture, and the instrumental gesture. I choose to present my pieces chronologically in order to analyze their relation, the compositional evolution that I experimented. These pieces use very different energy dynamics, a tendency for the extremes and the paradigm of electroacoustic music. These elements are intrinsic both in my writing and my musical thinking. Taking this into consideration, I was able to generate the concept of « choreographical » music, where the music is expressed through different types of gesture.

Nous proposons, dans ce mémoire, d’explorer les possibilités pratiques et pédagogiques d’une approche autopoïétique de la création sonore au cinéma. Notre principal souci sera de saisir les modalités de l’ascèse propre aux artistes qui se livrent à une telle activité, comprise comme un « apprentissage de soi par soi » (Foucault), afin de faire celui qui peut faire l’œuvre (processus de subjectivation), et le rôle descriptif et opératoire de cet exercice - en tant qu’effort pour penser de façon critique son propre savoir-faire -, dans le faire-œuvre et l’invention de possibles dans l’écriture audio-visuelle cinématographique. Pour ce faire, d’une part, nous étudierons, à partir de témoignages autopoïétiques, le rapport réflexif de trois créateurs sonores à leur pratique et leur effort pour penser (et mettre en place) les conditions d’une pratique et d’une esthétique du son filmique comme forme d’art sonore dans un contexte audio-visuel, alors qu’ils travaillent dans un cadre normalisant : Randy Thom, Walter Murch et Franck Warner. D’autre part, nous recourrons à différentes considérations théoriques (la théorie de l’art chez Deleuze et Guattari, la « surécoute » chez Szendy, l’histoire de la poïétique à partir de Valéry, etc.) et pratiques (la recherche musicale chez Schaeffer, la relation maître-apprenti, les rapports entre automatisme et pensée dans le cinéma moderne chez Artaud et Godard, etc.), afin de contextualiser et d’analyser ces expériences de création, avec l’objectif de problématiser la figure de l’artiste-poïéticien sur un plan éthique dans le sillage de la théorie des techniques de soi chez Foucault. / It is our aim, in this study, to explore the practical and pedagogical possibilities of an auto-poietic approach to sound designing in cinema. Our main concern is to grasp the modalities of the asceticism unique to artists of this trade, understood as a apprenticeship of the self, by the self (Foucault) in order to generate the one who can make the work of art, and the descriptive and operational roles of this exercise - as a means of producing critical thought with respect to one’s own know-how-, in the making of the film and the invention of possibilities in audio-visual cinematographic “writing”. To do this, firstly, based on various forms of autopoietic testimony, we study the reflexive relation of three sound designers (Randy Thom, Walter Murch and Frank Warner) with respect to their practice and their efforts to think (and put in place) the conditions of a practice and an esthetics of film sound as a form of sound art in the audio-visual context, while these are working in normative framework. Secondly, we will use various theoretical (the art theories of Deleuze and Guattari, the “surécoute” of Szendy, the history of poietic from Valéry, etc.) and practical (Schaeffer’s musical research, the master-student relationship, the relationship between automatism and thought in the modern cinemas of Artaud and Godard, etc.) considerations to help contextualize and analyze these experiences of artistic creation, with the objective of problematizing the figure of the poietic-artist in the wake of Foucault’s theories on the techniques of self.

Ces travaux concernent l'évaluation perceptive de la reproduction sonore. Le but de notre étude est de proposer un protocole permettant la caractérisation perceptive des non-linéarités et des phénomènes de distorsion modifiant le signal reproduit par un système tel qu'une enceinte acoustique. L'élaboration d'un tel protocole nécessite de rassembler de nombreuses enceintes et d'utiliser une méthode d'évaluation adaptée. Nous ne cherchons pas à évaluer la distorsion en terme de qualité globale mais plutôt à estimer les dissemblances perçues entre différentes enceintes distordues afin de révéler, grâce à une analyse multidimensionnelle MDS, les critères sur lesquelles les auditeurs se basent pour les différencier. Dans un premier temps, nous avons utilisé des signaux de synthèse afin de générer des échantillons dont la distorsion est contrôlable. Nous avons ainsi créé un corpus composé de nombreux échantillons distordus simulant ou se rapprochant du fonctionnement d'une enceinte acoustique avec différents types de non-linéarités. Ensuite nous proposons une méthode adaptée à l'évaluation de la dissemblance sur des corpus étendus que nous avons validée à partir de simulations et de tests d'écoute. Enfin, nous avons appliqué cette méthode d'évaluation sur le corpus d'enceintes que nous avons élaboré afin de tester l'utilisation du protocole proposé et de donner quelques résultats préliminaires concernant les dimensions perceptives liées à la distorsion non linéaire. / This work deals with the perceptual evaluation of the sound reproduction. Our aim is to elaborate a protocol allowing to assess the influence of nonlinearities and distortions of a loudspeaker. Such a protocol requires gathering a large set of loudspeakers together with an appropriate method for its evaluation. This study deals with the perceptual evaluation of dissimilarities between different loudspeakers rather than their absolute quality judgements. Thanks to a multidimensional scaling technique, this approach allows to uncover the criteria used by the listeners to differentiate various distorting loudspeakers. First, we used synthesized signals to generate samples of sounds resulting from controlled distortion. Numerous distorded stimuli have been generated that simulate sounds radiated by a loudspeaker. Then, we propose a method suitable for the evaluation of a large set of stimuli. In order to verify its application to the estimation of dissimilarity, simulations and listening tests have been conducted. Finally, this listening test method has been applied to the created set of distorting loudspeakers in order to verify the use of our protocol and provide some preliminaries results concerning the perception of nonlinear distortion.

Simulation en temps réel de scènes audio-visuelles complexes reste difficile en raison du processus de rendu techniquement indépendant mais perceptivement lié à chaque modalité. En raison de la dépendance cross-modale potentiel de la perception auditive et visuelle, l'optimisation de graphiques et de rendu sonore, tels que le niveau de détail (LOD), doit être considéré de manière combinée, mais pas comme des questions distinctes. Par exemple, dans l'audition et de la vision, les gens ont des limites perceptives sur la qualité de l'observation. Techniques de LOD conduit par la perception pour les graphismes ont été grandement progressé depuis des décennies. Cependant, le concept de LOD est rarement pris en compte dans l'évaluation et le rendu crossmodal. Cette thèse porte sur l'évaluation de la perception crossmodale sur le rendu LOD audiovisuel par des méthodes psychophysiques, sur lequel on peut appliquer une méthode fonctionnelle et générale, à terme, d'optimiser le rendu. La première partie de la thèse est une étude des problématiques. Dans cette partie, nous passons en revue les différentes approches LOD et discutons les issues, en particulier du point de vue au niveau de la perception crossmodale. Nous discutons également les résultats principaux sur le design, le rendu et les applications interactives des scènes audio et graphiques dans le cadre du projet ANR Topophonie dont la thèse a eu lieu. Une étude des méthodes psychophysiques pour l'évaluation de la perception audio-visuelle est également présentée afin de fournir une solide connaissance du design expérimentale. Dans la deuxième partie, nous nous concentrons sur l'étude de la perception des artefacts d'image dans le rendu LOD audio-visuel. Une série d'expériences a été conçue pour étudier comment la modalité audio supplémentaire peut influer sur la détection visuelle des artefacts produits par la méthode LOD d’imposteur. La troisième partie de la thèse est axée sur le X3D étendu que nous avons conçu pour la modélisation de LOD audio-visuel. Dans la dernière partie, nous présentons le design et l'évaluation du système original par le rendu LOD crossmodal. L'évaluation de la perception audio-visuelle sur le système LOD crossmodal a été atteinte grâce à une série d'expériences psychophysiques. Notre contribution principale est que nous offrons une compréhension originale de LOD crossmodal avec de nouvelles observations, et l'explorer par des expériences et des analyses perceptives. Les résultats de notre travail peuvent être, éventuellement, les preuves empiriques et des lignes directrices pour un système de rendu LOD crossmodale conduit par la perception. / Real-time simulation of complex audio-visual scenes remains challenging due to the technically independent but perceptually related rendering process in each modality. Because of the potential crossmodal dependency of auditory and visual perception, the optimization of graphics and sound rendering, such as Level of Details (LOD), should be considered in a combined manner but not as separate issues. For instance, in audition and vision, people have perceptual limits on observation quality. Techniques of perceptually driven LOD for graphics have been greatly advanced for decades. However, the concept of LOD is rarely considered in crossmodal evaluation and rendering. This thesis is concentrated on the crossmodal evaluation of perception on audiovisual LOD rendering by psychophysical methods, based on that one may apply a functional and general method to eventually optimize the rendering. The first part of the thesis is an overview of our research. In this part, we review various LOD approaches and discuss concerned issues, especially from a crossmodal perceptual perspective. We also discuss the main results on the design, rendering and applications of highly detailed interactive audio and graphical scenes of the ANR Topophonie project, in which the thesis took place. A study of psychophysical methods for the evaluation on audio-visual perception is also presented to provide a solid knowledge of experimental design. In the second part, we focus on studying the perception of image artifacts in audio-visual LOD rendering. A series of experiments was designed to investigate how the additional audio modality can impact the visual detection of artifacts produced by impostor-based LOD. The third part of the thesis is focused on the novel extended-X3D that we designed for audio-visual LOD modeling. In the fourth part, we present a design and evaluation of the refined crossmodal LOD system. The evaluation of the audio-visual perception on crossmodal LOD system was achieved through a series of psychophysical experiments. Our main contribution is that we provide a further understanding of crossmodal LOD with some new observations, and explore it through perceptual experiments and analysis. The results of our work can eventually be used as the empirical evidences and guideline for a perceptually driven crossmodal LOD system.

Bien que de plus en plus de données sonores et audiovisuelles soient disponibles, la majorité des interfaces qui permettent d’y accéder reposent uniquement sur une présentation visuelle. De nombreuses techniques de visualisation ont déjà été proposées utilisant une présentation simultanée de plusieurs documents et des distorsions permettant de mettre en relief l’information plus pertinente. Nous proposons de définir des équivalents auditifs pour la présentation de plusieurs fichiers sonores en concurrence, et de combiner de façon optimale les stratégies audio et visuelles pour la présentation de documents multimédia. Afin d’adapter au mieux ces stratégies à l’utilisateur, nous avons dirigé nos recherches sur l’étude des processus perceptifs et attentionnels impliqués dans l’écoute et l’observation d’objets audiovisuels concurrents, en insistant sur les interactions entre les deux modalités.Exploitant les paramètres de taille visuelle et de volume sonore, nous avons étendu le concept de lentille grossissante, utilisée dans les méthodes focus+contexte visuelles, aux modalités auditive et audiovisuelle. A partir de ce concept, une application de navigation dans une collection de documents vidéo a été développée. Nous avons comparé notre outil à un autre mode de rendu dit de Pan&Zoom à travers une étude d’utilisabilité. Les résultats, en particulier subjectifs, encouragent à poursuivre vers des stratégies de présentation multimodales associant un rendu audio aux rendus visuels déjà disponibles.Une seconde étude a concerné l’identification de sons d’environnement en milieu bruité en présence d’un contexte visuel. Le bruit simule la présence de plusieurs sources sonores simultanées telles qu’on pourrait les retrouver dans une interface où les documents audio et audiovisuels sont présentés ensemble. Les résultats de cette expérience ont confirmé l’avantage de la multimodalité en condition de dégradation. De plus, au-delà des buts premiers de la thèse, l’étude a confirmé l’importance de la congruence sémantique entre les composantes visuelle et sonore pour la reconnaissance d’objets et a permis d’approfondir les connaissances sur la perception auditive des sons d’environnement.Finalement, nous nous sommes intéressée aux processus attentionnels impliqués dans la recherche d’un objet parmi plusieurs, en particulier au phénomène de « pop-out » par lequel un objet saillant attire l’attention automatiquement. En visuel, un objet net attire l’attention au milieu d’objets flous et certaines stratégies de présentation visuelle exploitent déjà ce paramètre visuel. Nous avons alors étendu la notion de flou aux modalités auditives et audiovisuelles par analogie. Une série d’expériences perceptives a confirmé qu’un objet net parmi des objets flous attire l’attention, quelle que soit la modalité. Les processus de recherche et d’identification sont alors accélérés quand l’indice de netteté correspond à la cible, mais ralentis quand il s’agit d’un distracteur, mettant ainsi en avant un phénomène de guidage involontaire. Concernant l’interaction intermodale, la combinaison redondante des flous audio et visuel s’est révélée encore plus efficace qu’une présentation unimodale. Les résultats indiquent aussi qu’une combinaison optimale n’implique pas d’appliquer obligatoirement une distorsion sur les deux modalités. / Although more and more sound and audiovisual data are available, the majority of access interfaces are solely based on a visual presentation. Many visualization techniques have been proposed that use simultaneous presentation of multiple documents and distortions to highlight the most relevant information. We propose to define equivalent audio technique for the presentation of several competing sound files, and optimally combine such audio and visual presentation strategies for multimedia documents. To better adapt these strategies to the user, we studied attentional and perceptual processes involved in listening and watching simultaneous audio-visual objects, focusing on the interactions between the two modalities.Combining visual size and sound level parameters, we extended the visual concept of magnifying lens to auditory and audiovisual modalities. Exploiting this concept, a navigation application in a video collection has been developed. We compared our tool with another rendering mode called Pan & Zoom through a usability study. Results, especially subjective results, encourage further research to develop multimodal presentation strategies by combining an audio rendering to the visual renderings already available.A second study concerned the identification of environmental sounds in a noisy environment in the presence of a visual context. The noise simulated the presence of multiple competing sounds as would be observed in an interface where several multimedia documents are presented together. The experimental results confirmed the multimodality advantage in condition of audio degradation. Moreover, beyond the primary goals of the thesis, this study confirms the importance of the semantic congruency between visual and auditory components for object recognition and provides deeper knowledge about the auditory perception of environmental sounds.Finally, we investigated attentional processes involved in the search of a specific object among many, especially the “pop-out” phenomenon whereby a salient object automatically attracts attention. In vision, an sharp object attracts attention among blurred objects and some visual strategies already exploit this parameter to display the information. We extended by analogy the concept of visual blur to auditory and audiovisual modalities. A serie of experiments confirmed that a perceptual object among blurred objects attracts attention, regardless of the modality. The identification and search process is then accelerated when the sharpness parameter is applied to the target, but slow when it is applied to a distractor. These results highlight an involuntary attraction effect. Concerning the crossmodal interaction, a redundant combination of audio and visual blur proved to be more effective than a unimodal presentation. Results also indicate that optimal combination does not necessarily require a distortion of both modalities.