Cette thèse présente un système prototype de vision par ordinateur pour la reconnaissance des gestes dans l'’interaction entre le pianiste et l'’instrument. La vision par ordinateur est la seule technologie permettant la reconnaissance des gestes, sans interférence entre le pianiste et son instrument, et à un faible coût. Le système propose deux approches pour la reconnaissance : a) l'’approche statique, ou reconnaissance des doigtés, et b) l’'approche dynamique, extension de l’'approche statique. La reconnaissance statique s’'applique à chaque image de la vidéo. Elle repose sur l’'analyse et l'’interprétation des caractéristiques de l'’image, en les comparant avec le modèle déterministe du geste. La reconnaissance dynamique s'’applique à un ensemble de séquences d'’images vidéo. Elle se base sur l'’analyse et la modélisation stochastique du geste, à l'’aide de Modèles de Markov Cachés. Cette méthode peut être étendue à d’'autres champs d’'application tels que le suivi de personnes en perte d'’autonomie à domicile, la valorisation du patrimoine culturel, l'’étude du comportement humain ou encore l'’interaction homme-machine.

Le travail présenté dans cette thèse s’inscrit à la fois dans le domaine de l’informatique musicale et dans celui de la réalité virtuelle. Nous présentons tout d’abord les avantages des environnements virtuels immersifs et de l’interaction graphique 3D pour les instruments multi-processus et en particulier pour le live-looping hiérarchique, un nouveau modèle d’instrument que nous définissons. Nous proposons ensuite des solutions pour la visualisation et la manipulation des processus sonores dans ces environnements virtuels. Afin de représenter les processus sonores, nous introduisons les widgets réactifs 3D qui s’appuient sur des mappings audiovisuels que nous évaluons. Nous développons un nouveau dispositif d’interaction 3D adapté à l’interaction musicale, appelé Piivert, ainsi que des techniques associées, dont les tunnels, afin de manipuler les widgets réactifs 3D. Finalement, nous mettons en œuvre le live-looping hiérarchique avec l’instrument immersif Drile, en utilisant les techniques développées précédemment, et nous étudions plusieurs scènes pour les performances musicales immersives. / The work presented in this thesis belongs to the computer music field as well as to the virtual reality field. First, we describe the advantages of immersive virtual environments and of 3D graphical interaction for multiprocesses instruments and particularly for the hierarchical live-looping, a new instrument model that we define. We then suggest solutions to visualize and manipulate sound processes in these virtual environments. In order to display the sound processes, we introduce the 3D reactive widgets, which rely on audiovisual mappings that we study. We develop a novel 3D interaction device suitable for musical interaction, called Piivert, together with associated interaction techniques, among which the tunnels, in order to manipulate the 3D reactive widgets Finally, we implement the hierarchical live-looping with an immersive instrument called Drile, using the previously developped techniques, and we study different stages for immersive musical performances.

Cette recherche porte un regard critique sur les interfaces de spatialisation sonore et positionne la composition de musique spatiale, un champ d’étude en musique, à l’avant plan d’une recherche en design. Il détaille l’approche de recherche qui est centrée sur le processus de composition de musique spatiale et les modèles mentaux de compositeurs électroacoustiques afin de livrer des recommandations de design pour le développement d’une interface de spatialisation musicale nommée Centor. Cette recherche montre qu’un processus de design mené à l’intersection du design d’interface, du design d’interaction et de la théorie musicale peut mener à une proposition pertinente et innovatrice pour chacun des domaines d’étude. Nous présentons la recherche et le développement du concept de spatialisation additive, une méthode de spatialisation sonore par patrons qui applique le vocabulaire spectromorphologique de Denis Smalley. C’est un concept d’outil de spatialisation pour le studio qui complémente les interfaces de composition actuelles et ouvre un nouveau champ de possibilités pour l’exploration spatiale en musique électroacoustique. La démarche de recherche présentée ici se veut une contribution au domaine du design d’interfaces musicales, spécifiquement les interfaces de spatialisation, mais propose aussi un processus de design pour la création d’interfaces numériques d’expression artistique. / This research takes a critical look at current sound spatialisation interfaces and places spatial music composition, traditionally studied in music research, at the forefront of a research in design. This thesis presents a research approach focused on understanding the spatial composition process and mental models of electroacoustic music composers in order to build a design brief for a new sound spatialisation software tool : Centor. This research combines the study of interface and interaction design with music theory in order to generate an innovative sound spatialisation method that is meaningful from both an interaction design and musical standpoint. We present the research and development process of additive spatialisation: a pattern based method that integrates aspects of spectromorphology, developed by Denis Smalley. The proposed spatilisation tool for in studio work is meant to complement current digital audio workstations and to offer new opportunities for spatial sound exploration in electroacoustic music. This work is a contribution to the field of new musical interface design, specifically for spatialisation but also, more broadly, suggests a design process that could be used for the creation of new digital tools for artistic expression.

Le présent travail s’inscrit dans une perspective d’interprétation du phénomène de l’interaction musicale comme expérience esthétique dans les contextes inter- et trans-culturels du jazz post-1969. À partir d’une révision critique des approches musicologiques traditionnelles sur l’interaction dans le jazz nous proposons la formalisation du concept herméneutique de « Lieu interactionnel-formatif » consistant en un ensemble de conditions qui caractérise l’expérience esthétique interactionnelle comme un processus dynamique de constitution et de reconnaissance mutuelle de la règle artistique qui, indépendamment du programme poétique pré-adopté, conduit la performance musicale improvisée au statut d’œuvre. Deux apports décisifs fondent cette conception et sont traités dans la première partie du travail : la Théorie de la formativité, du philosophe italien Luigi Pareyson, et la phénoménologie et taxinomie de l’expérience musicale comme formativité audiotactile, de Vincenzo Caporaletti. Cette réflexion s’occupe essentiellement de fournir une vision approfondie des propriétés de la formativité pareysonienne, notamment l’idée d’isomorphisme personne/œuvre, intégrées et articulées à la spécification anthropologico-cognitive-culturelle de la Théorie de la formativité audiotactile présentant ainsi une contribution philologique de la conceptualisation caporalettienne, et permettant une confrontation de ces deux apports avec la problématique générale de l’interaction. Finalement, dans la seconde partie du travail, nous proposons une formalisation des dimensions interpersonnelle, contextuelle, et systémique du « Lieu interactionnel-formatif », et une série de trois essais analytiques. / This study consists of a hermeneutic approach of the phenomenon of musical interaction as aesthetic experience, within the inter- and trans-cultural contexts of the post-1969 jazz. A critical review of the traditional musicological analysis on the subject of interaction in jazz was an essential tool for this work to propose a formalization of the hermeneutical concept of the “Interactional-Formative Space” [IFS], which consists of a set of conditions that institutes the interactional aesthetic experience as a dynamic process of constitution and mutual recognition of the artistic rules that, regardless of the poetic agenda pre-adopted, can lead the improvised musical performance into being work of art. There are two key approaches to this conception, which we discuss in the first part of this work: the formativity theory of the Italian philosopher Luigi Pareyson, and the phenomenology and taxonomy of the music experience as audiotactile formativity of Vincenzo Caporaletti. Our main purpose is to build an in-depth view of some characteristics of the Pareysonian formativity, particularly the one regarding the isomorphism between the person and the work in process, alongside with the cultural-cognitive-anthropologic design of the audiotactile formativity theory, which results in a philological contribution to the conceptualization of Caporaletti, making way for a confrontation between these two theoretical systems and the general problem of the interaction. Finally, in the second part, we propose the formalization of the interpersonal, contextual, and systemic dimensions of the IFS and also a series of three analytical essays.