La notion d'instrumentalité peut être définie comme la relation corporelle entre un humain et un objet physique, dit instrument. Ce corps à corps intime, qui adresse simultanément les différents canaux sensoriels d'action et de perceptions humaines, constitue un vecteur pour la connaissance enactive. Cette relation instrumentale joue notamment un rôle clé pour la richesse expressive des instruments musicaux.Dans le contexte informatique, un vaste champ de recherche concerne l'interaction sensorielle avec des entités virtuelles par le biais de capteurs et d'actionneurs, notamment l'interaction gestuelle avec les systèmes à retour d'effort. D'une part, les Réalités Virtuelles, historiquement centrées sur la visualisation, focalisent essentiellement l'interaction gestuelle sur des propriétés spatiales, souvent au détriment de qualités dynamiques. D'autre part, les Instruments Musicaux Numériques sont essentiellement centrés sur le contrôle interactif de processus de synthèse sonore numériques, basés sur le traitement de l'information. Ces deux scénarii synthétisent des phénomènes sensoriels destinés à différents canaux perceptifs selon une approche multimodale, l'objet virtuel étant décomposé en sous-parties, liées entre elles par des relations de contrôle.Il est néanmoins possible de concevoir des systèmes permettant l'interaction instrumentale avec un objet virtuel simulé, avec une cohérence énergétique bidirectionnelle totale, du geste au son et réciproquement. Il est alors nécessaire de regrouper (a) un formalisme de modélisation physique permettant la création d'objets virtuels intrinsèquement multisensoriels, possédant à la fois des propriétés visuelles, acoustiques et haptiques, (b) des systèmes à retour d'effort de grande performance dynamique et (c) des architectures de calcul spécialisées, permettant une boucle de simulation synchrone réactive à haute vitesse.Le travail de cette thèse consiste en l'extension et la convergence des concepts et techniques ci-dessus pour la mise en œuvre d'une plateforme de création musicale instrumentale, dite MSCI (modeleur-simulateur pour la création instrumentale), en proposant une répartition multifréquence du calcul de simulation des instruments virtuels sur une nouvelle architecture matérielle synchrone. Un environnement de modélisation permet de concevoir intégralement l'instrument virtuel sur des principes mécaniques et physiques et de configurer le couplage physique entre celui-ci et l'utilisateur du monde réel lors de la simulation à retour d'effort.Il adresse entre autre la question de la répartition de la chaine instrumentale en zones à caractère majoritairement non-vibrant, dont la dynamique est de l'ordre du geste sensori-moteur humain, et en zones vibrantes, productrices du son. Ces deux parties de l'instrument peuvent être simulées à des fréquences différentes, adaptées aux phénomènes physiques dont elles sont le siège. Dans le cadre d'un formalisme de simulation physique garantissant la cohérence énergétique des objets simulés, la séparation multifréquence est une problématique nouvelle qui nécessite d'être abordée avec précaution, pour des questions de respect du couplage physique ainsi que de stabilité numérique.Il s'agit, à notre connaissance, du premier environnement de création musicale par modélisation physique modulaire permettant la manipulation instrumentale d'instruments virtuels multisensoriels, respectant une cohérence énergétique entre homme et instrument, et permettant de jouir du potentiel créatif de la synthèse sonore tout en retrouvant l'intimité et la richesse de l'interaction gestuelle instrumentale. Au delà du cadre musical, ce travail pose les bases et les outils technologiques pour un véritable art multisensoriel, adressant conjointement la vision, l'oreille ainsi que le geste humain. / The notion of instrumentality can be defined as the corporal relationship between a human and a physical object, called an instrument. This intimate situation simultaneously addresses the various human action and perception sensory canals, and constitutes a vector for enactive knowledge. In particular, this instrumental relationship plays a key role in the expressiveness of musical instruments.In the digital context, a vast area of research concerns sensory interactions with virtual entities, by means of sensors and actuators, including gestural interaction with force feedback systems. On the one hand the Virtual Reality domain, historically focused on visual aspects, generally focus gestural interaction on spatial features, often losing the focus of dynamic features. On the other hand, Digital Musical Instruments are essentially centered on interactive control of digital sound synthesis processes, grounded in information technologies and signal processing. These two approaches synthesize sensory phenomena destined to different perceptive channels following a multimodal approach, the virtual object being decomposed into subsections, linked together by control relations.It is however possible to conceive systems that allow for instrumental interaction with a virtual simulated object, maintaining total and bidirectional energetic coherence, from gesture to sound and reciprocally. In this case, it is necessary to bring together (a) a physical modeling formalism that allows creating intrinsically multisensory virtual objects that possess visual, acoustical and haptic properties, (b) force feedback systems with high dynamic performances and (c) specialized computation architectures that allow for a reactive, high rate synchronous simulation loop.The work of this thesis consists in the extension and convergence of concepts and techniques hereby mentioned here-above, in order to create a platform for instrumental musical creation, named MSCI (Modeleur Simulateur pour la Création Instrumentale), proposing a multi-rate architecture for the simulation of virtual musical instruments on a new dedicated simulation architecture. A modeling environment allows complete design of the virtual instrument based on mechanical and physical principles, and to configure the haptic coupling between this instrument and the user during the force-feedback simulation.Notably, it addresses the separation of the instrumental chain into zones which present mostly non-vibrating phenomena within a dynamic range close to the human sensory-motor gesture, and zones which vibrate at acoustical rates, producing sound. These two sections of the instrument may be simulated at different rates, adapted to the physical phenomena that they give birth to. In the scope of a physical modeling formalism that guarantees the energetic coherence of simulated objects, this multi-rate separation is a new topic that requires careful handling, in terms both or respect of the physical coupling and of numerical stability.To our knowledge, this is the first environment for musical creation by means of physical modeling that allows for instrumental manipulation of multisensory virtual instruments, respecting an energetic coherence between the human and the instrument, and therefore allowing embracing the creative potential of digital sound synthesis while disposing of the intimacy and expressiveness of instrumental gestures. Beyond the musical scope, this work provides the basis and the technological tools for the emergence of a true multisensory form of art, jointly addressing vision, hearing and gesture.
| Identifer | oai:union.ndltd.org:theses.fr/2015GREAS036 |
| Date | 24 November 2015 |
| Creators | Leonard, James |
| Contributors | Grenoble Alpes, Cadoz, Claude, Castagne, Nicolas |
| Source Sets | Dépôt national des thèses électroniques françaises |
| Language | French |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation, Text |
Page generated in 0.003 seconds