Ce travail de thèse porte sur la théorie, la mise en œuvre et les applications musicales des effets audionumériques adaptatifs. Dans la première partie, nous plaçons le sujet dans le contexte des transformations sonores. Un grand nombre de techniques de traitement du signal sonore numérique se complètent et fournissent un ensemble d'algorithmes permettant de transformer le son. Ces transformations sont appliquées selon les dimensions perceptives du son musical, à savoir la dynamique, la durée, la hauteur, la spatialisation et le timbre. Pour quelques effets, les contrôles évoluent de manière automatique ou périodique, et ce contrôle est intégré à l'algorithme. Le contrôle offert à l'utilisateur porte sur les valeurs de certains paramètres de l'algorithme. Il se réalise à l'aide de contrôleurs réels, tels des potentiomètres, des interrupteurs, ou à l'aide de contrôleurs virtuels, telles les interfaces graphiques sur écran d'ordinateur. En synthèse sonore, l'un des sujets majeurs d'étude à l'heure actuelle est le mapping : il s'agit de savoir comment mettre en correspondance les paramètres d'un contrôleur gestuel et les paramètres d'un algorithme de synthèse. Notre étude se situe à l'intersection entre les effets audionumériques, le contrôle adaptatif et gestuel, et la description de contenu sonore. Dans la seconde partie, nous présentons les effets audionumériques adaptatifs tels que nous les avons formalisés et développés. Ce sont des effets dont le contrôle est automatisé en fonction de descripteurs sonores. Nous avons étudié puis utilisé de nombreux algorithmes de traitement, certains en temps-réel et d'autres hors temps-réel. Nous les avons améliorés afin de permettre l'utilisation de valeurs de contrôle variables. Une réflexion a été menée pour choisir une classification des effets qui ait du sens pour le musicien ; elle a logiquement abouti à la taxonomie perceptive. Parallèlement, nous avons étudié les descripteurs sonores et les moyens de contrôle d'un effet, par le son et par le geste. Nous avons rassemblé de nombreux descripteurs sonores, utilisés en psychoacoustique, en analyse-synthèse, pour la segmentation et la classification d'extraits sonores, et pour la transcription automatique de partition. Nous proposons un contrôle généralisé pour les effets adaptatifs, hiérarchisé en deux niveaux. Le premier niveau de contrôle est le niveau d'adaptation : le contrôle de l'effet est effectué par des descripteurs du son, à l'aide de fonctions de mapping. Nous indiquons des fonctions de conformation (fonctions de transfert non linéaires) permettant de transformer la courbe d'évolution temporelle d'un descripteur, des fonctions de combinaisons des descripteurs ainsi que des fonctions de conformations spécifiques des paramètres de contrôle. Le second niveau de contrôle est celui du contrôle gestuel : le geste agit sur les fonctions de mapping, soit sur la combinaison, soit sur la conformation spécifique des contrôles. De cette étude, il ressort non seulement une généralisation du contrôle des effets audionumériques, mais aussi la réalisation d'outils pour la composition, et leur utilisation en situation musicale. De nombreuses expériences et illustrations sonores ont été réalisées, parmi lesquelles une spatialisation adaptative contrôlée par une danseuse, et un équalisateur stéréophonique adaptatif. Les expériences confirment l'intérêt d'un tel contrôle adaptatif et gestuel, notamment pour modifier l'expressivité d'une phrase musicale, ou pour créer des sons inouïs.

This thesis treats the control of sound synthesis of bowed string instruments based on physical modelling. The work followed two approaches: (a) a systematic exploration of the influence of control parameters (bow force, bow velocity, and bow-bridge distance) on the output of a physical model of the violin, and (b) measurements and analyses of the bowing parameters in real violin playing in order to model and parameterize basic classes of bowing patterns for synthesis control.First a bowed-string model based on modal solutions of the string equation is described and implemented for synthesis of violin sounds. The behaviour of the model is examined through simulations focusing on playability, i.e. the control parameter space in which a periodic Helmholtz motion is obtained, and the variations of the properties of the simulated sound (sound level and spectral centroid) within this parameter space. The response of the model corresponded well with theoretical predictions and empirical expectations based on observations of real performances. The exploration of the model allowed to define optimal parameter regions for the synthesis, and to map sound properties on the control parameters.A second part covers the development of a sensor for measuring the bow force in real violin performance. The force sensor was later combined with an optical motion capture system for measurement of complete sets of bowing parameters in violin performance.In a last part, measurements of the control parameters for basic classes of bowing patterns (sautillé, spiccato, martelé, tremolo) are analyzed in order to propose a realistic control of the sound synthesis. The time evolution of the bowing parameters were modelled by analytical functions, which allowed to describe and control simulated bowing patterns by a limited set of control parameters. For sustained bowing patterns such as détaché, control strategies for basic elements in playing (variations in dynamic level, bow changes) were extracted from exemplary measurements, and simple rules deduced, which allowed extrapolation of parameters to modified bow strokes with other durations and at different dynamic levels. / Denna avhandling behandlar styrning av syntes av stråkinstrument med tillämpningar inom fysikalisk modellering av musikinstrument. Problemet har angripits i två steg, först genom en systematisk undersökning av inflytandet av styrparametrarna i violinspel (stråkkraft, stråkhastighet, och avstånd stråke-stall) på utsignalen från en fysikalisk modell, följt av mätningar och analyser av stråkningsparametrarna i normalt violinspel med syfte att modellera och parameterisera grundläggande klasser av stråkarter för styrning av syntesen. En modell av interaktionen mellan stråke-sträng har utvecklats baserad på modal syntes och modellen har implementerats för syntes av violintoner. Modellen har utforskats genom simuleringar inriktade dels på spelbarheten, dvs. gränserna för den parameterrymd inom vilken en periodisk Helmholtz-rörelse erhålls, och dels på variationerna hos det syntetiserade ljudets egenskaper (ljudnivå och spektral centroid) inom detta parameterområde. Modellens egenskaper motsvarade väl de teoretiska prediktionerna och förväntade resultat från observationer av violinster. Utforskningen av modellen gjorde det möjligt att definiera optimala parameterområden för styrning av syntesen, och även avbilda ljudens egenskaper på styrparametrarna. En sensor för mätning av stråkkraften utvecklades för att kunna genomföra mätningar under normalt spel. Sensorn kombinerades senare med ett optiskt system för rörelseanalys vilket gjorde det möjligt att mäta kompletta uppsättningar av stråkparametrar under spel. Uppmätta styrparametrar för grundläggande klasser av stråkarter (sautillé, spiccato, martelé, tremolo) analyserades för att ge tillgång till realistiska styrförlopp av syntesen. Stråkningsparametrarna modellerades med analytiska funktioner, för att kunna beskriva och styra simulerade stråkningsförlopp med ett begränsat antal modellparametrar. För stråkarter med uthållna toner som détaché utvecklades styrstrategier för grundläggande element i spelet, som ändringar i styrkegrad och stråkväxlingar, utifrån mätningar på typfall. Enkla regler formulerades för att kunna extrapolera parametrarna till modifierade stråk med andra durationer och styrkegrader. / Cette thèse porte sur le contrôle de la synthèse sonore par modélisation physique des instruments à corde frottée. Il se base, d’une part, sur l’exploration systématique de l’influence des paramètres de contrôle (pression d’archet, vitesse de l’archet et distance au chevalet) sur le comportement du modèle, et d’autre part, sur la mesure et l’analyse du contrôle effectif qu’exerce l’instrumentiste afin de modéliser et paramétriser des modes de jeu typiques pour le contrôle de la synthèse. Un modèle de corde frottée basé sur la résolution modale de l’équation de la corde est d’abord présenté et implémenté pour la synthèse sonore du violon. Le comportement du modèle physique est ensuite examiné en effectuant un grand nombre de simulations et se concentre sur deux aspects : la “jouabilité", c’est-à-dire l’espace des paramètres de contrôle dans lequel un mouvement de Helmholtz périodique est obtenu, et les variations des propriétés du son synthétisé (niveau sonore et centroïde spectral) à l’intérieur de cet espace de paramètres. Un très bon accord a été trouvé entre, d’une part, le résultat des simulations et, d’autre part, les prédictions théoriques ou empiriques basées sur l’expérience des instrumentistes. Cette exploration systématique a permis de définir des régions optimales pour le jeu dans l’espace des paramètres de contrôle et de décrire quantitativement la correspondance entre les propriétés sonores pertinentes et les paramètres de contrôle. La deuxième partie de ce travail concerne la mise au point d’un capteur pour mesurer la force d’appui de l’archet sur la corde dans un contexte de jeu réel. Le capteur est ensuite combiné avec un système optique de capture du mouvement afin de mesurer les paramètres de jeu du violoniste. La dernière partie présente l’analyse des mesures de ces paramètres de contrôle pour des modes de jeu typiques (sautillé, spiccato, martelé, tremolo), afin de proposer un contrôle réaliste de la synthèse sonore. L’évolution temporelle des paramètres de jeu est modélisée par des fonctions analytiques, ce qui permet de décrire et de simuler différents modes de jeu par un nombre limité de paramètres. Pour les modes de jeu soutenus tels que le détaché, les mesures permettent de décrire des stratégies de contrôle pour des tâches typiques (variation de niveau sonore, changement de direction d’archet), et des procédures simples ont été déduites, permettant d’extrapoler les paramètres de contrôle afin de changer le niveau sonore ou la durée des coups d’archet. / QC 20100714. Gemensam forskarutbildning KTH och Universite Pierre et Marie Curie (Paris VI).

Le travail de cette thèse porte sur la modélisation de la production et du contrôle de voix chantée synthétique dans la perspective de la lutherie numérique. Nous présentons deux instruments : le Cantor Digitalis, se focalisant sur le contrôle de voyelles chantées et sur l'individualisation des voix ; et le Digitartic, destiné au contrôle de l'articulation de syllabes de type Voyelle-Consonne-Voyelle. Ils permettent, à l'aide de tablettes graphiques augmentées, des applications musicales interactives nécessitant un contrôle temporel fin des paramètres de la production vocale. La pertinence musicale de ces instruments a été établie avec notre ensemble Chorus Digitalis en participant à plusieurs concerts. Nous avons étudié en situation musicale la justesse inter-musiciens et les gestes utilisés pour réaliser les tâches musicales nécessaires à la reproduction d'un large répertoire, constitué de musiques actuelles et traditionnelles (chorale baroque, chant khayal d'Inde du Nord). Notamment, une expérience visant à analyser la faculté à contrôler la fréquence fondamentale du Cantor Digitalis a été entreprise. Les sujets devaient imiter des intervalles et quelques mélodies suivant trois modalités (avec leur propre voix, à la tablette sans et avec retour audio). Les résultats montrent une aptitude plus grande des sujets à jouer de manière précise avec la tablette plutôt qu'avec leur propre voix, tandis que l'apport de l'audio sur le jeu à la tablette est nulle dans ces conditions expérimentales. Les deux instruments sont regroupés dans une application écrite en Max/MSP fournissant également un outil pédagogique audio-visuel et interactif sur le fonctionnement de la voix.