La synthèse de parole expressive constitue aujourd'hui un nouveau défi . Un moyen direct de rendre la synthèse expressive consiste à la contrôler en temps réel par les gestes d'un opérateur. Notre recherche s'est donc déroulée selon deux axes : d'une part la modi fication prosodique (hauteur et durée) de la parole enregistrée, et d'autre part la synthèse de voyelles à partir d'un modèle de source glottique. Concernant la modifi cation prosodique, nous avons implémenté un algorithme temps réel permettant la modifi cation conjointe de la hauteur et de la durée d'une phrase enregistrée. Grâce à cet outil, nous avons mené des expériences visant à valider la possibilité de modi fier la prosodie grâce au geste. Nos expériences ont montré la possibilité de reproduire avec précision une intonation donnée grâce au geste manuel. Le second axe de notre recherche s'est focalisé sur la réalisation d'un synthétiseur de voyelles, dont on peut modi fier la qualité vocale. La première étape a consisté à implémenter une version temps réel de la synthèse de l'onde de débit glottique, ainsi que des apériodicités de la source vocale. Nous pouvons ainsi contrôler la fréquence fondamentale, l'eff ort vocal, la tension, le souffle, les apériodicités structurelles et les di fférents mécanismes laryngés. Une attention particulière a été apportée à la réalisation du phonétogramme, ainsi qu'aux correspondances perceptives entre les paramètres du modèle et les dimensions vocales. Notre étude permet d'envisager à terme la modifi cation conjointe, interactive, des composantes prosodiques et de qualité vocale.

Cette thèse porte sur le contrôle de la synthèse sonore par modélisation physique des instruments à corde frottée. Elle se base, d'une part, sur l'exploration systématique de l'influence des paramètres de contrôle (pression d'archet, vitesse de l'archet et distance au chevalet) sur le comportement du modèle, et d'autre part, sur la mesure du contrôle effectif qu'exerce l'instrumentiste afin d'obtenir un contrôle réaliste du modèle physique. Un modèle physique basé sur la résolution modale de l'équation de la corde est d'abord présenté et implémenté pour la synthèse sonore du violon. Le comportement du modèle physique est ensuite examiné en effectuant des simulations et se concentre sur deux aspects: la ``jouabilité", c'est-à-dire l'espace des paramètres de contrôle dans lequel un mouvement de Helmholtz périodique est obtenu, et les variations des propriétés du son synthétisé (fréquence d'oscillation, niveau sonore et centroïde spectral) à l'intérieur de cet espace de paramètres. La deuxième partie de ce travail concerne la mise au point d'un capteur pour mesurer la force d'appui de l'archet sur la corde dans un contexte de jeu réel. Le capteur est ensuite combiné avec un système optique de capture du mouvement afin de mesurer l'ensemble complet des paramètres de jeu du violoniste. La dernière partie présente l'analyse des mesures de ces paramètres de contrôle pour des modes de jeu typiques (sautillé, spiccato, martelé, tremolo, détaché). Ces mesures permettent de décrire certaines propriétés du geste instrumental et de proposer un contrôle réaliste de la synthèse sonore pour différents modes de jeu et différentes tâches musicales.

L’objectif de cette thèse est l’étude et la conception d’une plateforme de synthèse de parole expressive.Le système de synthèse — LIPS3, développé dans le cadre de ce travail, incorpore deux éléments : un module linguistique et un module de synthèse paramétrique par apprentissage statistique (construit à l’aide de HTS et de STRAIGHT). Le système s’appuie sur un corpus monolocuteur conçu, enregistréet étiqueté à cette occasion.Une première étude, sur l’influence de la qualité de l’étiquetage du corpus d’apprentissage, indique que la synthèse paramétrique statistique est robuste aux erreurs de labels et d’alignement. Cela répond au problème de la variation des réalisations phonétiques en parole expressive.Une seconde étude, sur l’analyse acoustico-phonétique du corpus permet la caractérisation de l’espace expressif utilisé par la locutrice pour réaliser les consignes expressives qui lui ont été fournies. Les paramètres de source et les paramètres articulatoires sont analysés suivant les classes phonétiques, ce qui permet une caractérisation fine des phonostyles.Une troisième étude porte sur l’intonation et le rythme. Calliphony 2.0 est une interface de contrôlechironomique temps-réel permettant la modification de paramètres prosodiques (f0 et tempo) des signaux de synthèse sans perte de qualité, via une manipulation directe de ces paramètres. Une étude sur la stylisation de l’intonation et du rythme par contrôle gestuel montre que cette interface permet l’amélioration, non-seulement de la qualité expressive de la parole synthétisée, mais aussi de la qualité globale perçue en comparaison avec la modélisation statistique de la prosodie.Ces études montrent que la synthèse paramétrique, combinée à une interface chironomique, offre une solution performante pour la synthèse de la parole expressive, ainsi qu’un outil d’expérimentation puissant pour l’étude de la prosodie. / The subject of this thesis was the study and conception of a platform for expressive speech synthesis.The LIPS3 Text-to-Speech system — developed in the context of this thesis — includes a linguistic module and a parametric statistical module (built upon HTS and STRAIGHT). The system was based on a new single-speaker corpus, designed, recorded and annotated.The first study analyzed the influence of the precision of the training corpus phonetic labeling on the synthesis quality. It showed that statistical parametric synthesis is robust to labeling and alignment errors. This addresses the issue of variation in phonetic realizations for expressive speech.The second study presents an acoustico-phonetic analysis of the corpus, characterizing the expressive space used by the speaker to instantiate the instructions that described the different expressive conditions. Voice source parameters and articulatory settings were analyzed according to their phonetic classes, which allowed for a fine phonostylistic characterization.The third study focused on intonation and rhythm. Calliphony 2.0 is a real-time chironomic interface that controls the f0 and rhythmic parameters of prosody, using drawing/writing hand gestures with a stylus and a graphic tablet. These hand-controlled modulations are used to enhance the TTS output, producing speech that is more realistic, without degradation as it is directly applied to the vocoder parameters. Intonation and rhythm stylization using this interface brings significant improvement to the prototypicality of expressivity, as well as to the general quality of synthetic speech.These studies show that parametric statistical synthesis, combined with a chironomic interface, offers an efficient solution for expressive speech synthesis, as well as a powerful tool for the study of prosody.

.

Ce travail de thèse porte sur la théorie, la mise en œuvre et les applications musicales des effets audionumériques adaptatifs. Dans la première partie, nous plaçons le sujet dans le contexte des transformations sonores. Un grand nombre de techniques de traitement du signal sonore numérique se complètent et fournissent un ensemble d'algorithmes permettant de transformer le son. Ces transformations sont appliquées selon les dimensions perceptives du son musical, à savoir la dynamique, la durée, la hauteur, la spatialisation et le timbre. Pour quelques effets, les contrôles évoluent de manière automatique ou périodique, et ce contrôle est intégré à l'algorithme. Le contrôle offert à l'utilisateur porte sur les valeurs de certains paramètres de l'algorithme. Il se réalise à l'aide de contrôleurs réels, tels des potentiomètres, des interrupteurs, ou à l'aide de contrôleurs virtuels, telles les interfaces graphiques sur écran d'ordinateur. En synthèse sonore, l'un des sujets majeurs d'étude à l'heure actuelle est le mapping : il s'agit de savoir comment mettre en correspondance les paramètres d'un contrôleur gestuel et les paramètres d'un algorithme de synthèse. Notre étude se situe à l'intersection entre les effets audionumériques, le contrôle adaptatif et gestuel, et la description de contenu sonore. Dans la seconde partie, nous présentons les effets audionumériques adaptatifs tels que nous les avons formalisés et développés. Ce sont des effets dont le contrôle est automatisé en fonction de descripteurs sonores. Nous avons étudié puis utilisé de nombreux algorithmes de traitement, certains en temps-réel et d'autres hors temps-réel. Nous les avons améliorés afin de permettre l'utilisation de valeurs de contrôle variables. Une réflexion a été menée pour choisir une classification des effets qui ait du sens pour le musicien ; elle a logiquement abouti à la taxonomie perceptive. Parallèlement, nous avons étudié les descripteurs sonores et les moyens de contrôle d'un effet, par le son et par le geste. Nous avons rassemblé de nombreux descripteurs sonores, utilisés en psychoacoustique, en analyse-synthèse, pour la segmentation et la classification d'extraits sonores, et pour la transcription automatique de partition. Nous proposons un contrôle généralisé pour les effets adaptatifs, hiérarchisé en deux niveaux. Le premier niveau de contrôle est le niveau d'adaptation : le contrôle de l'effet est effectué par des descripteurs du son, à l'aide de fonctions de mapping. Nous indiquons des fonctions de conformation (fonctions de transfert non linéaires) permettant de transformer la courbe d'évolution temporelle d'un descripteur, des fonctions de combinaisons des descripteurs ainsi que des fonctions de conformations spécifiques des paramètres de contrôle. Le second niveau de contrôle est celui du contrôle gestuel : le geste agit sur les fonctions de mapping, soit sur la combinaison, soit sur la conformation spécifique des contrôles. De cette étude, il ressort non seulement une généralisation du contrôle des effets audionumériques, mais aussi la réalisation d'outils pour la composition, et leur utilisation en situation musicale. De nombreuses expériences et illustrations sonores ont été réalisées, parmi lesquelles une spatialisation adaptative contrôlée par une danseuse, et un équalisateur stéréophonique adaptatif. Les expériences confirment l'intérêt d'un tel contrôle adaptatif et gestuel, notamment pour modifier l'expressivité d'une phrase musicale, ou pour créer des sons inouïs.

This thesis treats the control of sound synthesis of bowed string instruments based on physical modelling. The work followed two approaches: (a) a systematic exploration of the influence of control parameters (bow force, bow velocity, and bow-bridge distance) on the output of a physical model of the violin, and (b) measurements and analyses of the bowing parameters in real violin playing in order to model and parameterize basic classes of bowing patterns for synthesis control.First a bowed-string model based on modal solutions of the string equation is described and implemented for synthesis of violin sounds. The behaviour of the model is examined through simulations focusing on playability, i.e. the control parameter space in which a periodic Helmholtz motion is obtained, and the variations of the properties of the simulated sound (sound level and spectral centroid) within this parameter space. The response of the model corresponded well with theoretical predictions and empirical expectations based on observations of real performances. The exploration of the model allowed to define optimal parameter regions for the synthesis, and to map sound properties on the control parameters.A second part covers the development of a sensor for measuring the bow force in real violin performance. The force sensor was later combined with an optical motion capture system for measurement of complete sets of bowing parameters in violin performance.In a last part, measurements of the control parameters for basic classes of bowing patterns (sautillé, spiccato, martelé, tremolo) are analyzed in order to propose a realistic control of the sound synthesis. The time evolution of the bowing parameters were modelled by analytical functions, which allowed to describe and control simulated bowing patterns by a limited set of control parameters. For sustained bowing patterns such as détaché, control strategies for basic elements in playing (variations in dynamic level, bow changes) were extracted from exemplary measurements, and simple rules deduced, which allowed extrapolation of parameters to modified bow strokes with other durations and at different dynamic levels. / Denna avhandling behandlar styrning av syntes av stråkinstrument med tillämpningar inom fysikalisk modellering av musikinstrument. Problemet har angripits i två steg, först genom en systematisk undersökning av inflytandet av styrparametrarna i violinspel (stråkkraft, stråkhastighet, och avstånd stråke-stall) på utsignalen från en fysikalisk modell, följt av mätningar och analyser av stråkningsparametrarna i normalt violinspel med syfte att modellera och parameterisera grundläggande klasser av stråkarter för styrning av syntesen. En modell av interaktionen mellan stråke-sträng har utvecklats baserad på modal syntes och modellen har implementerats för syntes av violintoner. Modellen har utforskats genom simuleringar inriktade dels på spelbarheten, dvs. gränserna för den parameterrymd inom vilken en periodisk Helmholtz-rörelse erhålls, och dels på variationerna hos det syntetiserade ljudets egenskaper (ljudnivå och spektral centroid) inom detta parameterområde. Modellens egenskaper motsvarade väl de teoretiska prediktionerna och förväntade resultat från observationer av violinster. Utforskningen av modellen gjorde det möjligt att definiera optimala parameterområden för styrning av syntesen, och även avbilda ljudens egenskaper på styrparametrarna. En sensor för mätning av stråkkraften utvecklades för att kunna genomföra mätningar under normalt spel. Sensorn kombinerades senare med ett optiskt system för rörelseanalys vilket gjorde det möjligt att mäta kompletta uppsättningar av stråkparametrar under spel. Uppmätta styrparametrar för grundläggande klasser av stråkarter (sautillé, spiccato, martelé, tremolo) analyserades för att ge tillgång till realistiska styrförlopp av syntesen. Stråkningsparametrarna modellerades med analytiska funktioner, för att kunna beskriva och styra simulerade stråkningsförlopp med ett begränsat antal modellparametrar. För stråkarter med uthållna toner som détaché utvecklades styrstrategier för grundläggande element i spelet, som ändringar i styrkegrad och stråkväxlingar, utifrån mätningar på typfall. Enkla regler formulerades för att kunna extrapolera parametrarna till modifierade stråk med andra durationer och styrkegrader. / Cette thèse porte sur le contrôle de la synthèse sonore par modélisation physique des instruments à corde frottée. Il se base, d’une part, sur l’exploration systématique de l’influence des paramètres de contrôle (pression d’archet, vitesse de l’archet et distance au chevalet) sur le comportement du modèle, et d’autre part, sur la mesure et l’analyse du contrôle effectif qu’exerce l’instrumentiste afin de modéliser et paramétriser des modes de jeu typiques pour le contrôle de la synthèse. Un modèle de corde frottée basé sur la résolution modale de l’équation de la corde est d’abord présenté et implémenté pour la synthèse sonore du violon. Le comportement du modèle physique est ensuite examiné en effectuant un grand nombre de simulations et se concentre sur deux aspects : la “jouabilité", c’est-à-dire l’espace des paramètres de contrôle dans lequel un mouvement de Helmholtz périodique est obtenu, et les variations des propriétés du son synthétisé (niveau sonore et centroïde spectral) à l’intérieur de cet espace de paramètres. Un très bon accord a été trouvé entre, d’une part, le résultat des simulations et, d’autre part, les prédictions théoriques ou empiriques basées sur l’expérience des instrumentistes. Cette exploration systématique a permis de définir des régions optimales pour le jeu dans l’espace des paramètres de contrôle et de décrire quantitativement la correspondance entre les propriétés sonores pertinentes et les paramètres de contrôle. La deuxième partie de ce travail concerne la mise au point d’un capteur pour mesurer la force d’appui de l’archet sur la corde dans un contexte de jeu réel. Le capteur est ensuite combiné avec un système optique de capture du mouvement afin de mesurer les paramètres de jeu du violoniste. La dernière partie présente l’analyse des mesures de ces paramètres de contrôle pour des modes de jeu typiques (sautillé, spiccato, martelé, tremolo), afin de proposer un contrôle réaliste de la synthèse sonore. L’évolution temporelle des paramètres de jeu est modélisée par des fonctions analytiques, ce qui permet de décrire et de simuler différents modes de jeu par un nombre limité de paramètres. Pour les modes de jeu soutenus tels que le détaché, les mesures permettent de décrire des stratégies de contrôle pour des tâches typiques (variation de niveau sonore, changement de direction d’archet), et des procédures simples ont été déduites, permettant d’extrapoler les paramètres de contrôle afin de changer le niveau sonore ou la durée des coups d’archet. / QC 20100714. Gemensam forskarutbildning KTH och Universite Pierre et Marie Curie (Paris VI).