Ce rapport présente les différentes étapes suivies afin de développer une méthode logicielle pour l'apprentissage de chants polyphoniques basée sur l'utilisation de capteurs sans fil. Cette étude réalisée au sein de l'UMR SPE de l'Université de Corse, en collaboration avec l'association E Voce di U Cumune et l'IRCAM, s'inscrit dans un projet universitaire de valorisation et de caractérisation du patrimoine culturel corse.L'objectif de cette thèse est de proposer un outil d'aide à l'apprentissage de polyphonies. Pour cela nous avons utilisé un langage gestuel décrivant l'échelle musicale corse. Le but de nos travaux a été de capter ces gestes afin d'y associer, à chacun d'entre eux, une voix chantée. Ce processus qui va du langage gestuel au son fait appel à plusieurs notions qui sont :- le contrôleur gestuel, qui regroupe un ensemble de capteurs au sein d'une même unité pour constituer le premier bloc fonctionnel du modèle d'instrument virtuel.- la captation de gestes, qui permet l'acquisition, c'est-à-dire qui traduit en signaux électrique puis numériques, des gestes effectués.- la reconnaissance, qui identifie les gestes captés et permet de différencier les postures de la main.- la production sonore est la dernière étape du système et associe à chacun des gestes effectués une voix chantée à la hauteur de note souhaitée.Cet enchainement nous a conduit à proposer un nouvel outil d'aide à l'apprentissage de chants polyphoniques qui offre la possibilité de manipuler les voix, le chant et la polyphonie sans n'avoir aucune connaissance musicale. / This report presents the different steps to develop a software method for learning polyphonic songs based on the use of wireless sensors. This study within the UMR SPE University of Corsica, in collaboration with the association E Voce di U Cumune and the IRCAM, is part of a university project development and characterization of Corsican cultural heritage.The objective of this thesis is to provide a tool for learning polyphony. To do this we used sign language describing the Corsican musical scale. The aim of our work was to capture these gestures in order to associate each of them with a singing voice. This process which established the link between gestural language and singing involves several concepts which are:- Hand controller, which includes a set of sensors in a single unit to be the first building block of virtual instrument model.- The gestural capturing which allows acquisition, i.e. which translates into electrical signals and digital, the gestures performed.- Recognition that identifies the captured gestures and can differentiate hand posture.- Sound production is the final stage of the system and associated with each of the gestures made a singing voice to match desired note.This concatenation led us to propose a new tool for learning polyphonic songs which offers the possibility to manipulate voice, chant and polyphony without having no musical knowledge. / Stu raportu prisenta e sfarente tappe seguitate da sviluppà un metudu "software" per l'amparera di canti pulifonichi fundatu nantu à l'adopru di cattadori senza filu.Stu studiu realizatu à l'UMR SPE di l'Università di Corsica, in cullaburazione cun l'associu di E Voce di u Cumunu è l'IRCAM, si scrive in un prughjettu universitariu di valurisazione di u patrimoniu culturale corsu.L'ughjettivu di sta tesa hè di prupone un arnese d'aiutu à l'amparera di pulifunie. Per quessa, avemu adupratu un linguaghju gestuale chì discrive una scala musicale corsa. U scopu di u nostru travagliu hè statu di chjappà issi gesti di manera à assucià, à ognunu, una voce cantata. Stu prucessu chì và da u linguaghju gestuale à u sonu chjama diverse nuzione chì sò :-u cuntrollu gestuale, chì gruppa un inseme di cattadori in una stessa unità per cunstituisce u primu bloccu funziunale di mudellu di strumentu virtuale.-a cattazione di i gesti, chì permette l'acquistu, vene à dì chì traduce in signali elettrichi eppo numerichi, di i gesti effettuati.-a ricunniscenza, chì identificheghja i gesti cattati è permette di sfarenzià e pusture di a manu.-a produzzione sonora hè l'ultima tappa di u sistema è assucieghja à ogni gestu effettuatu una voce cantata à l'altura di a nota vulsuta.St´intrecciu ci hà cunduttu à prupone un nuvellu arnese d'aiutu à l'amparera di canti pulifonichi chì offre à pussibilità di manighjà e voci, u cantu è a pulifunia senza avè alcuna cunniscenza musicale.

L'affinage technique et l'adoption récente des technologies tactiles multi-points par les industriels et les utilisateurs ont fixé l'attention des designers d'interaction sur ces technologies. Tandis que de nombreuses études en interaction homme-machine se sont intéressées à comparer la performance de ces interfaces à celle des interfaces WIMP traditionnelles, peu se sont attachées à intégrer dans leur approche les spécificités du canal gestuel et les modalités d'interactions multi-tactiles. Dans cette étude, je défends l'idée que le design de telles interactions ne peut être approché qu'en suivant un modèle d'interaction spécifique intégrant l'ensemble des composantes physiques, cognitives, sensorielles et motrices du geste dans le couplage homme-machine. J'articule ma recherche autour d'un espace de conception, courte analyse sociotechnique de mon objet d'étude, dans lequel je définis un modèle d'interaction descriptif et génératif. Je détermine un ensemble de principes conceptuels et techniques permettant l'évaluation et la conception du design d'interfaces multi-tactiles de manière systémique et extensible. Au cours de cette étude, je précise les limites du paradigme d' " interface naturelle " en nuançant les effets du réalisme des interactions dans l'efficacité de tels systèmes. Enfin, je présente les travaux de conception et de développement d'un environnement de développement réalisé dans le cadre d'un dispositif CIFRE qui a accompagné cette étude et permis d'enrichir le modèle théorique.

La synthèse de parole expressive constitue aujourd'hui un nouveau défi . Un moyen direct de rendre la synthèse expressive consiste à la contrôler en temps réel par les gestes d'un opérateur. Notre recherche s'est donc déroulée selon deux axes : d'une part la modi fication prosodique (hauteur et durée) de la parole enregistrée, et d'autre part la synthèse de voyelles à partir d'un modèle de source glottique. Concernant la modifi cation prosodique, nous avons implémenté un algorithme temps réel permettant la modifi cation conjointe de la hauteur et de la durée d'une phrase enregistrée. Grâce à cet outil, nous avons mené des expériences visant à valider la possibilité de modi fier la prosodie grâce au geste. Nos expériences ont montré la possibilité de reproduire avec précision une intonation donnée grâce au geste manuel. Le second axe de notre recherche s'est focalisé sur la réalisation d'un synthétiseur de voyelles, dont on peut modi fier la qualité vocale. La première étape a consisté à implémenter une version temps réel de la synthèse de l'onde de débit glottique, ainsi que des apériodicités de la source vocale. Nous pouvons ainsi contrôler la fréquence fondamentale, l'eff ort vocal, la tension, le souffle, les apériodicités structurelles et les di fférents mécanismes laryngés. Une attention particulière a été apportée à la réalisation du phonétogramme, ainsi qu'aux correspondances perceptives entre les paramètres du modèle et les dimensions vocales. Notre étude permet d'envisager à terme la modifi cation conjointe, interactive, des composantes prosodiques et de qualité vocale.

L'objet de cette thèse est la construction d'un outil graphique dans le cadre du projet mmi2 (a multi-mode intervade for man-machine interaction with knowledge based systems). Mmi2 est un projet esprit ii qui a pour objectif principal de construire une interface homme-machine intelligent intégrant plusieurs modes de communication: langue naturelle (anglais, français, espagnol), langage de commande, graphique et gestuel. Ce travail est le résultat d'une approche expérimentale de développement d'un outil de manipulation directe, baptisé outil de dessin, dans un environnement multi-mode. Dans ce contexte, notre démarche a consisté à utiliser des techniques de construction géométrique dans la conception d'une interface. Nous proposons pour cela un modèle fonde sur le concept de carte planaire. Il conduit à des structures de données de type représentation par frontières dont la notion de base est le brin, qui est une arête topologique orientée. Ce modèle permet de proposer un algorithme de saisie et de modification de cartes planaires qui, tout en contrôlant à chaque instant la planéité de la carte, est capable de détecter automatiquement la fermeture des contours. Par ailleurs, nous nous sommes intéressés à l'étude de la sémantique graphique, pour permettre l'intégration des différents modes de communication pour assurer un dialogue multi-mode entre l'utilisateur et l'ordinateur.

Cette thèse porte sur le contrôle de la synthèse sonore par modélisation physique des instruments à corde frottée. Elle se base, d'une part, sur l'exploration systématique de l'influence des paramètres de contrôle (pression d'archet, vitesse de l'archet et distance au chevalet) sur le comportement du modèle, et d'autre part, sur la mesure du contrôle effectif qu'exerce l'instrumentiste afin d'obtenir un contrôle réaliste du modèle physique. Un modèle physique basé sur la résolution modale de l'équation de la corde est d'abord présenté et implémenté pour la synthèse sonore du violon. Le comportement du modèle physique est ensuite examiné en effectuant des simulations et se concentre sur deux aspects: la ``jouabilité", c'est-à-dire l'espace des paramètres de contrôle dans lequel un mouvement de Helmholtz périodique est obtenu, et les variations des propriétés du son synthétisé (fréquence d'oscillation, niveau sonore et centroïde spectral) à l'intérieur de cet espace de paramètres. La deuxième partie de ce travail concerne la mise au point d'un capteur pour mesurer la force d'appui de l'archet sur la corde dans un contexte de jeu réel. Le capteur est ensuite combiné avec un système optique de capture du mouvement afin de mesurer l'ensemble complet des paramètres de jeu du violoniste. La dernière partie présente l'analyse des mesures de ces paramètres de contrôle pour des modes de jeu typiques (sautillé, spiccato, martelé, tremolo, détaché). Ces mesures permettent de décrire certaines propriétés du geste instrumental et de proposer un contrôle réaliste de la synthèse sonore pour différents modes de jeu et différentes tâches musicales.

Cette étude est une approche contrastive, multimodale et transculturelle décrivant et analysant l’espace gestuel et le rôle des gestes, du regard et de la prosodie dans des cas de reformulation chez des locuteurs francophones et chez des locuteurs hispanophones.A l’intérieur de chacune de ces aires linguistiques, nous comparons l’espace gestuel et la reformulation dans trois cultures différentes : dans l'aire francophone, nous comparons l’espace gestuel des locuteurs français de France Métropolitaine (Europe) à celui des locuteurs québécois,(Amérique du Nord) et des locuteurs cadjins de Louisiane (Amérique du Nord). Dans l'aire hispanophone, nous comparons l’espace gestuel des locuteurs espagnols (Europe) à celui des locuteurs argentins (Amérique du Sud) et des locuteurs vénézuéliens (Amérique du Sud). Nous analysons les différences et/ou similitudes qui existent chez des locuteurs parlant la même langue dans des contextes culturels différents. Nous avons choisi d’étudier l'espace gestuel et la reformulation de ces locuteurs à partir d'un corpus télévisé.Le corpus établi nous permet d’analyser l’espace gestuel des locuteurs selon le schéma de Pedelty repris par D. Mc Neill (1992) qui permet une double lecture de l’espace gestuel : sur l’axe vertical(buste, tête, au-dessus de la tête), sur l’axe horizontal (près du corps, loin du corps). Ensuite, nous étudions le rôle des gestes et du regard, en relation avec les variations intonatives, dans le processus de reformulation en situation d’interview orale. Nous analysons la fonction de l'amplitude gestuelle et des gestes de captage et points d'éclosion, étudiés par D. McNeill et M. A. Morel, en relation avec le rôle des orientations du regard et de la courbe de fréquence fondamentale, dans différents exemples de reformulation du discours oral. Nous analysons en quoi ces trois modalités du discours oral ont une double fonction d’aide à la construction du propre discours et d’aide à l’intercompréhension dans le contexte de co-énonciation. / We present a multimodal, contrastive and transcultural approach of the gesture space of French speaking area and Spanish-speaking area. We describe and analyse the gesture space on the one hand and on the other hand, the function of gesture, eyes directions and prosody in reformulation examples in French-speaking area and Spanish-speaking area.In each French or Spanish speaking area, we compare gesture space and reformulation in three different cultural areas : in French-speaking area, we compare the gesture space of French speakers of Metropolitan France, (Europe), Quebec speakers, (North America), Cajun speakers in Louisiana (North America) and in Spanish-speaking area, we compare the gesture space of Spanish speakers from Spain (Europe), speakers from Argentina (South America), speakers from Venezuela (South America). We analyse the differences and/or the similarities amongst speakers with a common language, either French or Spanish, but a different cultural environment. We decided to study gesture space and reformulation and recorded from a television corpus. Therefore, with this corpus,we can analyse gesture space speakers refering to the diagram “Division of the gesture space for transcription purposes” from Pedelty, which is presented in D. Mc Neill (1992). This diagram allows us to obtain a double reading of gesture space : on the vertical axis (trunk, head, beyondhead), on the horizontal axis (close to the body and far from the body). Afterwards, we analyse the function of gesture and eyes directions and their relationship with the intonative variations during the reformulation process in an oral interview. We analyse the functionof gesture amplitude and the function of catchments and growthpoints, studied by D. Mc Neill andM.A. Morel and their relationship with the function of eyes directions and the fundamentalfrequency (F0) variability with different examples of reformulation in the oral speech. Thereforewe analyse how these three modalities seem to have a double function to help the construction ofthe own speech and/or to help the intercomprehension, the mutual understanding in the coenunciativeprocess.

L’objectif de cette thèse est l’étude et la conception d’une plateforme de synthèse de parole expressive.Le système de synthèse — LIPS3, développé dans le cadre de ce travail, incorpore deux éléments : un module linguistique et un module de synthèse paramétrique par apprentissage statistique (construit à l’aide de HTS et de STRAIGHT). Le système s’appuie sur un corpus monolocuteur conçu, enregistréet étiqueté à cette occasion.Une première étude, sur l’influence de la qualité de l’étiquetage du corpus d’apprentissage, indique que la synthèse paramétrique statistique est robuste aux erreurs de labels et d’alignement. Cela répond au problème de la variation des réalisations phonétiques en parole expressive.Une seconde étude, sur l’analyse acoustico-phonétique du corpus permet la caractérisation de l’espace expressif utilisé par la locutrice pour réaliser les consignes expressives qui lui ont été fournies. Les paramètres de source et les paramètres articulatoires sont analysés suivant les classes phonétiques, ce qui permet une caractérisation fine des phonostyles.Une troisième étude porte sur l’intonation et le rythme. Calliphony 2.0 est une interface de contrôlechironomique temps-réel permettant la modification de paramètres prosodiques (f0 et tempo) des signaux de synthèse sans perte de qualité, via une manipulation directe de ces paramètres. Une étude sur la stylisation de l’intonation et du rythme par contrôle gestuel montre que cette interface permet l’amélioration, non-seulement de la qualité expressive de la parole synthétisée, mais aussi de la qualité globale perçue en comparaison avec la modélisation statistique de la prosodie.Ces études montrent que la synthèse paramétrique, combinée à une interface chironomique, offre une solution performante pour la synthèse de la parole expressive, ainsi qu’un outil d’expérimentation puissant pour l’étude de la prosodie. / The subject of this thesis was the study and conception of a platform for expressive speech synthesis.The LIPS3 Text-to-Speech system — developed in the context of this thesis — includes a linguistic module and a parametric statistical module (built upon HTS and STRAIGHT). The system was based on a new single-speaker corpus, designed, recorded and annotated.The first study analyzed the influence of the precision of the training corpus phonetic labeling on the synthesis quality. It showed that statistical parametric synthesis is robust to labeling and alignment errors. This addresses the issue of variation in phonetic realizations for expressive speech.The second study presents an acoustico-phonetic analysis of the corpus, characterizing the expressive space used by the speaker to instantiate the instructions that described the different expressive conditions. Voice source parameters and articulatory settings were analyzed according to their phonetic classes, which allowed for a fine phonostylistic characterization.The third study focused on intonation and rhythm. Calliphony 2.0 is a real-time chironomic interface that controls the f0 and rhythmic parameters of prosody, using drawing/writing hand gestures with a stylus and a graphic tablet. These hand-controlled modulations are used to enhance the TTS output, producing speech that is more realistic, without degradation as it is directly applied to the vocoder parameters. Intonation and rhythm stylization using this interface brings significant improvement to the prototypicality of expressivity, as well as to the general quality of synthetic speech.These studies show that parametric statistical synthesis, combined with a chironomic interface, offers an efficient solution for expressive speech synthesis, as well as a powerful tool for the study of prosody.

.

L'agir professoral fait l'objet de recherches approfondies en didactiques des langues et des cultures. Si la multimodalité est considérée comme un élément définitoire de cette notion, peu d'études se sont penchées en détail sur la compréhension de cet aspect de l'action enseignante.Notre travail, mené dans une approche ethnographique, vise à analyser la pratique multimodale de deux enseignantes. Chacune intervient dans deux contextes pédagogiques : en cours de français langue première (FL1) et auprès de collégiens allophones apprenant le français langue seconde (FLS). Cela nous offre l'occasion d'étudier l'effet du contexte d'enseignement sur les actions professorales, en particulier celles mises en œuvre dans la construction de normes scolaires (linguistique et interactionnelle). Ce travail vise également à analyser le style professoral de ces enseignantes pour mettre au jour les invariants pédagogiques, d'un contexte à l'autre, dans la gestion de ces normes.Cette recherche s'appuie essentiellement sur l'observation et l'analyse de deux types de corpus : des films de classe, transcrits et annotés à l'aide du logiciel ELAN, et trois différents formats de corpus vidéoscopiques (autoscopie, hétéroscopie et autohétéroscopie).Les procédés de normalisation linguistique et interactionnelle sont appréhendés en croisant une analyse quantitative des productions verbales et gestuelles et une analyse qualitative, qui emprunte des outils à la linguistique énonciative, à l'analyse des discours et à l'analyse conversationnelle, ou encore à la microsociologie. / A considerable body of research has shown interest to teacher action. Though the nonverbal dimension of these actions is acknowledged, few studies have considered it thoroughly in their analysis. Hence, following an ethnographic approach, our work analyzes the verbal and nonverbal actions of two secondary school teachers. Each one teaches both French as an L1 to native speakers and French as a schooling language to non native speakers. This work attempts to assess the effect of the teaching contexts on the teachers' actions, and more specifically on the way they co-Construct school norms (language and interaction norms). It also aims at highlighting the normalizing process invariants from one teaching context to the next.This work relies on the observation and analysis of two types of corpora: video recorded class interaction, transcribed with ELAN, and three different types of videoed confrontations: the teacher's self-Confrontation, students' observation and comments of videoed interactions of their class, and the teacher's confrontation of her students' videoed reflections.We analyzed the norm construction strategies using both a quantitative and a qualitative approach of the verbal and nonverbal productions. We borrowed tools from various fields: enunciative linguistics, discourse analysis, conversation analysis, and micro-Sociology.

L’affinage technique et l’adoption récente des technologies tactiles multi-points par les industriels et les utilisateurs ont fixé l’attention des designers d’interaction sur ces technologies. Tandis que de nombreuses études en interaction homme-machine se sont intéressées à comparer la performance de ces interfaces à celle des interfaces WIMP traditionnelles, peu se sont attachées à intégrer dans leur approche les spécificités du canal gestuel et les modalités d’interactions multi-tactiles. Dans cette étude, je défends l’idée que le design de telles interactions ne peut être approché qu’en suivant un modèle d’interaction spécifique intégrant l’ensemble des composantes physiques, cognitives, sensorielles et motrices du geste dans le couplage homme-machine. J’articule ma recherche autour d’un espace de conception, courte analyse sociotechnique de mon objet d’étude, dans lequel je définis un modèle d’interaction descriptif et génératif. Je détermine un ensemble de principes conceptuels et techniques permettant l’évaluation et la conception du design d’interfaces multi-tactiles de manière systémique et extensible. Au cours de cette étude, je précise les limites du paradigme d’ « interface naturelle » en nuançant les effets du réalisme des interactions dans l’efficacité de tels systèmes. Enfin, je présente les travaux de conception et de développement d’un environnement de développement réalisé dans le cadre d’un dispositif CIFRE qui a accompagné cette étude et permis d’enrichir le modèle théorique. / The technical refinement and the recent adoption of multi-touch technologies by both the industry and users made these technologies a major concern for interaction designers. While many studies on human-computer interaction have started to compare this type of interface with traditional WIMP interfaces performance-wise, few have included in their approach the gestural and system mapping specificities of multi-touch interactions. In this study, I defend the idea that such interaction design should follow a specific interaction model taking into account physical, cognitive, sensitive and motor aspects of gestures in the human-computer relation. I define a design space, sort of socio-technical approach, which participates in the definition of a descriptive and generative interaction model. I establish a set of conceptual and technical principles that allow the evaluation and conception of multi-touch interfaces, in a systemic and extensible way. Throughout this study, I emphasize the limits of the « natural user interface » paradigm by having a better understanding of how interaction realism affects system efficiency. Finally, I present a multi-touch framework developed as part of a CIFRE collaboration, which helped this study in the design and the extension of the conceptual model.