Cette thèse s'inscrit dans le cadre des travaux de recherche entrepris par la division R&D de France Telecom dans le domaine de la synthèse de la parole à partir du texte. Elle concerne plus particulièrement le domaine de la conversion de voix, technologie visant à transformer le signal de parole d'un locuteur de référence dit locuteur source, de telle façon qu'il semble, à l'écoute, avoir été prononcé par un autre locuteur cible, identifié au préalable, dit locuteur cible. Le but de cette thèse est donc la diversification de voix de synthèse via la conception et le développement d'un système de conversion de voix de haute qualité. Les approches étudiées dans cette thèse se basent sur des techniques de classification par GMM (Gaussian Mixture Model) et une modélisation du signal de parole par HNM (Harmonic plus Noise Model). Dans un premier temps, l'influence de la paramétrisation spectrale sur la performance de conversion de voix par GMM est analysée. Puis, la dépendance entre l'enveloppe spectrale et la fréquence fondamentale est mise en évidence. Deux méthodes de conversion exploitant cette dépendance sont alors proposées et évaluées favorablement par rapport à l'état de l'art existant. Les problèmes liés à la mise en oeuvre de la conversion de voix sont également abordés. Le premier problème est la complexité élevée du processus de conversion par rapport au processus de synthèse lui-même (entre 1,5 et 2 fois le coût de calcul de la synthèse elle-même). Pour cela, une technique de conversion a été développée et conduit à une réduction de la complexité d'un facteur compris entre 45 et 130. Le deuxième problème concerne la mise en oeuvre de la conversion de voix lorsque les corpus d'apprentissage source et cible sont différents. Une méthodologie a ainsi été proposée rendant possible l'apprentissage de la fonction de transformation à partir d'enregistrements quelconques.

Cette thèse est concernée avec la modélisation statistique du signal de parole appliqué à la vérification du locuteur (VL) en utilisant des réseaux bayésiens (RBs). L'idée principale de ce travail est d'employer les RBs comme un outil mathématique afin de combiner plusieurs sources d'information obtenues à partir du signal de parole en gardant ses relations. Elle combine de travail théorique et expérimental. Une différence fondamentale entre les systèmes de VL et les humains est la quantité et la qualité de l'information utilisée ainsi que la relation entre les sources d'information employées pour prendre des décisions. L'identité d'un locuteur est codée dans plusieurs sources d'information qui peuvent être modélisées par des RBs. La première partie de cette thèse passe en revue les modules principaux des systèmes de VL, les sources possibles d'information aussi bien que les concepts de base des modèles graphiques. La deuxième partie de cette thèse aborde le module de modélisation du système de VL proposé. On propose une nouvelle façon d'approcher les problèmes liés aux systèmes de VL. Il est décrit comment apprendre les relations d'indépendance conditionnelle parmi les variables directement à partir des données. Enfin, nous proposons une technique pour adapter les RBs basée sur certaines caractéristiques mathématiques des relations d'indépendance conditionnelles. Cette adaptation est basée sur une mesure entre les distributions de probabilité conditionnelles entre des variables discrètes, et de la même façon, sur la matrice de régression pour des variables continues. A l'issue de nos recherches, l'intérêt d'employer les RBs dans les systèmes de VL est clairement montré.

Avec l'avènement des télécommunications mobiles grand public, le besoin d'améliorer la prise de son, notamment en réduisant la gêne due au bruit, s'est fait de plus en plus présent. Les techniques de réduction du bruit sont soumises à un compromis entre le niveau effectif de réduction et la distorsion qui affecte le signal de parole. Au vu des performances actuelles, il est souhaitable de supprimer plus de bruit tout en conservant un niveau de dégradation acceptable du signal restauré, ceci en particulier lorsque le niveau de bruit est important. Les techniques qui ont suscité le plus l'intérêt au cours de ces 30 dernières années sont les approches par atténuation spectrale à court terme qui consistent à modifier une transformée à court terme du signal bruité en utilisant une règle de suppression. L'essor de cette famille de techniques s'explique essentiellement par le fait qu'elles permettent de respecter les contraintes de temps réel et de complexité inhérentes aux applications de communication parlée. La première partie de ce document est consacrée à l'analyse des techniques majeures de réduction du bruit par atténuation spectrale à court terme. Ce sera notamment l'occasion d'identifier les limitations, points de blocage et autres défauts de ces méthodes ainsi que de montrer qu'il existe une marge de progression intéressante en terme de qualité par rapport à ces différents points clés. La seconde partie est essentiellement consacrée à la description et l'analyse de solutions originales proposées en réponse aux limitations identifiées dans la première partie. Un soin particulier a également été apporté à la mise en œuvre qui fait partie intégrante des techniques de réduction de bruit et qui conditionne la qualité du signal restauré. L'analyse des limitations des techniques de réduction du bruit actuelles a permis de dégager plusieurs approches originales permettant de résoudre tout ou partie des problèmes identifiés. Ainsi, l'introduction de nouveaux modèles statistiques, adaptés aux signaux de parole et de bruit, pour déterminer l'expression d'une règle de suppression permet d'obtenir des résultats sensiblement meilleurs qu'en utilisant le modèle gaussien classique. Un problème d'ordre plus général concerne les défauts des estimateurs du rapport signal à bruit, paramètre fondamental qui conditionne les performances des techniques de réduction de bruit. La suppression de ces défauts conduit effectivement à une limitation des distorsions de la parole. Cependant, le signal restauré souffre toujours de certaines dégradations dues notamment aux erreurs d'estimation du bruit et à l'impact de la phase. En effet, l'estimation du bruit, qui constitue une étape clé des techniques de réduction de bruit, souffre de nombreuses limitations surtout lorsque le bruit n'a pas un caractère stationnaire. Dans une moindre mesure, la phase, qui est souvent négligée, a aussi une influence importante dans l'estimation du signal de parole, en particulier lorsque le niveau de bruit est élevé. Une approche originale qui tire parti de la structure voisée du signal de parole pour limiter les distorsions harmoniques engendrées par les techniques classiques est proposée et permet de dépasser les limites de performances des techniques classiques. Outre ces nouvelles approches, leur mise en œuvre conditionne également la qualité finale du signal restauré. Plusieurs points sensibles sont donc soulevés et des solutions sont données qui permettent d'éviter de nombreux artefacts ("clics", nasalisation, bruit musical) désagréables. Les approches proposées sont évaluées en utilisant des critères objectifs dont les résultats sont au besoin validés par des tests subjectifs. Les résultats obtenus montrent des améliorations significatives par rapport aux performances des techniques de référence.

Dans notre société de plus en plus mobile, nous constatons que les systèmes de communication mains libres sont devenus une norme, que ce soit pour les interactions homme-machine ou homme-homme. Cependant, il est difficile de garantir la qualité du signal de parole lors d'une prise de son distante car les microphones captent en plus du signal désiré le bruit de fond, la réverbération, le signal d'écho et les autres sources de parole concurrentes. Les antennes acoustiques associées aux techniques de formation de voies sont une solution efficace et aujourd'hui technologiquement réalisable. Grâce à leur directivité, elles améliorent le rapport signal sur bruit de même que, en exploitant la corrélation spatiale du champ sonore, elles permettent de réduire la réverbération, l'écho et le bruit. Les antennes acoustiques jouent un rôle croissant dans la téléphonie mains libres, la reconnaissance de locuteur, les systèmes à commande vocale, l'aide aux malentendants ou la surveillance audio. Dans cette thèse, pour s'adapter aux environnements variants dans le temps, aux non-stationnarités des signaux et aux éventuels mouvements du locuteur, nous considérons les antennes adaptatives de type GSC (Generalized Sidelobe Canceller) pour leur implémentation avantageuse. Cependant, l'un des défauts majeurs de cette antenne, couramment utilisée, réside dans la fuite du signal utile dans l'étage d'estimation du bruit provoquant de fortes dégradations voire l'auto-annulation de ce signal en sortie. Pour résoudre ce problème, nous proposons de mettre à profit la structure récursive spécifiquement dédiée à la gestion de la diaphonie dans la technique d'annulation adaptative de bruit bicapteur, nommée CTRANC (Crosstalk-Resistant Adaptive Noise Canceller). Ainsi, avant de proposer une extension de cette méthode au cas du GSC et donc de définir une nouvelle architecture récursive pour celui-ci, nous donnons dans un premier temps une analyse complète du CTRANC et proposons de nouveaux algorithmes adaptatifs dans le domaine fréquentiel. Par ailleurs, notre étude fournit également de nouveaux résultats sur les propriétés de convergence et l'existence d'un point d'équilibre pour le CTRANC. Enfin, des résultats expérimentaux confortent l'analyse et montrent l'efficacité des solutions proposées pour la suppression du signal de fuite et l'amélioration des performances.

My doctoral research addressed two questions regarding the influence of orthographic knowledge on speech processing. First, I attempted to identify the locus of the orthographic effects observed in spoken word recognition tasks in which the orthographic consistency and the congruency between the phonological and orthographic representations of the stimuli were manipulated. Several studies provided converging results suggesting that only phonological representations activated at lexical or postlexical processing levels are affected by orthographic knowledge, while those activated at prelexical levels are not. However, the lexical processing level is not the only factor that determines the occurrence and/or the size of the orthographic effects. Regardless of the processing level tapped by the task, the characteristics of the material and the way in which participants perform the tasks also play an important role. Second, I examined the generality of the orthographic effects both in the suprasegmental domain and in the operation of working memory. Overall, the results showed orthographic effects in both situations./La question de l’influence des connaissances orthographiques sur le traitement de la parole a été abordée sous différents angles à travers les études menées dans le cadre de ma thèse de doctorat. Plus précisément, le locus des effets orthographiques a été examiné dans des tâches de reconnaissance de la parole grâce à une manipulation de la consistance orthographique et de la congruence entre les représentations phonologique et orthographique des stimuli. Les résultats obtenus convergent pour indiquer que seules les représentations phonologiques activées dans les situations qui exigent un traitement lexical et/ou post-lexical sont affectées par les représentations orthographiques. Cependant, l’occurrence et/ou la magnitude des effets orthographiques obtenus semblent dépendre également des caractéristiques du matériel et de la manière dont les participants effectuent la tâche. La question de la généralité des effets orthographiques a aussi été abordée : les effets orthographiques ont été démontrés d’une part dans le domaine suprasegmental (sur le ton lexical) et, d’autre part, dans le fonctionnement de la mémoire de travail.

La reconnaissance automatique du locuteur indépendante du texte est une méthode récente dans le domaine des systèmes biométriques. Le développement de la reconnaissance du locuteur se reflète tout autant dans la participation croissante aux compétitions internationales et dans les progrès en termes de performance relevés dans ces campagnes. Cependant la précision des méthodes reste limitée par la quantité d'information discriminante du locuteur présente dans les représentations informatiques des énoncés vocaux. Cette thèse présente une étude sur ces représentations. Elle identifie deux faiblesses principales. Tout d’abord, les représentations usuelles ignorent les paramètres temporels de la voix pourtant connus pour leur pouvoir discriminant. Par ailleurs, ces représentations reposent sur le paradigme de l’apprentissage statistique et diminuent l’importance d’événements rares dans une population de locuteurs, mais fréquents dans un locuteur donné.Pour répondre à ces verrous, cette thèse propose une nouvelle représentation des énoncés. Celle-ci projette chaque vecteur acoustique dans un large espace binaire intrinsèquement discriminant du locuteur. Une mesure de similitude associée à une représentation globale (vecteurs cumulatifs) est également proposée. L’approche proposée permet ainsi à la fois de représenter des événements rares mais pertinents et de travailler sur des informations temporelles. Cette approche permet de tirer parti des solutions de compensation de la variabilité « session », qui provient de l’ensemble des facteurs indésirables, exploitées dans les approches de type « iVector ». Dans ce domaine, des améliorations aux algorithmes de l’état de l’art ont été proposées.Une solution originale permettant d’exploiter l’information temporelle à l’intérieur de cette représentation binaire a été proposée. La complémentarité des sources d’information a été attestée par un gain en performance relevé grâce à une fusion linéaire des deux types d’information, indépendant et dépendant de la séquence temporelle. / Text-independent automatic speaker recognition is a recent method in biometric area. Its increasing interest is reflected both in the increasing participation in international competitions and in the performance progresses. Moreover, the accuracy of the methods is still limited by the quantity of speaker discriminant information contained in the representations of speech utterances. This thesis presents a study on speech representation for speaker recognition systems. It shows firstly two main weaknesses. First, it fails to take into account the temporal behavior of the voice, which is known to contain speaker discriminant information. Secondly, speech events rare in a large population of speakers although very present for a given speaker are hardly taken into account by these approaches, which is contradictory when the goal is to discriminate among speakers.In order to overpass these limitations, we propose in this thesis a new speech representation for speaker recognition. This method represents each acoustic vector in a a binary space which is intrinsically speaker discriminant. A similarity measure associated with a global representation (cumulative vectors) is also proposed. This new speech utterance representation is able to represent infrequent but discriminant events and to work on temporal information. It allows also to take advantage of existing « session » variability compensation approaches (« session » variability represents all the negative variability factors). In this area, we proposed also several improvements to the usual session compensation algorithms. An original solution to deal with the temporal information inside the binary speech representation was also proposed. Thanks to a linear fusion approach between the two sources of information, we demonstrated the complementary nature of the temporal information versus the classical time independent representations. / El reconocimiento automático del locutor independiente del texto, es un método dereciente incorporación en los sistemas biométricos. El desarrollo y auge del mismo serefleja en las competencias internacionales, pero aun la eficacia de los métodos de reconocimientose encuentra afectada por la cantidad de información discriminatoria dellocutor que esta presente en las representaciones actuales de las expresiones de voz.En esta tesis se realizó un estudio donde se identificaron dos principales debilidadespresentes en las representaciones actuales del locutor. En primer lugar, no se tiene encuenta el comportamiento temporal de la voz, siendo este un rasgo discriminatorio dellocutor y en segundo lugar los eventos pocos frecuentes dentro de una población delocutores pero frecuentes en un locutor dado, apenas son tenidos en cuenta por estosenfoques, lo cual es contradictorio cuando el objetivo es discriminar los locutores. Motivadopor la solución de estos problemas, se confirmó la redundancia de informaciónexistente en las representaciones actuales y la necesidad de emplear nuevas representacionesde las expresiones de voz. Se propuso un nuevo enfoque con el desarrollo de unmétodo para la obtención de un modelo generador capaz de transformar la representación actual del espacio acústico a una representación en un espacio binario, dondese propuso una medida de similitud asociada con una representación global (vectoracumulativo) que contiene tanto los eventos frecuentes como los pocos frecuentes enuna expresión de voz. Para la compensación de la variabilidad de sesión se incorporóen la matriz de dispersión intra-clase, la información común de la población de locutores,lo que implicó la modificación de tres algoritmos de la literatura que mejoraronsu desempeño respecto a la eficacia en el reconocimiento del locutor, tanto utilizandoel nuevo enfoque propuesto como el enfoque actual de referencia. La información temporalexistente en las expresiones de voz fue capturada e incorporada en una nuevarepresentación, mejorando aun más la eficacia del enfoque propuesto. Finalmente sepropuso y evaluó una fusión lineal entre los dos enfoques que demostró la informacióncomplementaria existente entre ellos, obteniéndose los mejores resultados de eficaciaen el reconocimiento del locutor.

La reconnaissance des opinions d'un locuteur dans une interaction orale est une étape cruciale pour améliorer la communication entre un humain et un agent virtuel. Dans cette thèse, nous nous situons dans une problématique de traitement automatique de la parole (TAP) sur les phénomènes d'opinions dans des interactions orales spontanées naturelles. L'analyse d'opinion est une tâche peu souvent abordée en TAP qui se concentrait jusqu'à peu sur les émotions à l'aide du contenu vocal et non verbal. De plus, la plupart des systèmes récents existants n'utilisent pas le contexte interactionnel afin d'analyser les opinions du locuteur. Dans cette thèse, nous nous penchons sur ces sujet. Nous nous situons dans le cadre de la détection automatique en utilisant des modèles d’apprentissage statistiques. Après une étude sur la modélisation de la dynamique de l'opinion par un modèle à états latents à l’intérieur d'un monologue, nous étudions la manière d’intégrer le contexte interactionnel dialogique, et enfin d'intégrer l'audio au texte avec différents types de fusion. Nous avons travaillé sur une base de données de Vlogs au niveau d'un sentiment global, puis sur une base de données d'interactions dyadiques multimodales composée de conversations ouvertes, au niveau du tour de parole et de la paire de tours de parole. Pour finir, nous avons fait annoté une base de données en opinion car les base de données existantes n'étaient pas satisfaisantes vis-à-vis de la tâche abordée, et ne permettaient pas une comparaison claire avec d'autres systèmes à l'état de l'art.A l'aube du changement important porté par l’avènement des méthodes neuronales, nous étudions différents types de représentations: les anciennes représentations construites à la main, rigides mais précises, et les nouvelles représentations apprises de manière statistique, générales et sémantiques. Nous étudions différentes segmentations permettant de prendre en compte le caractère asynchrone de la multi-modalité. Dernièrement, nous utilisons un modèle d'apprentissage à états latents qui peut s'adapter à une base de données de taille restreinte, pour la tâche atypique qu'est l'analyse d'opinion, et nous montrons qu'il permet à la fois une adaptation des descripteurs du domaine écrit au domaine oral, et servir de couche d'attention via son pouvoir de clusterisation. La fusion multimodale complexe n'étant pas bien gérée par le classifieur utilisé, et l'audio étant moins impactant sur l'opinion que le texte, nous étudions différentes méthodes de sélection de paramètres pour résoudre ces problèmes. / 2588/5000Recognizing a speaker's opinions in an oral interaction is a crucial step in improving communication between a human and a virtual agent. In this thesis, we find ourselves in a problematic of automatic speech processing (APT) on opinion phenomena in natural spontaneous oral interactions. Opinion analysis is a task that is not often addressed in TAP that focused until recently on emotions using voice and non-verbal content. In addition, most existing legacy systems do not use the interactional context to analyze the speaker's opinions. In this thesis, we focus on these topics.We are in the context of automatic detection using statistical learning models. A study on modeling the dynamics of opinion by a model with latent states within a monologue, we study how to integrate the context interactional dialogical, and finally to integrate audio to text with different types of fusion. We worked on a basic Vlogs data at a global sense, and on the basis of multimodal data dyadic interactions composed of open conversations, at the turn of speech and word pair of towers. Finally, we annotated database in opinion because existing database were not satisfactory vis-à-vis the task addressed, and did not allow a clear comparison with other systems in the state art.At the dawn of significant change brought by the advent of neural methods, we study different types of representations: the ancient representations built by hand, rigid, but precise, and new representations learned statistically, and general semantics. We study different segmentations to take into account the asynchronous nature of multi-modality. Recently, we are using a latent state learning model that can adapt to a small database, for the atypical task of opinion analysis, and we show that it allows both an adaptation of the descriptors of the written domain to the oral domain, and serve as an attention layer via its clustering power. Complex multimodal fusion is not well managed by the classifier used, and audio being less impacting on opinion than text, we study different methods of parameter selection to solve these problems.

Les différences entre les voix de femmes et d'hommes relèvent de problématiques complexes et pluridisciplinaires. Le travail de recherche présenté ici traite des aspects phonétiques et psycholinguistiques de ces différences inter-genres. Le premier chapitre est consacré à une revue de la littérature du domaine. Les différences acoustiques ainsi que leur origine sont abordées, de même que le processus d'identification du genre par la voix chez les auditeurs et les conséquences psycholinguistiques de ces différences acoustiques inter-genres. L'ensemble de ces études sont présentées de manière critique et des perspectives de recherche sont évoquées. Le deuxième chapitre présente une analyse acoustique de (pseudo-)mots dissyllabiques produits par des locuteurs anglophones du nord-est des Etats-Unis et des francophones parisiens. Les fréquences de résonance, le F0 moyen, la plage de variation de F0, le VOT, la différence d'intensité H1-H2 ainsi que la durée des énoncés ont été mesurés. Des différences inter-genres significatives ont été observées dans les deux langues sur chacun des paramètres testés. D'autre part, d'importantes variations inter-langues ont été constatées pour la plage de variation de F0, les formants vocaliques et la différence H1-H2. Ces résultats suggèrent que les différences acoustiques hommes-femmes sont en partie dépendantes de la langue. Les enregistrements analysés ont ensuite été utilisés dans le cadre d'une expérience d'identification du genre par la voix. Cette dernière a été menée conjointement sur des auditeurs francophones parisiens avec les stimuli français, et sur des auditeurs anglophones américains avec les stimuli anglais. Les auditeurs avaient pour tâche d'identifier le genre du locuteur ayant produit le stimulus et d'indiquer leur degré de certitude. Chez les locuteurs des deux langues, les pourcentages de bonnes réponses sont significativement supérieurs au seuil de chance dès la présentation d'une consonne sourde initiale de mot et la présentation d'une voyelle initiale suffit pour obtenir des scores proches des 100 %. On constate par ailleurs que les paramètres acoustiques n'ont pas influencé de la même manière les auditeurs des deux langues. Ainsi, le F0 moyen et la qualité de voix (H1-H2) semblent avoir plus fortement influencé les auditeurs anglophones que les francophones, à l'inverse de la fréquence des formants vocaliques et de la plage de variation de F0. Le quatrième et dernier chapitre est consacré à une expérience de détection de mots, réalisée auprès d'auditeurs francophones. Le but de cette expérience est de tester le temps de réponse des participants en fonction du genre du locuteur ayant produit le mot-cible. Les résultats suggèrent que les voix d'hommes et de femmes sont traitées par l'auditeur à vitesse équivalente, mais néanmoins comme deux entités différentes. D'autre part, aucune corrélation significative entre la fréquence fondamentale moyenne du mot-cible et le temps de réponse des auditeurs n'a pu être mise en évidence. En conclusion, il apparaît que les différences acoustiques inter-genres tout comme le processus d'identification du genre par la voix sont fortement dépendants de la langue et donc construits socialement. Des perspectives de recherche et des applications pratiques sont proposées.

My doctoral research addressed two questions regarding the influence of orthographic knowledge on speech processing. First, I attempted to identify the locus of the orthographic effects observed in spoken word recognition tasks in which the orthographic consistency and the congruency between the phonological and orthographic representations of the stimuli were manipulated. Several studies provided converging results suggesting that only phonological representations activated at lexical or postlexical processing levels are affected by orthographic knowledge, while those activated at prelexical levels are not. However, the lexical processing level is not the only factor that determines the occurrence and/or the size of the orthographic effects. Regardless of the processing level tapped by the task, the characteristics of the material and the way in which participants perform the tasks also play an important role. Second, I examined the generality of the orthographic effects both in the suprasegmental domain and in the operation of working memory. Overall, the results showed orthographic effects in both situations./La question de l’influence des connaissances orthographiques sur le traitement de la parole a été abordée sous différents angles à travers les études menées dans le cadre de ma thèse de doctorat. Plus précisément, le locus des effets orthographiques a été examiné dans des tâches de reconnaissance de la parole grâce à une manipulation de la consistance orthographique et de la congruence entre les représentations phonologique et orthographique des stimuli. Les résultats obtenus convergent pour indiquer que seules les représentations phonologiques activées dans les situations qui exigent un traitement lexical et/ou post-lexical sont affectées par les représentations orthographiques. Cependant, l’occurrence et/ou la magnitude des effets orthographiques obtenus semblent dépendre également des caractéristiques du matériel et de la manière dont les participants effectuent la tâche. La question de la généralité des effets orthographiques a aussi été abordée :les effets orthographiques ont été démontrés d’une part dans le domaine suprasegmental (sur le ton lexical) et, d’autre part, dans le fonctionnement de la mémoire de travail. / Doctorat en sciences psychologiques / info:eu-repo/semantics/nonPublished