Mes travaux de thèse s'intéressent à la voix émotionnelle dans un contexte d'interaction humain-robot. Dans une interaction réaliste, nous définissons au moins quatre grands types de variabilités : l'environnement (salle, microphone); le locuteur, ses caractéristiques physiques (genre, âge, type de voix) et sa personnalité; ses états émotionnels; et enfin le type d'interaction (jeu, situation d'urgence ou de vie quotidienne). A partir de signaux audio collectés dans différentes conditions, nous avons cherché, grâce à des descripteurs acoustiques, à imbriquer la caractérisation d'un locuteur et de son état émotionnel en prenant en compte ces variabilités.Déterminer quels descripteurs sont essentiels et quels sont ceux à éviter est un défi complexe puisqu'il nécessite de travailler sur un grand nombre de variabilités et donc d'avoir à sa disposition des corpus riches et variés. Les principaux résultats portent à la fois sur la collecte et l'annotation de corpus émotionnels réalistes avec des locuteurs variés (enfants, adultes, personnes âgées), dans plusieurs environnements, et sur la robustesse de descripteurs acoustiques suivant ces quatre variabilités. Deux résultats intéressants découlent de cette analyse acoustique: la caractérisation sonore d'un corpus et l'établissement d'une liste "noire" de descripteurs très variables. Les émotions ne sont qu'une partie des indices paralinguistiques supportés par le signal audio, la personnalité et le stress dans la voix ont également été étudiés. Nous avons également mis en oeuvre un module de reconnaissance automatique des émotions et de caractérisation du locuteur qui a été testé au cours d'interactions humain-robot réalistes. Une réflexion éthique a été menée sur ces travaux.

Mes travaux de thèse s'intéressent à la voix émotionnelle dans un contexte d'interaction humain-robot. Dans une interaction réaliste, nous définissons au moins quatre grands types de variabilités : l'environnement (salle, microphone); le locuteur, ses caractéristiques physiques (genre, âge, type de voix) et sa personnalité; ses états émotionnels; et enfin le type d'interaction (jeu, situation d'urgence ou de vie quotidienne). A partir de signaux audio collectés dans différentes conditions, nous avons cherché, grâce à des descripteurs acoustiques, à imbriquer la caractérisation d'un locuteur et de son état émotionnel en prenant en compte ces variabilités.Déterminer quels descripteurs sont essentiels et quels sont ceux à éviter est un défi complexe puisqu'il nécessite de travailler sur un grand nombre de variabilités et donc d'avoir à sa disposition des corpus riches et variés. Les principaux résultats portent à la fois sur la collecte et l'annotation de corpus émotionnels réalistes avec des locuteurs variés (enfants, adultes, personnes âgées), dans plusieurs environnements, et sur la robustesse de descripteurs acoustiques suivant ces quatre variabilités. Deux résultats intéressants découlent de cette analyse acoustique: la caractérisation sonore d'un corpus et l'établissement d'une liste "noire" de descripteurs très variables. Les émotions ne sont qu'une partie des indices paralinguistiques supportés par le signal audio, la personnalité et le stress dans la voix ont également été étudiés. Nous avons également mis en oeuvre un module de reconnaissance automatique des émotions et de caractérisation du locuteur qui a été testé au cours d'interactions humain-robot réalistes. Une réflexion éthique a été menée sur ces travaux. / This thesis deals with emotional voices during a human-robot interaction. In a natural interaction, we define at least, four kinds of variabilities: environment (room, microphone); speaker, its physic characteristics (gender, age, voice type) and personality; emotional states; and finally the kind of interaction (game scenario, emergency, everyday life). From audio signals collected in different conditions, we tried to find out, with acoustic features, to overlap speaker and his emotional state characterisation taking into account these variabilities.To find which features are essential and which are to avoid is hard challenge because it needs to work with a high number of variabilities and then to have riche and diverse data to our disposal. The main results are about the collection and the annotation of natural emotional corpora that have been recorded with different kinds of speakers (children, adults, elderly people) in various environments, and about how reliable are acoustic features across the four variabilities. This analysis led to two interesting aspects: the audio characterisation of a corpus and the drawing of a black list of features which vary a lot. Emotions are ust a part of paralinguistic features that are supported by the audio channel, other paralinguistic features have been studied such as personality and stress in the voice. We have also built automatic emotion recognition and speaker characterisation module that we have tested during realistic interactions. An ethic discussion have been driven on our work.

Cette thèse s'inscrit dans le domaine de la reconnaissance automatique du locuteur, domaine riche d'applications potentielles allant de la sécurisation d'accès à l'indexation de documents audio. Afin de laisser le champ à un large éventail d'applications, nous nous intéressons à la reconnaissance de locuteur en mode indépendant du texte et dans le cas où nous disposons de très peu de données d'apprentissage. Nous nous intéressons plus particulièrement à la modélisation et à la représentation des locuteurs. Il s'agit d'estimer avec très peu de données un modèle suffisamment robuste du locuteur pour permettre la reconnaissance du locuteur. La modélisation par un mélange de gaussiennes (GMM), en mode indépendant du texte, fournit des bonnes performances et constitue l'état de l'art en la matière. Malheureusement, cette modélisation est peu robuste dans le cas où on ne dispose que de quelques secondes de parole pour apprendre le modèle du locuteur. Pour tenter de remédier à ce problème, une perspective intéressante de modélisation consiste à représenter un nouveau locuteur, non plus de façon absolue, mais relativement à un ensemble de modèles de locuteurs bien appris. Chaque locuteur est représenté par sa localisation dans un espace de locuteurs de référence. C'est cette perspective que nous avons explorée dans cette thèse. Au cours de ce travail, nous avons recherché le meilleur espace de représentation et la meilleure localisation dans cet espace. Nous avons utilisé le regroupement hiérarchique et la sélection d'un sous-ensemble pour construire cet espace. Les locuteurs sont ensuite localisés par la technique des modèles d'ancrage. Il s'agit de calculer un score de vraisemblance par rapport à chaque locuteur de référence. Ainsi, la proximité entre les locuteurs est évaluée par l'application des distances entre leurs vecteurs de coordonnées.<br />Nous avons proposé ensuite une nouvelle représentation des locuteurs basée sur une distribution de distances. L'idée est de modéliser un locuteur par une distribution sur les distances mesurées dans l'espace des modèles d'ancrage. Cela permet d'appliquer une mesure statistique entre l'occurrence de test et les modèles des locuteurs à reconnaître (au lieu d'une mesure géométrique).<br />Ainsi, si nous avons approfondi la modélisation d'un locuteur par sa position dans un espace de locuteurs de référence, nous avons également étudié comment cette position pouvait permettre une meilleure estimation du modèle GMM du locuteur, par exemple en fusionnant les modèles de ses plus proches voisins. Finalement, en complément à la modélisation GMM-UBM, nous avons étudié des algorithmes de fusion de décisions avec les différentes approches proposées.

La présente étude porte sur les effets de la familiarité dans l’identification d’individus en situation de parade vocale. La parade vocale est une technique inspirée d’une procédure paralégale d’identification visuelle d’individus. Elle consiste en la présentation de plusieurs voix avec des aspects acoustiques similaires définis selon des critères reconnus dans la littérature. L’objectif principal de la présente étude était de déterminer si la familiarité d’une voix dans une parade vocale peut donner un haut taux d’identification correcte (> 99 %) de locuteurs. Cette étude est la première à quantifier le critère de familiarité entre l’identificateur et une personne associée à « une voix-cible » selon quatre paramètres liés aux contacts (communications) entre les individus, soit la récence du contact (à quand remonte la dernière rencontre avec l’individu), la durée et la fréquence moyenne du contact et la période pendant laquelle avaient lieu les contacts. Trois différentes parades vocales ont été élaborées, chacune contenant 10 voix d’hommes incluant une voix-cible pouvant être très familière; ce degré de familiarité a été établi selon un questionnaire. Les participants (identificateurs, n = 44) ont été sélectionnés selon leur niveau de familiarité avec la voix-cible. Toutes les voix étaient celles de locuteurs natifs du franco-québécois et toutes avaient des fréquences fondamentales moyennes similaires à la voix-cible (à un semi-ton près). Aussi, chaque parade vocale contenait des énoncés variant en longueur selon un nombre donné de syllabes (1, 4, 10, 18 syll.). Les résultats démontrent qu’en contrôlant le degré de familiarité et avec un énoncé de 4 syllabes ou plus, on obtient un taux d’identification avec une probabilité exacte d’erreur de p < 1 x 10-12. Ces taux d’identification dépassent ceux obtenus actuellement avec des systèmes automatisés. / The present study deals with the effects of familiarity on speaker identification in the context of voice line-ups. The voice line-up is a paralegal technique, inspired by a visual identification procedure. The voice line-up consists in presenting a number of voices sharing similar acoustic parameters as specified in established procedures. The main objective was to determine if the familiarity of a voice could lead to a high rate of correct identification (> 99 %). Our study is the first to quantify the familiarity criterion linking an identifier and a « target voice ». The quantification was based on four parameters bearing on the degree of contact between individuals: recency, frenquency, duration, and the period during which the contact occurred. Three different voice line-ups were elaborated, each containing 10 voices, including one target voice which was well known by the identifier according to a questionnaire that served to quantify familiarity. Participants (identifiers, n = 44) were selected on the basis of their familiarity with the target voice. The speakers used in the voice line-ups were native speakers of Quebec French and all presented voices had similar fundamental frequencies (to within one semitone). In each line-up we used utterances of 4 different lengths (1, 4, 10, and 18 syll.). The results show that by controlling the familiarity criterion, a correct identification rate of a 100 % is obtained with an exact error probability of p < 1 x 10-12.These rates are superior to current automatic systems of voice identification.

Cette thèse a pour objectif de définir l’apport de la phonétique expérimentale dans l’identification d’une variété lectale, en prenant pour exemple les langues parlées en Guadeloupe. En Guadeloupe, deux langues cohabitent : le français et le créole. Mais, dans les faits, il y a une diversité de variétés de français d’une part, et de créole d’autre part. Chacune de ces variétés va de l’acrolecte au basilecte en passant par le mésolecte : il y a donc un continuum français et un continuum créole. La situation sociolinguistique de la Guadeloupe peut être ainsi représentée par un double continuum.Ces différentes variétés de français peuvent-elles se distinguer par des caractéristiques (1) acoustiques, (2) phonétiques, (3) phonologiques et (4) perceptives de la consonne /R/? La durée du contact avec le créole, a t-elle une influence sur la variété de français parlée par un locuteur ?Nos résultats montrent que plus la variété de français est basilectale, (1) plus la diffusion de l’énergie spectrale du /R/ est faible avec un taux de bruit réduit et une hauteur moyenne des fréquences basse ; (2) plus la variante fricatisée du /R/ est rare et plus la variante approximante est fréquente ; (3) plus le taux d’élision du /R/ en coda de syllabe augmente ainsi que le taux de réalisation de /R/ en tant que [w] en contexte labial; (4) plus la variété est perçue comme ayant un faible degré d’accent français. Généralement, plus la durée du contact entre le français et le créole est longue, plus cette variété est basilectale.Si les caractéristiques de la consonne /R/ permettent de discriminer la variété acrolectale de la variété basilectale (variétés extrêmes), il apparait plus difficile d’établir une liste d’indices (ou « lectomètres ») qui permettraient d’identifier les variétés se trouvant dans la zone intermédiaire : le mésolecte est doté d’une certaine imprévisibilité. / The goal of this thesis is to determine the contribution of experimental phonetics in the identification of a lectal variety, in taking for example languages spoken in Guadeloupe. In Guadeloupe, two languages coexist : French and Creole. But in fact, there is a diversity of varieties of French on the one hand, and of Creole on the other hand. Each of these varieties goes from acrolect to basilect through mesolect : so there are a French continuum and a Creole continuum. Thus, the sociolinguistic situation of Guadeloupe can be represented by a double continuum.These different varieties of French can they be distinguished by (1) acoustic, (2) phonetic, (3) phonological (4) and perceptual characteristics of /R/ consonant? Does the contact duration with Creole have an influence on the variety of French spoken by a speaker?Our results show that the more basilectal the variety of French is, (1) the lower spectral diffusion of /R/ energy is, with a reduced rate noise and a low frequency mean; (2) the more infrequent /R/ constrictive variants are and the more common /R/ approximant variants are ; (3) the greater rates of /R/ elision in coda of syllable and /R/ realization as [w] in labial context increase ;(4) and the more the variety is perceived as having a low degree of French accent. Usually, the longer duration of the contact between French and Creole is, the more basilectal the variety of French is.If characteristics of /R/ consonant can distinguish acrolect and basilect (extreme varieties), it’s not so easy to establish a list of indications (or « lectomètres ») in order to identify varieties in the intermediate zone: mesolect has a certain unpredictability.

Cette thèse a pour objectif de définir l’apport de la phonétique expérimentale dans l’identification d’une variété lectale, en prenant pour exemple les langues parlées en Guadeloupe. En Guadeloupe, deux langues cohabitent : le français et le créole. Mais, dans les faits, il y a une diversité de variétés de français d’une part, et de créole d’autre part. Chacune de ces variétés va de l’acrolecte au basilecte en passant par le mésolecte : il y a donc un continuum français et un continuum créole. La situation sociolinguistique de la Guadeloupe peut être ainsi représentée par un double continuum.Ces différentes variétés de français peuvent-elles se distinguer par des caractéristiques (1) acoustiques, (2) phonétiques, (3) phonologiques et (4) perceptives de la consonne /R/? La durée du contact avec le créole, a t-elle une influence sur la variété de français parlée par un locuteur ?Nos résultats montrent que plus la variété de français est basilectale, (1) plus la diffusion de l’énergie spectrale du /R/ est faible avec un taux de bruit réduit et une hauteur moyenne des fréquences basse ; (2) plus la variante fricatisée du /R/ est rare et plus la variante approximante est fréquente ; (3) plus le taux d’élision du /R/ en coda de syllabe augmente ainsi que le taux de réalisation de /R/ en tant que [w] en contexte labial; (4) plus la variété est perçue comme ayant un faible degré d’accent français. Généralement, plus la durée du contact entre le français et le créole est longue, plus cette variété est basilectale.Si les caractéristiques de la consonne /R/ permettent de discriminer la variété acrolectale de la variété basilectale (variétés extrêmes), il apparait plus difficile d’établir une liste d’indices (ou « lectomètres ») qui permettraient d’identifier les variétés se trouvant dans la zone intermédiaire : le mésolecte est doté d’une certaine imprévisibilité. / The goal of this thesis is to determine the contribution of experimental phonetics in the identification of a lectal variety, in taking for example languages spoken in Guadeloupe. In Guadeloupe, two languages coexist : French and Creole. But in fact, there is a diversity of varieties of French on the one hand, and of Creole on the other hand. Each of these varieties goes from acrolect to basilect through mesolect : so there are a French continuum and a Creole continuum. Thus, the sociolinguistic situation of Guadeloupe can be represented by a double continuum.These different varieties of French can they be distinguished by (1) acoustic, (2) phonetic, (3) phonological (4) and perceptual characteristics of /R/ consonant? Does the contact duration with Creole have an influence on the variety of French spoken by a speaker?Our results show that the more basilectal the variety of French is, (1) the lower spectral diffusion of /R/ energy is, with a reduced rate noise and a low frequency mean; (2) the more infrequent /R/ constrictive variants are and the more common /R/ approximant variants are ; (3) the greater rates of /R/ elision in coda of syllable and /R/ realization as [w] in labial context increase ;(4) and the more the variety is perceived as having a low degree of French accent. Usually, the longer duration of the contact between French and Creole is, the more basilectal the variety of French is.If characteristics of /R/ consonant can distinguish acrolect and basilect (extreme varieties), it’s not so easy to establish a list of indications (or « lectomètres ») in order to identify varieties in the intermediate zone: mesolect has a certain unpredictability.

Cette thèse a pour objectif de définir l’apport de la phonétique expérimentale dans l’identification d’une variété lectale, en prenant pour exemple les langues parlées en Guadeloupe. En Guadeloupe, deux langues cohabitent : le français et le créole. Mais, dans les faits, il y a une diversité de variétés de français d’une part, et de créole d’autre part. Chacune de ces variétés va de l’acrolecte au basilecte en passant par le mésolecte : il y a donc un continuum français et un continuum créole. La situation sociolinguistique de la Guadeloupe peut être ainsi représentée par un double continuum.Ces différentes variétés de français peuvent-elles se distinguer par des caractéristiques (1) acoustiques, (2) phonétiques, (3) phonologiques et (4) perceptives de la consonne /R/? La durée du contact avec le créole, a t-elle une influence sur la variété de français parlée par un locuteur ?Nos résultats montrent que plus la variété de français est basilectale, (1) plus la diffusion de l’énergie spectrale du /R/ est faible avec un taux de bruit réduit et une hauteur moyenne des fréquences basse ; (2) plus la variante fricatisée du /R/ est rare et plus la variante approximante est fréquente ; (3) plus le taux d’élision du /R/ en coda de syllabe augmente ainsi que le taux de réalisation de /R/ en tant que [w] en contexte labial; (4) plus la variété est perçue comme ayant un faible degré d’accent français. Généralement, plus la durée du contact entre le français et le créole est longue, plus cette variété est basilectale.Si les caractéristiques de la consonne /R/ permettent de discriminer la variété acrolectale de la variété basilectale (variétés extrêmes), il apparait plus difficile d’établir une liste d’indices (ou « lectomètres ») qui permettraient d’identifier les variétés se trouvant dans la zone intermédiaire : le mésolecte est doté d’une certaine imprévisibilité. / The goal of this thesis is to determine the contribution of experimental phonetics in the identification of a lectal variety, in taking for example languages spoken in Guadeloupe. In Guadeloupe, two languages coexist : French and Creole. But in fact, there is a diversity of varieties of French on the one hand, and of Creole on the other hand. Each of these varieties goes from acrolect to basilect through mesolect : so there are a French continuum and a Creole continuum. Thus, the sociolinguistic situation of Guadeloupe can be represented by a double continuum.These different varieties of French can they be distinguished by (1) acoustic, (2) phonetic, (3) phonological (4) and perceptual characteristics of /R/ consonant? Does the contact duration with Creole have an influence on the variety of French spoken by a speaker?Our results show that the more basilectal the variety of French is, (1) the lower spectral diffusion of /R/ energy is, with a reduced rate noise and a low frequency mean; (2) the more infrequent /R/ constrictive variants are and the more common /R/ approximant variants are ; (3) the greater rates of /R/ elision in coda of syllable and /R/ realization as [w] in labial context increase ;(4) and the more the variety is perceived as having a low degree of French accent. Usually, the longer duration of the contact between French and Creole is, the more basilectal the variety of French is.If characteristics of /R/ consonant can distinguish acrolect and basilect (extreme varieties), it’s not so easy to establish a list of indications (or « lectomètres ») in order to identify varieties in the intermediate zone: mesolect has a certain unpredictability.

La capacité humaine de reconnaitre et d’identifier de nombreux individus uniquement grâce à leur voix est unique et peut s’avérer cruciale pour certaines enquêtes. La méconnaissance de cette capacité jette cependant de l’ombre sur les applications dites « légales » de la phonétique. Le travail de thèse présenté ici a comme objectif principal de mieux définir les différents processus liés au traitement des voix dans le cerveau et les paramètres affectant ce traitement. Dans une première expérience, les potentiels évoqués (PÉs) ont été utilisés pour démontrer que les voix intimement familières sont traitées différemment des voix inconnues, même si ces dernières sont fréquemment répétées. Cette expérience a également permis de mieux définir les notions de reconnaissance et d’identification de la voix et les processus qui leur sont associés (respectivement les composantes P2 et LPC). Aussi, une distinction importante entre la reconnaissance de voix intimement familières (P2) et inconnues, mais répétées (N250) a été observée. En plus d’apporter des clarifications terminologiques plus-que-nécessaires, cette première étude est la première à distinguer clairement la reconnaissance et l’identification de locuteurs en termes de PÉs. Cette contribution est majeure, tout particulièrement en ce qui a trait aux applications légales qu’elle recèle. Une seconde expérience s’est concentrée sur l’effet des modalités d’apprentissage sur l’identification de voix apprises. Plus spécifiquement, les PÉs ont été analysés suite à la présentation de voix apprises à l’aide des modalités auditive, audiovisuelle et audiovisuelle interactive. Si les mêmes composantes (P2 et LPC) ont été observées pour les trois conditions d’apprentissage, l’étendue de ces réponses variait. L’analyse des composantes impliquées a révélé un « effet d’ombrage du visage » (face overshadowing effect, FOE) tel qu’illustré par une réponse atténuée suite à la présentation de voix apprise à l’aide d’information audiovisuelle par rapport celles apprises avec dans la condition audio seulement. La simulation d’interaction à l’apprentissage à quant à elle provoqué une réponse plus importante sur la LPC en comparaison avec la condition audiovisuelle passive. De manière générale, les données rapportées dans les expériences 1 et 2 sont congruentes et indiquent que la P2 et la LPC sont des marqueurs fiables des processus de reconnaissance et d’identification de locuteurs. Les implications fondamentales et en phonétique légale seront discutées. / The human ability to recognize and identify speakers by their voices is unique and can be critical in criminal investigations. However, the lack of knowledge on the working of this capacity overshadows its application in the field of “forensic phonetics”. The main objective of this thesis is to characterize the processing of voices in the human brain and the parameters that influence it. In a first experiment, event related potentials (ERPs) were used to establish that intimately familiar voices are processed differently from unknown voices, even when the latter are repeated. This experiment also served to establish a clear distinction between neural components of speaker recognition and identification supported by corresponding ERP components (respectively the P2 and the LPC). An essential contrast between the processes underlying the recognition of intimately familiar voices (P2) and that of unknown but previously heard voices (N250) was also observed. In addition to clarifying the terminology of voice processing, the first study in this thesis is the first to unambiguously distinguish between speaker recognition and identification in terms of ERPs. This contribution is major, especially when it comes to applications of voice processing in forensic phonetics. A second experiment focused more specifically on the effects of learning modalities on later speaker identification. ERPs to trained voices were analysed along with behavioral responses of speaker identification following a learning phase where participants were trained on voices in three modalities : audio only, audiovisual and audiovisual interactive. Although the ERP responses for the trained voices showed effects on the same components (P2 and LPC) across the three training conditions, the range of these responses varied. The analysis of these components first revealed a face overshadowing effect (FOE) resulting in an impaired encoding of voice information. This well documented effect resulted in a smaller LPC for the audiovisual condition compared to the audio only condition. However, effects of the audiovisual interactive condition appeared to minimize this FOE when compared to the passive audiovisual condition. Overall, the data presented in both experiments is generally congruent and indicate that the P2 and the LPC are reliable electrophysiological markers of speaker recognition and identification. The implications of these findings for current voice processing models and for the field of forensic phonetics are discussed.