Les affects sociaux (ou attitudes) exprimés lors des interactions orales sont intimement liées à ce que le locuteur veut exprimer et sont influencées par sa langue et sa culture. Aubergé (2002) défend un contrôle volontaire de ces expressions. À la suite des travaux sur les attitudes du français et de l'anglais britannique menées au GIPSAlab, cette thèse analyse 12 attitudes prosodique japonaises. Elle décrit leur réalisation et perception par des japonais. L'influence de l'information visuelle est mesurée au moyen d'un corpus multimodal. La localisation des informations acoustiques critiques est évaluée grâce à paradigme de gating. Pour certaines attitudes, les informations sont réparties entre le début et la fin de la phrase, tandis que d'autres sont reconnues immédiatement, et que certaines sont reconnues à un point clés au milieu ou à la fin des énoncés. La perception interculturelle des attitudes est analysée pour trois langues (japonais, français, anglais britannique) afin de mieux comprendre l'importance de la culture sur chacune des attitudes. Les résultats montrent que deux expressions (exclamation de surprise et déclaration) sont reconnues interculturellement, tandis que d'autres se comportent comme des faux amis - en particulier l'expression de politesse japonaise de « kyoshuku ». Finalement, l'effet d'apprentissage des langues est mesuré sur des apprenants français de japonais. Ils augmentent progressivement performances, malgré le problème récurrent de l'expression de « kyoshuku ».

De plus en plus, l'interaction entre personne et machine se rapproche du naturel afin de ressembler à l'interaction entre humains, incluant l'expressivité (en particulier les émotions et les attitudes). Dans la communication parlée, les attitudes, et plus généralement les affects sociaux, sont véhiculés principalement par la prosodie. Pour les langues tonales, la prosodie est utilisée aussi pour coder l'information sémantique dans les variations de tons. Ce travail de thèse présente une étude des affects sociaux du vietnamien, une langue à tons et une langue peu dotée, afin d'appliquer les résultats obtenus à un système de synthèse de haute qualité capable de produire la parole " expressive " pour le vietnamien. Le premier travail de cette thèse consiste en la construction du premier corpus audio-visuel des attitudes vietnamiennes, qui contient seize attitudes. Ce corpus est ensuite utilisé pour étudier la perception audio-visuelle et interculturelle des attitudes vietnamiennes. Pour cela, une série de tests perceptifs a été effectuée avec des auditeurs natifs et non-natifs (des auditeurs francophones pour les non-natifs). Les résultats de ces tests montrent que les facteurs influant sur la perception des attitudes sont l'expression de l'attitude elle-même et la modalité de présentation (audio, visuelle et audio-visuelle). Ces résultats nous ont ainsi permis de trouver des affects sociaux communs ou interculturels entre le vietnamien et le français. Puis, un autre test de perception a été réalisé sur des phrases avec tons afin d'explorer l'effet du système tonal du vietnamien sur la perception des attitudes. Les résultats montrent que les juges non-natifs peuvent traiter et séparer les indices tonals locaux et les traits saillants prosodiques de portée globale. Après une présentation de nos études sur les affects sociaux en vietnamien, nous décrivons notre modélisation de la prosodie des attitudes en vue de la synthèse de la parole expressive en vietnamien. En nous basant sur le modèle de superposition des contours fonctionnels, nous proposons une méthode pour modéliser et générer de la prosodie expressive en vietnamien. Cette méthode est ensuite appliquée pour générer de la parole expressive en vietnamien, puis évaluée par des tests de perception sur les énoncés synthétiques. Les résultats de perception valident bien la performance de notre modèle et confirment que l'approche de superposition de contours fonctionnels peut être utilisée pour modéliser une prosodie complexe comme dans le cas de la parole expressive d'une langue à tons.

De plus en plus, l'interaction entre personne et machine se rapproche du naturel afin de ressembler à l'interaction entre humains, incluant l'expressivité (en particulier les émotions et les attitudes). Dans la communication parlée, les attitudes, et plus généralement les affects sociaux, sont véhiculés principalement par la prosodie. Pour les langues tonales, la prosodie est utilisée aussi pour coder l'information sémantique dans les variations de tons. Ce travail de thèse présente une étude des affects sociaux du vietnamien, une langue à tons et une langue peu dotée, afin d'appliquer les résultats obtenus à un système de synthèse de haute qualité capable de produire la parole « expressive » pour le vietnamien. Le premier travail de cette thèse consiste en la construction du premier corpus audio-visuel des attitudes vietnamiennes, qui contient seize attitudes. Ce corpus est ensuite utilisé pour étudier la perception audio-visuelle et interculturelle des attitudes vietnamiennes. Pour cela, une série de tests perceptifs a été effectuée avec des auditeurs natifs et non-natifs (des auditeurs francophones pour les non-natifs). Les résultats de ces tests montrent que les facteurs influant sur la perception des attitudes sont l'expression de l'attitude elle-même et la modalité de présentation (audio, visuelle et audio-visuelle). Ces résultats nous ont ainsi permis de trouver des affects sociaux communs ou interculturels entre le vietnamien et le français. Puis, un autre test de perception a été réalisé sur des phrases avec tons afin d'explorer l'effet du système tonal du vietnamien sur la perception des attitudes. Les résultats montrent que les juges non-natifs peuvent traiter et séparer les indices tonals locaux et les traits saillants prosodiques de portée globale. Après une présentation de nos études sur les affects sociaux en vietnamien, nous décrivons notre modélisation de la prosodie des attitudes en vue de la synthèse de la parole expressive en vietnamien. En nous basant sur le modèle de superposition des contours fonctionnels, nous proposons une méthode pour modéliser et générer de la prosodie expressive en vietnamien. Cette méthode est ensuite appliquée pour générer de la parole expressive en vietnamien, puis évaluée par des tests de perception sur les énoncés synthétiques. Les résultats de perception valident bien la performance de notre modèle et confirment que l'approche de superposition de contours fonctionnels peut être utilisée pour modéliser une prosodie complexe comme dans le cas de la parole expressive d'une langue à tons. / Today, the human-computer interaction is reaching the naturalness and is increasingly similar to the human-human interaction, including the expressiveness (especially emotions and attitudes). In spoken communication, attitudes or social affects are mainly transferred through prosody. For tonal languages, prosody is also used to encode semantic information via tones. This thesis presents a study of social affects in Vietnamese, a tonal and under-resourced language, in order to apply the results to Vietnamese expressive speech synthesis task. The first task of this thesis concerns the construction of a first audio-visual corpus of Vietnamese attitudes which contains sixteen attitudes. This corpus is then used to study the audio-visual and intercultural perceptions of the Vietnamese attitudes. A series of perceptual tests was carried out with native and non-native listeners (French for non-native listeners). Experimental results reveal the fact that the influential factors on the perception of attitudes include the modality of presentation (audio, visual and audio-visual) and the attitudinal expression itself. These results also allow us to investigate the common specificities and cross-cultural specificities between Vietnamese and French attitudes. Another perception test was carried out using sentences with tonal variation to study the influence of Vietnamese tones on the perception of attitudes. The results show that non-native listeners can process the local prosodic cues of tones, together with the global cues of attitude patterns. After presenting our studies on Vietnamese social affects, we describe our work on attitude modelling to apply it to Vietnamese expressive speech synthesis. Based on the concept of prosodic contour superposition, a prosodic model was proposed to encode the attitudinal function of prosody for Vietnamese attitudes. This model was applied to generate the Vietnamese expressive speech and then evaluated in a perceptual experiment with synthetic utterances. The results validate the ability of applying our proposed model in generating the prosody of attitudes for a tonal language such as Vietnamese.

Se distinguant des expressions émotionnelles qui sont innées et déclenchées par un contrôle involontaire du locuteur au sein d'une communication face-à-face, les affects sociaux émergent plutôt de manière volontaire et intentionnelle, et sont largement véhiculés par la prosodie audio-visuelle. Ils mettent en circulation, entre les interactants, des informations sur la dynamique du dialogue, la situation d'énonciation et leur relation sociale. Ces spécificités culturelles et linguistiques de la prosodie socio-affective dans la communication orale constituent une difficulté, même un risque de malentendu, pour les apprenants en langue étrangère (LE) et en langue seconde (L2). La présente thèse se consacre à des études intra- et interculturelles sur la perception de la prosodie de 19 affects sociaux en chinois mandarin et en français, ainsi que sur leurs représentations cognitives. Son but applicatif vise l'apprentissage de la prosodie des affects sociaux en chinois mandarin et en français LE ou L2. Le premier travail de la thèse consiste en la construction d'un large corpus audio-visuel des affects sociaux chinois. 152 énoncés variés dans leur longueur, leur morpho-syntaxe et leur représentation tonale sont respectivement produits dans les 19 affects sociaux. Sur la base de ce corpus, sont examinées l'identification et les confusions perceptives de ces affects sociaux chinois par des natifs, des français et des vietnamiens (comme groupe de référence), ainsi que l'effet du ton lexical sur l'identification auditive des sujets non natifs. Les résultats montrent que la majorité des affects sociaux chinois est perçue de manière similaire par les sujets natifs et les sujets non natifs, cependant certains décalages perceptifs sont également observés. Les tons chinois engendrent des problèmes perceptifs des affects sociaux autant pour les vietnamiens (d'une langue tonale) que pour les français (d'une langue non tonale). En parallèle, une analyse acoustique permet de mettre en évidence les caractéristiques principales de la prosodie socio-affective en chinois et d'étayer les résultats perceptifs. Ensuite, une étude sur les distances conceptuelles d'une part, et psycho-acoustiques d'autre part, entre les affects sociaux est menée auprès de sujets chinois et de sujets français. Les résultats montrent que la plupart des connaissances sur les affects sociaux sont partagées par les sujets, quels que soient leur langue maternelle, leur genre ou la manière de présenter les affects sociaux (concepts ou entrées acoustiques). Enfin, le dernier chapitre de la thèse est consacré à une étude contrastive sur la perception multimodale des affects sociaux en chinois et en français LE ou L2. Il est constaté que la reconnaissance des affects sociaux est étroitement liée aux expressions elles-mêmes et à la modalité de présentation de ces expressions. Le degré d'acquisition de la langue cible du sujet (débutant ou intermédiaire) n'a pas d'impact significatif à la reconnaissance, dans le cadre restreint des niveaux étudiés. / In human face-to-face interaction, social affects should be distinguished from emotional expressions, triggered by innate and involuntary controls of the speaker, by their nature of voluntary controls expressed within the audiovisual prosody and by their important role in the realization of speech acts. They also put into circulation between the interlocutors the social context and social relationship information. The prosody is a main vector of social affects and its cross-language variability is a challenge for language description as well as for foreign language teaching. Thus, cultural and linguistic specificities of the socio-affective prosody in oral communication could be a difficulty, even a risk of misunderstanding, for foreign language and second language learners. This thesis is dedicated to intra- and intercultural studies on perception of the prosody of 19 social affects in Mandarin Chinese and in French, on their cognitive representations, as well as on Chinese and French socio-affective prosody learning for foreign and second language learners. The first task of this thesis concerns the construction of a large audio-visual corpus of Chinese social affects. 152 sentences with the variation of length, tone location and syntactic structures of utterances, have been incorporated with 19 social affects. This corpus is served to examine the identification and perceptual confusion of these Chinese social affects by native and non-native listeners, as well as the tonal effect on non-native subjects' identification. Experimental results reveal that the majority of social affects are similarly perceived by native and non-native subjects, otherwise, some differences are also observed. Lexical tones lead to certain perceptual problems also for Vietnamese listeners (of a tonal language) and for French listeners (of a non-tonal language). In parallel, an acoustic analysis investigates the production side of prosodic socio-affects in Mandarin Chinese, and allows highlighting the more prominent patterns of acoustical variations as well as supporting the perceptual resultants obtained on the same expressions. Then, a study on conceptual and psycho-acoustic distances between social affects is carried out with Chinese and French subjects. The main results indicate that all subjects share to a very large extent the knowledge about these 19 social affects, regardless of their mother language, gender or how to present social affects (concept or acoustic realization). Finally, the last chapter of thesis is dedicated to the differences in the perception of 11 Chinese social affects expressed in different modalities (audio only, video only and audio-visual) for French learners and native subjects, as well as in the perception of the same French socio-affects for Chinese learners and native subjects. According to the results, the identification of affective expressions depends more on their affective values and on their presentation modality. Subject's learning level (beginner or intermediate) does not have a significant effect on their identification.