Le travail presenté dans cette thèse adresse le problème de génération des performances expressives audio-visuelles pour les acteurs virtuels. Un acteur virtuel est répresenté par une tête parlante en 3D et une performance audio-visuelle contient les expressions faciales, les mouvements de la tête, la direction du regard et le signal de parole.Si une importante partie de la littérature a été dediée aux émotions, nous explorons ici les comportements expressifs verbaux qui signalent les états mentaux, i.e. "ce que le locuteur sent par rapport à ce qu'il dit". Nous explorons les caractéristiques de ces attitudes dites dramatiques et la manière dont elles sont encodées par des signatures prosodiques spécifiques pour une personne i.e. des motifs spécifiques à l'état mental de trajectoires de paramètres prosodiques audio-visuels. / The work presented in this thesis addresses the problem of generating audio-visual expressive performances for virtual actors. A virtual actor is represented by a 3D talking head and an audio-visual performance refers to facial expressions, head movements, gaze direction and the speech signal.While an important amount of work has been dedicated to emotions, we explore here expressive verbal behaviors that signal mental states, i.e "how speakers feel about what they say". We explore the characteristics of these so-called dramatic attitudes and the way they are encoded with speaker-specific prosodic signatures i.e. mental state-specific patterns of trajectories of audio-visual prosodic parameters.

No description available.

La présente thèse examine la capacité des enfants âgés de huit à dix ans à produire des inférences sur l’état émotionnel du protagoniste au moment même où ils découvrent l’histoire (i.e., évaluation en temps réel). Quatre objectifs sont visés. Premièrement, la question de la spécificité des inférences émotionnelles produites est posée et appréhendée à partir de deux types de tâches déjà utilisées et validées chez l’adulte, à savoir une tâche de complètement et une tâche de choix multiples. Pour la tâche de complètement, les enfants sont invités à désigner par écrit l’émotion que pourrait ressentir le personnage à ce moment précis de l’histoire alors que pour la tâche de choix multiples ils doivent sélectionner parmi une liste d’émotions celle qui correspond le mieux à la situation décrite. Deuxièmement, outre les apports méthodologiques retirés de la comparaison de ces deux tâches, cette thèse interroge le développement des connaissances émotionnelles en explorant tant leur maîtrise des émotions de base que des émotions sociales. Troisièmement, s’agissant d’étudier les inférences émotionnelles élaborées en situation d’écoute d’histoires, l’expressivité du narrateur est considérée avec l’idée qu’une prosodie marquée pourrait favoriser l’identification des émotions du personnage. Enfin, dans l’optique d’ouvrir ce travail à une comparaison interculturelle, la capacité des enfants à inférer l’émotion du personnage à partir de textes de littérature jeunesse a été envisagée tant en France qu’à l’Ile Maurice. Au regard de ces différents objectifs, les retombées des études menées sont de deux ordres : méthodologique et théorique. La présente thèse permet ainsi d’alimenter la réflexion tant du point de vue des connaissances scientifiques actuellement disponibles sur ce sujet dans le domaine de la psychologie que du point de vue des pratiques pédagogiques à privilégier dans le domaine de l’éducation. / This thesis examines the ability of children aged eight to ten years to produce inferences about the emotional state of the protagonist while they discover the story (i.e., online evaluation). Four main objectives have to be distinguished. First, the specificity of the emotional inferences children produced is examined through two types of tasks already used and validated in adults, namely a completion task and a multiple-choice task. Regarding the completion task, children are invited to write down the emotion the character is supposed to feel at this moment of the story. For the multiple-choice task, they have to select from a list of emotional labels the one that best fits the situation described. Secondly, this thesis provides a relevant framework to assess the development of children’s emotional knowledge by considering their ability to infer both basic emotions and social emotions. Thirdly, our purpose is to highlight that the expressivity of the narrator can be of help in inferring the character’s emotions. Finally, in order to open this work to an intercultural comparison, children’s ability to infer the emotion of the character has been considered both in France and in Mauritius. In view of these different objectives, the series of studies we carried address both methodological and theoretical issues. Overall, the present thesis provides additional data to the current state of knowledge in psychology about children’s ability to represent the character’s emotional state and underlines related pedagogical contributions to reinforce practices in the field of education.

Cette thèse s’inscrit à l’interface d’une part de la phonétique et de la phonologie prosodiques et d’autre part de l’analyse du discours. Plus spécifiquement, ce travail a eu pour objet de décrire et d’expliquer les phénomènes relatifs au marquage prosodique de la structure du discours narratif en français. Notre méthodologie s’appuie sur l’analyse d’un corpus de 58mn de parole naturelle issue des narrations de 20 locuteurs français natifs, qui devaient raconter le contenu de BD. D’une part, le corpus a été aligné aux niveaux phonématique, syllabique, lexical et en unités inter-pausales ; des données acoustico-phonétiques ont ensuite été extraites à tous ces niveaux de granularité. D’autre part, nous avons appliqué une segmentation en parties narratives selon les critères du modèle de Labov (1972) qui se base sur des critères sémantiques et informationnels. La mise en correspondance de ces deux analyses a été faite sur deux niveaux structurels : global et local. Les résultats ont démontré l’existence d’un lien entre le découpage séquentiel narratif et les variations à long terme de la mélodie, du débit de parole et de l’intensité. Toutefois ces résultats n’ont pas mis en évidence un effet des variations prosodiques à court terme sur le découpage structurel. Par ailleurs, nous avons pu démontrer, pour chaque domaine prosodique, la réalisation d’une réinitialisation au niveau de l’enchainement narratif. Sans prôner une relation biunivoque entre organisation prosodique et structuration discursive, nos résultats démontrent ainsi que la prosodie, au même titre que la syntaxe ou la sémantique, participe aux marquages de la continuité et de la discontinuité informationnelles. / This thesis is at the interface of, on one hand, prosodic phonetics and phonology and, on the other hand, of discourse analysis. More specifically, this work aims to describe, explain and compare the phenomena related to prosodic marking of the narrative structure of discourse in French.Our methodology is based on the analysis of a 58-minute-long corpus of 20 natural speech narratives by French native speakers, who were asked to tell the content of comics without any warning. On one hand, the corpus was aligned with phonemic, syllabic, lexical and inter-pausales units levels; acoustic-phonetic data was then extracted automatically with all levels of granularity. On the second hand, we applied a narrative segmentation according to the criteria of Labov’s evaluative model (1972) which is based on semantic and informational criteria.The mapping of these two analyzes was made on two structural levels: global and local. The results showed the existence of a link between the narrative sequential segmentation and long-term variations of melody, speech rate and intensity. However, these results did not show an effect in the short term prosodic variations related to the structural segmentation. Furthermore, we demonstrated that for each prosodic domain, the realization of a reset at the narrative junction.Without advocating one relationship between prosodic and discursive organization structure, our results demonstrate, that prosody, as well as syntax or semantics, takes part in marking informational continuity and discontinuity.

Ce travail de thèse porte sur un nouveau paradigme pour la synthèse de la parole à partir du texte, à savoir la synthèse incrémentale. L'objectif est de délivrer la parole de synthèse au fur et à mesure de la saisie du texte par l'utilisateur, contrairement aux systèmes classiques pour lesquels la synthèse est déclenchée après la saisie d'une ou plusieurs phrases. L'application principale visée est l'aide aux personnes présentant un trouble sévère de la communication orale, et communiquant principalement à l'aide d'un synthétiseur vocal. Un synthétiseur vocal incrémental permettrait de fluidifier une conversation en limitant le temps que passe l'interlocuteur à attendre la fin de la saisie de la phrase à synthétiser. Un des défi que pose ce paradigme est la synthèse d'un mot ou d'un groupe de mot avec une qualité segmentale et prosodique acceptable alors que la phrase qui le contient n'est que partiellement connue au moment de la synthèse. Pour ce faire, nous proposons différentes adaptations des deux principaux modules d'un système de synthèse de parole à partir du texte : le module de traitement automatique de la langue naturelle (TAL) et le module de synthèse sonore. Pour le TAL en synthèse incrémentale, nous nous sommes intéressé à l'analyse morpho-syntaxique, qui est une étape décisive pour la phonétisation et la détermination de la prosodie cible. Nous décrivons un algorithme d'analyse morpho-syntaxique dit "à latence adaptative". Ce dernier estime en ligne si une classe lexicale (estimée à l'aide d'un analyseur morpho-syntaxique standard basé sur l'approche n-gram), est susceptible de changer après l'ajout par l'utilisateur d'un ou plusieurs mots. Si la classe est jugée instable, alors la synthèse sonore est retardée, dans le cas contraire, elle peut s'effectuer sans risque a priori de dégrader de la qualité segmentale et suprasegmentale. Cet algorithme exploite une ensemble d'arbre de décisions binaires dont les paramètres sont estimés par apprentissage automatique sur un large corpus de texte. Cette méthode nous permet de réaliser un étiquetage morpho-syntaxique en contexte incrémental avec une précision de 92,5% pour une latence moyenne de 1,4 mots. Pour la synthèse sonore, nous nous plaçons dans le cadre de la synthèse paramétrique statistique, basée sur les modèles de Markov cachés (Hidden Markov Models, HMM). Nous proposons une méthode de construction de la voix de synthèse (estimation des paramètres de modèles HMM) prenant en compte une éventuelle incertitude sur la valeur de certains descripteurs contextuels qui ne peuvent pas être calculés en synthèse incrémentale (c'est-à-dire ceux qui portent sur les mots qui ne sont pas encore saisis au moment de la synthèse).Nous comparons la méthode proposée à deux autres stratégies décrites dans la littérature. Les résultats des évaluations objectives et perceptives montrent l’intérêt de la méthode proposée pour la langue française. Enfin, nous décrivons un prototype complet qui combine les deux méthodes proposées pour le TAL et la synthèse par HMM incrémentale. Une évaluation perceptive de la pertinence et de la qualité des groupes de mots synthétisés au fur et à mesure de la saisie montre que notre système réalise un compromis acceptable entre réactivité (minimisation du temps entre la saisie d'un mot et sa synthèse) et qualité (segmentale et prosodique) de la parole de synthèse. / In this thesis, we investigate a new paradigm for text-to-speech synthesis (TTS) allowing to deliver synthetic speech while the text is being inputted : incremental text-to-speech synthesis. Contrary to conventional TTS systems, that trigger the synthesis after a whole sentence has been typed down, incremental TTS devices deliver speech in a ``piece-meal'' fashion (i.e. word after word) while aiming at preserving the speech quality achievable by conventional TTS systems.By reducing the waiting time between two speech outputs while maintaining a good speech quality, such a system should improve the quality of the interaction for speech-impaired people using TTS devices to express themselves.The main challenge brought by incremental TTS is the synthesis of a word, or of a group of words, with the same segmental and supra-segmental quality as conventional TTS, but without knowing the end of the sentence to be synthesized. In this thesis, we propose to adapt the two main modules (natural language processing and speech synthesis) of a TTS system to the incremental paradigm.For the natural language processing module, we focused on part-of-speech tagging, which is a key step for phonetization and prosody generation. We propose an ``adaptive latency algorithm'' for part-of-speech tagging, that estimates if the inferred part-of-speech for a given word (based on the n-gram approach) is likely to change when adding one or several words. If the Part-of-speech is considered as likely to change, the synthesis of the word is delayed. In the other case, the word may be synthesized without risking to alter the segmental or supra-segmental quality of the synthetic speech. The proposed method is based on a set of binary decision trees trained over a large corpus of text. We achieve 92.5% precision for the incremental part-of-speech tagging task and a mean delay of 1.4 words.For the speech synthesis module, in the context of HMM-based speech synthesis, we propose a training method that takes into account the uncertainty about contextual features that cannot be computed at synthesis time (namely, contextual features related to the following words). We compare the proposed method to other strategies (baselines) described in the literature. Objective and subjective evaluation show that the proposed method outperforms the baselines for French.Finally, we describe a prototype developed during this thesis implementing the proposed solution for incremental part-of-speech tagging and speech synthesis. A perceptive evaluation of the word grouping derived from the proposed adaptive latency algorithm as well as the segmental quality of the synthetic speech tends to show that our system reaches a good trade-off between reactivity (minimizing the waiting time between the input and the synthesis of a word) and speech quality (both at segmental and supra-segmental levels).

A leur apparition, à la fin des années 1970 et au début des années 1980, le rap, le ragga et le punk français se distinguent substantiellement de la tradition de la chanson française qui demeure intimement liée à la tradition musicale occidentale et au chant. En particulier, l’expression vocale y est plus proche de la parole que du chant, et s'y révèle plus rythmique que mélodique. Cette singularité rend difficile toute analyse musicologique traditionnelle, et les analyses existantes se fondent davantage sur l’analyse du texte et le contexte social que sur la réalisation sonore. L’objet de notre thèse est de proposer une méthode d'analyse musicale assistée par ordinateur de la prosodie musicale à l’œuvre dans ces styles de musiques populaires, et ce, à partir de l’analyse automatique du son. L’extraction automatique des structures rythmiques de la voix à partir de l’analyse du son devrait permettre d’objectiver les propriétés rythmiques de la musique populaire. L’ensemble des analyses permettra d'observer précisément les relations rythmiques qu'entretiennent la voix et la musique, dans le but de caractériser et de différencier des styles de musique populaire. La période choisie (1977-1992) correspond à la sortie des premiers albums de punk en langue française et se clôt avec celle du premier album du groupe Massilia Sound System, pionniers du ragga marseillais. Quinze morceaux ont été choisis, cinq par style, pour leur représentativité de la diversité des premières productions en langue française dans chaque style. La présentation et l'application de notre méthode à des styles différents permettront d'initier l'étude approfondie de la prosodie musicale au sein de musiques vocales dans lesquelles le jeu rythmique prime sur la mélodicité. / At their appearance in the late 1970s and early 1980s, rap, ragga and punk french differ substantially from the tradition of French song which remains closely tied to the occidental musical tradition and singing. In particular, the vocal expression is closer to the word of the song, and it reveals more rhythmic than melodic. This uniqueness makes it difficult for traditional musicological analysis, and existing analyzes are based more on the analysis of the text and the social context that the sound production. The purpose of our work is to propose a method of computer-aided musical analysis of musical prosody at work in these popular styles of music, and this, from the automatic analysis of sound. Automatic extraction of rhythmic structures of the voice from the sound analysis should objectify the rhythmic properties of popular music. The analyzes will observe precisely the rhythmic relationship between voice and music, in order to characterize and differentiate the styles of popular music. The chosen period (1977-1992) corresponds to the output of the first punk albums in French and ends with that of the first album of Massilia Sound System, ragga pioneers of Marseilles. Fifteen songs were chosen by five style, for they represent the diversity of the first French-language productions in each style. The presentation and application of our method to different styles will initiate a comprehensive study of the musical prosody in vocal music in which the rhythm bonus game on the mélodicity.

In Sprechmelodien können musikerfahrene Hörende musikalische Intervalle wahrnehmen, obwohl Sprechende in der Regel keine musikalische Gestaltung beabsichtigen. Von diesem Höreindruck ausgehend, lassen sich Sprechmelodien als musikalische Tonfolgen darstellen und somit in künstlerisch-kreative Prozesse einbinden. In dieser Arbeit wird der Frage nachgegangen, inwiefern sich musikalische Anordnungsprinzipien in der Intervallstruktur von Sprechmelodien deutschsprachiger Äußerungen feststellen lassen. Ziel ist es, die Regelhaftigkeit der deutschen Sprechmelodik musiktheoretisch zu beschreiben. Dafür wurden sechs ausgebildete Sprecherinnen und Sprecher gebeten, zwei Gedichte von Heinrich Heine (1797–1856) in verschiedenen Ausdruckshaltungen (künstlerisch-anspruchsvoll und neutral) vorzutragen. Anhand der Sprachaufnahmen werden die Sprechmelodien sowohl gehörmäßig als auch mithilfe akustisch-phonetischer Techniken (pitch tracker und Stilisierungsverfahren) erfasst. Die entstanden Transkriptionen, die eine als Musik stilisierte Version der Sprechmelodien darstellen, werden unter musiktheoretischen Gesichtspunkten analysiert. Die Analysen zeigen eine Reihe von Eigenschaften der Sprechmelodik auf, die auch auf die euphonische Melodiebildung in der Musik zutreffen. Sprechmelodien weisen, so wie musikalische Melodien, meist eine wellenartige Kontur auf. Melodische Sprünge, die in Sprechmelodien mit Tonhöhenakzenten einhergehen, werden in der Regel so behandelt wie in der Vokalpolyphonie der Renaissance. Lineare Fortschreitungen sorgen auf verschiedenen strukturellen Ebenen des sprechmelodischen Tonhöhenverlaufs für melodische Stringenz. Zudem lassen sich in den Tonhöhenverläufen der analysierten Sprechmelodien tonale Regelmäßigkeiten beobachten, die etwa durch formelartige Schlusswendungen oder rekurrente Tonhöhen am Beginn und Ende von Phrasen eine Art ›Prototonalität‹ andeuten. Diese Befunde finden Übereinstimmungen in Ergebnissen der linguistischen Forschung, wonach invariante Merkmale der Sprechmelodik auf physiologische und motorische Gegebenheiten bei der Implementierung der sprachintonatorischen Grammatik zurückzuführen sind. / Listeners with musical experience can perceive musical intervals in speech melodies, although speakers do not usually intend to musicalize their speech. Based on this auditory impression, prosodic pitch targets can be represented as musical tone sequences and thus integrated into artistic-creative processes. This dissertation investigates the question to what extent musical principles apply to the interval structure of speech melodies in German utterances. The aim is to describe the regularities of speech prosody from the perspective of music theory. For this purpose, six trained speakers were asked to recite two poems by Heinrich Heine (1797–1856) in different modes of expression (artistically and neutral). Based on the voice recordings, the speech melodies are captured both aurally and using acoustic-phonetic techniques (pitch tracker and stylization methods). The resulting transcriptions, which stylize the speech melodies as music, are analyzed from a music-theoretical point of view. The analyses reveal characteristics in the interval structure of speech melodies that also apply to the euphonic formulation of melodies in music. Speech melodies, like musical melodies, usually have an arch-like contour. Melodic skips, which are associated with pitch accents in speech melodies, are generally treated in the same way as in Renaissance vocal polyphony. Simultaneous linear progressions (›Sekundgänge‹) on different structural levels of the speech melody contribute to melodic stringency. In addition, tonal regularities in the pitch course of the analyzed speech melodies outline a kind of ›prototonality‹ which arises from formulas in cadential motion or recurrent pitches at the beginning and end of phrases. These findings are consistent with results of linguistic research, which suggest that invariant characteristics of speech melody can be traced back to physiological and motor constraints in the implementation of intonational grammar.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

"Mémoire présenté comme exigence partielle de la maîtrise en linguistique offerte à l'Université du Québec à Chicoutimi en vertu d'un protocole d'entente avec l'Université Laval". / Ce mémoire présente une étude de l'emploi de la ponctuation dans des transcriptions orthographiques de discours oral spontané, dont la source est constituée de deux séries radiophoniques et d'un échantillon de huit émissions d'une série télévisée. L'hypothèse de départ était que les transcripteurs feraient un emploi particulier des signes de ponctuation afin de rendre compte de certains phénomènes propres à l'oral. Pour analyser les données du corpus sélectionné, la méthode choisie repose sur la notion d'écart par rapport à la norme régissant l'emploi des signes ponctuation. Plusieurs grammaires usuelles et traités de ponctuation ont été consultés afin d'identifier les règles qui avaient été transgressées dans chacun des trois textes étudiés. Une fois la liste des écarts présents dans les transcriptions établie, une écoute des enregistrements des trois textes sources a permis de noter certains phénomènes prosodiques comme les pauses, l'intonation et les variations de rythme ou de débit des sujets parlants. La dernière étape du processus d'analyse a consisté à tenter de mettre en relation les 365 écarts notés dans l'emploi des signes de ponctuation avec les caractéristiques prosodiques présentes dans les énoncés sources. Si la présence ou l'absence de pause peut notamment expliquer certains écarts, la relation est, dans d'autres cas, beaucoup plus indirecte : un emploi de la ponctuation déviant par rapport aux usages courants de l'écrit pourrait alors contribuer à simuler ou à recréer un effet d'oralité. Certains phénomènes ne constituant pas un écart ont également été étudiés, particulièrement la longueur des phrases et l'emploi des points de suspension. En guise de conclusion, l'étude fait état des différents moyens que les transcripteurs des trois textes étudiés ont privilégiés pour rendre compte de l'oralité du discours de départ.

Se distinguant des expressions émotionnelles qui sont innées et déclenchées par un contrôle involontaire du locuteur au sein d'une communication face-à-face, les affects sociaux émergent plutôt de manière volontaire et intentionnelle, et sont largement véhiculés par la prosodie audio-visuelle. Ils mettent en circulation, entre les interactants, des informations sur la dynamique du dialogue, la situation d'énonciation et leur relation sociale. Ces spécificités culturelles et linguistiques de la prosodie socio-affective dans la communication orale constituent une difficulté, même un risque de malentendu, pour les apprenants en langue étrangère (LE) et en langue seconde (L2). La présente thèse se consacre à des études intra- et interculturelles sur la perception de la prosodie de 19 affects sociaux en chinois mandarin et en français, ainsi que sur leurs représentations cognitives. Son but applicatif vise l'apprentissage de la prosodie des affects sociaux en chinois mandarin et en français LE ou L2. Le premier travail de la thèse consiste en la construction d'un large corpus audio-visuel des affects sociaux chinois. 152 énoncés variés dans leur longueur, leur morpho-syntaxe et leur représentation tonale sont respectivement produits dans les 19 affects sociaux. Sur la base de ce corpus, sont examinées l'identification et les confusions perceptives de ces affects sociaux chinois par des natifs, des français et des vietnamiens (comme groupe de référence), ainsi que l'effet du ton lexical sur l'identification auditive des sujets non natifs. Les résultats montrent que la majorité des affects sociaux chinois est perçue de manière similaire par les sujets natifs et les sujets non natifs, cependant certains décalages perceptifs sont également observés. Les tons chinois engendrent des problèmes perceptifs des affects sociaux autant pour les vietnamiens (d'une langue tonale) que pour les français (d'une langue non tonale). En parallèle, une analyse acoustique permet de mettre en évidence les caractéristiques principales de la prosodie socio-affective en chinois et d'étayer les résultats perceptifs. Ensuite, une étude sur les distances conceptuelles d'une part, et psycho-acoustiques d'autre part, entre les affects sociaux est menée auprès de sujets chinois et de sujets français. Les résultats montrent que la plupart des connaissances sur les affects sociaux sont partagées par les sujets, quels que soient leur langue maternelle, leur genre ou la manière de présenter les affects sociaux (concepts ou entrées acoustiques). Enfin, le dernier chapitre de la thèse est consacré à une étude contrastive sur la perception multimodale des affects sociaux en chinois et en français LE ou L2. Il est constaté que la reconnaissance des affects sociaux est étroitement liée aux expressions elles-mêmes et à la modalité de présentation de ces expressions. Le degré d'acquisition de la langue cible du sujet (débutant ou intermédiaire) n'a pas d'impact significatif à la reconnaissance, dans le cadre restreint des niveaux étudiés. / In human face-to-face interaction, social affects should be distinguished from emotional expressions, triggered by innate and involuntary controls of the speaker, by their nature of voluntary controls expressed within the audiovisual prosody and by their important role in the realization of speech acts. They also put into circulation between the interlocutors the social context and social relationship information. The prosody is a main vector of social affects and its cross-language variability is a challenge for language description as well as for foreign language teaching. Thus, cultural and linguistic specificities of the socio-affective prosody in oral communication could be a difficulty, even a risk of misunderstanding, for foreign language and second language learners. This thesis is dedicated to intra- and intercultural studies on perception of the prosody of 19 social affects in Mandarin Chinese and in French, on their cognitive representations, as well as on Chinese and French socio-affective prosody learning for foreign and second language learners. The first task of this thesis concerns the construction of a large audio-visual corpus of Chinese social affects. 152 sentences with the variation of length, tone location and syntactic structures of utterances, have been incorporated with 19 social affects. This corpus is served to examine the identification and perceptual confusion of these Chinese social affects by native and non-native listeners, as well as the tonal effect on non-native subjects' identification. Experimental results reveal that the majority of social affects are similarly perceived by native and non-native subjects, otherwise, some differences are also observed. Lexical tones lead to certain perceptual problems also for Vietnamese listeners (of a tonal language) and for French listeners (of a non-tonal language). In parallel, an acoustic analysis investigates the production side of prosodic socio-affects in Mandarin Chinese, and allows highlighting the more prominent patterns of acoustical variations as well as supporting the perceptual resultants obtained on the same expressions. Then, a study on conceptual and psycho-acoustic distances between social affects is carried out with Chinese and French subjects. The main results indicate that all subjects share to a very large extent the knowledge about these 19 social affects, regardless of their mother language, gender or how to present social affects (concept or acoustic realization). Finally, the last chapter of thesis is dedicated to the differences in the perception of 11 Chinese social affects expressed in different modalities (audio only, video only and audio-visual) for French learners and native subjects, as well as in the perception of the same French socio-affects for Chinese learners and native subjects. According to the results, the identification of affective expressions depends more on their affective values and on their presentation modality. Subject's learning level (beginner or intermediate) does not have a significant effect on their identification.