La voix est tout sauf un stimulus auditif ordinaire. Pour cause, elle prend son importance de manière très précoce chez l’Homme lorsque, dans l’environnement amniotique, le fœtus entend pour la toute première fois la voix de sa mère. C’est en quelque sorte par l’intermédiaire de cette voix que les premiers contacts avec le monde extérieur, mais également avec l’Autre, s’effectuent. Le statut particulier de la voix humaine perdure au fil du développement, devenant plus tard le principal médium véhiculant le langage oral, si significatif pour l’Homme. En parallèle, et de manière tout aussi adaptative, elle permet la transmission d’informations non langagières renseignant sur l’identité, l’état émotionnel mais également le statut social de chaque individu. C’est ainsi que simplement en entendant la voix d’une personne inconnue, il est généralement possible d’en extrapoler son âge, son genre, mais également d’avoir une idée assez précise de l’état émotionnel dans lequel elle se trouve. Les capacités permettant d’extraire de la voix les divers éléments informationnels qu’elle contient ne seraient toutefois pas stables au fil du temps. Ainsi, le vieillissement normal semble associé à des difficultés de traitement des informations vocales de nature langagière, mais également non langagière. De nombreuses études se sont intéressées au déclin des capacités de traitement du discours avec l’âge. Beaucoup moins de travaux ont cependant considéré les conséquences du vieillissement sur le domaine paralinguistique et, lorsque des travaux s’y sont attardés, c’est essentiellement la sphère affective qui a été investiguée. En raison de ce peu d’études, mais également de leur focus portant spécifiquement sur la sphère émotionnelle, il est extrêmement ardu de généraliser les résultats obtenus au traitement vocal général. La présente thèse s’est donc intéressée aux capacités de traitement de la voix dans le vieillissement normal. La première étude de cette thèse (Article 1) avait pour objectif d’évaluer l’impact du vieillissement normal sur les capacités comportementales de traitement paralinguistique vocal non émotionnel. Pour ce faire, une batterie informatisée composée de quatre tâches a été élaborée : la batterie d’évaluation de la perception vocale (Batterie EPV; tâches de catégorisation de genre, de discrimination de sources sonores, adaptative de discrimination et de mémorisation). Cette batterie permettait de comparer les performances d’adultes jeunes et âgés lors du traitement de stimuli vocaux et non vocaux, mais également lors du traitement de divers stimuli vocaux. Cette première étude met en évidence, pour trois des quatre tâches comportementales, des performances inférieures chez les adultes âgés et ce, malgré le contrôle statistique des contributions du déclin auditif et cognitif. Pour les aînés, le traitement de stimuli vocaux, en comparaison au traitement de stimuli non vocaux, n’était toutefois pas systématiquement inférieur à celui des jeunes adultes. Sans que les performances ne puissent être prédites par la mesure cognitive utilisée comme covariable (performances au MoCA), il appert que les demandes cognitives inhérentes aux tâches participent à ces différences intergroupes. Le second article de ce travail visait quant à lui à explorer à l’aide de l’imagerie par résonnance magnétique fonctionnelle (IRMf), l’influence du vieillissement normal sur les réseaux neuronaux sous-tendant le traitement de l’information vocale, une telle investigation n’ayant jamais été effectuée auparavant. Pour ce faire, une tâche d’écoute passive (permettant le contraste de blocs de sons vocaux et non vocaux) ainsi qu’une tâche adaptative de discrimination ont été utilisées. La tâche adaptative, basée sur une type de protocole psycoacoustique « up-down », assurait l’obtention de niveau de performance équivalent entre les deux groupes, une condition nécessaire pour la comparaison de groupe au niveau neurofonctionnel. La comparaison des adultes jeunes et âgés n’a mis en évidence aucune disparité quant au recrutement des aires répondant préférentiellement à la voix : les aires vocales temporales (AVT). Ce résultat suggère que l’âge n’affecte pas la mobilisation des aires spécialisées dans le traitement de la voix. Néanmoins, à l’extérieur des AVT et chez les aînés, le sous recrutement d’une portion du cortex auditif a été observé, en parallèle au recrutement additionnel de régions pariétale, temporale et frontale (Article 2 – Étude 1). Lors de la réalisation d’une tâche adaptative de discrimination, contrairement à ce qui était attendu, les seuils de discrimination des deux groupes d’âges étaient comparables. Pour effectuer la tâche, les participants âgés ont cependant recruté un réseau neuronal plus étendu que celui des jeunes adultes, et pour les aînés, l’activation additionnelle de régions frontale et temporale sous-tendaient la réalisation de la tâche (Article 2 - Étude 2). Les données comportementales présentées dans cette thèse suggèrent que l’effet délétère que semble avoir le vieillissement normal sur les capacités de traitement paralinguistique vocal affectif est également retrouvé lors du traitement d’informations vocales émotionnellement neutres. En parallèle, la mise en place de phénomènes de plasticité cérébrale est objectivée. Ces derniers ne toucheraient cependant pas les réseaux spécialisés dans le traitement de la voix, qui seraient recrutés de manière comparable par les adultes jeunes et âgés. Néanmoins, la tâche d’écoute passive a mis en évidence la présence, chez les aînés, du recrutement sous-optimal d’une portion du cortex auditif (gyrus temporal transverse). En parallèle, et ce pour les deux tâches, des réseaux neuronaux surnuméraires étaient sollicitées par les adultes âgés, permettant potentiellement d’assurer, chez les ainés, le maintien de performances adéquates. / Amongst all the sounds present in our environment, the human voice is probably the most significant one. Indeed, it takes its importance very early on, when, in the amniotic environment, the foetus hears the voice of its mother. Through this voice, the first contacts with the World but also with others are made. This special status of voice remains during the development, since it later becomes the medium via which speech is carried. Indeed, not only does voice convey oral language, but it also passes on a wide array of paralinguistic information characterising each individual. In fact, simply by hearing a voice, we are generally able to determine the age, identity, social status but also the mood in which the speaker is at the moment. However, during normal aging, the processing of the information contained in voice, may it be linguistic or not, appears to become more difficult. In the paralinguistic domain, the deleterious effects of normal aging were mainly explored via affective prosody. It is thus quite difficult to generalize those results to the processing of vocal information in general. In addition, cerebral reorganization accompanying normal aging was characterized for speech perception, but the effects of age on the cerebral processing of paralinguistic vocal information still remain unclear. The main purpose of this work was to palliate to this shortcoming. The first study presented in this thesis (Article 1) evaluated the impact of normal aging on the behavioral processing of non affective paralinguistic vocal information by comparing the performances of young and older adults. To do so, a computerized battery was created: the Voice Perception Assessment battery, which comprised four behavioral tasks (VPA battery; gender categorization task, auditory source discrimination task, adaptive discrimination task and memory task). The tasks created allowed the comparison of vocal and non vocal processing, as well as the comparison of the processing of different types of vocal stimuli. Our results indicate that, while controlling for cognitive and auditory decline, older adults were less efficient than younger participants for three of the four VPA tasks. However, a systematic age-related decline for vocal processing was not observed. The task performances could not be predicted by the cognitive measure selected as a control variable (MoCA scores). However, the disparities in task demands seem to explain a portion of the paralinguistic vocal processing age-related decline observed. The main purpose of the second article was to empirically assess, using functional magnetic resonance imagery (fMRI), the impact of normal aging on the neural networks underlying the processing of human voice, as it has never been done yet. To do so, a passive listening task (contrasting vocal and non vocal blocks of sounds) and an adaptive discrimination task were used. The adaptive task, based on a transformed up-down protocol, allowed us to insure equivalent performance levels in both age-groups, a necessary condition to neurofunctional group comparison. Our results indicate that young and older adults recruited similarly the cortical areas preferentially responding to voice, the Temporal Voice Areas (TVA). In parallel, outside the TVA, an age-related under recruitment of a portion of the auditory cortex was observed, as well as an over recruitment of parietal, temporal and frontal regions (Article 2 – Study 1). For the adaptive discrimination task, contrary to what was expected, the discrimination thresholds of both age-groups were similar. Nevertheless, to be able to perform the task, older adults needed to engage cortical regions in the temporal and frontal lobes that younger adults did not recruit (Article 2 – Study 2). The behavioral data presented in this work suggest that normal aging can be associated with a decline of the capacity to process non affective paralinguistic vocal information. The observed age-related differences appear to be more salient when the cognitive demands of the task are high. In parallel, mechanisms of cerebral plasticity appear to take place as well. Those phenomena however do not seem to affect the way the cortical areas specialized in the processing of human voice are recruited, which remains the same between young and older adults. However, the passive listening task elicited an age-related under-recruitment for a portion of the auditory cortex (left transverse temporal gyrus). Both for the passive listening task and the adaptive discrimination task, an over-recruitment of additional networks were observed for older adults. This extended network could contribute to the preservation of adequate performance in older adults.

This thesis explores, through a number of production andperception studies, the nature of the voice source signal andhow it varies in spoken communication. Research is alsopresented that deals with the techniques and methodologies foranalysing and synthesising the voice source. The main analytictechnique involves interactive inverse filtering for obtainingthe source signal, which is then parameterised to permit thequantification of source characteristics. The parameterisationis carried by means of model matching, using the four-parameterLF model of differentiated glottal flow. The first three analytic studies focus on segmental andsuprasegmental determinants of source variation. As part of theprosodic variation of utterances, focal stress shows for theglottal excitation an enhancement between the stressed voweland the surrounding consonants. At a segmental level, the voicesource characteristics of a vowel show potentially majordifferences as a function of the voiced/voiceless nature of anadjacent stop. Cross-language differences in the extent anddirectionality of the observed effects suggest differentunderlying control strategies in terms of the timing of thelaryngeal and supralaryngeal gestures, as well as in thelaryngeal tensions settings. Different classes of voicedconsonants also show differences in source characteristics:here the differences are likely to be passive consequences ofthe aerodynamic conditions that are inherent to the consonants.Two further analytic studies present voice source correlatesfor six different voice qualities as defined by Laver'sclassification system. Data from stressed and unstressedcontexts clearly show that the transformation from one voicequality to another does not simply involve global changes ofthe source parameters. As well as providing insights into theseaspects of speech production, the analytic studies providequantitative measures useful in technology applications,particularly in speech synthesis. The perceptual experiments use the LF source implementationin the KLSYN88 synthesiser to test some of the analytic resultsand to harness them to explore the paralinguistic dimension ofspeech communication. A study of the perceptual salience ofdifferent parameters associated with breathy voice indicatesthat the source spectral slope is critically important andthat, surprisingly, aspiration noise contributes relativelylittle. Further perceptual tests using stimuli with differentvoice qualities explore the mapping between voice quality andits paralinguistic function of expressing emotion, mood andattitude. The results of these studies highlight the crucialrole of voice quality in expressing affect as well as providingpointers to how it combines withf0for this purpose. The last section of the thesis focuses on the techniquesused for the analysis and synthesis of the source. Asemi-automatic method for inverse filtering is presented, whichis novel in that it optimises the inverse filter by exploitingthe knowledge that is typically used by the experimenter whencarrying out manual interactive inverse filtering. A furtherstudy looks at the properties of the modified LF model in theKLSYN88 synthesiser: it highlights how it differs from thestandard LF model and discusses the implications forsynthesising the glottal source signal from LF model data.Effective and robust source parameterisation for the analysisof voice quality is the topic of the final paper: theeffectiveness of global, amplitude-based, source parameters isexamined across speech tokens with large differences inf0. Additional amplitude-based parameters areproposed to enable a more detailed characterisation of theglottal pulse. <b>Keywords:</b>Voice source dynamics, glottal sourceparameters, source-filter interaction, voice quality,phonation, perception, affect, emotion, mood, attitude,paralinguistic, inverse filtering, knowledge-based, formantsynthesis, LF model, fundamental frequency,f0.

<p>This thesis explores, through a number of production andperception studies, the nature of the voice source signal andhow it varies in spoken communication. Research is alsopresented that deals with the techniques and methodologies foranalysing and synthesising the voice source. The main analytictechnique involves interactive inverse filtering for obtainingthe source signal, which is then parameterised to permit thequantification of source characteristics. The parameterisationis carried by means of model matching, using the four-parameterLF model of differentiated glottal flow.</p><p>The first three analytic studies focus on segmental andsuprasegmental determinants of source variation. As part of theprosodic variation of utterances, focal stress shows for theglottal excitation an enhancement between the stressed voweland the surrounding consonants. At a segmental level, the voicesource characteristics of a vowel show potentially majordifferences as a function of the voiced/voiceless nature of anadjacent stop. Cross-language differences in the extent anddirectionality of the observed effects suggest differentunderlying control strategies in terms of the timing of thelaryngeal and supralaryngeal gestures, as well as in thelaryngeal tensions settings. Different classes of voicedconsonants also show differences in source characteristics:here the differences are likely to be passive consequences ofthe aerodynamic conditions that are inherent to the consonants.Two further analytic studies present voice source correlatesfor six different voice qualities as defined by Laver'sclassification system. Data from stressed and unstressedcontexts clearly show that the transformation from one voicequality to another does not simply involve global changes ofthe source parameters. As well as providing insights into theseaspects of speech production, the analytic studies providequantitative measures useful in technology applications,particularly in speech synthesis.</p><p>The perceptual experiments use the LF source implementationin the KLSYN88 synthesiser to test some of the analytic resultsand to harness them to explore the paralinguistic dimension ofspeech communication. A study of the perceptual salience ofdifferent parameters associated with breathy voice indicatesthat the source spectral slope is critically important andthat, surprisingly, aspiration noise contributes relativelylittle. Further perceptual tests using stimuli with differentvoice qualities explore the mapping between voice quality andits paralinguistic function of expressing emotion, mood andattitude. The results of these studies highlight the crucialrole of voice quality in expressing affect as well as providingpointers to how it combines with<i>f</i>₀for this purpose.</p><p>The last section of the thesis focuses on the techniquesused for the analysis and synthesis of the source. Asemi-automatic method for inverse filtering is presented, whichis novel in that it optimises the inverse filter by exploitingthe knowledge that is typically used by the experimenter whencarrying out manual interactive inverse filtering. A furtherstudy looks at the properties of the modified LF model in theKLSYN88 synthesiser: it highlights how it differs from thestandard LF model and discusses the implications forsynthesising the glottal source signal from LF model data.Effective and robust source parameterisation for the analysisof voice quality is the topic of the final paper: theeffectiveness of global, amplitude-based, source parameters isexamined across speech tokens with large differences in<i>f</i>₀. Additional amplitude-based parameters areproposed to enable a more detailed characterisation of theglottal pulse.</p><p><b>Keywords:</b>Voice source dynamics, glottal sourceparameters, source-filter interaction, voice quality,phonation, perception, affect, emotion, mood, attitude,paralinguistic, inverse filtering, knowledge-based, formantsynthesis, LF model, fundamental frequency,<i>f</i>₀.</p>

No description available.

Les travaux de recherche de cette thèse portent sur l'amélioration des capacités sociales d'un système conversationnel en interaction avec un humain. Lorsque le système n'est pas dédié à une tâche particulière, il doit tenir compte de difficultés relevant de l'interaction sociale elle-même. L'humour est un mécanisme naturel dans les interactions sociales. Nous considérons un humour-machine comme une simulation de comportements simplifiés des capacités humoristiques humaines: dérision, blagues, jeux de mots. Les travaux de cette thèse s'appuient sur des théories issues de domaines variés en sociologie, psychologie, neurosciences et linguistique pour l'intégration de cet humour-machine dans un système robotique. Implémentées dans certains systèmes de dialogue, ces capacités humoristiques sont cependant rarement utilisées pour pouvoir choisir les comportements à générer du robot. Dans nos travaux, la mise en œuvre des comportements humoristiques du système en conversation est réalisée en utilisant la théorie des rites d'interaction. L'estimation de la face de l'interlocuteur permet de diriger le comportement du robot dans la conversation casuelle humoristique. Les facteurs expressifs d'une perte ou d'une valorisation de la face sont liés à des états mentaux exprimés dans une situation donnée. Pour réaliser cette estimation de la face, nous étudions, à partir de corpus créés à cet effet, les réactions comportementales, affectives et expressives des participants à différents types d'humour réalisés par le robot et ayant des impacts variables sur celle-ci (l'humour prenant pour cible le robot, le participant ou un autre sujet). Les réactions des participants à l'humour sont établies sur une représentation multi-niveaux d'indices émotionnels, comportementaux et linguistiques, extraits à partir de l'audio.Des règles sont ainsi construites à partir de l'apprentissage automatique de ces indices issus des corpus, concernant l'appréciation de la réaction des participants à l'humour et la mise à jour de l'estimation de la face présentée du participant. Leur implémentation dans un système automatique nous permet de les évaluer. De nombreuses expérimentations ont été menées avec des publics variés : personnes âgées, adultes, adolescents. Enfin, l'utilisation des préférences du participant à l'humour dans la conversation fait émerger des questions éthiques, notamment face au pouvoir persuasif et manipulateur de l'humour. / This doctoral dissertation is about the improvement of social capacities of a conversationnal system to interact with humans. When the system is not dedicated to one particular task, it must take into account the inherent difficulties of social interaction it-self. Humor is a natural mechanism present in social interactions. We consider humour in a robotic system as a simulation of simplified behaviors from human humor : derision, jokes, puns. This work is based on theories issued from various research domains as sociology, psychology, neurosciences and linguistics to enable integration of humor in a robotic system. Implemented in some dialog systems, humorous capacities are however rarely used when programming the robot’s behavior. In our study, the humourous behavior is implemented in the system by using the ritual theory of face-work. The face analysis of the interlocutor can be used to direct the robot’s reactions during a casual humorous talk. In order to evaluate the faces of participants in interaction, we study, using data collections created for this purpose, the participant’s behavior, emotionnal and expressive responses to different types of humor (humorous act targeting the robot, the participant or a neutral subject). Participant's reaction to humor are made upon a multi-level processing of emotionnal, linguistic and behavioral cues.Machine learning is used to extract rules defining appreciation or not and update the participant's face evaluation in regards of the humorous act produced by the robot. An implementation of these rules in an automatic dialog system allows us to evaluate their accuracy. Numerous experiments were carried out on various populations : elderly persons, adults, teenagers. Finally, the use of the participant’s preferences in the conversation raises ethical questions, in particular against the persuasive and manipulative power of humor.

The thesis is dedicated to the specifics of Paralinguistics. In the research there discussed the features of paralinguistic devices in different types of mixed texts in English and Chinese, their impact on the verbal communication in both oral and written language. The structure of the work consists of two chapters: theoretical and practical. The theoretical part examines the theoretical background of the research, the basic concepts and essence of Paralinguistics, classification of paralinguistic devices, concept and essence of mixed texts and their variety. In the second chapter, on the basis of practical materials, there determined and analyzed, cases, the use of certain paralinguistic devices, their functions, interaction with the verbal component of the text and results. The main resultss of the thesis are presented and published in the scientific article "Non-verbal Communication in Business Relations with China" at the International Scientific and Practical Conference "Discovery Science Research" (Petrozavodsk, Russia, 2020). Awarded by Diploma I. / Данное магистерское диссертационное исследование посвящено специфике науки «паралингвистика». В ходе исследования рассматриваются особенности паралингвистических средств в разных типах смешанных текстов на английском и китайском языках, их влияние на вербальную сторону коммуникации как в устной, так и в письменной речи. Структура работы состоит из двух глав: теоретической и практической. В теоретической части рассматриваются теоретические предпосылки изучения, основные понятия и сущность паралингвистики, классификация паралингвистических средств, понятие и сущность смешанных текстов, и их разновидность. Во второй главе на основе практических материалов определяются и анализируются ситуации, применение тех или иных паралингвистических средств, их функции, взаимодействие с вербальной составляющей текста и результаты. Основные положения диссертационного исследования представлены и опубликованы в научной статье «Невербальная коммуникация в деловых отношениях с Китаем» на Международной научно-практической конференции «Discovery Science Research» (г. Петрозаводск, 2020 г.). Диплом I степени.

Notre thèse focalise sur une analyse phonostylistique du discours politique oral de M. Dominique de Villepin. Une étude qui aborde les variations de son style vocal dans plusieurs de ces discours oraux, d'une manière qui nous permet d'analyser les éléments discursifs et prosodiques tout au long de ses discours politiques. L'étude portera sur le double codage (linguistique et paralinguistique) caché derrière ses propos politiques. Notre corpus d'étude est l'ensemble d'échantillons tirés d'entretien, débat, conférence, interview. Cette étude, par ailleurs, soulève sa compétence discursive et communicationnelle manifestée quant à l'emploi des unités linguistiques, prosodiques, et discursive perçus comme un rôle praxéologique de pratiques sociales, politiques et de l'expérience dans son discours. Au niveau discursif, l'étude analyse des éléments pragmatiques tels que le tour de la parole les temps verbaux et les effets persuasifs. Au niveau phonostylistique, plusieurs phénomènes prosodiques de valeurs phonostylistiques (intonation, mélodie, accent et pause) seront analysés à l'aide du logiciel Praat pour connaître les différentes rôles pragmatiques et énonciatives en termes de stratégie de persuasion de cet homme politique. La thèse consiste à démontrer le rôle de ces phénomènes prosodiques dans l'établissement des informations nouvelles capables de transmettre un deuxième message vocal à son public. Ce message phonostylistique, qui renforce le premier message discursif des forces illocutoires, rajoute au style de Dominique de Villepin un nouveau procédé d'influence et de convaincre sur un public auditoire. / This thesis studies the phonostylistical analysis of Mr. Dominique de Villepin's political oral discourse. A study which requires several of his vocal style in his different oral speeches in a way that allows us to analyze the discourse and prosodic elements throughout his political speeches. The study will focus on the dual coding (linguistic and paralinguistic) hidden behind his political purposes. The corpus of study is the set of samples taken from his different speeches: debate, conference, interviews. This study also rises to explain his discursive and communicative competence which is manifested by using linguistic, prosodic and discursive units in order to disclose the praxeological role of social practices, political roles and the role of experience in his speeches. Concerning the discursive level, the present study aims to analyze the pragmatic elements such as the tour of speech and verbal and persuasive effects. Concerning the phonostylistical level, several of phonostylistic phenomena which have prosodic values (intonation, melody, accent and pause) are analyzed under the Praat software to identify different pragmatic and enunciative roles in terms of persuasive strategy of this political man. The thesis is to demonstrate the role of prosodic phenomena in the establishment of new information, capable of transmitting a second vocal message to his audience. This phonostylistical message, which supports the first message carried through discursive illocutionary forces, adds to the style of Dominique de Villepin a new method to influence and persuade the public audience