Nous proposons un modèle informatique pour la détection des émotions basé sur le comportement humain. Pour ce travail, nous utilisons la théorie des deux facteurs de Schachter et Singer pour reproduire dans notre architecture le comportement naturel en utilisant à la fois des données expressives et contextuelles. Nous concentrons nos efforts sur l’interprétation d’expressions en introduisant les Cartes Émotionnelles Personnalisées (CEPs) et sur la contextualisation des émotions via une ontologie du contexte émotionnel(EmOCA). Les CEPs sont motivées par le modèle complexe de Scherer et représentent les émotions déterminées par de multiple capteurs. Les CEPs sont calibrées individuellement, puis un algorithme de régression les utilises pour définir le ressenti émotionnel à partir des mesures des expressions corporelles. L’objectif de cette architecture est de séparer l’interprétation de la capture des expressions, afin de faciliter le choix des capteurs. De plus, les CEPs peuvent aussi être utilisées pour la synthétisation des expressions émotionnelles. EmOCA utilise le contexte pour simuler la modulation cognitive et pondérer l’émotion prédite. Nous utilisons pour cela un outil de raisonnement interopérable, une ontologie, nous permettant de décrire et de raisonner sur les philies et phobies pour pondérer l’émotion calculée à partir des expressions. Nous présentons également un prototype utilisant les expressions faciales pour évaluer la reconnaissance des motions en temps réel à partir de séquences vidéos. De plus, nous avons pu remarquer que le système décrit une sorte d’hystérésis lors du changement émotionnel comme suggéré par Scherer pour son modèle psychologique. / We present a computational model for emotion detection based on human behavioural expression. For this work, we use the two-factor theory of Schachter and Singer to map our architecture onto natural behavior, using both expressive and contextual data to build our emotion detector. We focus our effort on expression interpretation by introducing Personalized Emotion Maps (PEMs), and on emotion contextualisation via an Emotion Ontology for Contex Awareness (EmOCA). PEMs are motivated by Scherer’s complex system model of emotions and represent emotion values determined from multiple sensors. PEMs are calibrated to individuals, then a regression algorithm uses individual-specific PEMs to determine a person’s emotional feeling from sensor measurements of their bodily expressions. The aim of this architecture is to dissociate expression interpretation from sensor measurements, thus allowing flexibility in the choice of sensors. Moreover, PEMs can also be used in facial expression synthesis. EmOCA brings context into the emotion-modulating cognitive input to weight predicted emotion. We use a well known interoperable reasoning tool, an ontology, allowing us to describe and to reason about philia and phobia in order to modulate emotion determined from expression. We present a prototype using facial expressions to evaluate emotion recognition from real-time video sequences. Moreover, we note that, interestingly, the system detects the sort of hysteresis phenomenon in changing emotion state as suggested by Scherer’s psychological model.

Les travaux de recherche de la thèse portent sur l'étude et la formalisation des interactions émotionnelles Humain-Machine. Au delà d’une détection d'informations paralinguistiques (émotions, disfluences,...) ponctuelles, il s'agit de fournir au système un profil interactionnel et émotionnel de l'utilisateur dynamique, enrichi pendant l’interaction. Ce profil permet d’adapter les stratégies de réponses de la machine au locuteur, et il peut également servir pour mieux gérer des relations à long terme. Le profil est fondé sur une représentation multi-niveau du traitement des indices émotionnels et interactionnels extraits à partir de l'audio via les outils de détection des émotions du LIMSI. Ainsi, des indices bas niveau (variations de la F0, d'énergie, etc.), fournissent des informations sur le type d'émotion exprimée, la force de l'émotion, le degré de loquacité, etc. Ces éléments à moyen niveau sont exploités dans le système afin de déterminer, au fil des interactions, le profil émotionnel et interactionnel de l'utilisateur. Ce profil est composé de six dimensions : optimisme, extraversion, stabilité émotionnelle, confiance en soi, affinité et domination (basé sur le modèle de personnalité OCEAN et les théories de l’interpersonal circumplex). Le comportement social du système est adapté en fonction de ce profil, de l'état de la tâche en cours, et du comportement courant du robot. Les règles de création et de mise à jour du profil émotionnel et interactionnel, ainsi que de sélection automatique du comportement du robot, ont été implémentées en logique floue à l'aide du moteur de décision développé par un partenaire du projet ROMEO. L’implémentation du système a été réalisée sur le robot NAO. Afin d’étudier les différents éléments de la boucle d’interaction émotionnelle entre l’utilisateur et le système, nous avons participé à la conception de plusieurs systèmes : système en Magicien d’Oz pré-scripté, système semi-automatisé, et système d’interaction émotionnelle autonome. Ces systèmes ont permis de recueillir des données en contrôlant plusieurs paramètres d’élicitation des émotions au sein d’une interaction ; nous présentons les résultats de ces expérimentations, et des protocoles d’évaluation de l’Interaction Humain-Robot via l’utilisation de systèmes à différents degrés d’autonomie. / Analysing and formalising the emotional aspect of the Human-Machine Interaction is the key to a successful relation. Beyond and isolated paralinguistic detection (emotion, disfluences…), our aim consists in providing the system with a dynamic emotional and interactional profile of the user, which can evolve throughout the interaction. This profile allows for an adaptation of the machine’s response strategy, and can deal with long term relationships. A multi-level processing of the emotional and interactional cues extracted from speech (LIMSI emotion detection tools) leads to the constitution of the profile. Low level cues ( F0, energy, etc.), are then interpreted in terms of expressed emotion, strength, or talkativeness of the speaker. These mid-level cues are processed in the system so as to determine, over the interaction sessions, the emotional and interactional profile of the user. The profile is made up of six dimensions: optimism, extroversion, emotional stability, self-confidence, affinity and dominance (based on the OCEAN personality model and the interpersonal circumplex theories). The information derived from this profile could allow for a measurement of the engagement of the speaker. The social behaviour of the system is adapted according to the profile, and the current task state and robot behaviour. Fuzzy logic rules drive the constitution of the profile and the automatic selection of the robotic behaviour. These determinist rules are implemented on a decision engine designed by a partner in the project ROMEO. We implemented the system on the humanoid robot NAO. The overriding issue dealt with in this thesis is the viable interpretation of the paralinguistic cues extracted from speech into a relevant emotional representation of the user. We deem it noteworthy to point out that multimodal cues could reinforce the profile’s robustness. So as to analyse the different parts of the emotional interaction loop between the user and the system, we collaborated in the design of several systems with different autonomy degrees: a pre-scripted Wizard-of-Oz system, a semi-automated system, and a fully autonomous system. Using these systems allowed us to collect emotional data in robotic interaction contexts, by controlling several emotion elicitation parameters. This thesis presents the results of these data collections, and offers an evaluation protocol for Human-Robot Interaction through systems with various degrees of autonomy.

Les travaux de recherche de la thèse portent sur l'étude et la formalisation des interactions émotionnelles Humain-Machine. Au delà d'une détection d'informations paralinguistiques (émotions, disfluences,...) ponctuelles, il s'agit de fournir au système un profil interactionnel et émotionnel de l'utilisateur dynamique, enrichi pendant l'interaction. Ce profil permet d'adapter les stratégies de réponses de la machine au locuteur, et il peut également servir pour mieux gérer des relations à long terme. Le profil est fondé sur une représentation multi-niveau du traitement des indices émotionnels et interactionnels extraits à partir de l'audio via les outils de détection des émotions du LIMSI. Ainsi, des indices bas niveau (variations de la F0, d'énergie, etc.), fournissent des informations sur le type d'émotion exprimée, la force de l'émotion, le degré de loquacité, etc. Ces éléments à moyen niveau sont exploités dans le système afin de déterminer, au fil des interactions, le profil émotionnel et interactionnel de l'utilisateur. Ce profil est composé de six dimensions : optimisme, extraversion, stabilité émotionnelle, confiance en soi, affinité et domination (basé sur le modèle de personnalité OCEAN et les théories de l'interpersonal circumplex). Le comportement social du système est adapté en fonction de ce profil, de l'état de la tâche en cours, et du comportement courant du robot. Les règles de création et de mise à jour du profil émotionnel et interactionnel, ainsi que de sélection automatique du comportement du robot, ont été implémentées en logique floue à l'aide du moteur de décision développé par un partenaire du projet ROMEO. L'implémentation du système a été réalisée sur le robot NAO. Afin d'étudier les différents éléments de la boucle d'interaction émotionnelle entre l'utilisateur et le système, nous avons participé à la conception de plusieurs systèmes : système en Magicien d'Oz pré-scripté, système semi-automatisé, et système d'interaction émotionnelle autonome. Ces systèmes ont permis de recueillir des données en contrôlant plusieurs paramètres d'élicitation des émotions au sein d'une interaction ; nous présentons les résultats de ces expérimentations, et des protocoles d'évaluation de l'Interaction Humain-Robot via l'utilisation de systèmes à différents degrés d'autonomie.

Nous proposons un modèle informatique pour la détection des émotions basé sur le comportement humain. Pour ce travail, nous utilisons la théorie des deux facteurs de Schachter et Singer pour reproduire dans notre architecture le comportement naturel en utilisant à la fois des données expressives et contextuelles. Nous concentrons nos efforts sur l'interprétation d'expressions en introduisant les Cartes Émotionnelles Personnalisées (CEPs) et sur la contextualisation des émotions via une ontologie du contexte émotionnel(EmOCA). Les CEPs sont motivées par le modèle complexe de Scherer et représentent les émotions déterminées par de multiple capteurs. Les CEPs sont calibrées individuellement, puis un algorithme de régression les utilises pour définir le ressenti émotionnel à partir des mesures des expressions corporelles. L'objectif de cette architecture est de séparer l'interprétation de la capture des expressions, afin de faciliter le choix des capteurs. De plus, les CEPs peuvent aussi être utilisées pour la synthétisation des expressions émotionnelles. EmOCA utilise le contexte pour simuler la modulation cognitive et pondérer l'émotion prédite. Nous utilisons pour cela un outil de raisonnement interopérable, une ontologie, nous permettant de décrire et de raisonner sur les philies et phobies pour pondérer l'émotion calculée à partir des expressions. Nous présentons également un prototype utilisant les expressions faciales pour évaluer la reconnaissance des motions en temps réel à partir de séquences vidéos. De plus, nous avons pu remarquer que le système décrit une sorte d'hystérésis lors du changement émotionnel comme suggéré par Scherer pour son modèle psychologique.

Les agents virtuels conversationnels ayant un comportement social reposent souvent sur au moins deux disciplines différentes : l’informatique et la psychologie. Dans la plupart des cas, les théories psychologiques sont converties en un modèle informatique afin de permettre aux agents d’adopter des comportements crédibles. Nos travaux de thèse se positionnent au croisement de ces deux champs disciplinaires. Notre objectif est de renforcer la crédibilité des agents conversationnels. Nous nous intéressons aux agents conversationnels orientés tâche, qui sont utilisés dans un contexte professionnel pour produire des réponses à partir d’une base de connaissances métier. Nous proposons un modèle affectif pour ces agents qui s’inspire des mécanismes affectifs chez l’humain. L’approche que nous avons choisie de mettre en œuvre dans notre modèle s’appuie sur la théorie des Tendances à l’Action en psychologie. Nous avons proposé un modèle des émotions en utilisant un formalisme inspiré de la logique BDI pour représenter les croyances et les buts de l’agent. Ce modèle a été implémenté dans une architecture d’agent conversationnel développée au sein de l’entreprise DAVI. Afin de confirmer la pertinence de notre approche, nous avons réalisé plusieurs études expérimentales. La première porte sur l’évaluation d’expressions verbales de la tendance à l’action. La deuxième porte sur l’impact des différentes stratégies de régulation possibles sur la perception de l’agent par l’utilisateur. Enfin, la troisième étude porte sur l’évaluation des agents affectifs en interaction avec des participants. Nous montrons que le processus de régulation que nous avons implémenté permet d’augmenter la crédibilité et le professionnalisme perçu des agents, et plus généralement qu’ils améliorent l’interaction. Nos résultats mettent ainsi en avant la nécessité de prendre en considération les deux mécanismes émotionnels complémentaires : la génération et la régulation des réponses émotionnelles. Ils ouvrent des perspectives sur les différentes manières de gérer les émotions et leur impact sur la perception de l’agent. / Conversational virtual agents with social behavior are often based on at least two different disciplines : computer science and psychology. In most cases, psychological findings are converted into computational mechanisms in order to make agents look and behave in a believable manner. In this work, we aim at increasing conversational agents’ belivielibity and making human-agent interaction more natural by modelling emotions. More precisely, we are interested in task-oriented conversational agents, which are used as a custumer-relationship channel to respond to users request. We propose an affective model of emotional responses’ generation and control during a task-oriented interaction. Our proposed model is based, on one hand, on the theory of Action Tendencies (AT) in psychology to generate emotional responses during the interaction. On the other hand, the emotional control mechanism is inspired from social emotion regulation in empirical psychology. Both mechanisms use agent’s goals, beliefs and ideals. This model has been implemented in an agent architecture endowed with a natural language processing engine developed by the company DAVI. In order to confirm the relevance of our approach, we realized several experimental studies. The first was about validating verbal expressions of action tendency in a human-agent dialogue. In the second, we studied the impact of different emotional regulation strategies on the agent perception by the user. This study allowed us to design a social regulation algorithm based on theoretical and empirical findings. Finally, the third study focuses on the evaluation of emotional agents in real-time interactions. Our results show that the regulation process contributes in increasing the credibility and perceived competence of agents as well as in improving the interaction. Our results highlight the need to take into consideration of the two complementary emotional mechanisms : the generation and regulation of emotional responses. They open perspectives on different ways of managing emotions and their impact on the perception of the agent.

La dépression est le trouble de l'humeur le plus répandu dans le monde avec des répercussions sur le bien-être personnel, familial et sociétal. La détection précoce et précise des signes liés à la dépression pourrait présenter de nombreux avantages pour les cliniciens et les personnes touchées. Le présent travail visait à développer et à tester cliniquement une méthodologie capable de détecter les signes visuels de la dépression afin d’aider les cliniciens dans leur décision.Plusieurs pipelines d’analyse ont été mis en œuvre, axés sur les algorithmes de représentation du mouvement, via des changements de textures ou des évolutions de points caractéristiques du visage, avec des algorithmes basés sur les motifs binaires locaux et leurs variantes incluant ainsi la dimension temporelle (Local Curvelet Binary Patterns-Three Orthogonal Planes (LCBP-TOP), Local Curvelet Binary Patterns- Pairwise Orthogonal Planes (LCBP-POP), Landmark Motion History Images (LMHI), and Gabor Motion History Image (GMHI)). Ces méthodes de représentation ont été combinées avec différents algorithmes d'extraction de caractéristiques basés sur l'apparence, à savoir les modèles binaires locaux (LBP), l'histogramme des gradients orientés (HOG), la quantification de phase locale (LPQ) et les caractéristiques visuelles obtenues après transfert de modèle issu des apprentissage profonds (VGG). Les méthodes proposées ont été testées sur deux ensembles de données de référence, AVEC et le Wizard of Oz (DAICWOZ), enregistrés à partir d'individus non diagnostiqués et annotés à l'aide d'instruments d'évaluation de la dépression. Un nouvel ensemble de données a également été développé pour inclure les patients présentant un diagnostic clinique de dépression (n = 20) ainsi que les volontaires sains (n = 45).Deux types différents d'évaluation de la dépression ont été testés sur les ensembles de données disponibles, catégorique (classification) et continue (régression). Le MHI avec VGG pour l'ensemble de données de référence AVEC'14 a surpassé l'état de l’art avec un F1-Score de 87,4% pour l'évaluation catégorielle binaire. Pour l'évaluation continue des symptômes de dépression « autodéclarés », LMHI combinée aux caractéristiques issues des HOG et à celles issues du modèle VGG ont conduit à des résultats comparatifs aux meilleures techniques de l’état de l’art sur le jeu de données AVEC'14 et sur notre ensemble de données, avec une erreur quadratique moyenne (RMSE) et une erreur absolue moyenne (MAE) de 10,59 / 7,46 et 10,15 / 8,48 respectivement. La meilleure performance de la méthodologie proposée a été obtenue dans la prédiction des symptômes d'anxiété auto-déclarés sur notre ensemble de données, avec une RMSE/MAE de 9,94 / 7,88.Les résultats sont discutés en relation avec les limitations cliniques et techniques et des améliorations potentielles pour des travaux futurs sont proposées. / Depression is the most prevalent mood disorder worldwide having a significant impact on well-being and functionality, and important personal, family and societal effects. The early and accurate detection of signs related to depression could have many benefits for both clinicians and affected individuals. The present work aimed at developing and clinically testing a methodology able to detect visual signs of depression and support clinician decisions.Several analysis pipelines were implemented, focusing on motion representation algorithms, including Local Curvelet Binary Patterns-Three Orthogonal Planes (LCBP-TOP), Local Curvelet Binary Patterns- Pairwise Orthogonal Planes (LCBP-POP), Landmark Motion History Images (LMHI), and Gabor Motion History Image (GMHI). These motion representation methods were combined with different appearance-based feature extraction algorithms, namely Local Binary Patterns (LBP), Histogram of Oriented Gradients (HOG), Local Phase Quantization (LPQ), as well as Visual Graphic Geometry (VGG) features based on transfer learning from deep learning networks. The proposed methods were tested on two benchmark datasets, the AVEC and the Distress Analysis Interview Corpus - Wizard of Oz (DAICWOZ), which were recorded from non-diagnosed individuals and annotated based on self-report depression assessment instruments. A novel dataset was also developed to include patients with a clinical diagnosis of depression (n=20) as well as healthy volunteers (n=45).Two different types of depression assessment were tested on the available datasets, categorical (classification) and continuous (regression). The MHI with VGG for the AVEC’14 benchmark dataset outperformed the state-of-the-art with 87.4% F1-Score for binary categorical assessment. For continuous assessment of self-reported depression symptoms, MHI combined with HOG and VGG performed at state-of-the-art levels on both the AVEC’14 dataset and our dataset, with Root Mean Squared Error (RMSE) and Mean Absolute Error (MAE) of 10.59/7.46 and 10.15/8.48, respectively. The best performance of the proposed methodology was achieved in predicting self-reported anxiety symptoms in our dataset, with RMSE/MAE of 9.94/7.88.Results are discussed in relation to clinical and technical limitations and potential improvements in future work.

Les Agents Conversationnels Animés (ACA) sont des personnages virtuels interactifs et expressifs, dont l'aspect est très souvent " humain ", exploitant différentes modalités telles que la face, le langage, les gestes, le regard ou encore la prosodie de la voix. Le but est qu'ils s'expriment en langage naturel et puissent dialoguer avec des interlocuteurs humains. Pour développer un ACA, il faut d'abord comprendre que des aspects tels que personnalité, les émotions et leur apparence sont extrêmement importants. Le travail qui est présenté dans cette thèse a pour objectif d'augmenter l'acceptabilité et la crédibilité des agents au moyen de la personnalité, considérée comme une notion centrale à l'interaction ACA-humain. On propose un modèle qui dote l'ACA de facettes de personnalité et de buts de communication " cachés " et qui module ainsi ses actions conversationnelles. Ce travail présente également une application de jeu de type "puzzle", intégrant un ACA doté de facettes de personnalité et de buts " cachés ", qui a servi de support à plusieurs expérimentations et à l'évaluation du modèle proposé.

L'identification des visages est primordiale lors de nos interactions sociales. Ainsi, notre comportement change suite à l'identification de la personne avec laquelle nous interagissons. De plus, les travaux en psychologie et en neurosciences ont observé que le traitement cognitif face à un visage familier diffère de celui que nous avons face à un visage inconnu.D'une autre part, les dernières techniques de rendu 3D et les dernières avancées des scans 3D ont permis la création de visages virtuels photo-réalistes modélisant des personnes réelles existantes. La tendance actuelle pour modéliser des humains virtuels est de se baser sur des techniques d'acquisition de données réelles (issues de scans et de sessions de capture de mouvement). Par conséquent, les recherches et applications en humains virtuels ont connu un intérêt croissant pour ces clones virtuels (des agents ayant un aspect familier ou du moins reconnaissable). Les clones virtuels sont donc de plus en plus répandus dans des interfaces homme-machine et dans l'industrie audio-visuelle.L'étude de la perception et de l'interaction avec des clones virtuels est donc devenue nécessaire pour appréhender la conception et l'évaluation de cette technologie. En effet, très peu d'études se sont penchées sur l'évaluation de la fidélité de ces clones virtuels. L'objectif de cette thèse consiste à explorer cet axe de recherche en examinant le processus de perception de la fidélité d'un visage virtuel, clone d'une personne réelle (que l'on connait ou non).Nos travaux répondent à plusieurs questions de recherche: Quels sont les éléments qui nous permettent d'évaluer la ressemblance du clone virtuel avec son référent? Parmi les multiples possibilités de techniques de rendu, d'animation et d'acquisition de données qu'offre l'informatique graphique, quelle est la meilleure combinaison pour assurer le plus haut degré de fidélité perçue ? L'apparence visuelle n'est cependant qu'une des composantes qui interviennent dans la reconnaissance de personnes familières. Les autres composantes comprennent ainsi l'expressivité mais aussi le traitement des connaissances que nous avons sur cette personne (par exemple sa manière particulière d'évaluer une situation émotionnelle et de l'exprimer via son visage).Nos contributions apportent des éléments de réponse à ces questions à plusieurs niveaux. Nous avons défini un cadre conceptuel identifiant les principaux concepts pertinents pour l'étude de la fidélité d'un visage virtuel. Nous avons aussi étudié l'aspect visuel de la fidélité à travers l'exploration de différentes techniques de rendu. Nous avons étudié dans une autre étape l'impact de la familiarité dans le jugement de la fidélité. Finalement, nous avons proposé un modèle informatique individuel basé sur une approche cognitive des émotions qui permet de guider l'animation expressive du clone virtuel.Ces travaux de thèse ouvrent des perspectives pour la conception et l'amélioration de clones virtuels, mais aussi plus généralement des interfaces homme-machine basées sur des agents expressifs. / Face identification plays a crucial role in our daily social interactions. Indeed, our behavior changes according to the identification of the person with whom we interact. Moreover, several studies in Psychology and Neurosciences have observed that our cognitive processing of familiar faces is different from the cognitive processing of unfamiliar faces.Creating photorealistic an animated human-like face of a real person is now possible thanks to recent advances in Computer Graphics and 3D scan systems. Recent rendering techniques are challenging our ability to distinguish between computer generated faces and real human faces. Besides, the current trend to model virtual humans is to involve real data collected using scans and motion capture systems. Research and applications in virtual humans have experienced a growing interest in so-called virtual clones (agents with a familiar aspect or at least recognizable). Virtual clones are therefore increasingly used in human-machine interfaces and in the audiovisual industry. Studies about the perception and interaction with virtual clones are therefore required to better understand how we should design and evaluate this kind of technology. Indeed, very few studies have tried to evaluate virtual clones' fidelity with respect to the original human (hereafter called “the referent”). The main goal of this thesis is to explore this line of research. Our work rises several research questions: What are the features of the virtual clone that enable us to evaluate the resemblance between a virtual clone and its referent? Among several possibilities of rendering, animation and data acquisition techniques offered by Computer Graphics, what is the best combination of techniques to ensure the highest level of perceived fidelity?However, visual appearance is not the only component that is involved in recognizing familiar people. The other components include facial expressiveness but also the possible knowledge that we have about the referent (e.g. his particular way of assessing an emotional situation and expressing it through his face).Our contributions provide answers to these questions at several levels. We define a conceptual framework identifying the key concepts which are relevant for the study of the fidelity of a virtual face. We explore different rendering techniques. We describe an experimental study about the impact of familiarity in the judgment of fidelity. Finally, we propose a preliminary individual computational model based on a cognitive approach of emotions that could drive the animation of the virtual clone.This work opens avenues for the design and improvement of virtual clones, and more generally for the human-machine interfaces based on expressive virtual agents.

Les Agents Conversationnels Animés (ACA) sont des personnages virtuels interactifs et expressifs, dont l'aspect est très souvent « humain », exploitant différentes modalités telles que la face, le langage, les gestes, le regard ou encore la prosodie de la voix. Le but est qu'ils s'expriment en langage naturel et puissent dialoguer avec des interlocuteurs humains. Pour développer un ACA, il faut d'abord comprendre que des aspects tels que personnalité, les émotions et leur apparence sont extrêmement importants. Le travail qui est présenté dans cette thèse a pour objectif d'augmenter l'acceptabilité et la crédibilité des agents au moyen de la personnalité, considérée comme une notion centrale à l'interaction ACA-humain. On propose un modèle qui dote l'ACA de facettes de personnalité et de buts de communication « cachés » et qui module ainsi ses actions conversationnelles. Ce travail présente également une application de jeu de type “puzzle”, intégrant un ACA doté de facettes de personnalité et de buts « cachés », qui a servi de support à plusieurs expérimentations et à l'évaluation du modèle proposé. / Embodied Conversational Agents (ECAs) are intelligent software entities with an embodiment used to communicate with users, using natural language. Their purpose is to exhibit the same properties as humans in face-to-face conversation, including the ability to produce and respond to verbal and nonverbal communication. Researchers in the field of ECAs try to create agents that can be more natural, believable and easy to use. Designing an ECA requires understanding that manner, personality, emotion, and appearance are very important issues to be considered. In this thesis, we are interested in increasing believability of ECAs by placing personality at the heart of the human-agent verbal interaction. We propose a model relating personality facets and hidden communication goals that can influence ECA behaviors. Moreover, we apply our model in agents that interact in a puzzle game application. We develop five distinct personality oriented agents using an expressive communication language and a plan-based BDI approach for modeling and managing dialogue according to our proposed model. In summary, we present and test an innovative approach to model mental aspects of ECAs trying to increase their believability and to enhance human-agent affective communication. With this research, we improve the understanding on how ECAs with expressive and affective characteristics can establish and maintain long-term human-agent relationships.

L'essor de l'informatique affective ouvre aujourd'hui la porte à la création de dispositifs artificiels dotés d'une forme d'intelligence sociale et émotionnelle. L’étude de l'interaction homme-machine dans ce contexte offre de nombreuses pistes de recherche. Parmi celles-ci se trouve la question de la personnalité : comment il est possible de modéliser certaines caractéristiques d’une personnalité artificielle ? Comment ces caractéristiques influencent le déroulement de l'interaction entre l'homme et la machine ? Cette question globale soulève plusieurs questions de recherche : Comment définir la personnalité ? Sur quels modèles et théories issus de la psychologie peut-on s'appuyer pour développer une personnalité artificielle ? Quelle méthodologie adopter pour aborder l’implémentation d'un concept psychologique complexe ? Qu'apporte le développement informatique d'une personnalité à l'interaction homme-machine ? Au domaine de la psychologie de la personnalité ? Comment évaluer expérimentalement ces apports ? Pour aborder ces questions, nos travaux se positionnent dans une optique pluridisciplinaire, au croisement de l’informatique et de la psychologie. Au regard de sa pertinence pour une approche computationnelle, nous avons modélisé la régulation du Soi comme une composante de la personnalité. Ce concept est approché à partir de la théorie du regulatory focus. Sur cette base théorique, un cadre de travail conceptuel et un modèle computationnel sont proposés. Un questionnaire mesurant le regulatory focus a également été développé et validé. Ces propositions théoriques sont mises en œuvre dans deux implémentations data-driven (dimensionnelle vs socio-cognitive) dotant des agents de regulatory focus en utilisant de l’apprentissage automatique. Deux études utilisateurs (interaction unique avec agent artificiel vs sessions répétées avec agent animé), présentées dans un cadre ludique, ont permis d’étudier la perception du regulatory focus chez un agent et son impact sur l'interaction. Nos résultats encouragent l’utilisation du regulatory focus en informatique affective et ouvrent des perspectives sur les liens théoriques et méthodologiques entre informatique et psychologie. / The development of affective computing is leading to the design of artificial devices endowed with a form of social and emotional intelligence. The study of human-computer interaction in this context offers many research tracks. Among them is the question of personality: how to model some characteristics of an artificial personality? How these characteristics will influence the course of interaction with users? This goal rises several research questions: how to define personality? On which models and theories from psychology should we rely to define some artificial personality? Which methodology will help to address the implementation of such a complex psychological concept? What could artificial personality bring to the field of human-computer interaction? And to the psychology of personality? How to experimentally evaluate these contributions? To address these issues, this thesis takes a multidisciplinary approach, at the crossing of computing science and psychology. Given its relevance to a computational approach, we modeled self-regulation as a component of personality. This concept is approached from the regulatory focus theory. On this theoretical basis, a conceptual framework and a computational model are proposed. Our theoretical proposals led to two data-driven implementations (dimensional vs. socio-cognitive) which endowed our artificial agents with regulatory focus by using machine-learning. A French questionnaire measuring regulatory focus was designed and validated. Two user studies (brief interaction with artificial agents vs. repeated sessions with animated agents), where the regulatory focus of agents is conveyed via game strategies, enabled the study of regulatory focus perception and its impact on the interaction. Our results support the use of regulatory focus in affective computing and open perspectives on the theoretical and methodological links between computer science and psychology.