L'objectif de cette thèse est de représenter les émotions spontanées et les signes multimodaux associés pour contribuer à la conception des futurs systèmes affectifs interactifs. Les prototypes actuels sont généralement limités à la détection et à la génération de quelques émotions simples et se fondent sur des données audio ou vidéo jouées par des acteurs et récoltées en laboratoire. Afin de pouvoir modéliser les relations complexes entre les émotions spontanées et leurs expressions dans différentes modalités, une approche exploratoire est nécessaire. L'approche exploratoire que nous avons choisie dans cette thèse pour l'étude de ces émotions spontanées consiste à collecter et annoter un corpus vidéo d'interviews télévisées. Ce type de corpus comporte des émotions plus complexes que les 6 émotions de base (colère, peur, joie, tristesse, surprise, dégoût). On observe en effet dans les comportements émotionnels spontanés des superpositions, des masquages, des conflits entre émotions positives et négatives. Nous rapportons plusieurs expérimentations ayant permis la définition de plusieurs niveaux de représentation des émotions et des paramètres comportementaux multimodaux apportant des informations pertinentes pour la perception de ces émotions complexes spontanées. En perspective, les outils développés durant cette thèse (schémas d'annotation, programmes de mesures, protocoles d'annotation) pourront être utilisés ultérieurement pour concevoir des modèles utilisables par des systèmes interactifs affectifs capables de détecter/synthétiser des expressions multimodales d'émotions spontanées.

Les travaux présentés dans ce manuscrit portent sur l'utilisation des humains virtuels et, plus globalement, des technologies du jeu vidéo pour améliorer le soin aux personnes âgées atteintes de troubles cognitifs. Nos travaux s'articulent autour de deux cas d'utilisation des humains virtuels : comme non-soi et comme soi. Plus spécifiquement, nous avons conçu, implémenté et évalué un agent conversationnel animé, appelé LOUISE (LOvely User Interface for Servicing Elders), ayant pour but de servir d'interface utilisateur accessible dans les dipositifs de compensation cognitives à destination des personnes âgées attenteintes de troubles cognitifs, et un dispositif de thérapie psychologique par la réalité virtuelle pour traiter les conséquences des chutes, appelé Promenade virtuelle. Ces deux projets ont été menés suivant des principes de conception participative en living lab, implicant plusieurs parties prenantes dans le processus de conception (patients, aidants et professionnels de santé). / The work presented in this manuscript investigates the use of virtual huamans, and, more broadly, of video game technologies to improve the care of older adults with cognitive impairment. Our work revolved around two use cases of virtual humans: as non-self and as self. More specifically, we have designed, implemented and evaluated an embodied conversational agent, called LOUISE (LOvely User Interface for Servicing Elders), meant to serve as an accessible user interface in cognitive compensation systems for older adults with cognitive impairment, and a system for virtual reality-based psychological therapy addressing the consequences of falls, called Virtual Promenade. These two projects have been conducted according to the principles of living lab participatory design, involving several stakeholders in the design process (patients, caregivers and healthcare professionals).

Dans le contexte de la génération synthétique et le décodage d'informations linguistiques, non seulement le composant auditif mais aussi le composant visuel de la parole transmettent de l'information précieuse. Nous étudions le regard en tant qu´élément crucial pour enrichir la parole et fournir des informations supplémentaires. Le regard est un geste déictique très important, ainsi il influence de manières variées l'organisation du dialogue et de l'interaction sociale. Dans une première expérience nous étudions comment le regard d'une tête parlante peut être employé comme geste déictique dans un jeu de recherche et sélection sur un écran d'ordinateur. Nous avons trouvé que ces gestes sont capables de réduire le temps de réaction ainsi que la charge cognitive. Cet effet est accentué quand le geste est de caractère multimodal, utilisant la parole de manière adaptée. Dans une deuxième expérience nous avons étudié le rapport entre le regard d'un sujet cible et les différents éléments d'une interaction dialogique. Nous avons défini différents segments dans l'échange d'information dialogique et avons trouvé qu´ils sont liés aux variations du comportement du regard mesuré. Basé sur ces résultats nous proposons un modèle pour le contrôle du regard d'un agent conversationnel animé dans l'interaction face-à-face.

Les travaux effectués dans cette thèse explorent la problématique de la synthèse de modèles d'assistance pour un système d'assistance à l'utilisateur en langue naturelle. Cette problématique est complexe car les modèles utilisés doivent unifier deux visions différentes et parfois contradictoires d'un même objet : l'application en cours d'exécution.L'hypothèse défendue dans ces travaux est que le recours à une représentation, guidée par des traits perceptuels pour organiser les informations, permet de résoudre (en partie) ce problème d'unification. Nous explorons cette hypothèse sur la problématique du regroupement perceptuel de composants d'interface. Pour obtenir cette représentation, nous avons implémenté un algorithme de regroupement perceptuel issu de la théorie de la gestalt. Ces travaux ont permis le développement d'une famille de composants dialogiques utilisables comme éléments de modélisation. Cette famille de composants (Daft-swing), s'insère dans une architecture de traitement de requêtes (Daft). La synthèse de modèles est ensuite traitée dans deux études de cas différentes : la première met en oeuvre l'algorithme de regroupement perceptuel dans le cadre de la synthèse de modèles a partir d'une application web. La deuxième se focalise sur la synthèse de modèles à partir des actions d'un utilisateur. Ces deux outils produisent des modèles utilisant des composants de Daft-Swing directement utilisables par l'architecture Daft et son agent assistant.

Avec le nombre croissant d'utilisateurs novices des applications informatiques, le besoin d'une aide efficace est devenu critique. Afin de répondre à ce besoins, nous suggérons d'utiliser un Agent Conversationnel Assistant (ACA), c'est-à-dire une interface permettant l'utilisation de la langue naturelle (en effet celle-ci est utilisée spontanément dès qu'un problème surgit) ainsi qu'une présence rassurante pour les utilisateurs.Une étude préliminaire détaille la constitution (en combinant la collecte et l'utilisation de thesaurus) d'un corpus de requêtes dont nous justifions le besoin. Ce corpus de 11626 requêtes est comparé avec d'autres corpus existants et nous montrons qu'il couvre le domaine étudié d'aide et que de plus, il contient des requêtes portant d'une part sur le contrôle de l'application et d'autre part des phrases de 'clavardage'. Ce corpus fournit une base saine pour la conception d'un analyseur syntactico-sémantique de requêtes en langage naturel, utilisant un jeu de classes (keys) sémantiques, un jeu de règles d'analyse et un jeu de règles de transformation. En entrée, les requêtes sont exprimées dans un langage formel (DAFT) pour lequel nous proposons une syntaxe et une sémantique. L'analyseur est alors évalué en comparant une annotation manuelle avec les requêtes produites automatiquement et nous étudions l'usage de techniques d'apprentissage supervisé afin d'identifier les classes d'activités conversationnelles. La méthodologie employée est validée via l'intégration d'un ACA dans une application Web existante , dédiée au prototypage collectif de la musique sur Internet. Enfin, nous décrivons l'architecture requise pour implémenter un agent rationnel qui a pour rôle de définir les réactions aux requêtes formelles des usagers, exprimées en DAFT ainsi que le modèle de l'application assistée, mettant ainsi en lumière le besoin d'un modèle cognitif.

Les agents virtuels conversationnels ayant un comportement social reposent souvent sur au moins deux disciplines différentes : l’informatique et la psychologie. Dans la plupart des cas, les théories psychologiques sont converties en un modèle informatique afin de permettre aux agents d’adopter des comportements crédibles. Nos travaux de thèse se positionnent au croisement de ces deux champs disciplinaires. Notre objectif est de renforcer la crédibilité des agents conversationnels. Nous nous intéressons aux agents conversationnels orientés tâche, qui sont utilisés dans un contexte professionnel pour produire des réponses à partir d’une base de connaissances métier. Nous proposons un modèle affectif pour ces agents qui s’inspire des mécanismes affectifs chez l’humain. L’approche que nous avons choisie de mettre en œuvre dans notre modèle s’appuie sur la théorie des Tendances à l’Action en psychologie. Nous avons proposé un modèle des émotions en utilisant un formalisme inspiré de la logique BDI pour représenter les croyances et les buts de l’agent. Ce modèle a été implémenté dans une architecture d’agent conversationnel développée au sein de l’entreprise DAVI. Afin de confirmer la pertinence de notre approche, nous avons réalisé plusieurs études expérimentales. La première porte sur l’évaluation d’expressions verbales de la tendance à l’action. La deuxième porte sur l’impact des différentes stratégies de régulation possibles sur la perception de l’agent par l’utilisateur. Enfin, la troisième étude porte sur l’évaluation des agents affectifs en interaction avec des participants. Nous montrons que le processus de régulation que nous avons implémenté permet d’augmenter la crédibilité et le professionnalisme perçu des agents, et plus généralement qu’ils améliorent l’interaction. Nos résultats mettent ainsi en avant la nécessité de prendre en considération les deux mécanismes émotionnels complémentaires : la génération et la régulation des réponses émotionnelles. Ils ouvrent des perspectives sur les différentes manières de gérer les émotions et leur impact sur la perception de l’agent. / Conversational virtual agents with social behavior are often based on at least two different disciplines : computer science and psychology. In most cases, psychological findings are converted into computational mechanisms in order to make agents look and behave in a believable manner. In this work, we aim at increasing conversational agents’ belivielibity and making human-agent interaction more natural by modelling emotions. More precisely, we are interested in task-oriented conversational agents, which are used as a custumer-relationship channel to respond to users request. We propose an affective model of emotional responses’ generation and control during a task-oriented interaction. Our proposed model is based, on one hand, on the theory of Action Tendencies (AT) in psychology to generate emotional responses during the interaction. On the other hand, the emotional control mechanism is inspired from social emotion regulation in empirical psychology. Both mechanisms use agent’s goals, beliefs and ideals. This model has been implemented in an agent architecture endowed with a natural language processing engine developed by the company DAVI. In order to confirm the relevance of our approach, we realized several experimental studies. The first was about validating verbal expressions of action tendency in a human-agent dialogue. In the second, we studied the impact of different emotional regulation strategies on the agent perception by the user. This study allowed us to design a social regulation algorithm based on theoretical and empirical findings. Finally, the third study focuses on the evaluation of emotional agents in real-time interactions. Our results show that the regulation process contributes in increasing the credibility and perceived competence of agents as well as in improving the interaction. Our results highlight the need to take into consideration of the two complementary emotional mechanisms : the generation and regulation of emotional responses. They open perspectives on different ways of managing emotions and their impact on the perception of the agent.

Les Agents Conversationnels Animés (ACA) sont des personnages virtuels interactifs et expressifs, dont l'aspect est très souvent " humain ", exploitant différentes modalités telles que la face, le langage, les gestes, le regard ou encore la prosodie de la voix. Le but est qu'ils s'expriment en langage naturel et puissent dialoguer avec des interlocuteurs humains. Pour développer un ACA, il faut d'abord comprendre que des aspects tels que personnalité, les émotions et leur apparence sont extrêmement importants. Le travail qui est présenté dans cette thèse a pour objectif d'augmenter l'acceptabilité et la crédibilité des agents au moyen de la personnalité, considérée comme une notion centrale à l'interaction ACA-humain. On propose un modèle qui dote l'ACA de facettes de personnalité et de buts de communication " cachés " et qui module ainsi ses actions conversationnelles. Ce travail présente également une application de jeu de type "puzzle", intégrant un ACA doté de facettes de personnalité et de buts " cachés ", qui a servi de support à plusieurs expérimentations et à l'évaluation du modèle proposé.

Cette thèse s'inscrit dans le cadre de la constitution de communautés mixtes rassemblant des agents naturels (humains) et des agents artificiels. Dans cet objectif, la thèse présentée traite des interactions pouvant exister entre ces types d'agents lorsqu'ils sont mis en présence au sein d'une communauté virtuelle. Les modèles d'agent et d'interaction proposés reposent sur l'hypothèse que chaque message est porteur d'un potentiel de sens -négociable- qu'il est nécessaire d'interpréter et non pas porteur d'un sens -unique et précis- qu'il suffit de décoder. Ceci implique les deux points centraux suivants : l'enrichissement contextuel du message et le focus conversationnel. Le premier point, l'enrichissement contextuel, associe un message avec son contexte de façon à permettre l'interprétation de ce message plutôt qu'un simple décodage comme cela est le cas dans les applications informatiques classiques. De manière duale, un processus d'expression remplace l'encodage. Le deuxième point, le focus conversationnel, représente l'objet de la discussion, lui aussi négociable et construit de manière collective par l'ensemble des interactants, leurs différentes interventions entraînant l'émergence du dialogue. Un agent conversationnel dédié à la recommandation de films, dans le cadre d'une boutique virtuelle 3D, constitue le cadre technologique et applicatif de la thèse défendue qui se conclut sur l'analyse de plusieurs dialogues entre cet agent et un client humain.

L'interaction sociale en univers virtuel ouvre de nouveaux horizons dans le domaine des technologies de l'information et en particulier de l'usage des jeux vidéo à des fins professionnelles (" serious game "). En introduisant la possibilité de gérer avec un certain niveau de réalisme des interactions sociales et émotionnelles entre les agents conversationnels animés (ACA) représentant des acteurs humains, cette approche permet d'envisager de nombreuses applications professionnelles qui jusqu'alors ne pouvaient être envisagées que dans le cadre domaine de l'interaction homme-homme. La difficulté principale de cette approche est de produire une dynamique des interactions humaines qui ait un sens dans le cadre des taches et des actions qui doivent être accomplies par les acteurs. Afin d'ancrer théoriquement cette question, nous avons fait référence aux approches de la cognition située (afin de prendre en compte le rôle médiateur des objets de l'environnement) et aux approches représentationnelles pour la production des actes de langage. Le contexte applicatif de ce travail de recherche concerne la rééducation de patients cérébro-lésés. Dans un premier temps, nous nous sommes intéressés à la description de la dynamique des interactions visuelles, gestuelles, verbales entre un patient et un véritable thérapeute. Cette étude nous a permis de catégoriser les différentes phases de dialogue et d'élaborer un modèle de la dynamique de l'interaction prenant en compte la personnalité des acteurs, leurs intentions, leurs comportements gestuels et verbal. A partir de ce modèle, nous avons élaboré une architecture informatique générique qui s'articule autour d'un modèle comportemental et d'un modèle kinésique. Le modèle comportemental sélectionne les actes de langage et l'attitude du personnage (empathique, neutre, etc.). Le modèle kinésique gère les expressions faciales, corporelles et gestuelles résultant du modèle comportemental. D'un point de vue théorique, nous nous sommes intéressés à la notion de présence afin d'identifier quelle était la nature des couplages pertinents permettant de produire un sentiment de présence sociale (sentiment pour les acteurs humains qui animent leurs avatars de vivre une interaction sociale non médiatisée par les éléments du dispositif technique). Enfin, le dispositif a été utilisé dans le cadre d'un programme de recherche sur le concept de neurone miroir. L'hypothèse étant que la présentation au patient d'une image virtuelle de son membre handicapé lui permettrait de mieux récupérer. Des tests IRMf associés à chaque expérience devrait permettait de confirmer ou d'infirmer le rôle de ces neurones miroir dans le processus de récupération.

Les Agents Conversationnels Animés (ACA) sont des personnages virtuels interactifs et expressifs, dont l'aspect est très souvent « humain », exploitant différentes modalités telles que la face, le langage, les gestes, le regard ou encore la prosodie de la voix. Le but est qu'ils s'expriment en langage naturel et puissent dialoguer avec des interlocuteurs humains. Pour développer un ACA, il faut d'abord comprendre que des aspects tels que personnalité, les émotions et leur apparence sont extrêmement importants. Le travail qui est présenté dans cette thèse a pour objectif d'augmenter l'acceptabilité et la crédibilité des agents au moyen de la personnalité, considérée comme une notion centrale à l'interaction ACA-humain. On propose un modèle qui dote l'ACA de facettes de personnalité et de buts de communication « cachés » et qui module ainsi ses actions conversationnelles. Ce travail présente également une application de jeu de type “puzzle”, intégrant un ACA doté de facettes de personnalité et de buts « cachés », qui a servi de support à plusieurs expérimentations et à l'évaluation du modèle proposé. / Embodied Conversational Agents (ECAs) are intelligent software entities with an embodiment used to communicate with users, using natural language. Their purpose is to exhibit the same properties as humans in face-to-face conversation, including the ability to produce and respond to verbal and nonverbal communication. Researchers in the field of ECAs try to create agents that can be more natural, believable and easy to use. Designing an ECA requires understanding that manner, personality, emotion, and appearance are very important issues to be considered. In this thesis, we are interested in increasing believability of ECAs by placing personality at the heart of the human-agent verbal interaction. We propose a model relating personality facets and hidden communication goals that can influence ECA behaviors. Moreover, we apply our model in agents that interact in a puzzle game application. We develop five distinct personality oriented agents using an expressive communication language and a plan-based BDI approach for modeling and managing dialogue according to our proposed model. In summary, we present and test an innovative approach to model mental aspects of ECAs trying to increase their believability and to enhance human-agent affective communication. With this research, we improve the understanding on how ECAs with expressive and affective characteristics can establish and maintain long-term human-agent relationships.