L'objectif de cette thèse est de représenter les émotions spontanées et les signes multimodaux associés pour contribuer à la conception des futurs systèmes affectifs interactifs. Les prototypes actuels sont généralement limités à la détection et à la génération de quelques émotions simples et se fondent sur des données audio ou vidéo jouées par des acteurs et récoltées en laboratoire. Afin de pouvoir modéliser les relations complexes entre les émotions spontanées et leurs expressions dans différentes modalités, une approche exploratoire est nécessaire. L'approche exploratoire que nous avons choisie dans cette thèse pour l'étude de ces émotions spontanées consiste à collecter et annoter un corpus vidéo d'interviews télévisées. Ce type de corpus comporte des émotions plus complexes que les 6 émotions de base (colère, peur, joie, tristesse, surprise, dégoût). On observe en effet dans les comportements émotionnels spontanés des superpositions, des masquages, des conflits entre émotions positives et négatives. Nous rapportons plusieurs expérimentations ayant permis la définition de plusieurs niveaux de représentation des émotions et des paramètres comportementaux multimodaux apportant des informations pertinentes pour la perception de ces émotions complexes spontanées. En perspective, les outils développés durant cette thèse (schémas d'annotation, programmes de mesures, protocoles d'annotation) pourront être utilisés ultérieurement pour concevoir des modèles utilisables par des systèmes interactifs affectifs capables de détecter/synthétiser des expressions multimodales d'émotions spontanées.

À travers une séries d'études de cas éclairées par l'apport de l'éthologie, l'histoire de l'art, la psychologie cognitive et les neurosciences, cette thèse tente de répondre au paradoxe apparent du cinéma d'animation qui rend les personnages stylisés et caricaturaux sont plus à même de faire oublier leurs artificialité que les personnages visant au plus grand réalisme. / Through a series of case studies, supported by reasearch in art history, ethology, cognitive psychology and neuroscience, this dissertation aims at explaining the strange animated film paradox that makes stylised and caricatural characters more efficient than characters tending towards strong realism at overcoming their artificialit / Doctorat en Information et communication / info:eu-repo/semantics/nonPublished

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

.

Les Agents Conversationnels Animés (ACA) sont des personnages virtuels interactifs et expressifs, dont l'aspect est très souvent " humain ", exploitant différentes modalités telles que la face, le langage, les gestes, le regard ou encore la prosodie de la voix. Le but est qu'ils s'expriment en langage naturel et puissent dialoguer avec des interlocuteurs humains. Pour développer un ACA, il faut d'abord comprendre que des aspects tels que personnalité, les émotions et leur apparence sont extrêmement importants. Le travail qui est présenté dans cette thèse a pour objectif d'augmenter l'acceptabilité et la crédibilité des agents au moyen de la personnalité, considérée comme une notion centrale à l'interaction ACA-humain. On propose un modèle qui dote l'ACA de facettes de personnalité et de buts de communication " cachés " et qui module ainsi ses actions conversationnelles. Ce travail présente également une application de jeu de type "puzzle", intégrant un ACA doté de facettes de personnalité et de buts " cachés ", qui a servi de support à plusieurs expérimentations et à l'évaluation du modèle proposé.

L'interaction sociale en univers virtuel ouvre de nouveaux horizons dans le domaine des technologies de l'information et en particulier de l'usage des jeux vidéo à des fins professionnelles (" serious game "). En introduisant la possibilité de gérer avec un certain niveau de réalisme des interactions sociales et émotionnelles entre les agents conversationnels animés (ACA) représentant des acteurs humains, cette approche permet d'envisager de nombreuses applications professionnelles qui jusqu'alors ne pouvaient être envisagées que dans le cadre domaine de l'interaction homme-homme. La difficulté principale de cette approche est de produire une dynamique des interactions humaines qui ait un sens dans le cadre des taches et des actions qui doivent être accomplies par les acteurs. Afin d'ancrer théoriquement cette question, nous avons fait référence aux approches de la cognition située (afin de prendre en compte le rôle médiateur des objets de l'environnement) et aux approches représentationnelles pour la production des actes de langage. Le contexte applicatif de ce travail de recherche concerne la rééducation de patients cérébro-lésés. Dans un premier temps, nous nous sommes intéressés à la description de la dynamique des interactions visuelles, gestuelles, verbales entre un patient et un véritable thérapeute. Cette étude nous a permis de catégoriser les différentes phases de dialogue et d'élaborer un modèle de la dynamique de l'interaction prenant en compte la personnalité des acteurs, leurs intentions, leurs comportements gestuels et verbal. A partir de ce modèle, nous avons élaboré une architecture informatique générique qui s'articule autour d'un modèle comportemental et d'un modèle kinésique. Le modèle comportemental sélectionne les actes de langage et l'attitude du personnage (empathique, neutre, etc.). Le modèle kinésique gère les expressions faciales, corporelles et gestuelles résultant du modèle comportemental. D'un point de vue théorique, nous nous sommes intéressés à la notion de présence afin d'identifier quelle était la nature des couplages pertinents permettant de produire un sentiment de présence sociale (sentiment pour les acteurs humains qui animent leurs avatars de vivre une interaction sociale non médiatisée par les éléments du dispositif technique). Enfin, le dispositif a été utilisé dans le cadre d'un programme de recherche sur le concept de neurone miroir. L'hypothèse étant que la présentation au patient d'une image virtuelle de son membre handicapé lui permettrait de mieux récupérer. Des tests IRMf associés à chaque expérience devrait permettait de confirmer ou d'infirmer le rôle de ces neurones miroir dans le processus de récupération.

Les Agents Conversationnels Animés (ACA) sont des personnages virtuels interactifs et expressifs, dont l'aspect est très souvent « humain », exploitant différentes modalités telles que la face, le langage, les gestes, le regard ou encore la prosodie de la voix. Le but est qu'ils s'expriment en langage naturel et puissent dialoguer avec des interlocuteurs humains. Pour développer un ACA, il faut d'abord comprendre que des aspects tels que personnalité, les émotions et leur apparence sont extrêmement importants. Le travail qui est présenté dans cette thèse a pour objectif d'augmenter l'acceptabilité et la crédibilité des agents au moyen de la personnalité, considérée comme une notion centrale à l'interaction ACA-humain. On propose un modèle qui dote l'ACA de facettes de personnalité et de buts de communication « cachés » et qui module ainsi ses actions conversationnelles. Ce travail présente également une application de jeu de type “puzzle”, intégrant un ACA doté de facettes de personnalité et de buts « cachés », qui a servi de support à plusieurs expérimentations et à l'évaluation du modèle proposé. / Embodied Conversational Agents (ECAs) are intelligent software entities with an embodiment used to communicate with users, using natural language. Their purpose is to exhibit the same properties as humans in face-to-face conversation, including the ability to produce and respond to verbal and nonverbal communication. Researchers in the field of ECAs try to create agents that can be more natural, believable and easy to use. Designing an ECA requires understanding that manner, personality, emotion, and appearance are very important issues to be considered. In this thesis, we are interested in increasing believability of ECAs by placing personality at the heart of the human-agent verbal interaction. We propose a model relating personality facets and hidden communication goals that can influence ECA behaviors. Moreover, we apply our model in agents that interact in a puzzle game application. We develop five distinct personality oriented agents using an expressive communication language and a plan-based BDI approach for modeling and managing dialogue according to our proposed model. In summary, we present and test an innovative approach to model mental aspects of ECAs trying to increase their believability and to enhance human-agent affective communication. With this research, we improve the understanding on how ECAs with expressive and affective characteristics can establish and maintain long-term human-agent relationships.

La réalité virtuelle joue un rôle majeur dans le développement de nouvelles technologies de l’éducation, et permet de développer des environnements virtuels pour l’apprentissage, dans lesquels, des agents virtuels intelligents jouent le rôle de tuteur. Ces agents sont censés aider les utilisateurs humains à apprendre et appliquer des procédures ayant des objectifs d’apprentissage prédéfini dans différents domaines. Nous travaillons sur la construction d’un système temps-réel capable d’entamer une interaction naturelle avec un utilisateur dans un Environnement d’Apprentissage Virtuel (EAV). Afin d’implémenter ce modèle, nous proposons d’utiliser MASCARET (Multi-Agent System for Collaborative, Adaptive & Realistic Environments for Training) comme modèle d’Environnement Virtuel Intelligent (EVI) afin de représenter la base de connaissances des agents, et de modéliser la sémantique de l’environnement virtuel et des activités des utilisateurs. Afin de formaliser l’intention des agents, nous implémentons un module cognitif dans MASCARET inspiré par l’architecture BDI (Belief-Desire-Intention) qui nous permet de générer des intentions de haut-niveau pour les agents. Dans notre modèle, ces agents sont représentés par des Agents Conversationnels Animés (ACA), qui sont basés sur la plateforme SAIBA (Situation, Agent, Intention, Behavior, Animation). Les agents conversationnels de l’environnement ont des intentions communicatives qui sont transmises à l’utilisateur via des canaux de communication naturels, notamment les actes communicatifs et les comportements verbaux et non-verbaux. Afin d’évaluer notre modèle, nous l’implémentons dans un scénario pédagogique concret pour l’apprentissage des procédures d’analyse de sang dans un laboratoire biomédical. Nous utilisons cette application afin de réaliser une expérimentation et une étude pour valider les propositions de notre modèle. L’hypothèse de notre étude est de supposer que la présence d’un ACA dans un Environnement Virtuel (EV) améliore la performance du processus d’apprentissage (ou qu’au moins, ça ne le dégrade pas) dans le contexte de l’apprentissage d’une procédure spécifique. La performance de l’utilisateur est représentée par le temps requis pour l’exécution de la procédure, le nombre d’erreurs commises et le nombre de demande d’assistance. Nous analysons les résultats de cette évaluation, ce qui confirme partiellement l’hypothèse de l’expérience et affirme que la présence de l’ACA dans l’EV ne dégrade pas la performance de l’apprenant dans le contexte de l’apprentissage d’une procédure. / Virtual Reality plays a major role in developing new educational methodologies, and allows to develop virtual environments for learning where intelligent virtual agents play the role of tutors. These agents are expected to help human users to learn and apply domain-specific procedures with predefined learning outcomes. We work on building a real-time system able to sustain natural interaction with the user in a Virtual Learning Environment (VLE). To implement this model, we propose to use the Multi-Agent System for Collaborative, Adaptive & Realistic Environments for Training (MASCARET) as an Intelligent Virtual Environment (IVE) model that provides the knowledge base to the agents and model the semantic of the virtual environment and user’s activities. To formalize the intention of the agents, we implement a cognitive module within MASCARET inspired by BDI (Belief-Desire-Intention) architecture that permits us to generate high-level intentions for the agents. Furthermore, we integrate Embodied Conversational Agents (ECA), which are based on the SAIBA (Situation, Agent, Intention, Behavior, Animation) framework. The embodied agents of the environment have communicative intentions that are transmitted to the user through natural communication channels, namely the verbal and non-verbal communicative acts and behaviors of the ECAs. To evaluate our model, we implement it in a concrete pedagogical scenario for learning blood analysis procedures in a biomedical laboratory. We use this application to settle an experiment to validate the propositions of our model. The hypothesis of this experiment is to assume that the presence of anECA in a Virtual Environment (VE) enhances the learning performance (or at least does not degrade it) in the context of a learning procedure. The performance is represented by the time of execution, the number of committed errors and the number of requests for assistance. We analyze the results of this evaluation, which partially confirms the hypothesis of the experiment and assure that having an ECA in the VLE does not degrade the performance of the learner in the context of a learning procedure.

Nous présentons dans cette thèse un modèle pour la coordination de la parole dans des interactions dyadiques utilisateur-agent. Selon une approche courante, coordonner la parole reviendrait à éviter les recouvrements de parole et à minimiser les moments de silence entre deux tours, ceci pour rendre plus fluide l’interaction avec l’agent et améliorer l’expérience de l’utilisateur en interaction dialogique avec l’agent. Les interactions humaines montrent néanmoins une coordination plus complexe avec des recouvrements de parole compétitifs ou non compétitifs et des moments de silences longs. Selon notre approche, c’est en permettant cette diversité des situations que nous verrons émerger, entre l’utilisateur et l’agent, une interaction plus fluide et plus crédible, améliorant l’expérience de l’utilisateur avec l’agent. Les échanges de paroles sont néanmoins, par nature, complexes, la coordination se faisant par l’interaction entre locuteur et auditeur plus que par un participant en particulier. Pour capturer cette complexité, nous avons élaboré un modèle mettant l’accent sur une coordination de la parole basée sur un couplage sensorimoteur continu. Sur la base de ce couplage sensorimoteur, le comportement de l’agent n’est pas entièrement contrôlé par ce dernier, mais est émergent de l’interaction entre les participants. Nous montrons la capacité de notre modèle à faire émerger les différentes situations liées à la coordination de la parole humaine à la fois dans une interaction entre deux agents et dans une interaction utilisateur-agent. / In this thesis, we present a model for the coordination of speaking turns in dyadic interactions between users and agents. According to a common view, to coordinate turns means avoiding overlaps and reduces silences between turns. By optimizing turn transitions between users and agents, the user’s experience is expected to be improved. However, observations of human conversations show a more complex coordination of speaking turns between users and agents: awkward silences and overlaps, competitive or not, are common. In order to improve the credibility and the naturalness of the interaction, we must observe the same variability of situations in a user-agent interaction. Nevertheless, coordination of speaking turns is, by nature, complex, the coordination is managed by the interaction between participants more than controlled by one participant alone. To capture this complexity, we elaborated a model emphasizing the continuous sensory-motor coupling existing between the user and the agent. As a result of this sensory-motor coupling, the behavior of the agent is not entirely controlled by the agent but is an emergent property of the interaction between the user and the agent. We show the capacity of our model to make emerge the different situations linked to the coordination of speaking turns in interactions between two agents and between one user and one agent.

A la suite de nombreux travaux sur le genre en sociolinguistique, cette étude quantitative propose d’étudier le genre en s’intéressant à la formulation des requêtes des personnages dans les dessins animés des années 2000-2010. En effet, on retrouve bon nombre de recherches explicitant l’influence des dessins animés dans la socialisation des enfants à qui on demande d’acquérir les codes de leur société et d’apprendre à vivre avec les autres. Ainsi, les dessins animés sont en mesure de leur présenter des modèles de socialisation différents de ceux présents dans leur vie quotidienne. C’est pourquoi la réflexion de ce mémoire s’intéressera particulièrement aux stratégies de requête entre les personnages et tentera de faire le lien entre le genre des personnages-locuteurs mais aussi avec le rôle implicite de chaque locuteur au sein du groupe. La dynamique de groupe est un critère très important dans le choix du corpus de cette étude puisque nous essaierons de comprendre comment les personnages s’organisent entre eux au sein d’une dynamique sociale qui leur est propre à travers leurs différentes stratégies de requête. En s’intéressant à des dessins animés qui présentent justement des dynamiques sociales variées (groupe majoritairement féminin, majoritairement masculin et mixte), nous avons pour but de mettre en lumière les dynamiques propres à ces groupes respectifs, afin d’illustrer leurs différences et leurs similitudes. Pour ce faire, nous proposons d’élaborer une analyse synchronique et diachronique de ces dessins animés diffusés approximativement sur une même période, afin de mettre notre recherche en parallèle avec une évolution progressive de notre société. / Following many works about gender in sociolinguistics, this quantitative study proposes to study gender by focusing on the formulation of by male and female characters requests in cartoons from 2000-2010. Indeed, there is a good deal of research explaining the influence of cartoons in the socialization of children who are asked to acquire the codes of their society and learn to live with others. Thus, cartoons are able to present them socialization patterns, from those present in their daily life. This is why this dissertation will be particularly interested in query strategies between characters and will attempt to establish a link between the gender of the speaker characters but also with the implicit role of each speaker within the group. Group dynamics is a very important criterion in choosing the corpus for this study since we will try to understand how the characters organize themselves within their own social dynamics through their different query strategies. By focusing on cartoons that present varied social dynamics (predominantly female group, predominantly male and mixed), our goal is to highlight the dynamics specific to these respective groups, in order to illustrate their differences and their similarities. To do this, we propose to develop a synchronic and diachronic analysis of these cartoons broadcast over approximately the same period, in order to put our research in parallel with a progressive evolution of our society.