Indiana University-Purdue University Indianapolis (IUPUI) / Just as physical appearance affects persuasion and compliance in human communication, it may also bias the processing of information from avatars, computer-animated characters, and other computer interfaces with faces. Although the most persuasive of these interfaces are often the most humanlike, they incur the greatest risk of falling into the uncanny valley, the loss of empathy associated with eerily human characters. The uncanny valley could delay the acceptance of humanlike interfaces in everyday roles. To determine the extent to which the uncanny valley affects persuasion, two experiments were conducted online with undergraduates from Indiana University. The first experiment (N = 426) presented an ethical dilemma followed by the advice of an authority figure. The authority was manipulated in three ways: depiction (recorded or animated), motion quality (smooth or jerky), and recommendation (disclose or refrain from disclosing sensitive information). Of these, only the recommendation changed opinion about the dilemma, even though the animated depiction was eerier than the human depiction. These results indicate that compliance with an authority persists even when using a realistic computer-animated double. The second experiment (N = 311) assigned one of two different dilemmas in professional ethics involving the fate of a humanlike character. In addition to the dilemma, there were three manipulations of the character’s human realism: depiction (animated human or humanoid robot), voice (recorded or synthesized), and motion quality (smooth or jerky). In one dilemma, decreasing depiction realism or increasing voice realism increased eeriness. In the other dilemma, increasing depiction realism decreased perceived competence. However, in both dilemmas realism had no significant effect on whether to punish the character. Instead, the willingness to punish was predicted in both dilemmas by narratively characterized trustworthiness. Together, the experiments demonstrate both direct and indirect effects of narratives on responses to humanlike interfaces. The effects of human realism are inconsistent across different interactions, and the effects of the uncanny valley may be suppressed through narrative characterization.

Curtin Universitys Embodied Conversational Agents (ECA) combine an MPEG-4 compliant Facial Animation Engine (FAE), a Text To Emotional Speech Synthesiser (TTES), and a multi-modal Dialogue Manager (DM), that accesses a Knowledge Base (KB) and outputs Virtual Human Markup Language (VHML) text which drives the TTES and FAE. A user enters a question and an animated ECA responds with a believable and affective voice and actions. However, this response to the user is normally marked up in VHML by the KB developer to produce the required facial gestures and emotional display. A real person does not react by fixed rules but on personality, beliefs, previous experiences, and training. This thesis details the design, implementation and pilot study evaluation of an Affective Personality Model for an ECA. The thesis discusses the Email Agent system that informs a user when they have email. The system, built in Curtins ECA environment, has personality traits of Friendliness, Extraversion and Neuroticism. A small group of participants evaluated the Email Agent system to determine the effectiveness of the implemented personality system. An analysis of the qualitative and quantitative results from questionnaires is presented.

Les Agents Conversationnels Animés (ACA) sont des personnages virtuels interactifs et expressifs, dont l'aspect est très souvent « humain », exploitant différentes modalités telles que la face, le langage, les gestes, le regard ou encore la prosodie de la voix. Le but est qu'ils s'expriment en langage naturel et puissent dialoguer avec des interlocuteurs humains. Pour développer un ACA, il faut d'abord comprendre que des aspects tels que personnalité, les émotions et leur apparence sont extrêmement importants. Le travail qui est présenté dans cette thèse a pour objectif d'augmenter l'acceptabilité et la crédibilité des agents au moyen de la personnalité, considérée comme une notion centrale à l'interaction ACA-humain. On propose un modèle qui dote l'ACA de facettes de personnalité et de buts de communication « cachés » et qui module ainsi ses actions conversationnelles. Ce travail présente également une application de jeu de type “puzzle”, intégrant un ACA doté de facettes de personnalité et de buts « cachés », qui a servi de support à plusieurs expérimentations et à l'évaluation du modèle proposé. / Embodied Conversational Agents (ECAs) are intelligent software entities with an embodiment used to communicate with users, using natural language. Their purpose is to exhibit the same properties as humans in face-to-face conversation, including the ability to produce and respond to verbal and nonverbal communication. Researchers in the field of ECAs try to create agents that can be more natural, believable and easy to use. Designing an ECA requires understanding that manner, personality, emotion, and appearance are very important issues to be considered. In this thesis, we are interested in increasing believability of ECAs by placing personality at the heart of the human-agent verbal interaction. We propose a model relating personality facets and hidden communication goals that can influence ECA behaviors. Moreover, we apply our model in agents that interact in a puzzle game application. We develop five distinct personality oriented agents using an expressive communication language and a plan-based BDI approach for modeling and managing dialogue according to our proposed model. In summary, we present and test an innovative approach to model mental aspects of ECAs trying to increase their believability and to enhance human-agent affective communication. With this research, we improve the understanding on how ECAs with expressive and affective characteristics can establish and maintain long-term human-agent relationships.

La réalité virtuelle joue un rôle majeur dans le développement de nouvelles technologies de l’éducation, et permet de développer des environnements virtuels pour l’apprentissage, dans lesquels, des agents virtuels intelligents jouent le rôle de tuteur. Ces agents sont censés aider les utilisateurs humains à apprendre et appliquer des procédures ayant des objectifs d’apprentissage prédéfini dans différents domaines. Nous travaillons sur la construction d’un système temps-réel capable d’entamer une interaction naturelle avec un utilisateur dans un Environnement d’Apprentissage Virtuel (EAV). Afin d’implémenter ce modèle, nous proposons d’utiliser MASCARET (Multi-Agent System for Collaborative, Adaptive & Realistic Environments for Training) comme modèle d’Environnement Virtuel Intelligent (EVI) afin de représenter la base de connaissances des agents, et de modéliser la sémantique de l’environnement virtuel et des activités des utilisateurs. Afin de formaliser l’intention des agents, nous implémentons un module cognitif dans MASCARET inspiré par l’architecture BDI (Belief-Desire-Intention) qui nous permet de générer des intentions de haut-niveau pour les agents. Dans notre modèle, ces agents sont représentés par des Agents Conversationnels Animés (ACA), qui sont basés sur la plateforme SAIBA (Situation, Agent, Intention, Behavior, Animation). Les agents conversationnels de l’environnement ont des intentions communicatives qui sont transmises à l’utilisateur via des canaux de communication naturels, notamment les actes communicatifs et les comportements verbaux et non-verbaux. Afin d’évaluer notre modèle, nous l’implémentons dans un scénario pédagogique concret pour l’apprentissage des procédures d’analyse de sang dans un laboratoire biomédical. Nous utilisons cette application afin de réaliser une expérimentation et une étude pour valider les propositions de notre modèle. L’hypothèse de notre étude est de supposer que la présence d’un ACA dans un Environnement Virtuel (EV) améliore la performance du processus d’apprentissage (ou qu’au moins, ça ne le dégrade pas) dans le contexte de l’apprentissage d’une procédure spécifique. La performance de l’utilisateur est représentée par le temps requis pour l’exécution de la procédure, le nombre d’erreurs commises et le nombre de demande d’assistance. Nous analysons les résultats de cette évaluation, ce qui confirme partiellement l’hypothèse de l’expérience et affirme que la présence de l’ACA dans l’EV ne dégrade pas la performance de l’apprenant dans le contexte de l’apprentissage d’une procédure. / Virtual Reality plays a major role in developing new educational methodologies, and allows to develop virtual environments for learning where intelligent virtual agents play the role of tutors. These agents are expected to help human users to learn and apply domain-specific procedures with predefined learning outcomes. We work on building a real-time system able to sustain natural interaction with the user in a Virtual Learning Environment (VLE). To implement this model, we propose to use the Multi-Agent System for Collaborative, Adaptive & Realistic Environments for Training (MASCARET) as an Intelligent Virtual Environment (IVE) model that provides the knowledge base to the agents and model the semantic of the virtual environment and user’s activities. To formalize the intention of the agents, we implement a cognitive module within MASCARET inspired by BDI (Belief-Desire-Intention) architecture that permits us to generate high-level intentions for the agents. Furthermore, we integrate Embodied Conversational Agents (ECA), which are based on the SAIBA (Situation, Agent, Intention, Behavior, Animation) framework. The embodied agents of the environment have communicative intentions that are transmitted to the user through natural communication channels, namely the verbal and non-verbal communicative acts and behaviors of the ECAs. To evaluate our model, we implement it in a concrete pedagogical scenario for learning blood analysis procedures in a biomedical laboratory. We use this application to settle an experiment to validate the propositions of our model. The hypothesis of this experiment is to assume that the presence of anECA in a Virtual Environment (VE) enhances the learning performance (or at least does not degrade it) in the context of a learning procedure. The performance is represented by the time of execution, the number of committed errors and the number of requests for assistance. We analyze the results of this evaluation, which partially confirms the hypothesis of the experiment and assure that having an ECA in the VLE does not degrade the performance of the learner in the context of a learning procedure.

Les besoins croissants en formation et en entrainement au travail d’équipe ont motivé l’utilisationd’Environnements de réalité Virtuelle Collaboratifs de Formation (EVCF) qui permettent aux utilisateurs de travailler avec des agents autonomes pour réaliser une activité collective. L’idée directrice est que la coordination efficace entre les membres d’une équipe améliore la productivité et réduit les erreurs individuelles et collectives. Cette thèse traite de la mise en place et du maintien de la coordination au sein d’une équipe de travail composée d’agents et d’humains interagissant dans un EVCF.L’objectif de ces recherches est de doter les agents virtuels de comportements conversationnels permettant la coopération entre agents et avec l’utilisateur dans le but de réaliser un but commun.Nous proposons une architecture d’agents Collaboratifs et Conversationnels, dérivée de l’architecture Belief-Desire-Intention (C2-BDI), qui gère uniformément les comportements délibératifs et conversationnels comme deux comportements dirigés vers les buts de l’activité collective. Nous proposons un modèle intégré de la coordination fondé sur l’approche des modèles mentaux partagés, afin d’établir la coordination au sein de l’équipe de travail composée d’humains et d’agents. Nous soutenons que les interactions en langage naturel entre les membres d’une équipe modifient les modèles mentaux individuels et partagés des participants. Enfin, nous décrivons comment les agents mettent en place et maintiennent la coordination au sein de l’équipe par le biais de conversations en langage naturel. Afin d’établir un couplage fort entre la prise de décision et le comportement conversationnel collaboratif d’un agent, nous proposons tout d’abord une approche fondée sur la modélisation sémantique des activités humaines et de l’environnement virtuel via le modèle mascaret puis, dans un second temps, une modélisation du contexte basée sur l’approche Information State. Ces représentations permettent de traiter de manière unifiée les connaissances sémantiques des agents sur l’activité collective et sur l’environnement virtuel ainsi que des informations qu’ils échangent lors de dialogues.Ces informations sont utilisées par les agents pour la génération et la compréhension du langage naturel multipartite. L’approche Information State nous permet de doter les agents C2BDI de capacités communicatives leur permettant de s’engager pro-activement dans des interactions en langue naturelle en vue de coordonner efficacement leur activité avec les autres membres de l’équipe. De plus, nous définissons les protocoles conversationnels collaboratifs favorisant la coordination entre les membres de l’équipe. Enfin, nous proposons dans cette thèse un mécanisme de prise de décision s’inspirant de l’approche BDI qui lie les comportements de délibération et de conversation des agents. Nous avons mis en oeuvre notre architecture dans trois différents scénarios se déroulant dans des EVCF. Nous montrons que les comportements conversationnels collaboratifs multipartites des agents C2BDI facilitent la coordination effective de l’utilisateur avec les autres membres de l’équipe lors de la réalisation d’une tâche partagée. / Growing needs of educational and training requirements motivate the use of collaborative virtual environments for training (CVET) that allows human users to work together with autonomous agents to perform a collective activity. The vision is inspired by the fact that the effective coordination improves productivity, and reduces the individual and team errors. This work addresses the issue of establishing and maintaining the coordination in a mixed human-agent teamwork in the context of CVET. The objective of this research is to provide human-like conversational behavior of the virtual agents in order to cooperate with a user and other agents to achieve shared goals.We propose a belief-desire-intention (BDI) like Collaborative Conversational agent architecture(C2BDI) that treats both deliberative and conversational behaviors uniformly as guided by the goal-directed shared activity. We put forward an integrated model of coordination which is founded on the shared mental model based approaches to establish coordination in a human-agent teamwork. We argue that natural language interaction between team members can affect and modify the individual and shared mental models of the participants. Finally, we describe the cultivation of coordination in a mixed human-agent teamwork through natural language conversation. In order to establish the strong coupling between decision making and the collaborative conversational behavior of the agent, we propose first, the Mascaret based semantic modeling of human activities and the VE, and second, the information state based context model. This representation allows the treatment of semantic knowledge of the collaborative activity and virtual environment, and information exchanged during the dialogue conversation in a unified manner. This knowledge can be used by the agent for multiparty natural language processing (understanding and generation) in the context of the CEVT. To endow the communicative capabilities to C2BDI agent, we put forward the information state based approach for the natural language processing of the utterances. We define collaborative conversation protocols that ensure the coordination between team members. Finally, in this thesis, we propose a decision making mechanism, which is inspired by the BDI based approach and provides the interleaving between deliberation and conversational behavior of the agent. We have applied the proposed architecture to three different scenarios in the CVET. We found that the multiparty collaborative conversational behavior of C2BDI agent is more constructive and facilitates the user to effectively coordinate with other team members to perform a shared task.

Turn-taking is a fundamental process that governs social interaction. When humans interact, they naturally take initiative and relinquish control to each other using verbal and nonverbal behavior in a coordinated manner. In contrast, existing approaches for controlling a robot's social behavior do not explicitly model turn-taking, resulting in interaction breakdowns that confuse or frustrate the human and detract from the dyad's cooperative goals. They also lack generality, relying on scripted behavior control that must be designed for each new domain. This thesis seeks to enable robots to cooperate fluently with humans by automatically controlling the timing of multimodal turn-taking. Based on our empirical studies of interaction phenomena, we develop a computational turn-taking model that accounts for multimodal information flow and resource usage in interaction. This model is implemented within a novel behavior generation architecture called CADENCE, the Control Architecture for the Dynamics of Embodied Natural Coordination and Engagement, that controls a robot's speech, gesture, gaze, and manipulation. CADENCE controls turn-taking using a timed Petri net (TPN) representation that integrates resource exchange, interruptible modality execution, and modeling of the human user. We demonstrate progressive developments of CADENCE through multiple domains of autonomous interaction encompassing situated dialogue and collaborative manipulation. We also iteratively evaluate improvements in the system using quantitative metrics of task success, fluency, and balance of control.