Les environnements virtuels permettent de représenter des personnes par des humains virtuels ou avatars. Le sentiment de présence virtuelle entre utilisateurs est renforcé lorsque l’avatar ressemble à la personne qu’il représente. L’avatar est alors classiquement un clone de l’utilisateur qui reproduit son apparence et sa voix. Toutefois, la possibilité de cloner l’expressivité des gestes d’une personne a reçu peu d’attention jusqu’ici. Expressivité gestuelle combine le style et l’humeur d’une personne. Des paramètres décrivant l’expressivité ont été proposés dans des travaux antérieurs pour animer les agents conversationnels. Dans ce travail, nous nous intéressons à l’expressivité des mouvements du poignet. Tout d’abord, nous proposons des algorithmes pour estimer trois paramètres d’expressivité à partir des trajectoires dans l’espace du poignet : la répétition, l’étendue spatiale et l’étendue temporelle. Puis, nous avons mené une étude perceptive sur la pertinence de l’expressivité des gestes pour reconnaître des personnes. Nous avons animé un agent virtuel en utilisant l’expressivité estimée de personnes réelles, et évalué si des utilisateurs peuvent reconnaître ces personnes à partir des animations. Nous avons constaté que des gestes répétitifs dans l’animation constituent une caractéristique discriminante pour reconnaître les personnes, tandis que l’absence de répétition est associée à des personnes qui répètent des gestes ou non. Plus important, nous avons trouvé que 75% ou plus des utilisateurs peuvent reconnaître une personne (parmi deux proposée) à partir d’animations virtuelles qui ne diffèrent que par leurs étendues spatiales et temporelles. L’expressivité gestuelle apparaît donc comme un nouvel indice pertinent pour le clonage d’une personne / Virtual environments allow human beings to be represented by virtual humans or avatars. Users can share a sense of virtual presence is the avatar looks like the real human it represents. This classically involves turning the avatar into a clone with the real human’s appearance and voice. However, the possibility of cloning the gesture expressivity of a real person has received little attention so far. Gesture expressivity combines the style and mood of a person. Expressivity parameters have been defined in earlier works for animating embodied conversational agents.In this work, we focus on expressivity in wrist motion. First, we propose algorithms to estimate three expressivity parameters from captured wrist 3D trajectories: repetition, spatial extent and temporal extent. Then, we conducted perceptual study through a user survey the relevance of expressivity for recognizing individual human. We have animated a virtual agent using the expressivity estimated from individual humans, and users have been asked whether they can recognize the individual human behind each animation. We found that, in case gestures are repeated in the animation, this is perceived by users as a discriminative feature to recognize humans, while the absence of repetition would be matched with any human, regardless whether they repeat gesture or not. More importantly, we found that 75 % or more of users could recognize the real human (out of two proposed) from an animated virtual avatar based only on the spatial and temporal extents. Consequently, gesture expressivity is a relevant clue for cloning. It can be used as another element in the development of a virtual clone that represents a person

Les Agents Conversationnels Animés sont des personnages virtuels dont la fonction principale est d'interagir avec l'utilisateur. Ils sont utilisés dans différents domaines tels que l'assistance personnelle, l'entrainement social ou les jeux vidéo et afin d'améliorer leur potentiel, il est possible de leur donner la capacité d'exprimer des comportements similaires à ceux des humains. Les utilisateurs, conscient d'interagir avec une machine, sont tout de même capable d'analyser et d'identifier des comportements sociaux à travers les signaux émis par les agents. La recherche en ACA s'est longtemps intéressée aux mécanismes de reproduction et de reconnaissance des émotions au sein de ces personnages virtuels et maintenant l'intérêt se porte sur la capacité d'exprimer différentes attitudes sociales. Ces attitudes reflètent un style comportemental et s'expriment à travers différentes modalités du corps comme les expressions faciales, les regards ou les gestes par exemple. Nous avons proposé un modèle permettant à un agent de produire différents comportements non-verbaux traduisant l'expression d'attitudes sociales dans une conversation. L'ensemble des comportements générés par notre modèle permettent à un groupe d'agents animés par celui-ci de simuler une conversation, sans tenir compte du contenu verbal. Deux évaluations du modèle ont été conduites, l'une sur Internet et l'autre dans un environnement de réalité virtuelle, afin de vérifier que les attitudes étaient bien reconnues. / Embodied Conversational Agents are virtual characters which main purpose is to interact with a human user. They are used in various domains such as personal assistance, social training or video games for instance. In order to improve their capabilities, it is possible to give them the ability to produce human-like behaviors. The users, even if they are aware that they interact with a machine, are still capable of analyzing and identifying social behaviors through the signals produced by these virtual characters. The research in Embodied Conversational Agents has focused for a long time on the reproduction and recognition of emotions by virtual characters and now the focus is on the ability to express different social attitudes. These attitudes show a behavioral style and are expressed through different modalities of the body, like the facial expressions, the gestures or the gazes for instance. We proposed a model that allows an agent to produce different nonverbal behaviors expressing different social attitudes in a conversation. The whole set of behaviors produced by our model allows a goup of agents animated by it to simulate a conversation, without any verbal content. Two evaluations of the model were conducted, one on the Internet and one in a Virtual Reality environment, to verify that the attitudes produced are well recognized

« Es-tu d’accord ? » En contexte numérique, cette question appelle un oui ou un non au traitement annoncé de nos données personnelles par une organisation; elle demande ainsi à l’utilisateur son consentement. Les agents conversationnels sont des systèmes de dialogue (ou bots) qui utilisent de nombreuses données personnelles pour parler avec des humains par interface textuelle (chatbot) ou vocale (assistant vocal, parfois appelé voicebot). Par une ethnographie au sein d’une start-up qui développe ce type d’agents, cette thèse explore comment le consentement se tisse dans les pratiques de design de cette organisation. Cette thèse se demande : que peut être une « bonne expérience » de consentement avec un agent conversationnel ? Elle s’ouvre par un chemin tracé au travers de littératures en design d’expérience conversationnelle et en éthique sur le consentement. Tandis qu’une bonne expérience conversationnelle est censée être fluide et agréable, celle du consentement demande des interruptions parfois inconfortables pour être suffisamment éclairé : comment ces deux versions de « bonne expérience » peuvent-elles être réunies sans que l’une ne blesse ou n’invalide l’autre ? Face aux nombreuses limites qui rendent le consentement numérique bien difficile à être valable, la tentation de le laisser de côté est palpable. Pourtant, son horizon éthique de respect vaut la peine d'en prendre soin. Par une perspective qui envisage le consentement comme un matter of caring, cette thèse développe ensuite un cadre théorique qui invite à prendre soin des situations de consentement. Il dote l'approche ventriloque, qui étudie la constitution de la réalité par la communication, d’une éthique du care : avec le concept de matter of caring, il s’agit de prendre soin de certaines préoccupations (matters of concern) pour améliorer des situations de consentement. En se faisant matter of caring, le consentement trouve une façon de n'être plus négligé comme une préoccupation qui ne parvient pas à compter, mais de participer à un changement dans les habitudes d'interaction. Cette participation au changement est également au cœur des pratiques ethnographiques qui constituent cette thèse : à partir de mon expérience comme participante active plutôt que de simple observatrice dans la startup mentionnée plus haut, j’invite à comprendre la pratique réflexive ethnographique par une approche relationnelle où l’ethnographe peut être activement engagée dans la constitution de l’organisation qu’elle étudie. C’est par cet engagement que s’est constitué le matériel de terrain que j’analyse tout au long de la thèse. Plus précisément, le dernier chapitre plonge dans mon terrain et ses tensions pour concevoir une bonne expérience de conversation et de consentement. En résistant à la tentation de laisser le consentement perdre de son importance, je montre que s’y accrocher comme un matter of caring amène à se concentrer sur les conditions dans lesquelles l’organisation demande le consentement : comment prévoit-on de traiter les informations personnelles et comment conçoit-on l’interaction par laquelle le bot demandera leur consentement à ses utilisateurs. Cette histoire n’est pas couronnée de succès mais dévoile plutôt une certaine vulnérabilité. Ainsi, cette thèse ne propose pas un modèle de consentement, ni des directives de design éthique d'un agent conversationnel. Elle s'attarde plutôt sur l'importance des conditions à permettre pour faire de la place aux interactions de consentement. Plutôt que de figer le consentement dans un état contraint de formalité, elle invite à penser le consentement comme une conversation, avec du respect et de l'épanouissement à l’horizon. / “Do you agree?” In the digital realm, this question calls for a yes or no answer to the processing of our personal data by an organization; that is, it asks for the user’s consent. Conversational agents are dialogue systems (or bots) that use many personal data to talk with humans through a textual interface (chatbot) or voice interface (voice assistant, sometimes called “voicebot”). Through an ethnography within a start-up that develops these kinds of agents, this doctoral dissertation explores the weaving of consent into this organization’s design practices. Thus, this dissertation asks: What does a “good experience” of consent with a conversational agent look like? It starts by reviewing the literature on design of conversational experiences and in the ethics of consent. While a good conversational experience is supposed to be smooth and enjoyable, the consent experience requires some interruptions to be sufficiently informed, which can be uncomfortable. So how can these two versions of a “good experience” be brought together without one hurting or invalidating the other? Faced with the many limitations for meaningful consent in a digital context, the temptation to put consent aside is palpable, yet its ethical horizon of respect is worth caring for. Then, with a perspective that views consent in terms of a matter of caring, this dissertation develops a theoretical framework that enables us to explore how people can care for consent situations. Centered on the concept of matter of caring, this framework enriches a ventriloquial approach to the study of the communicative constitution of reality with an ethics of care; it focuses attention on how certain matters of concern can be cared for in order to improve consent situations. By becoming a matter of caring, consent can no longer be neglected as a concern that fails to count; it rather participates in changing how human beings interact with each other. Participating in the bringing about of this change is at the core of the ethnographic methods that constitute this dissertation: Based on my experience with becoming an active participant in the mentioned start-up, rather than a mere participant observant, I explain how ethnographic reflexive practice can be viewed relationally; that is, how an ethnographer can be actively engaged in the constitution of the organization she is studying. This engagement shaped the fieldwork materials I analyze in-depth throughout the dissertation. More specifically, the last chapter of the dissertation delves into my fieldwork on the mentioned tension between designing a good conversational and consent experience. Resisting the temptation to let consent fade away, I show that holding on to it as a matter of caring makes us focus on the conditions under which the organization I studied asks for consent: how it plans to process personal information and how it designs the interaction through which the bot asks for consent from its users. This is not a success story, but rather a story of vulnerability. Thus, this dissertation does not propose a model for consent, nor does it suggest ethical design guidelines for a conversational agent. Instead, it highlights the importance of providing conditions to enable interactions in which consent becomes a matter of caring. Rather than freezing consent in a constrained state of formality, it invites us to think of consent as a conversation, with respect and flourishing on the horizon.

Notre objectif est de simuler des comportements multimodaux expressifs pour les agents conversationnels animés ACA. Ceux-ci sont des entités dotées de capacités affectives et communicationnelles; ils ont souvent une apparence humaine. Quand un ACA parle ou rit, il est capable de montrer de façon autonome des comportements multimodaux pour enrichir et compléter son discours prononcé et transmettre des informations qualitatives telles que ses émotions. Notre recherche utilise les modèles d’apprentissage à partir données. Un modèle de génération de comportements multimodaux pour un personnage virtuel parlant avec des émotions différentes a été proposé ainsi qu’un modèle de simulation du comportement de rire sur un ACA. Notre objectif est d'étudier et de développer des générateurs d'animation pour simuler la parole expressive et le rire d’un ACA. En partant de la relation liant prosodie de la parole et comportements multimodaux, notre générateur d'animation prend en entrée les signaux audio prononcés et fournit en sortie des comportements multimodaux. Notre travail vise à utiliser un modèle statistique pour saisir la relation entre les signaux donnés en entrée et les signaux de sortie; puis cette relation est transformée en modèle d’animation 3D. Durant l'étape d’apprentissage, le modèle statistique est entrainé à partir de paramètres communs qui sont composés de paramètres d'entrée et de sortie. La relation entre les signaux d'entrée et de sortie peut être capturée et caractérisée par les paramètres du modèle statistique. Dans l'étape de synthèse, le modèle entrainé est utilisé pour produire des signaux de sortie (expressions faciale, mouvement de tête et du torse) à partir des signaux d'entrée (F0, énergie de la parole ou pseudo-phonème du rire). La relation apprise durant la phase d'apprentissage peut être rendue dans les signaux de sortie. Notre module proposé est basé sur des variantes des modèles de Markov cachés (HMM), appelées HMM contextuels. Ce modèle est capable de capturer la relation entre les mouvements multimodaux et de la parole (ou rire); puis cette relation est rendue par l’animation de l’ACA. / Our aim is to render expressive multimodal behaviors for Embodied conversational agents, ECAs. ECAs are entities endowed with communicative and emotional capabilities; they have human-like appearance. When an ECA is speaking or laughing, it is capable of displaying autonomously behaviors to enrich and complement the uttered speech and to convey qualitative information such as emotion. Our research lies in the data-driven approach. It focuses on generating the multimodal behaviors for a virtual character speaking with different emotions. It is also concerned with simulating laughing behavior on an ECA. Our aim is to study and to develop human-like animation generators for speaking and laughing ECA. On the basis of the relationship linking speech prosody and multimodal behaviors, our animation generator takes as input human uttered audio signals and output multimodal behaviors. Our work focuses on using statistical framework to capture the relationship between the input and the output signals; then this relationship is rendered into synthesized animation. In the training step, the statistical framework is trained based on joint features, which are composed of input and of output features. The relation between input and output signals can be captured and characterized by the parameters of the statistical framework. In the synthesis step, the trained framework is used to produce output signals (facial expression, head and torso movements) from input signals (F0, energy for speech or pseudo-phoneme of laughter). The relation captured in the training phase can be rendered into the output signals. Our proposed module is based on variants of Hidden Markov Model (HMM), called Contextual HMM. This model is capable of capturing the relationship between human motions and speech (or laughter); then such relationship is rendered into the synthesized animations.

Dans une interaction humain-agent, l’engagement de l’utilisateur est un élément essentiel pour atteindre l’objectif de l’interaction. Dans cette thèse, nous étudions comment l’engagement de l’utilisateur pourrait être favorisé par le comportement de l’agent. Nous nous concentrons sur les stratégies de comportement verbal de l’agent qui concernent respectivement la forme, le timing et le contenu de ses énoncés. Nous présentons des études empiriques qui concernent certains aspects du comportement de politesse de l’agent, du comportement d’interruption de l’agent, et les sujets de conversation que l’agent adresse lors de l’interaction. Basé sur les résultats de la dernière étude, nous proposons un Gestionnaire de Sujets axé sur l’engagement (modèle computationnel) qui personnalise les sujets d’une interaction dans des conversations où l’agent donne des informations à un utilisateur humain. Le Modèle de Sélection des Sujets du Gestionnaire de Sujets décide sur quoi l’agent devrait parler et quand. Pour cela, il prend en compte la perception par l’agent de l’utilisateur, qui est dynamiquement mis à jour, ainsi que l’état mental et les préférences de l’agent. Le Modèle de Transition de Sujets du Gestionnaire de Sujet, basé sur une étude empirique, calcule comment l’agent doit présenter les sujets dans l’interaction en cours sans perdre la cohérence de l’interaction. Nous avons implémenté et évalué le Gestionnaire de Sujets dans un agent virtuel conversationnel qui joue le rôle d’un visiteur dans un musée. / In human-agent interaction the engagement of the user is an essential aspect to complete the goal of the interaction. In this thesis we study how the user’s engagement could be favoured by the agent’s behaviour. We thereby focus on the agent’s verbal behaviour considering strategies that regard respectively the form, timing, and content of utterances : We present empirical studies that regard (aspects of) the agent’s politeness behaviour, interruption behaviour, and the topics that the agent addresses in the interaction. Based on the outcomes of the latter study we propose an engagement-driven Topic Manager (computational model) that personalises the topics of an interaction in human-agent information-giving chat. The Topic Selection component of the Topic Manager decides what the agent should talk about and when. For this it takes into account the agent’s dynamically updated perception of the user as well as the agent’s own mental state. The Topic Transition component of the Topic Manager, based upon an empirical study, computes how the agent should introduce the topics in the ongoing interaction without loosing the coherence of the interaction. We implemented and evaluated the Topic Manager in a conversational virtual agent that plays the role of a visitor in amuseum.