Ancrée dans une perspective interactionnelle, cette thèse présente une analyse du phénomène de refus. À partir de sa caractérisation en tant que deuxième partie de paire adjacente, nous avons constitué une collection d’occurrences, issues de corpus audiovisuels documentant plusieurs types d’interaction (conversations entre amis, préparations de repas, interactions en site commercial, visites guidées). Nous avons proposé une transcription détaillée des extraits retenus, qui rend compte des productions verbales ainsi que de la multimodalité. Sous le double angle de vue de la linguistique interactionnelle et de la macrosyntaxe aixoise, nous avons mené une analyse combinée afin de proposer des caractérisations à la fois séquentielles et syntaxiques des actions initiatives et réactives dans les échanges comportant un refus. La première partie analytique de la thèse porte sur le refus d’un objet, la deuxième partie examine le refus d’une réponse incorporée dans la formulation d’une demande de confirmation. Nous avons ainsi fait dialoguer dans une démarche opérationnelle deux approches qui opèrent dans le champ de la langue parlée en interaction. Les analyses multimodales et interactionnelles nous ont conduit à l’individuation de motifs séquentiels, pour lesquels nous avons également pu dégager une caractérisation macrosyntaxique. Dans ce travail, la négation est étroitement liée à la réalisation du refus, elle est considérée à la fois à travers les ressources verbales qui permettent de l’exprimer et dans ses manifestations physiques (secouements de tête, gestes manuels, expressions mimiques). / Our research focuses on rejection in conversation, from an interactional linguistic perspective. Rejection is sequentially characterized as a second pair part. Our analysis is based on a collection of instances from naturally occurring video data (ordinary conversations, dinner conversations, interactions in commercial settings, meal preparations, guided tours). We propose a fine-grained transcription of conversational excerpts, taking into account multimodal and verbal resources. From a perspective relying on interactional linguistics and Aix macrosyntax, we carry out a mixed analysis in order to study both sequential and syntactic characterizations of initiative and reactive actions in sequences involving rejection.The first part of our study focuses on the rejection of concrete offers dealing with objects, the second part concerns rejections of candidate answers dealing with confirmation requests. Our research is grounded in talk-in-interaction and we mobilize two approaches that operate in this field. The multimodal and interactional analysis allows us to highlight sequential patterns, which can also be characterized in macrosyntactic terms. In our data, negation is closely connected to the realization of rejection: it is considered both through the verbal resources that enable it to be expressed and in its physical manifestations (head shakes, hand gestures, facial expressions).

Grâce au progrès de la médecine et à l’essor des technologies, l’espérance de vie ne cesse de progresser, cette augmentation s’accompagnant d’une apparition de besoins spécifiques pour les seniors. Sachant que huit français sur dix souhaitent continuer à vivre à domicile en cas de perte d’autonomie, équiper les seniors d’une solution de suivi de leur état de santé à distance pourrait le leur permettre et ce dans de bonnes conditions. Dans ce contexte, nous avons identifié trois verrous que nous avons cherché à lever au cours de cette thèse. Le premier concerne l’interopérabilité des capteurs de santé qui se trouve mise à mal par l’adoption massive des protocoles propriétaires par les fabricants. Pour y remédier, nous proposons une passerelle facilitant la communication avec les capteurs de santé, qu’ils soient médicaux ou de bien-être, en faisant abstraction des multitudes de protocoles de communication propriétaires et standards. Le deuxième obstacle concerne l’erreur de mesure due à la manipulation d’un capteur de santé par des personnes non initiées en absence d’un professionnel de santé. Nous illustrons cette problématique à travers l'exemple d'un tensiomètre de poignet pour lequel nous proposons une méthode permettant de guider l’utilisateur dans son bon positionnement en respectant les recommandations des fabricants grâce à l'apport d'une montre connectée. Le dernier challenge a trait à la question de la multimodalité et plus précisément à la contextualisation de la mesure. Il s'agit ici de la fusion de données provenant d’un ensemble d’objets connectés dans un système de télésuivi décliné sous l'angle de la prise de la tension artérielle dans l'objectif de placer l’usager en situation d'effectuer une mesure de tension conforme aux recommandations des sociétés savantes. L'expérimentation qui a été conduite a permis d’évaluer l’acceptabilité du système proposé. / Thanks to medical progress and new technologies, life expectancy is growing continuously leading to the emergence of specific needs for elderly. With eighty percent of French willing to keep living at home even with loss of autonomy, offering a remote health monitoring system would allow them to do so in good conditions. In this context, we identified three challenges. The first one concerns health sensors interoperability which is declining because of proprietary protocols largely adopted by manufacturers in their products. To deal with this issue, we propose a middleware that simplifies the communication with the multitude of protocols, proprietary and standard, to improve interoperability with both medical and wellness devices. The second challenge reports to reliability and more particularly to measurement errors due to device handling by the user in absence of clinician. We illustrate this point with a wrist blood pressure monitor and propose a method that guides the user in properly positioning the device thanks to a smartwatch. The last challenge relates to multimodality and more precisely to the measure contextualization. It consists of combining different types of data from a set of sensors in a health monitoring system to ensure that blood pressure is measured in compliance with learned societies recommendations. The experiment we have conducted allows to evaluate the users' acceptability of the proposed solution.

Cette thèse étudie les mécanismes de sélection de l'action et de choix de stratégie tels qu'ils apparaissent à travers des expériences animales et des enregistrements neurobiologiques. Nous proposons ensuite des modèles biologiquement plausibles de la sélection de l'action. L'objectif est de mieux comprendre le fonctionnement du cerveau chez les êtres vivants et de pouvoir endéduire des architectures de contrôle bio-inspirées, plus robustes et adaptées à l'environnement. Les modèles étudiés sont réalisés avec des réseaux de neurones artificiels, permettant de modéliser des régions cérébrales et ainsi pouvoir simuler le fonctionnement du cerveau, ce qui permet de tester nos hypothèses sur des robots et des agents virtuels.L'étude de la sélection de l'action pour des robots mobiles implique plusieurs approches. La sélection de l'action peut être étudiée du point de vue du choix entre plusieurs actions basiques, e.g. un choix binaire aller à gauche ou à droite. Ceci passe forcément par l'acquisition et la catégorisation d'instants et d'événements spéciaux, perçus ou effectués, qui représentent des contextes dans lesquels la perception change, le comportement est modifié ou bien la sélection est réalisée. Ainsi, la thèse traite aussi de l'acquisition, la catégorisation et l'encodage de ces événements importants dans la sélection del'action.Enfin, on s'intéressera à la sélection de l'action du point de vue de la sélection de stratégie. Les différents comportements peuvent être dirigés consciemment ou bien être des automatismes acquis avec l'habitude. Le but ici est d'explorer différentes approches pour que le robot puisse développer ces deux capacités, mais aussi d'étudier les interactions entre ces types de mécanismes dans la cadre de tâches de navigation.Les travaux de cette thèse se basent sur la modélisation du fonctionnement de différentes boucles hippocampo-cortico-basales impliquées dans des tâches de navigation, de sélection de l'action et de catégorisations multimodales. En particulier, nous avons un modèle de l'hippocampe permettant d'apprendre des associations spatio-temporelles et des conditionnements multimodaux entre des événements perceptifs. Il se base sur des associations sensorimotrices entre des cellules appelées cellules de lieu qui sont associées avec des actions pour définir des comportements cohérents. Le modèle fait aussi intervenir des cellules de transition hippocampiques, permettant de faire des prédictions temporelles sur les événements futurs. Celles-ci permettent l'apprentissagede séquences spatio-temporelles, notamment du fait qu'elles représentent le substrat neuronal à l'apprentissage d'une carte cognitive, située elle au niveau du cortex préfrontal et/ou pariétal.Ce type de carte permet de planifier des chemins à suivre en fonction des motivations du robot, ce qui permet de rejoindre différents buts précédemment découverts dans l'environnement. / This thesis aims at studying the different mechanisms involved in action selection and decision making processes, according to animal experiments and neurobiological recordings. For that matter, we propose several biologically plausible models for action selection. The goal is to achieve a better understanding of the animal's brain functions. This gives us the opportunity todevelop bioinspired control architectures for robots that are more robust and adaptative to a real environement. These models are based on Artificial Neural Networks, allowing us to test our hypotheses on simulations of different brain regions and function, implemented on robots and virtual agents.Action selection for mobile robots can be approached from different angles. This process can be seen as the selection between two possibilities, e.g. go left or go right. Those mechanisms involve the ability to learn and categorize specific events, encoding contexts where a change in the perception is perceived, a change in the behavior is noticed or the decision is made. There-fore, this thesis studies those capacities of acquisition, categorisation and coding of different events that can be relevant for action selection.We also, approach the action selection as a strategy selection. The different behaviors are guided consciously or through automated behavior learned as habits. We investigate different possibilities allowing a robot to develop those capacities. Also, we aim at studying interactions that can emerge between those mechanisms during navigational behaviors.The work presented in this these is based on the modelisation of the hippocampo-cotico-basal loops involved in the navigational behaviors, the action selection and the multimodal categorisation of events. We base our models on a previous model of the hippocampus for the learning of spatio-temporal associations and for multimodal conditionning of perceptive events. It is based on sensorimotor associations between place cells and actions to achieve navigational behaviors. The model involves also a specific type of hippocampic cells, named transition cells, for temporal prediction of future events. This capacity allows the model to learn spatio-temporal sequences, and it represents the neural substrate for the learning of a cognitive map, hypothesised to be localized in prefrontal and/or parietal areas. This kind of topological map allows to plan the behavior of the robot according to its motivations, which is used in goal orientedexperiments to achieve goals and capture rewards.

Dans le cadre d’une approche conversationnelle ethnographiquement orientée, mon travail porte sur la coordination dans l’interaction téléphonique dans les appels au 15. Deux aspects de cette coordination sont explorés : (1) l’organisation de l’interrogatoire en formats séquentiels «Question-Réponse-Accusé de réception» ; (2) la coordination entre la production de ces formats séquentiels ternaires et l’interaction avec le dispositif informatique.Cette recherche a été rendue possible par la complexité des données audiovisuelles recueillies au Centre de Réception et de Régulation des Appels (CRRA) du Samu de Versailles(France). Collecte effectuée, après six mois d’observations, en étroite collaboration avec les divers acteurs du Samu. Le premier aspect de la coordination (1) propose une analyse des différentes actions accomplies par un « d’accord » (ou ses équivalents) émergeant après une réponse à une question posée à un appelant (pompier, ambulancier ou particulier) par la permanencière. L’appellation « Accusé de réception » est là pour moindre appât : cette réponse après une réponse revêt une grande richesse tant dans les dimensions prospective que rétrospective, vis-à-vis du travail effectué par les participants pour produire du savoir sur un problème médical, se coordonner pour avancer pas-à-pas, creuser, inférer, marquer des transitions dans l’échange. Le deuxième aspect de la coordination (2) rend compte de la complexité de l’activité de la permanencière qui doit, de façon synchronisée, à la fois s’engager dans un échange conversationnel, organiser la récolte d’informations sur le problème médical, et utiliser des objets tels que souris, clavier, cahiers. / In the context of a Conversational Analysis approach ethnographically oriented, my work deals withcoordination in the telephonic interaction of calls made to the French medical emergency call («15»). Two aspects of this coordination are explored : (1) organization of the questioning in the following ternary sequential format « Question-Answer-Acknowledgement » ; (2) coordination between the production of these ternary sequential formats and their interaction with the computerized system.This research is based on audio-visual data gathered at the Center of Reception and Regulation of Calls (in French : CRRA) of the SAMU of Versailles (France).The first aspect of the coordination (1) proposes an analysis of the various actions accomplished through an « OK » ( « d’accord », or its equivalent) which is itself the result of a question put to a caller (fireman, ambulance staff or a private individual) by the CRRA call takers ( »permanencière » in French). This response after an answer presents a wealth of prospective and retrospective features, in terms of the work performed by the participants to obtain and gather informations about a medical problem, to ensure coordination in order to advance step-by-step, to investigate further, to infer, and to establish transitions in the interaction.The second aspect of the coordination (2) illustrates the complexity of the activities of the CCRA staff who must, in a synchronized manner, be engaged in an exchange of a conversational nature, and at the same time organize the gathering of information on the medical problem, while using objects such as a computer mouse, a keyboard, notebooks.

La traduction automatique vise à traduire des documents d’une langue à une autre sans l’intervention humaine. Avec l’apparition des réseaux de neurones profonds (DNN), la traduction automatique neuronale(NMT) a commencé à dominer le domaine, atteignant l’état de l’art pour de nombreuses langues. NMT a également ravivé l’intérêt pour la traduction basée sur l’interlangue grâce à la manière dont elle place la tâche dans un cadre encodeur-décodeur en passant par des représentations latentes. Combiné avec la flexibilité architecturale des DNN, ce cadre a aussi ouvert une piste de recherche sur la multimodalité, ayant pour but d’enrichir les représentations latentes avec d’autres modalités telles que la vision ou la parole, par exemple. Cette thèse se concentre sur la traduction automatique multimodale(MMT) en intégrant la vision comme une modalité secondaire afin d’obtenir une meilleure compréhension du langage, ancrée de façon visuelle. J’ai travaillé spécifiquement avec un ensemble de données contenant des images et leurs descriptions traduites, où le contexte visuel peut être utile pour désambiguïser le sens des mots polysémiques, imputer des mots manquants ou déterminer le genre lors de la traduction vers une langue ayant du genre grammatical comme avec l’anglais vers le français. Je propose deux approches principales pour intégrer la modalité visuelle : (i) un mécanisme d’attention multimodal qui apprend à prendre en compte les représentations latentes des phrases sources ainsi que les caractéristiques visuelles convolutives, (ii) une méthode qui utilise des caractéristiques visuelles globales pour amorcer les encodeurs et les décodeurs récurrents. Grâce à une évaluation automatique et humaine réalisée sur plusieurs paires de langues, les approches proposées se sont montrées bénéfiques. Enfin,je montre qu’en supprimant certaines informations linguistiques à travers la dégradation systématique des phrases sources, la véritable force des deux méthodes émerge en imputant avec succès les noms et les couleurs manquants. Elles peuvent même traduire lorsque des morceaux de phrases sources sont entièrement supprimés. / Machine translation aims at automatically translating documents from one language to another without human intervention. With the advent of deep neural networks (DNN), neural approaches to machine translation started to dominate the field, reaching state-ofthe-art performance in many languages. Neural machine translation (NMT) also revived the interest in interlingual machine translation due to how it naturally fits the task into an encoder-decoder framework which produces a translation by decoding a latent source representation. Combined with the architectural flexibility of DNNs, this framework paved the way for further research in multimodality with the objective of augmenting the latent representations with other modalities such as vision or speech, for example. This thesis focuses on a multimodal machine translation (MMT) framework that integrates a secondary visual modality to achieve better and visually grounded language understanding. I specifically worked with a dataset containing images and their translated descriptions, where visual context can be useful forword sense disambiguation, missing word imputation, or gender marking when translating from a language with gender-neutral nouns to one with grammatical gender system as is the case with English to French. I propose two main approaches to integrate the visual modality: (i) a multimodal attention mechanism that learns to take into account both sentence and convolutional visual representations, (ii) a method that uses global visual feature vectors to prime the sentence encoders and the decoders. Through automatic and human evaluation conducted on multiple language pairs, the proposed approaches were demonstrated to be beneficial. Finally, I further show that by systematically removing certain linguistic information from the input sentences, the true strength of both methods emerges as they successfully impute missing nouns, colors and can even translate when parts of the source sentences are completely removed.

Le projet ANR ACORFORMed, dans lequel s’inscrit cette thèse, a pour objectif la création (par des informaticiens) d’un agent conversationnel animé « patient » comme outil de formation à l’annonce, par la simulation et à l’aide d’un environnement virtuel. A l’aide de la méthodologie issue des études de la gestuelle et des apports de la littérature sur l’organisation des interactions, nous tentons de répondre à la question suivante : quelle est l’organisation structurelle globale de l’interaction patient-médecin, lorsque ce dernier se forme à l’annonce d’un dommage associé aux soins ? Les analyses menées dans cette thèse nous permettent de décrire l’interaction patient/médecin lors de formations à l’annonce en proposant différentes phases composants l’interaction, ainsi que des précisions quant à leur découpage et leurs articulations. Elles constituent une base indispensable et utilisable par les informaticiens pour concevoir et implémenter un agent conversationnel « patient » crédible qui pourra être utilisé dans la formation des médecins. Située au coeur d’un projet interdisciplinaire, cette thèse en linguistique permet donc de transposer les pratiques interactionnelles des médecins en vue de l’implémentation d’un agent virtuel par des informaticiens. / The ACORFORMed ANR project, in which this PhD project is integrated, aims at the creation (by computer scientists) of a "patient" animated conversational agent as a training tool for announcing, simulating and using a virtual environment. Using the methodology resulting from gestures studies and contributions of the literature on the organisation of interactions, we try to answer the following question: what is the overall structural organisation of the doctor/patient interaction, when this last is training to break the news of a damage associated with care? The analyses carried out in this thesis allow us to describe the doctor/patient interaction during training to break the news by proposing different phases that make up the interaction, as well as details about their division and their articulations. They are an indispensable and usable base for computer scientists to design and implement a credible "patient" conversational agent that can be used in physician training. Located at the heart of an interdisciplinary project, this thesis in linguistics makes it possible to transpose the interactional practices of physicians with a view to the implementation of a virtual agent by computer scientists.

Ce travail porte sur la conception d'une nouvelle forme d'interaction Homme-Machine : la multimodalité parole+présentation visuelle en sortie du système. Plus précisément, l'étude porte sur l'évaluation des apports potentiels de la parole, en tant que mode d'expression complémentaire du graphique, lors du repérage visuel de cibles au sein d'affichages 2D interactifs. <br />Nous avons adopté une approche expérimentale pour déterminer l'influence d'indications spatiales orales sur la rapidité et la précision du repérage de cibles et évaluer la satisfaction subjective d'utilisateurs potentiels de cette forme d'assistance à l'activité d'exploration visuelle. <br />Les différentes études réalisées ont montré d'une part que les présentations multimodales facilitent et améliorent les performances des utilisateurs pour le repérage visuel, en termes de temps et de précision de sélection des cibles. Elles ont montré d'autre part que les stratégies d'exploration visuelle des affichages, en l'absence de messages sonores, dépendent de l'organisation spatiale des informations au sein de l'affichage graphique.

La majorité des interfaces reposent essentiellement sur la vision pour transmettre des informations aux utilisateurs. Cependant certaines situations requièrent des techniques d'interactions permettant d'afficher des informations de manière non-visuelle. Nous avons donc étudié des solutions apportées par le sens du toucher. Après un aperçu sur le domaine de la conception d'interfaces, en particulier sur la notion de multimodalité, nous nous sommes intéressés à une modalité en particulier : l'haptique, qui utilise le sens du toucher. Notre contribution à ce domaine commence par la conception et l'évaluation d'icônes tactiles permettant de coder des informations à l'aide d'une matrice de picots. Elles ont été utilisées dans un système de guidage pour aider des utilisateurs à explorer des formes géométriques grâce au sens du toucher. Nous avons aussi conçu et évalué des icônes utilisant le retour de force d'un bras articulé. Ces deux systèmes d'icônes ont été utilisés dans une application d'exploration de schémas de circuits électriques. Cette application multimodale permet à plusieurs enfants déficients visuels ou voyants d'explorer des schémas de circuits électriques en collaboration. Ils disposent d'informations visuelles et haptiques pour comprendre la forme du circuits, ainsi que les composants présents. Cette application utilise une architecture logicielle multimodale, que nous avons conçue et détaillée. L'architecture en question propose des briques de base permettant de faciliter la conception et le développement d'application multimodales, et en particulier celles utilisant le retour haptique.

Les travaux décrits dans cette thèse concernent l'applicabilité d'une combinaison de modalités pour l'interaction avec les objets 3D d'un environnement virtuel afin de leur appliquer des repositionnements géométriques. L'approche « top-down » adoptée s'inspire des modalités observables au sein des expressions de commande d'utilisateurs au cours d'activités «d'inspection de prototype » du domaine de la conception vestimentaire. A partir d'un ensemble sélectionné de tâches, l'examen de combinaisons tâches vs modalités d'entrée permet d'établir des scénarios d'expressions de commande homogènes. La définition de profils de dispositifs conduit ensuite à la construction d'un système interactif sur lequel tester ces affectations de modalités avec des utilisateurs lors d'une expérience de type « Magicien d'Oz ». L'étude de la variabilité d'expression permet alors de poser les bases d'une grammaire d'interaction. Les résultats obtenus semblent confirmer la pertinence de ce style d'interaction.

Les activités interactives en ligne connaissent une utilisation grandissante, notamment dans le domaine de l'enseignement des langues. L'amélioration technique des dispositifs permet en effet aujourd'hui des échanges synchrones à distance avec un locuteur natif.Le tuteur inscrit dans une communication via une plateforme synchrone en ligne doit alors coordonner un ensemble complexe d'opérations à des fins d'apprentissage. Différents modes de communication (textuel, visuel, auditif) sont à sa disposition et il les combine dans son discours. Nous analysons, dans le cadre de cours de français à distance via Skype, quels modes sont utilisés par chacun des quatre tuteurs qui composent notre étude. Nous postulons que les modes sont utilisés différemment par chaque tuteur et nous cherchons donc à savoir dans quelle proportion et avec quel " degré d'investissement " (Develotte, Guichon, Vincent, 2011). Nous cherchons également à comprendre quelles conséquences ces choix d'utilisations des modes ont sur la nature de l'interaction. Nous émettons en effet deux hypothèses. Premièrement, nous pensons que le profil initial des tuteurs (compétences individuelles, expériences professionnelles en présentiel ou à distance, habitude de l'environnement informatique) et le contexte des interactions (perturbations extérieures, problèmes techniques, type de tâche, besoin exprimé des apprenants) ont une influence sur la façon dont le tuteur utilise les modes à disposition.Deuxièmement, nous pensons que les choix d'utilisations influencent la nature de l'interaction et la relation entre tuteurs et apprenants. Nous proposons ainsi une grille d'analyse des interactions multimodales en ligne, afin d'apporter des réponses à nos hypothèses de recherche.