L'objectif de l'étude suivante est de déterminer l'influence de la mémoire autobiographique et de ses deux principaux composants : la mémoire épisodique et la mémoire sémantique dans l'émergence de la notion de soi. Je vais me concentrer sur la composante fonctionnelle de la mémoire autobiographique davantage que sur ses aspects anatomiques et neuronaux. Je vais ensuite décrire l'implémentation d'une mémoire autobiographique synthétique chez un robot humanoïde : l'iCub. Puis, je vais montrer comment cette mémoire synthétique peut participer avec l'aide de procédés de raisonnement, `a l'émergence d'un “soi”. Concernant cet aspect du soi, nous avons décidé de concentrer notre travail sur la définition d'Ulric Neisser de 1995 de quatre composants du soi : le “Soi Ecologique”, le “Soi Interpersonnel”, le “Soi Conceptuel” et le “Soi Etendu dans le Temps” / The objective of the following study is to define the influence of an Autobiographical Memory and its two main components : the Episodic Memory and the Semantic Memory in the emergence of the notion of “self”. I will focus on the functional part of the autobiographical memory rather that on its technical and neuronal aspect. Then I will describe the implementation of an synthetic autobiographical memory in an Humanoid Robot : the iCub. I will show how this synthetic autobiographical memory can participate with the help of several reasoning modules, in the emergence of the self. Concerning the aspect of self, we decided to work about Ulric Neisser’s four components of the self described in 1995 : the Ecological Self, the Interpersonal Self, the Conceptual Self and the Temporally Extended Self

Que cela soit par des automates puis par des robots, l'Homme a été fasciné par des machines pouvant exécuter des tâches pour lui, dans de nombreux domaines, comme l'industrie ou les services : c'est ce dernier domaine qui nous sert de contexte. Ainsi, nous avons utilisé une approche développementale, où le robot se doit d'apprendre de nouvelles tâches au cours de sa vie. Inspiré par des théories sur le développement de l'enfant, nous avons extrait les concepts intéressants pour les implémenter sur une plateforme robotique humanoïde : l'iCub. L'acquisition du langage est une première étape, où la capacité à classifier les mots, de classes ouvertes et de classes fermées permet d'obtenir une syntaxe qui aide l'enfant à construire le lien entre une phrase et son sens. Cette méthode a été implémentée grâce à un réseau de neurones récurrents, utilisant une base de données fournit par l'humain en interagissant avec le robot. La maîtrise du langage permet à l'enfant de participer à des actions plus complexes, en particulier des tâches collaboratives où la parole est requise de négocier le mode d'apprentissage sur plusieurs modalités. Implémenté sur l'iCub et le Nao, cela permet un apprentissage en temps réel et de réaliser un plan partagé. Enfin, nous avons étudié le fonctionnement de la mémoire autobiographique, cruciale pour se remémorer des épisodes passés de sa vie, d'en tirer des prédictions et de les appliquer dans le futur. En recréant cette mémoire en SQL et formatant les données en PDDL, l'iCub est alors capable de raisonner en fonction de sa propre expérience, lui permettant ainsi de résoudre le problème des Tours d'Hanoi sans jamais l'avoir visualisé avant / From automata to robots, the Human has always been fascinated by machines which could execute tasks for him, in several domains like industry or services. Indeed, we have used a developmental approach, where the robot has to learn new tasks during his life. Inspired by theories in child development, we have extracted the interesting concepts to implement them on a humanoid robotic platform : the iCub. Language acquisition is a first step, where the capacity to classify closed and opened class words allows to obtain a syntax which help the children to make the link between a sentence and its meaning. This method has been implemented with a recurrent neural network, using a database provided from the human by interaction with the robot. The control of the language allows the children to participate in more complex actions, in particular cooperative tasks, where speech is required to negotiate the learning mode within several modalities. Implemented on the iCub and the Nao, this allows a real-time learning and to realize a shared plan. Eventually, we have studied the functioning of the autobiographical memory, crucial toremember episodes of his life, to extract predictions from and to apply them in the future. By recreating this memory in SQL, and by formatting the data in PDDL, the iCub is then capable of reasoning in function of his own experience, allowing him to solve the Tower of Hanoi problem without knowing the solution before

Cette thèse a été effectuée dans le cadre du projet européen WYSIWYD (What You Say is What You Did). Ce projet a pour but de rendre, plus naturelles, les interactions Humain-robot, notamment par le biais du langage. Le déploiement de robots compagnon et de robots de service requière que les humains et les robots puissent se comprendre mutuellement et communiquer. Les humains ont développé une codification avancée de leur comportement qui fournit la base de la transparence de la plupart de leurs actions et de leur communication. Jusqu'à présent, les robots ne partagent pas ce code de comportement et ne sont donc pas capables d'expliquer leurs propres actions aux humains. Nous savons que dans le langage parlé, il existe un lien direct entre le langage et le sens permettant à une personne qui écoute d'orienter son attention sur un aspect précis d'un événement. Ceci est particulièrement vrai en production de langage. On sait que la perception visuelle permet l'extraction des aspects de «qui a fait quoi à qui» dans la compréhension des événements sociaux. Mais dans le cadre d'interactions humaines, il existe d'autres aspects importants qui ne peuvent être déterminés uniquement à partir de l'image visuelle. L'échange d'un objet peut être interprété suivant différents points de vue, par exemple du point de vue du donateur ou de celui du preneur. Nous introduisons ainsi la notion de construal. Le construal est la manière dont une personne interprète le monde ou comprend une situation particulière. De plus, les événements sont reliés dans le temps, mais il y a des liens de causalité ainsi que des liens intentionnels qui ne peuvent pas être vus d'un point de vue uniquement visuel. Un agent exécute une action, car il sait que cette action satisfait le désir d'un autre agent. Cela peut ne pas être visible directement dans la scène visuelle. Le langage permet ainsi de préciser cette particularité : "Il vous a donné le livre parce que vous le vouliez". La première problématique que nous mettons en évidence dans ce travail est la manière dont le langage peut être utilisé pour représenter ces construals. Autrement dit, la manière dont un orateur choisit une construction grammaticale plutôt qu'une autre en fonction de son centre d'intérêt. Pour y répondre, nous avons développé un système dans lequel un modèle mental représente un événement d'action. Ce modèle est déterminé par la correspondance entre deux vecteurs abstraits : le vecteur de force exercée par l'action et le vecteur de résultat correspondant à l'effet de la force exercée. La deuxième problématique que nous étudions est comment des constructions de discours narratif peuvent être apprises grâce à un modèle de discours narratifs. Ce modèle se base sur des réseaux neuronaux de production et de compréhension de phrases existants que nous enrichissons avec des structures additionnelles permettant de représenter un contexte de discours. Nous présentons également la manière dont ce modèle peut s'intégrer dans un système cognitif global permettant de comprendre et de générer de nouvelles constructions de discours narratifs ayant une structure similaire, mais des arguments différents. Pour chacun des travaux cités précédemment, nous montrons comment ces modèles théoriques sont intégrés dans la plateforme de développement du robot humanoïde iCub. Cette thèse étudiera donc principalement deux mécanismes qui permettent d'enrichir le sens des évènements par le langage. Le travail se situe entre les neurosciences computationnelles, l'élaboration de modèles de réseaux neuronaux de compréhension et de production de discours narratifs, et la linguistique cognitive où comprendre et expliquer un sens en fonction de l'attention est crucial / This thesis takes place in the context of the European project WYSIWYD (What You Say is What You Did). The goal of this project is to provide transparency in Human-robot interactions, including by mean of language. The deployment of companion and service robots requires that humans and robots can understand each other and communicate. Humans have developed an advanced coding of their behavior that provides the basis of transparency of most of their actions and their communication. Until now, the robots do not share this code of behavior and are not able to explain their own actions to humans. We know that in spoken language, there is a direct mapping between languages and meaning allowing a listener to focus attention on a specific aspect of an event. This is particularly true in language production. Moreover, visual perception allows the extraction of the aspects of "who did what to whom" in the understanding of social events. However, in the context of human interaction, other important aspects cannot be determined only from the visual image. The exchange of an object can be interpreted from the perspective of the giver or taker. This introduces the notion of construal that is how a person interprets the world and perceive a particular situation. The events are related in time, but there are causal and intentional connexion that cannot be seen only from a visual standpoint. An agent performs an action because he knows that this action satisfies the need for another person. This may not be directly visible in the visual scene. The language allows specifying this characteristic: "He gave you the book because you like it." The first point that we demonstrate in this work is how the language can be used to represent these construals. In response, we have developed a system in which a mental model represents an action event. This model is determined by the correspondence between two abstract vectors: the force vector exerted by the action and the result vector corresponding to the effect of the applied force. The application of an attentional process selects one of the two vectors, thus generating the construal of the event. The second point that we consider in this work is how the construction of narrative discourse can be learned with a narrative discourse model. This model is based on both existing neural networks of production and comprehension of sentences that we enrich with additional structures to represent a context of discourse. We present also how this model can be integrated into an overall cognitive system for understanding and generate new constructions of narrative discourse based on similar structure, but different arguments. For each of the works mentioned above, we show how these theoretical models are integrated into the development platform of the iCub humanoid robot. This thesis will explore two main mechanisms to enrich the meaning of events through language. The work is situated between computational neuroscience, with development of neural network models of comprehension and production of narrative discourse, and cognitive linguistics where to understand and explain the meaning according to joint attention is crucial

Developing behaviours for interaction with objects close to the body is a primary goal for any organism to survive in the world. Being able to develop such behaviours will be an essential feature in autonomous humanoid robots in order to improve their integration into human environments. Adaptable spatial abilities will make robots safer and improve their social skills, human-robot and robot-robot collaboration abilities. This work investigated how a humanoid robot can explore and create action-based representations of its peripersonal space, the region immediately surrounding the body where reaching is possible without location displacement. It presents three empirical studies based on peripersonal space findings from psychology, neuroscience and robotics. The experiments used a visual perception system based on active-vision and biologically inspired neural networks. The first study investigated the contribution of binocular vision in a reaching task. Results indicated the signal from vergence is a useful embodied depth estimation cue in the peripersonal space in humanoid robots. The second study explored the influence of morphology and postural experience on confidence levels in reaching assessment. Results showed that a decrease of confidence when assessing targets located farther from the body, possibly in accordance to errors in depth estimation from vergence for longer distances. Additionally, it was found that a proprioceptive arm-length signal extends the robot’s peripersonal space. The last experiment modelled development of the reaching skill by implementing motor synergies that progressively unlock degrees of freedom in the arm. The model was advantageous when compared to one that included no developmental stages. The contribution to knowledge of this work is extending the research on biologically-inspired methods for building robots, presenting new ways to further investigate the robotic properties involved in the dynamical adaptation to body and sensing characteristics, vision-based action, morphology and confidence levels in reaching assessment.

Que cela soit par des automates puis par des robots, l'Homme a été fasciné par des machines pouvant exécuter des tâches pour lui, dans de nombreux domaines, comme l'industrie ou les services : c'est ce dernier domaine qui nous sert de contexte. Ainsi, nous avons utilisé une approche développementale, où le robot se doit d'apprendre de nouvelles tâches au cours de sa vie. Inspiré par des théories sur le développement de l'enfant, nous avons extrait les concepts intéressants pour les implémenter sur une plateforme robotique humanoïde : l'iCub. L'acquisition du langage est une première étape, où la capacité à classifier les mots, de classes ouvertes et de classes fermées permet d'obtenir une syntaxe qui aide l'enfant à construire le lien entre une phrase et son sens. Cette méthode a été implémentée grâce à un réseau de neurones récurrents, utilisant une base de données fournit par l'humain en interagissant avec le robot. La maîtrise du langage permet à l'enfant de participer à des actions plus complexes, en particulier des tâches collaboratives où la parole est requise de négocier le mode d'apprentissage sur plusieurs modalités. Implémenté sur l'iCub et le Nao, cela permet un apprentissage en temps réel et de réaliser un plan partagé. Enfin, nous avons étudié le fonctionnement de la mémoire autobiographique, cruciale pour se remémorer des épisodes passés de sa vie, d'en tirer des prédictions et de les appliquer dans le futur. En recréant cette mémoire en SQL et formatant les données en PDDL, l'iCub est alors capable de raisonner en fonction de sa propre expérience, lui permettant ainsi de résoudre le problème des Tours d'Hanoi sans jamais l'avoir visualisé avant