Les Talking Heads sont une expérience de robotique développementale menée par Luc Steels et Frédéric Kaplan en 1995. Dans cette expérience, des agents apprennent un lexique de mots associés à des propriétés visuelles d'objets extraits de leurs perceptions. Cet apprentissage est réalisé par le biais de jeux de langage dans lesquels les agents s'échangent des symboles. L'interaction entre les agents est conçue de manière à ancrer ces symboles dans leur perception. Cette expérience apporte un début de réponse au problème de la sémantique des systèmes symboliques illustré par l'expérience de pensée de la chambre chinoise. Les Talking Heads sont capables de faire converger un lexique de mots partagés au seins d'une population de plusieurs milliers d'agents de manière non supervisée, réalisant ainsi un début de solution au problème de l'émergence du langage. Cette expérience a déjà été étendue dans plusieurs directions, par exemple en rajoutant une grammaire au lexique des agents et en étendant les perceptions des agents à des scènes montrant des objets en mouvement. Mais les restrictions que les expériences actuelles dérivant des Talking Heads posent sur l'environnement limitent certaines pistes de développement intéressantes. Cette thèse a pour objectif de reproduire les Talking Heads en utilisant des robots autonomes et en se plaçant dans un environnement visuel non contraint: le laboratoire. L'intérêt de cette démarche est de confirmer dans un premier temps que le modèle des Talking Heads reste valide face à une perception plus complexe, pour pouvoir par la suite tester des modèles cognitifs plus complexes, donnant plus d'autonomie aux robots et qui n'auraient de sens que dans cet environnement suffisamment riche. Nous nous intéressons dans un premier temps aux nouveaux problèmes introduits par la mobilité des robots : détection d'un autre robot, positionnement à ses côtés et pointage d'un élément de l'environnement. Puis nous proposons un premier modèle de perception très proche des Talking Heads, utilisant des algorithmes de segmentation d'images. Ce modèle ne permet pas d'aboutir à la convergence des lexiques des agents dans ce cadre. Nous analysons les raisons de son échec, et proposons un second modèle basé sur les récentes avancées dans le domaine de la reconnaissance d'objets, utilisant des algorithmes de détection de points caractéristiques. Ce modèle est tout d'abord testé sur une base de donnée d'images, pour vérifier sa capacité à catégoriser de manière supervisée, puis appliqué aux jeux de langage des Talking Heads. Les résultats montrent que les agents sont capables d'échanger des symboles représentant des zones de leur environnement, même si le taux de succès des jeux de langage reste encore faible.

Les robots de service ou d'assistance doivent évoluer dans un environnent humain en constant changement, souvent imprévisible. Ils doivent donc être capables de s'adapter à ces changements, idéalement de manière autonome, afin de ne pas dépendre de la présence constante d'une supervision. Une telle adaptation en environnements non structurés nécessite notamment une détection et un apprentissage continu des nouveaux objets présents, que l'on peut imaginer inspirés des enfants, basés sur l'interaction avec leur parents et la manipulation motivée par la curiosité. Notre travail vise donc à concevoir une approche développementale permettant à un robot humanoïde de percevoir son environnement. Nous nous inspirons à la fois de la perception humaine en termes de fonctionnalités et du développements cognitifs observé chez les infants. Nous proposons une approche qui permet à un robot humanoïde d'ex- plorer son environnement de manière progressive, comme un enfant, grâce à des interactions physiques et sociales. Suivant les principes de la robotique développementale, nous nous concentrons sur l'apprentissage progressif, continu et autonome qui ne nécessite pas de connaissances a priori des objets. Notre système de perception débute par la segmentation de l'espace visuel en proto-objets, qui serviront d'unités d'attention. Chaque proto-objet est représenté par des carac- téristiques bas-niveaux (la couleur et la texture) et sont eux-mêmes intégrés au sein de caractéristiques de plus haut niveau pour ensuite former un modèle multi-vues. Cet apprentissage s'effectue de manière incrémentale et chaque proto-objet est associé à une ou plusieurs entités physiques distinctes. Les entités physiques sont ensuite classés en trois catégories : parties du robot, parties des humains et objets. La caractérisation est basée sur l'analyse de mouvements des entités physiques provenant de la vision ainsi que sur l'information mutuelle entre la vison et proprioception. Une fois que le robot est capable de catégoriser les entités, il se concentre sur l'interaction active avec les objets permettant ainsi d'acquérir de nouvelles informations sur leur apparence qui sont intégrés dans leurs modèles de représen- tation. Ainsi, l'interaction améliore les connaissances sur les objets et augmente la quantité d'information dans leurs modèles. Notre système de perception actif est évalué avec le robot humanoïde iCub en utilisant une base expérimentale de 20 objets. Le robot apprend par interaction avec un partenaire humain ainsi que par ses propres actions sur les objets. Notre système est capable de créer de manière non supervisée des modèles cohérents des différentes entités et d'améliorer les modèles des objets par apprentissage interactif et au final de reconnaître des objets avec 88.5% de réussite.

Afin de pouvoir évoluer de manière autonome et sûre dans leur environnement, les robots doivent être capables d'en construire un modèle fiable et pertinent. Pour des tâches variées dans des environnements complexes, il est difficile de prévoir de manière exhaustive les capacités nécessaires au robot. Il est alors intéressant de doter les robots de mécanismes d'apprentissage leur donnant la possibilité de construire eux-mêmes des représentations adaptées à leur environnement. Se posent alors deux questions : quelle doit être la nature des représentations utilisées et par quels mécanismes peuvent-elles être apprises ? Nous proposons pour cela l'utilisation de l'hypothèse des sous-variétés afin de développer des architectures permettant de faire émerger une représentation symbolique de flux sensorimoteurs bruts. Nous montrons que le paradigme de l'apprentissage profond fournit des mécanismes appropriés à l'apprentissage autonome de telles représentations. Nous démontrons que l'exploitation de la nature multimodale des flux sensorimoteurs permet d'en obtenir une représentation symbolique pertinente. Dans un second temps, nous étudions le problème de l'évolution temporelle des stimuli. Nous discutons les défauts de la plupart des approches aujourd'hui utilisées et nous esquissons une approche à partir de laquelle nous approfondissons deux sous-problèmes. Dans une troisième partie, nous proposons des pistes de recherche pour permettre le passage des expériences de laboratoire à des environnements naturels. Nous explorons plus particulièrement la problématique de la curiosité artificielle dans des réseaux de neurones non supervisés. / This thesis studies the use of deep neural networks to learn high level representations from raw inputs on robots, based on the "manifold hypothesis".

Dans cette thèse, nous nous intéressons à l'étude d'un modèle dédié à l'exploration et à la structuration d'espaces d'apprentissage sensorimoteur pour des systèmes artificiels. Nous appuyons notre démarche sur les notions de corps et de développement propre, auxquelles se greffe un troisième processus dit motivationnel. Cette forme de curiosité artificielle se base sur le progrès en compétence et repose ainsi sur les contraintes physiques naturelles directement issues de l'encorporation de l'agent. L'objectif de la motivation est de réguler un développement à long terme, dédié à l'apprentissage de nouvelles compétences non prévues par le concepteur. Nous inscrivons nos travaux dans la continuité de l'approche du babillage sensorimoteur dans l'espace des buts, qui consiste à déterminer un ensemble de techniques permettant à un agent de générer, selon une métrique d'intérêt, une configuration sensorielle qu'il va essayer d'atteindre par des actions motrices. Nos contributions viennent améliorer et complexifier un modèle motivationnel existant, en proposant des alternatives au processus de structuration de l'espace d'exploration. Certaines de ces propositions théoriques ont été validées expérimentalement grâce à la plateforme FIMO, que nous avons développée dans cette optique, et qui est disponible en ligne. / In this thesis, we study a motivational model for artificial systems, which aims at exploring and structuring sensorimotor learning spaces. Our approach relies on some essential notions, including the body, the development, and the motivation. This particular kind of artificial curiosity is based on the competence or learning progress, and thus depends on the physical natural constraints originating from the agent's embodiment. We follow the Goal-Babbling Exploration approach which consists in determining a set of techniques allowing an agent to self-generate goals, i.e. sensory configurations, and try to reach them using motor actions. Our contributions improve the SAGG-RIAC motivational model, by proposing alternative ways of structuring the exploration of the goal space. Some of our contributions have been experimentally validated within the FIMO framework we developed to this purpose.

L'approche classique de conception des robots obéit à une organisation interne du type sentir-planifier-agir, proposée dès l'apparition des problématiques d'Intelligence Artificielle. Elle implique le développement amont de modèles d'interaction entre le robot et son environnement et d'algorithmes de traitement du flux sensoriel conduisant, à terme, à la génération de commandes motrices. Dans ce contexte particulier, les caractéristiques de l'environnement perçues par le robot dérivent fondamentalement des traitements du flux sensoriel implémentés par le roboticien. Elles peuvent donc se révéler inadaptées vis-à-vis de l'interaction sensorimotrice réelle que le robot entretient avec le monde. Une autre approche, développée dans cette thèse, consiste à repenser la problématique de la perception en robotique. Elle s'inspire de la théorie des contingences sensorimotrices qui propose de concevoir notre perception non pas comme un phénomène se produisant dans le cerveau mais comme une interaction que nous entretenons avec l'environnement. Cette perspective, radicalement opposée aux postulats classiques, induit que percevoir n'est pas inné mais s'acquiert par la découverte des relations sensorimotrices qui sous-tendent notre expérience du monde. L'objectif de cette thèse est d'appliquer ce nouveau paradigme au champ de la robotique. Plus précisément, les travaux menés visent à déterminer comment un robot naïf peut découvrir et caractériser l'espace dans lequel son corps et l'environnement sont plongés au travers de l'analyse de son seul flux sensorimoteur. Pour se faire, une approche sera développée sur la base de la compensabilité des variations sensorielles générées par les déplacements du système robot/environnement, concept initialement introduit par H.Poincaré. Elle permettra à nos robots de déterminer la dimension de l'espace géométrique extérieur puis d'en construire une représentation interne, permettant à terme d'interpréter intrinsèquement leur expérience et de guider leur action.

Nous proposons donc un modèle original d'apprentissage constructiviste adapté pour un système d'AmI. Ce modèle repose sur une approche décentralisée, permettant de multiples implémentations convenant à un environnement hétérogène. Dans les environnements réels continus sans modélisation à priori, se pose la question de la modélisation des structures élémentaires de représentation et particulièrement le problème d'amorçage de l'apprentissage sensorimoteur (comme décrit par [Kuipers06]). Dans le cadre du modèle général proposé, nous explicitons ce problème particulier et proposons de le traiter comme une forme d'auto-organisation modélisée par un système multi-agent. Cette approche permet de construire des motifs d'interaction élémentaires à partir des seules données brutes, sur lesquels peut reposer la construction d'une représentation plus élaborée (voir [Mazac14]). Nous présentons enfin une série d'expérimentations illustrant la résolution de ce problème d'amorçage : tout d'abord grâce à un environnement simulé, qui permet de maitriser les régularités de l'environnement et autorise des expérimentations rapides ; ensuite en implémentant ce système d'apprentissage au sein d'un environnement d'AmI réel. Pour cela le modèle est intégré dans le système d'AmI développé par l'entreprise partenaire de cette thèse CIFRE. Puis nous présentons une possible application industrielle des résultats de cette première étape implémentée d'amorçage de l'apprentissage sensorimoteur. Nous concluons par l'analyse des résultats et des perspectives de ce type d'approche pour l'AmI et l'application en général de l'IA aux systèmes réels en environnements continus / The theory of cognitive development from Jean Piaget (1923) is a constructivist perspective of learning that has substantially influenced cognitive science domain. Within AI, lots of works have tried to take inspiration from this paradigm since the beginning of the discipline. Indeed it seems that constructivism is a possible trail in order to overcome the limitations of classical techniques stemming from cognitivism or connectionism and create autonomous agents, fitted with strong adaptation ability within their environment, modelled on biological organisms. Potential applications concern intelligent agents in interaction with a complex environment, with objectives that cannot be predefined. Like robotics, Ambient Intelligence (AmI) is a rich and ambitious paradigm that represents a high complexity challenge for AI. In particular, as a part of constructivist theory, the agent has to build a representation of the world that relies on the learning of sensori-motor patterns starting from its own experience only. This step is difficult to set up for systems in continuous environments, using raw data from sensors without a priori modelling.With the use of multi-agent systems, we investigate the development of new techniques in order to adapt constructivist approach of learning on actual cases. Therefore, we use ambient intelligence as a reference domain for the application of our approach

Que cela soit par des automates puis par des robots, l'Homme a été fasciné par des machines pouvant exécuter des tâches pour lui, dans de nombreux domaines, comme l'industrie ou les services : c'est ce dernier domaine qui nous sert de contexte. Ainsi, nous avons utilisé une approche développementale, où le robot se doit d'apprendre de nouvelles tâches au cours de sa vie. Inspiré par des théories sur le développement de l'enfant, nous avons extrait les concepts intéressants pour les implémenter sur une plateforme robotique humanoïde : l'iCub. L'acquisition du langage est une première étape, où la capacité à classifier les mots, de classes ouvertes et de classes fermées permet d'obtenir une syntaxe qui aide l'enfant à construire le lien entre une phrase et son sens. Cette méthode a été implémentée grâce à un réseau de neurones récurrents, utilisant une base de données fournit par l'humain en interagissant avec le robot. La maîtrise du langage permet à l'enfant de participer à des actions plus complexes, en particulier des tâches collaboratives où la parole est requise de négocier le mode d'apprentissage sur plusieurs modalités. Implémenté sur l'iCub et le Nao, cela permet un apprentissage en temps réel et de réaliser un plan partagé. Enfin, nous avons étudié le fonctionnement de la mémoire autobiographique, cruciale pour se remémorer des épisodes passés de sa vie, d'en tirer des prédictions et de les appliquer dans le futur. En recréant cette mémoire en SQL et formatant les données en PDDL, l'iCub est alors capable de raisonner en fonction de sa propre expérience, lui permettant ainsi de résoudre le problème des Tours d'Hanoi sans jamais l'avoir visualisé avant

Dans le cadre de cette thèse, nous abordons les problèmes liés à un robot autonome devant apprendre différentes tâches sensori-motrices dans des situations d’interaction et d’imitation. D’un point de vue théorique et dans le cadre des Interactions Homme-Machine (IHM), nous aborderons notamment les notions liées aux phénomènes d’entraînement rythmiques, de coordination interpersonnelle et de synchronisation intentionnelles et non-intentionnelles qui jouent un rôle important dans les interactions sociales. En particulier nous défendons l’hypothèse que des mécanismes d’entrainement rythmiques facilitent grandement l’apprentissage dans des situations d’interactions Homme-Robot. Leur prise en compte dans la conception de nouvelles IHMs est primordiale pour les rendre plus « intuitives ». A long terme, nous aimerions que le robot puisse utiliser ces signaux sociaux pour comprendre les intentions de son partenaire.L’utilisation d’une tâche complexe est ici nécessaire pour que le robot soit confronté à des situations d’échecs qui devront introduire des modifications de comportement non seulement de la part du partenaire mais aussi et surtout de la part du robot. Ces situations introduiront des modifications du rythme dans l’interaction au cours de l'apprentissage. Pour réussir ce pari, le robot devra être capable d’auto évaluer à la fois son comportement vis à vis de la tâche en cours d’exécution (et d’apprentissage) et son comportement d’interaction avec son partenaire.Nous proposons de travailler sur un « robot mobile compagnon » capable d’apprendre de manière interactive (avec son compagnon) à naviguer. L’utilisation de jeux d’interaction et d’imitation comme moyen d’apprentissage mais surtout de communication permet d’envisager de nouveaux principes d’IHM (Interface Homme-Machine) où l’interaction n’est plus considérée comme une « charge », elle devient au contraire plaisante. / In this thesis, we address the issues related to autonomous learning of different sensory-motor tasks using interaction and imitation. From a theoretical point of view and considering Human Machine Interaction (HMI), we will question the concepts linked to rhythmic entrainment, interpersonal coordination, and also intentional and unintentional synchronisations and their contribution to improve social interactions. Particularly, these mechanisms facilitate human-human interactions. Consequently, we defend the idea that taking them into account is essential to build more intuitive HMI.  In near future applications,  we would like to make the robot able to use these signals to improve its understanding the human partner intentions.Using a complex task is, then, necessary to confront the robot to failures that will introduce behavioral changes for both the human and the robot agents. These situations will introduce interaction rhythm modifications during learning phases. In this aim, the robot should be able to self assess its behavior regarding both the current task to learn and its interaction with its partner.We propose to work on a 'mobile companion robot' able to learn interactively (with its partner) to navigate. Using interaction games and imitation as a medium of learning and above all of communication, allows to consider new principles of HMI (Human Machine Interface) where the interaction is no longer considered as a 'load', it becomes rather pleasant.

Que cela soit par des automates puis par des robots, l'Homme a été fasciné par des machines pouvant exécuter des tâches pour lui, dans de nombreux domaines, comme l'industrie ou les services : c'est ce dernier domaine qui nous sert de contexte. Ainsi, nous avons utilisé une approche développementale, où le robot se doit d'apprendre de nouvelles tâches au cours de sa vie. Inspiré par des théories sur le développement de l'enfant, nous avons extrait les concepts intéressants pour les implémenter sur une plateforme robotique humanoïde : l'iCub. L'acquisition du langage est une première étape, où la capacité à classifier les mots, de classes ouvertes et de classes fermées permet d'obtenir une syntaxe qui aide l'enfant à construire le lien entre une phrase et son sens. Cette méthode a été implémentée grâce à un réseau de neurones récurrents, utilisant une base de données fournit par l'humain en interagissant avec le robot. La maîtrise du langage permet à l'enfant de participer à des actions plus complexes, en particulier des tâches collaboratives où la parole est requise de négocier le mode d'apprentissage sur plusieurs modalités. Implémenté sur l'iCub et le Nao, cela permet un apprentissage en temps réel et de réaliser un plan partagé. Enfin, nous avons étudié le fonctionnement de la mémoire autobiographique, cruciale pour se remémorer des épisodes passés de sa vie, d'en tirer des prédictions et de les appliquer dans le futur. En recréant cette mémoire en SQL et formatant les données en PDDL, l'iCub est alors capable de raisonner en fonction de sa propre expérience, lui permettant ainsi de résoudre le problème des Tours d'Hanoi sans jamais l'avoir visualisé avant / From automata to robots, the Human has always been fascinated by machines which could execute tasks for him, in several domains like industry or services. Indeed, we have used a developmental approach, where the robot has to learn new tasks during his life. Inspired by theories in child development, we have extracted the interesting concepts to implement them on a humanoid robotic platform : the iCub. Language acquisition is a first step, where the capacity to classify closed and opened class words allows to obtain a syntax which help the children to make the link between a sentence and its meaning. This method has been implemented with a recurrent neural network, using a database provided from the human by interaction with the robot. The control of the language allows the children to participate in more complex actions, in particular cooperative tasks, where speech is required to negotiate the learning mode within several modalities. Implemented on the iCub and the Nao, this allows a real-time learning and to realize a shared plan. Eventually, we have studied the functioning of the autobiographical memory, crucial toremember episodes of his life, to extract predictions from and to apply them in the future. By recreating this memory in SQL, and by formatting the data in PDDL, the iCub is then capable of reasoning in function of his own experience, allowing him to solve the Tower of Hanoi problem without knowing the solution before

Les applications futures de la robotique, en particulier pour des robots de service à la personne, exigeront des capacités d’adaptation continue à l'environnement, et notamment la capacité à reconnaître des nouveaux objets et apprendre des nouveaux mots via l'interaction avec les humains. Bien qu'ayant fait d'énormes progrès en utilisant l'apprentissage automatique, les méthodes actuelles de vision par ordinateur pour la détection et la représentation des objets reposent fortement sur de très bonnes bases de données d’entrainement et des supervisions d'apprentissage idéales. En revanche, les enfants de deux ans ont une capacité impressionnante à apprendre à reconnaître des nouveaux objets et en même temps d'apprendre les noms des objets lors de l'interaction avec les adultes et sans supervision précise. Par conséquent, suivant l'approche de le robotique développementale, nous développons dans la thèse des approches d'apprentissage pour les objets, en associant leurs noms et leurs caractéristiques correspondantes, inspirées par les capacités des enfants, en particulier l'interaction ambiguë avec l’homme en s’inspirant de l'interaction qui a lieu entre les enfants et les parents.L'idée générale est d’utiliser l'apprentissage cross-situationnel (cherchant les points communs entre différentes présentations d’un objet ou d’une caractéristique) et la découverte de concepts multi-modaux basée sur deux approches de découverte de thèmes latents: la Factorisation en Natrices Non-Négatives (NMF) et l'Allocation de Dirichlet latente (LDA). Sur la base de descripteurs de vision et des entrées audio / vocale, les approches proposées vont découvrir les régularités sous-jacentes dans le flux de données brutes afin de parvenir à produire des ensembles de mots et leur signification visuelle associée (p.ex le nom d’un objet et sa forme, ou un adjectif de couleur et sa correspondance dans les images). Nous avons développé une approche complète basée sur ces algorithmes et comparé leur comportements face à deux sources d'incertitudes: ambiguïtés de références, dans des situations où plusieurs mots sont donnés qui décrivent des caractéristiques d'objets multiples; et les ambiguïtés linguistiques, dans des situations où les mots-clés que nous avons l'intention d'apprendre sont intégrés dans des phrases complètes. Cette thèse souligne les solutions algorithmiques requises pour pouvoir effectuer un apprentissage efficace de ces associations de mot-référent à partir de données acquises dans une configuration d'acquisition simplifiée mais réaliste qui a permis d'effectuer des simulations étendues et des expériences préliminaires dans des vraies interactions homme-robot. Nous avons également apporté des solutions pour l'estimation automatique du nombre de thèmes pour les NMF et LDA.Nous avons finalement proposé deux stratégies d'apprentissage actives: la Sélection par l'Erreur de Reconstruction Maximale (MRES) et l'Exploration Basée sur la Confiance (CBE), afin d'améliorer la qualité et la vitesse de l'apprentissage incrémental en laissant les algorithmes choisir les échantillons d'apprentissage suivants. Nous avons comparé les comportements produits par ces algorithmes et montré leurs points communs et leurs différences avec ceux des humains dans des situations d'apprentissage similaires. / Future applications of robotics, especially personal service robots, will require continuous adaptability to the environment, and particularly the ability to recognize new objects and learn new words through interaction with humans. Though having made tremendous progress by using machine learning, current computational models for object detection and representation still rely heavily on good training data and ideal learning supervision. In contrast, two year old children have an impressive ability to learn to recognize new objects and at the same time to learn the object names during interaction with adults and without precise supervision. Therefore, following the developmental robotics approach, we develop in the thesis learning approaches for objects, associating their names and corresponding features, inspired by the infants' capabilities, in particular, the ambiguous interaction with humans, inspired by the interaction that occurs between children and parents.The general idea is to use cross-situational learning (finding the common points between different presentations of an object or a feature) and to implement multi-modal concept discovery based on two latent topic discovery approaches : Non Negative Matrix Factorization (NMF) and Latent Dirichlet Association (LDA). Based on vision descriptors and sound/voice inputs, the proposed approaches will find the underlying regularities in the raw dataflow to produce sets of words and their associated visual meanings (eg. the name of an object and its shape, or a color adjective and its correspondence in images). We developed a complete approach based on these algorithms and compared their behavior in front of two sources of uncertainties: referential ambiguities, in situations where multiple words are given that describe multiple objects features; and linguistic ambiguities, in situations where keywords we intend to learn are merged in complete sentences. This thesis highlights the algorithmic solutions required to be able to perform efficient learning of these word-referent associations from data acquired in a simplified but realistic acquisition setup that made it possible to perform extensive simulations and preliminary experiments in real human-robot interactions. We also gave solutions for the automatic estimation of the number of topics for both NMF and LDA.We finally proposed two active learning strategies, Maximum Reconstruction Error Based Selection (MRES) and Confidence Based Exploration (CBE), to improve the quality and speed of incremental learning by letting the algorithms choose the next learning samples. We compared the behaviors produced by these algorithms and show their common points and differences with those of humans in similar learning situations.