Le travail effectué lors de cette thèse concerne le développement d'un système cognitif artificiel autonome. La solution proposée repose sur l'hypothèse que la curiosité est une source de motivation d'un système cognitif dans le processus d'acquisition des nouvelles connaissances. En outre, deux types distincts de curiosité ont été identifiés conformément au système cognitif humain. Sur ce principe, une architecture cognitive à deux niveaux a été proposée. Le bas-niveau repose sur le principe de la saillance perceptive, tandis que le haut-niveau réalise l'acquisition des connaissances par l'observation et l'interaction avec l'environnement. Cette thèse apporte les contributions suivantes : A) Un état de l'art sur l'acquisition autonome de connaissance. B) L'étude, la conception et la réalisation d'un système cognitif bas-niveau basé sur le principe de la curiosité perceptive. L'approche proposée repose sur la saillance visuelle réalisée grâce au développement d'un algorithme rapide et robuste permettant la détection et l'apprentissage d'objets saillants. C) La conception d'un système cognitif haut-niveau, basé sur une approche générique, permettant l'acquisition de connaissance à partir de l'observation et de l'interaction avec son environnent (y compris avec les êtres humains). Basé sur la curiosité épistémique, le système cognitif haut-niveau développé permet à une machine (par exemple un robot) de devenir l'acteur de son propre apprentissage. Une conséquence substantielle d'un tel système est la possibilité de conférer des capacités cognitives haut-niveau multimodales à des robots pour accroître leur autonomie dans un environnement réel (environnement humain). D) La mise en œuvre de la stratégie proposée dans le cadre de la robotique autonome. Les études et les validations expérimentales réalisées ont notamment confirmé que notre approche permet d'accroître l'autonomie des robots dans un environnement réel / The work accomplished in this thesis concerns development of an autonomous machine cognition system. The proposed solution reposes on the assumption that it is the curiosity which motivates a cognitive system to acquire new knowledge. Further, two distinct kinds of curiosity are identified in conformity to human cognitive system. On this I build a two level cognitive architecture. I identify its lower level with the perceptual saliency mechanism, while the higher level performs knowledge acquisition from observation and interaction with the environment. This thesis brings the following contribution: A) Investigation of the state of the art in autonomous knowledge acquisition. B) Realization of a lower cognitive level in the ensemble of the mentioned system, which is realizing the perceptual curiosity mechanism through a novel fast, real-world robust algorithm for salient object detection and learning. C) Realization of a higher cognitive level through a general framework for knowledge acquisition from observation and interaction with the environment including humans. Based on the epistemic curiosity, the high-level cognitive system enables a machine (e.g. a robot) to be itself the actor of its learning. An important consequence of this system is the possibility to confer high level multimodal cognitive capabilities to robots to increase their autonomy in real-world environment (human environment). D) Realization of the strategy proposed in the context of autonomous robotics. The studies and experimental validations done had confirmed notably that our approach allows increasing the autonomy of robots in real-world environment

Cette thèse s'inscrit dans le cadre du projet IDEAL (Implementing DevelopmentAl Learning) financé par l'Agence Nationale de la Recherche (ANR). La capacité à percevoir, mémoriser et interpréter l'environnement qui nous entoure est une capacité vitale que l'on retrouve chez de nombreux êtres vivants. Cette capacité leur permet de générer des comportements adaptés à leur contexte, ou d'échapper à un prédateur sorti de leur champ de vision. L'objectif de cette thèse consiste à doter un agent artificiel de cette capacité. Nous proposons un modèle théorique permettant à un agent artificiel de générer des connaissances exploitables des éléments constituant son environnement et une structure reflétant l'espace. Ce modèle est basé sur la théorie de la contingence sensorimotrice, et implémente une forme de motivation intrinsèque. En effet, ce modèle débute avec un ensemble de structure indivisibles, appelées interactions, caractérisant les échanges entre l'agent et son environnement. L'apprentissage des connaissances est développemental et émerge de l'interaction entre l'agent et son environnement, sans qu'aucune intervention extérieure (récompense), ne soit nécessaire. Notre modèle propose des mécanismes permettant d'organiser et d'exploiter ces connaissances émergentes dans le but de générer des comportements. Nous proposons des implémentations de ce modèle pour démontrer l'émergence d'une connaissance à partir de l'interaction entre l'agent et son environnement, et les comportements qui émergent de cette connaissance / This thesis is a part of the IDEAL project (Implementing DEvelopmentAl Learning) funded by the Agence Nationale de la Recherche (ANR). The ability of perceiving, memorizing and interpreting the surrounding environment is a vital ability found in numerous living beings. This ability allows them to generate context adapted behaviors, or escaping from a predator that escape from their sensory system. The objective of this thesis consists in implementing such a capacity in artificial agents. We propose a theoretical model that allows artificial agent to generate a usable knowledge of elements that compose its environment and a structure able to characterize the structure of surrounding space. This model is based on the sensorimotor contingency theory, and implements a form of intrinsic motivation. Indeed, this model begin with a set of indivisible structures, called interactions, that characterize the interaction possibilities between the agent and its environment. The learning is developmental and emerges from the interaction that occurs between the agent and the environment, without the need of any external intervention (like reward). Our model propose a set of mechanisms that allow to organize and exploit emerging knowledge in order to generate behaviors. We propose implementations of our model to demonstrate the emerging knowledge based on agent-environment interaction, and behaviors that can emerge from this knowledge

Les Processus Décisionnels de Markov Partiellement Observables (PDMPOs) permettent de modéliser facilement lesproblèmes probabilistes de décision séquentielle dans l'incertain. Lorsqu'il s'agit d'une mission robotique, lescaractéristiques du robot et de son environnement nécessaires à la définition de la mission constituent le système. Son étatn'est pas directement visible par l'agent (le robot). Résoudre un PDMPO revient donc à calculer une stratégie qui remplit lamission au mieux en moyenne, i.e. une fonction prescrivant les actions à exécuter selon l'information reçue par l'agent. Cetravail débute par la mise en évidence, dans le contexte robotique, de limites pratiques du modèle PDMPO: ellesconcernent l'ignorance de l'agent, l'imprécision du modèle d'observation ainsi que la complexité de résolution. Unhomologue du modèle PDMPO appelé pi-PDMPO, simplifie la représentation de l'incertitude: il vient de la Théorie desPossibilités Qualitatives qui définit la plausibilité des événements de manière qualitative, permettant la modélisation del'imprécision et de l'ignorance. Une fois les modèles PDMPO et pi-PDMPO présentés, une mise à jour du modèle possibilisteest proposée. Ensuite, l'étude des pi-PDMPOs factorisés permet de mettre en place un algorithme appelé PPUDD utilisantdes Arbres de Décision Algébriques afin de résoudre plus facilement les problèmes structurés. Les stratégies calculées parPPUDD, testées par ailleurs lors de la compétition IPPC 2014, peuvent être plus efficaces que celles des algorithmesprobabilistes dans un contexte d'imprécision ou de grande dimension. Cette thèse propose d'utiliser les possibilitésqualitatives dans le but d'obtenir des améliorations en termes de temps de calcul et de modélisation. / Partially Observable Markov Decision Processes (POMDPs) define a useful formalism to express probabilistic sequentialdecision problems under uncertainty. When this model is used for a robotic mission, the system is defined as the featuresof the robot and its environment, needed to express the mission. The system state is not directly seen by the agent (therobot). Solving a POMDP consists thus in computing a strategy which, on average, achieves the mission best i.e. a functionmapping the information known by the agent to an action. Some practical issues of the POMDP model are first highlightedin the robotic context: it concerns the modeling of the agent ignorance, the imprecision of the observation model and thecomplexity of solving real world problems. A counterpart of the POMDP model, called pi-POMDP, simplifies uncertaintyrepresentation with a qualitative evaluation of event plausibilities. It comes from Qualitative Possibility Theory whichprovides the means to model imprecision and ignorance. After a formal presentation of the POMDP and pi-POMDP models,an update of the possibilistic model is proposed. Next, the study of factored pi-POMDPs allows to set up an algorithmnamed PPUDD which uses Algebraic Decision Diagrams to solve large structured planning problems. Strategies computedby PPUDD, which have been tested in the context of the competition IPPC 2014, can be more efficient than those producedby probabilistic solvers when the model is imprecise or for high dimensional problems. This thesis proposes some ways ofusing Qualitative Possibility Theory to improve computation time and uncertainty modeling in practice.

Dans cette thèse, nous proposons d'intégrer la notion d'habitude comportementale au sein d'une architecture de contrôle robotique, et d'étudier son interaction avec les mécanismes générant le comportement planifié. Les architectures de contrôle robotiques permettent à ce dernier d'être utilisé efficacement dans le monde réel et au robot de rester réactif aux changements dans son environnement, tout en étant capable de prendre des décisions pour accomplir des buts à long terme (Kortenkamp et Simmons, 2008). Or, ces architectures sont rarement dotées de capacités d'apprentissage leur permettant d'intégrer les expériences précédentes du robot. En neurosciences et en psychologie, l'étude des différents types d'apprentissage montre pour que ces derniers sont une capacité essentielle pour adapter le comportement des mammifères à des contextes changeants, mais également pour exploiter au mieux les contextes stables (Dickinson, 1985). Ces apprentissages sont modélisés par des algorithmes d'apprentissage par renforcement direct et indirect (Sutton et Barto, 1998), combinés pour exploiter leurs propriétés au mieux en fonction du contexte (Daw et al., 2005). Nous montrons que l'architecture proposée, qui s'inspire de ces modèles du comportement, améliore la robustesse de la performance lors d'un changement de contexte dans une tâche simulée. Si aucune des méthodes de combinaison évaluées ne se démarque des autres, elles permettent d'identifier les contraintes sur le processus de planification. Enfin, l'extension de l'étude de notre architecture à deux tâches (dont l'une sur robot réel) confirme que la combinaison permet l'amélioration de l'apprentissage du robot. / In this work, we study how the notion of behavioral habit, inspired from the study of biology, can benefit to robots. Robot control architectures allow the robot to be able to plan to reach long term goals while staying reactive to events happening in the environment (Kortenkamp et Simmons, 2008). However, these architectures are rarely provided with learning capabilities that would allow them to acquire knowledge from experience. On the other hand, learning has been shown as an essential abiilty for behavioral adaptation in mammals. It permits flexible adaptation to new contexts but also efficient behavior in known contexts (Dickinson, 1985). The learning mechanisms are modeled as model-based (planning) and model-free (habitual) reinforcement learning algorithms (Sutton et Barto, 1998) which are combined into a global model of behavior (Daw et al., 2005). We proposed a robotic control architecture that take inspiration from this model of behavior and embed the two kinds of algorithms, and studied its performance in a robotic simulated task. None of the several methods for combining the algorithm we studied gave satisfying results, however, it allowed to identify some properties required for the planning process in a robotic task. We extended our study to two other tasks (one being on a real robot) and confirmed that combining the algorithms improves learning of the robot's behavior.

Cette thèse se situe dans le cadre de la décision pour un agent<br />rationnel et autonome. Le travail consiste à élaborer un système de<br />contrôle intelligent pour un agent évoluant dans un environnement<br />incertain. L'agent doit pouvoir contrôler sa consommation de ressources<br />au cours d'une mission prédéfinie. La première partie de cette thèse<br />introduit le concept de planification sous incertitude. Une présentation<br />des processus décisionnels de Markov (MDP) précède un état de l'art sur<br />les techniques de résolution de MDP de grande taille.<br />Ce système de contrôle de ressources s'appuie sur le raisonnement<br />progressif. Le raisonnement progressif permet de modéliser un ensemble<br />de tâches sous forme d'unités de raisonnement progressif (ou PRUs).<br />Chaque PRU définit des niveaux de réalisation pour une tâche donnée,<br />donnant lieu à des qualités croissantes de réalisation. Chaque niveau<br />est lui-même composé de modules dont un seul sera retenu pour sa<br />réalisation. Choisir un module plutôt qu'un autre permet à l'agent de<br />faire un compromis entre la qualité de la tâche accomplie et les<br />ressources consommées.<br /><br />Cette thèse présente deux extensions du raisonnement progressif : la<br />prise en compte de ressources multiples et l'adaptation à un changement<br />de mission. Premièrement, des algorithmes sont présentés pour faire face<br />à l'explosion combinatoire due à l'introduction de nouvelles ressources.<br />Deuxièmement, l'élaboration d'un algorithme d'approximation de fonction<br />de valeur permet d'obtenir rapidement un système de contrôle pour<br />s'adapter à un éventuel changement de mission. Une expérience est<br />finalement menée sur un robot réel qui contre ses ressources grâce au<br />raisonnement progressif.