Dans le contexte de l'énaction et dans une approche globale de la perception, nous nous sommes intéressés à étudier calcul neuronal permettant de comprendre les relations entre les structures dans le cerveau et leurs fonctions. Nous avons d'abord examiné les problèmes calculatoires liés à la discrétisation des équations différentielles qui régissent les systèmes étudiés et aux schémas d'évaluation synchrones et asynchrones. Nous nous sommes, ensuite, intéressés à un niveau fonctionnel élémentaire: la transformation de représentations sensorielles spatiales en actes moteurs temporels dans le cadre du système visuo-moteur. Nous avons proposé un modèle minimaliste d'encodage automatique des cibles visuelles de saccades qui se concentre sur le le flux visuel de la rétine vers le colliculus supérieur. Ce modèle, basé sur sur des règles locales simples au sein d'une population homogène, permet de reproduire et d'expliquer plusieurs résultats d'expériences biologiques ce qui en fait un modèle de base efficace et robuste. Enfin, nous avons abordé un niveau fonctionnel plus global en proposant un modèle de la boucle motrice des ganglions de la base permettant d'intégrer des flux sensoriels, moteurs et motivationnels en vue d'une décision globale reposant sur des évaluations locales. Ce modèle met en exergue un processus adaptatif de sélection de l'action et d'encodage de contexte via des mécanismes originaux lui permettant en particulier de constituer la brique de base pour les autres boucles cortico-basales. Les deux modèles présentent des dynamiques intéressantes à étudier que ce soit d'un point de vue biologique ou d'un point de vue informatique computationnel / Within the context of enaction and a global approach to perception, we focused on the characteristics of neural computation necessary to understand the relationship between structures in the brain and their functions. We first considered computational problems related to the discretization of differential equations that govern the studied systems and the synchronous and asynchronous evaluation schemes. Then, we investigated a basic functional level : the transformation of spatial sensory representations into temporal motor actions within the visual-motor system. We focused on the visual flow from the retina to the superior colliculus to propose a minimalist model of automatic encoding of saccades to visual targets. This model, based on simple local rules (CNFT and logarithmic projection) in a homogeneous population and using a sequential processing, reproduces and explains several results of biological experiments. It is then considered as a robust and efficient basic model. Finally, we investigated a more general functional level by proposing a computational model of the basal ganglia motor loop. This model integrates sensory, motor and motivational flows to perform a global decision based on local assessments. We implemented an adaptive process for action selection and context encoding through an innovative mechanism that allows to form the basic circuit for other cortico-basal loops. This mechanism allows to create internal representations according to the enactive approach that opposes the computer metaphor of the brain. Both models have interesting dynamics to study from whether a biological point of view or a computational numerical one

De nombreuses expériences montrent la capacité des mammifères, particulièrement étudiée chez le rat, à pouvoir utiliser plusieurs types de navigation pour rejoindre un but. Ces stratégies seraient utilisées en fonction de la disponibilité de différents types d'amers présents dans l'environnement, situés à la proximité ou loin du but (resp. amers proximaux et distaux), ainsi que d'autres facteurs, comme la motivation, l'expérience ou le stress. Les études ont notamment porté ces dernières décennies sur les systèmes de mémoires engagés dans l'utilisation de ces stratégies, l'hypothèse dominante étant que des modules apprennent en parallèle des types distincts de stratégies, reposant ou non sur la construction d'une représentation interne de l'environnement. Les unes, reposant sur l'utilisation d'amers visibles, seraient apprises de manière relativement inflexible (apprentissage procédural) et impliqueraient notamment le striatum dorso-latéral. D'autres impliqueraient la formation hippocampique et reposeraient sur la construction préalable d'une "carte cognitive" de l'environnement (apprentissage déclaratif), en intégrant de manière redondante les amers disponibles. Cette carte, apprise indépendamment de la position du but, confèrerait une flexibilité importante à ce type de stratégies puisqu'elle aurait la capacité de repositionner rapidement le but, si celui-ci venait à être déplacé. L'hypothèse d'une telle représentation spatiale (théorie dite "cognitive") et de systèmes parallèles ayant des capacités différentes d'apprentissage est supportée par des comparaisons entre animaux intacts et animaux ayant des lésions des structures nerveuses concernées, de même que des expériences impliquant des manipulations de l'environnement (e.g., déplacement d'amers). Cette hypothèse est toutefois remise en question par la nature de l'apprentissage impliqué : la construction d'une représentation spatiale et son utilisation est contraire à nombre d'observations tendant à montrer que le comportement spatial est avant tout dirigé par une compétition entre les amers disponibles, résultant du même apprentissage procédural que celui mis en oeuvre dans un conditionnement opérant (théorie dite "associative"). Des expériences démontrent en effet que certains amers peuvent être occultés ou bloqués par d'autres selon qu'ils sont appris parallèlement ou séquentiellement, et remettent ainsi en question la possibilité d'intégrer ces amers de manière redondante. Selon les tenants de cette théorie, la navigation serait donc avant tout apprise et gérée de manière unitaire, empêchant ainsi l'émergence de plusieurs stratégies apprises en parallèle. Nous adoptons ici l'hypothèse, déjà formulée par d'autres neurobiologistes, que ces deux points de vue antagonistes pourraient s'expliquer par une gestion modulaire de la navigation, permettant des apprentissages différenciés et parallèles de plusieurs stratégies, et dont le mécanisme de sélection pourrait favoriser soit les compétitions entre amers, soit la nécessité de leur intégration. Cette thèse vise à concevoir un modèle computationnel de sélection de stratégies de navigation qui concilie les deux théories ou, a minima, y apporte des éléments de débats. La conception du modèle computationnel proposé dans ce travail et sous-tendu par cette hypothèse a nécessité de fait la mise en place d'une règle de sélection ne dépendant pas de la nature de l'apprentissage des stratégies et pouvant privilégier soit certains amers, soit l'utilisation d'une représentation spatiale construite avec plusieurs amers. Ce modèle sélectionne en ligne des stratégies apprises par des algorithmes d'apprentissage procéduraux (apprentissage par renforcement) et déclaratifs (recherche de graphe). Ces acquisitions s'effectuent en parallèle et peuvent favoriser une coopération entre les stratégies, car chacune peut apprendre des comportements de l'autre. Le module de sélection de ces stratégies peut inciter des interactions compétitives, car il effectue ses choix sur la base d'un apprentissage de type associatif. L'existence d'un tel module de sélection, indépendant des systèmes d'apprentissage des stratégies, est corroboré par certains travaux récents démontrant l'implication de structures du cortex préfrontal et des ganglions de la base dans cette fonction. Le dispositif expérimental utilisé est la piscine de Morris, dans laquelle le comportement spatial de rats a été étudié de façon approfondie depuis une trentaine d'années. Nous avons limité nos analyses, d'une part, aux interactions entre stratégies de guidage (utilisant directement des indices visuels) et stratégies de lieu (utilisant une représentation spatiale construite à partir de cellules de lieu simulées par un modèle d'hippocampe intégré au modèle) et, d'autre part, à la recherche d'un seul but, dépendant d'un seul système motivationnel. Après avoir démontré le comportement du modèle dans des situations où seuls certains types d'amers (proximaux ou distaux) sont présents, nous avons reproduit diverses expériences dans lesquelles l'influence de l'interaction de ces types d'amers a donné lieu à des interprétations issues de l'une ou de l'autre des deux théories antagonistes. Nous y apportons un corpus d'explications, conciliant à la fois les données neurobiologiques et comportementales, ainsi que des prédictions comportementales qui permettront aux neurobiologistes d'estimer l'utilité de ce modèle. Nous avançons notamment que l'utilisation d'une stratégie fondée sur une carte cognitive (intégration d'amers) ne peut pas être écartée, car elle se révèle indispensable pour expliquer certains effets de blocage ou d'occultation caractéristiques de la théorie associative. Nous suggérons aussi que l'existence de deux stratégies de guidage, l'une ayant un cadre de référence égocentré (apprenant les trajets conduisant au but en fonction de l'orientation du corps), l'autre un cadre de référence allocentré (apprenant une direction générale conduisant au but en fonction d'un repère absolu) doit nécessairement être prise en compte pour générer certaines interactions compétitives ou coopératives observées entre systèmes de navigation. Nous montrons aussi qu'une intégration d'amers n'est pas forcément utilisée par les animaux car une stratégie de guidage allocentrée, même fondée sur une compétition d'amers, peut être suffisante dans certains contextes pour expliquer leur comportement. En résumé, ce modèle de navigation, associant des systèmes parallèles d'apprentissage procéduraux et déclaratifs et sélectionnés par un mécanisme procédural, est en mesure de proposer une architecture computationnelle qui pourrait concilier les hypothèses issues des théories associative et cognitive du comportement spatial. Ce travail a également une retombée dans le domaine de la robotique, proposant par cette architecture une augmentation de l'autonomie dans la navigation d'un système artificiel, pouvant sélectionner en ligne les stratégies les plus efficaces pour atteindre ses ressources.

De nos jours, les humains virtuels ont besoin d'une grande autonomie pour pouvoir vivre leur propre vie dans des mondes virtuels persistants comme les personnages non joueurs dans les jeux vidéo. Lors de la conception d'humains virtuels autonomes, la problématique de la sélection de l'action doit être prise en compte car elle est responsable de leur prise de décision à chaque instant. En effet, les architectures de sélection de l'action pour les humains virtuels autonomes doivent être réactives, dirigées par des buts, et intégrer des motivations et des émotions pour obtenir un haut niveau d'autonomie et d'individualité. Cette thèse peut être divisée en trois parties. Dans la première partie, nous définissons chaque mot de notre titre pour en préciser leur sens et poser la problématique de ce travail. Nous décrivons ensuite les domaines dont nous nous sommes inspirés pour élaborer notre modèle car le sujet de ce travail est très multidisciplinaire. En effet, la prise de décision est essentielle pour toute entité autonome et est étudiée en éthologie, robotique, infographie, informatique, et dans les sciences cognitives. Cependant nous avons choisi certaines techniques spécifiques pour implémenter notre modèle parmi toutes celles possibles : les systèmes de classeurs hiérarchiques et les hiérarchies à libre flux. La seconde partie de cette thèse décrit en détail notre modèle de sélection de l'action pour des humains virtuels. Nous avons utilisé des systèmes de classeurs hiérarchiques, fonctionnant en parallèle, pour générer des plans de comportements cohérents. Ils sont associés avec les fonctionnalités des hiérarchies à libre flux pour la propagation de l'activité car elles donnent une grande flexibilité et réactivité aux systèmes hiérarchiques. Plusieurs fonctionnalités ont été ajoutées pour améliorer et faciliter le choix de l'action la plus appropriée, à chaque instant, par rapport aux influences internes et externes. Finalement, dans la troisième partie de la thèse, un environnement virtuel complexe est créé avec beaucoup de motivations conflictuelles pour tester notre architecture et ses fonctionnalités. Les résultats démontrent que le modèle est suffisamment efficace, robuste, et flexible pour concevoir des humains virtuels motivés et autonomes dans des mondes virtuels persistants. De plus, nous venons de commencer les investigations au niveau des émotions dans notre modèle et nous projetons de continuer dans le futur pour avoir des comportements plus subjectifs et plus adaptés aux différentes situations ainsi que pour gérer les interactions sociales avec d'autres humains virtuels ou des utilisateurs. Appliquée aux jeux vidéo, notre architecture de sélection de l'action pour des humains virtuels autonomes dans des mondes persistants rendrait les personnages non-joueurs plus intéressants et plus réalistes car ils pourraient vivre leur propre vie lorsqu'ils ne sont pas en interaction avec les joueurs.

Ce mémoire d'Habilitation à Diriger des Recherches synthétise les travaux que j'ai menés dans le domaine des neurosciences computationnelles. Ils traitent de trois thématiques principales en interaction: la sélection de l'action, la navigation et l'exécution motrice. Le substrat neural de ces fonctions, et principalement les ganglions de la base et le colliculus supérieur, ont été modélisés sous forme de réseaux de neurones contraints par les données issues de la neuro-anatomie et de l'électrophysiologie. Les résultats présentés résument mes contributions portant sur : les processus de sélection, d'apprentissage par renforcement et de modulation motivationnelle dans les ganglions de la base, le rôle de l'incertitude dans la sélection de l'action, la sélection de stratégies de navigation, l'intégration de chemin pour la stratégie de retour au point de départ, et la transformation spatio-temporelle pour la génération de saccades oculaires. Enfin, les liens reliant l'ensemble de ces études sont mis en exergue afin de délimiter le programme de recherche qui en découle.

La conception d'architectures de contrôle de robots adaptatifs autonomes nécessite de résoudre les problèmes de sélection de l'action et de navigation. La sélection de l'action concerne le choix, à chaque instant, du comportement le plus adapté afin d'assurer la survie. Ce choix dépend du contexte environnemental, de l'état interne du robot et de motivations pouvant être contradictoires. La navigation se rapporte à la locomotion, la cartographie, la localisation et la planification de chemin dans l'environnement. La mise en (\oe)uvre conjointe de ces deux capacités --pour, par exemple, exploiter la planification de chemin pour retrouver des ressources vitales-- n'a été que peu abordée par les nombreux systèmes ingénieurs appliqués à la robotique autonome. Les progrès récents en neurosciences permettent de proposer des modèles des structures neurales impliquées dans l'intégration d'information spatiales pour la sélection de l'action. Chez les vertébrés, ces structures correspondent aux ganglions de la base, un ensemble de noyaux subcorticaux. L'objectif de ce travail a été de s'inspirer de ces connaissances neurobiologiques pour élaborer l'architecture de sélection de l'action d'un robot autonome prenant en compte à la fois des informations sensorimotrices, motivationnelles et spatiales. Dans un premier temps, nous avons adapté un modèle biomimétique de sélection de l'action déjà existant pour tester sa capacité à résoudre une tâche de survie dans une implémentation robotique. Nous avons montré, par des comparaisons avec un système de sélection de type «winner-takes-all», que ses propriétés dynamiques lui permettent de limiter les oscillations comportementales, de maintenir ses variables internes à un niveau plus élevé et de limiter sa consommation d'énergie. Dans un deuxième temps, nous nous sommes inspirés des rôles distincts des circuits dorsaux --sélection de l'action-- et ventraux --intégration de la navigation-- des ganglions de la base pour élaborer une architecture interfaçant ce modèle de sélection de l'action avec deux stratégies de navigation : approche d'objets et planification topologique. Nous l'avons testée sur un robot simulé réalisant une tâche de survie similaire à la précédente. Le robot s'est avéré capable d'utiliser la planification pour rejoindre des ressources distantes, d'utiliser de façon complémentaire l'approche d'objets pour exploiter les ressources inconnues, d'adapter son comportement à la disparition de ressources, à son état interne et aux configurations environnementales, et enfin de survivre dans un environnement complexe réunissant l'ensemble des situations préalablement testées. Nous concluons que les circuits des ganglions de la base modélisés ont permis d'obtenir un système robuste d'interface de la sélection de l'action et de la navigation pour une architecture de contrôle de robot autonome. Cependant, des connaissances supplémentaires en neurobiologie seraient nécessaires pour affiner la plausibilité du modèle proposé. De plus, l'intégration de capacités d'apprentissage par renforcement --qui mettent également en jeu les ganglions de la base-- s'avère indispensable pour améliorer l'adaptativité de notre modèle.

Dans le contexte de l'énaction et dans une approche globale de la perception, nous nous sommes intéressés à étudier calcul neuronal permettant de comprendre les relations entre les structures dans le cerveau et leurs fonctions. Nous avons d'abord examiné les problèmes calculatoires liés à la discrétisation des équations différentielles qui régissent les systèmes étudiés et aux schémas d'évaluation synchrones et asynchrones. Nous nous sommes, ensuite, intéressés à un niveau fonctionnel élémentaire: la transformation de représentations sensorielles spatiales en actes moteurs temporels dans le cadre du système visuo-moteur. Nous avons proposé un modèle minimaliste d'encodage automatique des cibles visuelles de saccades qui se concentre sur le le flux visuel de la rétine vers le colliculus supérieur. Ce modèle, basé sur sur des règles locales simples au sein d'une population homogène, permet de reproduire et d'expliquer plusieurs résultats d'expériences biologiques ce qui en fait un modèle de base efficace et robuste. Enfin, nous avons abordé un niveau fonctionnel plus global en proposant un modèle de la boucle motrice des ganglions de la base permettant d'intégrer des flux sensoriels, moteurs et motivationnels en vue d'une décision globale reposant sur des évaluations locales. Ce modèle met en exergue un processus adaptatif de sélection de l'action et d'encodage de contexte via des mécanismes originaux lui permettant en particulier de constituer la brique de base pour les autres boucles cortico-basales. Les deux modèles présentent des dynamiques intéressantes à étudier que ce soit d'un point de vue biologique ou d'un point de vue informatique computationnel.

Dans cette thèse, nous proposons d'intégrer la notion d'habitude comportementale au sein d'une architecture de contrôle robotique, et d'étudier son interaction avec les mécanismes générant le comportement planifié. Les architectures de contrôle robotiques permettent à ce dernier d'être utilisé efficacement dans le monde réel et au robot de rester réactif aux changements dans son environnement, tout en étant capable de prendre des décisions pour accomplir des buts à long terme (Kortenkamp et Simmons, 2008). Or, ces architectures sont rarement dotées de capacités d'apprentissage leur permettant d'intégrer les expériences précédentes du robot. En neurosciences et en psychologie, l'étude des différents types d'apprentissage montre pour que ces derniers sont une capacité essentielle pour adapter le comportement des mammifères à des contextes changeants, mais également pour exploiter au mieux les contextes stables (Dickinson, 1985). Ces apprentissages sont modélisés par des algorithmes d'apprentissage par renforcement direct et indirect (Sutton et Barto, 1998), combinés pour exploiter leurs propriétés au mieux en fonction du contexte (Daw et al., 2005). Nous montrons que l'architecture proposée, qui s'inspire de ces modèles du comportement, améliore la robustesse de la performance lors d'un changement de contexte dans une tâche simulée. Si aucune des méthodes de combinaison évaluées ne se démarque des autres, elles permettent d'identifier les contraintes sur le processus de planification. Enfin, l'extension de l'étude de notre architecture à deux tâches (dont l'une sur robot réel) confirme que la combinaison permet l'amélioration de l'apprentissage du robot. / In this work, we study how the notion of behavioral habit, inspired from the study of biology, can benefit to robots. Robot control architectures allow the robot to be able to plan to reach long term goals while staying reactive to events happening in the environment (Kortenkamp et Simmons, 2008). However, these architectures are rarely provided with learning capabilities that would allow them to acquire knowledge from experience. On the other hand, learning has been shown as an essential abiilty for behavioral adaptation in mammals. It permits flexible adaptation to new contexts but also efficient behavior in known contexts (Dickinson, 1985). The learning mechanisms are modeled as model-based (planning) and model-free (habitual) reinforcement learning algorithms (Sutton et Barto, 1998) which are combined into a global model of behavior (Daw et al., 2005). We proposed a robotic control architecture that take inspiration from this model of behavior and embed the two kinds of algorithms, and studied its performance in a robotic simulated task. None of the several methods for combining the algorithm we studied gave satisfying results, however, it allowed to identify some properties required for the planning process in a robotic task. We extended our study to two other tasks (one being on a real robot) and confirmed that combining the algorithms improves learning of the robot's behavior.