The research presented in this thesis examines the area of control systems for robots or animats (animal-like robots). Existing systems have problems in that they require a great deal of manual design or are limited to performing jobs of a single type. For these reasons, a better solution is desired. The system studied here is an Artificial Nervous System (ANS) which is biologically inspired; it is arranged as a hierarchy of layers containing modules operating in parallel. The ANS model has been developed to be flexible, scalable, extensible and modular. The ANS can be implemented using any suitable technology, for many different environments. The implementation focused on the two lowest layers (the reflex and action layers) of the ANS, which are concerned with control and rhythmic movement. Both layers were realised as Artificial Neural Networks (ANN) which were created using Evolutionary Algorithms (EAs). The task of the reflex layer was to control the position of an actuator (such as linear actuators or D.C. motors). The action layer performed the task of Central Pattern Generators (CPG), which produce rhythmic patterns of activity. In particular, different biped and quadruped gait patterns were created. An original neural model was specifically developed for assisting in the creation of these time-based patterns. It is shown in the thesis that Artificial Reflexes and CPGs can be configured successfully using this technique. The Artificial Reflexes were better at generalising across different actuators, without changes, than traditional controllers. Gaits such as pace, trot, gallop and pronk were successfully created using the CPGs. Experiments were conducted to determine whether modularity in the networks had an impact. It has been demonstrated that the degree of modularization in the network influences its evolvability, with more modular networks evolving more efficiently.

Dans cette thèse, nous nous intéressons à la navigation et à l'orientation d'un robot à l'aide de mesures d'angles, sans information de distance ni reconstitution de l'environnement.<br /><br />Des modèles issus d'expériences sur des abeilles ont montré qu'une approche minimaliste suffit pour une tâche de retour au nid à orientation connue. Nous analysons les conséquences d'une erreur d'orientation et les modes de fonctionnement dégradés qui restent possibles mais insatisfaisants.<br /><br />Nous élaborons une méthode originale et minimale de réorientation, appelée « compas visuel ». L'observation de trois panoramas d'orientation connue et une approximation au premier ordre suffisent pour mémoriser de quoi s'orienter. Nous comparons le compas visuel avec une seconde méthode plus simple et approximative. Nous montrons formellement et expérimentalement que leur précision est suffisante pour naviguer et que leur champ d'action peut être arbitrairement étendu par construction d'une carte cognitive.

La gestion des déplacements dans l'espace pour un robot mobile autonome est un problème qui a été abordé dès les premiers essais d'intégration de l'intelligence artificielle et de la robotique, mais qui reste difficile et auquel peu de solutions générales ont été apportées. Parmi toutes les stratégies de navigation existantes, nous nous intéressons à celles qui utilisent une carte représentant la structure spatiale de l'environnement et qui permettent de planifi er les déplacements jusqu'à un but lointain. La construction d'une carte et l'estimation de la position du robot sont deux sous-problèmes de navigation qui ont reçu isolément des solutions e fficaces. Toutefois, leur résolution simultanée reste une tâche complexe. Le problème de l'estimation de la position, pris isolément, peut notamment être résolu de manière très e fficace par des modèles probabilistes utilisant des Processus de Décision Markoviens Partiellement Observables. Toutefois, ces modèles ne peuvent en général pas être utilisés pour construire "en-ligne" la carte qu'ils utilisent. Nous avons élaboré un modèle de navigation qui s'inspire de ces méthodes mais qui, à partir de capteurs relativement imprécis, permet la construction "en-ligne" de la carte. La capacité d'intégration des informations qu'o ffre cette méthode de localisation permet de compenser la faiblesse des perceptions. Nous utilisons de plus des procédures de perception active qui permettent, en fonction du contexte, d'utiliser les capteurs de manière e fficace. Notre modèle permet ainsi, en faisant peu d'hypothèses sur l'environnement, une estimation robuste de la position et une construction simultanée de la carte. Ses capacités ont été démontrées à la fois en simulation et sur un robot réel. En particulier, nous avons montré qu'il permettait au robot de se localiser correctement dès son introduction dans un environnement nouveau, de se relocaliser rapidement lorsqu'il est transporté passivement d'un endroit à un autre et de plani fier une trajectoire permettant de rejoindre de manière robuste un but donné.

De nombreuses expériences montrent la capacité des mammifères, particulièrement étudiée chez le rat, à pouvoir utiliser plusieurs types de navigation pour rejoindre un but. Ces stratégies seraient utilisées en fonction de la disponibilité de différents types d'amers présents dans l'environnement, situés à la proximité ou loin du but (resp. amers proximaux et distaux), ainsi que d'autres facteurs, comme la motivation, l'expérience ou le stress. Les études ont notamment porté ces dernières décennies sur les systèmes de mémoires engagés dans l'utilisation de ces stratégies, l'hypothèse dominante étant que des modules apprennent en parallèle des types distincts de stratégies, reposant ou non sur la construction d'une représentation interne de l'environnement. Les unes, reposant sur l'utilisation d'amers visibles, seraient apprises de manière relativement inflexible (apprentissage procédural) et impliqueraient notamment le striatum dorso-latéral. D'autres impliqueraient la formation hippocampique et reposeraient sur la construction préalable d'une "carte cognitive" de l'environnement (apprentissage déclaratif), en intégrant de manière redondante les amers disponibles. Cette carte, apprise indépendamment de la position du but, confèrerait une flexibilité importante à ce type de stratégies puisqu'elle aurait la capacité de repositionner rapidement le but, si celui-ci venait à être déplacé. L'hypothèse d'une telle représentation spatiale (théorie dite "cognitive") et de systèmes parallèles ayant des capacités différentes d'apprentissage est supportée par des comparaisons entre animaux intacts et animaux ayant des lésions des structures nerveuses concernées, de même que des expériences impliquant des manipulations de l'environnement (e.g., déplacement d'amers). Cette hypothèse est toutefois remise en question par la nature de l'apprentissage impliqué : la construction d'une représentation spatiale et son utilisation est contraire à nombre d'observations tendant à montrer que le comportement spatial est avant tout dirigé par une compétition entre les amers disponibles, résultant du même apprentissage procédural que celui mis en oeuvre dans un conditionnement opérant (théorie dite "associative"). Des expériences démontrent en effet que certains amers peuvent être occultés ou bloqués par d'autres selon qu'ils sont appris parallèlement ou séquentiellement, et remettent ainsi en question la possibilité d'intégrer ces amers de manière redondante. Selon les tenants de cette théorie, la navigation serait donc avant tout apprise et gérée de manière unitaire, empêchant ainsi l'émergence de plusieurs stratégies apprises en parallèle. Nous adoptons ici l'hypothèse, déjà formulée par d'autres neurobiologistes, que ces deux points de vue antagonistes pourraient s'expliquer par une gestion modulaire de la navigation, permettant des apprentissages différenciés et parallèles de plusieurs stratégies, et dont le mécanisme de sélection pourrait favoriser soit les compétitions entre amers, soit la nécessité de leur intégration. Cette thèse vise à concevoir un modèle computationnel de sélection de stratégies de navigation qui concilie les deux théories ou, a minima, y apporte des éléments de débats. La conception du modèle computationnel proposé dans ce travail et sous-tendu par cette hypothèse a nécessité de fait la mise en place d'une règle de sélection ne dépendant pas de la nature de l'apprentissage des stratégies et pouvant privilégier soit certains amers, soit l'utilisation d'une représentation spatiale construite avec plusieurs amers. Ce modèle sélectionne en ligne des stratégies apprises par des algorithmes d'apprentissage procéduraux (apprentissage par renforcement) et déclaratifs (recherche de graphe). Ces acquisitions s'effectuent en parallèle et peuvent favoriser une coopération entre les stratégies, car chacune peut apprendre des comportements de l'autre. Le module de sélection de ces stratégies peut inciter des interactions compétitives, car il effectue ses choix sur la base d'un apprentissage de type associatif. L'existence d'un tel module de sélection, indépendant des systèmes d'apprentissage des stratégies, est corroboré par certains travaux récents démontrant l'implication de structures du cortex préfrontal et des ganglions de la base dans cette fonction. Le dispositif expérimental utilisé est la piscine de Morris, dans laquelle le comportement spatial de rats a été étudié de façon approfondie depuis une trentaine d'années. Nous avons limité nos analyses, d'une part, aux interactions entre stratégies de guidage (utilisant directement des indices visuels) et stratégies de lieu (utilisant une représentation spatiale construite à partir de cellules de lieu simulées par un modèle d'hippocampe intégré au modèle) et, d'autre part, à la recherche d'un seul but, dépendant d'un seul système motivationnel. Après avoir démontré le comportement du modèle dans des situations où seuls certains types d'amers (proximaux ou distaux) sont présents, nous avons reproduit diverses expériences dans lesquelles l'influence de l'interaction de ces types d'amers a donné lieu à des interprétations issues de l'une ou de l'autre des deux théories antagonistes. Nous y apportons un corpus d'explications, conciliant à la fois les données neurobiologiques et comportementales, ainsi que des prédictions comportementales qui permettront aux neurobiologistes d'estimer l'utilité de ce modèle. Nous avançons notamment que l'utilisation d'une stratégie fondée sur une carte cognitive (intégration d'amers) ne peut pas être écartée, car elle se révèle indispensable pour expliquer certains effets de blocage ou d'occultation caractéristiques de la théorie associative. Nous suggérons aussi que l'existence de deux stratégies de guidage, l'une ayant un cadre de référence égocentré (apprenant les trajets conduisant au but en fonction de l'orientation du corps), l'autre un cadre de référence allocentré (apprenant une direction générale conduisant au but en fonction d'un repère absolu) doit nécessairement être prise en compte pour générer certaines interactions compétitives ou coopératives observées entre systèmes de navigation. Nous montrons aussi qu'une intégration d'amers n'est pas forcément utilisée par les animaux car une stratégie de guidage allocentrée, même fondée sur une compétition d'amers, peut être suffisante dans certains contextes pour expliquer leur comportement. En résumé, ce modèle de navigation, associant des systèmes parallèles d'apprentissage procéduraux et déclaratifs et sélectionnés par un mécanisme procédural, est en mesure de proposer une architecture computationnelle qui pourrait concilier les hypothèses issues des théories associative et cognitive du comportement spatial. Ce travail a également une retombée dans le domaine de la robotique, proposant par cette architecture une augmentation de l'autonomie dans la navigation d'un système artificiel, pouvant sélectionner en ligne les stratégies les plus efficaces pour atteindre ses ressources.

In this thesis, we introduce the Distributed Learning Classifier System (DLCS) as a novel extension of J. H. Holland's standard learning classifier system. While the standard LCS offers effective real-time control and learning, one of its limitations is that it does not provide a mechanism for allowing communication between LCS agents in a multiple-agent scenario. Often multiple-agents are used to solve large tasks collectively by subdividing the task into smaller parts. Multiple agents can also be used to solve a task in parallel so that a solution can be arrived at more rapidly. With the DLCS, we introduce mechanisms that satisfy both of these cases, while still providing compatible operation with the LCS. We introduce three types of messages that can be passed between DLCS agents. The first, the classifier message, allows agents to share learned information with one another, thereby helping agents benefit from each other's successes. The second, the action message, allows agents to "talk" to one another. The third, the bucket brigade algorithm payoff message, extends the chain rewarding payoff scheme of the standard LCS to multiple DLCS agents. Finally, we present some simulation results for both the standard LCS and the DLCS. Our LCS simulations examine some of the important aspects of learning classifier system operation, as well as illustrate some of the shortcomings. The DCLS simulations justify the distributed architecture and suggest future directions for achieving learning among multiple agents. / Master of Science

La conception d'architectures de contrôle de robots adaptatifs autonomes nécessite de résoudre les problèmes de sélection de l'action et de navigation. La sélection de l'action concerne le choix, à chaque instant, du comportement le plus adapté afin d'assurer la survie. Ce choix dépend du contexte environnemental, de l'état interne du robot et de motivations pouvant être contradictoires. La navigation se rapporte à la locomotion, la cartographie, la localisation et la planification de chemin dans l'environnement. La mise en (\oe)uvre conjointe de ces deux capacités --pour, par exemple, exploiter la planification de chemin pour retrouver des ressources vitales-- n'a été que peu abordée par les nombreux systèmes ingénieurs appliqués à la robotique autonome. Les progrès récents en neurosciences permettent de proposer des modèles des structures neurales impliquées dans l'intégration d'information spatiales pour la sélection de l'action. Chez les vertébrés, ces structures correspondent aux ganglions de la base, un ensemble de noyaux subcorticaux. L'objectif de ce travail a été de s'inspirer de ces connaissances neurobiologiques pour élaborer l'architecture de sélection de l'action d'un robot autonome prenant en compte à la fois des informations sensorimotrices, motivationnelles et spatiales. Dans un premier temps, nous avons adapté un modèle biomimétique de sélection de l'action déjà existant pour tester sa capacité à résoudre une tâche de survie dans une implémentation robotique. Nous avons montré, par des comparaisons avec un système de sélection de type «winner-takes-all», que ses propriétés dynamiques lui permettent de limiter les oscillations comportementales, de maintenir ses variables internes à un niveau plus élevé et de limiter sa consommation d'énergie. Dans un deuxième temps, nous nous sommes inspirés des rôles distincts des circuits dorsaux --sélection de l'action-- et ventraux --intégration de la navigation-- des ganglions de la base pour élaborer une architecture interfaçant ce modèle de sélection de l'action avec deux stratégies de navigation : approche d'objets et planification topologique. Nous l'avons testée sur un robot simulé réalisant une tâche de survie similaire à la précédente. Le robot s'est avéré capable d'utiliser la planification pour rejoindre des ressources distantes, d'utiliser de façon complémentaire l'approche d'objets pour exploiter les ressources inconnues, d'adapter son comportement à la disparition de ressources, à son état interne et aux configurations environnementales, et enfin de survivre dans un environnement complexe réunissant l'ensemble des situations préalablement testées. Nous concluons que les circuits des ganglions de la base modélisés ont permis d'obtenir un système robuste d'interface de la sélection de l'action et de la navigation pour une architecture de contrôle de robot autonome. Cependant, des connaissances supplémentaires en neurobiologie seraient nécessaires pour affiner la plausibilité du modèle proposé. De plus, l'intégration de capacités d'apprentissage par renforcement --qui mettent également en jeu les ganglions de la base-- s'avère indispensable pour améliorer l'adaptativité de notre modèle.

I extended an artificial life platform called GReaNs (the name stands for Gene Regulatory evolving artificial Networks) to explore the evolutionary abilities of biologically inspired Spiking Neural Network (SNN) model. The encoding of SNNs in GReaNs was inspired by the encoding of gene regulatory networks. As proof-of-principle, I used GReaNs to evolve SNNs to obtain a network with an output neuron which generates a predefined spike train in response to a specific input. Temporal pattern recognition was one of the main tasks during my studies. It is widely believed that nervous systems of biological organisms use temporal patterns of inputs to encode information. The learning technique used for temporal pattern recognition is not clear yet. I studied the ability to evolve spiking networks with different numbers of interneurons in the absence and the presence of noise to recognize predefined temporal patterns of inputs. Results showed, that in the presence of noise, it was possible to evolve successful networks. However, the networks with only one interneuron were not robust to noise. The foraging behaviour of many small animals depends mainly on their olfactory system. I explored whether it was possible to evolve SNNs able to control an agent to find food particles on 2-dimensional maps. Using ring rate encoding to encode the sensory information in the olfactory input neurons, I managed to obtain SNNs able to control an agent that could detect the position of the food particles and move toward it. Furthermore, I did unsuccessful attempts to use GReaNs to evolve an SNN able to control an agent able to collect sound sources from one type out of several sound types. Each sound type is represented as a pattern of different frequencies. In order to use the computational power of neuromorphic hardware, I integrated GReaNs with the SpiNNaker hardware system. Only the simulation part was carried out using SpiNNaker, but the rest steps of the genetic algorithm were done with GReaNs.