Dans cette thèse, nous proposons d'intégrer la notion d'habitude comportementale au sein d'une architecture de contrôle robotique, et d'étudier son interaction avec les mécanismes générant le comportement planifié. Les architectures de contrôle robotiques permettent à ce dernier d'être utilisé efficacement dans le monde réel et au robot de rester réactif aux changements dans son environnement, tout en étant capable de prendre des décisions pour accomplir des buts à long terme (Kortenkamp et Simmons, 2008). Or, ces architectures sont rarement dotées de capacités d'apprentissage leur permettant d'intégrer les expériences précédentes du robot. En neurosciences et en psychologie, l'étude des différents types d'apprentissage montre pour que ces derniers sont une capacité essentielle pour adapter le comportement des mammifères à des contextes changeants, mais également pour exploiter au mieux les contextes stables (Dickinson, 1985). Ces apprentissages sont modélisés par des algorithmes d'apprentissage par renforcement direct et indirect (Sutton et Barto, 1998), combinés pour exploiter leurs propriétés au mieux en fonction du contexte (Daw et al., 2005). Nous montrons que l'architecture proposée, qui s'inspire de ces modèles du comportement, améliore la robustesse de la performance lors d'un changement de contexte dans une tâche simulée. Si aucune des méthodes de combinaison évaluées ne se démarque des autres, elles permettent d'identifier les contraintes sur le processus de planification. Enfin, l'extension de l'étude de notre architecture à deux tâches (dont l'une sur robot réel) confirme que la combinaison permet l'amélioration de l'apprentissage du robot. / In this work, we study how the notion of behavioral habit, inspired from the study of biology, can benefit to robots. Robot control architectures allow the robot to be able to plan to reach long term goals while staying reactive to events happening in the environment (Kortenkamp et Simmons, 2008). However, these architectures are rarely provided with learning capabilities that would allow them to acquire knowledge from experience. On the other hand, learning has been shown as an essential abiilty for behavioral adaptation in mammals. It permits flexible adaptation to new contexts but also efficient behavior in known contexts (Dickinson, 1985). The learning mechanisms are modeled as model-based (planning) and model-free (habitual) reinforcement learning algorithms (Sutton et Barto, 1998) which are combined into a global model of behavior (Daw et al., 2005). We proposed a robotic control architecture that take inspiration from this model of behavior and embed the two kinds of algorithms, and studied its performance in a robotic simulated task. None of the several methods for combining the algorithm we studied gave satisfying results, however, it allowed to identify some properties required for the planning process in a robotic task. We extended our study to two other tasks (one being on a real robot) and confirmed that combining the algorithms improves learning of the robot's behavior.

Cette thèse a pour objectif la conception d’une architecture de contrôle bio-inspirée permettant à un robot autonome de naviguer sur de grandes distances. Le modèle développé permet également d’améliorer la compréhension des mécanismes biologiques impliqués. De précédents travaux ont montré qu’un modèle de cellules de lieu, enregistrées chez le rat, permettait à un robot mobile d’apprendre des comportements de navigation robustes, tels qu’une ronde ou un retour au nid, à partir d’associations entre lieu et action. La reconnaissance d’un lieu ne reposait alors que sur des informations visuelles. L’ambiguïté de certaines situations (e.g. un long couloir) ne permettait pas de naviguer dans de grands environnements. L’ajout d’autres modalités constitue une solution efficace pour augmenter la robustesse dans des environnements complexes. Cette solution nous a permis d’identifier les briques minimales nécessaires à la fusion d’informations multimodales, d’abord par le biais d’un conditionnement simple entre 2 modalités sensorielles, puis par la formalisation d’un modèle, plus générique, de prédictions inter-modales. C’est un mécanisme bas niveau qui permet de générer une cohérence perceptive : l’ensemble des modalités sensorielles s’entraident pour ne renvoyer qu’une perception claire et cohérente aux mécanismes décisionnels de plus haut niveau. Les modalités les plus corrélées sont ainsi capables de combler les informations manquantes d’une modalité défaillante (cas pathologique). Ce modèle implique la mise en place d’un système de prédiction et donc une capacité à détecter de la nouveauté dans ses perceptions. Ainsi, le modèle est également capable de détecter une situation inattendue ou anormale et possède donc une capacité d’auto-évaluation : l’évaluation de ses propres perceptions. Nous nous sommes ensuite mis à la recherche des propriétés fondamentales à tout système d'auto-évaluation.La première propriété essentielle a été de constater qu’évaluer un comportement sensorimoteur revient à reconnaître une dynamique entre sensation et action, plutôt que la simple reconnaissance d’une forme sensorielle. La première brique encapsule donc un modèle interne minimaliste des interactions du robot avec son environnement, qui est la base sur laquelle le système fera des prédictions.La seconde propriété essentielle est la capacité à extraire l’information pertinente par le biais de calculs statistiques. Il est nécessaire que le robot apprenne à capturer les invariants statistiques en supprimant l’information incohérente. Nous avons donc montré qu’il était possible d’estimer une densité de probabilité par le biais d’un simple conditionnement. Cet apprentissage permet de réaliser l’équivalent d’une inférence bayésienne. Le système estime la probabilité de reconnaître un comportement à partir de la reconnaissance d’informations statistiques apprises. C’est donc par la mise en cascade de simples conditionnements que le système peut apprendre à estimer les moments statistiques d’une dynamique (moyenne, variance, asymétrie, etc...). La non-reconnaissance de cette dynamique lui permet de détecter qu’une situation est anormale.Mais détecter un comportement inhabituel ne nous renseigne pas pour autant sur son inefficacité. Le système doit également surveiller l’évolution de cette anomalie dans le temps pour pouvoir juger de la pertinence du comportement. Nous montrons comment un contrôleur émotionnel peut faire usage de cette détection de nouveauté pour réguler le comportement et ainsi permettre au robot d’utiliser la stratégie la plus adaptée à la situation rencontrée. Pour finir, nous avons mis en place une procédure de frustration permettant au robot de lancer un appel à l’aide lorsqu’il détecte qu’il se retrouve dans une impasse. Ce réseau de neurones permet au robot d’identifier les situations qu’il ne maîtrise pas dans le but d’affiner son apprentissage, à l’instar de certains processus développementaux. / The goal of this thesis is to build a bio-inspired architecture allowing a robot to autonomouslynavigate over large distances. In a cognitive science point of view, the model also aim at improv-ing the understanding of the underlying biological mechanisms. Previous works showed thata computational model of hippocampal place cells, based on neurobiological studies made onrodent, allows a robot to learn robust navigation behaviors. The robot can learn a round or ahoming behavior from a few associations between places and actions. The learning and recog-nition of a place were only defined by visual information and shows limitations for navigatinglarge environments.Adding other sensorial modalities is an effective solution for improving the robustness of placesrecognition in complex environments. This solution led us to the elementary blocks requiredwhen trying to perform multimodal information merging. Such merging has been done, first,by a simple conditioning between 2 modalities and next improved by a more generic model ofinter-modal prediction. In this model, each modality learns to predict the others in usual situa-tions, in order to be able to detect abnormal situations and to compensate missing informationof the others. Such a low level mechanism allows to keep a coherent perception even if onemodality is wrong. Moreover, the model can detect unexpected situations and thus exhibit someself-assessment capabilities: the assessment of its own perception. Following this model of self-assessment, we focus on the fundamental properties of a system for evaluating its behaviors.The first fundamental property that pops out is the statement that evaluating a behavior is anability to recognize a dynamics between sensations and actions, rather than recognizing a sim-ple sensorial pattern. A first step was thus to take into account the sensation/action couplingand build an internal minimalist model of the interaction between the agent and its environment.Such of model defines the basis on which the system will build predictions and expectations.The second fundamental property of self-assessment is the ability to extract relevant informa-tion by the use of statistical processes to perform predictions. We show how a neural networkcan estimate probability density functions through a simple conditioning rule. This probabilis-tic learning allows to achieve bayesian inferences since the system estimates the probability ofobserving a particular behavior from statistical information it recognizes about this behavior.The robot estimates the different statistical momentums (mean, variance, skewness, etc...) of abehavior dynamics by cascading few simple conditioning. Then, the non-recognition of such adynamics is interpreted as an abnormal behavior.But detecting an abnormal behavior is not sufficient to conclude to its inefficiency. The systemmust also monitor the temporal evolution of such an abnormality to judge the relevance of thebehavior. We show how an emotional meta-controller can use this novelty detection to regu-late behaviors and so select the best appropriate strategy in a given context. Finally, we showhow a simple frustration mechanism allows the robot to call for help when it detects potentialdeadlocks. Such a mechanism highlights situations where a skills improvement is possible, soas some developmental processes.

La stratégie de l'équipe biorobotique est de s'inspirer de découvertes faites en biologie chez l'insecte ailé dont la vision est adaptée à la navigation autonome dans un environnement 3D inconnu. Cette inspiration donne naissance la réalisation de capteurs visuels minimalistes permettant de rendre autonomes des robots volants, pour des tâches complexes telles que : le décollage et l'atterrissage automatiques, l'évitement d'obstacles et, dans le cas de cette thèse, le vol stationnaire.Cette thèse présente la mise en œuvre des capteurs visuels minimalistes bio-inspirés qui, grâce à des algorithmes de traitement que nous avons réalisés, sont capables de localiser la position d'objets visuels en tirant partie de propriétés souvent bannies en optique : un flou, obtenu par défocalisation, associé à un micro-mouvement rétinien actif. Nous montrons que la précision en localisation ainsi obtenue est considérablement améliorée par rapport à la résolution statique définie par l'échantillonnage spatial : ces capteurs optiques bio-inspirés sont donc dotés d'hyperacuité.Cette thèse présente aussi l'œil composé artificiel miniature CurvACE (de 2,2cm3 pour 1,75g) doté d'une vision panoramique (180x60°). Cette thèse décrit la caractérisation et la mise en œuvre du capteur CurvACE sur le robot HyperRob. En fusionnant les mesures de position données par une quarantaine de pixels couvrant un grand champ visuel, l'œil CurvACE mesure sa position par rapport à un environnement visuel texturé complexe. Nous montrons aussi que le robot volant HyperRob, attaché au bout d'un bras, stabilise son roulis et sa position, dans le plan azimutal, grâce à son œil composé artificiel doté d'hyperacuité. / The biorobotics team from the Institute of Movement Sciences (Marseille, France) takes its inspiration from biological studies on flying insects which are able to navigate into unknown 3D environments with a high maneuverability. These studies led us to build minimalist optical sensors to make aerial robots autonomous for achieving complex tasks such as automatic landing and take-off, obstacle avoidance and very accurate hovering flight depicted in this doctoral thesis. This work presents several bio-inspired visual sensors implemented with different visual processing algorithms. All these sensors are able to locate visual objects (contrasting edges and bars) with unusual properties for optical sensing devices: a blur obtained by defocusing optics related with active retinal micro-movements to improve the sensor resolution. We showed that the resolution in locating contrasting objects can be improved up to 160 fold better than the static resolution defined by the pixel pitch, which means that these bio-inspired optical sensors are endowed with hyperacuity.The thesis presents a miniature artificial compound eye CurvACE (of 1.75g for 2.2cm3) with a panoramic field of view (180x60°). This thesis describes thoroughly the characterization and the implementation of the CurvACE sensor onboard an aerial robot named HyperRob. This artificial compound eye acts as a position sensing device able to measure its position relative to a complex textured scene by fusing the position measurements obtained by 40 pixels. The tethered flying robot HyperRob (a 150-g bi-rotor with a 23-cm wingspan) stabilizes its roll and its position thanks to its hyperacute artificial compound eye.

Dans cette thèse, nous nous intéressons au problème de l’atterrissage lunaire autonome et nous proposons une méthode innovante amenant une alternative à l’utilisation de capteurs classiques qui peuvent se révéler encombrants, énergivores et très onéreux.La première partie est consacrée au développement et à la construction de capteurs de mouvement inspirés de la vision des insectes volants et mesurant le flux optique.Le flux optique correspond à la vitesse angulaire relative de l’environnement mesurée par la rétine d’un agent. Dans un environnement fixe, les mouvements d’un robot génèrent un flux optique contenant des informations essentielles sur le mouvement de ce dernier. En utilisant le principe du « temps de passage », nous présentons les résultats expérimentaux obtenus en extérieur avec deux versions de ces capteurs.Premièrement, un capteur mesurant le flux optique dans les deux directions opposées est développé et testé en laboratoire. Deuxièmement un capteur adapté à la mesure des faibles flux optiques similaires à ceux pouvant être mesurés lors d’un alunissage est développé, caractérisé et enfin testé sur un drone hélicoptère en conditions extérieures.Dans la seconde partie, une méthode permettant de réaliser le guidage, la navigation et la commande (GNC pour Guidance Navigation and Control) du système est proposée. L’innovation réside dans le fait que l’atterrissage en douceur est uniquement assuré par les capteurs de flux optique. L’utilisation des capteurs inertiels est réduite au maximum. Plusieurs capteurs orientés dans différentes directions de visée, et fixés à la structure de l’atterrisseur permettent d’atteindre les conditions finales définies par les partenaires industriels. Les nombreuses informations décrivant la position et l’attitude du système contenues dans le flux optique sont exploitées grâce aux algorithmes de navigation qui permettent d’estimer les flux optiques ventraux et d’expansion ainsi que le tangage.Nous avons également montré qu’il est possible de contrôler l’atterrisseur planétaire en faisant suivre aux flux optiques estimés une consigne optimale au sens de la consommation d’énergie. Les simulations réalisées durant la thèse ont permis de valider le fonctionnement et le potentiel de la solution GNC proposée en intégrant le code du capteur ainsi que des images simulées du sol de la lune. / In this PhD thesis, the challenge of autonomous lunar landing was addressed and an innovative method was developed, which provides an alternative to the classical sensor suites based on RADAR, LIDAR and cameras, which tend to be bulky, energy consuming and expensive. The first part is devoted to the development of a sensor inspired by the fly’s visual sensitivity to optic flow (OF). The OF is an index giving the relative angular velocity of the environment sensed by the retina of a moving insect or robot. In a fixed environment (where there is no external motion), the self-motion of an airborne vehicle generates an OF containing information about its own velocity and attitude and the distance to obstacles. Based on the “Time of Travel” principle we present the results obtained for two versions of 5 LMSs based optic flow sensors. The first one is able to measure accurately the OF in two opposite directions. It was tested in the laboratory and gave satisfying results. The second optic flow sensor operates at low velocities such as those liable to occur during lunar landing was developed. After developing these sensors, their performances were characterized both indoors and outdoors, and lastly, they were tested onboard an 80-kg helicopter flying in an outdoor environment. The Guidance Navigation and Control (GNC) system was designed in the second part on the basis of several algorithms, using various tools such as optimal control, nonlinear control design and observation theory. This is a particularly innovative approach, since it makes it possible to perform soft landing on the basis of OF measurements and as less as possible on inertial sensors. The final constraints imposed by our industrial partners were met by mounting several non-gimbaled sensors oriented in different gaze directions on the lander’s structure. Information about the lander’s self-motion present in the OF measurements is extracted by navigation algorithms, which yield estimates of the ventral OF, expansion OF and pitch angle. It was also established that it is possible to bring the planetary lander gently to the ground by tracking a pre-computed optimal reference trajectory in terms of the lowest possible fuel consumption. Software-in-the-loop simulations were carried out in order to assess the potential of the proposed GNC approach by testing its performances. In these simulations, the sensor firmware was taken into account and virtual images of the lunar surface were used in order to improve the realism of the simulated landings.