Ce mémoire d'Habilitation à Diriger des Recherches synthétise les travaux que j'ai menés dans le domaine des neurosciences computationnelles. Ils traitent de trois thématiques principales en interaction: la sélection de l'action, la navigation et l'exécution motrice. Le substrat neural de ces fonctions, et principalement les ganglions de la base et le colliculus supérieur, ont été modélisés sous forme de réseaux de neurones contraints par les données issues de la neuro-anatomie et de l'électrophysiologie. Les résultats présentés résument mes contributions portant sur : les processus de sélection, d'apprentissage par renforcement et de modulation motivationnelle dans les ganglions de la base, le rôle de l'incertitude dans la sélection de l'action, la sélection de stratégies de navigation, l'intégration de chemin pour la stratégie de retour au point de départ, et la transformation spatio-temporelle pour la génération de saccades oculaires. Enfin, les liens reliant l'ensemble de ces études sont mis en exergue afin de délimiter le programme de recherche qui en découle.

Ce document présente mon ``projet de recherche'' sur le thème de l'embodiment (``cognition incarnée'') au croisement des sciences cognitives, de l'intelligence artificielle et de la robotique. Plus précisément, je montre comment je compte explorer la façon dont un agent, artificiel ou biologique, élabore des représentations utiles et pertinentes de son environnement. Dans un premier temps, je positionne mes travaux en explicitant notamment les concepts de l'embodiment et de l'apprentissage par renforcement. Je m'attarde notamment sur la problématique de l'apprentissage par renforcement pour des tâches non-Markoviennes qui est une problématique commune aux différents travaux de recherche que j'ai menés au cours des treize dernières années dans des contextes mono et multi-agents, mais aussi robotique. L'analyse de ces travaux et de l'état de l'art du domaine me conforte dans l'idée que la principale difficulté pour l'agent est bien celle de trouver des représentations adaptées, utiles et pertinentes. J'argumente que l'on se retrouve face à une problématique fondamentale de la cognition, intimement liée aux problèmes de ``l'ancrage des symboles'', du ``frame problem'' et du fait ``d'être en situation'' et qu'on ne pourra y apporter des réponses que dans le cadre de l'embodiment. C'est à partir de ce constat que, dans une dernière partie, j'aborde les axes et les approches que je vais suivre pour poursuivre mes travaux en développant des techniques d'apprentissage robotique qui soient incrémentales, holistiques et motivationnelles.

MASL PROPOSE UNE APPROCHE UNIFIEE ET MACROSCOPIQUE A L'EXPRESSION DE CALCULS HETEROGENES ET DISTRIBUES SUR DES AGENTS CONÇUS EN SUIVANT LE MODELE DELIBERATIF, REACTIF OU HYBRIDE. C'EST UN LANGAGE DE HAUT NIVEAU INDEPENDANT DE L'EXECUTIF OU CHAQUE AGENT, VU COMME UNE ENTITE CONCURRENTE, DETERMINE LOCALEMENT SA PARTICIPATION A DES BLOCS D'EXECUTION COLLECTIFS (E-BLOCS). CHAQUE E-BLOC EST UN PROGRAMME COLLECTIF ANONYME POUVANT S'EXECUTER SUR UN RESEAU D'AGENTS SELON DES CRITERES LOCAUX. LE MODE D'ORCHESTRATION (SCALAIRE, SYNCHRONE, ASYNCHRONE) EST DETERMINE STATIQUEMENT PAR UN ATTRIBUT DU BLOC, LES COMMUNICATIONS SUPPORTENT LE MODELE A MEMOIRE PARTAGEE, LE MODELE A ENVOI DE MESSAGES ET LE MODELE D'EVENEMENTS. L'HETEROGENEITE DES AGENTS EST ASSUREE PAR HERITAGE ET POLYMORPHISME ALORS QUE L'AUTONOMIE EST PROPOSEE PAR UN MECANISME (APPELE PERMEABILITE) DE FILTRAGE OU CHAQUE AGENT PEUT MASQUER/OUVRIR SON INTERFACE DYNAMIQUEMENT ET SELON LA POSITION DE L'EMETTEUR DANS LA HIERARCHIE D'E-BLOCS. DANS UN CONTEXTE D'ALLOCATION DYNAMIQUE DES AGENTS, DE REPRISE APRES ECHEC OU DE REMPLACEMENT D'UN AGENT ROBOTIQUE DANS UNE FLOTTE DE ROBOTS (CAS D'UNE PANNE OU PERTE DE FONCTIONNALITE COMPROMETTANT LA MISSION), LE E-BLOC PROPOSE UNE PERSPECTIVE DE POINT D'ENTREE D'UN TRAITEMENT COLLECTIF. DANS LE CAS D'E-BLOC SYNCHRONES, LE PARADIGME SOUS-JACENT EST ISSU DU MODELE DATA-PARALLELE, PERMETTANT ICI DES TRAITEMENTS ITERATIFS PAR VAGUES SUCCESSIVES D'AGENTS. AU FINAL, MASL PROPOSE DES AVANCEES DANS LE DOMAINE DES SMA (APPARTENANCE DYNAMIQUE A DES GROUPES, PRECISION DU RYTHME DES ACTIONS A ENTREPRENDRE POUR PERMETTRE UNE COOPERATION DESIREE) ET AU NIVEAU DE LA GESTION DES ERREURS.

Contrôler un système multi-robots hautement dynamique au sein duquel évolue un grand nombre d'entités autonomes réactives est un challenge à la fois scientifique et technologique en plein essor. En effet, ceci exige non seulement d'utiliser des entités robotiques les plus élémentaires possibles mais nécessite également au niveau du contrôle, de s'éloigner davantage des conceptions centralisées et cognitives. La démarche consiste à focaliser la conception du contrôle sur l'individu élémentaire constituant le système multi-robots en prenant en compte les différentes interactions locales de cet individu avec les autres entités robotiques avec lesquels il est censé coopérer. Des effets de masse maîtrisés peuvent être ainsi obtenus et vont permettre d'augmenter à la fois la vitesse, la flexibilité et la robustesse d'exécution des tâches complexes entreprises. Les travaux de recherche présentés dans ce mémoire partent du principe d'une conception ascendante (Bottom-Up) des architectures de contrôle et ce afin de briser la complexité inhérente aux systèmes multi-robots. Plus spécifiquement, nous proposons un Processus de Sélection d'Action Hiérarchique appelé PSAH qui permet à l'échelle du robot de coordonner l'activité d'un ensemble de primitives élémentaires (comportements) d'une manière hiérarchique et flexible, et à l'échelle du groupe de robots d'atteindre une coordination entre robots favorisant des buts globaux. Les performances du PSAH ont été améliorées par la suite via l'adjonction d'un mécanisme de fusion d'actions approprié conduisant à un nouveau processus de sélection appelé PSAHH (PSAH-Hybride). Les formalismes des algorithmes génétiques ont été utilisés par la suite pour proposer une méthodologie permettant l'obtention des paramètres prépondérants pour le fonctionnement du PSAHH. La validation des résultats s'est effectuée au travers d'expérimentations sur des mini-robots ALICE et plus largement sur un ensemble d'études statistiques réalisées sur un grand nombre de données obtenu grâce au simulateur MiRoCo (Mini-Robotique Collective). Ce simulateur a été conçu et développé dans le cadre de nos travaux de thèse dans le but de simuler d'une manière précise et rigoureuse des systèmes multi-robots à forte dynamique d'interaction.

Qu'est-ce qu'une carte ? Quelle est son utilité ? Qu'est-ce-qu'un lieu, un<br />comportement ? Qu'est-ce-que naviguer, se localiser et prédire, pour un<br />robot mobile devant accomplir une tâche donnée ?<br /><br />Ces questions n'ont pas de réponses uniques ou évidentes à ce jour, et<br />restent centrales à de nombreux domaines de recherches.<br /><br />La robotique, par exemple, souhaite y répondre en vue de la synthèse de<br />systèmes sensori-moteurs performants. Les sciences cognitives placent ces<br />questions comme essentielles à la compréhension des êtres vivants, de leurs<br />compétences, et au-delà, de leurs intelligences.<br /><br />Notre étude se situe à la croisée de ces disciplines. Nous étudions tout<br />d'abord les méthodes probabilistes classiques (Localisation Markovienne,<br />PDMPOs, MMCs, etc.), puis certaines approches dites "bio-inspirées"<br />(Berthoz, Franz, Kuipers). Nous analysons les avantages et inconvénients<br />respectifs de ces approches en les replaçant dans un cadre général de<br />programmation des robots basé sur l'inférence bayésienne (PBR).<br /><br />Nous proposons un formalisme original de modélisation probabiliste de<br />l'interaction entre un robot et son environnement : la carte bayésienne.<br /><br />Dans ce cadre, définir une carte revient à spécifier une distribution de<br />probabilités particulière. Certaines des questions évoquées ci-dessus se<br />ramènent alors à la résolution de problèmes d'inférence probabiliste.<br /><br />Nous définissons des opérateurs d'assemblage de cartes bayésiennes,<br />replaçant ainsi les notions de "hiérarchie de cartes" et de développement<br />incrémental comme éléments centraux de notre approche, en accord avec les<br />données biologiques. En appuyant l'ensemble de notre travail sur le<br />formalisme bayésien, nous profitons d'une part d'une capacité de traitement<br />unifié des incertitudes, et d'autre part, de fondations mathématiques<br />claires et rigoureuses. Notre formalisme est illustré par des exemples<br />implantés sur un robot mobile Koala.

Objectifs : Rapporter le développement et les expérimentations d'un nouveau système robotisé destiné à la curiethérapie prostatique possédant un système de suivi de la prostate et une possibilité de fusion écho-IRM. Matériel et méthodes : Un robot d'implantation d'aiguilles transpérinéales guidé par échographie transrectale avec suivi per-opératoire des mouvements et de la déformation de la prostate a été créé. Les expériences ont été conduites sur 90 cibles réalisées dans 9 fantômes conçus pour être mobiles et déformables. Les expériences ont été ensuite conduites chez 2 cadavres. Le robot a cherché à déposer des billes de verre simulant des grains de curiethérapie aussi près que possible des cibles dans des fantômes évaluables par différentes modalités d'imagerie dont le scanner et dans des prostates de cadavre. Les résultats étaient mesurés en segmentant les cibles et les billes de verre sur des volumes tomodensitométriques des fantômes et des cadavres. Résultats : Le robot était capable d'atteindre les cibles choisies dans les fantômes avec une précision médiane de 2.73 mm, avec un déplacement médian de la prostate de 5.46 mm. La précision était meilleure à la base qu'à l'apex (2.28 mm vs 3.83 mm, p<0.01) et n'était pas significativement différente pour les implantations horizontales et obliques (2.7 vs 2.82 mm, p=0.18). Les tests sur cadavre ont montré la faisabilité et l'ergonomie du robot en salle d'opération mais des expérimentations plus poussées sont nécessaires. Conclusion : Ce robot destiné à la curiethérapie prostatique est le premier système utilisant le suivi de la prostate per-opératoire pour guider des aiguilles dans la prostate. Les expériences préliminaires montrent sa capacité à atteindre des cibles malgré les mouvements de la prostate. Les applications pourraient être élargies à la thérapie focale et aux biopsies guidées compte-tenu de sa possibilité à fusionner l'imagerie IRM et l'échographie.

Le nombre croissant de personnes âgées dans le monde exige de relever de nouveaux défis sociétaux, notamment en termes de services d'aide et de soins de santé. Avec les récents progrès technologiques, la robotique apparaît comme une solution prometteuse pour développer des systèmes visant à faciliter et améliorer les conditions de vie de cette population. Cette thèse vise la proposition et la validation d'une approche de commande robuste et référencée intention d'une orthèse active, destinée à assister des mouvements de flexion/extension du genou pour des personnes souffrant de pathologies de cette articulation. La commande par modes glissants d'ordre 2 que nous proposons permet de prendre en compte les non-linéarités ainsi que les incertitudes paramétriques résultant de la dynamique du système équivalent orthèse-membre inférieur. Elle permet également de garantir d'une part, un bon suivi de la trajectoire désirée imposée par le thérapeute ou par le sujet lui-même, et d'autre part, une bonne robustesse vis-à-vis des perturbations externes pouvant se produire lors des mouvements de flexion/extension. Dans cette thèse, nous proposons également un modèle neuronal de type Perceptron Multi-Couches pour l'estimation de l'intention du sujet à partir de la mesure des signaux EMG caractérisant les activités musculaires volontaires du groupe musculaire quadriceps. Cette approche permet de s'affranchir d'un modèle d'activation et de contraction musculaire complexe. L'ensemble des travaux a été validé expérimentalement avec la participation volontaire de plusieurs sujets valides

Ce travail s'inscrit dans le cadre de la conception et réalisation d'un robot d'assistance à la personne. Dans cette thèse, nous nous intéressons particulièrement à la conception, à la modélisation et à la commande d'un robot manipulateur mobile. La conception mécanique couplée à un outil de simulation dynamique multi-corps nous a permis d'obtenir un modèle virtuel très réaliste. Le modèle cinématique du système a été obtenu en utilisant la méthode D-H modifiée. L'approche Bond graph et la méthode de Lagrange ont permis de construire le modèle dynamique. Un algorithme hybride qui combine la pseudoinverse du jacobien et la méthode RRT a été proposé pour la planification de mouvement d'un manipulateur redondant et rechercher de configurations continues, stables et sans collision. Un contrôleur basé sur les réseaux de neurones a été introduit pour la commande coordonnée d'un manipulateur mobile. Cette méthode ne nécessite pas un modèle précis du robot. Les paramètres inconnus sont identifiés et compensés en utilisant des réseaux de neurones RBF. Un algorithme de contrôle similaire est présenté pour la commande force/position d'un manipulateur mobile qui est soumis à des contraintes holonomes et nonholonomes. L'étude de la main robotique a été effectuée séparément avant d'être couplée au reste du système. Les modèles cinématique et dynamique du système main-objet ont été obtenus en utilisant les approches mathématiques et bond graph. Un algorithme est proposé afin d'assurer une prise ferme, éviter les dérapages et suivre les mouvements désirés. Les validations des modèles et des différentes lois de commande ont été effectuées grâce à la co-simulation Matlab/modèle virtuel

Ce travail se place dans le cadre de la navigation autonome d'une flottille de robots mobiles non holonomes. Notre objectif est de doter un système multi-robots à la fois d'une architecture de planification de trajectoire flexible et d'une architecture de poursuite de trajectoire performante et robuste.<br />Le premier chapitre est consacré à la présentation du contexte.<br />Le deuxième chapitre est dévolu au développement d'un algorithme de planification de trajectoire admissible pour un robot mobile suffisamment flexible pour pouvoir être étendu au cadre multi-robots.<br />Dans le troisième chapitre, deux mécanismes de coordination sont développés. Pour le premier, les conflits sont résolus via un superviseur. Le second permet la génération en ligne des trajectoires optimales de chaque robot de manière décentralisée à partir uniquement des informations disponibles.<br />Le quatrième chapitre concerne la commande par modes glissants d'ordre quelconque. L'efficacité de l'algorithme est mise en lumière à travers des résultats expérimentaux sur un moteur pas à pas.<br />Dans le cinquième chapitre, deux algorithmes de commande par modes glissants avec action intégrale sont synthétisés et implémentés sur le robot Pekee. Ces techniques assurent la stabilisation et/ou le suivi de trajectoire malgré la présence de perturbations et d'incertitudes.<br />Le dernier chapitre décrit un mécanisme décentralisé de coordination de type ``meneur/suiveur''. Il permet de s'affranchir de la connaissance de la position absolue de l'ensemble des robots et d'éviter les collisions entre robots. Enfin, nous présentons des résultats expérimentaux sur une flottille de trois robots Miabot.

Cette thèse aborde le problème de la localisation d'un robot mobile autonome en environnements naturels. La première partie du mémoire s'intéresse aux méthodes algorithmiques pouvant fournir une estimation de position et une classification de ces différentes méthodes en trois grandes catégories est proposée. La première classe présentée est dite " locale ". Elle repose sur un niveau d'abstraction très faible et utilise des données " brutes " ; la position du robot est calculée de façon incrémentale, par cumul de déplacements élémentaires. L'odométrie appartient à cette classe et ce document présente une analyse de ses performances. Une méthode originale d'estimation visuelle des déplacements est également proposée. Elle utilise la stéreo-vision et effectue le suivi de pixels dans une séquence d'images vidéo pour en déduire des déplacements élémentaires. Cette méthode permet de pallier certains inconvénients de l'odométrie, notamment en terrains accidentés. Les positions produites par les méthodes locales sont cependant sujettes à des dérives inexorables. Il est donc nécessaire d'utiliser des méthodes de la seconde classe --- dite " globale ". Celles-ci permettent, dans certaines circonstances, de réduire la dérive des méthodes locales (on trouve notamment dans cette catégorie les méthodes de localisation sur amers). Une méthode basée sur des cartes d'élévations est présentée. Cette représentation permet un recalage en position par minimisation d'une distance entre une image 3D locale et le modèle. De plus, grâce à une technique particulière de construction, une mémorisation de la trajectoire du robot permet de rétro-propager des modifications sur certaines positions et de garantir ainsi une (meilleure) cohérence spatiale du modèle. La dernière catégorie, regroupant les méthodes de localisation par rapport à un modèle initial ou les méthodes " absolues ", ne sont pas abordées dans ce document. La deuxième partie du mémoire analyse les problèmes posés par l'intégration des diverses méthodes à bord d'un robot dans le but de doter celui-ci d'un éventail de fonctionnalités, éventuellement redondantes. Une démonstration de navigation, réalisée grâce au robot Lama du groupe RIA du LAAS, est détaillée. L'intégration a été réalisée à travers le formalisme défini dans l'architecture LAAS (architecture pour les systèmes autonomes) et a abouti à la précision, au sein de cette architecture, du cadre nécessaire aux fonctionnalités de localisation. Notamment, les problèmes du datage des données et de fusion des informations de position sont pris en compte et une réflexion sur les transferts de données est proposée.