Cette thèse porte sur la prise de décision distribuée dans des<br />systèmes multi-agents agissant sous incertitude (les colonies de<br />robots autonomes par exemple). Les processus décisionnels de Markov<br />Décentralisés décrivent un formalisme mathématique permettant de<br />modéliser et de résoudre de tels problèmes. Leur utilisation pour la<br />planification des tâches dans des applications réelles pose<br />toutefois quelques difficultés. Le modèle usuel des DEC-MDPs ne<br />permet par exemple pas la prise en compte de contraintes sur l'exécution des tâches. De plus,<br />la complexité de leur résolution est telle qu'il est difficile de déterminer une solution optimale excepté pour de <br />petits problèmes.<br /><br />Le travail que nous présentons dans cette thèse a pour premier objectif<br />d'adapter le modèle des DEC-MDPs afin de proposer une modélisation<br />adéquate du temps et des actions, et de permettre la représentation de<br />problèmes réels. Nous décrivons ainsi une nouvelle classe de<br />DEC-MDPs : les OC-DEC-MDPs (DEC-MDP avec Coût Occasionné). Dans un second temps,<br />nous nous intéressons à leur résolution. Nous proposons différents<br />algorithmes procédant à la planification des tâches de chaque agent<br />en vue d'une prise de décision décentralisée et autonome, en accord<br />avec les contraintes du problème. Afin de développer des algorithmes<br />efficaces et de traiter des problèmes de taille importante, nous recherchons une<br />approximation de la solution optimale. Nous procédons<br />également à un découpage du problème initial en un ensemble de MDPs,<br />et introduisons la notion de coût occasionné afin de tenir compte<br />des interactions entre les agents et de calculer des politiques<br />coopératives.

L'objectif de cette thèse s'inscrit dans la cadre général du développement d'une stratégie de contrôle intelligent distribué en robotique collective. En effet, dans un avenir proche, de nombreux robots vont progressivement intégrer notre environnent aussi bien dans les milieux industriel que domestique. L'objectif de ces robots sera de fournir, de manière autonome, des services aux êtres humains afin de leurs faciliter la vie quotidienne comme par exemple dans le cas de robots compagnons. Ces services pourront être le résultat du travail d'un robot ou bien la conséquence de la coopération de plusieurs robots homogènes et/ou hétérogènes regroupés au sein d'un réseau. Dans ce contexte, si les progrès technologiques permettent sans problème de communiquer et d'échanger des données entre deux agents artificiels distants, la conception de stratégies de contrôle permettant l'auto-organisation de plusieurs robots dans le but de réaliser une tâche précise est encore aujourd'hui un verrou scientifique important. Cette thèse a donc pour but de proposer des pistes pour élaborer des stratégies de contrôle intelligent pour des systèmes multi-robots dans le cadre plus particulier de la logistique industrielle. En effet, le domaine de logistique industrielle nécessite l'utilisation de nombreux robots mobiles comme par exemple des AGV (Automatic Guided Vehicles) pour transporter et stoker des marchandises. Dans ce contexte, nous pensons que le domaine de la logistique peut tirer bénéfice de l'utilisation de systèmes multi-robots. Dans un premier temps, cette thèse aborde donc la problématique de transport d'objet volumineux et encombrant par une formation de robot. Effectivement, il semble que la solution qui consiste à utiliser un ensemble de robots identiques pour transporter des charges de grandes envergures soit, d'une part, très intéressante d'un point de vue économique et, d'autre part, plus robuste et flexible d'un point vue technologique. Dans un deuxième temps, cette thèse aborde l'utilisation d'un réseau de robots hétérogènes qui sont capables de s'organiser afin de réaliser une tâche précise dans un milieu dynamique. Les travaux effectués dans le cadre de la présente thèse doctorale ont donc abouti à la proposition des stratégies viables de contrôle intelligent pour des systèmes multi-robots. Une étude d'application des concepts étudiés a été réalisée, implantée et validée dans le cadre plus particulier de la logistique industrielle. Elle a concerné d'abord le contexte d'un groupe multi-robots homogène, puis a été étendue au contexte d'un système multi-robots hétérogènes. Les points forts des travaux réalisés peuvent être résumés comme ceci :- Proposition, conception, réalisation et validation expérimentale d'une stratégie de contrôle adaptatif par l'apprentissage artificiel pour un robot non-holonomique. Quatre publications internationales ont valorisé cette partie des travaux.- Proposition, conception, réalisation et validation expérimentale d'une stratégie de contrôle hybridant la vision artificielle et l'apprentissage artificiel pour un groupe de robots homogènes. Deux publications internationales ont valorisé cette partie des travaux.- Proposition, conception, réalisation et validation expérimentale d'une stratégie de contrôle hybridant la vision artificielle et l'apprentissage artificiel pour un groupe de robots hétérogènes. Deux publications internationales ont valorisé cette partie des travaux. Il est pertinent de souligner que les travaux relatifs aux aspects précités ont été couronnés par le prix : ″Innovation Award 2011″ de Industrial Robot

Les travaux présentés ici, dans le cadre des Systèmes Multi-Agents (SMA) et de l'Intelligence Artificielle Distribuée (IAD), s'intéressent au problème de l'organisation dans les "systèmes ouverts". Dans ce cadre, nos recherches visent à définir des modèles de comportement sociaux permettant aux agents de s'organiser pour s'adapter à leur environnement. Notre démarche fait appel, entre autres principes méthodologiques, au concept de "cercle vertueux" qui se propose d'emprunter des métaphores à d'autres disciplines scientifiques pour concevoir des modèles informatiques. Dans un premier temps, nous recherchons dans les sociétés animales (en l'occurrence chez les primates) des métaphores de comportements proches de nos besoins. Nous définissons alors des modèles d'agent qui permettent, en simulation, de reproduire une des caractéristiques sociales observées chez les primates, la reconnaissance des relations de dominance. Ces modèles font ensuite l'objet d'une transposition à un domaine différent, la construction collective d'un lexique, pour estimer plus finement les dynamiques collectives sous-jacentes. Dans un second temps, nous nous intéressons à une expérimentation de "Robotique Collective Ouverte", dans laquelle un groupe de robots doit s'adapter à un environnement où travaillent des humains (projet MICRobES). Nous montrons que dans ces conditions, une simple transposition n'est plus possible et qu'il faut prendre en compte la corporéité des robots. Nous proposons alors pour cela des principes de conception de comportements d'agents faisant appel à la sélection naturelle (l'Ethogénétique) et nous présentons les résultats obtenus avec un framework implémentant ces concepts (ATNoSFERES). Nous montrons ainsi comment élargir les principes de départ en conciliant approche multi-agent et algorithmes évolutionnistes, en empruntant des concepts issus de l'éthologie.

La coopération est un comportement présent en abondance dans le vivant et central à la plupart des transitions majeures en évolution. Pourtant, son évolution est difficile à expliquer. En particulier, l'origine des comportements de coopération mutualiste, qui sont bénéfiques à tous les participants, à été peu étudiés. Dans cette thèse, nous nous intéressons au rôle de la coordination dans l'évolution de la coopération mutualiste à l'aide d'outils en robotique évolutionniste. Dans un premier temps, nous modélisons en robotique évolutionniste l'évolution de la coopération dans une tâche de chasse collective afin d'étudier l'influence des mécanismes sous-jacent aux comportements de coordination sur l'évolution de la coopération. Nous montrons notamment la nécessité d'utiliser des modèles qui considèrent les aspects plus pratiques du comportement. Dans un second temps, nous nous intéressons à la conception de robots coopératifs à l'aide de la robotique évolutionniste. Nous étudions notamment l'influence de la composition génétique des groupes de robots sur l'efficacité des comportements de coordination. Cette thèse contribue donc de deux manières différentes au sujet général de l'évolution de la coopération : par de la modélisation de problèmes biologiques et la conception de robots collectifs. / Cooperation is a behaviour that is prevalent in living beings and is central to most of the major transitions in evolution. Yet explaining its origin is a challenge. In particular, the evolution of mutualistic behaviours, where every individual benefits from this behaviour, has been relatively ignored. In this thesis, we are interested in the role of coordination in the evolution of mutualistic cooperation. To that end, we use tools from evolutionary robotics. First, we model the evolution of cooperation in a collective hunting task with evolutionary robotics. We want to study the influence of the underlying mechanisms of coordination behaviours on the evolution of cooperation. We reveal that it is necessary to consider modeling techniques that account for the more practical aspects of behaviours. Then, we are interested in the design of cooperative robots with evolutionary robotics. We study the influence of genetic team composition on the efficiency of coordination behaviours. Therefore, this thesis contributes to the general subject of the evolution of cooperation in two different manners: modeling biological problems and designing collective robots.

Cette thèse décrit une partie du travail effectué dans le cadre du projet européen Symbrion 1 . Ce projet vise à la réalisation de tâches complexes nécessitant la coopération de multiples robots dans un cadre de robotique en essaim (au moins 100 robots opérant ensemble). De multiples problèmes sont étudiés par le projet dont : l’auto-assemblage de robots en structures complexes et l’auto-organisation d’un grand nombre de robots afin de réaliser une tâche commune. Le principal sujet porte sur les mécanismes d’auto-adaptation pour la robotique modulaire et en essaim, avec un intérêt pour des capacités de forte coordination et de coopération à l’échelle de l’essaim.Les difficultés rencontrées dans la réalisation de ce projet sont dues à l’utilisation de robots dans des environnements ouverts restant inconnus jusqu’à la phase de déploiement. Puisque les conditions d’opérations ne peuvent être prédites à l’avance, des algorithmes d’apprentissage en ligne doivent être utilisés pour élaborer les comportements utilisés. Lorsqu’un grand nombre de robots sont utilisés, plusieurs considérations doivent être prise en compte : capacité de communication réduite, faible mémoire, faible capacité de calcul. Par conséquent les algorithmes d’apprentissage en ligne doivent être distribués à travers l’essaim.De multiples approches ont déjà été proposées pour faire face aux problèmes posés par l’apprentissage en ligne décentralisé de comportements robotiques, parmi lesquels la robotique probabiliste, l’apprentissage par renforcement, et la robotique évolutionnaire. Cependant, le problème abordé dans le cadre de cette thèse se caractérise par le fait que l’on considère un groupe de robots (en lieu et place d’un seul et unique robot). De plus, dû à la nature ouverte de l’environnement, il n’est pas possible de supposer que l’ingénieur humain ait les connaissances nécessaires pour définir les éléments indispensables aux processus d’apprentissage.Assurer l’intégrité de l’essaim est placé en tant que premier élément d’une feuille de route visant à définir un ensemble d’étapes nécessaires à la réalisation d’une tâche par un groupe de robot dans un environnement ouvert :– Étape 1 : Assurer l’intégrité de l’essaim.– Étape 2 : Maintenir les robots disponibles en tant que service à l’utilisateur.– Étape 3 : Réaliser la tâche définie par l’utilisateur.Dans le cadre de cette thèse nous travaillons à la réalisation de l’étape 1 de cette feuille de route, et assumons l’hypothèse de travail suivante :Hypothèse de travail : Dans un cadre de robotique collective en environnement ouvert, la réalisation d’une tâche définie par l’utilisateur implique tout d’abord un comportement auto-adaptatif.Le sujet de cette thèse est la réalisation de solutions algorithmiques décentralisées pouvant garantir l’in- tégrité d’un essaim de robots en environnement ouvert lorsque un système robotique collectif utilise une communication locale. La principale difficulté à sa résolution est le besoin de prendre en compte l’envi- ronnement. En effet, en fonction de l’environnement courant, les robots peuvent avoir à démontrer une grande variété de comportements à l’échelle globale comme la coopération, la spécialisation, l’altruisme, ou la division du travail.Dans cette thèse nous introduisons et définissons le problème de l’Adaptation Evolutionnaire Distribuée Guidée par l’Environnement. Nous proposons un algorithme pour résoudre ce problem. Cet algorithme a été validé aussi bien en simulation que sur des robots réels. Il a été utilisé pour étudier le problème de l’auto-adaptation dans les environnements suivants :– Environnement où l’émergence de consensus comportementaux est nécessaire.– Environnements où la robustesse face à des changements environnementaux est nécessaires.– Environnements où des comportements altruistes sont nécessaires. / Cette thèse décrit une partie du travail effectué dans le cadre du projet européen Symbrion 1 . Ce projet vise à la réalisation de tâches complexes nécessitant la coopération de multiples robots dans un cadre de robotique en essaim (au moins 100 robots opérant ensemble). De multiples problèmes sont étudiés par le projet dont : l’auto-assemblage de robots en structures complexes et l’auto-organisation d’un grand nombre de robots afin de réaliser une tâche commune. Le principal sujet porte sur les mécanismes d’auto-adaptation pour la robotique modulaire et en essaim, avec un intérêt pour des capacités de forte coordination et de coopération à l’échelle de l’essaim.Les difficultés rencontrées dans la réalisation de ce projet sont dues à l’utilisation de robots dans des environnements ouverts restant inconnus jusqu’à la phase de déploiement. Puisque les conditions d’opérations ne peuvent être prédites à l’avance, des algorithmes d’apprentissage en ligne doivent être utilisés pour élaborer les comportements utilisés. Lorsqu’un grand nombre de robots sont utilisés, plusieurs considérations doivent être prise en compte : capacité de communication réduite, faible mémoire, faible capacité de calcul. Par conséquent les algorithmes d’apprentissage en ligne doivent être distribués à travers l’essaim.De multiples approches ont déjà été proposées pour faire face aux problèmes posés par l’apprentissage en ligne décentralisé de comportements robotiques, parmi lesquels la robotique probabiliste, l’apprentissage par renforcement, et la robotique évolutionnaire. Cependant, le problème abordé dans le cadre de cette thèse se caractérise par le fait que l’on considère un groupe de robots (en lieu et place d’un seul et unique robot). De plus, dû à la nature ouverte de l’environnement, il n’est pas possible de supposer que l’ingénieur humain ait les connaissances nécessaires pour définir les éléments indispensables aux processus d’apprentissage.Assurer l’intégrité de l’essaim est placé en tant que premier élément d’une feuille de route visant à définir un ensemble d’étapes nécessaires à la réalisation d’une tâche par un groupe de robot dans un environnement ouvert :– Étape 1 : Assurer l’intégrité de l’essaim.– Étape 2 : Maintenir les robots disponibles en tant que service à l’utilisateur.– Étape 3 : Réaliser la tâche définie par l’utilisateur.Dans le cadre de cette thèse nous travaillons à la réalisation de l’étape 1 de cette feuille de route, et assumons l’hypothèse de travail suivante :Hypothèse de travail : Dans un cadre de robotique collective en environnement ouvert, la réalisation d’une tâche définie par l’utilisateur implique tout d’abord un comportement auto-adaptatif.Le sujet de cette thèse est la réalisation de solutions algorithmiques décentralisées pouvant garantir l’in- tégrité d’un essaim de robots en environnement ouvert lorsque un système robotique collectif utilise une communication locale. La principale difficulté à sa résolution est le besoin de prendre en compte l’envi- ronnement. En effet, en fonction de l’environnement courant, les robots peuvent avoir à démontrer une grande variété de comportements à l’échelle globale comme la coopération, la spécialisation, l’altruisme, ou la division du travail.Dans cette thèse nous introduisons et définissons le problème de l’Adaptation Evolutionnaire Distribuée Guidée par l’Environnement. Nous proposons un algorithme pour résoudre ce problem. Cet algorithme a été validé aussi bien en simulation que sur des robots réels. Il a été utilisé pour étudier le problème de l’auto-adaptation dans les environnements suivants :– Environnement où l’émergence de consensus comportementaux est nécessaire.– Environnements où la robustesse face à des changements environnementaux est nécessaires.– Environnements où des comportements altruistes sont nécessaires.

MASL PROPOSE UNE APPROCHE UNIFIEE ET MACROSCOPIQUE A L'EXPRESSION DE CALCULS HETEROGENES ET DISTRIBUES SUR DES AGENTS CONÇUS EN SUIVANT LE MODELE DELIBERATIF, REACTIF OU HYBRIDE. C'EST UN LANGAGE DE HAUT NIVEAU INDEPENDANT DE L'EXECUTIF OU CHAQUE AGENT, VU COMME UNE ENTITE CONCURRENTE, DETERMINE LOCALEMENT SA PARTICIPATION A DES BLOCS D'EXECUTION COLLECTIFS (E-BLOCS). CHAQUE E-BLOC EST UN PROGRAMME COLLECTIF ANONYME POUVANT S'EXECUTER SUR UN RESEAU D'AGENTS SELON DES CRITERES LOCAUX. LE MODE D'ORCHESTRATION (SCALAIRE, SYNCHRONE, ASYNCHRONE) EST DETERMINE STATIQUEMENT PAR UN ATTRIBUT DU BLOC, LES COMMUNICATIONS SUPPORTENT LE MODELE A MEMOIRE PARTAGEE, LE MODELE A ENVOI DE MESSAGES ET LE MODELE D'EVENEMENTS. L'HETEROGENEITE DES AGENTS EST ASSUREE PAR HERITAGE ET POLYMORPHISME ALORS QUE L'AUTONOMIE EST PROPOSEE PAR UN MECANISME (APPELE PERMEABILITE) DE FILTRAGE OU CHAQUE AGENT PEUT MASQUER/OUVRIR SON INTERFACE DYNAMIQUEMENT ET SELON LA POSITION DE L'EMETTEUR DANS LA HIERARCHIE D'E-BLOCS. DANS UN CONTEXTE D'ALLOCATION DYNAMIQUE DES AGENTS, DE REPRISE APRES ECHEC OU DE REMPLACEMENT D'UN AGENT ROBOTIQUE DANS UNE FLOTTE DE ROBOTS (CAS D'UNE PANNE OU PERTE DE FONCTIONNALITE COMPROMETTANT LA MISSION), LE E-BLOC PROPOSE UNE PERSPECTIVE DE POINT D'ENTREE D'UN TRAITEMENT COLLECTIF. DANS LE CAS D'E-BLOC SYNCHRONES, LE PARADIGME SOUS-JACENT EST ISSU DU MODELE DATA-PARALLELE, PERMETTANT ICI DES TRAITEMENTS ITERATIFS PAR VAGUES SUCCESSIVES D'AGENTS. AU FINAL, MASL PROPOSE DES AVANCEES DANS LE DOMAINE DES SMA (APPARTENANCE DYNAMIQUE A DES GROUPES, PRECISION DU RYTHME DES ACTIONS A ENTREPRENDRE POUR PERMETTRE UNE COOPERATION DESIREE) ET AU NIVEAU DE LA GESTION DES ERREURS.

L'objectif de cette thèse s'inscrit dans la cadre général du développement d'une stratégie de contrôle intelligent distribué en robotique collective. En effet, dans un avenir proche, de nombreux robots vont progressivement intégrer notre environnent aussi bien dans les milieux industriel que domestique. L'objectif de ces robots sera de fournir, de manière autonome, des services aux êtres humains afin de leurs faciliter la vie quotidienne comme par exemple dans le cas de robots compagnons. Ces services pourront être le résultat du travail d'un robot ou bien la conséquence de la coopération de plusieurs robots homogènes et/ou hétérogènes regroupés au sein d'un réseau. Dans ce contexte, si les progrès technologiques permettent sans problème de communiquer et d'échanger des données entre deux agents artificiels distants, la conception de stratégies de contrôle permettant l'auto-organisation de plusieurs robots dans le but de réaliser une tâche précise est encore aujourd'hui un verrou scientifique important. Cette thèse a donc pour but de proposer des pistes pour élaborer des stratégies de contrôle intelligent pour des systèmes multi-robots dans le cadre plus particulier de la logistique industrielle. En effet, le domaine de logistique industrielle nécessite l'utilisation de nombreux robots mobiles comme par exemple des AGV (Automatic Guided Vehicles) pour transporter et stoker des marchandises. Dans ce contexte, nous pensons que le domaine de la logistique peut tirer bénéfice de l'utilisation de systèmes multi-robots. Dans un premier temps, cette thèse aborde donc la problématique de transport d'objet volumineux et encombrant par une formation de robot. Effectivement, il semble que la solution qui consiste à utiliser un ensemble de robots identiques pour transporter des charges de grandes envergures soit, d'une part, très intéressante d'un point de vue économique et, d'autre part, plus robuste et flexible d'un point vue technologique. Dans un deuxième temps, cette thèse aborde l'utilisation d'un réseau de robots hétérogènes qui sont capables de s'organiser afin de réaliser une tâche précise dans un milieu dynamique. Les travaux effectués dans le cadre de la présente thèse doctorale ont donc abouti à la proposition des stratégies viables de contrôle intelligent pour des systèmes multi-robots. Une étude d'application des concepts étudiés a été réalisée, implantée et validée dans le cadre plus particulier de la logistique industrielle. Elle a concerné d'abord le contexte d'un groupe multi-robots homogène, puis a été étendue au contexte d'un système multi-robots hétérogènes. Les points forts des travaux réalisés peuvent être résumés comme ceci :- Proposition, conception, réalisation et validation expérimentale d'une stratégie de contrôle adaptatif par l'apprentissage artificiel pour un robot non-holonomique. Quatre publications internationales ont valorisé cette partie des travaux.- Proposition, conception, réalisation et validation expérimentale d'une stratégie de contrôle hybridant la vision artificielle et l'apprentissage artificiel pour un groupe de robots homogènes. Deux publications internationales ont valorisé cette partie des travaux.- Proposition, conception, réalisation et validation expérimentale d'une stratégie de contrôle hybridant la vision artificielle et l'apprentissage artificiel pour un groupe de robots hétérogènes. Deux publications internationales ont valorisé cette partie des travaux. Il est pertinent de souligner que les travaux relatifs aux aspects précités ont été couronnés par le prix : ″Innovation Award 2011″ de Industrial Robot / In this thesis, it concentrated the multi robot team navigating in an unknown environment. In our multi robot team, there is a humanoid robot as a leader and a team of two-wheel nonholonomic robots which form a vertical formation. Besides, a top camera and a computer which is a supervisor are the auxiliary robots in the multi robot team. The main purpose of the thesis is to propose an online and an offline navigation strategy for the closed and open area respectively. The core of navigation strategies is the same and it included path planning part and control part. Both the two parts constructed on the virtual structure of the formation robot team. In the former part, it improved the path planning part by the reinforcement Q learning and the image processing to acknowledge the unknown environment. And it applied the Adaptive Neural Fuzzy Inference System (ANFIS) algorithm to control of both the single nonholonomic robot and formation robot team. Furthermore, the strategies are applied to the formation robot team and the multi robot team in both closed and open environment. Simulations and real experiments are provided in the detail in the thesis. The strong points of the contribution are :- Proposition, conception, realization and experimental validation of machine learning based adaptive control for a nonholonomic single robot (in a group of robots). Four international publications have valorized this part of the doctoral Works. - Proposition, conception, realization and experimental validation of an adaptive intelligent control strategy hybridizing Artificial vision and Machine Learning for a group of nonholonomic homogeneous robots. Two international publications have valorized this part of the doctoral Works.- Proposition, conception, realization and experimental validation of an adaptive intelligent control strategy hybridizing Artificial vision and Machine Learning for a group of heterogeneous robots. Two international publications have valorized this part of the doctoral Works. It is pertinent to emphasize the investigations relative to the above-mentioned works have been awarded by: ″Innovation Award 2011″ of Industrial Robot