Cette thèse s'est intéressée à deux domaines de l'intelligence artificielle : d'une part l'apprentissage par renforcement (A/R), et d'autre part les systèmes multi-agents (SMA). Le premier permet de concevoir des agents (entités intelligentes) en se basant sur un signal de renforcement qui récompense les décisions menant au but fixé, alors que le second concerne l'intelligence qui peut venir de l'interaction d'un groupe d'entités (dans la perspective que le tout soit plus que la somme de ses parties). Chacun de ces deux outils souffre de diverses difficultés d'emploi. Le travail que nous avons mené a permis de montrer comment chacun des deux outils peut servir à l'autre pour répondre à certains de ces problèmes. On a ainsi conçu les agents d'un SMA par A/R, et organisé l'architecture d'un agent apprenant par renforcement sous la forme d'un SMA. Ces deux outils se sont avérés très complémentaires, et notre approche globale d'une conception “progressive” a prouvé son efficacité.

Cette thèse propose des modèles multi-agents réactifs fondés sur un cadre formel pour la vérification de propriétés et les valider par la simulation et l'expérimentation en considérant la navigation multi-véhicules comme domaine d'application. La navigation multi-véhicules soulève plusieurs problématiques : perception de l'environnement, communication inter-véhicule, évitement d'obstacle, ... Dans ce contexte, nous avons abordé plus particulièrement les aspects suivants : - Concernant la navigation multi-véhicules nous avons abordé deux problèmes spécifiques : la conduite en convoi ou platooning et la navigation autonome. En ce qui concerne la navigation autonome, nous avons mis l'accent sur l'évitement d'obstacles. - Concernant l'approche proposée : nous adoptons les systèmes multi-agents réactifs, dont les interac- tions sont inspirée de la physique. Pour la conduite en convoi, nous proposons un modèle d'interaction basé sur la physique classique. En ce qui concerne l'évitement d'obstacles, nous adoptant un modèle inspiré de la physique statistique. - Nous plaçons les systèmes multi-agents réactifs dans un cadre formel pour la vérification des pro- priétés, compte-tenu des contraintes de sécurité imposées par la classe d'applications cible. Pour faire face à la complexité des modèles, nous proposons une règle et une méthode de vérification compositionnelle. Cela nous a permis de vérifier la satisfaction d'une propriété de sûreté essentielle : la non-collision entre véhicules lors de la conduite en convoi. - Nous abordons également la question de la validation du système multi-agents par la simulation et l'expérimentation : nous avons contribué au développement d'un simulateur de la conduite en convoi et la navigation autonome. Le simulateur prend en compte les caractéristiques physiques des véhicules et est couplé à un outil de visualisation 3D. Nous avons aussi expérimenté nos modèles sur des véhicules tels que le Cycab et le GEM Car.

La généralisation de données géographiques est l'opération de simplification de ces données effectuée lors de la diminution de leur échelle de représentation. Cette thèse s'appuie sur le modèle de généralisation automatique à base d'agents de (Ruas et Duchêne, 2007), qui a été mis en oeuvre avec succès pour la généralisation des objets géographiques discrets (bâtiments, routes, etc.). L'objectif est de permettre une prise en compte d'un nouveau type de thèmes, appelés "thèmes champ", comme le relief ou l'occupation du sol. Ces thèmes ont pour particularité d'être définis en tout point de l'espace. Nous souhaitons permettre une préservation des relations pouvant exister entre les objets géographiques et les champs, comme par exemple le fait qu'un cours d'eau s'écoule sur le relief. Pour répondre à cet objectif, nous proposons le modèle de généralisation GAEL (Généralisation à base d'Agents Elastiques) qui permet d'appliquer des déformations aux champs pour préserver les relations objet-champ. Les champs sont modélisés comme des agents, dits élastiques, qui ont la capacité de se déformer pour amortir les opérations de généralisation appliquées aux objets géographiques (bâtiments, routes, etc.). Ces déformations sont obtenues en s'appuyant sur une décomposition des champs en petits éléments contraints (points, segments, triangles, etc.) et sur une modélisation des points composant les champs sous forme d'agents. Couplé au modèle de (Ruas et Duchêne, 2007), le modèle GAEL permet de disposer d'un modèle de généralisation hybride, capable d'effectuer à la fois des opérations discrètes et continues

Cette thèse concerne le contrôle coopératif de systèmes multi-agents. Ce sujet a été largement étudié dans la littérature récente en raison de son grand nombre d'applications. Cette thèse propose des nouvelles conceptions de stratégies de contrôle collaboratif afin de réaliser une mission d'exploration sous-marine. En particulier, l'objectif final est de diriger une flotte de véhicules autonomes sous-marins, équipés de capteurs appropriés, jusqu'à l'emplacement d'une source de température, de polluants ou d'eau douce. Dans cette situation, il est pertinent de considérer les contraintes de communication entre véhicules qui sont décrites au moyen d'un graphe de communication. Les premières contributions traitent du développement des lois de commande d'une formation qui stabilisent la flotte vers des formations variant dans le temps, et qui, de plus, distribuent uniformément les véhicules le long de la formation. Enfin, le problème de recherche d'une source est abordé par l'interprétation de la flottille de véhicules comme un réseau de capteurs mobiles. En particulier, il est démontré que les mesures recueillies par la flotte de véhicules permettent d'estimer le gradient de concentration de la quantité d'intérêt. En suivant cette idée, un algorithme distribué basé sur des algorithmes de consensus est proposé pour estimer la direction du gradient d'une distribution de signal.

La complexité croissante des systèmes industriels en termes d'expansion, d'hétérogénéité et de décentralisation entraine de plus en plus de contraintes dans leur fonctionnement. Ces contraintes ont souvent une composante temporelle. Des techniques, telles que les systèmes multi-agents, sont bien adaptées au caractère hétérogène et décentralisé de ces systèmes, elles sont de plus en plus souvent utilisées dans les applications telles que : contrôle, supervision, simulation, pilotage des travaux existent sur la représentation du temps dans la modélisation et le raisonnement sur les systèmes industriels. Dans le contexte multi-agents, peu de travaux prennent en compte ce facteur temporel explicitement et il est quasiment absent de tous les aspects sociaux de l'agent. Dans cette thèse, nous proposons et définissons une société d'agents temporels qui permet la prise en compte explicite du temps a la fois dans le raisonnement individuel et le raisonnement social au sein de l'agent. L'accent est mis d'une part sur l'interaction et d'autre part sur les différents types de dépendances qui existent entre agents et leur évolution au cours du temps. Ce modelé générique, a été applique à la supervision par reconnaissance de scenarios temporels, domaine dans lequel l'exécution des différentes taches est extrêmement contrainte par le temps. Le système stars est une implémentation du modèle. Il permet une reconnaissance distribuée des scenarios par un ensemble d'agents utilisant un raisonnement temporel.

L'objectif de cette thèse est de proposer des solutions aux problèmes liés à la commande optimale de systèmes dynamiques multi-agents en présence de contraintes. Des éléments de la théorie de commande et d'optimisation sont appliqués à différents problèmes impliquant des formations de systèmes multi-agents. La thèse examine le cas d'agents soumis à des contraintes dynamiques. Pour faire face à ces problèmes, les concepts bien établis tels que la théorie des ensembles, la platitude différentielle, la commande prédictive (Model Predictive Control - MPC), la programmation mixte en nombres entiers (Mixed-Integer Programming - MIP) sont adaptés et améliorés. En utilisant ces notions théoriques, ce travail de thèse a porté sur les propriétés géométriques de la formation d'un groupe multi-agents et propose un cadre de synthèse original qui exploite cette structure. En particulier, le problème de conception de formation et les conditions d'évitement des collisions sont formulés comme des problèmes géométriques et d'optimisation pour lesquels il existe des procédures de résolution. En outre, des progrès considérables dans ce sens ont été obtenus en utilisant de façon efficace les techniques MIP (dans le but d'en déduire une description efficace des propriétés de non convexité et de non connexion d'une région de faisabilité résultant d'une collision de type multi-agents avec des contraintes d'évitement d'obstacles) et des propriétés de stabilité (afin d'analyser l'unicité et l'existence de configurations de formation de systèmes multi-agents). Enfin, certains résultats théoriques obtenus ont été appliqués dans un cas pratique très intéressant. On utilise une nouvelle combinaison de la commande prédictive et de platitude différentielle (pour la génération de référence) dans la commande et la navigation de véhicules aériens sans pilote (UAVs).

Nous prenons le point de vue d'un agent sur le point d'entrer dans une organisation multi-agent, où il aura à choisir parmi plusieurs rôles disponibles. Notre objectif est de donner à cet agent les moyens d'évaluer avant d'entrer dans une organisation les implications que cette action aura sur ses capacités de satisfaire les désirs de son utilisateur. Quand il entre dans une organisation, un agent devient le sujet de plusieurs contraintes imposées par des entités externes (d'autres agents, l'organisation même, la société). Comme le montre cette thèse, l'autonomie sociale de décision est une caractéristique d'un agent, qui est directement liée à ces contraintes sociales. En conséquence, nous basons l'évaluation faite par un agent des contraintes qui lui sont imposées sur le concept d'autonomie. Cette approche est illustrée à l'aide d'un scénario d'intelligence ambiante qui a été implémenté et déployé sur des objets portables.

Ce travail de recherche est consacré à la formalisation d'un processus de prise de décision collective et justifiée à l'aide d'un système multi-agents. Ce système est constitué d'agents cognitifs, autonomes et sociaux en interaction. S'appuyant sur la communication par envoi de messages, on parle de modèle d'interaction directe entre agents. Dans ce manuscrit, nous défendons la thèse selon laquelle le dialogue peut être considéré comme un processus argumentatif au travers duquel les participants jouent et arbitrent pour aboutir à une décision collective. Nous proposons ici un modèle de dialogue entre agents. Ce modèle, intitulé DIAL (DIALogue Is an Argumentative Labour ), sert de base à un système d'aide à la concertation.

La logistique de gestion de crise fait de plus en plus parler d'elle. En effet, que ce soit au sujet de conflits géopolitiques ou de catastrophes naturelles, ou encore lorsqu'il s'agit d'urgences de proximité, on ne peut plus passer à côté de la gestion de crise pour faire face à des faits internationaux ou nationaux. La logistique de gestion de crise œuvre pour que les secours soient optimisés et que l'aide et le ravitaillement en nourriture, eau, médicaments, soit apportés rapidement aux zones sinistrées. Les travaux de recherche présentés dans cette thèse, dans le cadre d'une coopération avec le département logistique d'EADS, visent à apporter une réponse à ces défis. Nous présentons, dans ce contexte, des solutions basées sur une approche de modélisation, optimisation et simulation orientée agents de flux logistiques. Les problèmes de gestion de flux abordés nous ont permis d'étudier et développer trois volets d'investigation : un module d'aide au positionnement des zones logistiques qui permet de minimiser les distances entre les zones et d'optimiser leurs nombre et ce pour une meilleure circulation des flux, une approche innovante pour l'ordonnancement distribué des tâches de livraison qui permet d'apporter une solution à un problème de gestion des flux fortement distribué, et finalement un agent holonique qui permet de fournir une estimation de la consommation à venir d'un site logistique, en alliant l'expertise des logisticiens aux modèles à base de logique floue. Pour démontrer l'efficacité des approches utilisées, un démonstrateur baptisé OBAC (Optimisation à Base d'Agents Communicants) a été réalisé, intégrant toutes ces approches et applications militaires

Nous nous situons dans le contexte de la simulation de systèmes industriels complexes et distribués en termes opérationnel, informationnel et décisionnel. Nous considérons plus particulièrement les problèmes de formalisation, de modularité, de centralisation et de mise en évidence des flux et sous-systèmes. En effet, l'évolution du contexte industriel pousse les entreprises à évoluer vers des systèmes de plus en plus décentralisés (entreprises virtuelles, groupement d'entreprises, décentralisation,...). Les méthodes et les outils de simulation existants ne supportent pas de manière optimale ces nouveaux systèmes. En effet, il reste aujourd'hui très difficile de modéliser et simuler le comportement de systèmes tels que les groupements d'entreprises. Après avoir mis en évidence cette problématique, nous proposons dans le cadre de nos travaux de recherche une apporche méthodologique adaptée aux systèmes industriels fortement distribués. Cette approche est basée sur les systèmes multi-agents et reste indépendante de toute plateforme ou outil informatique. Nous proposons un cycle de vie et une première définition des phases les plus importantes : spécification d'un modèle de simumation, conception d'un modèle multi-agents et implantation d'un modèle informatique. Les concepts que nous mettons en oeuvre (systèmes multi-agents, systémique, ...) nous permettent de répondre aux différents problèmes posés par les systèmes de production complexes et distribués.