Cette thèse porte sur la prise de décision distribuée dans des<br />systèmes multi-agents agissant sous incertitude (les colonies de<br />robots autonomes par exemple). Les processus décisionnels de Markov<br />Décentralisés décrivent un formalisme mathématique permettant de<br />modéliser et de résoudre de tels problèmes. Leur utilisation pour la<br />planification des tâches dans des applications réelles pose<br />toutefois quelques difficultés. Le modèle usuel des DEC-MDPs ne<br />permet par exemple pas la prise en compte de contraintes sur l'exécution des tâches. De plus,<br />la complexité de leur résolution est telle qu'il est difficile de déterminer une solution optimale excepté pour de <br />petits problèmes.<br /><br />Le travail que nous présentons dans cette thèse a pour premier objectif<br />d'adapter le modèle des DEC-MDPs afin de proposer une modélisation<br />adéquate du temps et des actions, et de permettre la représentation de<br />problèmes réels. Nous décrivons ainsi une nouvelle classe de<br />DEC-MDPs : les OC-DEC-MDPs (DEC-MDP avec Coût Occasionné). Dans un second temps,<br />nous nous intéressons à leur résolution. Nous proposons différents<br />algorithmes procédant à la planification des tâches de chaque agent<br />en vue d'une prise de décision décentralisée et autonome, en accord<br />avec les contraintes du problème. Afin de développer des algorithmes<br />efficaces et de traiter des problèmes de taille importante, nous recherchons une<br />approximation de la solution optimale. Nous procédons<br />également à un découpage du problème initial en un ensemble de MDPs,<br />et introduisons la notion de coût occasionné afin de tenir compte<br />des interactions entre les agents et de calculer des politiques<br />coopératives.

Cette thèse traite du problème où une équipe d'agents coopératifs et autonomes, évoluant dans un environnement stochastique partiellement observable, et œuvrant à la résolution d'une tâche complexe, doit modifier dynamiquement sa composition durant l'exécution de la tâche afin de s'adapter à l'évolution de celle-ci. Il s'agit d'un problème qui n'a été que peu étudié dans le domaine de la planification multi-agents. Pourtant, il existe de nombreuses situations où l'équipe d'agent mobilisée est amenée à changer au fil de l'exécution de la tâche.Nous nous intéressons plus particulièrement au cas où les agents peuvent décider d'eux-même de quitter ou de rejoindre l'équipe opérationnelle. Certaines fois, utiliser peu d'agents peut être bénéfique si les coûts induits par l'utilisation des agents sont trop prohibitifs. Inversement, il peut parfois être utile de faire appel à plus d'agents si la situation empire et que les compétences de certains agents se révèlent être de précieux atouts.Afin de proposer un modèle de décision qui permette de représenter ces situations, nous nous basons sur les processus décisionnels de Markov décentralisés et partiellement observables, un modèle standard utilisé dans le cadre de la planification multi-agents sous incertitude. Nous étendons ce modèle afin de permettre aux agents d'entrer et sortir du système. On parle alors de système ouvert. Nous présentons également deux algorithmes de résolution basés sur les populaires méthodes de recherche arborescente Monte-Carlo. Le premier de ces algorithmes nous permet de construire des politiques jointes séparables via des calculs de meilleures réponses successives, tandis que le second construit des politiques jointes non séparables en évaluant les équipes dans chaque situation via un système de classement Elo. Nous évaluons nos méthodes sur de nouveaux jeux de tests qui permettent de mettre en lumière les caractéristiques des systèmes ouverts. / This thesis addresses the problem where a team of cooperative and autonomous agents, working in a stochastic and partially observable environment towards solving a complex task, needs toe dynamically modify its structure during the process execution, so as to adapt to the evolution of the task. It is a problem that has been seldom studied in the field of multi-agent planning. However, there are many situations where the team of agents is likely to evolve over time.We are particularly interested in the case where the agents can decide for themselves to leave or join the operational team. Sometimes, using few agents can be for the greater good. Conversely, it can sometimes be useful to call on more agents if the situation gets worse and the skills of some agents turn out to be valuable assets.In order to propose a decision model that can represent those situations, we base upon the decentralized and partially observable Markov decision processes, the standard model for planning under uncertainty in decentralized multi-agent settings. We extend this model to allow agents to enter and exit the system. This is what is called agent openness. We then present two planning algorithms based on the popular Monte-Carlo Tree Search methods. The first algorithm builds separable joint policies by computing series of best responses individual policies, while the second algorithm builds non-separable joint policies by ranking the teams in each situation via an Elo rating system. We evaluate our methods on new benchmarks that allow to highlight some interesting features of open systems.

Dans cette thèse, nous nous intéressons à des chaînes logistiques dont les acteurs de la chaîne sont des entités décisionnelles indépendantes. Plus précisément, notre cadre d'étude sera un "maillon" d'une chaîne logistique (relation client fournisseur) dont les acteurs (le client et le fournisseur) sont des entités décisionnelles indépendantes qui souhaitent mettre en place des processus de planification coopératifs en présence d'incertitude, sachant que le client fabriques des produits à la commande et le fournisseur sur stock. Dans ce contexte, la contribution majeure visée par nos travaux est l'intégration des connaissances imparfaites sur les données (date du besoin en composants, quantité nécessaire...etc.) afin de calculer le plan d'approvisionnement plus robuste (plan minimisant l'impact de l'incertitude). L'intégration des imperfections repose sur l'utilisation de la théorie des possibilités. Une fois le modèle de représentation des données imparfaites réalisé, nous proposons des méthodes de calcul de plan d'approvisionnement utilisant les informations supplémentaires grâce à la représentation des imperfections.

Dans cette thèse, nous nous intéressons à des chaînes logistiques dont les acteurs de la chaîne sont des entités décisionnelles indépendantes. Plus précisément, notre cadre d’étude sera un "maillon" d’une chaîne logistique (relation client fournisseur) dont les acteurs (le client et le fournisseur) sont des entités décisionnelles indépendantes qui souhaitent mettre en place des processus de planification coopératifs en présence d’incertitude, sachant que le client fabriques des produits à la commande et le fournisseur sur stock. Dans ce contexte, la contribution majeure visée par nos travaux est l’intégration des connaissances imparfaites sur les données (date du besoin en composants, quantité nécessaire…etc.) afin de calculer le plan d’approvisionnement plus robuste (plan minimisant l’impact de l’incertitude). L’intégration des imperfections repose sur l’utilisation de la théorie des possibilités. Une fois le modèle de représentation des données imparfaites réalisé, nous proposons des méthodes de calcul de plan d’approvisionnement utilisant les informations supplémentaires grâce à la représentation des imperfections. / In this thesis, we focus on supply chain where the actors are independent entities. More precisely, ours interests are on point-to-point (customer/supplier) relationships where the actors (the customer and the supplier) are independent entities which want to set up collaborative planning process under uncertainty, such that the customer produces to orders and the supplier produces to stock. In this context, the major contribution of the thesis is the integration of ill-known data (date of requirement, required quantities ...etc.) to calculate a robust procurement plan (plan which minimize the impact of uncertainty). We used the possibility theory to model those uncertainties. After the model of ill-known data proposed, we present a set of methods to compute a procurement plan using the additional information (information on the uncertainty).

Les robots vont être de plus en plus utilisés dans les domaines civils, comme dans le domaine militaire. Ces robots, opérant en flottes, peuvent accompagner des soldats au combat, ou accomplir une mission en étant supervisés par un poste de contrôle. Du fait des exigences d'une opération militaire, il est difficile de laisser les robots décider de leurs actions sans accord d'un opérateur ou surveillance, en fonction de la situation. Dans cette thèse, nous nous attardons sur deux problématiques:D'une part, nous cherchons à exploiter l'autonomie ajustable de sorte à ce qu'un robot puisse accomplir sa mission de la manière la plus efficace possible, tout en respectant des restrictions assignées par un opérateur sur son niveau d'autonomie. Pour cela, celui-ci est en mesure de définir pour un ensemble d'états et d'actions donné un niveau de restriction. Ce niveau peut par exemple imposer au robot la télé-opération pour accéder à une zone à risque.D'autre part, comme nous envisageons la possibilité que plusieurs robots soient déployés en même temps, ces robots doivent se coordonner pour accomplir leurs objectifs. Seulement, comme les opérateurs peuvent prendre le contrôle de certains d'entre eux, la question de la coordination se pose. En effet, l'opérateur ayant ses propres préférences, perception de l'environnement, connaissances et étant sujet aux stress, hésitations, il est difficile de prévoir les actions que celui-ci va effectuer, et donc de s'y coordonner. Nous proposerons dans cette thèse une approche visant à estimer la politique exécutée par un robot télé-opéré à partir d'apprentissage basé sur les actions observés de ce robot.La notion de planification est très présente dans ces travaux. Ceux-ci se baseront sur des modèles de planifications comme les Processus Décisionnels de Markov. / Robots will be more and more used in both civil and military fields. These robots, operating in fleet, can accompany soldiers in fight, or accomplish a mission while being supervised by a control center. Considering the requirement of a military operation, it is complicated to let robots decide their action without an operator agreement or watch, in function of the situation.In this thesis, we focus on two problematics:First, we try to exploit adjustable autonomy to make a robot accomplishes is mission as efficiency as possible, while he respects restrictions, assigned by an operator, on his autonomy level. For this, it is able to define for given sets of states and actions a restriction level. This restriction can force, for example, the need of being tele-operated to access a dangerous zone.Secondly, we consider that several robots can be deployed at the same time. These robots have to coordinate to accomplish their objectives. However, since operators can take the control of some robots, the coordination is harder. In fact, the operator has preferences, perception, hesitation, stress that are not modeled by the agent. It is then hard to estimate his next actions, so to coordinate with him. We propose in this thesis an approach to estimate the policy executed by a tele-operated robot from learning methods, based on observed actions from this robot.The notion of planning his important in these works. These are based on planning models, such as Markov Decision Processes.

Cette thèse se situe dans le cadre de la décision pour un agent<br />rationnel et autonome. Le travail consiste à élaborer un système de<br />contrôle intelligent pour un agent évoluant dans un environnement<br />incertain. L'agent doit pouvoir contrôler sa consommation de ressources<br />au cours d'une mission prédéfinie. La première partie de cette thèse<br />introduit le concept de planification sous incertitude. Une présentation<br />des processus décisionnels de Markov (MDP) précède un état de l'art sur<br />les techniques de résolution de MDP de grande taille.<br />Ce système de contrôle de ressources s'appuie sur le raisonnement<br />progressif. Le raisonnement progressif permet de modéliser un ensemble<br />de tâches sous forme d'unités de raisonnement progressif (ou PRUs).<br />Chaque PRU définit des niveaux de réalisation pour une tâche donnée,<br />donnant lieu à des qualités croissantes de réalisation. Chaque niveau<br />est lui-même composé de modules dont un seul sera retenu pour sa<br />réalisation. Choisir un module plutôt qu'un autre permet à l'agent de<br />faire un compromis entre la qualité de la tâche accomplie et les<br />ressources consommées.<br /><br />Cette thèse présente deux extensions du raisonnement progressif : la<br />prise en compte de ressources multiples et l'adaptation à un changement<br />de mission. Premièrement, des algorithmes sont présentés pour faire face<br />à l'explosion combinatoire due à l'introduction de nouvelles ressources.<br />Deuxièmement, l'élaboration d'un algorithme d'approximation de fonction<br />de valeur permet d'obtenir rapidement un système de contrôle pour<br />s'adapter à un éventuel changement de mission. Une expérience est<br />finalement menée sur un robot réel qui contre ses ressources grâce au<br />raisonnement progressif.