Un système multiagents (SMA) est constitué de plusieurs agents qui interagissent dans un environnement pour atteindre leurs objectifs. Une interaction peut être une coopération si les agents coopèrent. L'interaction peut aussi être une négociation si les agents sont en compétition. Il est toutefois possible que les agents soient situés dans un environnement semi compétitif où ils peuvent, à la fois, coopérer et être en compétition. Dans ce mémoire, nous présentons un modèle dynamique de pilotage d'un SMA semicompétitif qui permet à l'agent de choisir ses partenaires d'interaction et d'élaborer son comportement vis-à-vis des agents. Le modèle ainsi développé est basé sur l'évaluation de la réputation des agents. Si l'agent est bien réputé, alors il constituera un bon partenaire d'interaction. L'évaluation de la réputation est effectuée à partir de plusieurs sources d'informations comme l'historique des expériences directes avec l'agent à évaluer, et le témoignage des autres agents de la société classés selon des groupes. Le modèle dynamique de pilotage a été validé en considérant les trois scénarios les plus représentatifs du contexte étudié. Le premier scénario suppose qu'il n'existe aucune collaboration entre les agents (1). Le deuxième scénario implique les agents dans une relation de compétition (2). Enfin, le troisième scénario utilise le modèle dynamique de pilotage pour permettre à l'agent de choisir son comportement vis-à-vis ses partenaires d'interaction (3). Les résultats de la simulation ont montré que les agents ayant des bonnes réputations ont gagné en termes d'utilité. / A multi-agent system (MAS) consists of several agents interacting in an environment to achieve their goals. An interaction can be cooperation if the agents cooperate. It can be also a negotiation if the agents are in competition. However, it is possible that the agents are located in a semi-competitive environment. They can both be in competition and cooperate. In this memory, we present a dynamic model of piloting a semicompetitive MAS which allows the agent to choose its interaction partners and to define its behaviour towards the agents. This developed model is based on the evaluation of the reputation of the agents. If the agent has a good reputation, then it will be considered as a good interaction partner. The evaluation of the reputation is carried out starting from several sources of information like the direct experience with the evaluated agent and the witness of the other agents. The dynamic model was validated by a simulation of three scenarios. The first scenario supposes that there is not any collaboration between the agents. The second scenario implies the agents in competition. Lastly, the third scenario uses the dynamic model of piloting to allow agent to choose its behaviour toward its interaction partners. The simulation results showed that the agents having good reputations improved their utility.

La communication entre agents est primordiale à l'intérieur des systèmes multiagents. Les agents d'un système multi-agents doivent communiquer pour se coordonner et pour échanger de l'information. Dans ce mémoire, nous avons travaillé à l'élaboration et à l'amélioration d'un langage de communication agent nommé DIAGAL (DIAlogue- Game based Agent Language) dont la sémantique se base sur les engagements sociaux. En fait, notre approche se base sur les jeux de dialogue qui sont des structures qui permettent la négociation d'engagements sociaux par le dialogue. Les agents peuvent donc, à l'aide des jeux de dialogue, communiquer pour créer, annuler ou modifier des engagements sociaux. De plus, nous proposons le concept de réseau d'engagements pour modéliser les conversations entre agents. Les réseaux d'engagements permettent de spécifier les dialogues à l'intérieur d'un système multi-agents en analysant les liens de causalité qui existent entre les différents engagements pouvant exister dans le système. Finalement, nous avons défini différentes métriques qui permettent d'analyser les dialogues entre agents.

La thématique principale des recherches présentées dans le présent travail concerne la modélisation de comportement d'agents informatiques hybrides au sein de Systèmes multi-agents (SMA). Un agent hybride est un agent qui dispose à la fois de comportements réactifs et de comportements cognitifs. S'inspirant à la base d'une réflexion principalement psychophysiologique du vivant, ce travail s'insère dans la problématique plus vaste de l'Intelligence artificielle distribuée et de la Vie artificielle. Partant du principe qu'un être humain, même s'il est cognitif, est aussi une espèce issue de la nature, le présent travail a pour objectif de mettre en place une architecture hybride générique d'agents artificiels dont la base du comportement est la motivation naturelle existant dans ces agents. La particularité de cette étude est que nous intégrons les concepts d'instinct, pulsion, faim, soif, etc. dans les agents cognitifs ou hybrides alors que dans la plupart des cas, ces notions ont toujours été l'apanage des modèles d'agents réactifs, particulièrement ceux basés sur les animâts. A terme, le raisonnement et les attitudes mentales ne seront donc plus les seuls facteurs à prendre en compte pour comprendre le comportement de ces agents cognitifs ou hybrides. Au niveau de l'architecture, nous obtenons ainsi à la base un modèle générique basé uniformément sur le concept de motivation naturelle et ce, quel que soit le type de l'agent étudié (réactif, cognitif, hybride). Au niveau du comportement, nous proposons de fournir un cadre hybride permettant de gérer, à un niveau générique, la sélection d'actions et plus précisément pour le présent contexte, la sélection de motivations. Le terme "générique" signifie que l'ensemble des critères fournis dans le mécanisme de sélection ne dépend pas de l'application mais permettra à l'utilisateur du système de se préoccuper au minimum des stratégies de sélection. Pour ce faire, il appartient au modèle de fournir les règles de positionnement pour chaque motivation. Sur le plan de la conception, nous adoptons un modèle issu d'un travail déjà existant dans le monde de la psychologie. Il s'agit de la pyramide du psychologue américain Abraham Maslow, portant sur les cinq besoins abstraits des humains. Le choix d'un modèle issu de l'étude du monde réel est important. Nous évitons en effet de devoir fournir des hypothèses théoriques de conception. Notre cadre d'application concerne en premier lieu une application cas d'école axée sur des agents fourrageurs qui se déplacent pour transporter des objets. Puis, dans un cadre plus réel, l'étude porte sur la simulation du comportement des paysans dans une région à Madagascar.

Les systèmes multi-agents appartiennent à un domaine de l'intelligence artificielle et ce sont des systèmes que l'on appréhende très différemment de l'ingénierie informatique classique. Les systèmes multi-agents interviennent là où la résolution classique des problèmes grâce à l'informatique a ses limites. Ce domaine est malheureusement peu exploité aujourd'hui compte tenu des possibilités qu'il offre dans de nombreux domaines comme les sciences sociales, sciences informatiques, sciences expérimentales ou encore l'industrie. Mais les limites des systèmes informatiques et industrielles actuels sont telles qu'il devient envisageable et même intéressant de développer des systèmes multi-agents pour répondre aux besoins croissants de nombreux domaines plus classiques, que ce soit en termes de temps, d'efficacité ou de productivité. Nous allons tout d'abord commencer par le concept d'agent, qui est l'élément fondamental pour concevoir des systèmes multi-agents. Nous verrons les divers types et catégories d'agents, ainsi que les architectures typiques qui leurs sont associés comme BDI, IDA ou CTS. Puis nous allons voir les notions concernant les systèmes multi-agents, comme la notion d'interaction qui est une des pièces maîtresses avec les agents pour concevoir un système multi-agents. Avec les interactions viennent des phénomènes d'auto-organisation, et on verra différent modèles d'organisation ainsi que plusieurs niveaux d'organisation dans les systèmes multi-agent. Enfin nous verrons différents outils, plateformes et langages adaptés à la conception de systèmes multi-agents, pour ce qui est de la structure des agents ou de l'aspect interactions et communications. Puis nous ferons quelques recommandations méthodologiques concernant le développement de systèmes multi-agents dans leur globalité. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : agent, système multi-agents, systèmes adaptatifs, organisation émergente, cycle cognitif, intelligence artificielle distribuée.

Résumé Internet est devenu un moyen de diffusion de l’information géographique par excellence. Il offre de plus en plus de services cartographiques accessibles par des milliers d’internautes à travers le monde. Cependant, la qualité de ces services doit être améliorée, principalement en matière de personnalisation. A cette fin, il est important que la carte générée corresponde autant que possible aux besoins, aux préférences et au contexte de l’utilisateur. Ce but peut être atteint en appliquant les transformations appropriées, en temps réel, aux objets de l’espace à chaque cycle de génération de la carte. L’un des défis majeurs de la génération d’une carte à la volée est la résolution des conflits spatiaux qui apparaissent entre les objets, essentiellement à cause de l’espace réduit des écrans d’affichage. Dans cette thèse, nous proposons une nouvelle approche basée sur la mise en œuvre d’un système multiagent pour la génération à la volée des cartes et la résolution des conflits spatiaux. Cette approche est basée sur l’utilisation de la représentation multiple et la généralisation cartographique. Elle résout les conflits spatiaux et génère les cartes demandées selon une stratégie innovatrice : la génération progressive des cartes par couches d’intérêt. Chaque couche d’intérêt contient tous les objets ayant le même degré d’importance pour l’utilisateur. Ce contenu est déterminé à la volée au début du processus de génération de la carte demandée. Notre approche multiagent génère et transfère cette carte suivant un mode parallèle. En effet, une fois une couche d’intérêt générée, elle est transmise à l’utilisateur. Dans le but de résoudre les conflits spatiaux, et par la même occasion générer la carte demandée, nous affectons un agent logiciel à chaque objet de l’espace. Les agents entrent ensuite en compétition pour l’occupation de l’espace disponible. Cette compétition est basée sur un ensemble de priorités qui correspondent aux différents degrés d’importance des objets pour l’utilisateur. Durant la résolution des conflits, les agents prennent en considération les besoins et les préférences de l’utilisateur afin d’améliorer la personnalisation de la carte. Ils améliorent la lisibilité des objets importants et utilisent des symboles qui pourraient aider l’utilisateur à mieux comprendre l’espace géographique. Le processus de génération de la carte peut être interrompu en tout temps par l’utilisateur lorsque les données déjà transmises répondent à ses besoins. Dans ce cas, son temps d’attente est réduit, étant donné qu’il n’a pas à attendre la génération du reste de la carte. Afin d’illustrer notre approche, nous l’appliquons au contexte de la cartographie sur le web ainsi qu’au contexte de la cartographie mobile. Dans ces deux contextes, nous catégorisons nos données, qui concernent la ville de Québec, en quatre couches d’intérêt contenant les objets explicitement demandés par l’utilisateur, les objets repères, le réseau routier et les objets ordinaires qui n’ont aucune importance particulière pour l’utilisateur. Notre système multiagent vise à résoudre certains problèmes liés à la génération à la volée des cartes web. Ces problèmes sont les suivants : 1. Comment adapter le contenu des cartes, à la volée, aux besoins des utilisateurs ? 2. Comment résoudre les conflits spatiaux de manière à améliorer la lisibilité de la carte tout en prenant en considération les besoins de l’utilisateur ? 3. Comment accélérer la génération et le transfert des données aux utilisateurs ? Les principales contributions de cette thèse sont : 1. La résolution des conflits spatiaux en utilisant les systèmes multiagent, la généralisation cartographique et la représentation multiple. 2. La génération des cartes dans un contexte web et dans un contexte mobile, à la volée, en utilisant les systèmes multiagent, la généralisation cartographique et la représentation multiple. 3. L’adaptation des contenus des cartes, en temps réel, aux besoins de l’utilisateur à la source (durant la première génération de la carte). 4. Une nouvelle modélisation de l’espace géographique basée sur une architecture multi-couches du système multiagent. 5. Une approche de génération progressive des cartes basée sur les couches d’intérêt. 6. La génération et le transfert, en parallèle, des cartes aux utilisateurs, dans les contextes web et mobile. / Abstract Internet is a fast growing medium to get and disseminate geospatial information. It provides more and more web mapping services accessible by thousands of users worldwide. However, the quality of these services needs to be improved, especially in term of personalization. In order to increase map flexibility, it is important that the map corresponds as much as possible to the user’s needs, preferences and context. This may be possible by applying the suitable transformations, in real-time, to spatial objects at each map generation cycle. An underlying challenge of such on-the-fly map generation is to solve spatial conflicts that may appear between objects especially due to lack of space on display screens. In this dissertation, we propose a multiagent-based approach to address the problems of on-the-fly web map generation and spatial conflict resolution. The approach is based upon the use of multiple representation and cartographic generalization. It solves conflicts and generates maps according to our innovative progressive map generation by layers of interest approach. A layer of interest contains objects that have the same importance to the user. This content, which depends on the user’s needs and the map’s context of use, is determined on-the-fly. Our multiagent-based approach generates and transfers data of the required map in parallel. As soon as a given layer of interest is generated, it is transmitted to the user. In order to generate a given map and solve spatial conflicts, we assign a software agent to every spatial object. Then, the agents compete for space occupation. This competition is driven by a set of priorities corresponding to the importance of objects for the user. During processing, agents take into account users’ needs and preferences in order to improve the personalization of the final map. They emphasize important objects by improving their legibility and using symbols in order to help the user to better understand the geographic space. Since the user can stop the map generation process whenever he finds the required information from the amount of data already transferred, his waiting delays are reduced. In order to illustrate our approach, we apply it to the context of tourist web and mobile mapping applications. In these contexts, we propose to categorize data into four layers of interest containing: explicitly required objects, landmark objects, road network and ordinary objects which do not have any specific importance for the user. In this dissertation, our multiagent system aims at solving the following problems related to on-the-fly web mapping applications: 1. How can we adapt the contents of maps to users’ needs on-the-fly? 2. How can we solve spatial conflicts in order to improve the legibility of maps while taking into account users’ needs? 3. How can we speed up data generation and transfer to users? The main contributions of this thesis are: 1. The resolution of spatial conflicts using multiagent systems, cartographic generalization and multiple representation. 2. The generation of web and mobile maps, on-the-fly, using multiagent systems, cartographic generalization and multiple representation. 3. The real-time adaptation of maps’ contents to users’ needs at the source (during the first generation of the map). 4. A new modeling of the geographic space based upon a multi-layers multiagent system architecture. 5. A progressive map generation approach by layers of interest. 6. The generation and transfer of web and mobile maps at the same time to users.

Le paradigme multi-agents est largement utilisé pour concevoir des outils de simulation dédiés à la chaîne de création de valeur. En dépit de son attrait et de son ample utilisation dans la recherche, la technologie agent et son intégration avec des outils de planification de la chaîne de création de valeur distribuée représente encore un champ à explorer. En particulier, il existe une lacune de recherche dans la phase d'analyse des cadres méthodologiques basés sur le concept des multi-agents. Cette phase représente le premier effort de modélisation et influence considérablement le processus de création entier, ainsi que les simulations résultantes. Afin de contribuer à combler cette lacune, cette thèse présente un cadre méthodologique appelé FAMASS -Architecture FORAC pour modéliser des simulations multi-agents pour la planification des chaînes de création de valeur. L'approche FAMASS a l'intention de fournir une représentation uniforme d'un système distribué de planification avancée (d-APS) qui utilise la technologie multi-agents, un support à des analystes de simulation pour définir clairement les besoin fonctionnels des utilisateurs de scénarios de simulation, ainsi que leurs définitions expérimentales, et un guide aux analystes pour déployer les modèles d'analyse en modèles de spécification et de design. Par conséquent, la capitalisation de la connaissance et du savoir-faire des acteurs de la simulation est améliorée. Les scénarios de simulation sont donc modélisés plus vite, de façon plus précise, et ils sont éventuellement développés et utilisés. Le cadre méthodologique proposé est validé à travers une méthode de preuve-de-concept fondée sur un cas industriel solide et réaliste.

La planification devient complexe quand il s’agit de gérer des situations incertaines. Prédire de façon précise est une tâche fastidieuse pour les planificateurs humains. L’approche Simulation-Based Planning consiste à associer la planification à la simulation. Chaque plan généré est simulé afin d’être testé et évalué. Le plan le plus approprié est alors retenu. Cependant, le problème est encore plus complexe lorsque viennent s’ajouter des contraintes spatiales. Par exemple, lors d’un feu de forêt, des bulldozers doivent construire une ligne d’arrêt pour arrêter la propagation des feux. Ils doivent alors tenir compte non seulement de l’avancée des feux mais aussi des caractéristiques du terrain afin de pouvoir avancer plus facilement. Nous proposons une approche de géosimulation basée sur les agents et qui a pour but d’assister la planification dans un espace réel, à large échelle géographique et surtout à forte composante spatiale. Un feu de forêt est un problème typique nécessitant une planification dans un monde réel incertain et soumis à de fortes contraintes spatiales. Nous illustrons donc notre approche (nommée ENCASMA) sur le problème des feux de forêts. L’approche consiste à établir un parallélisme entre l’Environnement Réel ER (p.ex. une forêt incendiée) et un Environnement de Simulation ES (p.ex. une reproduction virtuelle de la forêt incendiée). Pour garantir un niveau acceptable de réalisme, les données spatiales utilisées dans l’ES doivent absolument provenir d’un SIG (Système d’information Géographique). Les planificateurs réels comme les pompiers ou les bulldozers sont simulés par des agents logiciels qui raisonnent sur l’espace modélisé par l’ES. Pour une meilleure sensibilité spatiale (pour tenir compte de toutes les contraintes du terrain), les agents logiciels sont dotés de capacités avancées telles que la perception. En utilisant une approche par géosimulation multiagent, nous pouvons générer une simulation réaliste du plan à exécuter. Les décideurs humains peuvent visualiser les conséquences probables de l’exécution de ce plan. Ils peuvent ainsi évaluer le plan et éventuellement l’ajuster avant son exécution effective (sur le terrain). Quand le plan est en cours d’exécution, et afin de garantir la cohérence des données entre l’ER et l’ES, nous gardons trace sur l’ES des positions (sur l’ER) des planificateurs réels (en utilisant les technologies du positionnement géoréférencé). Nous relançons la planification du reste du plan à partir de la position courante de planificateur réel, et ce de façon périodique. Ceci est fait dans le but d’anticiper tout problème qui pourrait survenir à cause de l’aspect dynamique de l’ER. Nous améliorons ainsi le processus classique de l’approche DCP (Distributed Continual Planning). Enfin, les agents de l’ES doivent replanifier aussitôt qu’un événement imprévu est rapporté. Étant donné que les plans générés dans le cas étudié (feux de forêts) sont essentiellement des chemins, nous proposons également une approche basée sur la géosimulation orientée agent pour résoudre des problèmes particuliers de Pathfinding (recherche de chemin). De plus, notre approche souligne les avantages qu’apporte la géosimulation orientée agent à la collaboration entre agents humains et agents logiciels. Plus précisément, elle démontre : • Comment la cognition spatiale des agents logiciels sensibles à l’espace peut être complémentaire avec la cognition spatiale des planificateurs humains. • Comment la géosimulation orientée agent peut complémenter les capacités humaines de planification lors de la résolution de problèmes complexes. Finalement, pour appliquer notre approche au cas des feux de forêts, nous avons utilisé MAGS comme plate-forme de géosimulation et Prometheus comme simulateur du feu. Les principales contributions de cette thèse sont : 1. Une architecture (ENCASMA) originale pour la conception et l’implémentation d’applications (typiquement des applications de lutte contre les désastres naturels) dans un espace géographique réel à grande échelle et dynamique. 2. Une approche basée sur les agents logiciels pour des problèmes de Pathfinding (recherche de chemin) particuliers (dans un environnement réel et à forte composante spatiale, soumis à des contraintes qualitatives). 3. Une amélioration de l’approche de planification DCP (plus particulièrement le processus de continuité) afin de remédier à certaines limites de la DCP classique. 4. Une solution pratique pour un problème réel et complexe : la lutte contre les feux de forêts. Cette nouvelle solution permet aux experts du domaine de mieux planifier d’avance les actions de lutte et aussi de surveiller l’exécution du plan en temps réel. / Planning becomes complex when addressing uncertain situations. Accurate predictions remain a hard task for human planners. The Simulation-Based Planning approach consists in associating planning and simulation. Each generated plan is simulated in order to be tested and evaluated. The most appropriate plan is kept. The problem is even more complex when considering spatial constraints. For example, when fighting a wildfire, dozers build a firebreak to stop fire propagation. They have to take into account not only the fire spread but also the terrain characteristics in order to move easily. We propose an agent-based geosimulation approach to assist such planners with planning under strong spatial constraints in a real large-scale space. Forest fire fighting is a typical problem involving planning within an uncertain real world under strong spatial constraints. We use this case to illustrate our approach (ENCASM). The approach consists in drawing a parallel between the Real Environment RE (i.e. a forest in fire) and the Simulated Environment SE (i.e. a virtual reproduction of the forest). Spatial data within the SE should absolutely come from a GIS (Geographic Information System) for more realism. Real planners such as firefighters or dozers are simulated using software agents which reason about the space of the SE. To achieve a sufficient spatial awareness (taking into account all terrain’s features), agents have advanced capabilities such as perception. Using a multiagent geosimulation approach, we can generate a realistic simulation of the plan so that human decision makers can visualize the probable consequences of its execution. They can thus evaluate the plan and adjust it before it can effectively be executed. When the plan is in progress and in order to maintain coherence between RE and SE, we keep track in the SE of the real planners’ positions in the RE (using georeferencing technologies). We periodically replan the rest of the plan starting from the current position of the real planner. This is done in order to anticipate any problem which could occur due to the dynamism of the RE. We thus enhance the process of the classical Distributed Continual Planning DCP. Finally, the agents must replan as soon as an unexpected event is reported by planners within the RE. Since plans in the studied case (forest fires) are mainly paths, we propose a new approach based on agent geosimulation to solve particular Pathfinding problems. Besides, our approach highlights the benefits of the agent-based geo-simulation to the collaboration of both humans and agents. It thus shows: • How spatial cognitions of both spatially aware agents and human planners can be complementary. • How agent-based geo-simulation can complement human planning skills when addressing complex problems. Finally, when applying our approach on firefighting, we use MAGS as a simulation platform and Prometheus as a fire simulator. The main contributions of this thesis are: 1. An original architecture (ENCASMA) for the design and the implementation of applications (typically, natural disasters applications) in real, dynamic and large-scale geographic spaces. 2. An agent-based approach for particular Pathfinding problems (within real and spatially constrained environments and under qualitative constraints). 3. An enhancement of the DCP (particularly, the continual process) approach in order to overcome some limits of the classical DCP. 4. A practical solution for a real and complex problem: wildfires fighting. This new solution aims to assist experts when planning firefighting actions and monitoring the execution of these plans.

L’apprentissage multiagent est une direction prometteuse de la recherche récente et à venir dans le contexte des systèmes intelligents. Si le cas mono-agent a été beaucoup étudié pendant les deux dernières décennies, le cas multiagent a été peu étudié vu sa complexité. Lorsque plusieurs agents autonomes apprennent et agissent simultanément, l’environnement devient strictement imprévisible et toutes les suppositions qui sont faites dans le cas mono-agent, telles que la stationnarité et la propriété markovienne, s’avèrent souvent inapplicables dans le contexte multiagent. Dans ce travail de maîtrise nous étudions ce qui a été fait dans ce domaine de recherches jusqu’ici, et proposons une approche originale à l’apprentissage multiagent en présence d’agents adaptatifs. Nous expliquons pourquoi une telle approche donne les résultats prometteurs lorsqu’on la compare aux différentes autres approches existantes. Il convient de noter que l’un des problèmes les plus ardus des algorithmes modernes d’apprentissage multiagent réside dans leur complexité computationnelle qui est fort élevée. Ceci est dû au fait que la taille de l’espace d’états du problème multiagent est exponentiel en le nombre d’agents qui agissent dans cet environnement. Dans ce travail, nous proposons une nouvelle approche de la réduction de la complexité de l’apprentissage par renforcement multiagent. Une telle approche permet de réduire de manière significative la partie de l’espace d’états visitée par les agents pour apprendre une solution efficace. Nous évaluons ensuite nos algorithmes sur un ensemble d’essais empiriques et présentons des résultats théoriques préliminaires qui ne sont qu’une première étape pour former une base de la validité de nos approches de l’apprentissage multiagent. / Multiagent learning is a promising direction of the modern and future research in the context of intelligent systems. While the single-agent case has been well studied in the last two decades, the multiagent case has not been broadly studied due to its complex- ity. When several autonomous agents learn and act simultaneously, the environment becomes strictly unpredictable and all assumptions that are made in single-agent case, such as stationarity and the Markovian property, often do not hold in the multiagent context. In this Master’s work we study what has been done in this research field, and propose an original approach to multiagent learning in presence of adaptive agents. We explain why such an approach gives promising results by comparing it with other different existing approaches. It is important to note that one of the most challenging problems of all multiagent learning algorithms is their high computational complexity. This is due to the fact that the state space size of multiagent problem is exponential in the number of agents acting in the environment. In this work we propose a novel approach to the complexity reduction of the multiagent reinforcement learning. Such an approach permits to significantly reduce the part of the state space needed to be visited by the agents to learn an efficient solution. Then we evaluate our algorithms on a set of empirical tests and give a preliminary theoretical result, which is first step in forming the basis of validity of our approaches to multiagent learning.

Depuis plusieurs années, Recherche et Développement pour la Défense Canada (RDDC) et Lockheed Martin Canada (LMC) travaillent en collaboration afin de moderniser le système de Commande et Contrôle (C2) présent sur une frégate. Un tel système a pour but d'analyser et de gérer un flot d'informations considérable afin d'effectuer les bonnes actions face à une situation donnée. Notre rôle au sein de ce projet se situe au niveau de la prise de décision. Nous devons étudier les possibilités que peut offrir la technologie agent à un tel système. Dans ce mémoire, nous proposons un mod`ele formel d'interaction entre les différentes ressources disponibles sur la frégate et les menaces auxquelles elle doit faire face. Nous proposons aussi une technique de positionnement et une approche de planification afin de maximiser les chances de survie de la frégate. Enfin, nous présentons les résultats que nous avons obtenus au moyen de simulations.

L'industrie des transports est un acteur important de l'économie mondiale. Des millions d'emplois sont touchés de près ou de loin par cette industrie. De plus, le nombre de véhicules sur terre ne cesse d'augmenter et il est rendu courant dans plusieurs pays industrialisés d'avoir plus d'une voiture par famille. Tout cela entraîne également son lot de problèmes, notamment au niveau de la sécurité routière et de la pollution. Depuis des décennies, des compagnies privées et des organisations publiques se penchent sur ces problèmes. Ils innovent constamment en améliorant les véhicules et les infrastructures du réseau routier. Les voitures ne sont pas seulement de plus en plus sécuritaires mais aussi de plus en plus confortables et conviviales. Cependant, la plupart des systèmes intelligents présents dans les voitures acquièrent de l'information grâce aux capteurs. Ceux-ci sont limités et certaines données ne peuvent être accessibles aux capteurs. La solution repose donc sur l'utilisation de la communication sans fil pour échanger des informations entre les véhicules et entre les infrastructures et les véhicules. Le sujet de cette maîtrise porte sur la communication inter-véhicules et route-à-véhicule. Elle se divise en deux parties. Tout d'abord, dans le cadre du projet AUTO21 au laboratoire DAMAS, un protocole de communication inter-véhicules doit être développé pour implanter un système de régulateur de vitesse collaboratif et adaptatif (" Collaborative Adaptative Cruise Control ", CACC). La théorie multi-agents et l'apprentissage par renforcement sont utilisés pour apprendre une politique de communication optimale. La deuxième partie porte sur la communication route-à-véhicule appliquée au problème d'optimisation des feux de signalisation. Deux approches multiagents sont utilisées pour optimiser la gestion des feux. Les agents placés aux intersections reçoivent de l'information relative au trafic grâce à la communication route-à-véhicule et tentent d'adopter une politique de contrôle optimale.