Ce travail de thèse se situe dans le cadre du projet Terra Dynamica visant à peupler une ville virtuelle avec des agents qui simulent des piétons et des véhicules. L’objectif de notre travail est de rendre l’environnement compréhensible par les agents de la simulation afin qu’ils puissent exhiber des comportements crédibles. Les premiers travaux qui ont été proposés pour la modélisation sémantique des environnements virtuels gardent toujours un lien de dépendance avec la représentation graphique pré-existante de l’environnement. Cependant, l’information sémantique représentée dans ce genre d’approches est difficilement exploitable par les agents pour effectuer des procédures de raisonnement complexes en dehors des algorithmes de navigation. Nous présentons dans cette thèse un modèle de représentation de la sémantique de l’environnement qui fournit aux agents des données sur l’utilisation des objets de l’environnement pour permettre au mécanisme d’aide à la décision de produire des comportements crédibles. Par ailleurs, en réponse à des contraintes inhérentes à la simulation urbaine, notre approche est capable de traiter un grand nombre d’agents, en temps réel. Notre modèle est basé sur le principe que les objets de l’environnement proposent des services permettant de réaliser les actions avec différentes qualités. Nous avons donc représenté les informations sémantiques des objets liées à leur utilisation sous forme de services dans une ontologie de services. Nous avons utilisé cette ontologie de services pour calculer une qualité de service QoS qui nous permet de trier les différents objets permettant de réaliser une même action. Ainsi, nous pouvons comparer entre les services proposés par les objets pour proposer aux agents les meilleurs objets leur permettant de réaliser leurs actions afin d’acquérir une crédibilité comportementale. Afin d’évaluer l’impact de notre modèle sur la crédibilité des comportements produits, nous avons défini un protocole d’évaluation dédié aux modèles de représentation de la sémantique dans les environnements. Dans ce protocole, des observateurs doivent évaluer le caractère crédible des comportements produits par le simulateur à partir d’un modèle sémantique de l’environnement. Grâce à cette évaluation, nous montrons que notre modèle permet de simuler des agents dont le comportement est jugé comme crédible par des observateurs humains. Nous présentons également une évaluation qualitative de la capacité de notre modèle de passer à l’échelle et de répondre aux contraintes d’une simulation temps-réel. Cette évaluation, nous a permis de montrer que les caractéristiques de l’architecture de notre modèle nous permettent de répondre en un temps raisonnable aux demandes d’un grand nombre d’agents. / This work is part of the Terra Dynamica project whose objective was to populate a virtual city with agents that simulate pedestrians and vehicles. The aim of our work is to make agents which understand their environment so they can produce credible behaviors The first proposed solutions for the semantic modeling of virtual environments still keep a link with the pre-existing graphic representation of the environment. However, the semantic information represented in this kind of approach is difficult to use by the agents to perform complex reasoning procedures outside the navigation algorithms. In this thesis we present a semantic representation model of the environment that provides the agents with data on the use of environmental objects in order to allow the decision mechanism to produce credible behaviors. Furthermore, in response to the constraints that are inherent to the urban simulation, our approach is capable of handling a large number of agents in real time. Our model is based on the principle that environmental objects provide services for performing actions with different qualities. We have therefore represented the semantic information of the objects related to their use, as services in an ontology of services. We used this ontology of services to calculate a QoS which allows us to sort the different objects which all perform the same action. Thus, we can compare between the services offered by different objects in order to provide the agents with the best objects that allow them to carry out their actions and exhibit behavioral credibility. To assess the impact of our model on the credibility of the produced behaviors, we defined an evaluation protocol for the semantic representation of virtual environment models. In this protocol, observers must assess the credibility of behaviors produced by the simulator using a semantic model of the environment. Through this evaluation, we show that our model can simulate agents whose behavior is deemed credible by human observers. We also present a qualitative assessment of the ability of our model to scale and meet the constraints of a real-time simulation. This evaluation allowed us to show that the characteristics of the architecture of our model allow us to respond in a reasonable amount of time to requests from a large number of agents.

La conception d’un système mécatronique est un problème d’optimisation multidisciplinaire et multi-objectif. Les approches d’optimisation actuellement utilisées, pour l’optimisation des systèmes multidisciplinaires, sont coûteuses en temps de calcul, difficiles à mettre en œuvre et non flexibles avec la phase de conception préliminaire, où les objectifs et les contraintes de conception changent fréquemment. D’où la nécessité de chercher une nouvelle technique plus simples à mettre en œuvre, moins coûteuse et qui permet d’adapter dynamiquement une solution suite à un changement des spécifications. C’est dans ce contexte que cette thèse se focalise sur le développement d’une approche multi-agents de conception qui, se basant sur les connaissances disciplinaires et par un comportement coopératif, permet de trouver collectivement une solution optimale qui satisfait les contraintes et les performances demandées.L'approche proposée est basée sur un processus de conception pour faciliter la conception collaborative distribué des systèmes mécatroniques. Cette approche est appliquée à la conception préliminaire d'un véhicule électrique pour illustrer comment l'utilisation du paradigme multi-agent aide les concepteurs à prendre des décisions efficaces et de parvenir à une décision optimale de l'ensemble du problème. Une étude comparative avec les méthodes classiques d'optimisation est faite afin de démontrer la validité et l'efficacité de l’approche proposée. / The design of a mechatronic system is a multidisciplinary and multi-objective optimization problem. Optimization approaches currently used for the optimization of multidisciplinary systems are expensive in computation time, difficult to implement, and inflexible with the preliminary design phase, in which the objectives and design constraints change frequently. It is therefore necessary to look for new techniques easier to implement and less expensive, that enable to adapt dynamically a solution due to a change in specifications. In this context that this thesis focuses on the development of a multi-agent design approach, based on disciplinary knowledge and cooperative behavior; make possible to collectively find an optimal solution that satisfies the required constraints and performance.The proposed approach is based on a design process to facilitate collaborative distributed design of mechatronic systems. This approach is applied to the preliminary design of an electric vehicle to illustrate how the use of the multi-agent paradigm helps designers in making effective decisions and to achieve an optimal decision of the overall problem. A comparative study with traditional optimization methods is made to demonstrate the validity and effectiveness of the proposed approach.

This report presents an application of reinforcementlearning to the problem of controlling multiple robots performingthe task of moving boxes in a warehouse environment. The robotsmake autonomous decisions individually and avoid colliding witheach other and the walls of the warehouse. The problem is definedas a dynamical multi-agent system and a solution is reachedby applying the DQN algorithm. The solution is designed forachieving scalability, meaning that the trained robots are flexibleenough to be deployed in simulated environments of differentsizes and alongside a different number of robots. This wassuccessfully achieved by feature engineering. / Denna rapport presenterar en implementation av Reinforcement Learning som löser problemet med att styra flertalet robotar som utför uppgiften att flytta lådor i en lager miljö. Robotarna tar autonoma beslut individuellt och försöker att undvika att krocka med varandra och väggarna av lagerlokalen. Problemet definieras som ett dynamiskt multi-agent system och en lösning nås genom att tillämpa DQN algoritmen. Lösningen är utformad för att uppnå skalbarhet, vilket innebär att robotarna ska vara flexibla nog att agera i miljöer av antal robotar. Detta uppnåddes framgångsrikt genom att implementera funktionsextraktion. / Kandidatexjobb i elektroteknik 2022, KTH, Stockholm

La conception, l'étude et la gestion des systèmes du trafic urbain (STU) sont difficiles et coûteuses et sont des tâches très complexes. Dans ces systèmes, l'objectif principal est d'améliorer la circulation et d'optimiser la fluidité grâce à des règles de fonctionnement et de pilotage (qui constituent le sous-système décisionnel). L'approche distribuée du pilotage peut contribuer à la mise en place d'organisations agiles, combinant des logiques de réseaux et de hiérarchie. Cependant, le pilotage non centralisé des STU s'appuie fondamentalement sur les interactions d'entités communicantes, autonomes et capables de prendre des décisions. Ce travail s'intègre dans le développement de la méthodologie de modélisation ASCImi-STU (analyse, spécification, conception, implantation -multiple, incrémentielle pour les STU) qui a pour objectif d'apporter une aide à la conception et à la gestion des STU. La problématique liéé à la conception du sous-système décisionnel des STU est la maîtrise de la cohérence spatiale et temporelle des décisions, compte tenu des caractéristiques des systèmés pilotés et de leur environnement. Nous proposons pour le sous-système décisionnel une approche multi-agents et un outil d'aide à la décision pour améliorer la qualité de service aux usagers et pour résoudre des problèmes de planification au niveau stratégique, tactique et opérationnel.

L'objectif principal de notre travail est de reproduire l'évolution de la distribution de la population d'une ville. Le parti pris est de privilégier une vision synthétique de la ville. Notre approche se fonde sur une modélisation de l'interaction entre un niveau intermédiaire (constitué par des groupes sociaux et des types d'habitat) et un niveau individuel (constitué par des ménages et des logements). Pour représenter l'évolution de la population de la ville et du parc du logement à la différence des approches classiques de microsimulation, nous privilégions une approche globale : nous considérons des règles générales d'évolution basées sur des quotas de ménages et de logements. À partir de ces principes, nous avons développé un modèle de simulation multi-agent basé sur la concurrence entre groupes sociaux pour des groupes de logements libres, dans un marché du logement. Nous avons utilisé ce modèle pour reproduire l'évolution de la distribution de la ville de Bogota entre 1973 et 1993.

Cette thèse propose une approche de la collaboration homme-machine, inspirée de la théorie de l'Enaction, dans le domaine de l'interprétation de données complexes. L'autonomie des deux partenaires vise à leur permettre de réaliser une interprétation en s'appuyant sur leurs compétences. Pour préserver leur autonomie, la communication du système avec son partenaire est réalisée au moyen d'annotations. Cette approche est appliquée à la conception d'un système multi-agents pour l'interprétation collaborative de signaux physiologiques de patients en réanimation médicale, i.e. des séries temporelles multivariées. Ce système est capable de construire une interprétation des séries temporelles par la construction (1) de modèles d'évènements et de scénarios (ensembles d'évènements reliés par des relations temporelles) et (2) d'annotations à partir de ces modèles. Les modèles qu'il construit évoluent au cours de l'interprétation pour prendre en compte les annotations du partenaire humain.

Les environnements domotiques sont des environnements ubiquitaires dans lesquels des équipements domestiques, disséminés dans une habitation, fournissent des services utilisables à distance au travers d'un réseau. Des systèmes domotiques sont proposés pour permettre aux utilisateurs de contrôler les équipements en fonction de leurs besoins.Idéalement, ces systèmes orchestrent l'exécution des services fournis par les équipements pour réaliser des services complexes. Mieux encore, ces systèmes doivent s'adapter à la variété des environnements en termes d'équipements et des besoins des utilisateurs. Ils doivent également pouvoir s'adapter dynamiquement, si possible de manière autonome, au changement de leur contexte d'exécution (apparition ou disparition d'un équipement, évolution des besoins).Dans cette thèse, nous apportons une réponse à cette problématique avec SAASHA, un système domotique multi-agents à base de composants. La combinaison de ses deux paradigmes permet de gérer l'adaptation à trois niveaux : présentation (interfaces utilisateur),organisation (architecture du système) et comportement (architecture interne des agents).Les agents perçoivent le contexte et ses changements. Les utilisateurs se voient proposer une vue dynamique du contexte leur permettant de définir des scénarios personnalisés sous forme de règles. Les agents se répartissent les rôles pour réaliser les scénarios. Ils modifient dynamiquement leur architecture interne grâce à la génération, au déploiement et à l'assemblage de composants pour se doter de nouveaux comportements de contrôle des équipements et des scénarios. Les agents collaborent ainsi pour exécuter les scénarios. En cas de changement, ces trois niveaux d'adaptation sont mis en oeuvre de manière dynamique et autonome pour maintenir la continuité de service. Un prototype de SAASHA, basé sur les standards industriels UPnP et OSGi, a été développé pour évaluer la faisabilité de notre proposition. / Home automation environments are ubiquitous environments where domestic devices, scattered throughout a home, provide services that can be used remotely over a network. Home automation systems are proposed to enable the users of controlling the devices according to their needs. Ideally, these systems orchestrate the execution of the services provided by the devices to achieve complex services. Even more, these systems must adapt to the variety of environments in terms of devices and users needs. They must also be able to adapt dynamically, if possible in an autonomous manner, to the changes of their execution context (appearance or disappearance of a device, changing needs).In this thesis, we provide an answer to this problematic with SAASHA, a multi-agent home automation system based on components. The combination of these two paradigms enables managing the adaptation on three levels: presentation (user interface), organization (system architecture) and behavior (internal architecture of agents). The agents perceive their context and its changes. The Users are offered a dynamic view of the context allowing them to define custom scenarios as rules. The agents divide the roles among them to realize the scenarios. They modify dynamically their internal architecture throughout the generation, deployment and assembly of components to adopt new device control behaviors and scenarios. The agents collaborate to execute the scenarios. In case of a change, these three levels of adaptation are updated dynamically and autonomously to maintain the service continuity. A SAASHA prototype, based on UPnP and OSGi industry standards, has been developed to assess the feasibility of our proposal.

Face à une situation de crise sanitaire liée à l’apparition d’une pandémie de grande envergure, des mesures adéquates doivent rapidement être prises pour la contenir tout en préservant la capacité de production de l’économie. D’autre part, beaucoup de travaux sont réalisés dans le domaine de la diffusion de la propagation d’une épidémie. C’est pourquoi, nous accentuons notre apport à un décideur afin de lui permettre de maintenir les fonctions minimums de survie de la société dans le cadre d’une crise sanitaire. Ainsi, nous proposons un modèle d’aide à la décision de gestion de crise sanitaire. Par ailleurs, la société est située au coeur de notre modèle. Nous sommes donc amenés à considérer un certain nombre d’interactions directes et indirectes entre divers individus. La théorie des graphes, et principalement les graphes aléatoires, permettent de gérer une à une ces relations. Or, dans notre cas, la gestion des relations une à une n’est pas appropriée d’autant plus que les relations peuvent varier sous l’influence de facteurs incontrôlables. Cela nous a conduits à proposer un modèle mathématique de réseaux stochastiques basé sur une extension de la théorie des graphes aléatoires. Il s’agit de la prétopologie stochastique qui est issue du couplage de deux théories mathématiques fondamentales, la prétopologie classique et les ensembles aléatoires. La simulation de notre modèle est effectuée selon une approche multi-agents. Nous avons opté pour cette approche car nous souhaitons mettre en place un modèle d’aide à la décision. Cette méthode va donc nous permettre de faire des simulations et des analyses de sensibilités. Nous avons une représentation explicite des comportements des individus qui ne sont pas figés. Située entre la théorie et l’ensemble des données de l’expérience, l’approche multi-agents permet de prendre en compte de manière simultanée les comportements individuels, les interactions entre les individus et les hypothèses dynamiques formulées dans le modèle. Cette approche sera couplée au système d’information géographique afin de considérer l’aspect spatial. Considéré comme un « oignon », le système d’information géographique permet d’exploiter différentes données et de les superposer sous forme de couches. Disposant de données épidémiologiques provenant des Groupes Régionaux d’Observation de la Grippe (GROG) et des données sociodémographiques issues de l’Institut National de la Statistique et des Etudes Economiques (INSEE), nous pourrons tester la robustesse de notre modèle. / To manage a public health crisis resulting from an outbreak of a large-scale pandemic, it is necessary to be capable of taking adequate measures very quickly. These measures must be taken to protect the productive capacity of the economy. Consequently, I have focused on the development of a « decision-making support » model with hybrid agents simulating the spreading of a pandemic, which is established on the medical characteristics of the virus as well as the socioeconomic structure of the concerned geographical zone. This socioeconomic structure being at the centre of the model, a pretopological modelling of the concept of social network is therefore proposed and integrated into the approach agent.

La dispersion spatiale de l'habitat et des activités de ces dernières décennies a fortement contribué à un allongement des distances et des temps de trajets domicile-travail. Cela a pour conséquence un accroissement de l'utilisation des voitures particulières, notamment au sein et aux abords des grandes agglomérations. Afin de réduire les impacts dus à l'augmentation du trafic routier, des services de covoiturage, où des usagers ayant la même destination se regroupent en équipage pour se déplacer, ont été mis en place partout dans le monde. Nous présentons ici nos travaux sur le problème de covoiturage régulier. Dans cette thèse, le problème de covoiturage régulier a été modélisé et plusieurs métaheuristiques de résolution ont été implémentées, testées et comparées. La thèse est organisée de la façon suivante: tout d'abord, nous commençons par présenter la définition et la description du problème ainsi que le modèle mathématique associé. Ensuite, plusieurs métaheuristiques pour résoudre le problème sont présentées. Ces approches sont au nombre de quatre: un algorithme de recherche locale à voisinage variable, un algorithme à base de colonies de fourmis, un algorithme génétique guidée et un système multi-agents génétiques auto-adaptatif. Des expériences ont été menées pour démontrer l'efficacité de nos approches. Nous continuons ensuite avec la présentation et la résolution d'une extension du problème de covoiturage occasionel comportant plusieurs destinations. Pour terminer, une plate-forme de test et d'analyse pour évaluer nos approches et une plate-forme de covoiturage sont présentées dans l'annexe. / Nowadays, the increased human mobility combined with high use of private cars increases the load on environment and raises issues about quality of life. The extensive use of private cars lends to high levels of air pollution, parking problem, traffic congestion and low transfer velocity. In order to ease these shortcomings, the car pooling program, where sets of car owners having the same travel destination share their vehicles, has emerged all around the world. We present here our research on the long-term car pooling problem. In this thesis, the long-term car pooling problem is modeled and metaheuristics for solving the problem are investigated. The thesis is organized as follows. First, the definition and description of the problem as well as its mathematical model are introduced. Then, several metaheuristics to effectively and efficiently solve the problem are presented. These approaches include a Variable Neighborhood Search Algorithm, a Clustering Ant Colony Algorithm, a Guided Genetic Algorithm and a Multi-agent Self-adaptive Genetic Algorithm. Experiments have been conducted to demonstrate the effectiveness of these approaches on solving the long-term car pooling problem. Afterwards, we extend our research to a multi-destination daily car pooling problem, which is introduced in detail manner along with its resolution method. At last, an algorithm test and analysis platform for evaluating the algorithms and a car pooling platform are presented in the appendix.

Le marché aux poissons de Boulogne-sur-Mer se caractérise par l’organisation singulière de son système de vente. En effet, sur celui-ci, les acheteurs et les vendeurs peuvent choisir chaque jour de recourir à un mécanisme d’enchères ou à un marché de gré à gré (voire à ces deux possibilités en même temps), pour commercer entre eux. La coexistence de ces deux systèmes de vente est stable dans le temps, chacun d’entre eux représentant approximativement la moitié des quantités échangées. Cette singularité économique conduit à s’interroger sur les conditions nécessaires à l’émergence et à la stabilité de cette coexistence. Pourquoi les agents ne s’accordent-ils tous pas pour un unique mécanisme de transaction comme dans la majorité des marchés? pourquoi observe-t-on une si grande volatilité dans les choix individuels de marché? Afin de comprendre les conditions nécessaires à cette coexistence de mécanismes de marché, la présente thèse se déclinera comme suit. La première partie sera dédiée à l’étude empirique des transactions journalières ayant lieu sur chacun des deux sous-marchés. Nous commençons par une analyse statistique et économétrique afin d’extraire les faits stylisés représentatifs des propriétés du marché et de ses acteurs, avant de procéder à une analyse des réseaux sociaux existants sur ce marché,visant à déterminer l’influence des interactions dans la prise de décision. Fort de ces résultats, nous construisons des modèles informatiques multi-agents, capables de reproduire les comportements observés au niveau individuel, et, au travers ceux-ci,le comportement du marché lui-même au niveau agrégé. / Should I buy or should I bid ? The influence of market mechanism : the case of Boulogne-Sur-Mer fish market. The Boulogne-sur-Mer fish market is organized in a very specific way. Each day buyers and sellers can choose to use either an auction mechanism, a negotiated market, or evenboth, in order to sell and buy goods.A stunning fact observed is the stable coexistence of those two sub-markets throughout time, with no convergence of agents toward one of them, each one accounting for roughly half of the exchanged quantities.The present thesis aims at discovering the necessary conditions of the emergence andstability of such a coexistence.To do it, we will begin with an empirical study of daily transactions that have occurred on this market for a few years. We begin with a statistical and econometric study to extract the main stylized facts of this market, then we study the social networks influencing the outcomes. Once those facts determined, we build agent-based computational models able to reproduce the individual behaviours of agents, and through these, the emergence of the market’sbehaviour itself.