Cette thèse porte sur le problème du transport à la demande (TAD). Nous proposons trois approches décentralisées basées sur les systèmes multi-agents pour résoudre ce problème. La première approche multi-agent utilise l'algorithme A* afin de trouver une solution optimale dans un réseau routier caractérisé par des vitesses de voyage constantes. Des expérimentations sont effectuées sur le réseau routier d'une ville libanaise appelée Tripoli et de bons résultats sont obtenus. Cependant, dans une ville comme Tripoli, les vitesses de voyage dépendent fortement de la situation dynamique du trafic routier. Pour cette raison, la deuxième approche multi-agent massif vient remédier à la première en tenant compte de l'évolution du trafic. Le réseau routier est considéré comme dynamique déterministe. Il se caractérise par des vitesses de voyages dépendantes de la situation habituelle du trafic. Ces vitesses sont pré-calculées en se basant sur des connaissances historiques du trafic routier. Les résultats expérimentaux montrent que le nombre de clients insatisfaits est supérieur à 50 % si les vitesses sont considérées comme constantes. Or, les connaissances historiques ne suffisent pas pour refléter la situation réelle du trafic surtout en cas d'apparition d'un événement imprévu tel qu'un accident sur le réseau. Pour cela, une troisième approche multi-agent massif auto-organisé est proposée. Le réseau routier est considéré comme dynamique stochastique caractérisé par des vitesses de voyage dépendantes de la situation réelle du trafic. Cette approche représente l'organisation dynamique du trafic à son échelle en se basant sur des connaissances historiques du trafic et sur des informations du trafic en temps réel. Les trajectoires des véhicules et leurs durées sont calculées et recalculées en ligne à chaque fois qu'un événement imprévu perturbe la situation habituelle du trafic. Les résultats expérimentaux montrent que jusqu'à 39 % des clients seront insatisfaits si un accident routier n'est pas considéré durant le traitement de leurs demandes. Autrement, 50 % à 100 % de ces clients sont satisfaits. / This thesis addresses the problem of on-demand transport (ODT). We propose three decentralized approaches based on multi-agent systems to solve this problem. The first multi-agent approach uses the algorithm A* in order to find an optimal solution in a road network characterized by constant travel speeds. Experiments are carried out on the road network of a Lebanese city called Tripoli and good results are obtained. However, in a city like Tripoli, travel speeds depend heavily on the dynamic situation of road traffic. For this reason, the second multi-agent approach massif comes to remedy the first taking into account the evolution of traffic. The road network is considered as dynamic deterministic. It is characterized by travel speeds dependent on the usual traffic situation. These speeds are pre-calculated on the basis of historical knowledge of road traffic. The experimental results show that the number of dissatisfied customers is greater than 50 % if the speeds are considered to be constant. Nevertheless, historical knowledge is not sufficient to reflect the actual traffic situation, especially in case of an unexpected event (such as an accident) occurring on the network. For this, a self-organized massive multi-agent approach is proposed. The road network is considered as a dynamic stochastic characterized by travel speeds dependent on the actual traffic situation. This approach represents the dynamic organization of traffic on its scale based on historical traffic knowledge and real-time traffic information. Vehicle trajectories and their durations are calculated and recalculated online whenever an unexpected event disrupts the usual traffic situation. The experimental results show that up to 39 % of customers will be dissatisfied if a road accident is not considered during the processing of their demands. Otherwise, 50 % to 100 % of these customers are satisfied.

Les systèmes multi-agents (MAS) et la commande coopérative ont fait l'objet de nombreuses recherches ces dernières années. Les domaines d'application sont très diverses et dans le cas des systèmes multi-véhicules, des approches ont été développées pour des unmanned air vehicles (UAVs), satellites, avions... Les types de missions envisagées sont des missions complexes telles l’exploration ou la surveillance de zones, la recherche et le suivi de cibles d'intérêt. Cependant, la coopération requière des échanges de communication entre les agents. Lorsque ceux-ci sont nombreux, cet échange peut conduire à des saturations du réseau, à l'augmentation des délais de transmission ou l’occurrence de pertes de paquets, d'où l'intérêt de réduire le nombre de communication. Dans les méthodes event-triggered, une communication est envoyée quand une condition, basée sur des paramètres choisis et un seuil prédéfini, est remplie. La principale difficulté est de définir une condition qui permettra de limiter les échanges sans dégrader l'exécution de la mission choisie. Dans le cas d'un système distribué, chaque agent doit maintenir une estimation de la valeur de l'état des autres agents afin de remplacer l'absence d'informations due à la communication réduite. L'objectif de cette thèse est de développer des lois de commandes et des estimateurs distribuées pour un système multi-agent afin de réduire le nombre de communication par méthode event-triggered, tout en prenant en compte la présence de perturbations. L'étude est divisée en deux grandes parties. La première décrit une méthode de communication event-triggered permettant de converger vers un consensus pour un système multi-agents de modèle d'évolution dynamique linéaire généralisée et en présence de perturbations d'état. Pour réduire les communications, un estimateur précis de l'état des agents est proposé, couplé à un estimateur de l'estimation de l'erreur, ainsi qu'un protocole de communication adapté. En prenant en compte la commande appliquée à chaque agent, l'estimateur proposé permet d'obtenir un consensus avec un nombre bien inférieur de communication que de la méthode de référence dans l'état de l'art. La seconde partie propose une stratégie de réduction de communication pour une commande de vol en formation permettant de suivre une trajectoire de référence. La dynamique des agents est décrite par un système Euler-Lagrange incluant des perturbations et des méconnaissances sur les paramètres du modèle. Différentes structures d'estimateurs sont proposées pour reconstruire les informations manquantes. La condition d'event-triggered distribuée proposée est basée sur l'écart relatif entre les positions et vitesses réelles et désirées des agents, ainsi que l'erreur relative entre la valeur estimée de l'état de l'agent et la valeur réelle. Une trajectoire de référence unique est déterminée pour guider la flotte. L'effet des perturbations sur la formation et la communication a été analysé. Enfin, les méthodes proposées ont été adaptées pour tenir compte des dégradations de performances dues aux pertes de données et aux délais de communication. Pour les deux types d'approches présentées les conditions de la stabilité du MAS ont été obtenues par l'intermédiaire de fonctions de Lyapunov et l'absence de paradoxe de Zeno a été étudiée. / A large amount of research work has been recently dedicated to the study of Multi-Agent System and cooperative control. Applications to mobile robots, like unmanned air vehicles (UAVs), satellites, or aircraft have been tackled to insure complex mission such as exploration or surveillance. However, cooperative tasking requires communication between agents, and for a large number of agents, the number of communication exchanges may lead to network saturation, increased delays or loss of transferred packets, from the interest in reducing them. In event-triggered strategy, a communication is broadcast when a condition, based on chosen parameters and some threshold, is fulfilled. The main difficulty consists in determining the communication triggering condition (CTC) that will ensure the completion of the task assigned to the MAS. In a distributed strategy, each agent maintains an estimate value of others agents state to replace missing information due to limited communication. This thesis focuses on the development of distributed control laws and estimators for multi-agent system to limit the number of communication by using event-triggered strategy in the presence of perturbation with two main topics, i.e. consensus and formation control. The first part addresses the problem of distributed event-triggered communications for consensus of a multi-agent system with both general linear dynamics and state perturbations. To decrease the amount of required communications, an accurate estimator of the agent states is introduced, coupled with an estimator of the estimation error, and adaptation of communication protocol. By taking into account the control input of the agents, the proposed estimator allows to obtain a consensus with fewer communications than those obtained by a reference method. The second part proposes a strategy to reduce the number of communications for displacement-based formation control while following a desired reference trajectory. Agent dynamics are described by Euler-Lagrange models with perturbations and uncertainties on the model parameters. Several estimator structures are proposed to rebuild missing information. The proposed distributed communication triggering condition accounts for inter-agent displacements and the relative discrepancy between actual and estimated agent states. A single a priori trajectory has to be evaluated to follow the desired path. Effect of state perturbations on the formation and on the communications is analyzed. Finally, the proposed methods have been adapted to consider packet dropouts and communication delays. For both types of problems, Lyapunov stability of the MAS has been developed and absence of Zeno behavior is studied.

Decentralized decision-making is an active research topic in artificial intelligence. In a distributed system, a number of individually acting agents coexist. If they strive to accomplish a common goal, the establishment of coordinated cooperation between the agents is of utmost importance. With this in mind, our focus is on multi-agent reinforcement learning (RL) methods which allow for automatically acquiring cooperative policies based solely on a specification of the desired joint behavior of the whole system.The decentralization of the control and observation of the system among independent agents, however, has a significant impact on problem complexity. Therefore, we address the intricacy of learning and acting in multi-agent systems by two complementary approaches.First, we identify a subclass of general decentralized decision-making problems that features regularities in the way the agents interact with one another. We show that the complexity of optimally solving a problem instance from this class is provably lower than solving a general one.Although a lower complexity class may be entered by sticking to certain subclasses of general multi-agent problems, the computational complexitymay be still so high that optimally solving it is infeasible. Hence, our second goal is to develop techniques capable of quickly obtaining approximate solutions in the vicinity of the optimum. To this end, we will develop and utilize various model-free reinforcement learning approaches.Many real-world applications are well-suited to be formulated in terms of spatially or functionally distributed entities. Job-shop scheduling represents one such application. We are going to interpret job-shop scheduling problems as distributed sequential decision-making problems, to employ the multi-agent RL algorithms we propose for solving such problems, and to evaluate the performance of our learning approaches in the scope of various established scheduling benchmark problems.

Dans ce travail, nous présentons une approche de couplage de modèles orientée agent pour la modélisation des systèmes complexes spatiaux. L’idée principale est d’utiliser l’espace comme medium d’interaction entre les modèles à coupler pour leur permettre de coexister et d’interagir conformément à un ensemble de règles qui régissent ces interactions. En jouant le rôle de facteur de couplage, l’espace permet aux agents chargés du couplage d’échanger des données et nous permet d’observer les résultats concrets du couplage des différents modèles constituant le système complexe spatial étudié. Cette approche est composée d’une méthodologie et d’un métamodèle de couplage orienté-agent. Notre métamodèle est basé sur une architecture organisationnelle (AGRE) et de type holonique qui prend en considération la spécificité, l’autonomie et l’échelle de calcul de chaque modèle. Cette notion de holon nous permet de gérer l’hétérogénéité des formalismes et des échelles spatio-temporelles des modèles. En effet, l’hétérogénéité spatiale est gérée par la décomposition des agents de collecte et de spatialisation jusqu’à atteindre le niveau d’abstraction souhaité. Ces agents peuvent passer d’un niveau à l’autre en adaptant l’échelle spatiale de l’espace à l’échelle spatiale du modèle grâce à des fonctions de conversion. L’hétérogénéité temporelle est gérée par un agent de temps qui permettra de calculer la future date d’exécution du modèle et un agent scheduler qui se chargera de l’ordonnancement de ces dates sur l’échelle de temps de la simulation. Nous prenons le système urbain de Métouia (Tunisie), comme exemple de système complexe spatial à étudier pour répondre aux besoins des urbanistes en termes d’aide à la décision en aménagement et tester notre approche de couplage coupling4modeling. / In This work we present an agent-based approach for coupling models in the context of complex spatial systems. The main idea of our approach called Coupling4Modeling is the use of the space as a medium of interactions between the coupling agents to allow them to co-exist and interact according to a set of rules that govern these interactions. By playing the role of coupling factor, space allows coupling agents to exchange data and to observe the results of pragmatic coupling of different models constituting the studied spatial complex sys-tem. This approach consisting in a methodology and an agent-oriented metamodel of coupling. Our metamodel is based on an organizational (AGRE) with holonic architecture that takes into consideration the specificity, autonomy and the calculation scale of each model. This notion of holon allows us to manage the heterogeneity of formalisms and spatio-temporal scales of models. In fact, spatial heterogeneity is managed by the decomposition of the collector and the interpreter agents until reaching the desired level of abstraction. These agents can move from one level to another by adapting the spatial scale of the space to the spatial scale of the model through conversion functions. The temporal heterogeneity is managed by a time agent that will calculate the future date in the execution of the model and a scheduler agent that will schedule these dates following the time scale of the simulation. We take the urban system of Metouia (Tunisia) as an example of spatial complex system, to study with details and to test our coupling4modeling approach. The main goal is to meet the needs of urbanists in terms of decision support in urban planning and to test our coupling approach coupling4modeling.

Parfois dans le développement logiciel, les fautes potentielles peuvent être omises, par exemple quand la complexité cache les fautes même en présence d’un processus de développement rigoureux, ou quand en raison des contraintes en termes de coûts et de temps sur les démarches de tolérance aux fautes, des risques sont assumés.La première contribution de cette thèse est l’élaboration d’un cadre de développement pour produire des logiciels tolérants aux fautes imprévues, c.à.d. fautes qui ne sont pas couvertes dans la mise en œuvre. Nous proposons 1) l’utilisation d’une architecture multi-agent avec des agents dirigés pas des buts pour le confinement des erreurs et la récupération du système ; 2) des exigences au niveau du langage de programmation ayant pour but de limiter les fautes possibles et de localiser les zones où d’autres fautes peuvent être présentes et 3) des exigences au niveau de la plate-forme d’exécution. Nous illustrons l’approche en étudiant la conception et la mise en œuvre avec un langage de programmation adapté et sa plate-forme.La deuxième contribution concerne la manière dont les agents dirigés par des buts sont programmés. Le problème est que de nombreuses approches pour la modélisation des agents cognitifs autorisent les développeurs à entrelacer les niveaux des plans et des buts, grâce à l’adoption de nouveaux buts à l’intérieur des plans. La complexité résultante peut rendre le comportement des agents difficilement traçable. Nous proposons d’imposer une séparation claire entre les niveaux de raisonnement et d’action des agents. En contraignant le modèle d’agent nous gagnons en lisibilité, avec un bénéfice pour le processus de développement. / There are situations in software development when potential faults can be omitted, e.g. when the complexity hides faults from a rigorous development process, or when due to cost and time constraints on the fault tolerance effort, risks are assumed, either consciously or not. The first contribution of this thesis is a development framework – design, language and platform requirements – for producing software that is tolerant to unforeseen faults, i.e. faults that were not covered in the implementation. We propose (1) the use of a multi-agent architecture with goal-driven agents benefits the confinement of errors and the subsequent system recovery; (2) language requirements that constrain the programmers in order to limit the possible faults and in the same time localise the areas where other faults can be present and (3) execution platform requirements in order to ensure the desired fault tolerance properties. We illustrate the approach by discussing design and implementation using an adapted agent programming language and platform. The second contribution focuses on the way goal-driven agents are programmed. The issue is that many approaches to cognitive agent modelling permit the agent developers to interweave the levels of plans and goals, through the adoption of new goals inside plans. These goals will have plans of their own, and the definition can extend on many levels, with the resulting complexity rendering the agents’ behaviour difficult to trace. We thus propose imposing a clear separation between the reasoning and the acting levels of the agent. We argue that by constraining the agent model we gain in clarity therefore benefiting the development process.

Blockchains address trust through cryptography and consensus. Bitcoin is the first digital currency without trusted agents. Ethereum extends this technology by enabling agents on a blockchain, via smart contracts. However, a systemic trust model for smart contracts in blockchains is missing. This thesis describes the ecosystem of smart contracts as an open multi-agent system. A trust model introduces social control through deposits and review agents. Trust-related attributes are quantified in 2,561 smart contracts from GitHub. Smart contracts employ a mean of three variables and functions and one in ten has a security-related issue. Moreover, blockchains restrict computation tasks. Resolving these restrictions while maintaining trust requires verifiable computation. An algorithm for verifiable computation is developed and implemented in Solidity. It uses an arbiter enforcing the algorithm, computation services providing and verifying solutions, and a judge assessing solutions. Experiments are performed with 1000 iterations for one to six verifiers with a cheater prior probability of 30%, 50%, and 70%. The algorithm shows linear complexity for integer multiplication. The verification depends on cheater prior probability and amount of verifiers. In the experiments, six verifiers are sufficient to detect all cheaters for the three prior probabilities. / Blockchains adresserar tillit genom kryptografi och konsensus. Bitcoin är den första digitala valutan utan betrodda agenter. Ethereum utökar denna teknik genom att möjliggöra agenter i blockchain, via smart contracts. En systemisk förtroende modell för smart contracts i blockchains saknas emellertid. Denna avhandling beskriver ekosystemet för smarta kontrakt som ett öppet multi-agent system. En förtroendemodell introducerar social kontroll genom inlåning och granskningsagenter. Tillitrelaterade attribut kvantifieras i 2,561 smart contracts från GitHub. De använder ett medelvärde av tre variabler och funktioner med en av tio som har en säkerhetsre-laterad fråga. Dessutom blockchains begränsa beräkningsuppgifter. Att lösa dessa begränsningar samtidigt som du behåller förtroendet kräver kontrollerbar beräkning. En algoritm för verifierbar beräkning utvecklas och implementeras i Solidity. Den använder en arbiter som tillämpar algoritmen, computation services som tillhandahåller och verifierar lösningar och en judge som bedömer lösningar. Experiment utförs med 1000 iterationer för en till sex verifierare med en snyggare sannolikhet för 30%, 50% och 70%. Algoritmen visar linjär komplexitet för heltalsmultiplicering. Verifieringen beror på fuskans tidigare sannolikhet och antal verifierare. I experimenten är sex verifierare tillräckliga för att detektera alla cheaters för de tre tidigare sannolikheterna.

The numerous previous attempts to simulate financial markets tended to be based on strong assumptions about markets or their participants. This thesis describes a more general kind of model - one in which deep reinforcement learning is used to train agents to make a profit while trading with each other on a virtual exchange. Such a model carries less inductive bias than most others - in theory, a neural network is capable of learning arbitrary decision rules. The model itself led to very simple results, but the conclusions from its construction will hopefully be of guidance to anyone implementing such a model in the future. / De många tidigare försöken att simulera finansmarknader har ofta byggt på starka antaganden om marknaderna eller deras deltagare. I den här avhandlingen beskrivs en mer allmän typ av modell - en modell där djup förstärkningsinlärning används för att träna agenter att göra vinst när de handlar med varandra på en virtuell börs. En sådan modell har mindre induktiva fördomar än de flesta andra - i teorin kan ett neuralt nätverk lära sig godtyckliga beslutsregler. Själva modellen ledde till mycket enkla resultat, men slutsatserna från dess konstruktion kommer förhoppningsvis att vara vägledande för alla som tillämpar en sådan modell i framtiden.

Multi-agent information gathering (MA-IG) enables autonomous robots to cooperatively collect information in an unfamiliar area. In some scenarios, the focus is on gathering the true mapping of a physical quantity such as temperature or magnetic field. This thesis proposes a computationally efficient algorithm known as multi-agent RRT-clustered Stackelberg game (MA-RRTc-SG) to solve MA-IG. During exploration, measurements are taken along robot paths to update the belief of a Gaussian process (GP), which gives a continuous estimation of the physical process. To seek informative paths, agents first resort to self-planning: one individually generates a number of choices using sampling-based algorithms and preserves informative ones. Then, paths from different robots are combined and investigated based on a multi-player Stackelberg game. The Stackelberg game ensures robots select the combination of paths that yield maximum system reward. The reward function plays an important role in the aforementioned two steps. In our work, robots are awarded for selecting informative paths and punished for hazardous movements and large control inputs. In experiments, we first conduct variation studies to investigate the influence of key parameters in the proposed algorithm. Then, the algorithm is tested in a simulation case to map the radiation intensity in a nuclear plant. Results show that using our algorithm, robots are able to collect information in an efficient and cooperative way compared to random exploration. / Multi-agent informationsinsamling gör det möjligt för autonoma robotar att samarbeta samla in information i ett okänt område. I vissa scenarier ligger fokus på att samla in den verkliga kartläggningen av en fysisk storhet som temperatur eller magnetfält. Den här avhandlingen föreslår en beräkningseffektiv algoritm som kallas multi-agent RRT-clustered Stackelberg game (MA-RRTc-SG) för att lösa multi-agent informationsinsamling. Under prospektering görs mätningar längs robotbanor för att uppdatera tron på en Gaussisk process, vilket ger en kontinuerlig uppskattning av den fysiska processen. För att söka informativa vägar tillgriper agenter först självplanering: man genererar individuellt ett antal val med hjälp av samplingsbaserade algoritmer och bevarar informativa. Sedan kombineras och undersöks vägar från olika robotar utifrån en Stackelberg spel för flera spelare. Stackelberg spelet säkerställer att robotar väljer kombinationen av vägar som ger maximal systembelöning. Belöningsfunktionen spelar en viktig roll i de ovan nämnda två stegen. I vårt arbete belönas robotar för att välja informativa vägar och straffas för osäkra rörelser och stora kontrollingångar. I experiment genomför vi först variationsstudier för att undersöka inverkan av nyckelparametrar i den föreslagna algoritmen. Därefter testas algoritmen i ett simuleringsfall för att kartlägga strålningsintensiteten i ett kärnkraftverk. Resultaten visar att med vår algoritm kan robotar samla in information på ett effektivt och samarbetssätt jämfört med slumpmässig utforskning.

The aim of this project was to improve upon a toolfor strategy synthesis for multi-agent games of imperfect informationagainst nature. Another objective was to compare the toolwith the original tool we improved upon and the Strategic ModelChecker (SMC). For the strategy synthesis, an existing extensionfor expanding the games called the Multi-Agent Knowledge-Based Subset Construction was used. The construction creates anew knowledge-based game where strategies can be tested. Thestrategies were synthesized for the individual agents and thenjoint profiles of the individual strategies were tested to see ifthey were winning.Four different algorithms for going through the game graphswere tested against the other existing tools. The new andimproved tool was faster at synthesizing a strategy than both theold tool and the SMC for almost all games tested. Although forthe games where the new tool is out-performed, results indicateit to be due to a combination of chance and how the games areperceived by the tools. No algorithm or tool proved to be thebest performing for all games. / Syftet med detta projekt var att förbättra ettexisterande verktyg för att syntetisera strategier för fleragentspelav imperfect information mot naturen. Därefter också jämföraverktyget med original verktyget och med ett verktyg somheter the strategic model checker (SMC). För syntetiseringenav strategier användes ett existerande verktyg för att expanderaspel, som kallas Multi-Agent Knowledge-Based Subset Construction.Konstruktionen skapar ett kunskapsbaserat spel därstrategierna kan bli testade. Strategierna syntetiserades för deenskilda agenterna och därefter skapades en sammansatt profilav strategier, som då testades för att se om det var en vinnandestrategi.Fyra olika algoritmer för att gå igenom spelgrafen testadesoch jämfördes med de andra verktygen. Det nya och förbättradeverktyget var snabbare att syntetisera en strategi än både detgamla verktyget och SMC verktyget för nästan alla spel somtestades. Fast, för spelen då nya verktyget inte var snabbast så indikerar resultaten på att detta är p.g.a. en kombination avslump och hur spelen ses på av verktygen. Ingen algoritm ellerverktyg visade sig vara det snabbaste för samtliga spel. / Kandidatexjobb i elektroteknik 2021, KTH, Stockholm

Doctor of Philosophy / Department of Computing and Information Sciences / Scott A. DeLoach / The Organization-Based Multi-Agent Systems (OMAS) paradigm is an approach to address the challenges posed by complex systems. The complexity of these systems, the changing environment where the systems are deployed, and satisfying higher user expectations are some of current requirements when designing OMAS. For the agents in an OMAS to pursue the achievement of a common goal or task, a certain level of coordination and collaboration occurs among them. An objective in this coordination is to make the decision of who does what. Several solutions have been proposed to answer this task allocation question. The majority of the solutions proposed fall in the categories of marked-based approaches, reactive systems, or game theory approaches. A common fact among these solutions is the system information sharing among agents, which is used only to keep the participant agent informed about other agents activities and mission status. To further exploit and take advantage of this system information shared among agents, a framework is proposed to use this information to answer the question who does what, and reduce the communication among agents. DTAACS-OK is a distributed knowledge-based framework that addresses the Single Agent Task Allocation Problem (SAT-AP) and the Multiple Agent Task Allocation Problem (MAT-AP) in cooperative OMAS. The allocation of tasks is based on an identical organization knowledge posses by all agents in the organization. DTAACS-OK di ers with current solutions in that (a) it is not a marked-based approach where task are auctioned among agents, or (b) it is not based on agents behaviour, where the action or lack of action of an agent cause the reaction of other agents in the organization.