We study games on graphs, where a coalition of agents work against an adversarial nature to achieve an objective. The agents have to collaborate while making their moves simultaneously, while receiving differing information about the state of the game and without a means of agent-to-agent communication. Before the game starts the coalition agrees on a strategy profile, where each agent is provided with a strategy which it acts in accordance to. The challenge of finding a winning strategy profile, wherein the coalition achieves their objective regardless of any influence from the adversarial nature, is called the strategy synthesis problem. For games with coalitions consisting of more than one agent, the general case of the synthesis problem is undecidable. We formalize an abstraction construction of a game where a subset of agents with predetermined strategies are abstracted into the adversarial nature of another game, for the purpose of reducing the size of the coalition of agents and in turn reduce the complexity of the strategy synthesis problem. We then prove that any winning strategy profile in the new game with fewer agents is also winning in the original game when combined with the predetermined strategies. The most interesting case is reducing a game with a coalition of two agents into a game with a single agent, since the strategy synthesis problem is decidable for games with a single agent. This allows us to test the predetermined strategy of the abstracted agent to see if it is possible to create a winning strategy profile using it. If it is not possible then we can try a different strategy. This enables an iterative approach for solving the strategy synthesis problem instead of a deductive one. / I rapporten studeras spel på grafer där ett lag av agenter samarbetar mot en fientlig omvärld för att uppnå ett mål. Agenterna måste samarbeta och göra sina drag på samma gång trots att de inte kan kommunicera med varandra och att de har olika perspektiv på lagets situation. För att lyckas med detta kommer laget överens om en gemensam strategi som består av en specifik strategi för varje individuell agent. Utmaningen att hitta en vinnande gemensam strategi för laget kallas strategisyntesproblemet och är oavgörbart i det allmänna fallet, det finns bevisat ingen algoritm som löser problemet. Vi formaliserar en abstraktionskonstruktion som tar ett spel där en delmängd av agenterna har blivit tilldelade en strategi för att sedan abstrahera de agenterna in i omvärlden i ett annat spel. Tanken är att i-och-med att agenterna redan har strategier vet vi hur de kommer agera och därmed kan vi se dem som en förutsägbar variabel i det nya spelet vi konstruerar. I det nya spelet har vi då färre agenter att skapa strategier för vilket minskar komplexiteten av strategisyntesproblemet. Vi bevisar också att en vinnande gemensam strategi i det nya spelet kan användas tillsammans med de förbestämda strategierna för att vinna det originella spelet. Det mest intressanta fallet för rapporten är om det originella spelet har två agenter i laget, då det finns algoritmer för att lösa strategisyntesproblemet för ensamma agenter. När en agent abstraheras bort och ett spel med en agent kvarstår betyder det att dessa algoritmer kan appliceras. Om en vinnande strategi hittas har problemet lösts, om inte kan man utesluta de förbestämda strategin som den abstraherade agenten använde. Det möjliggör en iterativ testning och uteslutning av strategier som inte funnits tidigare.

Many real life problems can be modelled using multi-agent games played on finite graphs. When an agent cannot differentiate between game states, for example when a robot operates with a broken sensor, the game is classified as a game of imperfect information. This report focuses on non-deterministic multi-agent games of imperfect information or Multi-Agent Games of Imperfect Information Against Nature (MAGIIAN). Finding optimal strategies for these games is very hard due to the element of imperfect information as well as taking into account the multiple cooperating agents. Using a generalised version for multi-agent games of the known Knowledge Based Subset Construction (KBSC) algorithm may solve the problem of strategy synthesis for MAGIIAN. While the KBSC transforms the game into a game with perfect information, the multi-agent variant (MKBSC) instead yields another MAGIIAN. When applying the algorithm iteratively some games stop expanding while others expand seemingly boundlessly. This is referred to as stability and divergence respectively. Our research focuses on different patterns, called structural conditions, in the MAGIIAN and how they affect stability. By using an existing implementation of the MKBSC along with some newly developed algorithms we were able to iterate over different games and analyse different structural conditions. We have identified several structural conditions which affect stability. By reducing divergent games to only their core components with respect to divergence, a more careful examination of what causes divergence could be done. It reaffirmed earlier research that cycles are necessary in order for games to diverge. Observation overlap was found to not be a necessary condition for divergent games as counter examples to this was found. Games containing well formed observations were found to stabilise within one iteration. Our research has also lead us to believe that it is impossible for structural conditions to properly classify divergence. / Olika typer av autonoma problem kan modelleras med hjälp av fleragentsspel spelade på ändliga grafer. Spel där en agent ej kan urskilja mellan två tillstånd, till exempel när en robot arbetar med trasiga sensorer, klassas som spel med ofullständig information. Vår rapport fokuserar på ickedeterministiska fleragentsspel med ofullständig information, även kallat Multi-Agent Games of Imperfect Information Against Nature (MAGIIAN). Att hitta optimala strategier för dessa spel är mycket svårt både på grund av den ofullständiga informationen och på grund av flertalet agenter som ska samarbeta. Användandet av en generaliserad variant för fleragentspel av den kända Knowledge Based Subset Construction (KBSC) algoritmen kan hjälpa att hitta vinnande strategier för MAGIIAN. Medan KBSC algoritmen transformerar spelet till ett spel med fullständig information, så ger fleragentsvarianten istället ännu ett MAGIIAN. Om man applicerar algoritmen många gånger kommer vissa spel sluta att växa medan andra fortsätter växa gränslöst. Detta kallas att spelen är stabila eller divergeranta. Vår rapport fokuserar på olika strukturer i dessa spel och hur dessa påverkar stabiliteten. Genom att använda en implementation av MKBSC tillsammans med nya algoritmer har vi itererat över många olika spel och analyserat olika strukturer. Vi har hittat flertalet strukturer som påverkar stabiliteten. Genom att reducera divergenta spel så att alla kvarvarande komponenter krävs för divergens, kunde divergenses orsaker noggrannt undersökas. Detta bekräftade tidigare påståenden om att cykler krävs för divergens. Därefter motbevisades att överlappande observationer krävdes för divergens med hjälp av motexempel. Spel innehållandes välformade observationer visades stabilisera efter en iteration av MKBSC:n.

The aim of this project was to improve upon a toolfor strategy synthesis for multi-agent games of imperfect informationagainst nature. Another objective was to compare the toolwith the original tool we improved upon and the Strategic ModelChecker (SMC). For the strategy synthesis, an existing extensionfor expanding the games called the Multi-Agent Knowledge-Based Subset Construction was used. The construction creates anew knowledge-based game where strategies can be tested. Thestrategies were synthesized for the individual agents and thenjoint profiles of the individual strategies were tested to see ifthey were winning.Four different algorithms for going through the game graphswere tested against the other existing tools. The new andimproved tool was faster at synthesizing a strategy than both theold tool and the SMC for almost all games tested. Although forthe games where the new tool is out-performed, results indicateit to be due to a combination of chance and how the games areperceived by the tools. No algorithm or tool proved to be thebest performing for all games. / Syftet med detta projekt var att förbättra ettexisterande verktyg för att syntetisera strategier för fleragentspelav imperfect information mot naturen. Därefter också jämföraverktyget med original verktyget och med ett verktyg somheter the strategic model checker (SMC). För syntetiseringenav strategier användes ett existerande verktyg för att expanderaspel, som kallas Multi-Agent Knowledge-Based Subset Construction.Konstruktionen skapar ett kunskapsbaserat spel därstrategierna kan bli testade. Strategierna syntetiserades för deenskilda agenterna och därefter skapades en sammansatt profilav strategier, som då testades för att se om det var en vinnandestrategi.Fyra olika algoritmer för att gå igenom spelgrafen testadesoch jämfördes med de andra verktygen. Det nya och förbättradeverktyget var snabbare att syntetisera en strategi än både detgamla verktyget och SMC verktyget för nästan alla spel somtestades. Fast, för spelen då nya verktyget inte var snabbast så indikerar resultaten på att detta är p.g.a. en kombination avslump och hur spelen ses på av verktygen. Ingen algoritm ellerverktyg visade sig vara det snabbaste för samtliga spel. / Kandidatexjobb i elektroteknik 2021, KTH, Stockholm

<p>Autonomous systems are often deployed in dynamic environments and are challenged with unexpected changes (novelties) in the environments where they receive novel data that was not seen during training. Given the uncertainty, they should be able to operate without (or with limited) human intervention and they are expected to (1) Adapt to such changes while still being effective and efficient in performing their multiple tasks. The system should be able to provide continuous availability of its critical functionalities. (2) Make informed decisions independently from any central authority. (3) Be Cognitive: learns the new context, its possible actions, and be rich in knowledge discovery through mining and pattern recognition. (4) Be Reflexive: reacts to novel unknown data as well as to security threats without terminating on-going critical missions. These characteristics combine to create the workflow of autonomous decision-making process in multi-agent environments (i.e.,) any action taken by the system must go through these characteristic models to autonomously make an ideal decision based on the situation. </p> <p><br></p> <p>In this dissertation, we propose novel learning-based models to enhance the decision-making process in autonomous multi-agent systems where agents are able to detect novelties (i.e., unexpected changes in the environment), and adapt to it in a timely manner. For this purpose, we explore two complex and highly dynamic domains </p> <p>(1) Transportation Networks (e.g., Ridesharing application): where we develop AdaPool: a novel distributed diurnal-adaptive decision-making framework for multi-agent autonomous vehicles using model-free deep reinforcement learning and change point detection. (2) Multi-agent games (e.g., Monopoly): for which we propose a hybrid approach that combines deep reinforcement learning (for frequent but complex decisions) with a fixed-policy approach (for infrequent but straightforward decisions) to facilitate decision-making and it is also adaptive to novelties. (3) Further, we present a domain agnostic approach for decision making without prior knowledge in dynamic environments using Bootstrapped DQN. Finally, to enhance security of autonomous multi-agent systems, (4) we develop a machine learning based resilience testing of address randomization moving target defense. Additionally, to further  improve the decision-making process, we present (5) a novel framework for multi-agent deep covering option discovery that is designed to accelerate exploration (which is the first step of decision-making for autonomous agents), by identifying potential collaborative agents and encouraging visiting the under-represented states in their joint observation space. </p>

We study games where a team of agents needs to collaborate against an adversary to achieve a common goal. The agents make their moves simultaneously, and they have different perceptions about the system state after each move, due to different sensing capabilities. Each agent can only act based on its own experiences, since no communication is assumed during the game. However, before the game begins, the agents can agree on some strategy. A strategy is winning if it guarantees that the agents achieve their goal regardless of how the opponent acts. Identifying a winning strategy, or determining that none exists, is known as the strategy synthesis problem. In this thesis, we only consider a simple objective where the agents must force the game into a given state. Much of the literature is focused on strategies that either rely on that the agents (a) can remember everything that they have perceived or (b) can only remember the last thing that they have perceived. The strategy synthesis problem is (in the general case) undecidable in (a) and has exponential running time in (b). We are interested in the middle, where agents can have finite memory. Specifically, they should be able to keep a finite-state machine, which they update when they make new observations. In our case, the internal state of each agent represents its knowledge about the state of affairs. In other words, an agent is able to update its knowledge, and act based on it. We propose an algorithm for constructing the finite-state machine for each agent, and assigning actions to the internal states before the game begins. Not every winning strategy can be found by the algorithm, but we are convinced that the ones found are valid ones. An important building block for the algorithm is the knowledge-based subset construction (KBSC) used in the literature, which we generalise to games with multiple agents. With our construction, the game can be reduced to another game, still with uncertain state information, but with less or equal uncertainty. The construction can be applied arbitrarily many times, but it appears as if it stabilises (so that no new knowledge is gained) after only a few steps. We discuss this and other interesting properties of our algorithm in the final chapters of this thesis. / Vi studerar spel där ett lag agenter behöver samarbeta mot en motståndare för att uppnå ett mål. Agenterna agerar samtidigt, och vid varje steg av spelet så har de olika uppfattning om spelets tillstånd. De antas inte kunna kommunicera under spelets gång, så agenterna kan bara agera utifrån sina egna erfarenheter. Innan spelet börjar kan agenterna dock komma överrens om en strategi. En sådan strategi är vinnande om den garanterar att agenterna når sitt mål oavsett hur motståndaren beter sig. Att hitta en vinnande strategi är känt som syntesproblemet. I den här avhandlingen behandlar vi endast ett enkelt mål där agenterna måste tvinga in spelet i ett givet tillstånd. Mycket av litteraturen handlar om strategier där agenterna antingen antas (a) kunna minnas allt som de upplevt eller (b) bara kunna minnas det senaste de upplevt. Syntesproblemet är (i det generella fallet) oavgörbart i (a) och tar exponentiell tid i (b). Vi är intressede av fallet där agenter kan ha ändligt minne. De ska kunna ha en ändlig automat, som de kan uppdatera när de får nya observationer. I vårt fall så representerar det interna tillståndet agentens kunskap om spelets tillstånd. En agent kan då uppdatera sin kunskap och agera utifrån den. Vi föreslår en algoritm som konstruerar en ändlig automat åt varje agent, samt instruktioner för vad agenten ska göra i varje internt tillstånd. Varje vinnande strategi kan inte hittas av algoritmen, men vi är övertygade om att de som hittas är giltiga. En viktig byggsten är den kunskapsbaserade delmängskonstruktionen (KBSC), som vi generaliserar till spel med flera agenter. Med vår konstruktion kan spelet reduceras till ett annat spel som har mindre eller lika mycket osäkerhet. Detta kan göras godtyckligt många gånger, men det verkar som om att ingen ny kunskap tillkommer efter bara några gånger. Vi diskuterar detta vidare tillsammans med andra intressanta egenskaper hos algoritmen i de sista kapitlen i avhandlingen.