One of the main purposes of the fields of Robotics and Artificial Intelligence is to develop solutions that can autonomously solve problems. An important part of this is synthesising behaviours of robots. Behaviour Trees are a tree structure that enables combining existing lower level behaviours into a high level behaviour through task switching. However, designing appropriate Behaviour Trees can be prohibitive due to time and knowledge requirements. One way of automating the creation of Behaviour Trees is through Genetic Programming, which evolves solutions through mutations and combinations akin to biological evolution. This Masters thesis explores how Genetic Programming can be used to generate Behaviour Trees in an automatic fashion. More specifically, whether so-called Quality Diversity can be used to improve the search. Quality Diversity describes a field of algorithms that combine both performance and novelty of behaviour to evaluate solutions. By including a novelty aspect the search space is more thoroughly explored, and deceptive local optima may be more easily avoided. In this thesis three Quality Diversity algorithms are implemented and evaluated in different settings: Novelty Search, Novelty Search with Local Competition, and Multi-dimensional Archive of Phenotypic Elites. The results show that Quality Diversity has potential to both increase the speed at which solutions are found and decrease the likelihood of premature convergence due to local optima. However, we also find that care must be taken in how behaviours are defined, and how some common techniques of Genetic Programming need to be adapted for Quality Diversity algorithms. / Ett av huvudsyftena med robotik och artificiell intelligens är att skapa system som självständigt kan lösa problem. En viktig del av detta är att skapa robotars beteenden. Beteendeträd är en trädstruktur som gör det möjligt att kombinera befintliga beteenden på lägre nivå till ett beteende på hög nivå. Att utforma lämpliga beteendeträd kan dock kräva både mycket tid och kunskap. Ett sätt att automatisera skapandet av beteendeträd är genom genetisk programmering, som utvecklar lösningar genom mutationer och kombinationer i likhet med biologisk evolution. Detta examensarbete undersöker hur genetisk programmering kan användas för att automatiskt generera beteendeträd. Mer specifikt undersöks om kvalitetsmångfald (Quality Diversity) kan användas för att förbättra sökningen. Kvalitetsmångfald beskriver en familj av algoritmer som kombinerar både prestanda och innovation i en lösnings beteende för att utvärdera lösningar. Genom att inkludera en innovationsaspekt blir sökområdet mer noggrant utforskat och vilseledande lokala optima kan lättare undvikas. I detta examensarbete implementeras och utvärderas tre kvalitetsmångfaldsalgoritmer i olika miljöer: Novelty Search, Novelty Search with Local Competition, och Multi-dimensional Archive of Phenotypic Elites. Resultaten visar att kvalitetsmångfald har potential att både öka hastigheten med vilken lösningar hittas och minska sannolikheten för tidig konvergens på grund av lokala optima. Vi konstaterar dock också att man måste vara försiktig med hur beteenden definieras och hur vissa vanliga tekniker för genetisk programmering måste anpassas för algoritmer med kvalitetsmångfald. / Eén van de belangrijkste doelstellingen van het vakgebied Robotica en Kunstmatige Intelligentie is het ontwikkelen van oplossingen die autonoom problemen kunnen oplossen. Een belangrijk onderdeel hiervan is het synthetiseren van gedragingen van robots. Gedragsbomen zijn een boomstructuur waarmee bestaande gedragingen van een lager niveau kunnen worden gecombineerd tot een gedrag van een hoger niveau door middel van taakwisseling. Het ontwerpen van geschikte gedragsbomen is echter soms niet haalbaar haalbaar vanwege de benodigde tijd en kennis. Een manier om het maken van gedragsbomen te automatiseren is door middel van genetisch programmeren, dat oplossingen ontwikkelt door mutaties en combinaties, vergelijkbaar met biologische evolutie. Deze masterproef onderzoekt hoe genetische programmering kan worden gebruikt om automatisch gedragsbomen te genereren. Meer specifiek of kwaliteitsdiversiteit (Quality Diversity) kan worden gebruikt om het zoeken te verbeteren. Kwaliteitsdiversiteit beschrijft een gebied van algoritmen die zowel prestaties als nieuwheid van een oplossingsgedrag combineren om oplossingen te evalueren. Door een nieuwheidsaspect te introduceren wordt de zoekruimte grondiger verkend en kunnen bedrieglijke lokale optima gemakkelijker worden vermeden. In deze masterproef worden drie algoritmen voor kwaliteitsdiversiteit toegepast en geëvalueerd in verschillende omgevingen: Novelty Search, Novelty Search with Local Competition en Multi-dimensional Archive of Phenotypic Elites. De resultaten tonen aan dat kwaliteitsdiversiteit het potentieel heeft om zowel de snelheid waarmee oplossingen worden gevonden te verhogen als de kans op voortijdige convergentie als gevolg van lokale optima te verminderen. Wij stellen echter ook vast dat zorgvuldigheid geboden is bij de definitie van gedragingen en dat sommige gebruikelijke technieken van genetisch programmeren moeten worden aangepast voor algoritmen met kwaliteitsdiversiteit.

In this thesis we study the problem of robotic interaction with objects from a flexible perspective that complements the rigid force-closure approach. In a flexible interaction the object is not firmly bound to the robot (immobilized), which leads to many interesting scenarios. We focus on the secure kind of flexible interactions, commonly referred to as caging grasps. In this context, the adjective secure implies that the object is not able to escape arbitrarily far away from the robot which is caging it. A cage is a secure flexible interaction because it does not immobilize the object, but restricts its motion to a finite set of possible configurations. We study cages in two novel scenarios for objects with holes: caging through multi-agent cooperation and through dual-arm knotting with a rope. From these two case studies, we were able to analyze the caging problem in a broader perspective leading to the definition of a hierarchical classification of flexible interactions and cages. In parallel to the geometric and physical problem of flexible interactions with objects, we study also the problem of discrete action scheduling through a novel control architecture called Behavior Trees (BTs). In this thesis we propose a formulation that unifies the competing BT philosophies into a single framework. We analyze how the mainstream BT formulations differ from each other, as well as their benefits and limitations. We also compare the plan representation capabilities of BTs with respect to the traditional approach of Controlled Hybrid Dynamical Systems (CHDSs). In this regard, we present bidirectional translation algorithms between such representations as well as the necessary and sufficient conditions for translation convergence. Lastly, we demonstrate our action scheduling BT architecture showcasing the aforementioned caging scenarios, as well as other examples that show how BTs can be interfaced with other high level planners. / <p>QC 20170322</p>

The use of unmanned aerial vehicles (UAVs) is well established in the military sector with great advantages in modern warfare. The concept of using UAV swarms has been discussed over two decades, but is now seeing its first real system used by the Israel defence forces. There is no exact definition what a swarm is, but it is proposed that it should satisfy the following three requirements. A swarm should have limited human control, the number of agents in a swarm should be at least three and the agents in the swarm should cooperate to perform common tasks. The complexity of controlling multiple autonomous UAVs gives way to the problem of how to take advantage of the operators cognitive and tactical abilities to control a swarm to effectively conduct military reconnaissance missions. The method of using behaviour trees as a control structure was derived from previous work in swarm systems. A behaviour tree is a structured way of organising and prioritising actions of autonomous systems. Behaviour trees are similar to finite state machines (FSMs) with the advantages of being modular, reactive, and with better readability. Three different behaviour trees with increasing complexity was created and simulated in the game engine Unity. A fourth more real life behaviour tree was created and used as a basis for discussing the strength and weaknesses of using behaviour trees against previous work. Using behaviour tree as a unifying structure for creating a swarm that integrates the tactical abilities of an operator with the strength of an autonomous swarm seems promising. The proposed method of using behaviour trees i suggested to be used as a platform for discussing the swarm desired functions and to create a common vision for both operators and engineers how a swarm should function. / Användning av drönare är väletablerad inom det militära och ger stora fördelar i dagens moderna krigsföring. Idén om att använda en svärm av drönare har diskuterats under de senaste två decennierna, men först nu sett sin första riktiga system som använts av Israels försvarsmakt. Det finns ingen exakt definition av vad en svärm är, men det har föreslagits att en svärm ska uppfylla de följande tre kraven. En svärm ska ha begränsad mänsklig interaktion, antalet agenter ska vara minst tre och svärmen ska samarbeta för att lösa gemensamma uppgifter. Svårigheterna med att styra en autonom svärm ger upphov till hur man ska utnyttja en operatörs kognitiva och taktiska förmåga för att styra en autonom drönarsvärm för att effektivt utföra militära spaningsuppdrag. Utifrån tidigare arbete inom styrning av svärmar verkade beteende träd som en lovande metod. Beteendeträd är ett strukturerat sätt att organisera och prioritera beteenden för ett autonomt system. Beteendeträd har många likheter med ändliga tillståndsmaskiner, men fördelarna att vara modulära, responsiva och mer lättläsliga. Tre olika beteendeträd med ökande komplexitet skapades och deras funktionalitet simulerades i Unity. Ett fjärde mer verklighetstroget beteendeträd skapades och användes som underlag för att diskutera beteendeträds styrkor och svagheter i jämförelse med tidigare arbeten. Användningen av beteendeträd för att förena den mänskliga operatören med det autonoma systemet verkar lovande. Den föreslagna metoden att använda beteendeträd för att styra en svärm är tänkt att användas som ett gemensamt underlag för att möjliggöra att operatörer och ingenjörer kan ha en gemensam bild hur en svärm ska fungera.

Un système multi-agents est composé de plusieurs agents autonomes qui interagissent entre eux dans un environnement commun. Ce mémoire vise à démontrer l’utilisation d’un système multi-agents pour le développement d’un jeu vidéo. Tout d’abord, une justification du choix des concepts d’intelligence artificielle choisie est exposée. Par la suite, une approche pratique est utilisée en effectuant le développement d’un jeu vidéo. Pour ce faire, le jeu fut développé à partir d’un jeu vidéo mono-agent existant et mo- difié en système multi-agents afin de bien mettre en valeur les avantages d’un système multi-agents dans un jeu vidéo. Le développement de ce jeu a aussi démontré l’applica- tion d’autres concepts en intelligence artificielle comme la recherche de chemins et les arbres de décisions. Le jeu développé pour ce mémoire viens appuyer les conclusions des différentes recherches démontrant que l’utilisation d’un système multi-agents per- met de réaliser un comportement plus réaliste pour les joueurs non humains et bien plus compétitifs pour le joueur humain. / A multi-agent system is composed of several autonomous agents that interact with each other in a common environment. This thesis aims to demonstrate the use of a multi- agent system for the development of a video game. First, a justification of the artificial intelligence’s concepts used in this master’s thesis is exposed. Subsequently, a practical approach is used in developping a video game. To do this, the game was developed from an existing single-agent video game and modified into a multi-agent system in order to properly highlight the benefits of a multi-agent system in a video game. The development of this game also demonstrate the application of other concepts in artificial intelligence such as pathfindinig and behaviour trees. In summary, the use of a multi- agent system has achieved a more realistic behavior for the non-human players and a more competitive gameplay for the human player.

Un système multi-agents est composé de plusieurs agents autonomes qui interagissent entre eux dans un environnement commun. Ce mémoire vise à démontrer l’utilisation d’un système multi-agents pour le développement d’un jeu vidéo. Tout d’abord, une justification du choix des concepts d’intelligence artificielle choisie est exposée. Par la suite, une approche pratique est utilisée en effectuant le développement d’un jeu vidéo. Pour ce faire, le jeu fut développé à partir d’un jeu vidéo mono-agent existant et mo- difié en système multi-agents afin de bien mettre en valeur les avantages d’un système multi-agents dans un jeu vidéo. Le développement de ce jeu a aussi démontré l’applica- tion d’autres concepts en intelligence artificielle comme la recherche de chemins et les arbres de décisions. Le jeu développé pour ce mémoire viens appuyer les conclusions des différentes recherches démontrant que l’utilisation d’un système multi-agents per- met de réaliser un comportement plus réaliste pour les joueurs non humains et bien plus compétitifs pour le joueur humain. / A multi-agent system is composed of several autonomous agents that interact with each other in a common environment. This thesis aims to demonstrate the use of a multi- agent system for the development of a video game. First, a justification of the artificial intelligence’s concepts used in this master’s thesis is exposed. Subsequently, a practical approach is used in developping a video game. To do this, the game was developed from an existing single-agent video game and modified into a multi-agent system in order to properly highlight the benefits of a multi-agent system in a video game. The development of this game also demonstrate the application of other concepts in artificial intelligence such as pathfindinig and behaviour trees. In summary, the use of a multi- agent system has achieved a more realistic behavior for the non-human players and a more competitive gameplay for the human player.