Denna rapport kommer fokusera på att beskriva processen på den fortsatta utvecklingen av det grafiska användargränssnittet (GUI) för Hanabi Benchmark. Hanabi är ett kortspel som introducerats som ett nytt forskningsområde inom artificiell intelligens (AI). Målet med projektet var att implementera en mänsklig användare, som sedan skulle kunna spela med maskin lärlingsbaserade agenter med andra ord icke-mänskliga spelare genom GUI.För att uppnå målen, implementerade vi kontroller för den mänskliga användaren i GUI. Modeller av agenter integrerades in till GUI som mänskliga användaren sedan skulle spela med. Slutligen utfördes en användarstudie för att utvärdera de olika agenternas prestation. / This report will describe the further development of the Graphical User Interface (GUI) for the Hanabi Benchmark. Hanabi is a card game that has been introduced as a new frontier for artificial intelligence (AI). The goal of the project was to implement a human-user, into the GUI, and give the possibility to play against Machine Learning (ML) based agents, viz, non-human players in the GUI.To achieve these goals, we implemented human controls into the GUI to give a human user the option to play the game in the GUI. Agent models were integrated into to the GUI for the human to play with. Finally, a small study was conducted to evaluate the agent’s performances.

Denna rapport beskriver utvecklingen av ett grafiskt gränssnitt för utvärderingsverktygetHanabi Challenge Benchmark. Utvärderingsverktyget grundar sig på det populärakortspelet Hanabi och presenterar sig själv som en ny riktlinje för forskningav artificiell intelligens med fokus på multi-agentbaserade kooperativa utmaningar.Syftet och målet med projektet är att analysera, tolka och visualisera datat frånverktyget för att skapa en bättre förståelse av verktyget.Ett grafiskt gränssnitt utvecklas sedan genom att använda kunskaper inom theoryof mind i kombination med teorier inom människa-datorinteraktion. Resultatenav detta projekt utvärderas genom ett småskaligt användarbarhetstest. Användareav olika åldrar, kön och nivåer av datorkunskap testade applikationen och ficksedan svara på en enkät. Resultatet av enkäten gjorde grund för utvärderingen avkvaliteten för det grafiska gränsnittet. / This report will describe the development of the Graphical User Interface (GUI) forthe Hanabi Challenge Benchmark. The benchmark is based on the popular cardgame Hanabi and presents itself as a new research frontier in artificial intelligencefor cooperative multi-agent challenges. The project’s intentions and goals are tointerpret and visualize the data output from the benchmark to give us a better understandingof it.A GUI was then developed by using knowledge within theory of mind in combinationwith theories within human-computer interaction. The results of this project wereevaluated through a small-scale usability test. Users of different ages, gender andlevels of computer knowledge tested the application and through a questionnaire,the quality of the GUI was assessed.

Les algorithmes actuels d'apprentissage profond par renforcement (RL) sont encore très spécifiques à leur tâche et n'ont pas la capacité de généraliser à de nouveaux environnements. L'apprentissage tout au long de la vie (LLL), cependant, vise à résoudre plusieurs tâches de manière séquentielle en transférant et en utilisant efficacement les connaissances entre les tâches. Malgré un regain d'intérêt pour le RL tout au long de la vie ces dernières années, l'absence d'un banc de test réaliste rend difficile une évaluation robuste des algorithmes d'apprentissage tout au long de la vie. Le RL multi-agents (MARL), d'autre part, peut être considérée comme un scénario naturel pour le RL tout au long de la vie en raison de sa non-stationnarité inhérente, puisque les politiques des agents changent avec le temps. Dans cette thèse, nous présentons un banc de test multi-agents d'apprentissage tout au long de la vie qui prend en charge un paramétrage à la fois zéro et quelques-coups. Notre configuration est basée sur Hanabi - un jeu multi-agents partiellement observable et entièrement coopératif qui s'est avéré difficile pour la coordination zéro coup. Son vaste espace stratégique en fait un environnement souhaitable pour les tâches RL tout au long de la vie. Nous évaluons plusieurs méthodes MARL récentes et comparons des algorithmes d'apprentissage tout au long de la vie de pointe dans des régimes de mémoire et de calcul limités pour faire la lumière sur leurs forces et leurs faiblesses. Ce paradigme d'apprentissage continu nous fournit également une manière pragmatique d'aller au-delà de la formation centralisée qui est le protocole de formation le plus couramment utilisé dans MARL. Nous montrons empiriquement que les agents entraînés dans notre environnement sont capables de bien se coordonner avec des agents inconnus, sans aucune hypothèse supplémentaire faite par des travaux précédents. Mots-clés: le RL multi-agents, l'apprentissage tout au long de la vie. / Current deep reinforcement learning (RL) algorithms are still highly task-specific and lack the ability to generalize to new environments. Lifelong learning (LLL), however, aims at solving multiple tasks sequentially by efficiently transferring and using knowledge between tasks. Despite a surge of interest in lifelong RL in recent years, the lack of a realistic testbed makes robust evaluation of lifelong learning algorithms difficult. Multi-agent RL (MARL), on the other hand, can be seen as a natural scenario for lifelong RL due to its inherent non-stationarity, since the agents' policies change over time. In this thesis, we introduce a multi-agent lifelong learning testbed that supports both zero-shot and few-shot settings. Our setup is based on Hanabi --- a partially-observable, fully cooperative multi-agent game that has been shown to be challenging for zero-shot coordination. Its large strategy space makes it a desirable environment for lifelong RL tasks. We evaluate several recent MARL methods, and benchmark state-of-the-art lifelong learning algorithms in limited memory and computation regimes to shed light on their strengths and weaknesses. This continual learning paradigm also provides us with a pragmatic way of going beyond centralized training which is the most commonly used training protocol in MARL. We empirically show that the agents trained in our setup are able to coordinate well with unknown agents, without any additional assumptions made by previous works. Key words: multi-agent reinforcement learning, lifelong learning.