Argumentation framework is a common technique in Artificial Intelligence and related fields. It is a good way of formalizing, resolving conflicts and helping with defeasible reasoning. This thesis discusses the exploration of the quantitative bipolar argumentation framework applied in multi-agent systems. Different agents in a multi-agent systems have various capabilities, and they contribute in different ways to the system goal. The purpose of this study is to explore approaches of explaining the overall behavior and output from a multi-agent system and enable explainability in the multi-agent systems. By exploring the properties of the quantitative bipolar argumentation framework using some techniques from explainable Artificial Intelligence (AI), the system will generate output with explanations given by the argumentation framework. This thesis gives a general overview of argumentation frameworks and common techniques from explainable AI. The study mainly focuses on the exploration of properties and interactive algorithms of quantitative bipolar argumentation framework. It introduces explanation techniques to the quantitative bipolar argumentation framework. A Graphical User Interface (GUI) application is included in order to present the results of the explanation. / Argumentationsramar är en vanlig teknik inom artificiell intelligens och relaterade områden. Det är ett bra sätt att formalisera, lösa konflikter och hjälpa till med defekta resonemang. I den här avhandlingen diskuteras utforskningen av den kvantitativa bipolära argumentationsramen som tillämpas i fleragentsystem. Olika agenter i ett system med flera agenter har olika kapacitet och bidrar på olika sätt till systemets mål. Syftet med den här studien är att utforska metoder för att förklara det övergripande beteendet och resultatet från ett system med flera agenter och möjliggöra förklarbarhet i systemen med flera agenter. Genom att utforska egenskaperna hos den kvantitativa bipolära argumentationsramen med hjälp av vissa tekniker från förklaringsbara AI kommer systemet att generera utdata med förklaringar som ges av argumentationsramen. Denna avhandling ger en allmän översikt över argumentationsramar och vanliga tekniker från förklaringsbara AI. Studien fokuserar främst på utforskandet av egenskaper och interaktiva algoritmer för det kvantitativa bipolära argumentationsramverket och introducerar tillämpningen av förklaringstekniker på det kvantitativa bipolära argumentationsramverket. En GUI-applikation ingår för att presentera resultaten av förklaringen.

The overprescription of antibiotics has resulted in bacteria resistance, which is considered a global threat to global health. Deciding if antibiotics should be prescribed or not from individual visits of patients’ medical records in Swedish can be considered a text classification task, one of the applications of Natural Language Processing (NLP). However, medical experts and patients can not trust a model if explanations for its decision are not provided. In this work, multilingual and monolingual Transformer models are evaluated for the medical classification task. Furthermore, local explanations are obtained with SHapley Additive exPlanations and Integrated Gradients to compare the models’ predictions and evaluate the explainability methods. Finally, the local explanations are also aggregated to obtain global explanations and understand the features that contributed the most to the prediction of each class. / Felaktig utskrivning av antibiotika har resulterat i ökad antibiotikaresistens, vilket anses vara ett globalt hot mot global hälsa. Att avgöra om antibiotika ska ordineras eller inte från patientjournaler på svenska kan betraktas som ett textklassificeringproblem, en av tillämpningarna av Natural Language Processing (NLP). Men medicinska experter och patienter kan inte lita på en modell om förklaringar till modellens beslut inte ges. I detta arbete utvärderades flerspråkiga och enspråkiga Transformersmodeller för medisinska textklassificeringproblemet. Dessutom erhölls lokala förklaringar med SHapley Additive exPlanations och Integrated gradients för att jämföra modellernas förutsägelser och utvärdera metodernas förklarbarhet. Slutligen aggregerades de lokala förklaringarna för att få globala förklaringar och förstå de ord som bidrog mest till modellens förutsägelse för varje klass.

Early detection reduces mortality in lung cancer, but it is also considered as a challenge for oncologists and for healthcare systems. In addition, screening modalities like CT-scans come with undesired effects, many suspected patients are wrongly diagnosed with lung cancer. This thesis contributes to solve the challenge of early lung cancer detection by utilizing unique data consisting of self-reported symptoms. The proposed method is a predictive machine learning algorithm based on natural language processing, which handles the data as an unstructured data set. A replication of a previous study where a prediction model based on a conventional multivariate machine learning using the same data is done and presented, for comparison. After evaluation, validation and interpretation, a set of variables were highlighted as early predictors of lung cancer. The performance of the proposed approach managed to match the performance of the conventional approach. This promising result opens for further development where such an approach can be used in clinical decision support systems. Future work could then involve other modalities, in a multimodal machine learning approach. / Tidig lungcancerdiagnostisering kan öka chanserna för överlevnad hos lungcancerpatienter, men att upptäcka lungcancer i ett tidigt stadie är en av de större utmaningarna för onkologer och sjukvården. Idag undersöks patienter med riskfaktorer baserat på rökning och ålder, dessa undersökningar sker med hjälp av bland annat medicinskt avbildningssystem, då oftast CT-bilder, vilket medför felaktiga och kostsamma diagnoser. Detta arbete föreslår en maskininlärninig algoritm baserad på Natural language processing, som genom analys och bearbetning av ostrukturerade data, av patienternas egna anamneser, kan prediktera lungcancer. Arbetet har genomfört en jämförelse med en konventionell maskininlärning algoritm baserat på en replikering av ett annat studie där samma data behandlades som strukturerad. Den föreslagna metoden har visat ett likartat resultat samt prestanda, och har identifierat riskfaktorer samt symptom för lungcancer. Detta arbete öppnar upp för en utveckling mot ett kliniskt användande i form av beslutsstödsystem, som även kan hantera elektriska hälsojournaler. Andra arbeten kan vidareutveckla metoden för att hantera andra varianter av data, så som medicinska bilder och biomarkörer, och genom det förbättra prestandan.

One of the biggest challenges in healthcare is Emergency Department (ED)crowding which creates high constraints on the whole healthcare system aswell as the resources within and can be the cause of many adverse events.Is is a well known problem were a lot of research has been done and a lotof solutions has been proposed, yet the problem still stands unsolved. Byanalysing Real-World Data (RWD), complex problems like ED crowding couldbe better understood. Currently very few applications of survival analysis hasbeen adopted for the use of production data in order to analyze the complexityof logistical problems. The aims for this thesis was to apply survival analysisthrough advanced Machine Learning (ML) models to RWD collected at aSwedish hospital too see how the Length Of Stay (LOS) until admission ordischarge were affected by different factors. This was done by formulating thecrowding in the ED for survival analysis through the use of the LOS as thetime and the decision regarding admission or discharge as the event in order tounfold the clinical complexity of the system and help impact clinical practiceand decision making.By formulating the research as time-to-event in combination with ML, thecomplexity and non linearity of the logistics in the ED is viewed from a timeperspective with the LOS acting as a Key Performance Indicator (KPI). Thisenables the researcher to look at the problem from a system perspective andshows how different features affect the time that the patient are processedin the ED, highlighting eventual problems and can therefore be useful forimproving clinical decision making. Five models: Cox Proportional Hazards(CPH), Random Survival Forests (RSF), Gradient Boosting (GB), ExtremeGradient Boosting (XGB) and DeepSurv were used and evaluated using theConcordance index (C-index) were GB were the best performing model witha C-index of 0.7825 showing that the ML models can perform better than thecommonly used CPH model. The models were then explained using SHapleyAdaptive exPlanations (SHAP) values were the importance of the featureswere shown together with how the different features impacted the LOS. TheSHAP also showed how the GB handled the non linearity of the features betterthan the CPH model. The five most important features impacting the LOS wereif the patient received a scan at the ED, if the visited and emergency room,age, triage level and the label indicating what type of medical team seemsmost fit for the patient. This is clinical information that could be implementedto reduce the crowding through correct decision making. These results show that ML based survival analysis models can be used for further investigationregarding the logistic challenges that healthcare faces and could be furtherused for data analysis with production data in similar cases. The ML survivalanalysis pipeline can also be used for further analysis and can act as a first stepin order to pinpoint important information in the data that could be interestingfor deeper data analysis, making the process more efficient. / En av de största utmaningarna inom vården är trängsel på akuten som skaparstora ansträngninar inom vårdsystemet samt på dess resurser och kan varaorsaken till många negativa händelser. Det är ett välkänt problem där mycketforskning har gjorts och många lösningar har föreslagits men problemetär fortfarande olöst. Genom att analysera verklig data så kan komplexaproblem som trängsel på akuten bli bättre förklarade. För närvarande harfå tillämpningar av överlevnadsanalys applicerats på produktionsdata för attanalysera komplexiteten av logistiska problem. Syftet med denna avhandlingvar att tillämpa överlevnadsanalys genom avancerade maskininlärningsmetoderpå verklig data insamlat på ett svenskt sjukhust för att se hur vistelsens längdför patienten fram till inläggning påverkades av olika faktorer. Detta gjordesgenom att applicera överlevnadsnanalys på trängsel på akuten genom attanvända vistelsens längd som tid och beslutet om intagning eller utskrivningsom händelsen. Detta för att kunna analysera systemets kliniska komplexitetoch bidra till att påverka klinisk praxis och beslutsfattande.Genom att formulera forskningsfrågan som en överlevnadsanalys i kombinationmed maskininlärning kan den komplexitet och icke-linjäritet som logistikenpå akuten innebär studeras genom ett tidsperspektiv där vistelsens längdfungerar som ett nyckeltal. Detta gör det möjligt för forskaren att ävenstudera problemet från ett systemperspektiv och visar hur olika egenskaperoch situationer påverkar den tid som patienten bearbetas på akuten. Detta uppmärksammar eventuella problem och kan därför vara användbart för attförbättra det kliniska beslutsfattandet. Fem olika modeller: CPH, RSF, GB,XGB och DeepSurv användes och utvärderades med hjälp av C-index där GBvar den bäst presterande modellen med ett C-index på 0.7825 vilket visar attmaskininlärningsmetoderna kan prestera bättre än den klassiska och vanligtförekommande CPH modellen. Modellerna förklarades sedan med hjälp utavSHAP värden där vikten utav de olika variablerna visades tillsammmans med deras påverkan. SHAP visade även att GB modellen hanterade icke-linjäriteten bättre än CPH modellen. De fem viktigaste variablerna som påverkade vistelsens längd till intagning var om patienten blev scannad påakutmottagningen, om de blev mottagna i ett akutrum, ålder, triagenivå ochvilket medicinskt team som ansågs bäst lämpat för patienten. Detta är kliniskinformation som skulle kunna implementeras genom beslutsfattande för attminska trängseln på akuten. Dessa resultat visar att maskininlärningsmetoderför överlevnadsanalys kan användas för vidare undersökning angående de logistiska utmaningar som sjukvården står inför och kan även användas ytterligareför datanalys med produktionsdata i liknande fall. Processen med överlevnadsanalys och ML kan även användas för vidare analys och kan agera som ett förstasteg för att framhäva viktig information i datan som skulle vara intressant fördjupare data analys. Detta skulle kunna göra processen mer effektiv.

Advancements in creative artificial intelligence (AI) are leading to systems that can actively work together with designers in tasks such as ideation, i.e. the creation, development, and communication of ideas. In human group work, making suggestions and explaining the reasoning behind them as well as comprehending other group member’s explanations aids reflection, trust, alignment of goals and inspiration through diverse perspectives. Despite their ability to inspire through independent suggestions, state-of-the-art creative AI systems do not leverage these advantages of group work due to missing or one-sided explanations. For other use cases, AI systems that explain their reasoning are already gathering wide research interest. However, there is a knowledge gap on the effects of explanations on creativity. Furthermore, it is unknown whether a user can benefit from also explaining their contributions to an AI system. This thesis investigates whether reciprocal explanations, a novel technique which combines explanations from and to an AI system, improve the designers’ and AI’s joint exploration of ideas. I integrated reciprocal explanations into an AI aided tool for mood board design, a common method for ideation. In our implementation, the AI system uses text to explain which features of its suggestions match or complement the current mood board. Occasionally, it asks for user explanations providing several options for answers that it reacts to by aligning its strategy. A study was conducted with 16 professional designers who used the tool to create mood boards followed by presentations and semi-structured interviews. The study emphasized a need for explanations that make the principles of the system transparent and showed that alignment of goals motivated participants to provide explanations to the system. Also, enabling users to explain their contributions to the AI system facilitated reflection on their own reasons. / Framsteg inom kreativ artificiell intelligens (AI) har lett till system som aktivt kan samarbeta med designers under idéutformningsprocessen, dvs vid skapande, utveckling och kommunikation av idéer. I grupparbete är det viktigt att kunna göra förslag och förklara resonemanget bakom dem, samt förstå de andra gruppmedlemmarnas resonemang. Detta ökar reflektionsförmågan och förtroende hos medlemmarna, samt underlättar sammanjämkning av mål och ger inspiration genom att höra olika perspektiv. Trots att system, baserade på kreativ artificiell intelligens, har förmågan att inspirera genom sina oberoende förslag, utnyttjar de allra senaste kreativa AI-systemen inte dessa fördelar för att facilitera grupparbete. Detta är på grund av AI-systemens bristfälliga förmåga att resonera över sina förslag. Resonemangen är ofta ensidiga, eller saknas totalt. AI-system som kan förklara sina resonemang är redan ett stort forskningsintresse inom många användningsområden. Dock finns det brist på kunskap om AI-systemens påverkan på den kreativa processen. Dessutom är det okänt om en användare verkligen kan dra nytta av möjligheten att kunna förklara sina designbeslut till ett AI-system. Denna avhandling undersöker om ömsesidiga förklaringar, en ny teknik som kombinerar förklaringar från och till ett AI system, kan förbättra designerns och AI:s samarbete under utforskningen av idéer. Jag integrerade ömsesidiga förklaringar i ett AI-hjälpmedel som underlättar skapandet av stämningsplank (eng. mood board), som är en vanlig metod för konceptutveckling. I vår implementering använder AI-systemet textbeskrivningar för att förklara vilka delar av dess förslag som matchar eller kompletterar det nuvarande stämningsplanket. Ibland ber den användaren ge förklaringar, så den kan anpassa sin förslagsstrategi efter användarens önskemål. Vi genomförde en studie med 16 professionella designers som använde verktyget för att skapa stämningsplank. Feedback samlades genom presentationer och semistrukturerade intervjuer. Studien betonade behovet av förklaringar och resonemang som gör principerna bakom AI-systemet transparenta för användaren. Höjd sammanjämkning mellan användarens och systemets mål motiverade deltagarna att ge förklaringar till systemet. Genom att göra det möjligt för användare att förklara sina designbeslut för AI-systemet, förbättrades också användarens reflektionsförmåga över sina val.

Machine learning systems have become ubiquitous into our society. This has raised concerns about the potential discrimination that these systems might exert due to unconscious bias present in the data, for example regarding gender and race. Whilst this issue has been proposed as an essential subject to be included in the new AI curricula for schools, research has shown that it is a difficult topic to grasp by students. This thesis aims to develop an educational platform tailored to raise the awareness of the societal implications of gender bias in supervised learning. It assesses whether using an explainable model has a positive effect in teaching the impacts of gender bias to preadolescents from 10 to 13 years old. A study was carried out at a school in Stockholm employing an online platform with a classifier incorporating Grad-CAM as the explainability technique that enables it to visually explain its own predictions. The students were divided into two groups differentiated by the use of the explainable model or not. Analysis of the answers demonstrates that preadolescents significantly improve their understanding of the concept of bias in terms of gender discrimination when they interact with the explainable model, highlighting its suitability for educational programs. / Maskininlärningssystemen har blivit allmänt förekommande i vårt samhälle, vilket har lett till oro över den potentiella diskriminering som dessa system kan utöva när det gäller kön och ras. Detta med orsak av det bias som finns i datan. Även om detta problem har föreslagits som ett viktigt ämne som ska ingå i de nya AI-läroplanerna för skolor, har forskning visat att det är ett svårt ämne att förstå för studenter. Detta examensarbete syftar till att utveckla en utbildningsplattform för att öka medvetenhet om de samhälleliga konsekvenserna av könsbias inom övervakad maskinlärning. Det utvärderar huruvida användning av en förklaringsbar modell har en positiv effekt vid inlärning hos ungdomar mellan 10 och 13 år när det kommer till konsekvenserna av könsbias. En studie genomfördes på en skola i Stockholm med hjälp av en onlineplattform som använder en klassificeringsalgoritm med Grad-CAM förklaringsbar teknik som gör det möjligt för den att visuellt förklara sina egna förutsägelser. Eleverna delades in i två grupper som åtskiljdes genom att den ena gruppen använde den förklarbara modellen medan den andra inte gjorde det. Analysen av svaren visar att ungdomar markant förbättrar sin förståelse av könsdiskrimineringsbias när de interagerar med den förklarbara modellen, vilket lyfter fram dess lämplighet för användning inom utbildningsprogram.

In recent years, advanced machine learning (ML) models have revolutionized industries ranging from the healthcare sector to retail and E-commerce. However, these models have become increasingly complex, making it difficult for even domain experts to understand and retrace the model's decision-making process. To address this challenge, several frameworks for explainable AI have been proposed and developed. This thesis focuses on counterfactual explanations (CFEs), which provide actionable insights by informing users how to modify inputs to achieve desired outputs. However, computing CFEs for a general black-box ML model is computationally expensive since it hinges on solving a challenging optimization problem. To efficiently solve this optimization problem, we propose using Bayesian optimization (BO), and introduce the novel algorithm Separated Bayesian Optimization (SBO). SBO exploits the formulation of the counterfactual function as a composite function. Additionally, we propose warm-starting SBO, which addresses the computational challenges associated with computing multiple CFEs. By decoupling the generation of a surrogate model for the black-box model and the computation of specific CFEs, warm-starting SBO allows us to reuse previous data and computations, resulting in computational discounts and improved efficiency for large-scale applications. Through numerical experiments, we demonstrate that BO is a viable optimization scheme for computing CFEs for black-box ML models. BO achieves computational efficiency while maintaining good accuracy. SBO improves upon this by requiring fewer evaluations while achieving accuracies comparable to the best conventional optimizer tested. Both BO and SBO exhibit improved capabilities in handling various classes of ML decision models compared to the tested baseline optimizers. Finally, Warm-starting SBO significantly enhances the performance of SBO, reducing function evaluations and errors when computing multiple sequential CFEs. The results indicate a strong potential for large-scale industry applications. / Avancerade maskininlärningsmodeller (ML-modeller) har på senaste åren haft stora framgångar inom flera delar av näringslivet, med allt ifrån hälso- och sjukvårdssektorn till detaljhandel och e-handel. I jämn takt med denna utveckling har det dock även kommit en ökad komplexitet av dessa ML-modeller vilket nu lett till att även domänexperter har svårigheter med att förstå och tolka modellernas beslutsprocesser. För att bemöta detta problem har flertalet förklarbar AI ramverk utvecklats. Denna avhandling fokuserar på kontrafaktuella förklaringar (CFEs). Detta är en förklaringstyp som anger för användaren hur denne bör modifiera sin indata för att uppnå ett visst modellbeslut. För en generell svarta-låda ML-modell är dock beräkningsmässigt kostsamt att beräkna CFEs då det krävs att man löser ett utmanande optimeringsproblem. För att lösa optimeringsproblemet föreslår vi användningen av Bayesiansk Optimering (BO), samt presenterar den nya algoritmen Separated Bayesian Optimization (SBO). SBO utnyttjar kompositionsformuleringen av den kontrafaktuella funktionen. Vidare, utforskar vi beräkningen av flera sekventiella CFEs för vilket vi presenterar varm-startad SBO. Varm-startad SBO lyckas återanvända data samt beräkningar från tidigare CFEs tack vare en separation av surrogat-modellen för svarta-låda ML-modellen och beräkningen av enskilda CFEs. Denna egenskap leder till en minskad beräkningskostnad samt ökad effektivitet för storskaliga tillämpningar.  I de genomförda experimenten visar vi att BO är en lämplig optimeringsmetod för att beräkna CFEs för svarta-låda ML-modeller tack vare en god beräknings effektivitet kombinerat med hög noggrannhet. SBO presterade ännu bättre med i snitt färre funktionsutvärderingar och med fel nivåer jämförbara med den bästa testade konventionella optimeringsmetoden. Både BO och SBO visade på bättre kapacitet att hantera olika klasser av ML-modeller än de andra testade metoderna. Slutligen observerade vi att varm-startad SBO gav ytterligare prestandaökningar med både minskade funktionsutvärderingar och fel när flera CFEs beräknades. Dessa resultat pekar på stor potential för storskaliga tillämpningar inom näringslivet.