Time Series are used in healthcare, meteorology, and many other fields. Rigorous research has been done to develop distance measures and classifying algorithms for time series. When a time series is classified, one can ask what changes should be made to the time series to classify it differently. A time series with the appropriate changes that make the classifier classify the time series as a different class is known as a counterfactual explanation. There exist model-dependent methods for creating counterfactual explanations. However, there exists a lack in the literature of a model agnostic method for creating counterfactual explanations for Time Series. This study aims to answer the following research question. ” How does a model agnostic method for counterfactuals for time series perform in terms of cost and compactness compared to model dependent algorithms for counterfactuals for time series?” To answer the research question, a model agnostic method for creating counterfactuals for time series was created named Multi-Objective Counterfactuals For Time Series. The Evaluation of the Multi-Objective Counterfactual Explanation For Time Series performed better than the modeldependent algorithms in Compactness but worse in Cost.

Videos manipulated by machine learning have rapidly increased online in the past years. So called deepfakes can depict people who never participated in a video recording by transposing their faces onto others in it. This raises the concern of authenticity of media, which demand for higher performing detection methods in forensics. Introduction of AI detectors have been of interest, but is held back today by their lack of interpretability. The objective of this thesis was therefore to examine what the explainable AI method local interpretable model-agnostic explanations (LIME) could contribute to forensic investigations of deepfake video.  An evaluation was conducted where 3 multimedia forensics evaluated the contribution of visual explanations of classifications when investigating deepfake video frames. The estimated contribution was not significant yet answers showed that LIME may be used to indicate areas to start examine. LIME was however not considered to provide sufficient proof to why a frame was classified as `fake', and would if introduced be used as one of several methods in the process. Issues were apparent regarding the interpretability of the explanations, as well as LIME's ability to indicate features of manipulation with superpixels.

In the past few years, Artificial Intelligence (AI) has evolved into a powerful tool applied in multi-disciplinary fields to resolve sophisticated problems. As AI becomes more powerful and ubiquitous, oftentimes the AI methods also become opaque, which might lead to trust issues for the users of the AI systems as well as fail to meet the legal requirements of AI transparency. In this report, the possibility of making a credit-card fraud detection support system explainable to users is investigated through a quantitative survey. A publicly available credit card dataset was used. Deep Learning and Random Forest were the two Machine Learning (ML) methodsimplemented and applied on the credit card fraud dataset, and the performance of their results was evaluated in terms of their accuracy, recall, sufficiency, and F1 score. After that, two explainable AI (XAI) methods - SHAP (Shapley Additive Explanations) and LIME (Local Interpretable Model-Agnostic Explanations) were implemented and applied to the results obtained from these two ML methods. Finally, the XAI results were evaluated through a quantitative survey. The results from the survey revealed that the XAI explanations can slightly increase the users' impression of the system's ability to reason and LIME had a slight advantage over SHAP in terms of explainability. Further investigation of visualizing data pre-processing and the training process is suggested to offer deep explanations for users.

Articial intelligence has had a large impact on many industries and transformed some domains quite radically. There is tremendous potential in applying AI to the eld of medical diagnostics. A major issue with applying these techniques to some domains is an inability for AI models to provide an explanation or justication for their predictions. This creates a problem wherein a user may not trust an AI prediction, or there are legal requirements for justifying decisions that are not met. This thesis overviews how two explainable AI techniques (Shapley Additive Explanations and Local Interpretable Model-Agnostic Explanations) can establish a degree of trust for the user in the medical diagnostics eld. These techniques are evaluated through a user study. User study results suggest that supplementing classications or predictions with a post-hoc visualization increases interpretability by a small margin. Further investigation and research utilizing a user study surveyor interview is suggested to increase interpretability and explainability of machine learning results.

To determine whether a credit limit for a corporate client should be changed, a financial institution writes a PM containingtext and financial data that then is assessed by a credit committee which decides whether to increase the limit or not. To make thisprocess more efficient, machine learning algorithms was used to classify the credit PMs instead of a committee. Since most machinelearning algorithms are black boxes, the LIME framework was used to find the most important features driving the classification. Theresults of this study show that credit memos can be classified with high accuracy and that LIME can be used to indicate which parts ofthe memo had the biggest impact. This implicates that the credit process could be improved by utilizing machine learning, whilemaintaining transparency. However, machine learning may disrupt learning processes within the organization. / För att bedöma om en kreditlimit för ett företag ska förändras eller inte skriver ett finansiellt institut ett PM innehållande text och finansiella data. Detta PM granskas sedan av en kreditkommitté som beslutar om limiten ska förändras eller inte. För att effektivisera denna process användes i denna rapport maskininlärning istället för en kreditkommitté för att besluta om limiten ska förändras. Eftersom de flesta maskininlärningsalgoritmer är svarta lådor så användes LIME-ramverket för att hitta de viktigaste drivarna bakom klassificeringen. Denna studies resultat visar att kredit-PM kan klassificeras med hög noggrannhet och att LIME kan visa vilken del av ett PM som hade störst påverkan vid klassificeringen. Implikationerna av detta är att kreditprocessen kan förbättras av maskininlärning, utan att förlora transparens. Maskininlärning kan emellertid störa lärandeprocesser i organisationen, varför införandet av dessa algoritmer bör vägas mot hur betydelsefullt det är att bevara och utveckla kunskap inom organisationen.

Managing a system of network services is a complex and large-scale task that often lacks a trivial optimal solution. Deep Reinforcement Learning (RL) has shown great potential in being able to solve these tasks in static settings. However, in practice, the RL agents struggle to generalize their control policies enough to work in more dynamic real-world environments. To achieve a generality between environments, multiple contributions are made by this thesis. Low-level metrics are collected from each node in the system to help explain changes in the end-to-end delay of the system. To achieve generality in its control policy, more ways to observe and understand the dynamic environment and how it changes are provided to the RL agent by introducing the end-to-end delay of each service in the system to its observation space. Another approach to achieving more generality in RL policies is Model-Agnostic Meta-Learning (MAML), a type of Meta-Learning approach where instead of learning to solve a specific task, the model learns to learn how to quickly solve a new task based on prior knowledge. Results show that low-level metrics yield a much greater generality when helping to explain the delay of a system. Applying MAML to the problem is beneficial in adding generality to a learned RL policy and making the adaptation to a new task faster. If the RL agent can observe the changes to the underlying dynamics of the environment between tasks by itself, the policy can achieve this generality by itself without the need for a more complex method. However, if acquiring or observing the necessary data is too expensive or complex, switching to a Meta-Learning approach might be beneficial to increase generality. / Hanteringen av ett system med nätverksstjänster är ett komplext och stor skaligt problem där den optimal lösning inte är trivial. Djup förstärkningsinlärning har visat stor potential i att kunna lösa dessa problem i statiska miljöer. Dock är det svårt att generalisera lösningarna tillräckligt för att fungera i mer komplicerade och realistiska dynamiska miljöer. För att uppnå mer generella lösningar mellan miljöer presenterar denna masteruppsats flera möjliga lösningar. Lågnivåmetrik samlas in från varje nod i systemet för att hjälpa förklara skillnader i den totala responstiden för varje tjänst i systemet. För att generalisera förstärkningsinlärningsmodellen kan den förses med fler sätt att observera miljön, och därmed lära sig förstå hur den dynamiska miljön förändras. En annan metod för att uppnå mer generalitet inom förstärkningsinlärning är Model-Agnostic Meta-Learning (MAML), en typ av Meta-Learning där istället för att lära sig att lösa en specifik uppgift, modellen lär sig att lära sig att snabbt lösa en ny uppgift baserat på sin tidigare kunskap. Resultaten visar att lågnivåmetriken leder till en mycket högre generalitet i att hjälpa till att förklara responstiden av ett system. Att applicera MAML till problemet hjälper att bidra med generalitet till en förstärkningsinlärningsmodell och gör anpassningen till en ny uppgift snabbare. Om modellen själv kan observera ändringarna i underliggande dynamiken bakom miljön mellan uppgifter kan den uppnå mer generalitet utan ett behov av en mer komplex metod som MAML. Däremot, om det är svårt eller dyrt att få tag på eller observera den nödvändiga datan, kan ett byte till en Meta-Learning baserad metod vara mer fördelaktig för att öka generaliteten.

Machine learning-based systems are rapidly becoming popular because it has been realized that machines are more efficient and effective than humans at performing certain tasks. Although machine learning algorithms are extremely popular, they are also very literal and undeviating. This has led to a huge research surge in the field of interpretability in machine learning to ensure that machine learning models are reliable, fair, and can be held liable for their decision-making process. Moreover, in most real-world problems just making predictions using machine learning algorithms only solves the problem partially. Time series is one of the most popular and important data types because of its dominant presence in the fields of business, economics, and engineering. Despite this, interpretability in time series is still relatively unexplored as compared to tabular, text, and image data. With the growing research in the field of interpretability in machine learning, there is also a pressing need to be able to quantify the quality of explanations produced after interpreting machine learning models. Due to this reason, evaluation of interpretability is extremely important. The evaluation of interpretability for models built on time series seems completely unexplored in research circles. This thesis work focused on achieving and evaluating model agnostic interpretability in a time series forecasting problem.  The use case discussed in this thesis work focused on finding a solution to a problem faced by a digital consultancy company. The digital consultancy wants to take a data-driven approach to understand the effect of various sales related activities in the company on the sales deals closed by the company. The solution involved framing the problem as a time series forecasting problem to predict the sales deals and interpreting the underlying forecasting model. The interpretability was achieved using two novel model agnostic interpretability techniques, Local interpretable model- agnostic explanations (LIME) and Shapley additive explanations (SHAP). The explanations produced after achieving interpretability were evaluated using human evaluation of interpretability. The results of the human evaluation studies clearly indicate that the explanations produced by LIME and SHAP greatly helped lay humans in understanding the predictions made by the machine learning model. The human evaluation study results also indicated that LIME and SHAP explanations were almost equally understandable with LIME performing better but with a very small margin. The work done during this project can easily be extended to any time series forecasting or classification scenario for achieving and evaluating interpretability. Furthermore, this work can offer a very good framework for achieving and evaluating interpretability in any machine learning-based regression or classification problem. / Maskininlärningsbaserade system blir snabbt populära eftersom man har insett att maskiner är effektivare än människor när det gäller att utföra vissa uppgifter. Även om maskininlärningsalgoritmer är extremt populära, är de också mycket bokstavliga. Detta har lett till en enorm forskningsökning inom området tolkbarhet i maskininlärning för att säkerställa att maskininlärningsmodeller är tillförlitliga, rättvisa och kan hållas ansvariga för deras beslutsprocess. Dessutom löser problemet i de flesta verkliga problem bara att göra förutsägelser med maskininlärningsalgoritmer bara delvis. Tidsserier är en av de mest populära och viktiga datatyperna på grund av dess dominerande närvaro inom affärsverksamhet, ekonomi och teknik. Trots detta är tolkningsförmågan i tidsserier fortfarande relativt outforskad jämfört med tabell-, text- och bilddata. Med den växande forskningen inom området tolkbarhet inom maskininlärning finns det också ett stort behov av att kunna kvantifiera kvaliteten på förklaringar som produceras efter tolkning av maskininlärningsmodeller. Av denna anledning är utvärdering av tolkbarhet extremt viktig. Utvärderingen av tolkbarhet för modeller som bygger på tidsserier verkar helt outforskad i forskarkretsar. Detta uppsatsarbete fokuserar på att uppnå och utvärdera agnostisk modelltolkbarhet i ett tidsserieprognosproblem.  Fokus ligger i att hitta lösningen på ett problem som ett digitalt konsultföretag står inför som användningsfall. Det digitala konsultföretaget vill använda en datadriven metod för att förstå effekten av olika försäljningsrelaterade aktiviteter i företaget på de försäljningsavtal som företaget stänger. Lösningen innebar att inrama problemet som ett tidsserieprognosproblem för att förutsäga försäljningsavtalen och tolka den underliggande prognosmodellen. Tolkningsförmågan uppnåddes med hjälp av två nya tekniker för agnostisk tolkbarhet, lokala tolkbara modellagnostiska förklaringar (LIME) och Shapley additiva förklaringar (SHAP). Förklaringarna som producerats efter att ha uppnått tolkbarhet utvärderades med hjälp av mänsklig utvärdering av tolkbarhet. Resultaten av de mänskliga utvärderingsstudierna visar tydligt att de förklaringar som produceras av LIME och SHAP starkt hjälpte människor att förstå förutsägelserna från maskininlärningsmodellen. De mänskliga utvärderingsstudieresultaten visade också att LIME- och SHAP-förklaringar var nästan lika förståeliga med LIME som presterade bättre men med en mycket liten marginal. Arbetet som utförts under detta projekt kan enkelt utvidgas till alla tidsserieprognoser eller klassificeringsscenarier för att uppnå och utvärdera tolkbarhet. Dessutom kan detta arbete erbjuda en mycket bra ram för att uppnå och utvärdera tolkbarhet i alla maskininlärningsbaserade regressions- eller klassificeringsproblem.

State-of-the-art Machine Learning (ML) algorithms show impressive results for a myriad of applications. However, they operate as a sort of a black box: the decisions taken are not human-understandable. There is a need for transparency and interpretability of ML predictions to be wider accepted in society, especially in specific fields such as medicine or finance. Most of the efforts so far have focused on explaining supervised learning. This project aims to use some of these successful explainability algorithms and apply them to Reinforcement Learning (RL). To do so, we explain the actions of a RL agent playing Atari’s Breakout game, using two different explainability algorithms: Shapley Additive Explanations (SHAP) and Local Interpretable Model-agnostic Explanations (LIME). We successfully implement both algorithms, which yield credible and insightful explanations of the mechanics of the agent. However, we think the final presentation of the results is sub-optimal for the final user, as it is not intuitive at first sight. / De senaste algoritmerna för maskininlärning (ML) visar imponerande resultat för en mängd olika tillämpningar. De fungerar dock som ett slags ”svart låda”: de beslut som fattas är inte begripliga för människor. Det finns ett behov av öppenhet och tolkningsbarhet för ML-prognoser för att de ska bli mer accepterade i samhället, särskilt inom specifika områden som medicin och ekonomi. De flesta insatser hittills har fokuserat på att förklara övervakad inlärning. Syftet med detta projekt är att använda några av dessa framgångsrika algoritmer för att förklara och tillämpa dem på förstärkning lärande (Reinforcement Learning, RL). För att göra detta förklarar vi handlingarna hos en RL-agent som spelar Ataris Breakout-spel med hjälp av två olika förklaringsalgoritmer: Shapley Additive Explanations (SHAP) och Local Interpretable Model-agnostic Explanations (LIME). Vi genomför framgångsrikt båda algoritmerna, som ger trovärdiga och insiktsfulla förklaringar av agentens mekanik. Vi anser dock att den slutliga presentationen av resultaten inte är optimal för slutanvändaren, eftersom den inte är intuitiv vid första anblicken. / Els algoritmes d’aprenentatge automàtic (Machine Learning, ML) d’última generació mostren resultats impressionants per a moltes aplicacions. Tot i això, funcionen com una mena de caixa negra: les decisions preses no són comprensibles per a l’ésser humà. Per tal que les prediccion preses mitjançant ML siguin més acceptades a la societat, especialment en camps específics com la medicina o les finances, cal transparència i interpretabilitat. La majoria dels esforços que s’han fet fins ara s’han centrat a explicar l’aprenentatge supervisat (supervised learning). Aquest projecte pretén utilitzar alguns d’aquests existosos algoritmes d’explicabilitat i aplicar-los a l’aprenentatge per reforç (Reinforcement Learning, RL). Per fer-ho, expliquem les accions d’un agent de RL que juga al joc Breakout d’Atari utilitzant dos algoritmes diferents: explicacions additives de Shapley (SHAP) i explicacions model-agnòstiques localment interpretables (LIME). Hem implementat amb èxit tots dos algoritmes, que produeixen explicacions creïbles i interessants de la mecànica de l’agent. Tanmateix, creiem que la presentació final dels resultats no és òptima per a l’usuari final, ja que no és intuïtiva a primera vista.

In recent years, advanced machine learning (ML) models have revolutionized industries ranging from the healthcare sector to retail and E-commerce. However, these models have become increasingly complex, making it difficult for even domain experts to understand and retrace the model's decision-making process. To address this challenge, several frameworks for explainable AI have been proposed and developed. This thesis focuses on counterfactual explanations (CFEs), which provide actionable insights by informing users how to modify inputs to achieve desired outputs. However, computing CFEs for a general black-box ML model is computationally expensive since it hinges on solving a challenging optimization problem. To efficiently solve this optimization problem, we propose using Bayesian optimization (BO), and introduce the novel algorithm Separated Bayesian Optimization (SBO). SBO exploits the formulation of the counterfactual function as a composite function. Additionally, we propose warm-starting SBO, which addresses the computational challenges associated with computing multiple CFEs. By decoupling the generation of a surrogate model for the black-box model and the computation of specific CFEs, warm-starting SBO allows us to reuse previous data and computations, resulting in computational discounts and improved efficiency for large-scale applications. Through numerical experiments, we demonstrate that BO is a viable optimization scheme for computing CFEs for black-box ML models. BO achieves computational efficiency while maintaining good accuracy. SBO improves upon this by requiring fewer evaluations while achieving accuracies comparable to the best conventional optimizer tested. Both BO and SBO exhibit improved capabilities in handling various classes of ML decision models compared to the tested baseline optimizers. Finally, Warm-starting SBO significantly enhances the performance of SBO, reducing function evaluations and errors when computing multiple sequential CFEs. The results indicate a strong potential for large-scale industry applications. / Avancerade maskininlärningsmodeller (ML-modeller) har på senaste åren haft stora framgångar inom flera delar av näringslivet, med allt ifrån hälso- och sjukvårdssektorn till detaljhandel och e-handel. I jämn takt med denna utveckling har det dock även kommit en ökad komplexitet av dessa ML-modeller vilket nu lett till att även domänexperter har svårigheter med att förstå och tolka modellernas beslutsprocesser. För att bemöta detta problem har flertalet förklarbar AI ramverk utvecklats. Denna avhandling fokuserar på kontrafaktuella förklaringar (CFEs). Detta är en förklaringstyp som anger för användaren hur denne bör modifiera sin indata för att uppnå ett visst modellbeslut. För en generell svarta-låda ML-modell är dock beräkningsmässigt kostsamt att beräkna CFEs då det krävs att man löser ett utmanande optimeringsproblem. För att lösa optimeringsproblemet föreslår vi användningen av Bayesiansk Optimering (BO), samt presenterar den nya algoritmen Separated Bayesian Optimization (SBO). SBO utnyttjar kompositionsformuleringen av den kontrafaktuella funktionen. Vidare, utforskar vi beräkningen av flera sekventiella CFEs för vilket vi presenterar varm-startad SBO. Varm-startad SBO lyckas återanvända data samt beräkningar från tidigare CFEs tack vare en separation av surrogat-modellen för svarta-låda ML-modellen och beräkningen av enskilda CFEs. Denna egenskap leder till en minskad beräkningskostnad samt ökad effektivitet för storskaliga tillämpningar.  I de genomförda experimenten visar vi att BO är en lämplig optimeringsmetod för att beräkna CFEs för svarta-låda ML-modeller tack vare en god beräknings effektivitet kombinerat med hög noggrannhet. SBO presterade ännu bättre med i snitt färre funktionsutvärderingar och med fel nivåer jämförbara med den bästa testade konventionella optimeringsmetoden. Både BO och SBO visade på bättre kapacitet att hantera olika klasser av ML-modeller än de andra testade metoderna. Slutligen observerade vi att varm-startad SBO gav ytterligare prestandaökningar med både minskade funktionsutvärderingar och fel när flera CFEs beräknades. Dessa resultat pekar på stor potential för storskaliga tillämpningar inom näringslivet.