Deep Learning models are ubiquitous in machine learning. They offer state-of- the-art performance on tasks ranging from natural language processing to image classification. The drawback of these complex models is their black box nature. It is difficult for the end-user to understand how a model arrives at its prediction from the input. This is especially pertinent in domains such as medicine, where being able to trust a model is paramount. In this thesis, ways of explaining a model predicting paroxysmal atrial fibrillation from sinus electrocardiogram (ECG) data are explored. Building on the concept of feature attributions, the problem is approached from three distinct perspectives: time, scale, and frequency. Specifically, one method based on the Integrated Gradients framework and one method based on Shapley values are used. By perturbing the data, retraining the model, and evaluating the retrained model on the perturbed data, the degree of correspondence between the attributions and the meaningful information in the data is evaluated. Results indicate that the attributions in scale and frequency are somewhat consistent with the meaningful information in the data, while the attributions in time are not. The conclusion drawn from the results is that the task of predicting atrial fibrillation for the model in question becomes easier as the level of scale is increased slightly, and that high-frequency information is either not meaningful for the task of predicting atrial fibrillation, or that if it is, the model is unable to learn from it. / Djupinlärningsmodeller förekommer på många håll inom maskininlärning. De erbjuder bästa möjliga prestanda i olika domäner såsom datorlingvistik och bildklassificering. Nackdelen med dessa komplexa modeller är deras “svart låda”-egenskaper. Det är svårt för användaren att förstå hur en modell kommer fram till sin prediktion utifrån indatan. Detta är särskilt relevant i domäner såsom sjukvård, där tillit till modellen är avgörande. I denna uppsats utforskas sätt att förklara en modell som predikterar paroxysmalt förmaksflimmer från elektrokardiogram (EKG) som uppvisar normal sinusrytm. Med utgångspunkt i feature attribution (särdragsattribution) angrips problemet från tre olika perspektiv: tid, skala och frekvens. I synnerhet används en metod baserad på Integrated Gradients och en metod baserad på Shapley-värden. Genom att perturbera datan, träna om modellen, och utvärdera den omtränader modellen på den perturberade datan utvärderas graden av överensstämmelse mellan attributionerna och den meningsfulla informationen i datan. Resultaten visar att attributioner i skala- och frekvensdomänerna delvis stämmer överens med den meningsfulla informationen i datan, medan attributionerna i tidsdomänen inte gör det. Slutsatsen som dras utifrån resultaten är att uppgiften att prediktera förmaksflimmer blir enklare när skalnivån ökas något, samt att högre frekvenser antingen inte är betydelsefullt för att prediktera förmaksflimmer, eller att om det är det, så saknar modellen förmågan att lära sig detta.

No description available.

The field of explainable artificial intelligence (XAI) has gained momentum in recent years following the increased use of AI systems across industries leading to bias, discrimination, and data security concerns. Several conceptual frameworks for how to reach AI systems that are fair, transparent, and understandable have been proposed, as well as a number of technical solutions improving some of these aspects in a research context. However, there is still a lack of studies examining the implementation of these concepts and techniques in practice. This research aims to bridge the gap between prominent theory within the area and practical implementation, exploring the implementation and evaluation of XAI models in the Swedish credit scoring industry, and proposes a three-step framework for the implementation of local explanations in practice. The research methods used consisted of a case study with the model development at UC AB as a subject and an experiment evaluating the consumers' levels of trust and system understanding as well as the usefulness, persuasive power, and usability of the explanation for three different explanation prototypes developed. The framework proposed was validated by the case study and highlighted a number of key challenges and trade-offs present when implementing XAI in practice. Moreover, the evaluation of the XAI prototypes showed that the majority of consumers prefers rulebased explanations, but that preferences for explanations is still dependent on the individual consumer. Recommended future research endeavors include studying a longterm XAI project in which the models can be evaluated by the open market and the combination of different XAI methods in reaching a more personalized explanation for the consumer. / Under senare år har antalet AI implementationer stadigt ökat i flera industrier. Dessa implementationer har visat flera utmaningar kring nuvarande AI system, specifikt gällande diskriminering, otydlighet och datasäkerhet vilket lett till ett intresse för förklarbar artificiell intelligens (XAI). XAI syftar till att utveckla AI system som är rättvisa, transparenta och begripliga. Flera konceptuella ramverk har introducerats för XAI som presenterar etiska såväl som politiska perspektiv och målbilder. Dessutom har tekniska metoder utvecklats som gjort framsteg mot förklarbarhet i forskningskontext. Däremot saknas det fortfarande studier som undersöker implementationer av dessa koncept och tekniker i praktiken. Denna studie syftar till att överbrygga klyftan mellan den senaste teorin inom området och praktiken genom en fallstudie av ett företag i den svenska kreditupplysningsindustrin. Detta genom att föreslå ett ramverk för implementation av lokala förklaringar i praktiken och genom att utveckla tre förklaringsprototyper. Rapporten utvärderar även prototyperna med konsumenter på följande dimensioner: tillit, systemförståelse, användbarhet och övertalningsstyrka. Det föreslagna ramverket validerades genom fallstudien och belyste ett antal utmaningar och avvägningar som förekommer när XAI system utvecklas för användning i praktiken. Utöver detta visar utvärderingen av prototyperna att majoriteten av konsumenter föredrar regelbaserade förklaringar men indikerar även att preferenser mellan konsumenter varierar. Rekommendationer för framtida forskning är dels en längre studie, vari en XAI modell introduceras på och utvärderas av den fria marknaden, dels forskning som kombinerar olika XAI metoder för att generera mer personliga förklaringar för konsumenter.

This thesis delves into the use of Artificial Intelligence (AI) for quality control in manufacturing systems, with a particular focus on anomaly detection through the analysis of torque measurements in rotating mechanical systems. The research specifically examines the effectiveness of torque measurements in quality control of locks, challenging the traditional method that relies on human tactile sense for detecting mechanical anomalies. This conventional approach, while widely used, has been found to yield inconsistent results and poses physical strain on operators. A key aspect of this study involves conducting experiments on locks using torque measurements to identify mechanical anomalies. This method represents a shift from the subjective and physically demanding practice of manually testing each lock. The research aims to demonstrate that an automated, AI-driven approach can offer more consistent and reliable results, thereby improving overall product quality. The development of a machine learning model for this purpose starts with the collection of training data, a process that can be costly and disruptive to normal workflow. Therefore, this thesis also investigates strategies for predicting and minimizing the sample size used for training. Additionally, it addresses the critical need of trustworthiness in AI systems used for final quality control. The research explores how to utilize machine learning models that are not only effective in detecting anomalies but also offers a level of interpretability, avoiding the pitfalls of black box AI models. Overall, this thesis contributes to advancing automated quality control by exploring the state-of-the-art machine learning algorithms for mechanical fault detection, focusing on sample size prediction and minimization and also model interpretability. To the best of the author’s knowledge, it is the first study that evaluates an AI-driven solution for quality control of mechanical locks, marking an innovation in the field. / Denna avhandling fördjupar sig i användningen av Artificiell Intelligens (AI) för kvalitetskontroll i tillverkningssystem, med särskilt fokus på anomalidetektion genom analys av momentmätningar i roterande mekaniska system. Forskningen undersöker specifikt effektiviteten av momentmätningar för kvalitetskontroll av lås, vilket utmanar den traditionella metoden som förlitar sig på människans taktila sinne för att upptäcka mekaniska anomalier. Denna konventionella metod, som är brett använd, har visat sig ge inkonsekventa resultat och medför fysisk belastning för operatörerna. En nyckelaspekt av denna studie innebär att genomföra experiment på lås med hjälp av momentmätningar för att identifiera mekaniska anomalier. Denna metod representerar en övergång från den subjektiva och fysiskt krävande praxisen att manuellt testa varje lås. Forskningen syftar till att demonstrera att en automatiserad, AI-driven metod kan erbjuda mer konsekventa och tillförlitliga resultat, och därmed förbättra den övergripande produktkvaliteten. Utvecklingen av en maskininlärningsmodell för detta ändamål börjar med insamling av träningsdata, en process som kan vara kostsam och störande för det normala arbetsflödet. Därför undersöker denna avhandling också strategier för att förutsäga och minimera mängden av data som används för träning. Dessutom adresseras det kritiska behovet av tillförlitlighet i AI-system som används för slutlig kvalitetskontroll. Forskningen utforskar hur man kan använda maskininlärningsmodeller som inte bara är effektiva för att upptäcka anomalier, utan också erbjuder en nivå av tolkningsbarhet, för att undvika fallgroparna med svart låda AI-modeller. Sammantaget bidrar denna avhandling till att främja automatiserad kvalitetskontroll genom att utforska de senaste maskininlärningsalgoritmerna för detektion av mekaniska fel, med fokus på prediktion och minimering av mängden träningsdata samt tolkbarheten av modellens beslut. Denna avhandling utgör det första försöket att utvärdera en AI-driven strategi för kvalitetskontroll av mekaniska lås, vilket utgör en nyskapande innovation inom området.

This thesis is a case study conducted at Magna Electronics to explore the use of machinelearning techniques in improving the predictive quality of electronic control unit (ECU)within the automotive manufacturing. This thesis aims to apply interpretable machinelearning methods to predict potential future ECU failures early. With the interpretablemachine learning the goal is to identify predictive variables that lead to ECU failure andwhich can be used as support for decision making.Logistic Regression and Random Forest were chosen as the machine learning methods,which have been used in research of predictive quality and have different levels of interpretability.TreeSHAP was used on the Random Forest as the post-hoc method to furtherunderstand the results. The models’ performances were quantitatively evaluatedthrough metrics such as accuracy and area under precision-recall curve. Subsequently, thebest-performing models were further analyzed using confusion matrices, precision-recallcurves, and horizontal bar charts to assess the impact of predictive variables.The results of this thesis indicated that while Random Forest outperformed Logistic Regression,both models demonstrated limited capability in accurately predicting faulty ECUs,due to the low AUCPR scores. The precision-recall curves suggested performance near randomguess, highlighting the possible variability in parameter impact.This study has also identified significant challenges, such as data imbalance and mislabeling,which may have had a negative effect on the results. Given these issues, the thesisadvises caution in using these results for decision-making. Although, findings of this thesisunderscore the need for a cautious approach to interpreting model outputs, suggestingthat real-world application may require to use different models based on the specific goalsand context of the analysis.

Autonomous Car (AC) has been more common in recent years. Despite the rapid development of the driving part of the AC, researchers still need to improve the overall experience of the AC's passengers and boost their willingness to adopt the technology. When driving in an AC, passengers need to have a good situation awareness to feel more comfortable riding in an AC and have a higher trust towards the system. One of the options to improve the situation awareness is by giving passengers an explanation about the situation. This study investigates how the situational risk of specific driving scenarios and the availability of visual environment information for passengers will affect the type of explanation needed by the AC passenger. The study was conducted through a series of different scenario tests presented to online study participants and focused on the human interaction to level 4 and 5 AC. This study's primary goal is to understand the human-AC interactions further, thus improving the human experience while riding in an AC. The results show that visual information availability affects the type of explanation passengers need. When no visual information is available, passengers are more satisfied with the type that explain the cause of AC's action (causal explanation). When the visual information is available, passengers are more satisfied with the type that provide intentions behind the AC's certain actions (intentional explanation). Results also show that despite no significant differences in trust found between the groups, participants showed slightly higher trust in the AC that provided causal explanations in situations without visual information available. This study contributes to a better understanding of the explanation type passengers of AC need in the various situational degree of risk and visual information availability. By leveraging this, we can create a better experience for passengers in the AC and eventually boost the adoption of the AC on the road. / Autonomous car (AC) har blivit allt vanligare under de senaste åren. Trots den snabba utvecklingen av själva kördelen hos AC behöver forskare fortfarande förbättra den övergripande upplevelsen för AC-passagerare och öka deras vilja att anta teknologin. När man kör i en AC behöver passagerare ha god situationsmedvetenhet för att känna sig bekväma och ha högre förtroende för systemet. Ett av alternativen för att förbättra situationsmedvetenheten är att ge passagerare en förklaring om situationen. Denna studie undersöker hur den situationella risken för specifika körsituationer och tillgängligheten av visuell miljöinformation för passagerare påverkar vilken typ av förklaring som behövs av AC-passageraren. Studien genomfördes genom en serie olika scenariotester som presenterades för deltagare i en online-studie och fokuserade på mänsklig interaktion med nivå 4 och 5 AC. Denna studiens främsta mål är att förstå människa-AC-interaktionen bättre och därmed förbättra den mänskliga upplevelsen vid färd i en AC. Resultaten visar att tillgängligheten av visuell information påverkar vilken typ av förklaring passagerarna behöver. När ingen visuell information finns tillgänglig är passagerarna mer nöjda med den typ som förklarar orsaken till AC:s agerande (orsaksförklaring). När den visuella informationen finns tillgänglig är passagerarna mer nöjda med den typ som ger intentioner bakom AC:s vissa handlingar (avsiktlig förklaring). Resultaten visar också att trots att inga signifikanta skillnader i tillit hittats mellan grupperna, visade deltagarna något högre förtroende för AC som gav orsaksförklaringar i situationer utan visuell information tillgänglig. Denna studie bidrar till en bättre förståelse för vilken typ av förklaring passagerare i AC behöver vid olika situationella riskgrader och tillgänglighet av visuell information. Genom att dra nytta av detta kan vi skapa en bättre upplevelse för passagerare i AC och på sikt öka antagandet av AC på vägarna.

Peer assessment is a process where learners evaluate and provide feedback on one another’s performance, which is critical to the student learning process. Earlier research has shown that it can improve student learning outcomes in various settings, including the setting of engineering education, in which collaborative teaching and learning activities are common. Peer assessment activities in computer-supported collaborative learning (CSCL) settings are becoming more and more common. When using digital technologies for performing these activities, much student data (e.g., peer feedback text entries) is generated automatically. These large data sets can be analyzed (through e.g., computational methods) and further used to improve our understanding of how students regulate their learning in CSCL settings in order to improve their conditions for learning by for example, providing in-time feedback. Yet there is currently a need to automatise the coding process of these large volumes of student text data since it is a very time- and resource consuming task. In this regard, the recent development in machine learning could prove beneficial. To understand how we can harness the affordances of machine learning technologies to classify student text data, this thesis examines the application of five models on a data set containing peer feedback from 231 students in the settings of a large technical university course. The models used to evaluate on the dataset are: the traditional models Multi Layer Perceptron (MLP), Decision Tree and the transformers-based models BERT, RoBERTa and DistilBERT. To evaluate each model’s performance, Cohen’s κ, accuracy, and F1-score were used as metrics. Preprocessing of the data was done by removing stopwords; then it was examined whether removing them improved the performance of the models. The results showed that preprocessing on the dataset only made the Decision Tree increase in performance while it decreased on all other models. RoBERTa was the model with the best performance on the dataset on all metrics used. Explainable artificial intelligence (XAI) was used on RoBERTa as it was the best performing model and it was found that the words considered as stopwords made a difference in the prediction. / Kamratbedömning är en process där eleverna utvärderar och ger feedback på varandras prestationer, vilket är avgörande för elevernas inlärningsprocess. Tidigare forskning har visat att den kan förbättra studenternas inlärningsresultat i olika sammanhang, däribland ingenjörsutbildningen, där samarbete vid undervisning och inlärning är vanligt förekommande. I dag blir det allt vanligare med kamratbedömning inom datorstödd inlärning i samarbete (CSCL). När man använder digital teknik för att utföra dessa aktiviteter skapas många studentdata (t.ex. textinlägg om kamratåterkoppling) automatiskt. Dessa stora datamängder kan analyseras (genom t.ex, beräkningsmetoder) och användas vidare för att förbättra våra kunskaper om hur studenterna reglerar sitt lärande i CSCL-miljöer för att förbättra deras förutsättningar för lärande. Men för närvarande finns det ett stort behov av att automatisera kodningen av dessa stora volymer av textdata från studenter. I detta avseende kan den senaste utvecklingen inom maskininlärning vara till nytta. För att förstå hur vi kan nyttja möjligheterna med maskininlärning teknik för att klassificera textdata från studenter, undersöker vi i denna studie hur vi kan använda fem modeller på en datamängd som innehåller feedback från kamrater till 231 studenter. Modeller som används för att utvärdera datasetet är de traditionella modellerna Multi Layer Perceptron (MLP), Decision Tree och de transformer-baserade modellerna BERT, RoBERTa och DistilBERT. För att utvärdera varje modells effektivitet användes Cohen’s κ, noggrannhet och F1-poäng som mått. Förbehandling av data gjordes genom att ta bort stoppord, därefter undersöktes om borttagandet av dem förbättrade modellernas effektivitet. Resultatet visade att förbehandlingen av datasetet endast fick Decision Tree att öka sin prestanda, medan den minskade för alla andra modeller. RoBERTa var den modell som presterade bäst på datasetet för alla mätvärden som användes. Förklarlig artificiell intelligens (XAI) användes på RoBERTa eftersom det var den modell som presterade bäst, och det visade sig att de ord som ansågs vara stoppord hade betydelse för prediktionen.

Machine learning-based systems are rapidly becoming popular because it has been realized that machines are more efficient and effective than humans at performing certain tasks. Although machine learning algorithms are extremely popular, they are also very literal and undeviating. This has led to a huge research surge in the field of interpretability in machine learning to ensure that machine learning models are reliable, fair, and can be held liable for their decision-making process. Moreover, in most real-world problems just making predictions using machine learning algorithms only solves the problem partially. Time series is one of the most popular and important data types because of its dominant presence in the fields of business, economics, and engineering. Despite this, interpretability in time series is still relatively unexplored as compared to tabular, text, and image data. With the growing research in the field of interpretability in machine learning, there is also a pressing need to be able to quantify the quality of explanations produced after interpreting machine learning models. Due to this reason, evaluation of interpretability is extremely important. The evaluation of interpretability for models built on time series seems completely unexplored in research circles. This thesis work focused on achieving and evaluating model agnostic interpretability in a time series forecasting problem.  The use case discussed in this thesis work focused on finding a solution to a problem faced by a digital consultancy company. The digital consultancy wants to take a data-driven approach to understand the effect of various sales related activities in the company on the sales deals closed by the company. The solution involved framing the problem as a time series forecasting problem to predict the sales deals and interpreting the underlying forecasting model. The interpretability was achieved using two novel model agnostic interpretability techniques, Local interpretable model- agnostic explanations (LIME) and Shapley additive explanations (SHAP). The explanations produced after achieving interpretability were evaluated using human evaluation of interpretability. The results of the human evaluation studies clearly indicate that the explanations produced by LIME and SHAP greatly helped lay humans in understanding the predictions made by the machine learning model. The human evaluation study results also indicated that LIME and SHAP explanations were almost equally understandable with LIME performing better but with a very small margin. The work done during this project can easily be extended to any time series forecasting or classification scenario for achieving and evaluating interpretability. Furthermore, this work can offer a very good framework for achieving and evaluating interpretability in any machine learning-based regression or classification problem. / Maskininlärningsbaserade system blir snabbt populära eftersom man har insett att maskiner är effektivare än människor när det gäller att utföra vissa uppgifter. Även om maskininlärningsalgoritmer är extremt populära, är de också mycket bokstavliga. Detta har lett till en enorm forskningsökning inom området tolkbarhet i maskininlärning för att säkerställa att maskininlärningsmodeller är tillförlitliga, rättvisa och kan hållas ansvariga för deras beslutsprocess. Dessutom löser problemet i de flesta verkliga problem bara att göra förutsägelser med maskininlärningsalgoritmer bara delvis. Tidsserier är en av de mest populära och viktiga datatyperna på grund av dess dominerande närvaro inom affärsverksamhet, ekonomi och teknik. Trots detta är tolkningsförmågan i tidsserier fortfarande relativt outforskad jämfört med tabell-, text- och bilddata. Med den växande forskningen inom området tolkbarhet inom maskininlärning finns det också ett stort behov av att kunna kvantifiera kvaliteten på förklaringar som produceras efter tolkning av maskininlärningsmodeller. Av denna anledning är utvärdering av tolkbarhet extremt viktig. Utvärderingen av tolkbarhet för modeller som bygger på tidsserier verkar helt outforskad i forskarkretsar. Detta uppsatsarbete fokuserar på att uppnå och utvärdera agnostisk modelltolkbarhet i ett tidsserieprognosproblem.  Fokus ligger i att hitta lösningen på ett problem som ett digitalt konsultföretag står inför som användningsfall. Det digitala konsultföretaget vill använda en datadriven metod för att förstå effekten av olika försäljningsrelaterade aktiviteter i företaget på de försäljningsavtal som företaget stänger. Lösningen innebar att inrama problemet som ett tidsserieprognosproblem för att förutsäga försäljningsavtalen och tolka den underliggande prognosmodellen. Tolkningsförmågan uppnåddes med hjälp av två nya tekniker för agnostisk tolkbarhet, lokala tolkbara modellagnostiska förklaringar (LIME) och Shapley additiva förklaringar (SHAP). Förklaringarna som producerats efter att ha uppnått tolkbarhet utvärderades med hjälp av mänsklig utvärdering av tolkbarhet. Resultaten av de mänskliga utvärderingsstudierna visar tydligt att de förklaringar som produceras av LIME och SHAP starkt hjälpte människor att förstå förutsägelserna från maskininlärningsmodellen. De mänskliga utvärderingsstudieresultaten visade också att LIME- och SHAP-förklaringar var nästan lika förståeliga med LIME som presterade bättre men med en mycket liten marginal. Arbetet som utförts under detta projekt kan enkelt utvidgas till alla tidsserieprognoser eller klassificeringsscenarier för att uppnå och utvärdera tolkbarhet. Dessutom kan detta arbete erbjuda en mycket bra ram för att uppnå och utvärdera tolkbarhet i alla maskininlärningsbaserade regressions- eller klassificeringsproblem.

As the complexity of deep learning model increases, the transparency of the systems does the opposite. It may be hard to understand the predictions a deep learning model makes, but even harder to understand why these predictions are made. Using eXplainable AI (XAI), we can gain greater knowledge of how the model operates and how the input in which the model receives can change its predictions. In this thesis, we apply Integrated Gradients (IG), an XAI method primarily used on image data and on datasets containing tabular and time-series data. We also evaluate how the results of IG differ from various types of models and how the change of baseline can change the outcome. In these results, we observe that IG can be applied to both sequenced and nonsequenced data, with varying results. We can see that the gradient baseline does not affect the results of IG on models such as RNN, LSTM, and GRU, where the data contains time series, as much as it does for models like MLP with nonsequenced data. To confirm this, we also applied IG to SVM models, which gave the results that the choice of gradient baseline has a significant impact on the results of IG.

[pt] Determinar a proveniência dos dados, isto é, o processo que levou a esses dados, é vital em muitas áreas, especialmente quando é essencial que os resultados ou ações sejam confiáveis. Com o crescente número de aplicações baseadas em inteligência artificial, criou-se a necessidade de torná-las capazes de explicar seu comportamento e responder às suas decisões. Isso é um desafio, especialmente se as aplicações forem distribuídas e compostas de vários agentes autônomos, formando um Sistema Multiagente (SMA). Uma maneira fundamental de tornar tais sistemas explicáveis é rastrear o comportamento do agente, isto é, registrar a origem de suas ações e raciocínios, como em uma depuração onisciente. Embora a ideia de proveniência já tenha sido explorada em alguns contextos, ela não foi extensivamente explorada no contexto de SMA, deixando muitas questões para serem compreendidas e abordadas. Nosso objetivo neste trabalho é justificar a importância da proveniência dos dados para SMA, discutindo quais perguntas podem ser respondidas em relação ao comportamento do SMA, utilizando a proveniência e ilustrando, através de cenários de aplicação, os benefícios que a proveniência proporciona para responder a essas questões. Este estudo envolve a criação de um framework de software, chamado FProvW3C, que suporta a coleta e armazenamento da proveniência dos dados produzidos pelo SMA, que foi integrado a plataforma BDI4JADE (41), formando o que denominamos de Prov-BDI4JADE. Por meio desta plataforma, utilizando exemplos de sistemas autônomos, demostramos com rigor que, o uso da proveniência de dados em SMA é uma solução sólida, para tornar transparente o processo de raciocínio e ação do agente. / [en] Determining the data provenance, that is, the process that led to those data, is vital in many areas, especially when it is essential that the results or actions be reliable. With the increasing number of applications based on artificial intelligence, the need has been created to make them capable of explaining their behavior and be responsive to their decisions. This is a challenge especially if the applications are distributed, and composed of multiple autonomous agents, forming a Multiagent System (MAS). A key way of making such systems explicable is to track the agent s behavior, that is, to record the source of their actions and reasoning, as in an omniscient debugging. Although the idea of provenance has already been explored in some contexts, it has not been extensively explored in the context of MAS, leaving many questions to be understood and addressed. Our objective in this work is to justify the importance of the data provenance to MAS, discussing which questions can be answered regarding the behavior of MAS using the provenance and illustrating, through application scenarios, to demonstrate the benefits that provenance provides to reply to these questions. This study involves the creation of a software framework, called FProvW3C, which supports the collects and stores the provenance of the data produced by the MAS, which was integrated with the platform BDI4JADE (41), forming what we call Prov-BDI4JADE. Through this platform, using examples of autonomous systems, we have rigorously demonstrated that the use of data provenance in MAS is a solid solution to make the agent’s reasoning and action process transparent.