Fairness, accountability and transparency (FAccT) in machine learning is an interdisciplinary area that concerns the design, development, deployment and maintenance of ethical AI and ML. Examples of research challenges in the field are detecting biased models, accountability issues that arise with systems that make decisions without human intervention or oversight, and the blackbox issues where decisions made by an AI system are untraceable. Whereas previous research within the FAccT domain typically only uses one perspective to investigate and research ethical AI, this paper takes the opposite approach of considering all three perspectives and uses them together to conduct a holistic case study. The aim of this paper is to provide tangible insights into how organizations can work with ethical AI and ML. The empirical evidence is gathered from the advanced data analytics (ADA) team at the Swedish Tax Agency in the form of interviews and quantitative data from a model developed by the team. Most notably, the quantitative and qualitative results show that: the data set used to train the model is biased, and there are risks with the current modus operandi due to (1) disagreeing views on accountability and (2) differences in literacy and understanding of ML and AI. Furthermore, this paper also features examples of how newly proposed frameworks such as SMACTR (a large scale AI systems audit framework), data sheets and model cards can be used by ADA in the development process to address these issues, and the potential benefits and caveats of the frameworks themselves. We also showcase how theoretical models such as Larssons 7 nuances of transparency and Bovens accountability framework can be applied in a practical setting and provide supporting evidence that shows their respective applicability. Finally, the implications of taking a collective approach to FAccT, the importance of ethics and transparency, and comparisons of different used frameworks are discussed. / Rättvisa, ansvarsskyldighet och transparens (eng. Fairness, accountability and transparency (FAccT) inom maskininlärning (ML) är ett tvärvetenskapligt område som berör designen, utvecklingen, implementeringen och underhållet av etisk AI och ML. Exempel på områdets forskningsutmaningar är att upptäcka partiska modeller, ansvarighetsfrågors som uppstår med system som fattar beslut utan mänskligt ingripande eller översikt, och black-box frågor där beslut som fattas av ett AI-system inte kan spåras. Medan tidigare forskning inom FAccT-domänen oftast använder ett av de tre tidigare nämnda perspektiven för att undersöka och utforska etisk AI tar denna artikel en motsatt strategi genom att beakta alla tre perspektiv för att tillsammans kunna genomföra en heltäckande fallstudie. Syftet med denna uppsats är ge konkreta insikter för hur organisationer kan arbeta med etisk AI och ML. De empiriska bevisen samlas in med hjälp av det avancerade dataanalysteamet (ADA) på Skatteverket via intervjuer. Kvantitativ data samlas även in från en modell som har utvecklats och används av ADA. De kvalitativa och kvantitativa resultaten visar att: datasetet som används för att träna modellen är partisk och det finns risker med den nuvarande modus operandi på grund av (1) oeniga åsikter om ansvarsskyldighet och (2) skillnader i läskunnighet och förståelse för AI och ML. Vidare så innehåller denna uppsats också exempel på hur nyligen utvecklade ramverk såsom SMACTR, datasheets och model cards kan användas av ADA i utvecklingsprocessen för att motverka dessa problem, samt de potentiella fördelarna och varningarna som ramverken har och ger. Vi visar även hur teoretiska modeller såsom Larssons 7 nyanser av transparens och Bovens ramverk för ansvarsskyldighet kan tillämpas i en praktisk miljö och ger underlag för deras respektive användbarhet. Slutligen diskuteras konsekvenserna av att ta en kollektiv inställning till FAccT, vikten av etik och transparens och en jämförelse av olika ramverk görs.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-276408 |
| Date | January 2020 |
| Creators | Jansson, Daniel, Strallhofer, Daniel |
| Publisher | KTH, Skolan för industriell teknik och management (ITM) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-ITM-EX ; 2020:346 |
Page generated in 0.0035 seconds