Artificial intelligence and machine learning has become an important part of society and today businesses compete in a new digital environment. However, scholars and regulators are concerned with these technologies' societal impact as their use does not come without risks, such as those stemming from transparency and accountability issues. The potential wrongdoing of these technologies has led to guidelines and future regulations on how they can be used in a trustworthy way. However, these guidelines are argued to lack practicality and they have sparked concern that they will hamper organisations' digital pursuit for innovation and competitiveness. This master’s thesis aims to contribute to this field by studying how teams can work with risk mitigation of risks associated with machine learning. The scope was set on capturing insights on the perception of employees, on what they consider to be important and challenging with machine learning risk mitigation, and then put it in relation to research to develop practical recommendations. The master’s thesis specifically focused on the financial technology sector and the use of machine learning in credit scoring. To achieve the aim, a qualitative single case study was conducted. The master’s thesis found that a combination of processes and capabilities are perceived as important in this work. Moreover, current barriers are also found in the single case. The findings indicate that strong responsiveness is important, and this is achieved in the single case by having separation of responsibilities and strong team autonomy. Moreover, standardisation is argued to be needed for higher control, but that it should be implemented in a way that allows for flexibility. Furthermore, monitoring and validation are important processes for mitigating machine learning risks. Additionally, the capability of extracting as much information from data as possible is an essential component in daily work, both in order to create value but also to mitigate risks. One barrier in this work is that the needed knowledge takes time to develop and that knowledge transferring is sometimes restricted by resource allocation. However, knowledge transfer is argued to be important for long term sustainability. Organisational culture and societal awareness are also indicated to play a role in machine learning risk mitigations. / Artificiell intelligens och maskininlärning har blivit en betydelsefull del av samhället och idag konkurrerar organisationer i en ny digital miljö. Forskare och regulatorer är däremot bekymrade gällande den samhällspåverkan som sådan teknik har eftersom användningen av dem inte kommer utan risker, såsom exempelvis risker som uppkommer från brister i transparens och ansvarighet. Det potentiella olämpliga användandet av dessa tekniker har resulterat i riktlinjer samt framtida föreskrifter på hur de kan användas på ett förtroendefullt och etiskt sätt. Däremot så anses dessa riktlinjer sakna praktisk tillämpning och de har väckt oro då de möjligen kan hindra organisationers digitala strävan efter innovation och konkurrenskraft. Denna masteruppsats syftar till att bidra till detta område genom att studera hur team kan arbeta med riskreducering av risker kopplade till maskininlärning. Uppsatsens omfång lades på att fånga insikter på medarbetares uppfattning, för att sedan ställa dessa i relation till forskning och utveckla praktiska rekommendationer. Denna masteruppsats fokuserade specifikt på finansteknologisektorn och användandet av maskininlärning inom kreditvärdering. En kvalitativ singelfallstudie genomfördes för att uppnå detta mål. Masteruppsatsen fann att en kombination av processer och förmågor uppfattas som viktiga inom detta arbete. Dessutom fann fallstudien några barriärer. Resultaten indikerar att en stark förmåga att reagera är essentiellt och att detta uppnås i fallstudien genom att ha tydlig ansvarsfördelning och att teamen har stark autonomi. Vidare så anses standardisering behövas för en högre nivå av kontroll, samtidigt som det bör vara implementerat på ett sådant sätt som möjliggör flexibilitet. Fortsättningsvis anses monitorering och validering vara viktiga processer för att mitigera maskininlärningsrisker. Dessutom är förmågan att extrahera så mycket information från data som möjligt en väsentlig komponent i det dagliga arbetet, både för värdeskapande och för att minska risker. En barriär inom detta arbetet är att det tar tid för den behövda kunskapen att utvecklas och att kunskapsöverföring ibland hindras av resursallokering. Kunskapsöverföring anses däremot vara viktigt för långsiktig hållbarhet. Organisationskultur och samhällsmedvetenhet indikeras också påverka minskningen av risker kring maskininlärning.

A strong capability of large language models is Chain-of-Thought reasoning. Prompting a model to ‘think step-by-step’ has led to great performance improvements in solving problems such as planning and question answering, and with the extended output it provides some evidence about the rationale behind an answer or decision. In search of better, more robust, and interpretable language model behavior, this work investigates self-reflection in large language models. Here, self-reflection consists of feedback from large language models to medical question-answering and whether the feedback can be used to accurately distinguish between correct and incorrect answers. GPT-3.5-Turbo and GPT-4 provide zero-shot feedback scores to Chain-of-Thought reasoning on the MedQA (medical questionanswering) dataset. The question-answering is evaluated on traits such as being structured, relevant and consistent. We test whether the feedback scores are different for questions that were either correctly or incorrectly answered by Chain-of-Thought reasoning. The potential differences in feedback scores are statistically tested with the Mann-Whitney U test. Graphical visualization and logistic regressions are performed to preliminarily determine whether the feedback scores are indicative to whether the Chain-of-Thought reasoning leads to the right answer. The results indicate that among the reasoning objectives, the feedback models assign higher feedback scores to questions that were answered correctly than those that were answered incorrectly. Graphical visualization shows potential for reviewing questions with low feedback scores, although logistic regressions that aimed to predict whether or not questions were answered correctly mostly defaulted to the majority class. Nonetheless, there seems to be a possibility for more robust output from self-reflecting language systems. / En stark förmåga hos stora språkmodeller är Chain-of-Thought-resonerande. Att prompta en modell att tänka stegvis har lett till stora prestandaförbättringar vid lösandet av problem som planering och frågebesvarande, och med den utökade outputen ger det en del bevis rörande logiken bakom ett svar eller beslut. I sökandet efter bättre, mer robust och tolk bart beteende hos språkmodeller undersöker detta arbete självreflektion i stora språkmodeller. Forskningsfrågan är: I vilken utsträckning kan feedback från stora språkmodeller, såsom GPT-3.5-Turbo och GPT-4, på ett korrekt sätt skilja mellan korrekta och inkorrekta svar i medicinska frågebesvarande uppgifter genom användningen av Chainof-Thought-resonerande? Här ger GPT-3.5-Turbo och GPT-4 zero-shot feedback-poäng till Chain-ofThought-resonerande på datasetet för MedQA (medicinskt frågebesvarande). Frågebesvarandet bör vara strukturerat, relevant och konsekvent. Feedbackpoängen jämförs mellan två grupper av frågor, baserat på om dessa besvarades korrekt eller felaktigt i första hand. Statistisk testning genomförs på skillnaden i feedback-poäng med Mann-Whitney U-testet. Grafisk visualisering och logistiska regressioner utförs för att preliminärt avgöra om feedbackpoängen är indikativa för huruvida Chainof-Thought-resonerande leder till rätt svar. Resultaten indikerar att bland resonemangsmålen tilldelar feedbackmodellerna fler positiva feedbackpoäng till frågor som besvarats korrekt än de som besvarats felaktigt. Grafisk visualisering visar potential för granskandet av frågor med låga feedbackpoäng, även om logistiska regressioner som syftade till att förutsäga om frågorna besvarades korrekt eller inte för det mesta majoritetsklassen. Icke desto mindre verkar det finnas potential för robustare från självreflekterande språksystem.

AI has quickly grown from being a vast concept to an emerging technology that many companies are looking to integrate into their businesses, generally considered an ongoing “revolution” transforming science and society altogether. Researchers and organizations agree that AI and the recent rapid developments in machine learning carry huge potential benefits. At the same time, there is an increasing worry that ethical challenges are not being addressed in the design and implementation of AI systems. As a result, AI has sparked a debate about what principles and values should guide its development and use. However, there is a lack of consensus about what values and principles should guide the development, as well as what practical tools should be used to translate such principles into practice. Although researchers, organizations and authorities have proposed tools and strategies for working with ethical AI within organizations, there is a lack of a holistic perspective, tying together the tools and strategies proposed in ethical, technical and organizational discourses. The thesis aims to contribute with knowledge to bridge this gap by addressing the following purpose: to explore and present the different tools and methods companies and organizations should have in order to build machine learning applications in a fair and transparent manner. The study is of qualitative nature and data collection was conducted through a literature review and interviews with subject matter experts. In our findings, we present a number of tools and methods to increase fairness and transparency. Our findings also show that companies should work with a combination of tools and methods, both outside and inside the development process, as well as in different stages of the machine learning development process. Tools used outside the development process, such as ethical guidelines, appointed roles, workshops and trainings, have positive effects on alignment, engagement and knowledge while providing valuable opportunities for improvement. Furthermore, the findings suggest that it is crucial to translate high-level values into low-level requirements that are measurable and can be evaluated against. We propose a number of pre-model, in-model and post-model techniques that companies can and should implement in each other to increase fairness and transparency in their machine learning systems. / AI har snabbt vuxit från att vara ett vagt koncept till en ny teknik som många företag vill eller är i färd med att implementera. Forskare och organisationer är överens om att AI och utvecklingen inom maskininlärning har enorma potentiella fördelar. Samtidigt finns det en ökande oro för att utformningen och implementeringen av AI-system inte tar de etiska riskerna i beaktning. Detta har triggat en debatt kring vilka principer och värderingar som bör vägleda AI i dess utveckling och användning. Det saknas enighet kring vilka värderingar och principer som bör vägleda AI-utvecklingen, men också kring vilka praktiska verktyg som skall användas för att implementera dessa principer i praktiken. Trots att forskare, organisationer och myndigheter har föreslagit verktyg och strategier för att arbeta med etiskt AI inom organisationer, saknas ett helhetsperspektiv som binder samman de verktyg och strategier som föreslås i etiska, tekniska och organisatoriska diskurser. Rapporten syftar till överbrygga detta gap med följande syfte: att utforska och presentera olika verktyg och metoder som företag och organisationer bör ha för att bygga maskininlärningsapplikationer på ett rättvist och transparent sätt. Studien är av kvalitativ karaktär och datainsamlingen genomfördes genom en litteraturstudie och intervjuer med ämnesexperter från forskning och näringsliv. I våra resultat presenteras ett antal verktyg och metoder för att öka rättvisa och transparens i maskininlärningssystem. Våra resultat visar också att företag bör arbeta med en kombination av verktyg och metoder, både utanför och inuti utvecklingsprocessen men också i olika stadier i utvecklingsprocessen. Verktyg utanför utvecklingsprocessen så som etiska riktlinjer, utsedda roller, workshops och utbildningar har positiva effekter på engagemang och kunskap samtidigt som de ger värdefulla möjligheter till förbättringar. Dessutom indikerar resultaten att det är kritiskt att principer på hög nivå översätts till mätbara kravspecifikationer. Vi föreslår ett antal verktyg i pre-model, in-model och post-model som företag och organisationer kan implementera för att öka rättvisa och transparens i sina maskininlärningssystem.