Automated and assisted decision-making has become prevalent across a myriad of domains, often including sensitive and critical tasks where guarantees regarding the operation of artificially intelligent systems from an ethical standpoint become essential. Different parties have made efforts to develop guidelines to establish general ethical requirements these systems should comply with. The translation from moral values to norms and then into precise system requirements is not trivial. The Glass-box framework is an approach meant to address the challenge of auditing autonomous systems' adherence to ethical values. It offers a two-stage process: an interpretation stage, where translation from ethical values into system requirements is performed; and an observation stage, where the adherence of an autonomous system to the desired values is tested using the system's inputs and outputs. The Glass-box approach allows for great flexibility in implementation, and its disregard for the inner mechanisms of the observed systems enable its application over a wide range of contexts, however its concrete practical implementation can be challenging. Prior work has addressed the formalisation of the Glass-box; covering the logical implementation of the reasoning involved in both the interpretation and observation stages. Yet, implementing the testing mechanisms required to translate input-output pairs into logical statements within the observation stage, remains an uncharted territory. This thesis presents an implementation of the Glass-box's observation stage, considering also its further extension to not only audit the system under observation, but also to intervene it when adherence to the relevant moral bounds is not achieved. By making use of Bayesian generalized linear models, propositional logic, and formal argumentation, an implementation capable of handling a relevant class of scenarios in the audit of autonomous systems is presented; showcasing the generality-granularity trade-offs, the challenges of translating input-output pairs into logical statements, and the extension of the Glass-box approach to handle intervention via human-on-theloop approaches. The implementation is validated through the case study of auditing a binary classifier's adherence to the value of fairness in the context of predicting criminal recidivism. The necessary loss of generality of the Glass-box framework to allow for its practical implementation is discussed, and directions for future work are proposed. / Automatiserat och assisterat beslutsfattande är numera vanligt förekommande inom en mängd olika områden, ofta i samband med känsliga och kritiska uppgifter där etiska garantier för hur artificiellt intelligenta system fungerar är av yttersta vikt. Olika parter har ansträngt sig för att utveckla riktlinjer, principer och lagstiftning, för att fastställa generella etiska krav som dessa system ska uppfylla. Att översätta moraliska värderingar till normer och sedan till exakta systemkrav ar inte trivialt. Ramverket Glass-box ar ett tillvägagångssätt som är avsett att bemöta den utmanande uppgiften att granska autonoma systems efterlevnad av etiska värderingar. Det erbjuder en tvåstegsprocess: tolkning, där översättning från etiska värderingar till systemkrav utförs, och observation, där ett autonomt systems efterlevnad av de önskade värdena testas med hjälp av systemets in- och utgångar. Glassbox-metoden tillåter stor flexibilitet rörande dess utförande och metodens oberoende av de observerade systemens inre mekanismer gör att den kan tillämpas i manga olika sammanhang, men att implementera den kan vara utmanande. Tidigare arbeten har behandlat formaliseringen av Glass-boxmetoden, vilket omfattar det logiska genomförandet av de resonemang som ingår i både tolknings- och observationsfaserna. Genomförandet av de testmekanismer som krävs för att översatta input-output-par till logiska påståenden i observationsfasen har dock förblivit ett outforskat område. I denna avhandling presenteras en implementation av Glass-boxens observationsstadium, som även innefattar dess ytterligare utvidgning för att utöver granskning av det observerade systemet också möjliggöra ingripande när systemet inte håller sig inom de relevanta moraliska gränserna. Genom att använda Bayesianska generaliserade linjära modeller, satslogik och formell argumentation presenteras en implementering som kan hantera en relevant klass av scenarier för granskning av autonoma system. Den exemplifierar nödvändiga avvägningar mellan generalitet och granularitet, utmaningarna med att översatta inmatnings- och utmatningspar till logiska påståenden och utvidgningen av Glass-box-metoden för att hantera ingripanden via mänskliga metoder i loopen. Implementationen valideras med hjälp av en fallstudie som granskar en binär klassificerares efterlevnad av rättvisevärden i samband med förutsägelser av återfall i brottslig verksamhet. Den nödvändiga reduktionen av generalitet i Glass-box-ramen för att möjliggöra ett praktiskt genomförande diskuteras, och riktlinjer för framtida arbete föreslås.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-319113 |
| Date | January 2022 |
| Creators | Byrd Victorica, Mauricio |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2022:250 |
Page generated in 0.0018 seconds