Return to search

Automation Bias in Public Sector Decision Making: a Systematic Review

The increased use of automated systems in the public sector has led to two types of processes, fully automated decision making and humans making decisions assisted by automated decision support systems (ADSS). While having a human in the loop is often motivated by having them act as a “safeguard” for imperfect automated systems, humans themselves are not perfect decision makers. Automation bias, a tendency to agree with the recommendations of automated systems even when they are wrong, is one problem facing humans using ADSS. Mainly found in monitoring tasks such as autopilots, it has also been studied in clinical decision support systems. The aim of this systematic review is to investigate whether automation bias poses a risk for ADSS in the public sector, and to identify possible moderators. Thirteen studies were included. By doing a narrative synthesis of the included studies I found mixed results for the existence of automation bias. While there is a lack of strong evidence for automation bias, even low levels could result in consequences for the public sector as these are decisions that impact citizens' everyday life. A number of moderators are identified and suggestions for system designers are made. / En ökning av automatiserade system inom offentlig sektor har lett till två typer av processer, helt automatiserade beslut och människor som tar beslut stödda av automatiserade beslutsstöd. Att ha en människa i processen är ofta motiverat av att använda dem som ett skydd mot bristfälliga automatiserade system, men människor är i sig själva inte perfekta beslutstagare. Automation bias, en tendens att följa rekommendationer från automatiserade system även när de är inkorrekta, är ett problem för människor som använder automatiserade system. Det har främst studerats i autopiloter, men också i kliniska beslutsstöd. Syftet med denna systematiska litteraturöversikt var att undersöka om automation bias är en risk för automatiserade beslutsstöd i offentlig sektor, och att identifiera möjliga moderatorer. Tretton studier inkluderades. Genom att genomföra en narrativ syntes fann jag blandade slutsatser gällande automation bias. Samtidigt som det finns begränsade starka bevis för automation bias, kan även de nivåerna resultera i konsekvenser för offentlig sektor då de tar beslut som påverkar befolkningens vardag. Ett antal moderatorer identifierades och förslag till systemdesigners presenteras.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:umu-226153
Date January 2024
CreatorsDanelid, Fanny
PublisherUmeå universitet, Institutionen för psykologi
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageEnglish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess

Page generated in 0.1424 seconds