Return to search

Generating Feedback for Multiple Choice Questions with the Help of AI / Generera Återkoppling för Flervalsfrågor med Hjälp av AI

Quality education is one of the United Nations Sustainable Development Goals. In pursuit of reaching this goal there are multiple available techniques today, where one of them is Artificial Intelligence, AI. How it can be used is not established but a potential area of use is explored in this thesis. It is investigated whether an AI, today available to the public, can be used to generate feedback for human produced multiple choice questions. It also reflects on to what extent the feedback produced is sufficient to be helpful to a student when learning. This area of study is of great importance due to feedback being a great contributor to learners' understanding. However, feedback needs to be available when a learner needs it, and it has to be specific for the learner. This is a big challenge and hard to achieve since feedback is hard to produce, and it is therefore of great importance to find a viable option. Multiple questions with feedback were provided and were sent into an AI with three different prompts, to produce new improved feedback. Ratings of the questions were also provided. The generated feedback was evaluated in two ways, it was rated according to criterias for good feedback and a survey was sent out. The survey gave outside opinions on what prompts were preferred and why. The results showed that feedback can be produced with the different prompts and that it was better and often preferred over the feedback created by humans. The feedback produced was mostly correct, but not always, making the AI not always trustworthy. The results also showed that the feedback produced was mostly considered sufficient. This shows that AI can be used to enhance learning. / Att kunna erbjuda utbildning av god kvalitet är ett av Förenta Nationernas Globala mål mot en hållbar framtid. I strävan för att uppnå detta mål har vi idag tillgång till flera nya tekniker, där en av de nyaste är artificiell intelligens, AI. Hur vi kan använda oss av AI för att uppnå målet är ännu inte fastställt, men ett alternativt användningsområde undersöks i detta arbete. Det kommer undersökas om en AI, som är tillgänglig för allmänheten idag, kan användas för att generera återkoppling till flervalsfrågor som är producerade av en människa. Arbetet reflekterar också över till vilken grad som den producerade återkopplingen är tillräckligt bra för att vara till hjälp vid en students inlärningsprocess. Det är av yttersta vikt att detta område fortsätter undersökas, då återkoppling är en bidragande faktor för studenters förståelse. Återkoppling måste finnas tillgängligt när studenterna behöver det. Detta är en utmaning eftersom bra återkoppling är svårt att producera, och det är därför av stor vikt att hitta ett hållbar alternativ. Flervalsfrågor med återkoppling tillhandahölls och skickades in till en AI med tre olika frågeformuleringar, med avsikt att producera ny förbättrad återkoppling. Värderingar av frågorna var också tillhandahållna. Den genererade återkopplingen utvärderades på två sätt, utefter kriterier för en bra återkoppling och med ett formulär. Formuläret gav utomstående åsikter om vilka återkopplingar som föredrogs och varför. Detta för att undersöka vilken inverkan frågeformuleringen hade på den genererade återkopplingen. Resultatet visade att återkoppling kan produceras med de olika frågeformuleringen och att återkopplingen var bättre och oftast föredragen framför återkopplingen skapad av människor. Återkopplingen var till mestadels korrekt, men inte alltid, vilket medför att AI:ns resultat inte alltid kan anses vara helt trovärdig. Resultatet visade också att den producerade återkopplingen vad tillräckligt bra för att kunna vara till hjälp för de svarande. En slutsats som kan dras är därför att AI kan användas för att förbättra inlärningen, även om det ännu finns förbättringspunkter.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-330997
Date January 2023
CreatorsNorrthon, Alice, Schörling, Emelie
PublisherKTH, Skolan för elektroteknik och datavetenskap (EECS)
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageSwedish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess
RelationTRITA-EECS-EX ; 2023:323

Page generated in 0.0026 seconds