This thesis explores the use of advanced language models, specifically OpenAI’s Generative Pretrained Transformer (GPT), in the context of interactive tutoring systems built within a Unity-based game environment. The central problem addressed is whether the recent advancements in large language models make them feasible and useful to function as tutors specifically in providing meaningful, engaging, and educationally rich user interactions on a dialogue based learning platform developed by Fictive Reality. There is also a comparison on the effectiveness of GPT versus the model that previously powered the learning platform built in Rasa. The importance of this problem lies in offering people learning opportunities that might not otherwise be available to them, and in seeing if recent advancements in generative AI are sufficient for developing useful interactive AI tutors of soft skills. The Fictive Reality learning platform is powered by a Rasa model that generates appropriate responses to users in the context of roleplay-based learning scenarios while keeping an internal state of the progress of the dialogue. The project entails replacing this model with GPT and a comparison of their performance and respective merits. We also explored the potential for a hybrid model, leveraging the strengths of both systems. Using Rasa for internal state tracking and answering simpler queries, and utilizing GPT to handle those queries whose intent Rasa cannot determine. The first part of this project was integrating GPT with the existing functionality of the platform, this includes changes to the platform that allow people to create and play GPT powered learning scenarios and adopting the existing features and user interface. Additionally, prompt engineering GPT to act as a tutor and to stay within the context of a learning environment. Changes had to be made to the platform so that the already existing features of Rasa scenarios could be replicated in GPT scenarios. Finally there is a systematic comparison of the user experience and performance metrics when interacting with either a GPT or a Rasa chatbot in a learning scenario. Specifically these metrics are determined from the conversational flow between bot and user, the context and continuity, finish rate, chit-chat handling and length of average session. The results suggest a distinct user preference for the GPT model due to its superior conversational capabilities, despite Rasa’s faster response times and state-tracking feature. The study suggest that GPT is sufficient for creating useful learning scenarios in restricted contexts. Therefore we suggest that large language models can be leveraged in interactive learning systems, with potential impacts on edtech, AI in education, and conversational AI. / Detta examensarbete utforskar användningen av avancerade språkmodeller, särskilt OpenAI’s Generative Pretrained Transformer (GPT), tillsammans med interaktiva handledningssystem byggda i en Unity-baserad spelmiljö. Det centrala problemet som tas upp är om det är genomförbart och användbart att använda GPT som handledare. Vidare genomfördes också en jämförelse av effektiviteten hos GPT jämfört med en mer traditionell modell, Rasa, när det gäller att tillhandahålla meningsfulla, engagerande och lärorika interaktioner. Detta problem har betydelse för att erbjuda människor lärandemöjligheter som annars kanske inte skulle vara tillgängliga för dem och för att se om de senaste framstegen inom generativ AI är tillräckliga för användbar interaktiv handledning av mjuka färdigheter, så kallade soft skills". Lärplattformen Fictive Reality drivs av en Rasa-modell som genererar lämpliga svar till användare i samband med vissa inlärningsscenarier samtidigt som man behåller ett internt tillstånd av dialogens framsteg. Projektet syftar till att ersätta denna modell med GPT och göra en jämförelse av prestandan och hos respektive modell. Vi undersökte också potentialen för en hybridmodell som utnyttjar båda systemens styrkor genom att använda Rasa för intern tillståndsspårning och svara på enklare frågor, och använda GPT för att hantera de frågor vars avsikt Rasa inte kan avgöra. Den första delen av projektet var att integrera GPT med plattformens befintliga funktionalitet, detta inkluderar förändringar av plattformen som gör det möjligt för människor att skapa och spela GPT-drivna inlärningsscenarier med det befintliga användargränssnittet och funktioner för Rasa-drivna scenarier. Förändringar var tvungna att göras på plattformen så att de redan befintliga funktionerna i Rasa-scenarier kunde replikeras i GPT-scenarier. Slutligen gjordes en systematisk jämförelse av prestandan och användarupplevelsen när man interagerar med antingen en GPT- eller en Rasa-chatbot i ett inlärningsscenario. Resultaten tyder på en distinkt användarpreferens för GPT-modellen på grund av dess överlägsna konversationsförmåga, trots Rasa:s snabbare svarstider och tillståndsspårningsfunktion. Studien tyder på att GPT är tillräckligt för att skapa användbara lärande scenarier i begränsade sammanhang. Denna studie tyder på att stora språkmodeller kan utnyttjas i interaktiva inlärningssystem, med potentiella effekter på edtech, AI inom utbildning och konversations-AI-områden.

Artificial Intelligence (AI) is a useful tool in education, with the potential to enhance teaching through the use of digital learning environments (DLEs) such as intelligent tutoring systems (ITSs). This thesis investigates the development and evaluation of an AI-assisted web-based platform for pure question-based learning (pQBL) in upper secondary school mathematics. The study aims to assess the prototype's effects compared to traditional classroom instruction and the quality of AI-generated multiple-choice questions (MCQs) using OpenAI’s GPT-4. To do this, the following research questions were formulated: (1) How can an AI-assisted platform for pQBL be designed and implemented? (2) To what extent do GPT-4 generated MCQs meet quality criteria? (3) How do learning outcomes compare between students using AI-assisted pQBL materials and those receiving traditional instruction? The study utilized principles of Question Construction and Prompt Engineering, ensuring AI-generated MCQs adhered to predefined quality standards. Human evaluation by a Teacher Quality Control panel refined and validated the generated MCQs. The effectiveness of the developed prototype was tested using a pretest/posttest design where score changes were analyzed using paired-samples t-tests. The findings indicate that generating high-quality MCQs remains a challenge. Human evaluation is essential to ensure educational efficacy, as only a fraction of the AI-generated MCQs met quality standards. User testing revealed comparable learning outcomes between the pQBL and control groups, with statistically significant results, though limitations in the pretest/posttest design may have influenced these findings. This research highlights the potential and limitations of AI in education, suggesting the need for further studies on AI-assisted tools, including exploring other language models and conducting longitudinal assessments to optimize learning outcomes. / AI utgör en viktig resurs inom utbildning och har potential att förbättra undervisningen genom digitala lärmiljöer (DLE), såsom intelligenta handledningssystem (ITS). Detta examensarbete undersöker utvecklingen och utvärderingen av en AI-stödd webbaserad plattform för rent frågebaserat lärande (pQBL) i matematik på gymnasiet. Studien syftar till att bedöma plattformens effektivitet jämfört med traditionell klassrumsundervisning och att utvärdera kvaliteten på flervalsfrågor som genereras av OpenAI:s GPT-4. För att uppnå detta formulerades följande forskningsfrågor: (1) Hur kan en AI-stödd plattform för pQBL designas och implementeras? (2) I vilken utsträckning uppfyller GPT-4- genererade flervalsfrågor fördefinierade kvalitetskriterier? (3) Hur skiljer sig inlärningsresultaten mellan elever som använder AI-stött pQBL-material och de som får traditionell klassrumsundervisning? Studien tillämpade principer för fråge- och promptkonstruktion för att säkerställa att de AI-genererade flervalsfrågorna följde fördefinierade kvalitetsstandarder. En panel av lärare genomförde mänsklig utvärdering för att förbättra och validera de genererade flervalsfrågorna. Effekten av den utvecklade prototypen testades genom en förtest/eftertest-design där poängförändringen analyserades genom parvisa t-tester. Resultaten indikerar att det finns utmaningar i att generera högkvalitativa flervalsfrågor. Mänsklig utvärdering är nödvändig för att säkerställa kvaliteten hos de AI-genererade flervalsfrågornas eftersom endast en mindre del av dem uppfyllde kvalitetskraven. Användartester visade jämförbara inlärningsresultat mellan pQBL-gruppen och kontrollgruppen med statistiskt signifikanta resultat även om begränsningar i förtest/eftertest-designen kan ha påverkat dessa resultat. Denna forskning belyser AI:s potential och begränsningar inom utbildning och föreslår behovet av ytterligare studier kring AI-drivna verktyg, inklusive undersökning av andra språkmodeller och genomförande av longitudinella studier för att optimera inlärningsresultaten.