This thesis explores the use of advanced language models, specifically OpenAI’s Generative Pretrained Transformer (GPT), in the context of interactive tutoring systems built within a Unity-based game environment. The central problem addressed is whether the recent advancements in large language models make them feasible and useful to function as tutors specifically in providing meaningful, engaging, and educationally rich user interactions on a dialogue based learning platform developed by Fictive Reality. There is also a comparison on the effectiveness of GPT versus the model that previously powered the learning platform built in Rasa. The importance of this problem lies in offering people learning opportunities that might not otherwise be available to them, and in seeing if recent advancements in generative AI are sufficient for developing useful interactive AI tutors of soft skills. The Fictive Reality learning platform is powered by a Rasa model that generates appropriate responses to users in the context of roleplay-based learning scenarios while keeping an internal state of the progress of the dialogue. The project entails replacing this model with GPT and a comparison of their performance and respective merits. We also explored the potential for a hybrid model, leveraging the strengths of both systems. Using Rasa for internal state tracking and answering simpler queries, and utilizing GPT to handle those queries whose intent Rasa cannot determine. The first part of this project was integrating GPT with the existing functionality of the platform, this includes changes to the platform that allow people to create and play GPT powered learning scenarios and adopting the existing features and user interface. Additionally, prompt engineering GPT to act as a tutor and to stay within the context of a learning environment. Changes had to be made to the platform so that the already existing features of Rasa scenarios could be replicated in GPT scenarios. Finally there is a systematic comparison of the user experience and performance metrics when interacting with either a GPT or a Rasa chatbot in a learning scenario. Specifically these metrics are determined from the conversational flow between bot and user, the context and continuity, finish rate, chit-chat handling and length of average session. The results suggest a distinct user preference for the GPT model due to its superior conversational capabilities, despite Rasa’s faster response times and state-tracking feature. The study suggest that GPT is sufficient for creating useful learning scenarios in restricted contexts. Therefore we suggest that large language models can be leveraged in interactive learning systems, with potential impacts on edtech, AI in education, and conversational AI. / Detta examensarbete utforskar användningen av avancerade språkmodeller, särskilt OpenAI’s Generative Pretrained Transformer (GPT), tillsammans med interaktiva handledningssystem byggda i en Unity-baserad spelmiljö. Det centrala problemet som tas upp är om det är genomförbart och användbart att använda GPT som handledare. Vidare genomfördes också en jämförelse av effektiviteten hos GPT jämfört med en mer traditionell modell, Rasa, när det gäller att tillhandahålla meningsfulla, engagerande och lärorika interaktioner. Detta problem har betydelse för att erbjuda människor lärandemöjligheter som annars kanske inte skulle vara tillgängliga för dem och för att se om de senaste framstegen inom generativ AI är tillräckliga för användbar interaktiv handledning av mjuka färdigheter, så kallade soft skills". Lärplattformen Fictive Reality drivs av en Rasa-modell som genererar lämpliga svar till användare i samband med vissa inlärningsscenarier samtidigt som man behåller ett internt tillstånd av dialogens framsteg. Projektet syftar till att ersätta denna modell med GPT och göra en jämförelse av prestandan och hos respektive modell. Vi undersökte också potentialen för en hybridmodell som utnyttjar båda systemens styrkor genom att använda Rasa för intern tillståndsspårning och svara på enklare frågor, och använda GPT för att hantera de frågor vars avsikt Rasa inte kan avgöra. Den första delen av projektet var att integrera GPT med plattformens befintliga funktionalitet, detta inkluderar förändringar av plattformen som gör det möjligt för människor att skapa och spela GPT-drivna inlärningsscenarier med det befintliga användargränssnittet och funktioner för Rasa-drivna scenarier. Förändringar var tvungna att göras på plattformen så att de redan befintliga funktionerna i Rasa-scenarier kunde replikeras i GPT-scenarier. Slutligen gjordes en systematisk jämförelse av prestandan och användarupplevelsen när man interagerar med antingen en GPT- eller en Rasa-chatbot i ett inlärningsscenario. Resultaten tyder på en distinkt användarpreferens för GPT-modellen på grund av dess överlägsna konversationsförmåga, trots Rasa:s snabbare svarstider och tillståndsspårningsfunktion. Studien tyder på att GPT är tillräckligt för att skapa användbara lärande scenarier i begränsade sammanhang. Denna studie tyder på att stora språkmodeller kan utnyttjas i interaktiva inlärningssystem, med potentiella effekter på edtech, AI inom utbildning och konversations-AI-områden.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-344384 |
| Date | January 2023 |
| Creators | Björnsson, Valdimar |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:932 |
Page generated in 0.0026 seconds