In this study we explore the possibility of using ChatGPT, to summarise large contents of educational content and put it in a template that later can be used for dialogue purposes and will explore the challenges and solutions that occur during the implementation. Today there is a problem for users to create wellmade prompts for learning scenarios that fulfill all the requirements set by the user. This problem is significant as it addresses the challenges of information overload and how generating prompts for dialogue purposes can be trivialized for users. We solved this problem by doing an implementation for the company Fictive Reality in their application, conducting research, and performing tests. The implementation was made with the help of OpenAI’s application programming interface, ChatGPT-4 which is a model that is popular due to its wide range of domain knowledge, and we connected it to a web page where users could upload text or audio files. The method to find a suitable prompt to summarise text was primarily through experimentation supported by previous research. We used automatic metrics for evaluation like ROUGE, BERTScore, and ChatGPT(Self-Evaluation), we also had users give feedback on the implementation and quality of the result. This study shows that ChatGPT effectively summarizes extensive educational content and transforms it into dialogue templates for ChatGPT to use. The research demonstrates streamlined and improved prompt creation, addressing the challenges of information overload. The efficiency and quality were either equal to or surpassed user-generated prompts while preserving almost relevant information, and reduced the time-consumption of this task by a substantial margin. The biggest struggle we had was getting ChatGPT to grasp our instructions. However, with research and with an iterative approach the process became much smoother. ChatGPT exhibits robust potential for enhancing educational prompt generation. Future work could be dedicated to improving the prompt further, by making it more flexible. / I denna studie utforskar vi möjligheten att använda ChatGPT för att sammanfatta stora mängder utbildningsinnehåll och placera det i en mall som senare kan användas för dialogändamål. Vi kommer att undersöka de utmaningar och lösningar som uppstår under implementeringen. Idag finns det ett problem för användare att skapa välgjorda uppmaningar för lärandescenarier som uppfyller alla krav som användaren ställer. Detta problem är betydande då det tar upp utmaningarna med informationsöverbelastning och hur generering av uppmaningar för dialogändamål kan förenklas för användare. Vi löste detta problem genom att göra en implementation hos Fictive Reality där vi gjorde forskning, tester och programvara. Implementeringen gjordes med hjälp av OpenAI:s applikationsprogrammeringsgränssnitt, ChatGPT-4, som är en modell som är populär på grund av dess breda kunskap inom olika områden. Vi anslöt den till en webbsida där användare kunde ladda upp text- eller ljudfiler. Metoden för att hitta en lämpliga instruktioner för att sammanfatta texter var främst genom experimentering med stöd av tidigare forskning i området. Vi använde automatiska utvärderings verktyg, såsom ROUGE, BERTScore och ChatGPT (självutvärdering). Vi hade också användare som gav feedback om implementeringen och resultatets kvalitet. Denna studie visar att ChatGPT effektivt sammanfattar omfattande utbildningsinnehåll och omvandlar det till dialogmallar redo för ett lärnings scenario med ChatGPT. Forskningen visade bra resultat vid skapandet av instruktioner, vilket tacklar utmaningarna med informationsöverbelastning. Effektiviteten och kvaliteten var antingen likvärdig eller bättre än användarskapade instruktioner samtidigt som nästan all relevant information bevarades, och tidsåtgången för denna uppgift minskades avsevärt. Den största utmaningen vi stod inför var att få ChatGPT att förstå våra instruktioner. Dock blev processen mycket smidigare med forskning och en iterativ metodik. ChatGPT visar på stark potential för att förbättra genereringen av utbildningssammanfattningar. Framtida arbete kan fokusera på att ytterligare förbättra instruktionerna genom att göra den mer flexibel.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-340020 |
| Date | January 2023 |
| Creators | Wickman, Simon, Zandin, Philip |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:737 |
Page generated in 0.002 seconds