Artificial Intelligence (AI) is a useful tool in education, with the potential to enhance teaching through the use of digital learning environments (DLEs) such as intelligent tutoring systems (ITSs). This thesis investigates the development and evaluation of an AI-assisted web-based platform for pure question-based learning (pQBL) in upper secondary school mathematics. The study aims to assess the prototype's effects compared to traditional classroom instruction and the quality of AI-generated multiple-choice questions (MCQs) using OpenAI’s GPT-4. To do this, the following research questions were formulated: (1) How can an AI-assisted platform for pQBL be designed and implemented? (2) To what extent do GPT-4 generated MCQs meet quality criteria? (3) How do learning outcomes compare between students using AI-assisted pQBL materials and those receiving traditional instruction? The study utilized principles of Question Construction and Prompt Engineering, ensuring AI-generated MCQs adhered to predefined quality standards. Human evaluation by a Teacher Quality Control panel refined and validated the generated MCQs. The effectiveness of the developed prototype was tested using a pretest/posttest design where score changes were analyzed using paired-samples t-tests. The findings indicate that generating high-quality MCQs remains a challenge. Human evaluation is essential to ensure educational efficacy, as only a fraction of the AI-generated MCQs met quality standards. User testing revealed comparable learning outcomes between the pQBL and control groups, with statistically significant results, though limitations in the pretest/posttest design may have influenced these findings. This research highlights the potential and limitations of AI in education, suggesting the need for further studies on AI-assisted tools, including exploring other language models and conducting longitudinal assessments to optimize learning outcomes. / AI utgör en viktig resurs inom utbildning och har potential att förbättra undervisningen genom digitala lärmiljöer (DLE), såsom intelligenta handledningssystem (ITS). Detta examensarbete undersöker utvecklingen och utvärderingen av en AI-stödd webbaserad plattform för rent frågebaserat lärande (pQBL) i matematik på gymnasiet. Studien syftar till att bedöma plattformens effektivitet jämfört med traditionell klassrumsundervisning och att utvärdera kvaliteten på flervalsfrågor som genereras av OpenAI:s GPT-4. För att uppnå detta formulerades följande forskningsfrågor: (1) Hur kan en AI-stödd plattform för pQBL designas och implementeras? (2) I vilken utsträckning uppfyller GPT-4- genererade flervalsfrågor fördefinierade kvalitetskriterier? (3) Hur skiljer sig inlärningsresultaten mellan elever som använder AI-stött pQBL-material och de som får traditionell klassrumsundervisning? Studien tillämpade principer för fråge- och promptkonstruktion för att säkerställa att de AI-genererade flervalsfrågorna följde fördefinierade kvalitetsstandarder. En panel av lärare genomförde mänsklig utvärdering för att förbättra och validera de genererade flervalsfrågorna. Effekten av den utvecklade prototypen testades genom en förtest/eftertest-design där poängförändringen analyserades genom parvisa t-tester. Resultaten indikerar att det finns utmaningar i att generera högkvalitativa flervalsfrågor. Mänsklig utvärdering är nödvändig för att säkerställa kvaliteten hos de AI-genererade flervalsfrågornas eftersom endast en mindre del av dem uppfyllde kvalitetskraven. Användartester visade jämförbara inlärningsresultat mellan pQBL-gruppen och kontrollgruppen med statistiskt signifikanta resultat även om begränsningar i förtest/eftertest-designen kan ha påverkat dessa resultat. Denna forskning belyser AI:s potential och begränsningar inom utbildning och föreslår behovet av ytterligare studier kring AI-drivna verktyg, inklusive undersökning av andra språkmodeller och genomförande av longitudinella studier för att optimera inlärningsresultaten.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-348671 |
| Date | January 2024 |
| Creators | Lindbäck, Simon |
| Publisher | KTH, Lärande |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-ITM-EX ; 2024:266 |
Page generated in 0.0027 seconds