Programming education is on the rise, leading to an increase in learning resources needed for universities and online courses. Questions are crucial for promoting good learning, and providing students with ample practice opportunities. Learning a subject relies heavily on a structured progression of topics and complexity. Yet, creating numerous questions has been proven to be a time-consuming task. Recently the technology world has been introduced to Generative AI (GenAI) systems using Large Language Models (LLMs) capable of generating large amounts of text and performing other text-related tasks. How can GenAI be used to solve problems related to creating learning materials while ensuring good quality? This study aims to investigate how well GenAI can create a sense of progression in a set of programming questions based on different prompt strategies. The method involves three question-generation cases using Chat-GPT API. Then, a qualitative evaluation of questions complexity, order, and quality is conducted. The first case aims to be the most simple way of asking Chat-GPT to generate 10 MCQs about a specific topic. The second case introduces defined complexity levels and desires of logical order and progression in complexity. The final case is the more advanced prompt building upon the second case along with a skill map as inspiration to the LLM. The skill map is a structured outline that highlights key points when learning a topic. According to the results, providing more instructions along with a skill map had a better impact on the progression of questions generated compared to a simpler prompt. The first case prompt still resulted in questions with good order but lacking in increasing complexity. The results indicate that while GenAI is capable of creating questions with a good progression that could be used in a real teaching context, it still requires quality control of the content to find outliers. Further research should be done to investigate optimal prompts and what constitutes a good skill map. / Programmeringsutbildningar blir allt fler, vilket leder till en ökning av behovet för lärresurser för universtitet och onlinekurser. Frågor är avgörande för att främja bra lärande och ge eleverna övningsmöjligheter. Att lära sig ett ämne är starkt beroende av en strukturerad progression av ämnen och komplexitet. Men att skapa många frågor har visat sig vara en tidskrävande uppgift. Nyligen har teknikvärlden introducerats till Generativa AI (GenAI)-system som använder Stora språkmodeller (LLM) som kan generera stora mängder text och utföra andra textrelaterade uppgifter. Hur kan GenAI användas för att lösa problem relaterade till att skapa läromedel samtidigt som man säkerställer en god kvalitet? Denna studie syftar till att undersöka hur väl GenAI kan skapa en känsla av progression i en uppsättning programmeringsfrågor baserade på olika prompt strategier. Metoden använder tre olika sätt att generera frågor med hjälp av Chat-GPTs API. Därefter genomförs en kvalitativ utvärdering av frågornas komplexitet, ordning och kvalité. Det första sättet syftar till att vara det enklaste sättet att be Chat-GPT att generera 10 flervalsfrågor om ett specifikt ämne. Det andra fallet introducerar definierade komplexitetsnivåer och önskemål om logisk ordning och progression i komplexitet. Det sista fallet är den mer avancerade prompten som bygger på det andra fallet tillsammans med en färdighetskarta som inspiration. Färdighetskartan är en strukturerad disposition av ett ämne som lyfter fram nyckelpunkter när man lär sig ett ämne. Resultaten visade att tillhandahålla fler instruktioner tillsammans med en färdighetskarta hade en bättre inverkan på progressionen av de genererade frågorna jämfört med det första sättet. Den första prompten resulterade fortfarande i frågor med god ordning men som saknade stegrande komplexitet. Resultaten indikerar att även om GenAI kan skapa frågor med god progression som skulle kunna användas i ett verkligt undervisningssammanhang, så krävs fortfarande en kvalitetskontroll av innehållet för att hitta felaktigheter. Ytterligare forskning bör göras för att undersöka optimala prompt och hur en bra färdighetskarta bör se ut.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-346350 |
| Date | January 2024 |
| Creators | Jönsson, August |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2024:54 |
Page generated in 0.0027 seconds