In this thesis, we propose an end-to-end deep learning model for a question generation task. Given a Wikipedia article written in English and a segment of text appearing in the article, the model can generate a simple question whose answer is the given text segment. The model is based on an encoder-decoder architecture. Our experiments show that a model with a fine-tuned BERT encoder and a self-attention decoder give the best performance. We also propose an evaluation metric for the question generation task, which evaluates both syntactic correctness and relevance of the generated questions. According to our analysis on sampled data, the new metric is found to give better evaluation compared to other popular metrics for sequence to sequence tasks. / I den här avhandlingen presenteras en djup neural nätverksmodell för en frågeställningsuppgift. Givet en Wikipediaartikel skriven på engelska och ett textsegment i artikeln kan modellen generera en enkel fråga vars svar är det givna textsegmentet. Modellen är baserad på en kodar-avkodararkitektur (encoderdecoder architecture). Våra experiment visar att en modell med en finjusterad BERT-kodare och en självuppmärksamhetsavkodare (self-attention decoder) ger bästa prestanda. Vi föreslår också en utvärderingsmetrik för frågeställningsuppgiften, som utvärderar både syntaktisk korrekthet och relevans för de genererade frågorna. Enligt vår analys av samplade data visar det sig att den nya metriken ger bättre utvärdering jämfört med andra populära metriker för utvärdering.

Programming education is on the rise, leading to an increase in learning resources needed for universities and online courses. Questions are crucial for promoting good learning, and providing students with ample practice opportunities. Learning a subject relies heavily on a structured progression of topics and complexity. Yet, creating numerous questions has been proven to be a time-consuming task. Recently the technology world has been introduced to Generative AI (GenAI) systems using Large Language Models (LLMs) capable of generating large amounts of text and performing other text-related tasks. How can GenAI be used to solve problems related to creating learning materials while ensuring good quality? This study aims to investigate how well GenAI can create a sense of progression in a set of programming questions based on different prompt strategies. The method involves three question-generation cases using Chat-GPT API. Then, a qualitative evaluation of questions complexity, order, and quality is conducted. The first case aims to be the most simple way of asking Chat-GPT to generate 10 MCQs about a specific topic. The second case introduces defined complexity levels and desires of logical order and progression in complexity. The final case is the more advanced prompt building upon the second case along with a skill map as inspiration to the LLM. The skill map is a structured outline that highlights key points when learning a topic. According to the results, providing more instructions along with a skill map had a better impact on the progression of questions generated compared to a simpler prompt. The first case prompt still resulted in questions with good order but lacking in increasing complexity. The results indicate that while GenAI is capable of creating questions with a good progression that could be used in a real teaching context, it still requires quality control of the content to find outliers. Further research should be done to investigate optimal prompts and what constitutes a good skill map. / Programmeringsutbildningar blir allt fler, vilket leder till en ökning av behovet för lärresurser för universtitet och onlinekurser. Frågor är avgörande för att främja bra lärande och ge eleverna övningsmöjligheter. Att lära sig ett ämne är starkt beroende av en strukturerad progression av ämnen och komplexitet. Men att skapa många frågor har visat sig vara en tidskrävande uppgift. Nyligen har teknikvärlden introducerats till Generativa AI (GenAI)-system som använder Stora språkmodeller (LLM) som kan generera stora mängder text och utföra andra textrelaterade uppgifter. Hur kan GenAI användas för att lösa problem relaterade till att skapa läromedel samtidigt som man säkerställer en god kvalitet? Denna studie syftar till att undersöka hur väl GenAI kan skapa en känsla av progression i en uppsättning programmeringsfrågor baserade på olika prompt strategier. Metoden använder tre olika sätt att generera frågor med hjälp av Chat-GPTs API. Därefter genomförs en kvalitativ utvärdering av frågornas komplexitet, ordning och kvalité. Det första sättet syftar till att vara det enklaste sättet att be Chat-GPT att generera 10 flervalsfrågor om ett specifikt ämne. Det andra fallet introducerar definierade komplexitetsnivåer och önskemål om logisk ordning och progression i komplexitet. Det sista fallet är den mer avancerade prompten som bygger på det andra fallet tillsammans med en färdighetskarta som inspiration. Färdighetskartan är en strukturerad disposition av ett ämne som lyfter fram nyckelpunkter när man lär sig ett ämne. Resultaten visade att tillhandahålla fler instruktioner tillsammans med en färdighetskarta hade en bättre inverkan på progressionen av de genererade frågorna jämfört med det första sättet. Den första prompten resulterade fortfarande i frågor med god ordning men som saknade stegrande komplexitet. Resultaten indikerar att även om GenAI kan skapa frågor med god progression som skulle kunna användas i ett verkligt undervisningssammanhang, så krävs fortfarande en kvalitetskontroll av innehållet för att hitta felaktigheter. Ytterligare forskning bör göras för att undersöka optimala prompt och hur en bra färdighetskarta bör se ut.

This report presents a method for extracting answer phrases, suitable as answers to reading comprehension questions, from Swedish text. All code used to produce the results is available on github*. The method is developed using a Swedish BERT, a pre-trained language model based on neural networks. The BERT model is fine-tuned for three different tasks; two variations of token classification for answer extraction, and one for sentence classification with the goal of identifying relevant sentences. The dataset used for fine-tuning consists of 1814 question and answer pairs posed on 598 different texts, partitioned into a training, a validation and a test set. The models are assessed individually and are furthermore combined, using a method based on roundtrip consistency, into a system for filtering extracted answer phrases. The results for each of the models, and for the system combining them are evaluated both on quantitative measures (precision, recall and Jaccard index) and qualitative measures. Within the qualitative evaluation we both look at results produced by the models and conduct structured human evaluation with the help of four external evaluators. The final answer extraction model achieves a precision of 0.02 and recall of 0.95, with an average Jaccard index of 0.55 between the extracted answer phrases and the targets. When applying the system for filtering the precision is 0.03, the recall 0.50 and the Jaccard index 0.62 on a subset of the test data. The answer extraction model achieves the same results as the baseline on precision, outperforms it on recall by a large margin, and has worse results than the baseline on Jaccard index. The method applying filtering, which is evaluated on a subset of the test set, has worse precision than the baseline but outperform it on both recall and Jaccard index. In the qualitative evaluation we detect some flaws in the grammatical correctness of the extracted answers, as over 50% of them are classified as not grammatically correct. The joint result of the two evaluators on suitability show that 32% of the grammatically correct answers are suitable as answer phrases. / I rapporten presenteras en metod för extrahering av svarsfraser lämpliga som svar till läsförståelsefrågor på svensk text. All kod använd för att producera resultaten finns tillgänglig på github*. Metoden utgår från en svensk BERT, en tränad språkmodell baserad på neurala nätverk. BERT-modellen är finjusterad (“fine-tuned“) för tre olika uppgifter; två varianter av “token classification“ för extrahering av svarsfraser samt en för “sentence classification“ med målet att identifiera relevanta meningar. Datasetet som används för finjusteringen innehåller 1814 fråge- och svarspar baserade på 598 texter, uppdelat i ett tränings-, valideringsoch testset. Resultaten utvärderas separat för varje modell, och också för ett kombinerat system av de tre modellerna. I det kombinerade systemet extraherar en modell potentiella svarsfraser medans de andra två agerar som ett filter, baserat på en variant av “roundtrip consistency“. Resultaten för varje modell och för systemet för filtrering utvärderas både kvantitativt (på “precision“, “recall“ och Jaccard index) och kvalitativt. Fyra externa utvärderare rekryterades för utvärdering av resultaten på kvalitativa grunder. Modellen med bäst resultat når en precision av 0.02 och recall av 0.95, med ett snittvärde för Jaccard index av 0.55 mellan de extraherade och korrekta svarsfraserna. Med applicering av systemet för filtrering blir resultaten för precision 0.03, recall 0.50 och Jaccard index 0.62 på en delmängd av testdatat. Den BERT-baserade modellen för extrahering av svarsfraser når samma resultat som baseline på precision, bättre resultat på recall samt sämre resultat på Jaccard index. Resultaten för metoden med filtrering, som är utvärderad på en delmängd av testdatat, har sämre resultat än baseline på precision, men bättre resultat på recall och Jaccard index. I den kvalitativa utvärderingen upptäcker vi brister i den grammatiska korrektheten av de extraherade svarsfraserna, då mer än 50% av dem klassificeras som grammatiskt felaktiga. De sammantagna resultaten av utvärderingen av svarsfrasernas lämplighet visar att 32% av de svarsfraser som är grammatiskt korrekta är lämpliga som svarsfraser.