No description available.

Syftet med denna litteraturstudie är att ta reda på vilken bedömningsform som främjar elevers utveckling i matematik samt hur reliabiliteten i ett matematikprov påverkas av flervalsfrågor. Bedömning har lika stor del i undervisningen som kunskapsförmedlingen. Läraren kan planera sin undervisning utifrån bedömningarna som görs och därmed lägga undervisningen på en väl anpassad nivå för sina elever. Bedömning kan ske formellt som exempelvis vid prov där olika frågeformuleringar påverkar reliabiliteten i proven. Detta är en forskningskonsumtion som grundas på en systematisk litteraturstudie. Metoden vi använt oss av är databassökning i databaserna ERIC och UniSearch. Resultatet visar att formativ bedömning är den mest givande bedömningsmetoden för eleverna och genom kontinuerlig återkoppling främjas elevernas lärande. Den formativa bedömningsprocessen kräver dock mycket tid och engagemang från läraren vilket gör att arbetsbördan och stressnivån ökar. Resultatet visar även att prov med flervalsfrågor har en låg reliabilitet jämfört med andra provtyper. Det går dock att vidta åtgärder som höjer reliabiliteten.

Active learning has been suggested to be more effective than traditional learning in terms of exam results and time spent on the course material, making it an attractive alternative to the traditional lectures. One way of practicing active learning is through active learnersourcing, a method of learning that also generates material that contributes to further learning. Learnersourcing can be practiced by generating multiple choice questions (MCQs) related to the course material. However, generating useful and high-quality MCQs is challenging for students, especially since the available digital systems developed for this purpose have great issues in terms of user-friendliness and their outdated visual design. Two of these systems are RiPPLE and PeerWise. When developing a platform designed for generating MCQs for learning, there are general and specific guidelines that can be followed: Nielsen’s 10 heuristics for a good user interface/user experience, and 10 principles for a good MCQ. In this thesis, a new system was developed where these guidelines were applied, as an attempt to investigate if the user experience can be improved compared to the currently available interfaces RiPPLE and PeerWise. The project was named MyCleverQuestion. A user test was conducted, in which the three systems’ interfaces for creating and submitting a question were compared and graded. The results shows that the users had the best experience when using MyCleverQuestion. 83.3% of the users said they would use MyCleverQuestion again, stressing the importance of both a good user interface and user experience. / Aktivt lärande har visat sig vara effektivare än traditionellt lärande i avseende till tentamensresultat och tid studenter spenderar på kursmaterialet, och är således ett attraktivt alternativ till de traditionella föreläsningarna. Ett sätt att utöva aktivt lärande är genom att skapa flervalsfrågor kopplade till kursmaterialet. Denna metod kallas aktiv learnersourcing och gör att man genom lärandet även bidrar med material som kan användas för vidare lärande. Det är dock svårt för studenter att skapa högkvalitativa och användbara flervalsfrågor med hjälp av de digitala system som utvecklats för detta syfte, då deras användarvänlighet är bristande och visuella utformning är föråldrade. RiPPLE och PeerWise är två system utvecklade för att skapa flervalsfrågor i utbildningssyfte, och har båda användarvänlighetsproblem. Det finns särskilda riktlinjer som kan följas för att utveckla ett system där studenter kan generera flervalsfrågor för att utöva aktivt lärande. I denna uppsats har både generella och specifika riktlinjer använts: 10 generella heuristiska principer för att skapa en bra användarupplevelse och användargränssnitt, samt 10 principer för att skapa en bra flervalsfrågas, för att slutligen undersöka om användarupplevelsen kan förbättras jämfört med RiPPLE och PeerWise. Namnet som valdes för projektet var MyCleverQuestion. En användarundersökning genomfördes, där gränssnittet för att skapa en fråga för varje system utvärderades. Resultatet visar att gränssnittet med bäst användarupplevelse är MyCleverQuestion. 83,3% av användarna angav att de skulle använda MyCleverQuestion igen, vilket bevisar vikten av ett bra gränssnitt.

A common evaluation method for students in the context of reading comprehension is the use of Multiple Choice Questions. A student must read a text and a question, and then choose the correct answer from a set of options, one of which one is the correct answer, and the other options are wrong. The wrong options are called distractors. Creating Multiple Choice Question exams is time-consuming, and a task that is open for automation. Distractor Generation is the task of generating wrong, but plausible options for Multiple Choice Questions. It is a task that can be addressed with Machine Learning and Large Language Models. As this task has been addressed in languages such as English, and Swedish, this work addresses the task for the Spanish language. This work achieves 3 objectives. The first one is the creation of a Multiple Choice Question dataset in Spanish with distractors, by manually tagging distractors from the dataset SQuAD-es. The newly created dataset with distractors is called SQuAD-es-dist. The second one is automatically generating distractors with machine learning methods. A BERT model is fine-tuned to generate distractors, and a GPT model is used through zero-shot learning to generate distractors. The third one is a human study on the generated distractors to evaluate the plausibility and usability of the distractors. Although both methods show to be effective, yet not perfect, at generating distractors, the GPT model shows better applicability and a higher capacity to confuse students in the task of Distractor Generation. / En vanlig utvärderingsmetod för studenter i samband med läsförståelse är användningen av flervalsfrågor. En elev måste läsa en text och en fråga, och sedan välja rätt svar från en uppsättning alternativ, varav ett är rätt svar och de andra alternativen är fel. De felaktiga alternativen kallas distraktorer. Att skapa prov med flervalsfrågor är tidskrävande och en uppgift som är öppen för automatisering. Distraktorgenerering är uppgiften att generera felaktiga, men rimliga alternativ för flervalsfrågor. Det är en uppgift som kan lösas med maskininlärning och stora språkmodeller. Eftersom denna uppgift har behandlats på språk som engelska och svenska, behandlar detta arbete uppgiften för det spanska språket. Detta arbete uppnår 3 mål. Den första är skapandet av ett dataset med flervalsfrågor på spanska med distraktorer, genom manuell taggning av distraktorer från datasetet SQuAD-es. Det nyskapade datasetet med distraktorer kallas SQuAD-es-dist. Den andra metoden är att automatiskt generera distraktorer med maskininlärningsmetoder. En BERT-modell finjusteras för att generera distraktorer, och en GPT-modell används genom zero-shot-inlärning för att generera distraktorer. Den tredje metoden är en mänsklig studie av de genererade distraktorerna för att utvärdera hur rimliga och användbara distraktorerna är. Även om båda metoderna visar sig vara effektiva, men inte perfekta, för att generera distraktorer, visar GPT-modellen bättre tillämpbarhet och en högre kapacitet att förvirra studenter i uppgiften att generera distraktorer / Para evaluar a alumnos en el contexto de comprensión de lectura se usan las preguntas de opción múltiple. El alumno debe leer un texto y una pregunta y, a continuación, elegir la respuesta correcta entre un conjunto de opciones, una de las cuales es la respuesta correcta y las demás opciones son incorrectas. Las opciones incorrectas se denominan distractores. La creación de exámenes con preguntas de opción múltiple requiere mucho tiempo, y es una tarea susceptible a la automatización. La Generación de Distractores es la tarea de generar opciones erróneas, pero plausibles, para Preguntas de Elección Múltiple. Es una tarea que puede abordarse con Aprendizaje Automático y Grandes Modelos de Lenguaje. Dado que esta tarea ha sido explorada en idiomas como el inglés, y el sueco, este trabajo aplica la tarea para el idioma español. Este trabajo alcanza 3 objetivos. El primero es la creación de un conjunto de datos de preguntas de respuesta múltiple en español con distractores, etiquetando manualmente los distractores del conjunto de datos SQuAD-es. El nuevo conjunto de datos con distractores se denomina SQuAD-es-dist. La segunda consiste en generar distractores automáticamente con métodos de aprendizaje automático. Se entrena y ajusta un modelo BERT para generar distractores y se utiliza un modelo GPT mediante ”zeroshot learning” para generar distractores. El tercero es un estudio humano sobre los distractores generados para evaluar la aplicabilidad y usabilidad de los distractores. Aunque ambos métodos muestran ser eficaces, pero no perfectos, en la generación de distractores, el modelo GPT muestra una mejor aplicabilidad y una mayor capacidad para confundir a los estudiantes en la tarea de Generación de Distractores.

Artificial Intelligence (AI) is a useful tool in education, with the potential to enhance teaching through the use of digital learning environments (DLEs) such as intelligent tutoring systems (ITSs). This thesis investigates the development and evaluation of an AI-assisted web-based platform for pure question-based learning (pQBL) in upper secondary school mathematics. The study aims to assess the prototype's effects compared to traditional classroom instruction and the quality of AI-generated multiple-choice questions (MCQs) using OpenAI’s GPT-4. To do this, the following research questions were formulated: (1) How can an AI-assisted platform for pQBL be designed and implemented? (2) To what extent do GPT-4 generated MCQs meet quality criteria? (3) How do learning outcomes compare between students using AI-assisted pQBL materials and those receiving traditional instruction? The study utilized principles of Question Construction and Prompt Engineering, ensuring AI-generated MCQs adhered to predefined quality standards. Human evaluation by a Teacher Quality Control panel refined and validated the generated MCQs. The effectiveness of the developed prototype was tested using a pretest/posttest design where score changes were analyzed using paired-samples t-tests. The findings indicate that generating high-quality MCQs remains a challenge. Human evaluation is essential to ensure educational efficacy, as only a fraction of the AI-generated MCQs met quality standards. User testing revealed comparable learning outcomes between the pQBL and control groups, with statistically significant results, though limitations in the pretest/posttest design may have influenced these findings. This research highlights the potential and limitations of AI in education, suggesting the need for further studies on AI-assisted tools, including exploring other language models and conducting longitudinal assessments to optimize learning outcomes. / AI utgör en viktig resurs inom utbildning och har potential att förbättra undervisningen genom digitala lärmiljöer (DLE), såsom intelligenta handledningssystem (ITS). Detta examensarbete undersöker utvecklingen och utvärderingen av en AI-stödd webbaserad plattform för rent frågebaserat lärande (pQBL) i matematik på gymnasiet. Studien syftar till att bedöma plattformens effektivitet jämfört med traditionell klassrumsundervisning och att utvärdera kvaliteten på flervalsfrågor som genereras av OpenAI:s GPT-4. För att uppnå detta formulerades följande forskningsfrågor: (1) Hur kan en AI-stödd plattform för pQBL designas och implementeras? (2) I vilken utsträckning uppfyller GPT-4- genererade flervalsfrågor fördefinierade kvalitetskriterier? (3) Hur skiljer sig inlärningsresultaten mellan elever som använder AI-stött pQBL-material och de som får traditionell klassrumsundervisning? Studien tillämpade principer för fråge- och promptkonstruktion för att säkerställa att de AI-genererade flervalsfrågorna följde fördefinierade kvalitetsstandarder. En panel av lärare genomförde mänsklig utvärdering för att förbättra och validera de genererade flervalsfrågorna. Effekten av den utvecklade prototypen testades genom en förtest/eftertest-design där poängförändringen analyserades genom parvisa t-tester. Resultaten indikerar att det finns utmaningar i att generera högkvalitativa flervalsfrågor. Mänsklig utvärdering är nödvändig för att säkerställa kvaliteten hos de AI-genererade flervalsfrågornas eftersom endast en mindre del av dem uppfyllde kvalitetskraven. Användartester visade jämförbara inlärningsresultat mellan pQBL-gruppen och kontrollgruppen med statistiskt signifikanta resultat även om begränsningar i förtest/eftertest-designen kan ha påverkat dessa resultat. Denna forskning belyser AI:s potential och begränsningar inom utbildning och föreslår behovet av ytterligare studier kring AI-drivna verktyg, inklusive undersökning av andra språkmodeller och genomförande av longitudinella studier för att optimera inlärningsresultaten.