Global ETD Search

91	Automatic Distractor Generation for Spanish Reading Comprehension Questions : Using language models to generate wrong, but plausible answers for multiple choice questions in Spanish / Automatisk Generering av Distraktorer för Spanska Läsförståelsefrågor : Användning av språkmodeller för att generera felaktiga men trovärdiga svar på flervalsfrågor på spanska Santiago Roman Avila, Jorge January 2023 (has links) A common evaluation method for students in the context of reading comprehension is the use of Multiple Choice Questions. A student must read a text and a question, and then choose the correct answer from a set of options, one of which one is the correct answer, and the other options are wrong. The wrong options are called distractors. Creating Multiple Choice Question exams is time-consuming, and a task that is open for automation. Distractor Generation is the task of generating wrong, but plausible options for Multiple Choice Questions. It is a task that can be addressed with Machine Learning and Large Language Models. As this task has been addressed in languages such as English, and Swedish, this work addresses the task for the Spanish language. This work achieves 3 objectives. The first one is the creation of a Multiple Choice Question dataset in Spanish with distractors, by manually tagging distractors from the dataset SQuAD-es. The newly created dataset with distractors is called SQuAD-es-dist. The second one is automatically generating distractors with machine learning methods. A BERT model is fine-tuned to generate distractors, and a GPT model is used through zero-shot learning to generate distractors. The third one is a human study on the generated distractors to evaluate the plausibility and usability of the distractors. Although both methods show to be effective, yet not perfect, at generating distractors, the GPT model shows better applicability and a higher capacity to confuse students in the task of Distractor Generation. / En vanlig utvärderingsmetod för studenter i samband med läsförståelse är användningen av flervalsfrågor. En elev måste läsa en text och en fråga, och sedan välja rätt svar från en uppsättning alternativ, varav ett är rätt svar och de andra alternativen är fel. De felaktiga alternativen kallas distraktorer. Att skapa prov med flervalsfrågor är tidskrävande och en uppgift som är öppen för automatisering. Distraktorgenerering är uppgiften att generera felaktiga, men rimliga alternativ för flervalsfrågor. Det är en uppgift som kan lösas med maskininlärning och stora språkmodeller. Eftersom denna uppgift har behandlats på språk som engelska och svenska, behandlar detta arbete uppgiften för det spanska språket. Detta arbete uppnår 3 mål. Den första är skapandet av ett dataset med flervalsfrågor på spanska med distraktorer, genom manuell taggning av distraktorer från datasetet SQuAD-es. Det nyskapade datasetet med distraktorer kallas SQuAD-es-dist. Den andra metoden är att automatiskt generera distraktorer med maskininlärningsmetoder. En BERT-modell finjusteras för att generera distraktorer, och en GPT-modell används genom zero-shot-inlärning för att generera distraktorer. Den tredje metoden är en mänsklig studie av de genererade distraktorerna för att utvärdera hur rimliga och användbara distraktorerna är. Även om båda metoderna visar sig vara effektiva, men inte perfekta, för att generera distraktorer, visar GPT-modellen bättre tillämpbarhet och en högre kapacitet att förvirra studenter i uppgiften att generera distraktorer / Para evaluar a alumnos en el contexto de comprensión de lectura se usan las preguntas de opción múltiple. El alumno debe leer un texto y una pregunta y, a continuación, elegir la respuesta correcta entre un conjunto de opciones, una de las cuales es la respuesta correcta y las demás opciones son incorrectas. Las opciones incorrectas se denominan distractores. La creación de exámenes con preguntas de opción múltiple requiere mucho tiempo, y es una tarea susceptible a la automatización. La Generación de Distractores es la tarea de generar opciones erróneas, pero plausibles, para Preguntas de Elección Múltiple. Es una tarea que puede abordarse con Aprendizaje Automático y Grandes Modelos de Lenguaje. Dado que esta tarea ha sido explorada en idiomas como el inglés, y el sueco, este trabajo aplica la tarea para el idioma español. Este trabajo alcanza 3 objetivos. El primero es la creación de un conjunto de datos de preguntas de respuesta múltiple en español con distractores, etiquetando manualmente los distractores del conjunto de datos SQuAD-es. El nuevo conjunto de datos con distractores se denomina SQuAD-es-dist. La segunda consiste en generar distractores automáticamente con métodos de aprendizaje automático. Se entrena y ajusta un modelo BERT para generar distractores y se utiliza un modelo GPT mediante ”zeroshot learning” para generar distractores. El tercero es un estudio humano sobre los distractores generados para evaluar la aplicabilidad y usabilidad de los distractores. Aunque ambos métodos muestran ser eficaces, pero no perfectos, en la generación de distractores, el modelo GPT muestra una mejor aplicabilidad y una mayor capacidad para confundir a los estudiantes en la tarea de Generación de Distractores. Distractor Generation Multiple Choice Questions Reading Comprehension Spanish Language BERT GPT Distraktorgeneration Flervalsfrågor Läsförståelse Spanska språket BERT GPT Generación de Distractores Preguntas de Opción Múltiple Comprensión de Lectura Lenguaje Español BERT GPT Computer and Information Sciences Data- och informationsvetenskap
92	AI-Assisted Question-Based Learning in Secondary School Mathematics : Exploring the Effects of OpenAI’s GPT-4 on Student Performance and the Generation of Multiple-Choice Questions / AI-assisterat frågebaserat lärande i gymnasiematematik : Utforskning av effekterna av OpenAIs GPT-4 på elevprestationer och genereringen av flervalsfrågor Lindbäck, Simon January 2024 (has links) Artificial Intelligence (AI) is a useful tool in education, with the potential to enhance teaching through the use of digital learning environments (DLEs) such as intelligent tutoring systems (ITSs). This thesis investigates the development and evaluation of an AI-assisted web-based platform for pure question-based learning (pQBL) in upper secondary school mathematics. The study aims to assess the prototype's effects compared to traditional classroom instruction and the quality of AI-generated multiple-choice questions (MCQs) using OpenAI’s GPT-4. To do this, the following research questions were formulated: (1) How can an AI-assisted platform for pQBL be designed and implemented? (2) To what extent do GPT-4 generated MCQs meet quality criteria? (3) How do learning outcomes compare between students using AI-assisted pQBL materials and those receiving traditional instruction? The study utilized principles of Question Construction and Prompt Engineering, ensuring AI-generated MCQs adhered to predefined quality standards. Human evaluation by a Teacher Quality Control panel refined and validated the generated MCQs. The effectiveness of the developed prototype was tested using a pretest/posttest design where score changes were analyzed using paired-samples t-tests. The findings indicate that generating high-quality MCQs remains a challenge. Human evaluation is essential to ensure educational efficacy, as only a fraction of the AI-generated MCQs met quality standards. User testing revealed comparable learning outcomes between the pQBL and control groups, with statistically significant results, though limitations in the pretest/posttest design may have influenced these findings. This research highlights the potential and limitations of AI in education, suggesting the need for further studies on AI-assisted tools, including exploring other language models and conducting longitudinal assessments to optimize learning outcomes. / AI utgör en viktig resurs inom utbildning och har potential att förbättra undervisningen genom digitala lärmiljöer (DLE), såsom intelligenta handledningssystem (ITS). Detta examensarbete undersöker utvecklingen och utvärderingen av en AI-stödd webbaserad plattform för rent frågebaserat lärande (pQBL) i matematik på gymnasiet. Studien syftar till att bedöma plattformens effektivitet jämfört med traditionell klassrumsundervisning och att utvärdera kvaliteten på flervalsfrågor som genereras av OpenAI:s GPT-4. För att uppnå detta formulerades följande forskningsfrågor: (1) Hur kan en AI-stödd plattform för pQBL designas och implementeras? (2) I vilken utsträckning uppfyller GPT-4- genererade flervalsfrågor fördefinierade kvalitetskriterier? (3) Hur skiljer sig inlärningsresultaten mellan elever som använder AI-stött pQBL-material och de som får traditionell klassrumsundervisning? Studien tillämpade principer för fråge- och promptkonstruktion för att säkerställa att de AI-genererade flervalsfrågorna följde fördefinierade kvalitetsstandarder. En panel av lärare genomförde mänsklig utvärdering för att förbättra och validera de genererade flervalsfrågorna. Effekten av den utvecklade prototypen testades genom en förtest/eftertest-design där poängförändringen analyserades genom parvisa t-tester. Resultaten indikerar att det finns utmaningar i att generera högkvalitativa flervalsfrågor. Mänsklig utvärdering är nödvändig för att säkerställa kvaliteten hos de AI-genererade flervalsfrågornas eftersom endast en mindre del av dem uppfyllde kvalitetskraven. Användartester visade jämförbara inlärningsresultat mellan pQBL-gruppen och kontrollgruppen med statistiskt signifikanta resultat även om begränsningar i förtest/eftertest-designen kan ha påverkat dessa resultat. Denna forskning belyser AI:s potential och begränsningar inom utbildning och föreslår behovet av ytterligare studier kring AI-drivna verktyg, inklusive undersökning av andra språkmodeller och genomförande av longitudinella studier för att optimera inlärningsresultaten. AI Digital Learning Intelligent Tutoring Systems Multiple-Choice Questions Pretest-Posttest Analysis Pure Question-Based Learning Swedish Upper Secondary School AI digitalt lärande flervalsfrågor förtest-eftertestanalys intelligenta handledningssystem rent frågebaserat lärande svensk gymnasieskola Learning Lärande Other Engineering and Technologies Annan teknik
93	The effective use of multiple-choice questions in assessing scientific calculations Terblanche, Hester Aletta 02 1900 (has links) This study investigated the effective use of online Multiple-Choice Questions (MCQs) with immediate formative feedback, and the granting of partial credit for correct second or third chance answers when assessing and assisting students’ conceptual learning at higher cognitive levels. The research sample comprised first year engineering science students at the Tshwane University of Technology (TUT), Pretoria campus. The differences between using online MCQ-assessment for problem-solving calculations and using constructed written questions (CRQs)1 in the assessment of problem-solving calculations were explored. Furthermore, the differences between the assessment of problem-solving calculations using online MCQs without immediate formative feedback, and with immediate formative feedback and the granting of partial credit were analysed. The findings revealed that students’ marks were lower when answering problem-solving calculations using online MCQs without immediate formative feedback than when answering the same questions using CRQs. This clearly indicates that using online MCQs without immediate formative feedback is not effective in assessing scientific problem-solving calculations. Alternatively, online MCQs proved effective in assessing problem-solving calculations when immediate formative feedback and partial credit were employed. The statistical analysis showed that students performed significantly better when immediate formative feedback was given and partial credit was granted for correct second or third attempts. This was due to online MCQs utilising immediate formative feedback, which made it possible to grant partial credit when students chose the correct answers after feedback. This showed that online MCQs with immediate formative feedback and partial credit being granted can be an effective assessment tool for scientific problem-solving calculations. It increases performance and supports learning from assessment. Students can thus correct their calculations whilst in the process of doing them. / Science and Technology Education / M. Ed. (Science Education) Multiple-choice questions MCQs with immediate formative feedback Guessing in MCQs Problem-solving calculations Assessing calculations using MCQs MCQs in scientific calculations MCQs at university Using MCQs to study MCQs with multiple opportunities Online MCQs 378.16601309682275
94	Steigerung selbstregulierten Lernens durch computerbasiertes Feedback beim Erwerb von Experimentierkompetenz im Fach Biologie / Individually adapted computerbased feedback for supporting self-regulated learning processes in school-age children / A computer-based learning program developed to help pupils practice strategies of controlling experimental variables. Lange, Silke Dorothee 31 October 2012 (has links) Feedback ist ein wichtiger Faktor für erfolgreiches Lernen – vorausgesetzt, dass es rich-tig eingesetzt wird (Hattie & Timperley, 2007). Dies gilt insbesondere, wenn es um den Erwerb neuer Kompetenzen geht. Die vorliegende Studie soll dazu beitragen, eine empirisch begründete kompetenzorientierte Brücke zwischen dem Konzept des negativen Wissens (Oser & Spychiger, 2005) und psychologischen Theorien zum Thema Feedback als Instruktionsmethode im Rahmen des selbstregulierten Lernens bei Schülern zu bilden und dazu anregen, den selbstregulierten Lernprozess von Schülern durch individuell angepasstes Feedback zu fördern. Dazu wurden zwei Hypothesen expliziert: Zum einen, dass Lernende, die Feedback über die konkrete Lokalisation des Fehlers erhalten, die dargebotenen Biologieaufgaben besser lösen können (prozessbezogene methodische Kompetenzen), als Lernende, die auf einer Metaebene eine Begründung für die Ursache des Fehlers in Kombination mit einer Frage zur kognitiven Aktivierung erhalten haben. Zum anderen, dass auf der im Rahmen der Intervention nicht trainierten strategischer Ebene das Feedback mit kognitiver Aktivierung effektiver ist. Um diese Hypothesen zu prüfen, wurde der Einfluss zweier Feedbackvarianten untersucht. In einem 2x2 Prä-Post-Test Design wurden dazu die Feedbackvarianten „Lokalisation des Fehlers“ und „Begründung des Fehlers mit kognitiver Aktivierung“ einzeln oder in Kombination einer Kontrollbedingung ohne Feedback gegenüber gestellt. Lernende der 7. Klasse bearbeiteten im Rahmen von zwei Doppelstunden ein webbasiertes interaktives Lernprogramm zum Thema „Experimentieren“. Die darin enthaltenen Multiple-Choice-Aufgaben (Hammann, 2007) umfassten die für das Experimentieren einschlägigen Kompetenzbereiche „Suche im Hypothesenraum“, „Testen von Hypothesen“ und „Analyse von Evidenzen“ (Klahr, 2000). Als abhängige Variablen haben wir jeweils in einer Prä-Post-Test-Messung den Zuwachs an prozessbezogenen methodischen Kompetenzen (operationalisiert über die korrekte Lösung der verwendeten Biologie-Aufgaben) und den strategischen Lernzuwachs (operationalisiert über die Bearbeitung des EEST-2, Marschner, 2010) untersucht. Um den möglichen Einfluss individueller Unterschiede in Bezug auf die Transferwirksamkeit des erworbenen Wissens zu erheben, wurden auch Daten zu Intelligenz, Persönlichkeitsfaktoren, zum Umgang mit Fehlern, zur Selbstwirksamkeitserwartung und zum selbstregulierten Lernen erhoben. Durch die Bearbeitung des Lernprogramms konnten die getesteten Schüler (N=355) über alle Versuchsgruppen hinweg signifikante Lernzuwächse auf der im Rahmen der Intervention trainierten Aufgabeneben (prozessbezogene methodische Kompetenzen) erzielen, nicht aber auf der nicht trainierten strategischen Ebene. Die verschiedenen Feedbackarten hatten jedoch keinen Einfluss auf den Lernzuwachs der untersuchten Stichprobe. Auf strategischer Ebene konnte sogar eine Verschlechterung des Ergebnisses vom Prä- zum Posttest beobachtet werden. Dieses könnte darauf zurückzuführen sein, dass die metakognitive Entwicklung der getesteten Schüler noch nicht ausgereift genug war, um das Feedback auf der intendierten Ebene verarbeiten zu können. In der Diskussion dieser Arbeit wird das Konzept des negativen Wissens (Oser & Spychiger, 2005) theoretisch mit den Ergebnissen aus der kognitionspsychologischen Forschung verknüpft und aufgezeigt, welche Parallelen zwischen diesen beiden Ansätzen bestehen. Die für diese Studie konzipierte computerbasierte Lerneinheit hat sich in der Praxis zur Einübung der Variablenkontrollstrategie bei Lehramtsstudierenden bewährt. 150 Selbstreguliertes Lernen Biologieunterricht Biologie erfolgreiches Lernen E-Learning Negatives Wissen Hattie & Timperley Oser Erwerb neuer Kompetenzen Instruktion Feedback Schule Unterricht metakognitive Kompetenzen Metakognition computerbasierte Lerneinheit individuell angepasstes Feedback Lokalisation des Fehlers prozessbezogene methodische Kompetenzen Variablenkontrollstrategie Experimentieren PISA Kompetenz Wissen Macht Intelligenz Persönlichkeit Big Five Gewissenhaftigkeit Erfolg Personalentwicklung Bildung Entwicklung Förderung Innovation innovatives Lernen Experiment Schülerinnen und Schüler Lernende Lehrende Lehrerinnen und Lehrer Bildungsmanagement Intervention kognitive Aktivierung strategischer Ebene Strategie Feedbackvarianten Multiple-Choice-Aufgaben Suche im Hypothesenraum Testen von Hypothesen Analyse von Evidenzen Klahr, 2000 individueller Unterschiede Transfer Transferwissen Umgang mit Fehlern Persönlichkeitsfaktoren Umgang mit Fehlern signifikante Lernzuwächse modern Zukunft Perspektive metakognitive Entwicklung Transparenz computerbasierte Lerneinheit Selbstreguliertes Lernen Biologieunterricht Selfregulated learning biology successful learning negative knowledge Hattie & Timperley Oser acquisition of new competencies individually adapted feedback school-age children instruction e-learning Biologie (PPN619462639)

Search results

The effective use of multiple-choice questions in assessing scientific calculations