Zugl. Wuppertal, Bergische Universiẗat, Diss., 2008.

Zugl.: Köln, Universiẗat, Diss., 2005.

Universiẗat, Diss., 2005--Freiburg. Schweiz.

The current dissertation addresses the analysis of technology-enhanced learning processes by using Process Mining techniques. For this purpose, students’ coded think-aloud data served as the measurement of the learning process, in order to assess the potential of this analysis method for evaluating the impact of instructional support. The increasing use of digital media in higher education and further educational sectors enables new potentials. However, it also poses new challenges to students, especially regarding the self-regulation of their learning process. To help students with optimally making progress towards their learning goals, instructional support is provided during learning. Besides the use of questionnaires and tests for the assessment of learning, researchers make use increasingly of process data to evaluate the effects of provided support. The analysis of observed behavioral traces while learning (e.g., log files, eye movements, verbal reports) allows detailed insights into the student’s activities as well as the impact of interventions on the learning process. However, new analytical challenges emerge, especially when going beyond the analysis of pure frequencies of observed events. For example, the question how to deal with temporal dynamics and sequences of learning activities arises. Against this background, the current dissertation concentrates on the application of Process Mining techniques for the detailed analysis of learning processes. In particular, the focus is on the additional value of this approach in comparison to a frequency-based analysis, and therefore on the potential of Process Mining for the evaluation of instructional support. An extensive laboratory study with 70 university students, which was conducted to investigate the impact of a support measure, served as the basis for pursuing the research agenda of this dissertation. Metacognitive prompts supported students in the experimental group (n = 35) during a 40-minute hypermedia learning session; whereas the control group (n = 35) received no support. Approximately three weeks later, all students participated in another learning session; however, this time all students learned without any help. The participants were instructed to verbalize their learning activities concurrently while learning. In the three analyses of this dissertation, the coded think aloud data were examined in detail by using frequency-based methods as well as Process Mining techniques. The first analysis addressed the comparison of the learning activities between the experimental and control groups during the first learning session. This study concentrated on the research questions whether metacognitive prompting increases the number of metacognitive learning activities, whether a higher number of these learning activities corresponds with learning outcome (mediation), and which differences regarding the sequential structure of learning activities can be revealed. The second analysis investigated the impact of the individual prompts as well as the conditions of their effectiveness on the micro level. In addition to Process Mining, we used a data mining approach to compare the findings of both analysis methods. More specifically, we classified the prompts by their effectiveness, and we examined the learning activities preceding and following the presentation of instructional support. Finally, the third analysis considered the long-term effects of metacognitive prompting on the learning process during another learning session without support. It was the key objective of this study to examine which fostered learning activities and process patterns remained stable during the second learning session. Overall, all three analyses indicated the additional value of Process Mining in comparison to a frequency-based analysis. Especially when conceptualizing the learning process as a dynamic sequence of multiple activities, Process Mining allows identifying regulatory loops and crucial routing points of the process. These findings might contribute to optimizing intervention strategies. However, before drawing conclusions for the design of instructional support based on the revealed process patterns, additional analyses need to investigate the generalizability of results. Moreover, the application of Process Mining remains challenging because guidelines for analytical decisions and parameter settings in technology-enhanced learning context are currently missing. Therefore, future studies need to examine further the potential of Process Mining as well as related analysis methods to provide researchers with concrete recommendations for use. Nevertheless, the application of Process Mining techniques can already contribute to advance the understanding of the impact of instructional support through the use of fine-grained process data. / Die vorliegende Dissertation beschäftigt sich mit der Analyse technologieunterstützter Lernprozesse unter Verwendung von Process Mining Methoden. Dabei werden kodierte Protokolle des lauten Denkens als Prozessmaß genutzt, um eine Bewertung des Potentials dieses Analyseansatzes für die Evaluation der Effekte instruktionaler Hilfe vornehmen zu können. Die zunehmende Verbreitung digitaler Medien in der Hochschulbildung und weiteren Ausbildungssektoren schafft neue Potentiale, allerdings auch neue Anforderungen an den Lerner, insbesondere an die Regulation seines Lernprozesses. Um ihn dabei zu unterstützen seinen Lernfortschritt optimal zu gestalten, wird ihm während des Lernens instruktionale Hilfe angeboten. Neben der Evaluation mittels Fragebögen und Testverfahren wird die Wirksamkeit der angebotenen Unterstützung zunehmend durch Prozessdaten bewertet. Die Analyse von beobachteten Verhaltensspuren während des Lernens (z.B. Logfiles, Blickbewegungen, Verbalprotokolle) ermöglicht einen detaillierten Einblick in die Lernhandlungen und die Folgen von Unterstützungsmaßnahmen. Allerdings stellen sich auch eine Reihe von neuen analytischen Herausforderungen, wie der Umgang mit zeitlichen Dynamiken und Sequenzen von Lernhandlungen, insbesondere wenn man über Häufigkeitsanalysen der beobachteten Ereignisse hinausgehen möchte. Vor diesem Hintergrund beschäftigt sich die vorliegende Arbeit mit der Anwendung von Process Mining Methoden zur detaillierten Betrachtung von Lernprozessen. Insbesondere der Mehrwert dieses Ansatzes gegenüber einer reinen Häufigkeitsanalyse und somit die Potentiale von Process Mining für die Evaluation von Fördermaßen sollen herausgestellt werden. Als Grundlage für die Bearbeitung der Fragestellung diente eine umfangreiche Laborstudie mit 70 Universitätsstudierenden, die durchgeführt wurde um die Effekte einer instruktionalen Fördermaßnahme zu prüfen. Die Probanden der Experimentalgruppe (n = 35) erhielten in einer 40-minütigen Hypermedia-Lernsitzung eine Förderung durch metakognitive Prompts, während die Kontrollgruppe (n = 35) ohne Hilfe lernte. In einer weiteren Lernsitzung drei Wochen später bearbeiteten alle Teilnehmer eine weitere Lerneinheit, diesmal ohne Unterstützung für alle Probanden. Während des Lernens wurden alle Teilnehmer instruiert, ihre Lernhandlungen kontinuierlich zu verbalisieren. Die kodierten Verbalprotokolle wurden in den drei Analysen dieser Dissertation detailliert mit Häufigkeits- und Process Mining Analysen untersucht. Die erste Analyse konzentrierte sich auf den Vergleich der Lernhandlungen der Experimental- und Kontrollgruppe während der ersten Sitzung. Es wurde den Fragen nachgegangen, ob metakognitive Prompts die Lerner dazu anregen mehr metakognitive Lernhandlungen auszuführen, ob eine höhere Anzahl dieser Lernhandlungen mit dem Lernerfolg zusammenhängt (Mediation) und welche Unterschiede sich in den Abfolgen der Lernhandlungen finden lassen. In der zweiten Analyse wurden die Effekte der einzelnen Prompts sowie die Bedingungen für ihre Wirksamkeit auf einer sehr detaillierten Ebene betrachtet. Zusätzlich zu Process Mining wurde auch eine Data Mining Methode eingesetzt, um deren Befunde zu vergleichen. Im Detail fanden eine Klassifikation der Prompts anhand ihrer Effektivität und eine Untersuchung der kodierten Lernaktivitäten vor und nach der Präsentation instruktionaler Hilfe statt. Schließlich untersuchte die dritte Analyse die langfristigen Effekte metakognitiver Prompts auf den Lernprozess in einer weiteren Lernsitzung ohne Unterstützung. Hier stand die Frage im Mittelpunkt, welche geförderten Lernaktivitäten und Prozessmuster während der zweiten Lernsitzung stabil blieben. Insgesamt belegen die Ergebnisse aller drei durchgeführten Analysen den Mehrwert von Process Mining im Vergleich zu reinen häufigkeitsbasierten Analysemethoden. Insbesondere unter Betrachtung des Lernprozesses als dynamische Abfolge von mehreren Lernhandlungen, ermöglicht Process Mining die Identifikation von Regulationsschleifen und zentralen Verzweigungen des Prozesses. Diese Befunde könnten zur Optimierung von Interventionen verwendet werden. Bevor aus den aufgedeckten Prozessmustern Schlussfolgerungen für die Gestaltung instruktionaler Hilfe gezogen werden können, müssen allerdings weitere Analysen erst noch die Generalisierbarkeit der Befunde belegen. Darüber hinaus bleibt die Anwendung von Process Mining herausfordernd, da derzeit keine Richtlinien für analytische Entscheidungen und Parametereinstellungen für technologieunterstützte Lernkontexte vorhanden sind. Darum müssen in Zukunft weitere Studien das Potential von Process Mining und verwandten Analysemethoden betrachten, um Forschern konkrete Anwendungsempfehlungen zur Verfügung stellen zu können. Generell kann Process Mining aber bereits jetzt dazu beitragen, das Verständnis der Auswirkungen instruktionaler Hilfe auf der Prozessebene voran zu treiben.

In this thesis, metacognition research is connected with fluency research. Thereby, the focus lies on how disfluency can be used to improve metacognitive monitoring (i.e., students` judgments during the learning process). Improving metacognitive monitoring is important in educational contexts in order to foster performance. Theories about metacognition and self-regulated learning suppose that monitoring affects control and performance. Accurate monitoring is necessary to initiate adequate control and better performance. However, previous research shows that students are often not able to accurately monitor their learning with meaningful text material. Inaccurate monitoring can result in inadequate control and low performance. One reason for inaccurate monitoring is that students use cues for their judgments that are not valid predictors of their performance. Because fluency might be such a cue, the first aim of this thesis is to investigate under which conditions fluency is used as a cue for judgments during the learning process. A fluent text is easy to process and, hence, it should be judged as easy to learn and as easy to remember. Inversely, a disfluent text is difficult to process, for example because of a disfluent font type (e.g., Mistral) or because of deleted letters (e.g., l_tt_rs). Hence, a disfluent text should be judged as difficult to learn and as difficult to remember. This assumption is confirmed when students learn with both fluent and disfluent material. When fluency is manipulated between persons, fluency seems to be less obvious as a cue for judgments. However, there are only a few studies that investigated the effects of fluency on judgments when fluency is manipulated between persons. Results from Experiment 1 (using deleted letters for disfluent text) and from Experiment 4 (using Mistral for disfluent text) in this thesis support the assumption that fluency is used as a cue for judgments in between-person designs. Thereby, however, the interplay with the type of judgment and the learning stage seems to matter. Another condition when fluency affects judgments was investigated in Experiment 2 and 3. The aim of these experiments was to investigate if disfluency leads to analytic monitoring and if analytic monitoring sustains for succeeding fluent material. If disfluency activates analytic monitoring that remains for succeeding fluent material, fluency should no longer be used as a cue for judgments. Results widely support this assumption for deleted letters (Experiment 2) as well as for the font type Mistral (Experiment 3). Thereby, again the interplay between the type of judgment and the learning stage matters. Besides the investigation of conditions when fluency is used as a cue for different types of judgments during the learning process, another aim of this thesis is to investigate if disfluency leads to accurate monitoring. Results from Experiment 3 and 4 support the assumption that Mistral can reduce overconfidence. This is the case when fluency is manipulated between persons or when students first learn with a fluent and then with a disfluent text. Dependent from the type of judgment and the learning stage, disfluency can lead even to underconfidence or to improved relative monitoring accuracy (Experiment 4). Improving monitoring accuracy is only useful when monitoring is implemented into better control and better performance. The effect of monitoring accuracy on control and performance was in the focus of Experiment 4. Results show that accurate monitoring does not result in improved control and performance. Thus, further research is required to develop interventions that do not only improve monitoring accuracy but that also help students to implement accurate monitoring into better control and performance. Summing up, the aim of this thesis is to investigate under which conditions fluency is used as a cue for judgments during the learning process, how disfluency can be used to improve monitoring accuracy, and if improved monitoring accuracy leads to improved performance. By connecting metacognition research and fluency research, further theories about metacognition and theories about fluency are specified. Results show that not only the type of fluency and the design, but also the type of judgment, the type of monitoring accuracy, and the learning stage should be taken into account. Understanding conditions that affect the interplay between metacognitive processes and performance as well as understanding the underlying mechanisms is necessary to enable systematic research and to apply findings into educational settings. / Ziel dieser Dissertation ist es, den Einfluss von Disfluency auf metakognitive Einschätzungen sowie deren Genauigkeit und deren Einfluss auf die Leistung zu untersuchen. Dabei wird die Metakognitions- mit der Fluency-Forschung verbunden. Theorien der Metakognition und des Selbstregulierten Lernens postulieren, dass metakognitive Einschätzungen den Lernprozess sowie die Leistung beeinflussen. Genaue Einschätzungen der eigenen Leistung sind notwendig, um adäquate Lernprozesse zu initiieren und die Leistung zu verbessern. In der bisherigen Forschung zeigte sich allerdings, dass Personen ihre eigene Leistung häufig falsch einschätzen, v. a. beim Lernen mit Texten. Als Folge ungenauer Einschätzungen können dysfunktionale Lernprozesse sowie schlechtere Leistung resultieren. Ein möglicher Grund für ungenaue Einschätzungen ist die Verwendung von Cues (Hinweisreizen), die keine validen Prädiktoren für die Leistung sind. Ein solcher Cue könnte Fluency sein. Fluente Texte sind leicht zu verarbeiten und sollten deshalb auch als leicht zu lernen und als leicht zu erinnern eingeschätzt werden. Umgekehrt sollten Texte, deren Verarbeitungsflüssigkeit beispielsweise durch eine disfluente Schriftart (z. B. Mistral) oder durch Löschung von Buchstaben (z. B. B_chst_b_n) herabgesetzt ist, als schwerer zu lernen und zu erinnern eingeschätzt werden. Diese Annahme wurde bisher v. a. dann bestätigt, wenn Personen sowohl mit fluentem als auch disfluentem Material lernen. Wird Fluency zwischen Personen manipuliert, scheint Fluency ein weniger offensichtlicher Cue zu sein. Allerdings ist die Anzahl an Studien, die Fluency zwischen Personen manipuliert haben, begrenzt. In dieser Dissertation wurde sowohl in Experiment 1 für die Löschung von Buchstaben, als auch in Experiment 4 für die Schriftart Mistral bestätigt, dass auch eine Manipulation zwischen Personen Einschätzungen beeinflussen kann, wobei jeweils die Interaktion mit der Art der Einschätzung und dem Zeitpunkt im Lernprozess berücksichtigt werden müssen. Eine weitere Bedingung, unter der Fluency die Einschätzungen beeinflusst, wurde in Experiment 2 und 3 untersucht. Ziel dieser Experimente war es u. a. herauszufinden, ob Disfluency zu einer analytischeren Überwachung des eigenen Lernprozesses führt und ob diese auch für nachfolgendes fluentes Material anhält. Als Folge analytischer Überwachungsprozesse für disfluentes und fluentes Material sollte Fluency nicht länger als Cue für Einschätzungen verwendet werden. Die Ergebnisse bestätigen dies weitgehend sowohl für die Löschung von Buchstaben (Experiment 2) als auch für die Verwendung der Schriftart Mistral (Experiment 3). Auch hier gibt es allerdings Interaktionen mit der Art der Einschätzung und dem Zeitpunkt im Lernprozess. Neben der Untersuchung, unter welchen der genannten Bedingungen Fluency Effekte auf verschiedene Arten von Einschätzungen im Lernprozess gefunden werden, ist es ein weiteres Ziel dieser Dissertation zu untersuchen, ob Disfluency durch die Initiierung analytischer Überwachungsprozesse auch zu genaueren Einschätzungen führt. Die Befunde aus Experiment 3 und 4 zeigen, dass Mistral die oft gefundene Überschätzung reduziert, wenn die Fluency zwischen Personen manipuliert wird oder zuerst mit fluentem und anschließend mit disfluentem Text gelernt wird. Abhängig von der Art der Einschätzung und des Zeitpunkts im Lernprozess kann Mistral sogar zu Unterschätzung führen und auch die relative Genauigkeit verbessern (Experiment 4). Eine Verbesserung der Genauigkeit von Einschätzungen ist v. a. dann sinnvoll, wenn genauere Einschätzungen auch zu besseren Lernprozessen und zu besserer Leistung führen. Dies wurde in Experiment 4 untersucht. Hier zeigte sich allerdings, dass genauere Einschätzungen nicht zu einer besseren Leistung führen. Deshalb sollten in der weiteren Forschung Interventionen entwickelt werden, die nicht nur die Genauigkeit von Einschätzungen, sondern auch deren Transfer in bessere Lernprozesse und in bessere Leistung fördern. Insgesamt ist es also das Ziel dieser Dissertation zu untersuchen, wann Disfluency verschiedene Einschätzungen im Lernprozess beeinflusst, ob Disfluency zu analytischeren und genaueren Einschätzungen führt, und ob genauere Einschätzungen letztendlich in besserer Leistung resultieren. Die Verbindung der Metakognitions- mit der Fluency-Forschung ermöglicht dabei, nicht nur Theorien zur Metakognition sondern auch zur Fluency zu spezifizieren. Wie die Befunde zeigen, müssen nicht nur verschiedene Arten der Fluency und des Designs, sondern auch verschiedene Arten von Einschätzungen und deren Genauigkeit, sowie der Zeitpunkt der Einschätzung im Lernprozess berücksichtigt werden. Die Kenntnis von Zusammenhängen und Bedingungen sowie von zugrundeliegenden Mechanismen ist wichtig, um bisherige inkonsistente Befunde systematisieren zu können und schließlich lernförderliche Interventionen ableiten zu können.

Zugl.: München, Univ., Diss., 2008

Zugl.: Karlsruhe, Univ., Diss., 2007

Zugl.: München, Univ., Diss., 2004

Zugl.: Karlsruhe, Universiẗat, Diss., 2007.

Zugl.: St. Gallen, Univ., Diss., 2006