Judgments of Learning (JOL) that are made after a delay, instead of immediately after study, are more accurate in terms of predicting later recall (the delayed JOL effect). The Self-Fulfilling Prophecy (SFP) theory explains the delayed JOL effect as the result of a testing effect. In the current study we tested the prediction that performing delayed JOLs leads to a memory improvement. During learning, 79 participants studied Swahili-Swedish word pairs, immediately followed by a cued recall test, and then made either one single or three repeated, spaced JOLs. A final cued recall test was given after either 5 minutes or 1 week. Making repeated JOLs did not increase memory performance compared to the single JOL condition, hence lending no support to the SFP theory. However, making repeated JOLs did improve their relative accuracy, which suggests that the delayed JOL effect mainly concerns memory monitoring and not performance.

Many would agree that learning occurs when new information is stored in memory. Therefore, most learning efforts typically focus on encoding processes, such as additional study or other forms of repetition. However, as I will outline in this thesis, there are other means by which to improve memory, such as retrieval practice in the form of tests. Testing memory has a reinforcing effect on memory, and it improves retention more than an equal amount of repeated study – referred to as the testing effect – and it has been assumed that retrieval processes drive this effect. Recently, however, this assumption has been called into question because of findings that suggest that articulation, that is, the act of providing an explicit response on a memory test, may play a role in determining the magnitude of the testing effect. Therefore, in three studies, I have examined the effects of retrieval and articulation on later retention, in an attempt to ascertain whether the testing effect is entirely driven by retrieval, or if there are additive effects of articulation. I have also explored possible boundary conditions that may determine when, and if, the effects of retrieval and articulation become selective with respect to memory performance. In all three studies, participants studied paired associates and were tested in a cued recall paradigm after a short (~5 min) and a long (1 week) retention interval, and retrieval was either covert (i.e., responses were retrieved but not articulated) or overt (i.e., responses were retrieved and articulated).  In Study I, I demonstrated that uninstructed covert retrieval practice (by means of delayed judgments of learning) produced a testing effect (i.e., improved memory relative to a study-only condition) similar to that of explicit testing, which supports the idea that the testing effect is mainly the result of retrieval processes. In study II, I compared memory performance for covert and overt testing, and found partial support for a relative efficacy in favor of overt retrieval, compared to covert retrieval, although the effect size was small. In Study III, I further explored the distinction between different response formats (i.e., covert retrieval vs. various forms of overt testing), specifically handwriting and keyboard typing. I also examined the relative efficacy of covert versus overt retrieval as a function of list order (i.e., whether covert and overt retrieval is practiced in blocks or random order) and its manipulation within or between subjects. The results of Study III were inconclusive insofar as a relative efficacy of covert versus overt retrieval, with respect to later retention, could not be demonstrated reliably. The list order manipulations did not appear to affect covert and overt retrieval selectively. More importantly, in cases where a relative efficacy was found, the effect size was again small. Taken together, the three studies that of thesis indicate that the benefit of testing memory appears to be almost entirely the result of retrieval processes, and that articulation alone adds very little – if anything – to the magnitude of the testing effect, at least in cued-recall paradigms. These findings are discussed in terms of their theoretical implications, as well as their importance for the development of optimal teaching and learning practices in educational settings. / <p>At the time of the doctoral defense, the following paper was unpublished and had a status as follows: Paper 3: Accepted.</p>

This study examined the formative assessment practices of three teachers in English as a Second Language (ESL) classrooms using a sociocultural theoretical framework. The study was conducted in a postsecondary ESL setting at a large public university in the southeastern United States. Using an embedded mixed methods design, this study employed teacher interviews and classroom observations to address the overarching question: What individual and contextual factors are present in the formative assessment practices of participant ESL teachers? The study also explored the relationship between student metacognitive judgments of learning (JOL) and performance with the purpose of informing formative assessment practice. To this end, 51 students responded to pre and post surveys on their metacognitive beliefs and judgments of learning questionnaires prior to three unit tests. Summary reports of students’ JOL were provided to teachers for their review and use. Findings showed teachers in this ESL setting engaged in a variety of formative assessment techniques; successful implementation of their techniques were influenced by their instructional style and student attributes like attendance, class participation, and students’ academic or educational experiences. Findings also indicated the central role of assessments in this context that provided ample opportunity for formative assessment. Overall, findings point to the value of using a sociocultural theoretical lens to examine the nature of factors affecting teachers’ formative assessment practice. With regard to the use of metacognitive judgments of learning in formative assessment, findings showed a mixed relationship between student JOL and performance, and there was no change in students’ metacognitive beliefs about writing over the duration of the semester. Although teachers did not use the JOL information in their instruction, they attributed inaccuracies in judgments to students’ achievement level. These findings are limited by implementation issues and sample size. Further study is needed to understand the nature of postsecondary ESL students’ JOL in authentic assessment situations and their applicability in the formative assessment process.

Diese Arbeit untersucht prominente Erfassungsmethoden metakognitiver Aktivitäten die während des Lernprozesses zum Einsatz kommen (online) auf deren Güte und Reaktivität. Im Fokus stehen die Methoden Laut-Denken, Fragebogenmethode sowie die Erfassung von Lernleistungsurteilen. Lernaufgaben werden durch komplexe Textlernaufgaben sowie Problemlöseaufgaben in deren Rahmen abduktive Schlüsse gefordert sind repräsentiert. In Studie 1 wurden metakognitive Aktivitäten die mittels retrospektiv eingesetzten Fragebögen sowie mittels Laut-Denken erfasst wurden gegenübergestellt. Dabei wurden die Fragebogenitems parallel zum polytomen Kategoriensystem mit dessen Hilfe die Daten aus der Laut-Denken-Methode ausgewertet wurden konstruiert. Im Rahmen der Auswertung der Laut-Denken Daten war die Übereinstimmung zweiter unabhängiger, gut geschulter Urteiler unbefriedigend. Die Übereinstimmungsunterschiede zwischen den Kategorien sowie zwischen den Probanden waren erheblich. Dies weist darauf hin, dass das Kategoriensystem nicht zur Auswertung der Laut-Denken Daten geeignet ist. Zudem scheinen große Unterschiede in der Nutzung metakognitiver Aktivitäten zwischen den Probanden zu bestehen. Zwischen Fragebogendaten und Laut-Denken-Daten besteht ein geringer nicht signifikanter negativer Zusammenhang. In Studie 2 wurde die Reaktivität der Laut-Denken-Methode und der Aufzeichnung von Lernleistungsurteilen während des Bearbeitens einer Textlese- sowie Problemlöseaufgabe untersucht. Die Ergebnisse dieser experimentellen Studie mit 2x2 Design legen nahe, dass von Laut-Denken im Rahmen von Problemlöseaufgaben reaktive Effekte zu erwarten sind. Von Lernleistungsurteilen hingegen sind reaktive Effekte lediglich im Rahmen von komplexen Textleseaufgaben zu erwarten. Auch im Rahmen dieser Erhebung mittels Laut-Denken konnte lediglich eine unbefriedigende Reliabilität der Messung berichtet werden obgleich in dieser Studie 11 unabhängige Urteiler zum Einsatz kamen. Auch hier wurde keine erwähnenswerte Korrelation zwischen Fragebogendaten und Laut-Denken Erhebung ermittelt. In Studie 3 wurden metakognitive Aktivitäten zu mehreren Messzeitpunkten im Kontext einer komplexen Gruppenlernaufgabe erhoben. Die Ergebnisse weisen auf einen individuellen Einsatz metakognitiver Aktivitäten unabhängig von der Lernsituation hin. Insgesamt lassen die Ergebnisse der Studien darauf schließen, dass Laut-Denken zumindest dann keine valide Erfassung metakognitiver Aktivitäten während des Lernens ermöglicht, wenn polytome Kategoriensysteme mit einer hohen Anzahl an Kategorien zum Einsatz kommen. Außerdem ist in spezifischen Lernsituationen von potentiellen reaktiven Effekte der Erhebung auszugehen. Dies gilt auch für die Erfassung des Monitoring- und Überwachungs-/Regulierungsverhaltens mittels Lernleistungsurteilen.

Diese Arbeit untersucht prominente Erfassungsmethoden metakognitiver Aktivitäten die während des Lernprozesses zum Einsatz kommen (online) auf deren Güte und Reaktivität. Im Fokus stehen die Methoden Laut-Denken, Fragebogenmethode sowie die Erfassung von Lernleistungsurteilen. Lernaufgaben werden durch komplexe Textlernaufgaben sowie Problemlöseaufgaben in deren Rahmen abduktive Schlüsse gefordert sind repräsentiert. In Studie 1 wurden metakognitive Aktivitäten die mittels retrospektiv eingesetzten Fragebögen sowie mittels Laut-Denken erfasst wurden gegenübergestellt. Dabei wurden die Fragebogenitems parallel zum polytomen Kategoriensystem mit dessen Hilfe die Daten aus der Laut-Denken-Methode ausgewertet wurden konstruiert. Im Rahmen der Auswertung der Laut-Denken Daten war die Übereinstimmung zweiter unabhängiger, gut geschulter Urteiler unbefriedigend. Die Übereinstimmungsunterschiede zwischen den Kategorien sowie zwischen den Probanden waren erheblich. Dies weist darauf hin, dass das Kategoriensystem nicht zur Auswertung der Laut-Denken Daten geeignet ist. Zudem scheinen große Unterschiede in der Nutzung metakognitiver Aktivitäten zwischen den Probanden zu bestehen. Zwischen Fragebogendaten und Laut-Denken-Daten besteht ein geringer nicht signifikanter negativer Zusammenhang. In Studie 2 wurde die Reaktivität der Laut-Denken-Methode und der Aufzeichnung von Lernleistungsurteilen während des Bearbeitens einer Textlese- sowie Problemlöseaufgabe untersucht. Die Ergebnisse dieser experimentellen Studie mit 2x2 Design legen nahe, dass von Laut-Denken im Rahmen von Problemlöseaufgaben reaktive Effekte zu erwarten sind. Von Lernleistungsurteilen hingegen sind reaktive Effekte lediglich im Rahmen von komplexen Textleseaufgaben zu erwarten. Auch im Rahmen dieser Erhebung mittels Laut-Denken konnte lediglich eine unbefriedigende Reliabilität der Messung berichtet werden obgleich in dieser Studie 11 unabhängige Urteiler zum Einsatz kamen. Auch hier wurde keine erwähnenswerte Korrelation zwischen Fragebogendaten und Laut-Denken Erhebung ermittelt. In Studie 3 wurden metakognitive Aktivitäten zu mehreren Messzeitpunkten im Kontext einer komplexen Gruppenlernaufgabe erhoben. Die Ergebnisse weisen auf einen individuellen Einsatz metakognitiver Aktivitäten unabhängig von der Lernsituation hin. Insgesamt lassen die Ergebnisse der Studien darauf schließen, dass Laut-Denken zumindest dann keine valide Erfassung metakognitiver Aktivitäten während des Lernens ermöglicht, wenn polytome Kategoriensysteme mit einer hohen Anzahl an Kategorien zum Einsatz kommen. Außerdem ist in spezifischen Lernsituationen von potentiellen reaktiven Effekte der Erhebung auszugehen. Dies gilt auch für die Erfassung des Monitoring- und Überwachungs-/Regulierungsverhaltens mittels Lernleistungsurteilen.