Im Bildungs- und Trainingsbereich erfolgen immer häufiger Evaluationen von Trainings, Workshops usw. Der Messung des Lernerfolgs der Interventionsteilnehmer kommt dabei im Rahmen von Mehr-Ebenen-Konzepten eine wichtige Rolle zu. Diese Evaluationen sind jedoch von formal-methodischen Problemen flankiert, wie dem Kriteriendilemma (Müller, 1987), das die Ambivalenz zwischen der Exaktheit von Datenerhebungen und deren Repräsentativität bezüglich der Programminhalte thematisiert. Des Weiteren ist Wissen domainenspezifisch und muss oft aktualisiert werden. Zuweilen fehlt eine vollständige Wissensbasis zur Konstruktion von Messinstrumenten. In diesem Fall wird häufig auf Selbsteinschätzungen zurückgegriffen. Diese praktikablen subjektiven Einschätzungen sind einerseits etablierte Messzugänge, z.B. in der Selbstkonzeptforschung (z.B. Moschner & Dickhäuser, 2006; Stiensmeier-Pelster & Schöne, 2008). Andererseits werden ihnen verschiedene Verzerrungstendenzen zugeschrieben (z.B. Mummendey & Grau, 2008). Metaanalytische Befunde (z.B. Moser, 1999) geben mittlere Zusammenhänge zwischen Selbsteinschätzungen und objektiven Leistungskriterien an und explizieren Kriterien für eine hohe Validität von Selbsteinschätzungen. Dabei stellt die Erwartung der Validierung der Selbsteinschätzungen das wichtigste Validitätskriterium dar. Alternativ zu subjektiven Messzugängen können so genannte objektive Messzugänge zur Erhebung des Lernerfolgs eingesetzt werden. Darunter versteht man u.a. Wissenstests mit offenem oder geschlossenem Antwortformat, die jedoch einen deutlichen höheren Konstruktions- bzw. Auswertungsaufwand erfordern. In der vorliegenden Arbeit sollen nun zwei methodologische Aspekte im Rahmen der Lernerfolgsmessung untersucht werden: die Differenzierungsfähigkeit und die Änderungssensitivität von Items, Subskalen und Skalen. Dabei sollen diese zwischen verschiedenen subjektiven und objektiven Messzugängen verglichen werden. Unter der Differenzierungsfähigkeit wird die Streuung der Items bzw. je Item verstanden (Lienert & Raatz, 1998). Muellerbuchhof & Zehrt (2004) nutzen für den Vergleich zwischen den Messzugängen den Experten-Novizen-Vergleich, wobei sich im objektiven Kompetenzmaß eine höhere Differenzierung zwischen den bekannten Gruppen zeigt als in den Selbsteinschätzungen. Die Änderungssensitivität gibt die Fähigkeit z.B. eines Items an, reale Veränderungen der jeweiligen Variablen widerzuspiegeln (Krauth, 1995). Für verschiedene Fremd- und Selbsteinschätzungsskalen und -items finden sich Hinweise auf die Änderungssensitivität derselben (z.B. Burlingame et al., 2006; Vermeersch et al., 2004). Es fehlen jedoch vergleichende Studien zu objektiven Messzugängen. In der vorliegenden Arbeit wird nun zuerst geprüft, ob sich subjektive und objektive Messzugänge hinsichtlich ihrer Differenzierungsfähigkeit und ihrer Änderungssensitivität unterscheiden. Weiterhin soll bestimmt werden, welcher Messzugang in welchem Ausmaß besser differenziert und interventionsbedingte Veränderungen sensitiver abbildet. Des Weiteren soll nach der Art des erhobenen Wissens (Faktenwissen oder Anwendungswissen) unterschieden werden. Anschließend sollen verschiedene objektive Messzugänge entsprechend verglichen werden. Zuletzt erfolgt ein Vergleich von zwei Arten von Selbsteinschätzungen. Im Ergebnis sollen jeweils praktikable Empfehlungen für den Einsatz in Evaluationsvorhaben abgeleitet werden. Die globalen Fragestellungen zur Differenzierungsfähigkeit werden anhand von zwei Studien an Studierenden geprüft: in einer methodologischen Analyse einer quasiexperimentellen Trainingsevaluationsstudie (Clasen, 2007; Winkelmann, 2009) (Studie1) sowie in einer experimentellen Studie einer Kursevaluation (Studie 2). In Studie 1 werden dabei der Bestimmung der Differenzierungsfähigkeit Veränderungswerte und in Studie 2 Statuswerte zugrunde gelegt. Die Fragestellungen zur Änderungssensitivität sowie zur Differenzierungsfähigkeit der subjektiven und objektiven Messzugänge untereinander werden anhand von Studie 2 bearbeitet. Im Ergebnis zeigt sich, dass der objektiv offene Messzugang am besten in der Lage ist, zwischen Personen zu differenzieren und treatmentbedingte Veränderungen abzubilden. Dieser ist jedoch auch am aufwändigsten in der Durchführung und besonders in der Auswertung, welche inhaltliche Fachkompetenz des Auswertenden voraussetzt. Die praktikablen Selbsteinschätzungen (einzelne Einschätzungen, die aggregiert werden, sowie Globaleinschätzungen) der Studierenden nehmen den zweiten Platz ein, dicht gefolgt vom objektiv geschlossenen Messzugang, der z.T. auch bessere Ergebnisse liefert als die Selbsteinschätzungen. Sobald in einer Evaluationsstudie jedoch Zweifel an der Validität der Selbsteinschätzungen gerechtfertigt sind, ist ein objektiver Messzugang zu bevorzugen. Innerhalb des objektiv geschlossenen Messzugangs verfügt die weniger übliche Darstellung als Block von „stimmt- stimmt nicht“- Antworten über eine bessere Differenzierungsfähigkeit und Änderungssensitivität als das Multiple Choice- Format. Des Weiteren differenziert die Subskala Anwendungswissen für jeden untersuchten Messzugang tendenziell besser als die Subskala Faktenwissen. Diese Ergebnisse werden in den Forschungskontext eingeordnet, Kritikpunkte der Studien werden thematisiert. Für den Evaluator werden aus den Ergebnissen der vorliegenden Arbeit jeweils praktikable Empfehlungen zum Einsatz der verschiedenen Messzugänge in Evaluationsvorhaben abgeleitet.

Im Bildungs- und Trainingsbereich erfolgen immer häufiger Evaluationen von Trainings, Workshops usw. Der Messung des Lernerfolgs der Interventionsteilnehmer kommt dabei im Rahmen von Mehr-Ebenen-Konzepten eine wichtige Rolle zu. Diese Evaluationen sind jedoch von formal-methodischen Problemen flankiert, wie dem Kriteriendilemma (Müller, 1987), das die Ambivalenz zwischen der Exaktheit von Datenerhebungen und deren Repräsentativität bezüglich der Programminhalte thematisiert. Des Weiteren ist Wissen domainenspezifisch und muss oft aktualisiert werden. Zuweilen fehlt eine vollständige Wissensbasis zur Konstruktion von Messinstrumenten. In diesem Fall wird häufig auf Selbsteinschätzungen zurückgegriffen. Diese praktikablen subjektiven Einschätzungen sind einerseits etablierte Messzugänge, z.B. in der Selbstkonzeptforschung (z.B. Moschner & Dickhäuser, 2006; Stiensmeier-Pelster & Schöne, 2008). Andererseits werden ihnen verschiedene Verzerrungstendenzen zugeschrieben (z.B. Mummendey & Grau, 2008). Metaanalytische Befunde (z.B. Moser, 1999) geben mittlere Zusammenhänge zwischen Selbsteinschätzungen und objektiven Leistungskriterien an und explizieren Kriterien für eine hohe Validität von Selbsteinschätzungen. Dabei stellt die Erwartung der Validierung der Selbsteinschätzungen das wichtigste Validitätskriterium dar. Alternativ zu subjektiven Messzugängen können so genannte objektive Messzugänge zur Erhebung des Lernerfolgs eingesetzt werden. Darunter versteht man u.a. Wissenstests mit offenem oder geschlossenem Antwortformat, die jedoch einen deutlichen höheren Konstruktions- bzw. Auswertungsaufwand erfordern. In der vorliegenden Arbeit sollen nun zwei methodologische Aspekte im Rahmen der Lernerfolgsmessung untersucht werden: die Differenzierungsfähigkeit und die Änderungssensitivität von Items, Subskalen und Skalen. Dabei sollen diese zwischen verschiedenen subjektiven und objektiven Messzugängen verglichen werden. Unter der Differenzierungsfähigkeit wird die Streuung der Items bzw. je Item verstanden (Lienert & Raatz, 1998). Muellerbuchhof & Zehrt (2004) nutzen für den Vergleich zwischen den Messzugängen den Experten-Novizen-Vergleich, wobei sich im objektiven Kompetenzmaß eine höhere Differenzierung zwischen den bekannten Gruppen zeigt als in den Selbsteinschätzungen. Die Änderungssensitivität gibt die Fähigkeit z.B. eines Items an, reale Veränderungen der jeweiligen Variablen widerzuspiegeln (Krauth, 1995). Für verschiedene Fremd- und Selbsteinschätzungsskalen und -items finden sich Hinweise auf die Änderungssensitivität derselben (z.B. Burlingame et al., 2006; Vermeersch et al., 2004). Es fehlen jedoch vergleichende Studien zu objektiven Messzugängen. In der vorliegenden Arbeit wird nun zuerst geprüft, ob sich subjektive und objektive Messzugänge hinsichtlich ihrer Differenzierungsfähigkeit und ihrer Änderungssensitivität unterscheiden. Weiterhin soll bestimmt werden, welcher Messzugang in welchem Ausmaß besser differenziert und interventionsbedingte Veränderungen sensitiver abbildet. Des Weiteren soll nach der Art des erhobenen Wissens (Faktenwissen oder Anwendungswissen) unterschieden werden. Anschließend sollen verschiedene objektive Messzugänge entsprechend verglichen werden. Zuletzt erfolgt ein Vergleich von zwei Arten von Selbsteinschätzungen. Im Ergebnis sollen jeweils praktikable Empfehlungen für den Einsatz in Evaluationsvorhaben abgeleitet werden. Die globalen Fragestellungen zur Differenzierungsfähigkeit werden anhand von zwei Studien an Studierenden geprüft: in einer methodologischen Analyse einer quasiexperimentellen Trainingsevaluationsstudie (Clasen, 2007; Winkelmann, 2009) (Studie1) sowie in einer experimentellen Studie einer Kursevaluation (Studie 2). In Studie 1 werden dabei der Bestimmung der Differenzierungsfähigkeit Veränderungswerte und in Studie 2 Statuswerte zugrunde gelegt. Die Fragestellungen zur Änderungssensitivität sowie zur Differenzierungsfähigkeit der subjektiven und objektiven Messzugänge untereinander werden anhand von Studie 2 bearbeitet. Im Ergebnis zeigt sich, dass der objektiv offene Messzugang am besten in der Lage ist, zwischen Personen zu differenzieren und treatmentbedingte Veränderungen abzubilden. Dieser ist jedoch auch am aufwändigsten in der Durchführung und besonders in der Auswertung, welche inhaltliche Fachkompetenz des Auswertenden voraussetzt. Die praktikablen Selbsteinschätzungen (einzelne Einschätzungen, die aggregiert werden, sowie Globaleinschätzungen) der Studierenden nehmen den zweiten Platz ein, dicht gefolgt vom objektiv geschlossenen Messzugang, der z.T. auch bessere Ergebnisse liefert als die Selbsteinschätzungen. Sobald in einer Evaluationsstudie jedoch Zweifel an der Validität der Selbsteinschätzungen gerechtfertigt sind, ist ein objektiver Messzugang zu bevorzugen. Innerhalb des objektiv geschlossenen Messzugangs verfügt die weniger übliche Darstellung als Block von „stimmt- stimmt nicht“- Antworten über eine bessere Differenzierungsfähigkeit und Änderungssensitivität als das Multiple Choice- Format. Des Weiteren differenziert die Subskala Anwendungswissen für jeden untersuchten Messzugang tendenziell besser als die Subskala Faktenwissen. Diese Ergebnisse werden in den Forschungskontext eingeordnet, Kritikpunkte der Studien werden thematisiert. Für den Evaluator werden aus den Ergebnissen der vorliegenden Arbeit jeweils praktikable Empfehlungen zum Einsatz der verschiedenen Messzugänge in Evaluationsvorhaben abgeleitet.