Ziel der Arbeit ist die Entwicklung von Modellen zur Entdeckung von Fehlspezifikation im Linear Logistic Test Model ( = LLTM) und verwandten Modellen der Verände\-rungs\-mes\-sung. Fehlspezifikation bedeutet hierbei, dass dem Modell ein unzutreffendes Muster latenter Traits zugrundegelegt wurde. Dies kann, vgl. z.B. [Baker,1993], zu bedeutenden Schätzfehlern führen. Die hier vorgestellten Methoden ermöglichen es unter leicht zu erfüllenden Annahmen, Aussagen über das Ausmaß der Unkorrektheit der verwendeten Modellspezifikation zu machen, ohne die in der Modellschätzung bestimmten Parameterwerte verwenden zu müssen. Zunächst wird eine auf dem Mantel-Haenszel-Test beruhende Methodik vorgestellt, die bei Tests bezüglich der Veränderungsparameter eines LLTMs als direkte Konkurrenz zu den bekannten Likelihood-Ratio-Tests für das LLTM anzusehen ist, wie sie z.B. bei [Fischer,1995a] vorgestellt werden. Weiterhin werden für das LLTM optimierte Personenfittests und daraus abgeleitete Effektgrößen vorgestellt. Diese ermöglichen das Auffinden von Subpopulationen, bei denen eine Abweichung zum angenommenen Modell aufgetreten ist. Es werden die statistischen Eigenschaften dieser Tests resp. Effektgrößen mittels Simulation und Teststärkeberechnung untersucht und Anwendungsbeispiele für diese Methoden vorgestellt. / In this thesis, new methods are developed for the detection of misspecification within Linear Logistic Test Models (=LLTM) and similar model classes for the measurement of change. The phrase "misspecification" will be used if a wrong selection of latent traits is chosen for the estimation of the LLTM. Misspecification can lead to erronious estimation [Baker,1993]). Using the newly developed methods, it is possible to measure the extent of deviations between the proposed model and the data. This can be done without using estimated parameter values. First a method is introduced which is based on the well-known Mantel-Haenszel-test. For some hypotheses, this method can be used instead of a Likelihood Ratio Test (e.g. [Fischer,1995a]). The Main topic of this thesis are uniformly most powerful tests for the measurement of person fit and related effect measures. These effect measures can be used for the identification of subpopulations where the proposed model does not hold. Statistical properties of these tests resp. effect measures are examined by simulations and power calculations using the SAS software. Furthermore, examples of the application of these methods are given.

Im Rahmen der Item-Response-Theorie evaluiert die kumulative Dissertationsschrift verschiedene Methoden und Modelle zur Identifikation von Kontexteffekten in Large-Scale Assessments. Solche Effekte können etwa in quantitativen empirischen Schulleistungsstudien auftreten und zu verzerrten Item- und Personenparametern führen. Um in Einzelfällen abschätzen zu können, ob Kontexteffekte auftreten und dadurch die Gefahr verzerrter Parameter gegeben ist (und falls ja, in welcher Weise), müssen IRT-Modelle entwickelt werden, die zusätzlich zu Item- und Personeneffekten Kontexteffekte parametrisieren. Solch eine Parametrisierung ist im Rahmen Generalisierter Allgemeiner Linearer Modelle möglich. In der Dissertation werden Positionseffekte als ein Beispiel für Kontexteffekte untersucht, und es werden die statistischen Eigenschaften dieses Messmodells im Rahmen einer Simulationsstudie evaluiert. Hier zeigt sich vor allem die Bedeutung des Testdesigns: Um unverfälschte Parameter zu gewinnen, ist nicht nur ein adäquates Messmodell, sondern ebenso ein adäquates, also ausbalanciertes Testdesign notwendig. Der dritte Beitrag der Dissertation befasst sich mit dem Problem fehlender Werte auf Hintergrundvariablen in Large-Scale Assessments. Als Kontexteffekt wird in diesem Beispiel derjenige Effekt verstanden, der die Wahrscheinlichkeit eines fehlenden Wertes auf einer bestimmten Variablen systematisch beeinflusst. Dabei wurde das Prinzip der multiplen Imputation auf das Problem fehlender Werte auf Hintergrundvariablen übertragen. Anders als bisher praktizierte Ansätze (Dummy-Codierung fehlender Werte) konnten so in einer Simulationsstudie für fast alle Simulationsbedingungen unverfälschte Parameter auf der Personenseite gefunden werden. / The present doctoral thesis evaluates various methods and models of the item response theory to parametrize context effects in large-scale assessments. Such effects may occur in quantitative educational assessments and may cause biased item and person parameter estimates. To decide whether context effects occur in individual cases and lead to biased parameters, specific IRT models have to be developed which parametrize context effects additionally to item and person effects. The present doctoral thesis consists of three single contributions. In the first contribution, a model for the estimation of context effects in an IRT framework is introduced. Item position effects are examined as an example of context effects in the framework of generalized linear mixed models. Using simulation studies, the statistical properties of the model are investigated, which emphasizes the relevance of an appropriate test design. A balanced incomplete test design is necessary not only to obtain valid item parameters in the Rasch model, but to guarantee for unbiased estimation of position effects in more complex IRT models. The third contribution deals with the problem of missing background data in large-scale assessments. The effect which predicts the probability of a missing value on a certain variable, is considered as a context effect. Statistical methods of multiple imputation were brought up to the problem of missing background data in large-scale assessments. In contrast to other approaches used so far in practice (dummy coding of missing values) unbiased population and subpopulation estimates were received in a simulation study for most conditions.

Traditional tests for large-scale assessment of mathematics learning have been criticized for several reasons, such as their mismatch between the vision of mathematical competence and the content covered by the test, and their failure to provide relevant information for guiding further learning and instruction. To achieve that large-scale assessments can function as tools for monitoring and improving learning and teaching, one has to move away from the rationale, the constraints, and the practices of traditional tests. As an illustration this paper presents an alternative approach to largescale assessment of elementary school mathematics developed in Flanders, Belgium Using models of item response theory, 14 measurement scales were constructed, each representing a cluster of curriculum standards and covering as a whole the mathematics curriculum relating to numbers, measurement and geometry. A representative sample of 5,763 sixth-graders (12-year-olds) belonging to 184 schools participated in the study. Based on expert judgments a cut-off score was set that determines the minimum level that students must achieve on each scale to master the standards. Overall, the more innovative curriculum standards were mastered less well than the more traditional ones. Few gender differences in performance were observed. The advantages of this approach and its further development are discussed.

Traditional tests for large-scale assessment of mathematics learning have been criticized for several reasons, such as their mismatch between the vision of mathematical competence and the content covered by the test, and their failure to provide relevant information for guiding further learning and instruction. To achieve that large-scale assessments can function as tools for monitoring and improving learning and teaching, one has to move away from the rationale, the constraints, and the practices of traditional tests. As an illustration this paper presents an alternative approach to largescale assessment of elementary school mathematics developed in Flanders, Belgium Using models of item response theory, 14 measurement scales were constructed, each representing a cluster of curriculum standards and covering as a whole the mathematics curriculum relating to numbers, measurement and geometry. A representative sample of 5,763 sixth-graders (12-year-olds) belonging to 184 schools participated in the study. Based on expert judgments a cut-off score was set that determines the minimum level that students must achieve on each scale to master the standards. Overall, the more innovative curriculum standards were mastered less well than the more traditional ones. Few gender differences in performance were observed. The advantages of this approach and its further development are discussed.

Externe Repräsentationen sind für das Verständnis und die Vermittlung chemischer Phänomene und Konzepte essenziell. Lernende werden mit einer Vielzahl an Darstellungen konfrontiert, mit denen sie geeignet umgehen müssen, um die darin transportierten Inhalte zu erfassen. Eine wichtige Voraussetzung für die flexible Verwendung mehrerer Repräsentationen im Lehr- und Lernprozess stellt die sogenannte Translationsfähigkeit dar, welche das Überführen verschiedener Darstellungsformen ineinander beschreibt. Empirische Studien weisen dahingehend auf Defizite bei Lernenden hin. Demzufolge untersucht die vorliegende Arbeit in einer quantitativen Querschnittstudie, inwiefern (a) Übersetzungswege und (b) zu übersetzende Stoffklassen die Übersetzungsschwierigkeit beeinflussen und (c) welche Zusammenhänge zwischen personenbezogenen Eigenschaften und der Translationsfähigkeit bei Lernenden bestehen. Die Stichprobe umfasst Lernende der 10. und 11. Jahrgangsstufe des Bundeslandes Berlin. Für die Erfassung der Translationsfähigkeit wurde ein Erhebungsinstrument konzipiert, dessen Aufgaben in einem Think-Aloud-Setting (N = 10) und in einer quantitativen Vorstudie (N = 225) pilotiert wurden. Die Auswertung der Daten erfolgte unter Anwendung von Item-Response-Theorie sowie Zusammenhangsanalysen. Die Ergebnisse (N = 629) zeigen, dass sich Übersetzungswege zwischen Moleküldarstellungen geringfügig in der Übersetzungsschwierigkeit unterscheiden und ähnlich hohe Anforderungen an die Translationsfähigkeit stellen (a). Zu übersetzende Stoffklassen zeigen Unterschiede in den Übersetzungsschwierigkeiten und damit in den Translationsanforderungen an Lernende (b). In einer multiplen Regression konnten personenbezogene Eigenschaften wie deklaratives Fachwissen und Mental Load als Prädiktoren der Translationsfähigkeit identifiziert werden (c). Die Befunde bieten damit Ansatzpunkte zum Umgang mit Lerngelegenheiten mit Translationsanforderungen und Möglichkeiten für Anschlussforschung. / External representations are important to understand and teach chemical phenomena and concepts. Students are faced with a multitude of representations, which they have to deal with appropriately to comprehend the content conveyed to them. An important prerequisite for the flexible use of several representations in teaching and learning processes is the so-called translation ability, which includes switching from one form of representation to another. However, empirical work reveals deficits among students. To shed light on these deficits, this work uses a quantitative cross-sectional study to investigate how the variables (a) translation path and (b) chemical class influence the translation difficulty, and (c) which correlations exist between students’ personal characteristics and their translation ability. The sample consists of 10th and 11th grade students from high schools in Berlin. To assess translation ability, a multiple-choice test was developed and validated in a think-aloud setting (N = 10) and a quantitative pre-study (N = 225). The data were analyzed using item response theory, as well as correlation and regression analyses. The results (N = 629) indicated that translation paths between molecular representations differ only slightly in terms of translation difficulty and have similarly high translation ability requirements (a). Regarding chemical classes, differences in translation difficulty and thus translation requirements for students could be identified (b). In a multiple regression, person-related variables such as declarative knowledge and mental load could be identified as predictors of translation ability (c). Thereby, these findings provide first principles for dealing with learning opportunities that have translation requirements and possibilities for follow-up research.