Differenzielles Itemfunktionieren bedeutet für die Trendschätzung durch Linking in querschnittlich angelegten Large-Scale Assessments eine Voraussetzungsverletzung. Solche Voraussetzungsverletzungen können sich negativ auf die Eigenschaften von Trendschätzern auswirken, woraus sich Einschränkungen für die Interpretierbarkeit der Trendschätzung ergeben können. Die vorliegende Arbeit umfasst, eingebettet in einen Rahmungstext, drei Einzelbeiträge, die sich mit der Prüfung der Auswirkung differenziellen Itemfunktionierens unterschiedlicher Provenienz auseinandersetzen.
Im ersten Einzelbeitrag wird die Interaktion von Linkingdesigns und Linkingmethoden mit zwischen Ländern und über die Zeit unsystematisch unterschiedlich funktionierenden Items untersucht. Dabei zeigte sich, dass die Wahl des Designs von großer Bedeutung sein kann, während der Performanzunterschied zwischen gängigen Linkingmethoden marginal war. Darüber hinaus führte der häufig praktizierte Ausschluss von differenziell funktionierenden Items zu einem Effizienzverlust.
Im zweiten Einzelbeitrag wird die Unsicherheit der Trendschätzung, die entsteht, wenn Items zwischen Ländern und über die Zeit unsystematisch unterschiedlich funktionieren, quantifiziert und in die Berechnung der zugehörigen Standardfehler integriert.
Im dritten Einzelbeitrag wird betrachtet, wie differenziellem Itemfunktionieren begegnet werden kann, das durch fehlende Werte und wechselnde Ausfallmechanismen zustande kommt. Wurden die fehlenden Werte inadäquat behandelt, verloren die Trendschätzer ihre Erwartungstreue und Konsistenz sowie an Effizienz.
In der Summe wird in der vorliegenden Arbeit identifiziert und hervorgehoben, dass es in den untersuchten Bedingungen je nach Art des differenziellen Itemfunktionierens effektive Möglichkeiten des Umgangs mit diesem gibt, die potenziellen Einschränkungen bei der validen Interpretation der Trendschätzung zumindest teilweise entgegenwirken können. / Differential item functioning signifies a violation of the prerequisites required for trend
estimation, which involves the linking of cross-sectional large-scale assessments. Such
violations can negatively affect the properties of the trend estimators. Hence, the interpretability of trend estimates will be limited under such circumstances. Embedded within an overarching framework, three individual contributions that examine and deal with the effects of differential item functioning from different origins are presented in the current dissertation.
The first article examines the interactions of linking designs and linking methods with
items that show unsystematic and differential functioning between countries and across
time. It showed that the choice of the design can be of great importance, whereas the
difference in performance between common linking methods was marginal. In addition,
the exclusion of differentially functioning items, an approach that is frequently used in
practice, led to a loss of efficiency.
In the second contribution, the uncertainty for the trend estimation resulting from
items that show unsystematic and differential functioning between countries and across
time is quantified and incorporated into the calculation of the trends' standard errors.
The third article focuses on differential item functioning that is induced by missing
values and nonresponse mechanisms that change over time. When the missing values were
treated inappropriately, the trend estimators lost their unbiasedness, their consistency, and
their efficiency.
In sum, this dissertation identifies and emphasizes the ideas that, depending on the
type of differential item functioning, there are effective ways to deal with it under the
investigated conditions, and these can at least partially counteract potential limitations
so that the trend estimates can still be interpreted validly.
| Identifer | oai:union.ndltd.org:HUMBOLT/oai:edoc.hu-berlin.de:18452/21957 |
| Date | 27 February 2020 |
| Creators | Sachse, Karoline A. |
| Contributors | Voelkle, Manuel C., Pant, Hans Anand, Pohl, Steffi |
| Publisher | Humboldt-Universität zu Berlin |
| Source Sets | Humboldt University of Berlin |
| Language | German |
| Detected Language | German |
| Type | doctoralThesis, doc-type:doctoralThesis |
| Format | application/pdf |
| Rights | (CC BY-NC-ND 4.0) Attribution-NonCommercial-NoDerivatives 4.0 International, https://creativecommons.org/licenses/by-nc-nd/4.0/ |
Page generated in 0.03 seconds