Inquiry into fairness of a test has been recognized as an important research activity to direct efforts to reduce bias and discrimination against certain groups of test takers, create equal opportunities for test takers to demonstrate their knowledge and skills, and promote social justice. Given the importance of fairness in testing, my research examined the fairness of one large-scale high-stakes test in China—the Graduate School Entrance English Exam (GSEEE). To guide this doctoral research, I first drew on four sources of conceptual and empirical work to identify key issues encompassing test fairness. Informed by Willingham’s conceptual framework, I investigated the fairness of the GSEEE in two studies. In Study 1, I examined whether the GSEEE test items functioned differentially and brought potential bias towards test taker groups based on gender and academic background. In Study 2, I investigated perceptions of the fairness of the GSEEE as expressed by program administrators, teachers, and test takers. In conclusion, this research offers empirical information with regard to the fairness of the GSEEE from psychometric and stakeholder perspectives. The research also provides evidence that the conceptualization of test fairness is mediated by contextualized beliefs and traditions. Whether a test is perceived as fair or not is derived from considerations in both the testing process and the broad socio-cultural context. / Thesis (Ph.D, Education) -- Queen's University, 2014-06-10 10:33:32.484

Verschiedene Schulleistungsstudien stellten für Kinder mit nicht-deutscher Familiensprache bereits in der Grundschule substanzielle Disparitäten im Bereich Mathematik fest. Diese Disparitäten führten zu der Frage, ob die verwendeten Testverfahren zu hohe sprachliche Hürden für Kinder mit nicht-deutscher Familiensprache aufweisen und daher nicht ausreichend in der Lage sind, die Kompetenzen dieser Gruppe valide zu erfassen. In dieser kumulativen Arbeit wurde geprüft, inwiefern die sprachliche Komplexität von Mathematikaufgaben in der Grundschule einen benachteiligenden Einfluss auf die Erfassung der Mathematikleistung von Kindern mit nicht-deutscher Familiensprache darstellt. Zunächst wurde geprüft, ob die in nationalen Schulleistungsstudien verwendeten Aufgaben für diese Gruppe differenziell valide sind. Daran anschließend wurde untersucht, ob sich itemspezifische Kompetenznachteile durch die sprachlichen Merkmale der Aufgaben erklären lassen. In der vorliegenden Arbeit konnte gezeigt werden, dass die differenzielle Validität der betrachteten Testverfahren für Kinder mit nicht-deutscher Familiensprache insgesamt gering ausgeprägt ist. Ferner wurde festgestellt, dass sich die einzelnen sprachlichen Merkmale der Aufgaben sowohl spezifisch als auch gemeinsam auf die differenzielle Validität auswirken. Der größte Anteil der itemspezifischen Kompetenznachteile wurde durch mehrere Merkmale gemeinsam aufgeklärt. Eine experimentelle Teilstudie zeigte, dass eine sprachliche Vereinfachung nicht geeignet scheint, um die Kompetenznachteile von Kindern mit nicht-deutscher Familiensprache substanziell zu verringern. Ein Vergleich der Effekte sprachlicher Merkmale von Mathematikaufgaben auf die Mathematikleistungen von Kindern mit nicht-deutscher Familiensprache zwischen der dritten und der vierten Klassenstufe ergab, dass sich die sprachliche Komplexität der Aufgaben vor allem für jüngere Grundschulkinder unabhängig von ihrer Familiensprache benachteiligend auswirkte. / Large-scale assessment studies have repeatedly documented performance disadvantages of language minority students in German elementary schools. The substantial achievement gap has led to concerns regarding the validity of large-scale assessment items for language minority students. It may be the case that these performance differences are, in part, due to high language demands of the test items. These items may selectively disadvantage language minority students in the testing situation. This dissertation project investigated the connection between the academic language demands of mathematics test items and the test performance of monolingual students and language minority students. First, it was investigated whether the test items were differentially valid for language minority students. Moreover, the connection between the differential validity and the linguistic complexity of the test items was tested. The findings indicated that overall, differential validity of the examined tests for language minority students was low. However, the test items’ language demands were related to differential validity. The largest proportion of item-specific performance disadvantages was explained by confounded combinations of several linguistic features. Additionally, unique effects of descriptive, lexical, and grammatical features were identified. An experimental study showed that linguistic simplification did not seem to be a promising method to substantially reduce the performance differences between language minority students and German monolingual students. A comparison of differential effects of mathematics items’ language demands for language minority students over two adjacent grade levels indicated that the impact of academic language demands seemed to depend on grade level rather than on language minority student status. Regardless of their home language, younger students seemed to struggle more with linguistically complex test items than older students.