The three studies presented here represent a two-year program of research that critically explored one case of high-stakes language assessment—English proficiency assessment for teacher certification in Quebec, Canada.The first study was an examination of the final administration of a writing test used for this purpose at one Quebec university before this test was replaced. In this study, mismatches were revealed in stakeholder perceptions of the task to be produced in this assessment. The second study examined the pilot administration of a new replacement test. It focused on the socio-political environment of the test—namely, how the perception of high or low stakes by raters affected scoring. Results from this study suggested that test stakes—to all stakeholders, including raters—is a worthwhile focus of study. The third study examined the first official administration of the new test, and focused on rater behavior from a socio-cognitive perspective, suggesting that information on decision-making style may provide insight into variability in rater scoring.This program of research has been critical in that •it has integrated social and political values into the test validation process;•test stakeholders, including the test takers themselves, have not only been consulted but have determined the direction of the research program to a great extent; and•the conflicting views and competing interests of the stakeholders have been embraced and have enriched the research program.These studies will make contributions to the field of language assessment, and in particular, in better understanding how all elements of the subjectively-scored assessment situation interact. Because of its critical approach, these studies have demonstrated a responsible and progressive approach to researching the assessment of language proficiency for professional certification. In addition, the use of mixed methods designs in all three studies has been somewhat innovative and will add to the emerging field of mixed method research. / Les trois études présentées ici forment une programme de recherche unie, étalé sur deux ans, qui explore de manière critique une étude de cas se rapportant aux enjeux majeurs de l'évaluation de la langue et en particulier, au jugement de la compétence en anglais dans la certification des enseignants du Québec.La première étude est une exploration de l'ancienne épreuve finale du test écrit évaluant cette compétence. Celle-ci trace un portrait des divergences de perceptions des partis impliqués (étudiants, administrateurs et correcteurs) de la tâche exigée par cette épreuve. La deuxième étude examine l'administration pilote d'un nouveau test (The English Exam for Teacher Certification ou EETC). Cette étude s'attarde à l'environnement sociopolitique du processus d'évaluation et tente de déterminer en quoi les perceptions des conséquences d'échec entretenues par les évaluateurs peuvent affecter le score attribué. La troisième étude porte sur la première administration officielle du EETC. Dans une perspective sociocognitive, le comportement de l'évaluateur y est analysé. Cette étude cherche à déterminer comment l'information est perçue et traitée selon le style cognitive des évaluateurs et en quoi ce style peut affecter leur décision.Ce programme de recherche est critique dans le sens qu'il :-a intégré des valeurs sociales et politiques tout au long du processus de validation du test ;-a impliqué les différents acteurs concernés (étudiants, administrateurs et correcteurs) dans l'orientation de ce projet ; -a pris en compte les divers points de vue et intérêts des partis impliqués pour enrichir le programme de recherche.Ces études contribueront à l'élargissement des connaissances dans le domaine de l'évaluation de la langue. Entre autres, les résultats de celles-ci permettront de mieux saisir les interactions de chacun des partis impliqués dans cette situation d'évaluation. Cette recherche critique sur l'évaluation de la compétence de la langue pour la certification professionnelle a donné lieu à trois études menées dans une perspective progressiste et responsable. De plus, le recours à des méthodes variées pour chacune des études s'inscrit dans le domaine émergeant des méthodologiques mixtes.
| Identifer | oai:union.ndltd.org:LACETR/oai:collectionscanada.gc.ca:QMM.96783 |
| Date | January 2011 |
| Creators | Baker, Beverly Anne |
| Contributors | Carolyn E Turner (Internal/Supervisor) |
| Publisher | McGill University |
| Source Sets | Library and Archives Canada ETDs Repository / Centre d'archives des thèses électroniques de Bibliothèque et Archives Canada |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation |
| Format | application/pdf |
| Coverage | Doctor of Philosophy (Department of Integrated Studies in Education) |
| Rights | All items in eScholarship@McGill are protected by copyright with all rights reserved unless otherwise indicated. |
| Relation | Electronically-submitted theses. |
Page generated in 0.0025 seconds