The concepts of justification and accountability are being promoted as a new added value in the field of language testing. Bachman and Palmer's (2010) Assessment Use Argument (AUA) provides a theoretical framework that can ensure the validity of a test. This study implements an AUA in a high-stakes context to justify the inclusion of videos in a general proficiency listening comprehension test intended for international military personnel studying English in Canada. It follows a three-phase exploratory sequential mixed methods research design. The first phase includes a needs analysis and the development of a prototype. Qualitative data was collected that provided a basis for the next phase. Phase Two includes the development of a computer-delivered video listening test, which follows each stage of test development. In the final phase, Phase 3, the test was trialled on three groups of stakeholders (test developers, teachers and students) and their perceptions of the usefulness of the videos were collected through both qualitative and quantitative methods. The results show that stakeholders perceived the videos as being helpful for comprehension and they appreciated the authenticity of the listening texts. The stakeholders also reported that the videos reduced student anxiety. These data were used as evidence for Claim 1 of the AUA, which states that the use of a test must produce beneficial consequences for the test taker. Though the present study focuses on Claim 1, it does clearly articulate the other three claims of the AUA, which refer to the Decisions, Interpretations, and Assessment Records, as explained by Bachman & Palmer (2010). / Les concepts de justification et de fiabilité sont perçus de plus en plus comme une valeur ajoutée dans le domaine de l'évaluation linguistique. Bachman et Palmer (2010) en font la démonstration dans leur cadre théorique en présentant un argument en faveur de l'utilisation de l'évaluation (Assessment Use Argument - AUA) comme moyen de valider un test. La présente étude applique cette notion (AUA) dans un contexte d'enjeux élevés afin de justifier l'inclusion de vidéos lors de l'administration d'un test de compréhension auditive de compétence générale, lequel est destiné à une clientèle militaire internationale apprenant l'anglais au Canada. Cette étude repose sur un modèle de recherche composé de méthodes mixtes s'articulant en trois phases exploratoires séquentielles. La première phase comprend une analyse de besoins et l'élaboration d'un prototype pendant laquelle des données qualitatives ont été recueillies afin de servir à la phase suivante. La deuxième phase porte sur le développement d'un test de compréhension vidéo-auditive généré par un ordinateur. Enfin, la dernière phase présente les résultats obtenus à l'aide de méthodes quantitatives et qualitatives lors de l'essai mené auprès des trois groupes de participants (élaborateurs de tests, enseignants et étudiants), c'est-à-dire leurs perceptions quant à l'utilité des vidéos. Les résultats démontrent que les vidéos ont été perçues par les participants comme étant utiles pour la compréhension et que l'authenticité des tests de compréhension auditive a été appréciée. Les participants ont également affirmé que la présence de vidéos réduisait l'anxiété des étudiants. Ces données positives ont servi à confirmer le Postulat 1 du cadre théorique (AUA) selon lequel l'utilisation d'un test doit produire des conséquences bénéfiques pour le candidat testé. Bien que le Postulat 1 soit le point focal de la présente étude, celle-ci met clairement en lumière les trois autres postulats du cadre théorique AUA de Bachman & Palmer (2010) : les décisions, les interprétations et les rapports d'évaluation.
| Identifer | oai:union.ndltd.org:LACETR/oai:collectionscanada.gc.ca:QMM.107603 |
| Date | January 2012 |
| Creators | Powers, Nancy Ellen |
| Contributors | Carolyn E Turner (Internal/Supervisor) |
| Publisher | McGill University |
| Source Sets | Library and Archives Canada ETDs Repository / Centre d'archives des thèses électroniques de Bibliothèque et Archives Canada |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation |
| Format | application/pdf |
| Coverage | Master of Arts (Department of Integrated Studies in Education) |
| Rights | All items in eScholarship@McGill are protected by copyright with all rights reserved unless otherwise indicated. |
| Relation | Electronically-submitted theses. |
Page generated in 0.0018 seconds