Une des préoccupations du domaine de l'évaluation est celle de la validation des tests puisque les tests sont conçus pour un usage particulier. Les tests sont aussi évalués pour s'assurer qu'ils mesurent ce qu'ils prétendent mesurer, que les scores obtenus sont valides et qu'aucun de ces deux aspects n'a d'impact négatif sur les parties prenantes (Bachman 2005). Dans la présente étude, la validation visait à cerner l'impact de l'utilisation d'un test à des fins pour lesquelles il n'avait pas été conçu à l'origine. En particulier, la question de recherche visait à vérifier si l'utilisation d'un test de compétence standardisé, Test of English for International Communication (TOEIC), comme outil de classement avait un impact, tel que défini comme une des six qualités à l'intérieur du modèle de l'utilité des tests de Bachman et Palmer (1996). À la phase I de cette étude séquentielle evaluative de type mixte, 15 enseignants (dont un conseiller pédagogique) et 677 étudiants ont répondu à un questionnaire au sujet de leur expérience avec le TOEIC. Premièrement, les résultats ont montré que les 126 étudiants jugés mal classés différaient sensiblement des 551 qui avaient été jugés correctement classés, en fonction des aspects suivants: expérience avec l'anglais au niveau collégial, âge, première et deuxième langue. Le facteur ± expérience avec l'anglais au niveau collégial ¿ a donné lieu à la plus forte corrélation. Deuxièmement, les enseignants possédant une maîtrise ont eu significativement moins d'échecs dans leur classe que les enseignants détenant un baccalauréat. Pour donner suite aux résultats indiquant que l'impact est présent sous la forme de mauvais classements d'étudiants, les entrevues de la phase II ont été centrées sur les expériences vécues en lien avec ce mauvais classement. Cinq enseignants, certains détenteurs d'une maîtrise et d'autres possédant un baccalauréat et 13 étudiants, mal classés (8) ou correctement classés (5), ont indiqué que, selon eux, ce serait l'effet d'évaluer les compétences productives avec les compétences réceptives qui serait à l'origine des scores erronés produits par le TOEIC et qui donnerait lieu au mauvais classement. Trois conséquences en découleraient: la réaction du professeur et celle de l'étudiant au mauvais classement et la suggestion de changement de niveau de cours, le désir de l'étudiant de travailler, et la décision du professeur d'accorder à l'étudiant une note de passage. Des preuves indiquent que l'utilisation d'un test de compétence standardisé comme outil de classement produit le mauvais classement observé chez certains groupes d'étudiants, mais l'impact touche également toutes les parties prenantes.

Québec Université Laval, Bibliothèque 2014