No description available.

No description available.

No description available.

No description available.

This study investigates how grammatical ability is assessed in L2 academic writing classrooms. In the assessment literature, grammatical ability is defined to include syntax and morphology (Purpura, 2004; Weigle, 2002) and lexical forms, cohesion, and information management on the subsentential, sentential, and suprasentential levels (Purpura, 2004). Writing teachers would, therefore, need to attend to morphosyntactic and other grammatical aspects in L2 texts that serve to organize information and create cohesion on the sentence, paragraph, and text levels. In a mixed methods triangulation design (Creswell & Plano Clark, 2007) using both quantitative and qualitative methods, this study examines the indicators of grammatical ability that writing teachers (n = 2) attend to when assessing their students' (n = 33) grammatical ability in academic essays in one high-intermediate and one advanced L2 writing course at an English-medium university in Canada. In addition, the study considers to what extent the students' learning is affected by the teachers' assessment criteria. In the first phase of this study, the students' essay exams and the teacher-assigned grammar grade were collected and analyzed quantitatively using accuracy and complexity measures as indicators of morphosyntactic ability. They were also examined qualitatively within a framework of systemic functional linguistics to assess the students' ability to manage information in their texts. In phase two, student questionnaires were administered, and student interviews were conducted to determine the students' knowledge of the teachers' assessment criteria for grammar. In phase three, the teachers were interviewed about their criteria and their priorities in the assessment of grammar. Finally, the results from all three phases and all four data sources were integrated to come to an overall interpretation of the findings. The results indicate that writing teachers focus above all on grammatical accuracy when assessing their students' grammatical ability. Consequently, writing teachers seem to assess a reduced construct of grammatical ability in academic writing, compared to definitions in the L2 assessment literature. This emphasis has an impact on how students learn in these L2 writing classrooms. This dissertation concludes with a discussion of implications and makes recommendations for L2 writing assessment based on the findings of this study. / Cette recherche s'intéresse à la façon d'évaluer les compétences grammaticales dans les cours universitaires d'écriture langue seconde (L2). Selon la littérature, les compétences grammaticales comprennent la syntaxe et la morphologie (Purpura, 2004; Weigle, 2002) de même que les formes lexicales, la cohésion et la gestion de l'information au niveau sous-phrastique, phrastique et supra-phrastique (Purpura, 2004). Par conséquent, les professeurs d'écriture devraient, lors de l'étude de textes en L2, miser sur la morphosyntaxe et sur d'autres aspects grammaticaux utiles à l'organisation de l'information et assurant la cohésion au niveau de la phrase, du paragraphe et du texte. En s'appuyant sur une approche méthodologique mixte (Creswell & Plano Clark, 2007), utilisant une triangulation de données qualitatives et quantitatives, cette recherche vise à déterminer quels sont les indicateurs de performance grammaticale sur lesquels s'appuient les professeurs d'écriture (n = 2) lorsqu'ils évaluent les compositions de leurs étudiants (n = 33). Les étudiants de l'échantillon étaient inscrits à une université canadienne anglophone et suivaient un cours d'anglais de niveau intermédiaire ou avancé. D'autre part, cette recherche a pour objectif de déterminer à quel point l'apprentissage des étudiants est influencé par les critères d'évaluation de leur professeur. Dans la première partie de la recherche, les compositions des étudiants et les notes de grammaire données par le professeur ont été collectées et analysées quantitativement, en utilisant des mesures de justesse et de complexité grammaticales comme indicateurs de la compétence morphosyntaxique. Elles ont également été analysées qualitativement dans un cadre linguistique systémique fonctionnel afin de déterminer la compétence des étudiants à gérer l'information dans leurs textes. Dans la seconde partie de la recherche, des questionnaires ont été administrés aux étudiants et certaines entrevues ont été menées afin d'évaluer la connaissance qu'avaient les étudiants des critères d'évaluation de leur professeur en ce qui a trait à la grammaire. Dans la troisième partie, les professeurs ont été interviewés au sujet de leurs critères et priorités dans l'évaluation de la grammaire. Enfin, les résultats des trois parties et des quatre sources d'informations ont été réunis afin d'en arriver à une interprétation globale des conclusions. Les résultats révèlent que les professeurs d'écriture priorisent surtout la justesse grammaticale lorsqu'ils évaluent les compétences grammaticales de leurs étudiants. Par conséquent, les professeurs d'écriture semblent s'appuyer sur une définition plus limitée de la compétence grammaticale dans l'évaluation des textes de leurs étudiants que ce qui est défini par la littérature à ce sujet, ce qui a nécessairement un effet sur la façon d'apprendre des étudiants qui suivent des cours d'écriture. Cette thèse se termine par une discussion qui met en lumière ce qu'impliquent ces résultats et où sont émises certaines recommandations au sujet de l'évaluation en écriture dans un cours de L2.

This study was part of a larger study that investigated the effects of biliteracy instruction on 2nd-grade students' morphological awareness in English and French. In order to measure their morphological awareness, a test was designed in each of the two languages: The English and the French Morphological Awareness Test (MAT). The design of the current study aimed at answering two questions. The first one was about the components necessary to develop a viable instrument whose objective is to measure morphological awareness across languages. The second question pertains to the relationships among measures of vocabulary knowledge, phonological awareness, and morphological awareness in each language. To that end, both versions of the MAT, plus four other measures (two to assess phonological awareness in English and French and the other two to determine receptive vocabulary knowledge in each language) were administered to 72 children who were English-dominant, French-dominant, or bilingual. The concept of lexical frequency was operationalized to design three different levels of difficulty on the MAT. Examiners and coders were carefully trained to administer and score the MAT, which contained two sections, with five items in each section borrowed from earlier studies that investigated morphological awareness. These items served the purpose of determining convergent validity, whereas the measures of phonological awareness and vocabulary were used to establish discriminant validity. The results of the statistical analysis indicate high levels of reliability and validity for both versions of the MAT. / Cette étude faisait partie d'une autre investigation plus grande sur les effets que l'instruction en biliteracité de deux langues aurait sur la conscience morphologique en anglais et en français avec des élèves de 2ième année. Afin de mesurer la conscience morphologique, on a créé un test dans les deux langues qui s'appelle le Morphological Awareness Test (MAT). La conception de cette étude avait l'intention de répondre à deux questions. La première question abordait les composantes nécessaires pour développer un test pour mesurer la conscience morphologique dans différentes langues. La deuxième question concernait la relation entre un test de conscience morphologique et des tests de conscience phonologique et de la connaissance de vocabulaire dans chaque langue. C'est pour cela que les deux versions du MAT et les quatre autres tests (deux pour évaluer la conscience phonologique en anglais et en français et les deux autres pour déterminer la connaissance réceptive de vocabulaire dans chaque langue) ont été donnés à 72 enfants qui avaient différents niveaux de bilinguisme, que ce soit un niveau prédominant en anglais ou en français ou même un niveau de bilinguisme presque égal dans les deux langues. La notion de fréquence lexicale a été opérationnalisé pour élaborer trois niveaux différents de difficulté dans le MAT. Les examinateurs et les évaluateurs ont été soigneusement formés à administrer et à corriger le MAT, lequel avait deux sections, avec cinq items dans chaque section qui ont été empruntés à des études antérieures qui examinaient la conscience morphologique. Ces items ont été utilisés pour déterminer la validité convergente, tandis que les tests de vocabulaire et de conscience phonologique ont servi pour établir la validité discriminante. Les résultats de l'analyse statistique indiquent de hauts niveaux de fiabilité et de validité pour les deux versions du MAT.

<p> High stakes testing has been imbedded into state and federal accountability systems as a result of No Child Left Behind (NCLB) for over a decade. Historically, in Arizona educational accountability centered around the evaluation of schools. Arizona's school accountability system, AZLEARNS, used a combination of student proficiency, thresholds for the percent of students exceeding the standard, inter cohort growth, and individual student growth to assign school labels. These calculations were performed using student results from Arizona Instrument to Measure Standards (AIMS). Students were tested in grades three through eight and ten in Mathematics, Reading, Writing, and Science. AZLEARNS used several metrics to assign labels to public schools in Arizona. The labels ranged from Excelling to Failing and were predominately calculated using Mathematics and Reading AIMS test results. </p><p> In 2009, the Race to the Top (RTT) initiative prompted states to expand their educational accountability systems to include student achievement metrics in the evaluation of teachers and administrators. In Arizona, Senate Bill 1040 required districts to develop and implement a teacher evaluation instrument which includes 33% to 50% student achievement data. Districts were encouraged to include student performance on AIMS for teachers who directly instruct in the content areas of mathematics and reading. In addition to this shift of teacher accountability; in the 2010/2011 school year, Arizona developed the A-F School Accountability system which replaced AZLEARNS; a newly included metric in the AIMS data set, and the calculations of the letter grades in the A-F system is Student Growth Percentiles (SGP). SGPs accounted for fifty-percent of school and district grades under Arizona's A-F Accountability System. Arizona adopted a Value-Added Model (VAM) which incorporated up to three years of prior state assessment data which identified growth trajectories and assigned growth percentiles to each student. The Arizona VAM separated students into similar prior-year academic groups based on state assessments in Mathematics and Reading. Each student's SGP was calculated against only those students with similar academic performance. The A-F system used a combination of student proficiency and median growth percentiles in Mathematics and Reading AIMS scores. However, the specific usage of these metrics was not specified by SB 1040; consequently, districts throughout Arizona must decide which AIMS data to incorporate into the evaluation of teachers and administrators. This study examined a variety of calculation methodologies using student proficiency rates and SGPs in grades three through six on AIMS in a large suburban unified school district near Phoenix, Arizona to evaluate teacher effectiveness.</p>

The current study seeks to explore the washback effects of the CET (College English Test) on teacher beliefs, interpretations and practices, and in particular seeks to discover the way the 'teacher factor' is manifested in the washback phenomenon. It also investigates the pedagogical as well as the social and personal complexities influencing teachers' beliefs and interpretations and practices. This study addresses the research question: What role does the 'teacher factor' play in washback in the Chinese university context? Participants were 195 tertiary-level EFL teachers of the non-English programs. The main purpose of this study was to investigate whether tests constitute a major constraint on CE (College English) instructional innovation in China. In addition, the intent of the study was to find out what aspects pertinent to this factor (e.g., teacher beliefs, teacher knowledge, experiences) present the major barrier to the implementation of instructional change. A mixed methods approach combining both qualitative and quantitative methods of data collection and data analysis was adopted in this study. A teacher survey and in-depth case studies (through focused group/individual interviews and classroom observations) were used to collect data. Data were analyzed in two phases. Qualitative analysis involved the use of constant comparative method, while quantitative analysis in this study involved descriptive statistics (e.g., frequency counts, means, standard deviations, etc.) and inferential statistics (e.g., exploratory factor analysis, confirmatory factor analysis, and structural equation modeling). The findings from this study suggest that the CET coupled with various interrelated components of the 'teacher factor' is involved in fostering the washback effect. Given the complexities underlying the washback phenomenon, the educational change carried out in curriculum and assessment is not sufficient on its own to entail teacher change in terms of pedagogical strategies. It appears that for fundamental changes in teacher practice to occur, they must be accompanied by other changes in teachers' knowledge, beliefs, attitudes and thinking that inform such practice. The pedagogical implications from the study include (1) the need to inform EFL teachers of the purpose and benefits of tests to help them maintain a positive attitude toward the role of tests in the educational system; and (2) enhanced teacher training in how to make their teaching more truly communicative in nature. It is hoped that the issues identified in this study can serve to inform educational authorities, test designers and teachers, and serve as an impetus to upgrade EFL teaching in China. / La présente étude vise à explorer le effet de retour (washback) du test d'anglais au niveau collègiale (TAC) sur les croyances, interprétations et pratiques de l'enseignant. Elle cherche en particulier à découvrir la voie par laquelle le « facteur enseignant » est manifesté dans ce phénomène. Elle enquête aussi sur les complexités pédagogiques de même que sociales et personnelles influençant les croyances, interprétations et pratiques des enseignants. Cette étude pose la question de recherche : Quel rôle joue le 'facteur enseignant' en washback dans le contexte de l'université Chinoise? Les participants étaient 195 enseignants universitaire de l'anglais langue étrangère (ALE) des programmes non-anglais. Le propos principal de cette étude était de chercher à savoir si les tests constituent une contrainte majeure sur l'innovation d'enseignement d'anglais au niveau collègiale (AC) en Chine. De plus, l'intention de cette étude était de trouver quels aspects pertinents de ce facteur (ie., croyances de l'enseignant, connaissance et expériences de l'enseignant) présentent la barrière majeure à la mise en œuvre du changement d'instruction. Une approche de méthodes mixtes combinant à la fois les méthodes qualitative et quantitative de collection et d'analyse de données fut adoptée dans cette étude. Un sondage auprès d'enseignants et des études de cas en profondeur (à travers des entrevues individuelles et en groupes puis des observations en classes) furent utilisés pour collecter les données. Celles-ci furent analysées en deux phases. L'analyse qualitative impliquait l'utilisation d'une méthode comparative constante, tandis que l'analyse quantitative dans cette étude impliquait des statistiques descriptives (i.e., comptages de fréquence, moyens, déviations standards etc) et des statistiques déductives (i.e., analyse de facteur exploratoire, analyse de facteur confirmatoire, et modelage d'équation structurelle). Les resultats de cette étude suggèrent que le TAC couplé à diverses composantes interreliées du 'facteur enseignant' participe à engendrer le washback. Étant donné les complexités sous-jacentes a ce phénomène, le changement éducationnel apporté au curriculum et à l'évaluation n'est pas suffisant par lui-même pour entraîner un changement chez l'enseignement en termes de stratégies pédagogiques. Il apparaît que pour que les changements fondamentaux puissent avoir lieu dans la pratique des enseignants, ceux-ci doivent être accompagnés d'autres changements dans les connaissances, croyances, attitudes et pensées qui inspirent une telle pratique chez les enseignants. Les implications pédagogiques à partir de l'étude incluent (1) le besoin d'informer les enseignants de l'ALE de la raison d'être et des bénéfices des tests pour les aider à maintenir une attitude positive envers le rôle des tests dans le système d'éducation; et (2) rehausser l'entraînement des enseignants sur la manière de rendre leur enseignement véritablement plus communicatif. Il est espéré que les enjeux identifiés dans cette études puissent inspirer les autorités éducationnelles, les concepteurs de tests et les enseignants, puis servir d'élan au rehaussement de l'enseignement de l'ALE en Chine.

The concepts of justification and accountability are being promoted as a new added value in the field of language testing. Bachman and Palmer's (2010) Assessment Use Argument (AUA) provides a theoretical framework that can ensure the validity of a test. This study implements an AUA in a high-stakes context to justify the inclusion of videos in a general proficiency listening comprehension test intended for international military personnel studying English in Canada. It follows a three-phase exploratory sequential mixed methods research design. The first phase includes a needs analysis and the development of a prototype. Qualitative data was collected that provided a basis for the next phase. Phase Two includes the development of a computer-delivered video listening test, which follows each stage of test development. In the final phase, Phase 3, the test was trialled on three groups of stakeholders (test developers, teachers and students) and their perceptions of the usefulness of the videos were collected through both qualitative and quantitative methods. The results show that stakeholders perceived the videos as being helpful for comprehension and they appreciated the authenticity of the listening texts. The stakeholders also reported that the videos reduced student anxiety. These data were used as evidence for Claim 1 of the AUA, which states that the use of a test must produce beneficial consequences for the test taker. Though the present study focuses on Claim 1, it does clearly articulate the other three claims of the AUA, which refer to the Decisions, Interpretations, and Assessment Records, as explained by Bachman & Palmer (2010). / Les concepts de justification et de fiabilité sont perçus de plus en plus comme une valeur ajoutée dans le domaine de l'évaluation linguistique. Bachman et Palmer (2010) en font la démonstration dans leur cadre théorique en présentant un argument en faveur de l'utilisation de l'évaluation (Assessment Use Argument - AUA) comme moyen de valider un test. La présente étude applique cette notion (AUA) dans un contexte d'enjeux élevés afin de justifier l'inclusion de vidéos lors de l'administration d'un test de compréhension auditive de compétence générale, lequel est destiné à une clientèle militaire internationale apprenant l'anglais au Canada. Cette étude repose sur un modèle de recherche composé de méthodes mixtes s'articulant en trois phases exploratoires séquentielles. La première phase comprend une analyse de besoins et l'élaboration d'un prototype pendant laquelle des données qualitatives ont été recueillies afin de servir à la phase suivante. La deuxième phase porte sur le développement d'un test de compréhension vidéo-auditive généré par un ordinateur. Enfin, la dernière phase présente les résultats obtenus à l'aide de méthodes quantitatives et qualitatives lors de l'essai mené auprès des trois groupes de participants (élaborateurs de tests, enseignants et étudiants), c'est-à-dire leurs perceptions quant à l'utilité des vidéos. Les résultats démontrent que les vidéos ont été perçues par les participants comme étant utiles pour la compréhension et que l'authenticité des tests de compréhension auditive a été appréciée. Les participants ont également affirmé que la présence de vidéos réduisait l'anxiété des étudiants. Ces données positives ont servi à confirmer le Postulat 1 du cadre théorique (AUA) selon lequel l'utilisation d'un test doit produire des conséquences bénéfiques pour le candidat testé. Bien que le Postulat 1 soit le point focal de la présente étude, celle-ci met clairement en lumière les trois autres postulats du cadre théorique AUA de Bachman & Palmer (2010) : les décisions, les interprétations et les rapports d'évaluation.

This longitudinal study examines a change in the language of instruction for Mathematics and Science (M & S) subjects from Bahasa Malaysia (BM) to English in Malaysia. This policy, known by the acronym of PPSMI, has two objectives: to promote student learning of M & S, and also to increase students' proficiency in English. The Education Ministry also chose to create a washback effect by introducing a bilingual high-stakes secondary exit exam. / The study uses a framework which combines the perspectives offered by literature on educational change, content-based instruction (CBI) and washback in language testing to examine PPSMI. The research questions are interested in exploring upper secondary Math and Science teachers (MST) perceptions of the policy and the bilingual exams; in finding out what changes in MST classroom practices, how the changes occur and why; and also in determining what the washback effects of the bilingual exit exam are. It also looks at whether there are significant differences between urban and out-of-town MST in relation to all these aspects. A mixed methods approach is used for data collection and data analysis. / The results point to the complexity of educational change processes. They indicate that classroom implementation of this policy is affected by multiple factors such as MST's English proficiency, the language proficiency and academic ability of their students, MST beliefs about language in teaching content, MST perception of themselves as subject teachers and the school's linguistic environment. The study found that while the English SPM exams exerted a strong washback effect throughout the two-year cycle, the BM version created a washback effect specifically among out-of-town MST at the approach of the secondary exit exam. It also found that although PPSMI places the emphasis on both content and language, MST tended to focus on teaching content. The findings contribute to the literature on educational change, washback in language testing, and CBI and bilingual education. / Cette étude longitudinale examine un changement dans le langage de l'enseignement des matières Mathématique et Science (M & S) du Bahasa Malais (BM) à l'anglais en Malaisie. Cette politique connue sous l'acronyme PPSMI, a deux objectifs : promouvoir l'apprentissage des M & S chez les étudiants, et aussi améliorer leur compétence en anglais. Le Ministère de l'Éducation a aussi choisi de créer un effet de retour (washback) en introduisant des examens de sortie du secondaire (SPM) bilingue aux enjeux importants pour des éleves. / L'étude utilise un cadre de travail qui combine les perspectives offertes par la littérature sur le changement éducationnel, enseignement de langue basé sur le contenu (CBI) et washback en test de langage pour examiner le PPSMI. Les questions de la recherche visent à explorer les perceptions des enseignants de Mathématique et de Science (EMS) du haut secondaire quant à ladite politique et aux examens bilingues; pour trouver ce qui change dans les pratiques des (EMS), comment les changements surviennent et pourquoi; et aussi déterminer quels sont les effets washback de l'examen de sortie bilingue. L'étude regarde aussi s'il existe des différences significatives en relations avec tous ces aspects entre EMS urbains et en régions. Une approche de méthodes mixtes est utilisée pour la collecte et l'analyse de données. / Les résultats mettent en relief la complexité du processus de changement éducationnel. Ils indiquent que la mise en oeuvre en classe de la politique est affectée par de multiples facteurs tels que la compétence des EMS; la capacité langagière et l'habilité académique de leurs étudiants; les croyances des EMS regardant la langue dans l'enseignement du contenu; la perception d'eux-mêmes des EMS comme enseignants de sujets et l'environnement linguistique de l'école. L'étude démontre qu'alors que la version anglais du SPM faisaient usage d'un fort effet washback tout au long du cycle de deux ans, la version BM créa un effet washback spécifiquement parmi les EMS en régions à l'approche du examen de sortie. Elle fait aussi valoir que tandis que le PPSMI mettait l'emphase sur les deux : contenu et langue, des EMS tendaient à se concentrer sur l'enseignement du contenu. Ces trouvailles contribuent à la littérature sur le changement éducationnel, sur le washback dans les tests de langues, CBI et l'éducation bilingue.