在評量學生的寫作能力時，通常採用直接測驗。然而，四技二專統一入學測驗英文專業考科卻採用間接測驗，來評量應用外語科學生的英文寫作能力。本研究旨在檢視專業考科之效力，並研究如何改進現行的考試方式。 為了達成該研究目的，119位應用外語科三年級學生參與本研究。本研究間接測驗試題採用四技二專統一入學測驗英文專業考科，直接測驗試題採用看圖寫作，以檢視專業考科與直接寫作成績之間的相關性。此外本研究使用問卷以調查學生對直接與間接寫作測驗的看法。 結果顯示，專業考科與看圖寫作之間呈現中度相關，表示該專業考科在某種程度上，能顯示出受試者的直接寫作能力。在四個大題中，段落組成及段落語意不連貫句子挑選與看圖寫作呈現中度相關，因此，這兩個大題較能顯示出受試者的直接寫作能力。 然而，問卷調查結果發現，受試者運用篇章結構的知識來完成間接測驗。但是，卻沒有運用相同的概念於直接測驗中。此種現象可能是因為傳統的寫作教學方式著重在文法分析及單字教學。因此，四技二專統一入學測驗的英文專業考科應同時施測直接與間接測驗，以期對英文寫作教學產生正面的回衝效應。 / Direct writing assessment is usually employed to evaluate students’ writing proficiency. However, the Technological and Vocational Education (TVE) Joint College Entrance Exam adopts indirect writing assessment to assess students from Department of Applied Foreign Languages (DAFL) in English Professional Subject (EPS). The purpose of the present paper is to examine the effectiveness of the EPS indirect writing test and how the current practice can be improved. For serving the purpose, a total of 119 third-year DAFL students participated in the study. The researcher uses indirect writing assessment, the EPS indirect writing test, and direct writing assessment, a picture writing task, as the testing instruments to examine the correlation between the two writing measures. Moreover, questionnaires are used to investigate the participants’ perceptions of the two writing tasks. Results indicated that the EPS multiple-choice writing test and the picture writing task exhibited a moderate correlation, suggesting the indirect test could, at least in part, serve as a good indication of the students’ writing competence in direct writing. Results also showed that sentence insertion (SI) and sentence deletion (SD), among the four subtests, moderately correlated with the direct writing task. The two subtests could thus be depended on as a better indication of the participants’ direct writing proficiency. Nevertheless, questionnaire findings displayed that the students applied discourse-level knowledge in the indirect test. Nonetheless, the same concept was not applied to the direct task probably because of the traditional teaching approach to English writing, focusing on grammar analysis and vocabulary teaching. Therefore, the two writing tasks should be combined in the entrance exam to produce positive washback effect on writing instruction.

Au niveau méthodologique, ce travail innove en combinant plusieurs moyens d'observation complémentaires sur le processus d'écriture et sur le processus de correction. Les observations qualitatives ainsi recueillies sont retranscrites en les combinant selon l'ordre chronologique d'apparition, puis elles sont traitées et analysées sous le logiciel QDA Miner. / De nos jours, la compétence à écrire ne se limite plus aux habiletés développées dans l’usage du papier-crayon traditionnel. Le traitement de texte est omniprésent et tend à devenir indispensable à l’individu dans les situations authentiques d’écriture. Évaluer la compétence à écrire uniquement sur la base de productions manuscrites suscite alors des interrogations pour des raisons d’authenticité et de validité dans la perspective de Messick (1989). Des études ont du reste révélé que les élèves habitués à l’ordinateur ont de meilleures performances en modalité informatisée (traitement de texte) qu’en modalité manuscrite (Russell et Haney, 2000). Il convient cependant de mieux connaître les deux modalités d’évaluation, l’une par rapport à l’autre. Le processus d’écriture est-il modifié chez le scripteur ? Les conditions de passation sont-elles équivalentes? Faut-il désactiver les correcticiels? Le processus de correction se déroule-t-il de la même manière chez l’enseignant ? Les deux modalités d’évaluation conduisent-elles à des résultats équivalents ? Ce sont là des questions de recherche au centre du présent travail qui a pour objectif de faire une comparaison entre modalités d’évaluation manuscrite et informatisée à l’aide de productions écrites d’élèves de cinquième année secondaire au Québec. Le cadre théorique repose sur deux concepts-clés : processus d’écriture et évaluation de l’écrit. La méthode adoptée est à la fois quantitative et qualitative. Deux tâches d’écriture déjà retenues à l’épreuve unique d’écriture en français du MELS ont été utilisées pour administrer respectivement un test en modalité informatisée et un autre en modalité manuscrite à 127 élèves provenant de deux écoles. Dans la première, il s’agit d’un programme ordinaire avec accès aux TIC. Les correcticiels y étaient désactivés. Dans la deuxième, il s’agit d’un programme favorisant particulièrement les TIC dans l’apprentissage. Dans ce groupe, les correcticiels étaient accessibles. Trois scripteurs étaient observés en modalité informatisée et deux en modalité manuscrite. Les moyens utilisés (verbalisation et caméra vidéo pour les deux modalités, capteur d’écran en plus pour la modalité informatisée) permettaient de recueillir des observations sur le processus d’écriture. En outre, pour recueillir des observations sur le processus de correction, grâce à la verbalisation et une caméra vidéo, deux enseignants étaient observés en cours de tâche en modalité de correction papier-imprimé, un autre correcteur en modalité de correction à l’écran et tous les trois en modalité papier-manuscrit. Des observations qualitatives sur les stratégies d’écriture et de correction étaient ainsi collectées puis retranscrites. Les scores attribués par les mêmes correcteurs en appliquant la grille de correction du MELS aux 254 copies (127 manuscrites, 77 imprimées et 50 à l’écran) ont été analysés. D’abord, l’analyse des observations recueillies sur le processus d’écriture révèle des stratégies déployées exclusivement en modalité informatisée et des stratégies qui y sont plus fréquentes. Ces stratégies relevant de sous-processus différents, la fréquence de leur déploiement en modalité informatisée implique des va-et-vient plus fréquents entre sous-processus distincts lorsque le scripteur utilise le traitement de texte. On peut alors déduire que le caractère récursif du processus rédactionnel est plus marqué en modalité informatisée. Ensuite, les résultats de l’analyse des données sur le processus de correction révèlent que : 1) Le correcteur identifie non seulement les erreurs, mais aussi les éléments pertinents positifs, ce qui remet en cause les cadres conceptuels antérieurs focalisés sur la détection des seules erreurs; 2) La modalité de correction n’a pas d’effet sur les stratégies d’identification d’éléments pertinents, mais les stratégies de rétroaction varient d’une modalité de correction à l’autre. Enfin, au niveau de la comparabilité des scores, l’analyse statistique suggère que : 1) La modalité de production et le programme de formation ont un effet; 2) l’activation des correcticiels a un effet positif faible alors que leur désactivation a un effet négatif important. / Writing skills are no longer limited to those developed in performing paper-and-pencil tasks. Word processing is ubiquitous and becomes indispensable in writing authentic situations. In Messick (1989) perspective, writing assessment that is based on handwritten documents raises authenticity and validity problems. For instance, some studies have revealed that students who use to write with a computer perform better in word processing test conditions than on handwriting conditions (Russell and Haney, 2000). We need to better understand the impact of using a computer for a test as opposed to administering paper-and-pencil test: Is the writing process modified? Are the testing conditions equivalent? Should spell and grammar check software be disabled? Is the assessment process different when the reader has to rate in different modes of presentation - handwritten essays or word processed essays that are either printed or displayed on the screen? Do both assessment methods lead to equivalent results? The purpose of this study is to compare Grade 11 Quebec students’ writing assessments based on essays written with a computer versus handwritten essays. The conceptual framework is built on the concepts of Writing process and Writing assessment. The approach is both quantitative and qualitative. Two writing tasks previously used in the Grade 11MELS French writing exam were used to administer a test with a computer and a paper-and-pencil test. The sample consisted of 127 students from two schools. In the first school, students are enrolled in a regular program with access to ICTs and the spell and grammar check software was disabled. In the second school, ICT use is fully integrated in teaching and learning. In this group, the spell and grammar check software was available. Three writers were observed in the computer mode and two in the handwritten mode. Observations on the writing process were collected in three ways - verbalization and video camera for both modes, screen capture added in computerized mode. In addition, to collect data on the assessment process, the three teachers were observed during the rating task by two means (think-aloud and video camera) in different modes of presentation: two assessed a set of paper essays, one a set of paper that were displayed on the screen and three a set of manuscript essays. Qualitative observations on the writing process and the assessment process were collected and transcribed. Quantitative data consisted of scores given by the three raters using the MELS correction grid. 254 essays (127 handwritten, 77 word-processed and printed, 50 word-processed and displayed on the screen), were analyzed. First, the analysis of the qualitative data on the writing process revealed that some strategies from different writing sub-processes involved in word processing are used exclusively or more frequently when the writer uses a computer. Their application means moving more frequently between different sub-processes when the writer uses the word processor. Therefore, the writing process is more recursive with word processing. Then, the analysis of the quantitative data on assessment process revealed that : 1) the teacher not only identifies errors and problems in text; he also identifies positive features in the essay. This is important because previous frameworks focused on the errors detection; 2) The difference in the mode of presentation does not influence rater’s strategies in the detection of relevant features. Finally, as far as the comparability of scores is concerned, the statistical analysis revealed that: 1) Both the way an essay is produced (word processing or handwriting) and the type of program influence the outcome; 2) Enabling the spell and grammar check software seems to has a small impact whereas disabling it has an important impact.

De nos jours, la compétence à écrire ne se limite plus aux habiletés développées dans l’usage du papier-crayon traditionnel. Le traitement de texte est omniprésent et tend à devenir indispensable à l’individu dans les situations authentiques d’écriture. Évaluer la compétence à écrire uniquement sur la base de productions manuscrites suscite alors des interrogations pour des raisons d’authenticité et de validité dans la perspective de Messick (1989). Des études ont du reste révélé que les élèves habitués à l’ordinateur ont de meilleures performances en modalité informatisée (traitement de texte) qu’en modalité manuscrite (Russell et Haney, 2000). Il convient cependant de mieux connaître les deux modalités d’évaluation, l’une par rapport à l’autre. Le processus d’écriture est-il modifié chez le scripteur ? Les conditions de passation sont-elles équivalentes? Faut-il désactiver les correcticiels? Le processus de correction se déroule-t-il de la même manière chez l’enseignant ? Les deux modalités d’évaluation conduisent-elles à des résultats équivalents ? Ce sont là des questions de recherche au centre du présent travail qui a pour objectif de faire une comparaison entre modalités d’évaluation manuscrite et informatisée à l’aide de productions écrites d’élèves de cinquième année secondaire au Québec. Le cadre théorique repose sur deux concepts-clés : processus d’écriture et évaluation de l’écrit. La méthode adoptée est à la fois quantitative et qualitative. Deux tâches d’écriture déjà retenues à l’épreuve unique d’écriture en français du MELS ont été utilisées pour administrer respectivement un test en modalité informatisée et un autre en modalité manuscrite à 127 élèves provenant de deux écoles. Dans la première, il s’agit d’un programme ordinaire avec accès aux TIC. Les correcticiels y étaient désactivés. Dans la deuxième, il s’agit d’un programme favorisant particulièrement les TIC dans l’apprentissage. Dans ce groupe, les correcticiels étaient accessibles. Trois scripteurs étaient observés en modalité informatisée et deux en modalité manuscrite. Les moyens utilisés (verbalisation et caméra vidéo pour les deux modalités, capteur d’écran en plus pour la modalité informatisée) permettaient de recueillir des observations sur le processus d’écriture. En outre, pour recueillir des observations sur le processus de correction, grâce à la verbalisation et une caméra vidéo, deux enseignants étaient observés en cours de tâche en modalité de correction papier-imprimé, un autre correcteur en modalité de correction à l’écran et tous les trois en modalité papier-manuscrit. Des observations qualitatives sur les stratégies d’écriture et de correction étaient ainsi collectées puis retranscrites. Les scores attribués par les mêmes correcteurs en appliquant la grille de correction du MELS aux 254 copies (127 manuscrites, 77 imprimées et 50 à l’écran) ont été analysés. D’abord, l’analyse des observations recueillies sur le processus d’écriture révèle des stratégies déployées exclusivement en modalité informatisée et des stratégies qui y sont plus fréquentes. Ces stratégies relevant de sous-processus différents, la fréquence de leur déploiement en modalité informatisée implique des va-et-vient plus fréquents entre sous-processus distincts lorsque le scripteur utilise le traitement de texte. On peut alors déduire que le caractère récursif du processus rédactionnel est plus marqué en modalité informatisée. Ensuite, les résultats de l’analyse des données sur le processus de correction révèlent que : 1) Le correcteur identifie non seulement les erreurs, mais aussi les éléments pertinents positifs, ce qui remet en cause les cadres conceptuels antérieurs focalisés sur la détection des seules erreurs; 2) La modalité de correction n’a pas d’effet sur les stratégies d’identification d’éléments pertinents, mais les stratégies de rétroaction varient d’une modalité de correction à l’autre. Enfin, au niveau de la comparabilité des scores, l’analyse statistique suggère que : 1) La modalité de production et le programme de formation ont un effet; 2) l’activation des correcticiels a un effet positif faible alors que leur désactivation a un effet négatif important. / Writing skills are no longer limited to those developed in performing paper-and-pencil tasks. Word processing is ubiquitous and becomes indispensable in writing authentic situations. In Messick (1989) perspective, writing assessment that is based on handwritten documents raises authenticity and validity problems. For instance, some studies have revealed that students who use to write with a computer perform better in word processing test conditions than on handwriting conditions (Russell and Haney, 2000). We need to better understand the impact of using a computer for a test as opposed to administering paper-and-pencil test: Is the writing process modified? Are the testing conditions equivalent? Should spell and grammar check software be disabled? Is the assessment process different when the reader has to rate in different modes of presentation - handwritten essays or word processed essays that are either printed or displayed on the screen? Do both assessment methods lead to equivalent results? The purpose of this study is to compare Grade 11 Quebec students’ writing assessments based on essays written with a computer versus handwritten essays. The conceptual framework is built on the concepts of Writing process and Writing assessment. The approach is both quantitative and qualitative. Two writing tasks previously used in the Grade 11MELS French writing exam were used to administer a test with a computer and a paper-and-pencil test. The sample consisted of 127 students from two schools. In the first school, students are enrolled in a regular program with access to ICTs and the spell and grammar check software was disabled. In the second school, ICT use is fully integrated in teaching and learning. In this group, the spell and grammar check software was available. Three writers were observed in the computer mode and two in the handwritten mode. Observations on the writing process were collected in three ways - verbalization and video camera for both modes, screen capture added in computerized mode. In addition, to collect data on the assessment process, the three teachers were observed during the rating task by two means (think-aloud and video camera) in different modes of presentation: two assessed a set of paper essays, one a set of paper that were displayed on the screen and three a set of manuscript essays. Qualitative observations on the writing process and the assessment process were collected and transcribed. Quantitative data consisted of scores given by the three raters using the MELS correction grid. 254 essays (127 handwritten, 77 word-processed and printed, 50 word-processed and displayed on the screen), were analyzed. First, the analysis of the qualitative data on the writing process revealed that some strategies from different writing sub-processes involved in word processing are used exclusively or more frequently when the writer uses a computer. Their application means moving more frequently between different sub-processes when the writer uses the word processor. Therefore, the writing process is more recursive with word processing. Then, the analysis of the quantitative data on assessment process revealed that : 1) the teacher not only identifies errors and problems in text; he also identifies positive features in the essay. This is important because previous frameworks focused on the errors detection; 2) The difference in the mode of presentation does not influence rater’s strategies in the detection of relevant features. Finally, as far as the comparability of scores is concerned, the statistical analysis revealed that: 1) Both the way an essay is produced (word processing or handwriting) and the type of program influence the outcome; 2) Enabling the spell and grammar check software seems to has a small impact whereas disabling it has an important impact. / Au niveau méthodologique, ce travail innove en combinant plusieurs moyens d'observation complémentaires sur le processus d'écriture et sur le processus de correction. Les observations qualitatives ainsi recueillies sont retranscrites en les combinant selon l'ordre chronologique d'apparition, puis elles sont traitées et analysées sous le logiciel QDA Miner.

The dissertation thesis is focused on feedback on writing in English lessons, and describes its character and pupil's perception of its comprehensibility. The theoretical part defines feedback as a tool of pedagogical communication, which informs the pupil about the possibilities of improvement and progress and thus shapes pupil's development within the learning process as well as pupil's personality development. The topic of feedback is presented in the context of school assessment and teaching of writing, the issue of error is mentioned as the basis for corrective feedback and an incentive for learning. Also, writing and the specifics of its assessment are discussed. The empirical part, using the qualitative design of the multi-case study, builds on the data obtained by the interviews and the content analysis of the documents. The four case studies of teachers and their pupils illustrate how teachers and pupils perceive (corrective) feedback as a tool of pedagogical communication providing information on the possibilities of improvement and progress. The feedback on writing takes the form of grading (analytical rubrics), corrective feedback in the form of marking mistakes and problematic places in the work, written comments and oral comments when teachers hand the papers over. Pupils see feedback...

<p>In an era of widespread automation—from grocery store self-checkout machines to self-driving cars—it is not outrageous to wonder: can teachers be automated? And more specifically, can automated computer teachers instruct students how to write? Automated computer programs have long been used in summative writing evaluation efforts, such as scoring standardized essay exams, ranking placement essays, or facilitating programmatic outcomes assessments. However, new claims about automated writing evaluation’s (AWE) formative educational potential mark a significant shift. My project questions the effectiveness of using AWE technology for formative educational efforts such as improving and teaching writing. Taken seriously, these efforts portend a future embrace of semi, or even fully, automated writing classes, an unprecedented development in writing pedagogy.</p><p>Supported by a summer-long grant from the Purdue Research Foundation, I conducted a small-<i>n </i>quasi-experiment to test claims by online college tutoring site Chegg.com that its EasyBib Plus AWE tool can improve both writing and writers. The experiment involved four college English instructors reading pairs of essays comprising one AWE-treated and untreated version per pair. Using a comparative judgment model, a rubric-free method of writing assessment based on Thurstone’s law, raters read and designated one of each pair “better.” Across four raters and 160 essays, I found that AWE-treated essays were designated better only 30% of the time (95% confidence interval: 20-40%), a statistically significant difference from the null hypothesis of 50%. The results suggest that Chegg’s EasyBib Plus tool offers no discernible improvement to student writing, and potentially even worsens it.</p><p>Finally, I analyze Chegg’s recent partnership with the Purdue Writing Lab and Online Writing Lab (OWL). The Purdue-Chegg partnership offers a useful test case for anticipating the effects of higher education’s embrace of automated educational technology going forward. Drawing on the history of writing assessment and the results of the experiment, I argue against using AWE for formative writing instruction. In an era of growing automation, I maintain that a human-centered pedagogy remains one of the most durable, important, effective, and transformative ingredients of a quality education.</p>

For 25 years, I have worked in a high school education system, where for the final 2 years of schooling, teachers at each school write their own programs of work and write their own assessment items. They then mark and report on this assessment. There are no final public statewide exams, and as an outcome students right throughout the State are ranked for University entry. What follows is an exploration into the procedures that are put in place to ensure that each and every student is treated fairly and equitably. I will discuss the various levels of moderation that take place between schools, the processes that aid in keeping a level playing field for all concerned.

No description available.