Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.
| Identifer | oai:union.ndltd.org:IBICT/oai:lume56.ufrgs.br:10183/16900 |
| Date | January 2009 |
| Creators | Schoffen, Juliana Roquele |
| Contributors | Schlatter, Margarete |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/doctoralThesis |
| Format | application/pdf |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da UFRGS, instname:Universidade Federal do Rio Grande do Sul, instacron:UFRGS |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.003 seconds