O presente estudo tem como objetivo verificar os aspectos determinantes da complexidade no desempenho das tarefas integradas de leitura e produção textual do Exame de Proficiência em Língua Portuguesa (Celpe-Bras). Nesse exame, o uso da língua portuguesa é testado através de tarefas que propõem uma situação comunicativa a ser simulada, e o desempenho é avaliado de acordo com a adequação ao gênero discursivo de cada tarefa. A análise das tarefas, neste trabalho, foi feita com base na perspectiva bakhtiniana de gênero do discurso. O corpus foi composto de quatro tarefas integradas de leitura e produção textual e amostras de quarenta e quatro produçõesresposta a cada tarefa. A análise focalizou as características do enunciado das tarefas, que estabelece uma situação interlocutiva e orienta para os propósitos de leitura e de escrita, as grades de avaliação e os desempenhos dos participantes. Os resultados do estudo sugerem que a complexidade não é um atributo apenas da tarefa em si, mas sim da relação entre tarefa-participante-avaliação. É a partir das características da situação interlocutiva estabelecida (papéis interlocutivos, propósito, assunto e suporte da interlocução) que os participantes (candidatos e avaliadores) se engajam na atividade por meio da linguagem, e que os critérios para a avaliação das interações são delimitados. Por serem vários os fatores que influenciam no desempenho dos participantes e pelo fato de o desempenho resultar da interação tarefa-participanteavaliação, não há como garantir uma previsibilidade da complexidade. Pôde-se observar, no entanto, que quanto mais claro o enunciado da tarefa em relação à situação interlocutiva proposta, maior a possibilidade de coerência dos critérios de avaliação utilizados para o uso da língua proposto e maior a possibilidade de descrever desempenhos esperados. Com base nessa análise, são delineadas algumas orientações para a construção de tarefas que possam conferir maior validade a um exame de desempenho com as características do Celpe-Bras. / The present study has the objective of verifying the aspects that determine the complexity of tasks that integrate reading and writing in the Portuguese Proficiency Exam (Celpe-Bras). In this exam, the use of Portuguese is tested through tasks that propose different reading and writing situations, and the performance is assessed according to the adequacy to the communicative context proposed by the discourse genre of the task. The analysis of the tasks, in this work, was made based on the Bakhtinian concept of discourse genre. The corpus was composed of four tasks integrating reading and writing and samples of forty-four reply-productions to each task. The aspects analysed included the characteristics of the tasks, the assessment criteria and the participants' performance, The results of the study suggest that task complexity results not only from the task itself, but also from the interaction taskparticipant- assessment. The characteristics of the rubrics, which establish the purposes of reading and writing, and the interlocutory situation (interlocutory roles, purpose, topic and media), orient the participants' (candidates' and assessors') engaging in different language activities and the establisment of task assessment criteria Considering that the factors that influence the candidates' performance are multiple and varied and that their performance results from the interaction task-participantassessment, task complexity can not be predicted and determined in advance. Nevertheless, the analysis suggests that the clarity of the rubrics in terms of the interlocutory situation proposed can enhance the coherence of the assessment criteria to the language use proposed and improve the description of expected performances. Based on these results, some guidelines for the desinging of tasks that integrate reading and writing are proposed in order to contribute to the validity of performance examinations such as Celpe-Bras.

Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.

O presente estudo tem como objetivo verificar os aspectos determinantes da complexidade no desempenho das tarefas integradas de leitura e produção textual do Exame de Proficiência em Língua Portuguesa (Celpe-Bras). Nesse exame, o uso da língua portuguesa é testado através de tarefas que propõem uma situação comunicativa a ser simulada, e o desempenho é avaliado de acordo com a adequação ao gênero discursivo de cada tarefa. A análise das tarefas, neste trabalho, foi feita com base na perspectiva bakhtiniana de gênero do discurso. O corpus foi composto de quatro tarefas integradas de leitura e produção textual e amostras de quarenta e quatro produçõesresposta a cada tarefa. A análise focalizou as características do enunciado das tarefas, que estabelece uma situação interlocutiva e orienta para os propósitos de leitura e de escrita, as grades de avaliação e os desempenhos dos participantes. Os resultados do estudo sugerem que a complexidade não é um atributo apenas da tarefa em si, mas sim da relação entre tarefa-participante-avaliação. É a partir das características da situação interlocutiva estabelecida (papéis interlocutivos, propósito, assunto e suporte da interlocução) que os participantes (candidatos e avaliadores) se engajam na atividade por meio da linguagem, e que os critérios para a avaliação das interações são delimitados. Por serem vários os fatores que influenciam no desempenho dos participantes e pelo fato de o desempenho resultar da interação tarefa-participanteavaliação, não há como garantir uma previsibilidade da complexidade. Pôde-se observar, no entanto, que quanto mais claro o enunciado da tarefa em relação à situação interlocutiva proposta, maior a possibilidade de coerência dos critérios de avaliação utilizados para o uso da língua proposto e maior a possibilidade de descrever desempenhos esperados. Com base nessa análise, são delineadas algumas orientações para a construção de tarefas que possam conferir maior validade a um exame de desempenho com as características do Celpe-Bras. / The present study has the objective of verifying the aspects that determine the complexity of tasks that integrate reading and writing in the Portuguese Proficiency Exam (Celpe-Bras). In this exam, the use of Portuguese is tested through tasks that propose different reading and writing situations, and the performance is assessed according to the adequacy to the communicative context proposed by the discourse genre of the task. The analysis of the tasks, in this work, was made based on the Bakhtinian concept of discourse genre. The corpus was composed of four tasks integrating reading and writing and samples of forty-four reply-productions to each task. The aspects analysed included the characteristics of the tasks, the assessment criteria and the participants' performance, The results of the study suggest that task complexity results not only from the task itself, but also from the interaction taskparticipant- assessment. The characteristics of the rubrics, which establish the purposes of reading and writing, and the interlocutory situation (interlocutory roles, purpose, topic and media), orient the participants' (candidates' and assessors') engaging in different language activities and the establisment of task assessment criteria Considering that the factors that influence the candidates' performance are multiple and varied and that their performance results from the interaction task-participantassessment, task complexity can not be predicted and determined in advance. Nevertheless, the analysis suggests that the clarity of the rubrics in terms of the interlocutory situation proposed can enhance the coherence of the assessment criteria to the language use proposed and improve the description of expected performances. Based on these results, some guidelines for the desinging of tasks that integrate reading and writing are proposed in order to contribute to the validity of performance examinations such as Celpe-Bras.

Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.

O presente estudo tem como objetivo verificar os aspectos determinantes da complexidade no desempenho das tarefas integradas de leitura e produção textual do Exame de Proficiência em Língua Portuguesa (Celpe-Bras). Nesse exame, o uso da língua portuguesa é testado através de tarefas que propõem uma situação comunicativa a ser simulada, e o desempenho é avaliado de acordo com a adequação ao gênero discursivo de cada tarefa. A análise das tarefas, neste trabalho, foi feita com base na perspectiva bakhtiniana de gênero do discurso. O corpus foi composto de quatro tarefas integradas de leitura e produção textual e amostras de quarenta e quatro produçõesresposta a cada tarefa. A análise focalizou as características do enunciado das tarefas, que estabelece uma situação interlocutiva e orienta para os propósitos de leitura e de escrita, as grades de avaliação e os desempenhos dos participantes. Os resultados do estudo sugerem que a complexidade não é um atributo apenas da tarefa em si, mas sim da relação entre tarefa-participante-avaliação. É a partir das características da situação interlocutiva estabelecida (papéis interlocutivos, propósito, assunto e suporte da interlocução) que os participantes (candidatos e avaliadores) se engajam na atividade por meio da linguagem, e que os critérios para a avaliação das interações são delimitados. Por serem vários os fatores que influenciam no desempenho dos participantes e pelo fato de o desempenho resultar da interação tarefa-participanteavaliação, não há como garantir uma previsibilidade da complexidade. Pôde-se observar, no entanto, que quanto mais claro o enunciado da tarefa em relação à situação interlocutiva proposta, maior a possibilidade de coerência dos critérios de avaliação utilizados para o uso da língua proposto e maior a possibilidade de descrever desempenhos esperados. Com base nessa análise, são delineadas algumas orientações para a construção de tarefas que possam conferir maior validade a um exame de desempenho com as características do Celpe-Bras. / The present study has the objective of verifying the aspects that determine the complexity of tasks that integrate reading and writing in the Portuguese Proficiency Exam (Celpe-Bras). In this exam, the use of Portuguese is tested through tasks that propose different reading and writing situations, and the performance is assessed according to the adequacy to the communicative context proposed by the discourse genre of the task. The analysis of the tasks, in this work, was made based on the Bakhtinian concept of discourse genre. The corpus was composed of four tasks integrating reading and writing and samples of forty-four reply-productions to each task. The aspects analysed included the characteristics of the tasks, the assessment criteria and the participants' performance, The results of the study suggest that task complexity results not only from the task itself, but also from the interaction taskparticipant- assessment. The characteristics of the rubrics, which establish the purposes of reading and writing, and the interlocutory situation (interlocutory roles, purpose, topic and media), orient the participants' (candidates' and assessors') engaging in different language activities and the establisment of task assessment criteria Considering that the factors that influence the candidates' performance are multiple and varied and that their performance results from the interaction task-participantassessment, task complexity can not be predicted and determined in advance. Nevertheless, the analysis suggests that the clarity of the rubrics in terms of the interlocutory situation proposed can enhance the coherence of the assessment criteria to the language use proposed and improve the description of expected performances. Based on these results, some guidelines for the desinging of tasks that integrate reading and writing are proposed in order to contribute to the validity of performance examinations such as Celpe-Bras.

Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.

Orientador: Matilde Virginia Ricardi Scaramucci / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Estudos da Linguagem / Made available in DSpace on 2018-08-08T08:02:19Z (GMT). No. of bitstreams: 1 Sakamori_Lieko_M.pdf: 4652152 bytes, checksum: 01ece6f13ebe9edd19d0975b09271a35 (MD5) Previous issue date: 2006 / Resumo: A confiabilidade é um aspecto fundamental da avaliação. Um teste é considerado confiável quando não há variáveis que possam afetar a avaliação do desempenho do candidato. Elas podem estar relacionadas às condições de aplicação do teste, ou à atuação dos entrevistadores. No entanto, no caso das avaliações orais como as interações face a face, em que o candidato interage com o entrevistador, o controle da confiabilidade se torna mais difícil, já que as interações envolvem inúmeras variáveis. Para controlar essas variáveis, formam-se entrevistadores e elaboram-se procedimentos, regras e critérios de avaliação. Mesmo assim, podem existir variáveis que não foram previstas em relação às interações. O objetivo deste trabalho é fazer uma análise da atuação dos entrevistadores na interação face a face do exame Celpe-Bras (Certificado de Proficiência em Língua Portuguesa para Estrangeiros). Esse exame, desenvolvido pelo Ministério da Educação do Brasil e em uso desde 1998, certifica os candidatos estrangeiros em quatro níveis: Intermediário, Intermediário Superior, Avançado e Avançado Superior. Ele é composto de duas partes, uma prova escrita e outra oral. A avaliação oral é uma interação face a face, com duração de 20 minutos. O candidato é avaliado por um entrevistador e um observador. Os resultados do estudo mostraram que houve variações em relação à atuação dos entrevistadores, podendo ser consideradas colaborativas e/ou não colaborativas. Espera-se que este trabalho possa contribuir para um maior entendimento das avaliações orais em geral, e mais especificamente, servir de subsídio para o aprimoramento do Manual do Entrevistador do exame Celpe-Bras / Abstract: Reliability is a fundamental concept in assessment. A test is considered to be reliable when there are no variables that can affect the candidate¿s performance assessment. They can be related to the conditions of test application or interviewer¿s performance. However, in the case of oral assessments such as face to face interactions, in which the candidate interacts with an interviewer, the control of reliability becomes more difficult, since the interactions will involve many variables. In order to control those variables, interviewers are trained and test procedures, rules and criteria are elaborated. Even though, there can be variables that were not predicted to the interactions. The aim of this work is to analyze interviewers¿ performance in face to face interaction of Celpe-Bras examination (Proficiency in Portuguese as a Foreign Language). This examination, developed by the Ministry of Brazilian Education and in use since 1998, certifies foreign candidates in four levels: Intermediate, High Intermediate, Advanced and High Advanced. It has two parts, a writing test and a speaking one. The oral test is a 20 minutes face to face interaction. The candidate is evaluated by an interviewer and an observer. The results of this study pointed that there were variations concerning interviewers¿ performance, which could be considered collaborative and/or non-collaborative. It is expected that this work can contribute to a better understanding of oral evaluations in general, and more specifically, to serve as subsidy to the improvement of Interviewer¿s Manual of Celpe-Bras examination / Mestrado / Lingua Estrangeira / Mestre em Linguística Aplicada

O presente trabalho visa a analisar a preparação de alunos chineses para o exame Celpe-Bras, com o intuito de investigar se há efeito retroativo do exame nesse processo. Para tanto, foi desenvolvida uma pesquisa qualitativa da qual participaram três alunas chinesas e dois professores de um curso preparatório para o Celpe-Bras, no qual elas participaram. O estudo focaliza as atividades desenvolvidas no curso e as atividades extraclasse realizadas pelas alunas para preparar-se para o exame. Os dados para a pesquisa foram gerados pela observação de oito aulas do curso preparatório e pelo acompanhamento das alunas em atividades extraclasse. Além disso, foram feitas oito entrevistas com as alunas e duas com os professores, e os textos produzidos nas aulas foram analisados em relação ao feedback dos professores e à compreensão das alunas quanto às orientação recebidas. A análise dos resultados permite afirmar que as orientações do curso preparatório são coerentes com os pressupostos teóricos que subjazem ao exame e que focalizam principalmente o critério de correção adequação contextual, que operacionaliza a noção de proficiência do exame: uso da linguagem para agir no mundo. Essa orientação contribuiu especialmente para aprimorar a compreensão oral e a organização das produções escritas das alunas. A pesquisa também sugere que a percepção das alunas sobre a maneira de aprender uma língua modificou-se durante a preparação para o exame: sua compreensão da perspectiva de proficiência como uso da linguagem e sua busca por lidar com textos autênticos também na vida cotidiana, como preparação para o exame, sugerem um efeito retroativo positivo do Celpe-Bras na trajetória de aprendizagem de língua portuguesa dessas alunas. Os resultados desta pesquisa contribuem para o debate sobre o efeito retroativo de exames de desempenho, para a elaboração de cursos preparatórios para o exame Celpe-Bras e para a organização de currículos de ensino que tenham como objetivo o uso da linguagem. / The aim of this study is to analyze the preparation of Chinese students for the Celpe-Bras proficiency exam and discuss the washback effects of the exam on this process. A qualitative research was carried out with three Chinese students and two teachers of a cram course taken by these students. The study focuses on the activities developed by the prep course and the extra class activities carried out by the students to prepare for the exam. The data include the observation of eight classes of the cram course and of the students’ extra class activities, eight interviews with the students and two with the teachers, and the texts produced by the students, which were analyzed with respect to the teachers’ feedback and to the students’ understanding of the guidance they received during the prep course. The results suggest that the guidelines of the prep course are consistent with the construct of the exam and focus mainly on the correction criterion ‘adequacy to context’, which operationalizes the underlying concept of language proficiency of the exam: the adequate use of the language to perform actions in the world. The course guidelines contributed especially to improve the students’ listening and writing skills. In addition, the students’ perceptions of their language learning process changed during the preparation for the exam: their understanding of the language proficiency concept ‘use of language’ and their search for reading and listening to authentic texts, also in their daily lives, to prepare for the exam suggest a positive washback effect of the Celpe-Bras on these students’ Portuguese learning process. The results of this research contribute to the debate on the washback effects of performance tests, to the elaboration of cram courses for the Celpe-Bras exam, and to the organization of educational curricula that aim at developing the use of language.

O presente trabalho visa a analisar a preparação de alunos chineses para o exame Celpe-Bras, com o intuito de investigar se há efeito retroativo do exame nesse processo. Para tanto, foi desenvolvida uma pesquisa qualitativa da qual participaram três alunas chinesas e dois professores de um curso preparatório para o Celpe-Bras, no qual elas participaram. O estudo focaliza as atividades desenvolvidas no curso e as atividades extraclasse realizadas pelas alunas para preparar-se para o exame. Os dados para a pesquisa foram gerados pela observação de oito aulas do curso preparatório e pelo acompanhamento das alunas em atividades extraclasse. Além disso, foram feitas oito entrevistas com as alunas e duas com os professores, e os textos produzidos nas aulas foram analisados em relação ao feedback dos professores e à compreensão das alunas quanto às orientação recebidas. A análise dos resultados permite afirmar que as orientações do curso preparatório são coerentes com os pressupostos teóricos que subjazem ao exame e que focalizam principalmente o critério de correção adequação contextual, que operacionaliza a noção de proficiência do exame: uso da linguagem para agir no mundo. Essa orientação contribuiu especialmente para aprimorar a compreensão oral e a organização das produções escritas das alunas. A pesquisa também sugere que a percepção das alunas sobre a maneira de aprender uma língua modificou-se durante a preparação para o exame: sua compreensão da perspectiva de proficiência como uso da linguagem e sua busca por lidar com textos autênticos também na vida cotidiana, como preparação para o exame, sugerem um efeito retroativo positivo do Celpe-Bras na trajetória de aprendizagem de língua portuguesa dessas alunas. Os resultados desta pesquisa contribuem para o debate sobre o efeito retroativo de exames de desempenho, para a elaboração de cursos preparatórios para o exame Celpe-Bras e para a organização de currículos de ensino que tenham como objetivo o uso da linguagem. / The aim of this study is to analyze the preparation of Chinese students for the Celpe-Bras proficiency exam and discuss the washback effects of the exam on this process. A qualitative research was carried out with three Chinese students and two teachers of a cram course taken by these students. The study focuses on the activities developed by the prep course and the extra class activities carried out by the students to prepare for the exam. The data include the observation of eight classes of the cram course and of the students’ extra class activities, eight interviews with the students and two with the teachers, and the texts produced by the students, which were analyzed with respect to the teachers’ feedback and to the students’ understanding of the guidance they received during the prep course. The results suggest that the guidelines of the prep course are consistent with the construct of the exam and focus mainly on the correction criterion ‘adequacy to context’, which operationalizes the underlying concept of language proficiency of the exam: the adequate use of the language to perform actions in the world. The course guidelines contributed especially to improve the students’ listening and writing skills. In addition, the students’ perceptions of their language learning process changed during the preparation for the exam: their understanding of the language proficiency concept ‘use of language’ and their search for reading and listening to authentic texts, also in their daily lives, to prepare for the exam suggest a positive washback effect of the Celpe-Bras on these students’ Portuguese learning process. The results of this research contribute to the debate on the washback effects of performance tests, to the elaboration of cram courses for the Celpe-Bras exam, and to the organization of educational curricula that aim at developing the use of language.

Made available in DSpace on 2016-06-02T20:24:59Z (GMT). No. of bitstreams: 1 DissRMRS.pdf: 887881 bytes, checksum: 41ba18fdae05f3aa71ad0e6f29665a18 (MD5) Previous issue date: 2006-12-11 / The washback effect of an assessment is a redirecting element not only on teaching and learning process, but on most student s and teacher s actions, manners, beliefs and perceptions inside and outside the classroom, influencing the values in a society in which a certain educational system is used. For this reason, investigating the impacts of an assessment means taking into consideration the possible variables that go through the teaching/learning context, present in the learning culture of an individual. The proficiency test in Portuguese Language Celpe-Bras, developed and applied by Brazil Education Ministry, has a different proposal from the adopted one in other proficiency tests. The Celpe-Bras, a communicative approach test, assesses proficiency through tasks that look like real communication situations. The aim of this work is to analyze the effects of this test in the learning culture of four applicants to the exam, showing the possible changes observed in their beliefs, actions, manners and perceptions about the test in three different moments: before the first contact with the exam, after the first contact with it (preparation phase) and after its carrying out. The data of this research are constituted by thirteen interviews conducted with selected applicants. From these interviews, twenty two excerpts were used in the analysis. Through the results, we expect to contribute with a relevant analysis about the learning culture of the applicants who have subscribed to this exam for the first time. / O efeito retroativo de uma avaliação é um elemento redirecionador, não apenas no processo de ensino/aprendizagem, mas também na maioria das ações, maneiras, crenças e percepções de alunos e de professores dentro e fora da sala de aula, que influencia nos valores de uma certa sociedade, na qual um determinado sistema educacional é usado. Por isso, investigar os impactos de uma avaliação significa levar em consideração as possíveis variáveis que permeiam o contexto de ensino/aprendizagem, presentes na cultura de aprender do indivíduo. O Certificado de Proficiência em Língua Portuguesa para Estrangeiros, Celpe-Bras, desenvolvido e aplicado pelo Ministério da Educação do Brasil, apresenta uma proposta de avaliação diferente da adotada por outros exames de proficiência. De natureza comunicativa, o Celpe-Bras avalia a proficiência na língua portuguesa por meio de tarefas que se assemelham a situações reais de comunicação. O objetivo deste trabalho é analisar os impactos desse teste na cultura de aprender de quatro candidatos ao exame, apontando as possíveis mudanças observadas em suas crenças, ações, maneiras e percepções sobre o teste em três diferentes momentos: antes do primeiro contato com o exame, após o primeiro contato com o exame (fase de preparação) e após a realização do mesmo. O corpus desta pesquisa é constituído de treze entrevistas com os candidatos selecionados, das quais foram retirados vinte e dois excertos para análise. Por meio dos resultados, espera-se contribuir para uma análise relevante sobre a cultura de aprender de candidatos que se submetem a essa avaliação pela primeira vez.