Made available in DSpace on 2016-08-03T16:15:44Z (GMT). No. of bitstreams: 1 BCIELO.pdf: 577481 bytes, checksum: c5ec5f020646586cc72320de556f2230 (MD5) Previous issue date: 2014-03-19 / The main objective of this study was to analyze the social representations of the Portuguese language circulating among foreigners who were taking the CELPE-Bras test, an exam introduced by the Brazilian government to evaluate proficiency in Portuguese. Based on Serge Moscovicis psychosocial construct of social representations and complemented by Ivana Markovás dialogic perspective of this theory, we sought to analyze foreigners representations of the Portuguese language utilizing a questionnaire containing open, closed, and free association questions. The questionnaire was distributed to 95 candidates during the second edition of the 2012 CELPE-Bras exam and sought to answer the following guiding questions: 1) What are the social representations that foreigners taking the CELPE-Bras exam have of the Portuguese language? 2) Do their motivations for coming to Brazil and taking the CELPE-Bras have any impact on the social representations of the language? 3) Are the social representations influenced by the cultural matrix of the examinee? The findings indicate that the Portuguese language is seen as being beautiful, musical and difficult, and that there is a tendency to repeat the stereotyped contents held for culture to language, both among foreigners from Latin American and among those belonging to other cultural sources, regardless of their motivations.   / O objetivo deste trabalho é analisar as representações sociais da língua portuguesa que circulam entre os estrangeiros que prestam a prova de proficiência CELPE-Bras, exame instituído pelo governo brasileiro para avaliar a proficiência nessa língua. Apoiado na perspectiva psicossocial das representações sociais, conforme entendida por Serge Moscovici e colaboradores e complementada pela visão dialógica de Ivana Marková, buscou-se analisar as representações de estrangeiros relativas à língua portuguesa por meio de questionário, contendo questões abertas, fechadas e de associação livre, aplicados a 95 candidatos ao exame CELPE-Bras na sua edição de 2012, de modo a responder às seguintes questões orientadoras: 1) Quais as representações sociais que o estrangeiro candidato ao exame CELPE-Bras tem da língua portuguesa? 2) As motivações para a vinda ao Brasil e para realizar o exame CELPE-Bras impactam as representações sociais da língua? 3) Essas representações sociais são influenciadas de acordo com a matriz cultural de origem do examinando? As análises indicam que a língua portuguesa é vista como bonita, musical e difícil, e que há uma tendência a repetirem-se, para a língua, os conteúdos estereotipados da cultura brasileira, tanto entre estrangeiros latino-americanos como entre os pertencentes a outras matrizes culturais, independentemente de suas motivações de aprendizado.

O presente trabalho visa a analisar a preparação de alunos chineses para o exame Celpe-Bras, com o intuito de investigar se há efeito retroativo do exame nesse processo. Para tanto, foi desenvolvida uma pesquisa qualitativa da qual participaram três alunas chinesas e dois professores de um curso preparatório para o Celpe-Bras, no qual elas participaram. O estudo focaliza as atividades desenvolvidas no curso e as atividades extraclasse realizadas pelas alunas para preparar-se para o exame. Os dados para a pesquisa foram gerados pela observação de oito aulas do curso preparatório e pelo acompanhamento das alunas em atividades extraclasse. Além disso, foram feitas oito entrevistas com as alunas e duas com os professores, e os textos produzidos nas aulas foram analisados em relação ao feedback dos professores e à compreensão das alunas quanto às orientação recebidas. A análise dos resultados permite afirmar que as orientações do curso preparatório são coerentes com os pressupostos teóricos que subjazem ao exame e que focalizam principalmente o critério de correção adequação contextual, que operacionaliza a noção de proficiência do exame: uso da linguagem para agir no mundo. Essa orientação contribuiu especialmente para aprimorar a compreensão oral e a organização das produções escritas das alunas. A pesquisa também sugere que a percepção das alunas sobre a maneira de aprender uma língua modificou-se durante a preparação para o exame: sua compreensão da perspectiva de proficiência como uso da linguagem e sua busca por lidar com textos autênticos também na vida cotidiana, como preparação para o exame, sugerem um efeito retroativo positivo do Celpe-Bras na trajetória de aprendizagem de língua portuguesa dessas alunas. Os resultados desta pesquisa contribuem para o debate sobre o efeito retroativo de exames de desempenho, para a elaboração de cursos preparatórios para o exame Celpe-Bras e para a organização de currículos de ensino que tenham como objetivo o uso da linguagem. / The aim of this study is to analyze the preparation of Chinese students for the Celpe-Bras proficiency exam and discuss the washback effects of the exam on this process. A qualitative research was carried out with three Chinese students and two teachers of a cram course taken by these students. The study focuses on the activities developed by the prep course and the extra class activities carried out by the students to prepare for the exam. The data include the observation of eight classes of the cram course and of the students’ extra class activities, eight interviews with the students and two with the teachers, and the texts produced by the students, which were analyzed with respect to the teachers’ feedback and to the students’ understanding of the guidance they received during the prep course. The results suggest that the guidelines of the prep course are consistent with the construct of the exam and focus mainly on the correction criterion ‘adequacy to context’, which operationalizes the underlying concept of language proficiency of the exam: the adequate use of the language to perform actions in the world. The course guidelines contributed especially to improve the students’ listening and writing skills. In addition, the students’ perceptions of their language learning process changed during the preparation for the exam: their understanding of the language proficiency concept ‘use of language’ and their search for reading and listening to authentic texts, also in their daily lives, to prepare for the exam suggest a positive washback effect of the Celpe-Bras on these students’ Portuguese learning process. The results of this research contribute to the debate on the washback effects of performance tests, to the elaboration of cram courses for the Celpe-Bras exam, and to the organization of educational curricula that aim at developing the use of language.

O presente estudo tem como objetivo verificar os aspectos determinantes da complexidade no desempenho das tarefas integradas de leitura e produção textual do Exame de Proficiência em Língua Portuguesa (Celpe-Bras). Nesse exame, o uso da língua portuguesa é testado através de tarefas que propõem uma situação comunicativa a ser simulada, e o desempenho é avaliado de acordo com a adequação ao gênero discursivo de cada tarefa. A análise das tarefas, neste trabalho, foi feita com base na perspectiva bakhtiniana de gênero do discurso. O corpus foi composto de quatro tarefas integradas de leitura e produção textual e amostras de quarenta e quatro produçõesresposta a cada tarefa. A análise focalizou as características do enunciado das tarefas, que estabelece uma situação interlocutiva e orienta para os propósitos de leitura e de escrita, as grades de avaliação e os desempenhos dos participantes. Os resultados do estudo sugerem que a complexidade não é um atributo apenas da tarefa em si, mas sim da relação entre tarefa-participante-avaliação. É a partir das características da situação interlocutiva estabelecida (papéis interlocutivos, propósito, assunto e suporte da interlocução) que os participantes (candidatos e avaliadores) se engajam na atividade por meio da linguagem, e que os critérios para a avaliação das interações são delimitados. Por serem vários os fatores que influenciam no desempenho dos participantes e pelo fato de o desempenho resultar da interação tarefa-participanteavaliação, não há como garantir uma previsibilidade da complexidade. Pôde-se observar, no entanto, que quanto mais claro o enunciado da tarefa em relação à situação interlocutiva proposta, maior a possibilidade de coerência dos critérios de avaliação utilizados para o uso da língua proposto e maior a possibilidade de descrever desempenhos esperados. Com base nessa análise, são delineadas algumas orientações para a construção de tarefas que possam conferir maior validade a um exame de desempenho com as características do Celpe-Bras. / The present study has the objective of verifying the aspects that determine the complexity of tasks that integrate reading and writing in the Portuguese Proficiency Exam (Celpe-Bras). In this exam, the use of Portuguese is tested through tasks that propose different reading and writing situations, and the performance is assessed according to the adequacy to the communicative context proposed by the discourse genre of the task. The analysis of the tasks, in this work, was made based on the Bakhtinian concept of discourse genre. The corpus was composed of four tasks integrating reading and writing and samples of forty-four reply-productions to each task. The aspects analysed included the characteristics of the tasks, the assessment criteria and the participants' performance, The results of the study suggest that task complexity results not only from the task itself, but also from the interaction taskparticipant- assessment. The characteristics of the rubrics, which establish the purposes of reading and writing, and the interlocutory situation (interlocutory roles, purpose, topic and media), orient the participants' (candidates' and assessors') engaging in different language activities and the establisment of task assessment criteria Considering that the factors that influence the candidates' performance are multiple and varied and that their performance results from the interaction task-participantassessment, task complexity can not be predicted and determined in advance. Nevertheless, the analysis suggests that the clarity of the rubrics in terms of the interlocutory situation proposed can enhance the coherence of the assessment criteria to the language use proposed and improve the description of expected performances. Based on these results, some guidelines for the desinging of tasks that integrate reading and writing are proposed in order to contribute to the validity of performance examinations such as Celpe-Bras.

Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.

O presente estudo tem como objetivo verificar os aspectos determinantes da complexidade no desempenho das tarefas integradas de leitura e produção textual do Exame de Proficiência em Língua Portuguesa (Celpe-Bras). Nesse exame, o uso da língua portuguesa é testado através de tarefas que propõem uma situação comunicativa a ser simulada, e o desempenho é avaliado de acordo com a adequação ao gênero discursivo de cada tarefa. A análise das tarefas, neste trabalho, foi feita com base na perspectiva bakhtiniana de gênero do discurso. O corpus foi composto de quatro tarefas integradas de leitura e produção textual e amostras de quarenta e quatro produçõesresposta a cada tarefa. A análise focalizou as características do enunciado das tarefas, que estabelece uma situação interlocutiva e orienta para os propósitos de leitura e de escrita, as grades de avaliação e os desempenhos dos participantes. Os resultados do estudo sugerem que a complexidade não é um atributo apenas da tarefa em si, mas sim da relação entre tarefa-participante-avaliação. É a partir das características da situação interlocutiva estabelecida (papéis interlocutivos, propósito, assunto e suporte da interlocução) que os participantes (candidatos e avaliadores) se engajam na atividade por meio da linguagem, e que os critérios para a avaliação das interações são delimitados. Por serem vários os fatores que influenciam no desempenho dos participantes e pelo fato de o desempenho resultar da interação tarefa-participanteavaliação, não há como garantir uma previsibilidade da complexidade. Pôde-se observar, no entanto, que quanto mais claro o enunciado da tarefa em relação à situação interlocutiva proposta, maior a possibilidade de coerência dos critérios de avaliação utilizados para o uso da língua proposto e maior a possibilidade de descrever desempenhos esperados. Com base nessa análise, são delineadas algumas orientações para a construção de tarefas que possam conferir maior validade a um exame de desempenho com as características do Celpe-Bras. / The present study has the objective of verifying the aspects that determine the complexity of tasks that integrate reading and writing in the Portuguese Proficiency Exam (Celpe-Bras). In this exam, the use of Portuguese is tested through tasks that propose different reading and writing situations, and the performance is assessed according to the adequacy to the communicative context proposed by the discourse genre of the task. The analysis of the tasks, in this work, was made based on the Bakhtinian concept of discourse genre. The corpus was composed of four tasks integrating reading and writing and samples of forty-four reply-productions to each task. The aspects analysed included the characteristics of the tasks, the assessment criteria and the participants' performance, The results of the study suggest that task complexity results not only from the task itself, but also from the interaction taskparticipant- assessment. The characteristics of the rubrics, which establish the purposes of reading and writing, and the interlocutory situation (interlocutory roles, purpose, topic and media), orient the participants' (candidates' and assessors') engaging in different language activities and the establisment of task assessment criteria Considering that the factors that influence the candidates' performance are multiple and varied and that their performance results from the interaction task-participantassessment, task complexity can not be predicted and determined in advance. Nevertheless, the analysis suggests that the clarity of the rubrics in terms of the interlocutory situation proposed can enhance the coherence of the assessment criteria to the language use proposed and improve the description of expected performances. Based on these results, some guidelines for the desinging of tasks that integrate reading and writing are proposed in order to contribute to the validity of performance examinations such as Celpe-Bras.

Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.

Submitted by Aelson Maciera (aelsoncm@terra.com.br) on 2017-06-05T19:36:13Z No. of bitstreams: 1 TeseERF.pdf: 13718635 bytes, checksum: b61ded0af2900b7e3c6941a9522c51d4 (MD5) / Approved for entry into archive by Ronildo Prado (ronisp@ufscar.br) on 2017-06-06T18:34:32Z (GMT) No. of bitstreams: 1 TeseERF.pdf: 13718635 bytes, checksum: b61ded0af2900b7e3c6941a9522c51d4 (MD5) / Approved for entry into archive by Ronildo Prado (ronisp@ufscar.br) on 2017-06-06T18:34:39Z (GMT) No. of bitstreams: 1 TeseERF.pdf: 13718635 bytes, checksum: b61ded0af2900b7e3c6941a9522c51d4 (MD5) / Made available in DSpace on 2017-06-06T18:39:08Z (GMT). No. of bitstreams: 1 TeseERF.pdf: 13718635 bytes, checksum: b61ded0af2900b7e3c6941a9522c51d4 (MD5) Previous issue date: 2017-02-14 / Não recebi financiamento / Proficiency exams and tests have increasingly attracted the attention of people in general and Applied Linguistics researchers interested in Language Assessment, as they may cause a significant impact on the examinee, since the results may lead to decisions and consequences in relation to their professional and / or educational life, such as being accepted into universities or being hired by a company, for example. Due to these factors, these exams and tests, also called ‘high stakes tests’, need studies that reflect on the aspects involved in such exams and tests in order to contribute to their improvement. In this sense, and considering the importance the Certificate of Proficiency in Portuguese Language for Foreigners (Celpe-Bras) has been acquiring over the years, this research investigated the prompts, pictures used to stimulate the conversation between the examiner-interlocutor and the examinee in the Oral Part of Celpe-Bras, called Face to Face Interaction. We developed a qualitative interpretive research, in which questionnaires answered by examinees and examiner-interlocutors from the second edition of Celpe-Bras 2014, the audios of the interviews of an Application Center in Brazil, from the same edition, as well as the prompts used in the interactions and their scripts were analyzed. From the analysis of the data we reflected on how much the prompts operationalize the construct of the Exam; on the participants’ perception of this research, examiner-interlocutors and examinees, regarding the prompts and on how the prompts contribute or not to the performance of the examinees in the Face to Face Interaction. We concluded with some suggestions for the improvement of the oral part of the Exam, especially in relation to the elaboration and use of the prompts and to the standardization of the Manuals and Guidelines of the Celpe-Bras Exam. / Exames de proficiência têm atraído cada vez mais a atenção das pessoas de um modo geral e de pesquisadores da área da Linguística Aplicada interessados em Avaliação de Línguas, pois eles podem causar consequências importantes para o examinando, uma vez que a partir dos resultados obtidos, decisões poderão ser tomadas em relação à vida profissional e/ou educacional, como a entrada em universidades ou a contratação em empresas, por exemplo. Devido a esses fatores, esses exames, também denominados de exames de alta relevância, necessitam de estudos que reflitam sobre os aspectos que os envolvem de modo a contribuir para seu aperfeiçoamento. Nesse sentido, e considerando-se a importância que o Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras) vem adquirindo ao longo dos anos, nesta pesquisa, investigamos os Elementos Provocadores (EPs), figuras que são utilizadas para impulsionar a conversa entre Avaliador-Interlocutor e Examinando na Parte Oral do exame Celpe-Bras, isto é, na Interação Face a Face. Para isso, desenvolvemos uma pesquisa qualitativa de natureza interpretativista, na qual foram analisados os questionários respondidos por examinandos e avaliadores da segunda edição do Celpe-Bras de 2014, os áudios das entrevistas de um centro aplicador do Brasil, da mesma edição, bem como os Elementos Provocadores utilizados nas interações e seus roteiros. A partir da análise dos dados refletimos sobre o quanto os Elementos Provocadores operacionalizam o construto do Exame; sobre as percepções dos participantes desta pesquisa, avaliadores e examinandos, em relação aos EPs e sobre como os EPs contribuem ou não para o desempenho dos examinandos na Interação Face a Face. Concluímos com algumas sugestões para o aprimoramento da parte oral do Exame, especialmente em relação à elaboração e utilização dos EPs e à padronização dos Manuais e Guias do Exame.

O presente estudo tem como objetivo verificar os aspectos determinantes da complexidade no desempenho das tarefas integradas de leitura e produção textual do Exame de Proficiência em Língua Portuguesa (Celpe-Bras). Nesse exame, o uso da língua portuguesa é testado através de tarefas que propõem uma situação comunicativa a ser simulada, e o desempenho é avaliado de acordo com a adequação ao gênero discursivo de cada tarefa. A análise das tarefas, neste trabalho, foi feita com base na perspectiva bakhtiniana de gênero do discurso. O corpus foi composto de quatro tarefas integradas de leitura e produção textual e amostras de quarenta e quatro produçõesresposta a cada tarefa. A análise focalizou as características do enunciado das tarefas, que estabelece uma situação interlocutiva e orienta para os propósitos de leitura e de escrita, as grades de avaliação e os desempenhos dos participantes. Os resultados do estudo sugerem que a complexidade não é um atributo apenas da tarefa em si, mas sim da relação entre tarefa-participante-avaliação. É a partir das características da situação interlocutiva estabelecida (papéis interlocutivos, propósito, assunto e suporte da interlocução) que os participantes (candidatos e avaliadores) se engajam na atividade por meio da linguagem, e que os critérios para a avaliação das interações são delimitados. Por serem vários os fatores que influenciam no desempenho dos participantes e pelo fato de o desempenho resultar da interação tarefa-participanteavaliação, não há como garantir uma previsibilidade da complexidade. Pôde-se observar, no entanto, que quanto mais claro o enunciado da tarefa em relação à situação interlocutiva proposta, maior a possibilidade de coerência dos critérios de avaliação utilizados para o uso da língua proposto e maior a possibilidade de descrever desempenhos esperados. Com base nessa análise, são delineadas algumas orientações para a construção de tarefas que possam conferir maior validade a um exame de desempenho com as características do Celpe-Bras. / The present study has the objective of verifying the aspects that determine the complexity of tasks that integrate reading and writing in the Portuguese Proficiency Exam (Celpe-Bras). In this exam, the use of Portuguese is tested through tasks that propose different reading and writing situations, and the performance is assessed according to the adequacy to the communicative context proposed by the discourse genre of the task. The analysis of the tasks, in this work, was made based on the Bakhtinian concept of discourse genre. The corpus was composed of four tasks integrating reading and writing and samples of forty-four reply-productions to each task. The aspects analysed included the characteristics of the tasks, the assessment criteria and the participants' performance, The results of the study suggest that task complexity results not only from the task itself, but also from the interaction taskparticipant- assessment. The characteristics of the rubrics, which establish the purposes of reading and writing, and the interlocutory situation (interlocutory roles, purpose, topic and media), orient the participants' (candidates' and assessors') engaging in different language activities and the establisment of task assessment criteria Considering that the factors that influence the candidates' performance are multiple and varied and that their performance results from the interaction task-participantassessment, task complexity can not be predicted and determined in advance. Nevertheless, the analysis suggests that the clarity of the rubrics in terms of the interlocutory situation proposed can enhance the coherence of the assessment criteria to the language use proposed and improve the description of expected performances. Based on these results, some guidelines for the desinging of tasks that integrate reading and writing are proposed in order to contribute to the validity of performance examinations such as Celpe-Bras.

Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.

Este trabalho trata dos temas da proficiência em português como língua adicional e da detecção de padrões lexicais e coesivos a partir de um enfoque computacional, situando o tema em meio à descrição de textos produzidos no contexto do exame de proficiência Celpe- Bras de 2006-1. Fazendo uso de pressupostos teórico-metodológicos da Linguística de Corpus, da Linguística Textual e do Processamento de Língua Natural, investigou-se a hipótese de que seria possível classificar, de modo automático, textos submetidos ao exame conforme níveis de proficiência pré-estabelecidos. Por meio do processamento de 177 textos previamente avaliados por corretores humanos em seis níveis (Iniciante, Básico, Intermediário, Intermediário Superior, Avançado e Avançado Superior), usou-se o Aprendizado de Máquina (AM) supervisionado para cotejar padrões lexicais e coesivos capazes de distinguir os níveis sob estudo. Para o cotejo dos padrões, a ferramenta Coh-Metrix-Port – que calcula parâmetros de coesão, coerência e inteligibilidade textual – foi utilizada. Cada um dos textos foi processado na ferramenta; para o AM, os resultados da ferramenta Coh-Metrix-Port foram usados como atributos, os níveis de proficiência como classes e os textos como instâncias. As etapas de processamento do corpus foram: 1) digitação do corpus; 2) processamento individual dos textos na ferramenta Coh-Metrix-Port; 3) análise usando AM – Algoritmo J48 – e os seis níveis de proficiência; 4) nova análise usando AM e duas novas classes: textos sem certificação (Iniciante e Básico) e com certificação (Intermediário, Intermediário Superior, Avançado e Avançado Superior). Avançado e Avançado Superior). Apesar do tamanho reduzido do corpus, foi possível identificar os seguintes atributos distintivos entre os textos da amostra: número de palavras, medida de riqueza lexical, número de parágrafos, incidência de conectivos negativos, incidência de adjetivos e Índice Flesch. Chegou-se a um classificador capaz de separar dois conjuntos de texto (SEM e COM CERTIFICAÇÃO) através das métricas utilizadas (fmeasure de 70%). / This research analyzes Portuguese proficiency from a computational perspective, studying texts submitted to the Brazilian Portuguese proficiency exam Celpe-Bras (Certificate of Proficiency in Portuguese for Foreigners). The study was based on Corpus Linguistics, Textual Linguistics, and Natural Language Processing. We investigated the hypothesis that it would be possible to predict second language proficiency using Machine Learning (ML), measures given by a NLP tool (Coh-Metrix-Port), and a corpus of texts previously classified by human raters. The texts (177) were previously classified as Beginner, Elementary, Intermediate, Upper Intermediate, Advanced, and Upper Advanced. After preparation, they were processed by Coh-Metrix-Port, a tool that calculates cohesion, coherence, and textual readability at different linguistic levels. The output of this tool provided 48 measures that were used as attributes, the proficiency levels given by raters were considered classes, and the 177 were considered instances for ML purposes. The algorithm J48 was used with this set of texts, providing a Decision Tree that classified the six levels of proficiency. The results for this analysis were not conclusive; because of that, we performed a new analysis with a new set of texts: two classes, one with texts that did not receive certificate (Beginner and Elementary) and the other with texts that did receive the certificate (Intermediate, Upper Intermediate, Advanced, and Upper Advanced). Despite the small size of the corpus, we were able to identify the following distinguishing attributes: number of words, type token ratio, number of paragraphs, incidence of negative connectives, incidence of adjectives, and Flesch Index. The classifier was able to separate these two last sets of texts with a F-measure of 70%.