O presente trabalho visa a analisar a preparação de alunos chineses para o exame Celpe-Bras, com o intuito de investigar se há efeito retroativo do exame nesse processo. Para tanto, foi desenvolvida uma pesquisa qualitativa da qual participaram três alunas chinesas e dois professores de um curso preparatório para o Celpe-Bras, no qual elas participaram. O estudo focaliza as atividades desenvolvidas no curso e as atividades extraclasse realizadas pelas alunas para preparar-se para o exame. Os dados para a pesquisa foram gerados pela observação de oito aulas do curso preparatório e pelo acompanhamento das alunas em atividades extraclasse. Além disso, foram feitas oito entrevistas com as alunas e duas com os professores, e os textos produzidos nas aulas foram analisados em relação ao feedback dos professores e à compreensão das alunas quanto às orientação recebidas. A análise dos resultados permite afirmar que as orientações do curso preparatório são coerentes com os pressupostos teóricos que subjazem ao exame e que focalizam principalmente o critério de correção adequação contextual, que operacionaliza a noção de proficiência do exame: uso da linguagem para agir no mundo. Essa orientação contribuiu especialmente para aprimorar a compreensão oral e a organização das produções escritas das alunas. A pesquisa também sugere que a percepção das alunas sobre a maneira de aprender uma língua modificou-se durante a preparação para o exame: sua compreensão da perspectiva de proficiência como uso da linguagem e sua busca por lidar com textos autênticos também na vida cotidiana, como preparação para o exame, sugerem um efeito retroativo positivo do Celpe-Bras na trajetória de aprendizagem de língua portuguesa dessas alunas. Os resultados desta pesquisa contribuem para o debate sobre o efeito retroativo de exames de desempenho, para a elaboração de cursos preparatórios para o exame Celpe-Bras e para a organização de currículos de ensino que tenham como objetivo o uso da linguagem. / The aim of this study is to analyze the preparation of Chinese students for the Celpe-Bras proficiency exam and discuss the washback effects of the exam on this process. A qualitative research was carried out with three Chinese students and two teachers of a cram course taken by these students. The study focuses on the activities developed by the prep course and the extra class activities carried out by the students to prepare for the exam. The data include the observation of eight classes of the cram course and of the students’ extra class activities, eight interviews with the students and two with the teachers, and the texts produced by the students, which were analyzed with respect to the teachers’ feedback and to the students’ understanding of the guidance they received during the prep course. The results suggest that the guidelines of the prep course are consistent with the construct of the exam and focus mainly on the correction criterion ‘adequacy to context’, which operationalizes the underlying concept of language proficiency of the exam: the adequate use of the language to perform actions in the world. The course guidelines contributed especially to improve the students’ listening and writing skills. In addition, the students’ perceptions of their language learning process changed during the preparation for the exam: their understanding of the language proficiency concept ‘use of language’ and their search for reading and listening to authentic texts, also in their daily lives, to prepare for the exam suggest a positive washback effect of the Celpe-Bras on these students’ Portuguese learning process. The results of this research contribute to the debate on the washback effects of performance tests, to the elaboration of cram courses for the Celpe-Bras exam, and to the organization of educational curricula that aim at developing the use of language.

Este trabalho trata dos temas da proficiência em português como língua adicional e da detecção de padrões lexicais e coesivos a partir de um enfoque computacional, situando o tema em meio à descrição de textos produzidos no contexto do exame de proficiência Celpe- Bras de 2006-1. Fazendo uso de pressupostos teórico-metodológicos da Linguística de Corpus, da Linguística Textual e do Processamento de Língua Natural, investigou-se a hipótese de que seria possível classificar, de modo automático, textos submetidos ao exame conforme níveis de proficiência pré-estabelecidos. Por meio do processamento de 177 textos previamente avaliados por corretores humanos em seis níveis (Iniciante, Básico, Intermediário, Intermediário Superior, Avançado e Avançado Superior), usou-se o Aprendizado de Máquina (AM) supervisionado para cotejar padrões lexicais e coesivos capazes de distinguir os níveis sob estudo. Para o cotejo dos padrões, a ferramenta Coh-Metrix-Port – que calcula parâmetros de coesão, coerência e inteligibilidade textual – foi utilizada. Cada um dos textos foi processado na ferramenta; para o AM, os resultados da ferramenta Coh-Metrix-Port foram usados como atributos, os níveis de proficiência como classes e os textos como instâncias. As etapas de processamento do corpus foram: 1) digitação do corpus; 2) processamento individual dos textos na ferramenta Coh-Metrix-Port; 3) análise usando AM – Algoritmo J48 – e os seis níveis de proficiência; 4) nova análise usando AM e duas novas classes: textos sem certificação (Iniciante e Básico) e com certificação (Intermediário, Intermediário Superior, Avançado e Avançado Superior). Avançado e Avançado Superior). Apesar do tamanho reduzido do corpus, foi possível identificar os seguintes atributos distintivos entre os textos da amostra: número de palavras, medida de riqueza lexical, número de parágrafos, incidência de conectivos negativos, incidência de adjetivos e Índice Flesch. Chegou-se a um classificador capaz de separar dois conjuntos de texto (SEM e COM CERTIFICAÇÃO) através das métricas utilizadas (fmeasure de 70%). / This research analyzes Portuguese proficiency from a computational perspective, studying texts submitted to the Brazilian Portuguese proficiency exam Celpe-Bras (Certificate of Proficiency in Portuguese for Foreigners). The study was based on Corpus Linguistics, Textual Linguistics, and Natural Language Processing. We investigated the hypothesis that it would be possible to predict second language proficiency using Machine Learning (ML), measures given by a NLP tool (Coh-Metrix-Port), and a corpus of texts previously classified by human raters. The texts (177) were previously classified as Beginner, Elementary, Intermediate, Upper Intermediate, Advanced, and Upper Advanced. After preparation, they were processed by Coh-Metrix-Port, a tool that calculates cohesion, coherence, and textual readability at different linguistic levels. The output of this tool provided 48 measures that were used as attributes, the proficiency levels given by raters were considered classes, and the 177 were considered instances for ML purposes. The algorithm J48 was used with this set of texts, providing a Decision Tree that classified the six levels of proficiency. The results for this analysis were not conclusive; because of that, we performed a new analysis with a new set of texts: two classes, one with texts that did not receive certificate (Beginner and Elementary) and the other with texts that did receive the certificate (Intermediate, Upper Intermediate, Advanced, and Upper Advanced). Despite the small size of the corpus, we were able to identify the following distinguishing attributes: number of words, type token ratio, number of paragraphs, incidence of negative connectives, incidence of adjectives, and Flesch Index. The classifier was able to separate these two last sets of texts with a F-measure of 70%.

Este trabalho trata dos temas da proficiência em português como língua adicional e da detecção de padrões lexicais e coesivos a partir de um enfoque computacional, situando o tema em meio à descrição de textos produzidos no contexto do exame de proficiência Celpe- Bras de 2006-1. Fazendo uso de pressupostos teórico-metodológicos da Linguística de Corpus, da Linguística Textual e do Processamento de Língua Natural, investigou-se a hipótese de que seria possível classificar, de modo automático, textos submetidos ao exame conforme níveis de proficiência pré-estabelecidos. Por meio do processamento de 177 textos previamente avaliados por corretores humanos em seis níveis (Iniciante, Básico, Intermediário, Intermediário Superior, Avançado e Avançado Superior), usou-se o Aprendizado de Máquina (AM) supervisionado para cotejar padrões lexicais e coesivos capazes de distinguir os níveis sob estudo. Para o cotejo dos padrões, a ferramenta Coh-Metrix-Port – que calcula parâmetros de coesão, coerência e inteligibilidade textual – foi utilizada. Cada um dos textos foi processado na ferramenta; para o AM, os resultados da ferramenta Coh-Metrix-Port foram usados como atributos, os níveis de proficiência como classes e os textos como instâncias. As etapas de processamento do corpus foram: 1) digitação do corpus; 2) processamento individual dos textos na ferramenta Coh-Metrix-Port; 3) análise usando AM – Algoritmo J48 – e os seis níveis de proficiência; 4) nova análise usando AM e duas novas classes: textos sem certificação (Iniciante e Básico) e com certificação (Intermediário, Intermediário Superior, Avançado e Avançado Superior). Avançado e Avançado Superior). Apesar do tamanho reduzido do corpus, foi possível identificar os seguintes atributos distintivos entre os textos da amostra: número de palavras, medida de riqueza lexical, número de parágrafos, incidência de conectivos negativos, incidência de adjetivos e Índice Flesch. Chegou-se a um classificador capaz de separar dois conjuntos de texto (SEM e COM CERTIFICAÇÃO) através das métricas utilizadas (fmeasure de 70%). / This research analyzes Portuguese proficiency from a computational perspective, studying texts submitted to the Brazilian Portuguese proficiency exam Celpe-Bras (Certificate of Proficiency in Portuguese for Foreigners). The study was based on Corpus Linguistics, Textual Linguistics, and Natural Language Processing. We investigated the hypothesis that it would be possible to predict second language proficiency using Machine Learning (ML), measures given by a NLP tool (Coh-Metrix-Port), and a corpus of texts previously classified by human raters. The texts (177) were previously classified as Beginner, Elementary, Intermediate, Upper Intermediate, Advanced, and Upper Advanced. After preparation, they were processed by Coh-Metrix-Port, a tool that calculates cohesion, coherence, and textual readability at different linguistic levels. The output of this tool provided 48 measures that were used as attributes, the proficiency levels given by raters were considered classes, and the 177 were considered instances for ML purposes. The algorithm J48 was used with this set of texts, providing a Decision Tree that classified the six levels of proficiency. The results for this analysis were not conclusive; because of that, we performed a new analysis with a new set of texts: two classes, one with texts that did not receive certificate (Beginner and Elementary) and the other with texts that did receive the certificate (Intermediate, Upper Intermediate, Advanced, and Upper Advanced). Despite the small size of the corpus, we were able to identify the following distinguishing attributes: number of words, type token ratio, number of paragraphs, incidence of negative connectives, incidence of adjectives, and Flesch Index. The classifier was able to separate these two last sets of texts with a F-measure of 70%.

Este trabalho trata dos temas da proficiência em português como língua adicional e da detecção de padrões lexicais e coesivos a partir de um enfoque computacional, situando o tema em meio à descrição de textos produzidos no contexto do exame de proficiência Celpe- Bras de 2006-1. Fazendo uso de pressupostos teórico-metodológicos da Linguística de Corpus, da Linguística Textual e do Processamento de Língua Natural, investigou-se a hipótese de que seria possível classificar, de modo automático, textos submetidos ao exame conforme níveis de proficiência pré-estabelecidos. Por meio do processamento de 177 textos previamente avaliados por corretores humanos em seis níveis (Iniciante, Básico, Intermediário, Intermediário Superior, Avançado e Avançado Superior), usou-se o Aprendizado de Máquina (AM) supervisionado para cotejar padrões lexicais e coesivos capazes de distinguir os níveis sob estudo. Para o cotejo dos padrões, a ferramenta Coh-Metrix-Port – que calcula parâmetros de coesão, coerência e inteligibilidade textual – foi utilizada. Cada um dos textos foi processado na ferramenta; para o AM, os resultados da ferramenta Coh-Metrix-Port foram usados como atributos, os níveis de proficiência como classes e os textos como instâncias. As etapas de processamento do corpus foram: 1) digitação do corpus; 2) processamento individual dos textos na ferramenta Coh-Metrix-Port; 3) análise usando AM – Algoritmo J48 – e os seis níveis de proficiência; 4) nova análise usando AM e duas novas classes: textos sem certificação (Iniciante e Básico) e com certificação (Intermediário, Intermediário Superior, Avançado e Avançado Superior). Avançado e Avançado Superior). Apesar do tamanho reduzido do corpus, foi possível identificar os seguintes atributos distintivos entre os textos da amostra: número de palavras, medida de riqueza lexical, número de parágrafos, incidência de conectivos negativos, incidência de adjetivos e Índice Flesch. Chegou-se a um classificador capaz de separar dois conjuntos de texto (SEM e COM CERTIFICAÇÃO) através das métricas utilizadas (fmeasure de 70%). / This research analyzes Portuguese proficiency from a computational perspective, studying texts submitted to the Brazilian Portuguese proficiency exam Celpe-Bras (Certificate of Proficiency in Portuguese for Foreigners). The study was based on Corpus Linguistics, Textual Linguistics, and Natural Language Processing. We investigated the hypothesis that it would be possible to predict second language proficiency using Machine Learning (ML), measures given by a NLP tool (Coh-Metrix-Port), and a corpus of texts previously classified by human raters. The texts (177) were previously classified as Beginner, Elementary, Intermediate, Upper Intermediate, Advanced, and Upper Advanced. After preparation, they were processed by Coh-Metrix-Port, a tool that calculates cohesion, coherence, and textual readability at different linguistic levels. The output of this tool provided 48 measures that were used as attributes, the proficiency levels given by raters were considered classes, and the 177 were considered instances for ML purposes. The algorithm J48 was used with this set of texts, providing a Decision Tree that classified the six levels of proficiency. The results for this analysis were not conclusive; because of that, we performed a new analysis with a new set of texts: two classes, one with texts that did not receive certificate (Beginner and Elementary) and the other with texts that did receive the certificate (Intermediate, Upper Intermediate, Advanced, and Upper Advanced). Despite the small size of the corpus, we were able to identify the following distinguishing attributes: number of words, type token ratio, number of paragraphs, incidence of negative connectives, incidence of adjectives, and Flesch Index. The classifier was able to separate these two last sets of texts with a F-measure of 70%.

Orientador: Monica Graciela Zoppi-Fontana / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Estudos da Linguagem / Made available in DSpace on 2018-08-11T03:02:46Z (GMT). No. of bitstreams: 1 Diniz_LeandroRodriguesAlves_M.pdf: 3423487 bytes, checksum: 1b719282668ea6812c04a22e33e5645c (MD5) Previous issue date: 2008 / Resumo: Filiando-nos à História das Idéias Lingüísticas, na sua articulação com a Análise do Discurso de perspectiva materialista, estudamos a construção discursiva do português do Brasil como língua estrangeira (PLE), a partir da ampliação de seu ¿espaço de enunciação¿ (GUIMARÃES, 2002). Para tanto, investigamos duas instâncias da gramatização (AUROUX, 1992) brasileira do português ¿ os livros didáticos (LDs) de ensino de PLE e o Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras) ¿, aqui concebidos como instrumentos lingüísticos, que se encontram no cerne do que Orlandi (2007a) denomina ¿política de línguas¿. Após um mapeamento da produção editorial brasileira de LDs de PLE desde a primeira publicação na área ¿ que nos permitiu observar interessantes mudanças diacrônicas ¿, constituímos nosso corpus para o estudo desses materiais. Para a investigação do Celpe-Bras, concentramo-nos nos manuais do exame e em uma entrevista com um ex-membro da comissão técnica do Celpe-Bras. Nosso estudo indica que a configuração do Mercado Comum do Sul (Mercosul), em 1991, pode ser vista como o marco de um novo período no processo de gramatização brasileira (ZOPPI-FONTANA, 2007). Tal período é caracterizado por um gesto político do Estado brasileiro em relação à inclusão do português do Brasil em um espaço geopolítico transnacional, que se reverbera em diferentes iniciativas da sociedade civil. Constitui-se, assim, uma posição de autoria para o Estado/cidadão brasileiro. Percebemos, ainda, que o português é freqüentemente significado como uma língua ¿do mundo da comunicação¿, de ¿troca comercial¿, que ¿está em toda parte¿. Assim, ele é antes representado como uma língua veicular (GOBARD, 1976) do que como uma língua de integração regional. Trata-se, porém, de uma representação específica de língua veicular, ligada ao avanço do ¿capitalismo mundial integrado¿, nas palavras de Guattari (1987). ¿Dominar¿ o português aparece, por exemplo, relacionado ao sucesso, recompensa prometida àqueles que obedecem às ¿leis do Mercado¿, em tempos contemporâneos (PAYER, 2005). Além disso, não se representa o português como uma língua ¿neutra, objetiva, despojada de suas especificidades étnicas¿ (GOBARD, op. cit., p.36). Ao contrário, observamos o funcionamento de um ¿discurso de brasilidade¿, através do qual, de uma maneira ou de outra, faz-se sempre alusão ao Brasil ¿e não a Portugal ¿, o que evidencia o trabalho de uma política do silêncio (ORLANDI, 2002b). Em termos de Mercado, esse discurso permite ¿vender¿ a língua portuguesa, enquanto instrumento para se atingir um objetivo outro, e, por conseguinte, ¿vender¿ os ¿produtos¿ em questão: os LDs e o Celpe-Bras. Em relação ao Estado, percebemos que o Brasil, marcado por políticas lingüísticas portuguesas, passa a disputar com Portugal espaços políticos, simbólicos e econômicos. Concebemos, assim, o português do Brasil não como uma língua globalizada, mas como uma língua transnacional, na medida em que ele se ¿exporta¿ como metonímia do Estado brasileiro. Concluímos, ainda, que a gramatização brasileira do PLE se configura a partir da relação entre as duas meta-instituições que, segundo Payer (op. cit.), desempenham um papel fundamental na constituição do sujeito contemporâneo: o Estado e o Mercado / Abstract: Based on the History of Linguistic Ideas in its relation to the Discourse Analysis from a materialistic perspective, we study the discursive construction of Brazilian Portuguese as a foreign language (PFL), which starts from the broadening of its ¿space of enunciation¿ (GUIMARÃES, 2002). To undertake such research, we investigate two instances of the Brazilian grammatisation of Portuguese ¿ PFL coursebooks and the Certificate of Proficiency in Portuguese as a Foreign Language (Celpe-Bras) ¿, conceived of as linguistic instruments, which are at the core of what Orlandi (2007a) designates the ¿politics of languages¿. After mapping the Brazilian editorial production of PFL coursebooks since the publication of the first material ¿ which enabled us to observe interesting diachronic changes ¿, we composed our corpus for the study of the coursebooks. For the investigation of Celpe-Bras, we concentrated on the exam booklets and on an interview with an ex-member of the technical comission of Celpe-Bras. Our study indicates that the creation of the Southern Common Market (MERCOSUR), in 1991, may be considered the turning point for a new period in the Brazilian grammatisation process (ZOPPI-FONTANA, 2007). This period is characterised by a gesture of the Brazilian State for the inclusion of Brazilian Portuguese in a transnational space of enunciation, which reverberates through different initiatives taken by civil society. A new position of autorship for the Brazilian State / citizen is thereby stablished. In addition, we have observed that Portuguese is frequently signified as a language ¿of the world of communication¿, of ¿commercial trade¿, which ¿is everywhere¿. Therefore, it is represented as a vehicular language (GOBARD, 1976) rather than as a language of regional integration. However, that is a specific representation of a vehicular language, related to the advance of ¿worldwide integrated capitalism¿, in the words of Guattari (1987). For instance, ¿mastering¿ the Portuguese language is related to sucess, as a reward for those who obey Market laws, in contemporaneity (PAYER, 2005). Besides, Portuguese is not represented as a ¿neutral and objective¿ language, ¿dispossessed of its ethnic specificities¿ (GOBARD, op. cit., p. 36). On the contrary, we observe the functioning of a ¿discourse of Brazilianity¿, through which an allusion to Brazil ¿ and not to Portugal ¿ is, one way or the other, always made, revealing the work of the politics of silence (ORLANDI, 2002b). In terms of Market, this discourse enables the ¿sale¿ of the Portuguese language, as an instrument for achieving another objective, and, consequently, the ¿sale¿ of the ¿products¿ in question: the coursebooks and Celpe-Bras. With reference to the State, it is noticeable that Brazil, defined by linguistic policies pursued by Portugal, begins to challenge Portugal regarding political, symbolic and economic spaces. We conceive, therefore, Brazilian Portuguese not as a globalised language, but as a transnational one, since it ¿exports¿ itself as a metonymy of the Brazilian State. We also conclude that the Brazilian grammatisation of PFL is outlined by two metainstitutions which, according to Payer (op. cit.), play a leading role in the constitution of the contemporary subject: the State and the Market / Mestrado / Linguistica / Mestre em Linguística