A proficiência em uma língua estrangeira ocupa um lugar de extrema importância na pós-graduação. O exame de proficiência é uma das etapas do processo seletivo a primeira, na maioria dos institutos , e, caso sejam reprovados nessa avaliação, os candidatos não poderão seguir para as próximas fases. A noção de proficiência, nesse contexto, parece ser um conceito pressuposto, com uma definição aparentemente clara, que dispensa uma discussão em torno do tema. No entanto, ao analisarmos a maneira como a proficiência configura-se na pós-graduação, observamos que esse conceito, aparentemente tão estável, é construído no imaginário de maneira fluída, ou seja, ao invés de falarmos em proficiência, poderíamos falar em proficiências. Assim, esse trabalho tem como principais objetivos analisar as representações de proficiência em língua inglesa presentes nos dizeres de coordenadores, alunos e candidatos à pós-graduação e o modo como a necessidade da língua inglesa é construída nesse contexto. Para tanto, baseamo-nos em pressupostos teóricos da Análise de Discurso, para a qual os sentidos são construídos em uma relação sócio-histórica. Ao longo das análises, constatamos que a representação de proficiência é construída nos dizeres dos entrevistados de uma maneira heterogênea: ora aparece calcada no imaginário de língua, ora no mito do falante nativo, ora na questão do tempo e complexidade dos cursos de mestrado e doutorado. Em nosso propósito de investigar por que a língua inglesa (e não outro idioma) é a mais exigida nos exames de proficiência em língua estrangeira, observamos que a posição hegemônica do inglês, conquistada devido a alguns fatores históricos e fortalecida pela globalização, pode ter contribuído para a necessidade desse idioma. Todavia, tal necessidade é justificada pelo fato de que os alunos de mestrado e doutorado deverão estar preparados para lerem textos em inglês, participarem de congressos internacionais, assistirem aulas com professores estrangeiros e fazerem estágios no exterior. / For graduate studies, proficiency in a foreign language is considered highly relevant. The proficiency examination is one of the steps in the selective process in most cases, it is the first one and candidates are not allowed to proceed on such process if they fail this examination. In this context, the notion of proficiency seems to be a pre-conceived concept, with an apparently clear definition that does not envisage or expect further elaboration on the subject. However, when we analyze how proficiency is approached in graduate studies, we see that such apparently stable concept is feebly built on the imaginary of those involved in the process, i.e., instead of considering proficiency, we could refer to proficiencies. Thus, this research aims mainly at analyzing the representations of proficiency in the English language, which emerge from the speeches of coordinators, students and candidates to post-graduate studies, as well as how the need for the English language is built in this context. In doing so, we base our research on Discourse Analysis theoretical premises, according to which meanings are built through a socio-historical relation. Those analyses have allowed us to understand that the representation of proficiency is heterogeneously built in the speeches of the interviewed people, i.e., sometimes it appears based on the imaginary of language, sometimes on the myth of the native speaker, or even on matters such as the complexity of master and doctorate studies, as well as the notion of time when accomplishing these studies. By pursuing an investigation on the reasons why English (and not any other language) is the most demanded one on proficiency examinations for a foreign language, we have noticed that the hegemonic position of English is given due to some historical facts, strengthened by globalization, and that it may have contributed to produce the need of this language. Nevertheless, such language need seems to be justified by the fact that students from master and doctorate programs must be prepared to read texts in English, to join international congresses, to attend classes conducted by foreign professors, and to pursue internships in foreign countries

A proficiência em uma língua estrangeira ocupa um lugar de extrema importância na pós-graduação. O exame de proficiência é uma das etapas do processo seletivo a primeira, na maioria dos institutos , e, caso sejam reprovados nessa avaliação, os candidatos não poderão seguir para as próximas fases. A noção de proficiência, nesse contexto, parece ser um conceito pressuposto, com uma definição aparentemente clara, que dispensa uma discussão em torno do tema. No entanto, ao analisarmos a maneira como a proficiência configura-se na pós-graduação, observamos que esse conceito, aparentemente tão estável, é construído no imaginário de maneira fluída, ou seja, ao invés de falarmos em proficiência, poderíamos falar em proficiências. Assim, esse trabalho tem como principais objetivos analisar as representações de proficiência em língua inglesa presentes nos dizeres de coordenadores, alunos e candidatos à pós-graduação e o modo como a necessidade da língua inglesa é construída nesse contexto. Para tanto, baseamo-nos em pressupostos teóricos da Análise de Discurso, para a qual os sentidos são construídos em uma relação sócio-histórica. Ao longo das análises, constatamos que a representação de proficiência é construída nos dizeres dos entrevistados de uma maneira heterogênea: ora aparece calcada no imaginário de língua, ora no mito do falante nativo, ora na questão do tempo e complexidade dos cursos de mestrado e doutorado. Em nosso propósito de investigar por que a língua inglesa (e não outro idioma) é a mais exigida nos exames de proficiência em língua estrangeira, observamos que a posição hegemônica do inglês, conquistada devido a alguns fatores históricos e fortalecida pela globalização, pode ter contribuído para a necessidade desse idioma. Todavia, tal necessidade é justificada pelo fato de que os alunos de mestrado e doutorado deverão estar preparados para lerem textos em inglês, participarem de congressos internacionais, assistirem aulas com professores estrangeiros e fazerem estágios no exterior. / For graduate studies, proficiency in a foreign language is considered highly relevant. The proficiency examination is one of the steps in the selective process in most cases, it is the first one and candidates are not allowed to proceed on such process if they fail this examination. In this context, the notion of proficiency seems to be a pre-conceived concept, with an apparently clear definition that does not envisage or expect further elaboration on the subject. However, when we analyze how proficiency is approached in graduate studies, we see that such apparently stable concept is feebly built on the imaginary of those involved in the process, i.e., instead of considering proficiency, we could refer to proficiencies. Thus, this research aims mainly at analyzing the representations of proficiency in the English language, which emerge from the speeches of coordinators, students and candidates to post-graduate studies, as well as how the need for the English language is built in this context. In doing so, we base our research on Discourse Analysis theoretical premises, according to which meanings are built through a socio-historical relation. Those analyses have allowed us to understand that the representation of proficiency is heterogeneously built in the speeches of the interviewed people, i.e., sometimes it appears based on the imaginary of language, sometimes on the myth of the native speaker, or even on matters such as the complexity of master and doctorate studies, as well as the notion of time when accomplishing these studies. By pursuing an investigation on the reasons why English (and not any other language) is the most demanded one on proficiency examinations for a foreign language, we have noticed that the hegemonic position of English is given due to some historical facts, strengthened by globalization, and that it may have contributed to produce the need of this language. Nevertheless, such language need seems to be justified by the fact that students from master and doctorate programs must be prepared to read texts in English, to join international congresses, to attend classes conducted by foreign professors, and to pursue internships in foreign countries

Este trabalho investiga como os examinadores do exame de proficiência IELTS atuando no Brasil utilizam a grade de avaliação da entrevista oral do exame buscando os critérios focalizados para a tomada de decisão em relação às notas atribuídas. Foram analisadas as transcrições de cinco entrevistas com examinadores de IELTS que avaliaram o desempenho de um mesmo candidato durante uma entrevista gravada em vídeo para fins desta pesquisa. Os comentários avaliativos dos examinadores entrevistados foram classificados conforme referencias a um dos quatro critérios descritos na grade de avaliação utilizada – Fluência e Coerência, Recursos Lexicais, Abrangência e Correção Gramaticais e Pronúncia. A análise das notas atribuídas ao candidato e dos comentários dos examinadores revelou uma maior dificuldade na avaliação dos critérios Fluência e Coerência e Pronúncia, e a subsequente análise dos comentários em relação aos componentes de cada critério salientes durante a avaliação indicou como relevantes para a avaliação deste candidato justamente alguns dos pontos de sobreposição entre Fluência e Pronúncia – velocidade de fala, chunking e ritmo. Além de indicar pontos de sobreposição entre os critérios, os comentários dos examinadores revelaram dificuldades em relação à interpretação dos critérios, por exemplo, quanto a levar em consideração ou não um modelo de falante nativo imaginado, ou quanto a inferir os contextos futuros de uso da língua do candidato, bem como dificuldades quanto à condução da entrevista oral de proficiência do IELTS, como em manter os papeis de interlocutor e avaliador considerando todos os descritores da grade analítica utilizada. As questões levantadas pela análise dos comentários dos examinadores para este estudo podem contribuir para a discussão sobre a utilização de grades analíticas para entrevistas de proficiência oral, bem como sobre a separabilidade ou não dos critérios de avaliação das mesmas. / This study investigates how IELTS examiners working in Brazil use the Speaking Band Descriptors and searches for the criteria they focus when deciding on the grades given. The transcriptions of five interviews with IELTS examiners who assessed the performance of the same candidate in a video interview specifically done for this study were analyzed. The assessing comments of the examiners were classified according to references to one of the four criteria described in the scale used – Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy and Pronunciation. The analysis of the grades given to the candidate and of the examiners’ comments showed that the examiners had more difficulty with the criteria Fluency and Coherence and Pronunciation. The analysis of the comments in relation to the salient components of the criteria indicated that they considered relevant to the assessment of this candidate some of the overlapping criteria between Fluency and Pronunciation – speech rate, chunking and rhythm. Besides indicating overlaps between the criteria, the examiners pointed out their difficulties in interpreting the criteria, for example, in relation to taking into consideration or not the ideal native-speaker standard, or their inferences about the candidate’s future contexts of language use, as well as difficulties related to the IELTS oral interview procedures, such as playing both the interlocutor and assessor roles while considering all the descriptors included in the scales. The issues raised by the analysis of the examiners’ comments in this study may contribute to the debate on the use of analytic scales for oral proficiency interviews, as well as on the distinctiveness of the assessing criteria.

Este trabalho investiga como os examinadores do exame de proficiência IELTS atuando no Brasil utilizam a grade de avaliação da entrevista oral do exame buscando os critérios focalizados para a tomada de decisão em relação às notas atribuídas. Foram analisadas as transcrições de cinco entrevistas com examinadores de IELTS que avaliaram o desempenho de um mesmo candidato durante uma entrevista gravada em vídeo para fins desta pesquisa. Os comentários avaliativos dos examinadores entrevistados foram classificados conforme referencias a um dos quatro critérios descritos na grade de avaliação utilizada – Fluência e Coerência, Recursos Lexicais, Abrangência e Correção Gramaticais e Pronúncia. A análise das notas atribuídas ao candidato e dos comentários dos examinadores revelou uma maior dificuldade na avaliação dos critérios Fluência e Coerência e Pronúncia, e a subsequente análise dos comentários em relação aos componentes de cada critério salientes durante a avaliação indicou como relevantes para a avaliação deste candidato justamente alguns dos pontos de sobreposição entre Fluência e Pronúncia – velocidade de fala, chunking e ritmo. Além de indicar pontos de sobreposição entre os critérios, os comentários dos examinadores revelaram dificuldades em relação à interpretação dos critérios, por exemplo, quanto a levar em consideração ou não um modelo de falante nativo imaginado, ou quanto a inferir os contextos futuros de uso da língua do candidato, bem como dificuldades quanto à condução da entrevista oral de proficiência do IELTS, como em manter os papeis de interlocutor e avaliador considerando todos os descritores da grade analítica utilizada. As questões levantadas pela análise dos comentários dos examinadores para este estudo podem contribuir para a discussão sobre a utilização de grades analíticas para entrevistas de proficiência oral, bem como sobre a separabilidade ou não dos critérios de avaliação das mesmas. / This study investigates how IELTS examiners working in Brazil use the Speaking Band Descriptors and searches for the criteria they focus when deciding on the grades given. The transcriptions of five interviews with IELTS examiners who assessed the performance of the same candidate in a video interview specifically done for this study were analyzed. The assessing comments of the examiners were classified according to references to one of the four criteria described in the scale used – Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy and Pronunciation. The analysis of the grades given to the candidate and of the examiners’ comments showed that the examiners had more difficulty with the criteria Fluency and Coherence and Pronunciation. The analysis of the comments in relation to the salient components of the criteria indicated that they considered relevant to the assessment of this candidate some of the overlapping criteria between Fluency and Pronunciation – speech rate, chunking and rhythm. Besides indicating overlaps between the criteria, the examiners pointed out their difficulties in interpreting the criteria, for example, in relation to taking into consideration or not the ideal native-speaker standard, or their inferences about the candidate’s future contexts of language use, as well as difficulties related to the IELTS oral interview procedures, such as playing both the interlocutor and assessor roles while considering all the descriptors included in the scales. The issues raised by the analysis of the examiners’ comments in this study may contribute to the debate on the use of analytic scales for oral proficiency interviews, as well as on the distinctiveness of the assessing criteria.

Este trabalho investiga como os examinadores do exame de proficiência IELTS atuando no Brasil utilizam a grade de avaliação da entrevista oral do exame buscando os critérios focalizados para a tomada de decisão em relação às notas atribuídas. Foram analisadas as transcrições de cinco entrevistas com examinadores de IELTS que avaliaram o desempenho de um mesmo candidato durante uma entrevista gravada em vídeo para fins desta pesquisa. Os comentários avaliativos dos examinadores entrevistados foram classificados conforme referencias a um dos quatro critérios descritos na grade de avaliação utilizada – Fluência e Coerência, Recursos Lexicais, Abrangência e Correção Gramaticais e Pronúncia. A análise das notas atribuídas ao candidato e dos comentários dos examinadores revelou uma maior dificuldade na avaliação dos critérios Fluência e Coerência e Pronúncia, e a subsequente análise dos comentários em relação aos componentes de cada critério salientes durante a avaliação indicou como relevantes para a avaliação deste candidato justamente alguns dos pontos de sobreposição entre Fluência e Pronúncia – velocidade de fala, chunking e ritmo. Além de indicar pontos de sobreposição entre os critérios, os comentários dos examinadores revelaram dificuldades em relação à interpretação dos critérios, por exemplo, quanto a levar em consideração ou não um modelo de falante nativo imaginado, ou quanto a inferir os contextos futuros de uso da língua do candidato, bem como dificuldades quanto à condução da entrevista oral de proficiência do IELTS, como em manter os papeis de interlocutor e avaliador considerando todos os descritores da grade analítica utilizada. As questões levantadas pela análise dos comentários dos examinadores para este estudo podem contribuir para a discussão sobre a utilização de grades analíticas para entrevistas de proficiência oral, bem como sobre a separabilidade ou não dos critérios de avaliação das mesmas. / This study investigates how IELTS examiners working in Brazil use the Speaking Band Descriptors and searches for the criteria they focus when deciding on the grades given. The transcriptions of five interviews with IELTS examiners who assessed the performance of the same candidate in a video interview specifically done for this study were analyzed. The assessing comments of the examiners were classified according to references to one of the four criteria described in the scale used – Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy and Pronunciation. The analysis of the grades given to the candidate and of the examiners’ comments showed that the examiners had more difficulty with the criteria Fluency and Coherence and Pronunciation. The analysis of the comments in relation to the salient components of the criteria indicated that they considered relevant to the assessment of this candidate some of the overlapping criteria between Fluency and Pronunciation – speech rate, chunking and rhythm. Besides indicating overlaps between the criteria, the examiners pointed out their difficulties in interpreting the criteria, for example, in relation to taking into consideration or not the ideal native-speaker standard, or their inferences about the candidate’s future contexts of language use, as well as difficulties related to the IELTS oral interview procedures, such as playing both the interlocutor and assessor roles while considering all the descriptors included in the scales. The issues raised by the analysis of the examiners’ comments in this study may contribute to the debate on the use of analytic scales for oral proficiency interviews, as well as on the distinctiveness of the assessing criteria.

Percorremos nessa pesquisa caminhos entre a leitura, tradução e avaliação que muitas vezes se cruzam, como na didática de línguas e nos estudos cognitivos. Os processos e estratégias de tradução, forçosamente, demandam variados tipos de leitura em língua estrangeira que, por sua vez, ativam outras estratégias em diferentes momentos, como a leitura do texto traduzido feita em comparação ao texto original, denominada leitura crítica da tradução. A prática da tradução exercita a leitura, ao mesmo tempo em que faz com que o leitor-tradutor reflita sobre suas próprias atividades e percursos. A avaliação da compreensão escrita de um texto em língua estrangeira é a finalidade dos exames universitários de proficiência que representam uma das etapas exigidas durante processo seletivo para o mestrado e doutorado nos programas de pósgraduação. Esses exames podem ter diferentes modalidades dentro de um mesmo centro aplicador ou universidade, como acontece na USP. Em alguns casos, exige-se a tradução, se não integral, de um trecho do texto para o qual também são feitas outras questões: dissertativas, múltipla escolha ou opção por verdadeiro ou falso. Nessa pesquisa, analisamos as traduções de trechos de textos de exames de proficiência em francês feitas por candidatos aos programas de pós-graduação para o mestrado e doutorado na ECA, nos anos 2002, 2004, 2005 e 2006, e na Faculdade de Letras, nos anos 2004, 2006 e 2007. Os trechos de tradução foram inseridos no programa WordSmith Tools, que ajuda a visualizar um corpus para que seja analisado, por isso muito usual nas pesquisas em Linguística de Corpus. Confrontamos nossas postulações de erros com as soluções, dificuldades, problemas e procedimentos encontrados no corpus. Considerando o objetivo do exame de proficiência e como não há indícios de um método de correção da tradução no corpus, procuramos distinguir os erros de leitura dos de expressão escrita e compreender as estratégias utilizadas pelos candidatos. Essa distinção deveria estar presente nos critérios de correção que deveriam ser explicitados pelos elaboradores para que pudessem ser conhecidos de antemão pelos candidatos. Dentro da USP, é crescente a busca por preparo aos exames de proficiência nos cursos instrumentais, entre eles o de francês, que têm como principal foco a compreensão de textos em língua estrangeira. Para que os atuais alunos leiam suas bibliografias e sendo, alguns desses também futuros candidatos a essas provas, devese atentar para os exercícios de tradução, já que esses trabalham e revelam a compreensão do leitor-tradutor. Nosso objetivo é refletir sobre os critérios de avaliação dos exames e contribuir para o ensino da leitura em FLE, auxiliando os cursos instrumentais a incorporarem a prática da tradução, apresentando seus benefícios para a leitura. / In this research we go through the paths between reading, translation and assessment that often intersect, like in language teaching and cognitive studies. The processes and strategies of translation strongly require different kinds of reading in a foreign language, which, in their turn, activate other strategies at different times, like reading the translated text and comparing it to the original text, which is called critical reading of translation. The practice of translating exercises the reading process, at the same time that it makes the reader-translator reflect on their own activities and pathways. The assessment of reading comprehension of a text in a foreign language is the purpose of the university proficiency exams that represent one of the steps required during the selection process for masters and doctorate programs in graduate school. These exams may have different modalities within a single applying centre or university, as it occurs at USP. In some cases it is required the translation of a texts extract, if not the whole text, and questions about it are made, which can be in form of essay, multiple choice or true or false options. In this research, we analyse the translation of excerpts from texts of French proficiency exams taken by candidates for postgraduate programs for master\'s and doctorate at ECA, in the years 2002, 2004, 2005 and 2006, and at the Faculty of Arts, University of Sao Paulo, in the years 2004, 2006 and 2007. The excerpts were entered into the translation program WordSmith Tools, which helps to visualise a corpus that will be analysed, being very used in Corpus Linguistics polls. We confronted our supposed mistakes with the solutions, difficulties, problems and procedures found in the corpus and verified whether the exercise of translation reveals (in) comprehension by the candidates. Inside USP there is an increase of search for reading courses that prepare to the proficiency exams, and that includes the Reading in French course, which focuses on reading comprehension in a foreign language. For the current students to read their bibliographies, and being some of them future candidates to the proficiency exams, it is important that the reading courses give special attention to the translation exercises, since they show and work on the comprehension of the reader-translator. Our aim is to reflect on the assessment criteria of the exams and contribute to the teaching of reading in FFL, assisting reading courses to incorporate the practice of translation, by presenting its benefits for reading.

Este trabalho tem como intuito investigar se paradigmas de avaliação dão conta de afirmar a proficiência de um indivíduo em língua portuguesa, enquanto língua materna, na habilidade de escrita. Inicialmente realizamos uma reflexão a respeito da avaliação da aprendizagem de língua, bem como focamos na avaliação de produção textual em língua portuguesa. Após, propomos a adoção do conceito de proficiência - conceito este utilizado comumente nos estudos de avaliação da aprendizagem de língua estrangeira -, na área de avaliação de produção escrita em língua materna e, a partir disto, passamos a analisar o processo de avaliação do Exame Supletivo Oportunidade 2003 (exame que foi a origem de nossas pesquisas), aplicando nossa visão teórica ao processo avaliativo adotado nesse Exame em busca de respostas. Cabe salientar que nossa investigação está baseada nos estudos dos teóricos da área da educação, como também nos estudos dos lingüistas aplicados que têm como foco a avaliação de aprendizagem de língua. partir das respostas obtidas ao analisar a avaliação realizada nesse Exame, foi possível pensar o conceito de proficiência como objetivo a ser implementado na área de avaliação de produção textual em língua materna. / This work intends to investigate whether evaluation paradigms are able to assure personal proficiency of Portuguese language as mother tongue, in writing ability. Initially we would accomplish a reflection regarding the evaluation of language learning, as well as we would focus in the evaluation of textual production in Portuguese language. After that, we would propose the adoption of the proficiency concept - concept which is customarily used in studies of the evaluation of foreign language learning - in the area of written evaluation production in their mother tongue and, from that, we would start to analyze the process of evaluation of „Exame Supletivo Opotunidade 2003’ (test which happens to be the origin of our research), applying our theoretical view to the evaluative process adopted by this Test, searching for answers. It is important to distinguish that our investigation is based on the studies of the theoretical researchers in the area of education, as well as on the applied linguists' studies that have focus on language learning evaluation. By the answers gotten from the evaluation analysis of this Test, it would be possible to think about the proficiency concept as an objective to be implemented in the area of evaluation of textual production in mother tongue.

Este trabalho tem como intuito investigar se paradigmas de avaliação dão conta de afirmar a proficiência de um indivíduo em língua portuguesa, enquanto língua materna, na habilidade de escrita. Inicialmente realizamos uma reflexão a respeito da avaliação da aprendizagem de língua, bem como focamos na avaliação de produção textual em língua portuguesa. Após, propomos a adoção do conceito de proficiência - conceito este utilizado comumente nos estudos de avaliação da aprendizagem de língua estrangeira -, na área de avaliação de produção escrita em língua materna e, a partir disto, passamos a analisar o processo de avaliação do Exame Supletivo Oportunidade 2003 (exame que foi a origem de nossas pesquisas), aplicando nossa visão teórica ao processo avaliativo adotado nesse Exame em busca de respostas. Cabe salientar que nossa investigação está baseada nos estudos dos teóricos da área da educação, como também nos estudos dos lingüistas aplicados que têm como foco a avaliação de aprendizagem de língua. partir das respostas obtidas ao analisar a avaliação realizada nesse Exame, foi possível pensar o conceito de proficiência como objetivo a ser implementado na área de avaliação de produção textual em língua materna. / This work intends to investigate whether evaluation paradigms are able to assure personal proficiency of Portuguese language as mother tongue, in writing ability. Initially we would accomplish a reflection regarding the evaluation of language learning, as well as we would focus in the evaluation of textual production in Portuguese language. After that, we would propose the adoption of the proficiency concept - concept which is customarily used in studies of the evaluation of foreign language learning - in the area of written evaluation production in their mother tongue and, from that, we would start to analyze the process of evaluation of „Exame Supletivo Opotunidade 2003’ (test which happens to be the origin of our research), applying our theoretical view to the evaluative process adopted by this Test, searching for answers. It is important to distinguish that our investigation is based on the studies of the theoretical researchers in the area of education, as well as on the applied linguists' studies that have focus on language learning evaluation. By the answers gotten from the evaluation analysis of this Test, it would be possible to think about the proficiency concept as an objective to be implemented in the area of evaluation of textual production in mother tongue.

Este trabalho tem como intuito investigar se paradigmas de avaliação dão conta de afirmar a proficiência de um indivíduo em língua portuguesa, enquanto língua materna, na habilidade de escrita. Inicialmente realizamos uma reflexão a respeito da avaliação da aprendizagem de língua, bem como focamos na avaliação de produção textual em língua portuguesa. Após, propomos a adoção do conceito de proficiência - conceito este utilizado comumente nos estudos de avaliação da aprendizagem de língua estrangeira -, na área de avaliação de produção escrita em língua materna e, a partir disto, passamos a analisar o processo de avaliação do Exame Supletivo Oportunidade 2003 (exame que foi a origem de nossas pesquisas), aplicando nossa visão teórica ao processo avaliativo adotado nesse Exame em busca de respostas. Cabe salientar que nossa investigação está baseada nos estudos dos teóricos da área da educação, como também nos estudos dos lingüistas aplicados que têm como foco a avaliação de aprendizagem de língua. partir das respostas obtidas ao analisar a avaliação realizada nesse Exame, foi possível pensar o conceito de proficiência como objetivo a ser implementado na área de avaliação de produção textual em língua materna. / This work intends to investigate whether evaluation paradigms are able to assure personal proficiency of Portuguese language as mother tongue, in writing ability. Initially we would accomplish a reflection regarding the evaluation of language learning, as well as we would focus in the evaluation of textual production in Portuguese language. After that, we would propose the adoption of the proficiency concept - concept which is customarily used in studies of the evaluation of foreign language learning - in the area of written evaluation production in their mother tongue and, from that, we would start to analyze the process of evaluation of „Exame Supletivo Opotunidade 2003’ (test which happens to be the origin of our research), applying our theoretical view to the evaluative process adopted by this Test, searching for answers. It is important to distinguish that our investigation is based on the studies of the theoretical researchers in the area of education, as well as on the applied linguists' studies that have focus on language learning evaluation. By the answers gotten from the evaluation analysis of this Test, it would be possible to think about the proficiency concept as an objective to be implemented in the area of evaluation of textual production in mother tongue.

Submitted by Izabel Franco (izabel-franco@ufscar.br) on 2016-09-21T20:05:06Z No. of bitstreams: 1 DissVRS.pdf: 1534933 bytes, checksum: 3be53a846076f3dcad8ef3bbed2d3e3c (MD5) / Approved for entry into archive by Ronildo Prado (ronisp@ufscar.br) on 2016-09-28T18:36:30Z (GMT) No. of bitstreams: 1 DissVRS.pdf: 1534933 bytes, checksum: 3be53a846076f3dcad8ef3bbed2d3e3c (MD5) / Approved for entry into archive by Ronildo Prado (ronisp@ufscar.br) on 2016-09-28T18:36:38Z (GMT) No. of bitstreams: 1 DissVRS.pdf: 1534933 bytes, checksum: 3be53a846076f3dcad8ef3bbed2d3e3c (MD5) / Made available in DSpace on 2016-09-28T18:43:48Z (GMT). No. of bitstreams: 1 DissVRS.pdf: 1534933 bytes, checksum: 3be53a846076f3dcad8ef3bbed2d3e3c (MD5) Previous issue date: 2015-04-09 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / This work describes the steps for converting a linear paper-and-pencil English proficiency test for academic purposes, composed with multiple choice items that are administered following the admissible probability measurement procedure (Shuford Jr et al., 1966), adopted by the graduate program of Institute of Mathematical Sciences and Computing of University of São Paulo (ICMCUSP), Brazil, to a computerized adaptive test (CAT) based on an item response theory model (IRT). Despite the Institute recognizes reliable international English-language exams for academic purposes and non-native speakers, as TOEFL (Test of English as a Foreign Language), IELTS (International English Language Testing System) and CPE (Cambridge English: Proficiency), for instance, it is inconsistent that public universities in Brazil require them as certification because of the cost of approximately US$ 200.00 to US$ 300.00 per exam. The software TAI-PI (computerized adaptive test for English proficiency) was implemented in Java language, used SQLite as database engine, and it shall be offered free of charge for English proficiency assessment of the graduate students from October 2013. The statistical methodology employed for TAI-PI construction was defined considering the history and the aims of the evaluation and adopted the Samejima's graded response model (Samejima, 1969), the Kullback-Leibler information criterion for item selection, the expected a posteriori Bayesian estimation for latent trait (Baker, 2001) and shadow test approach (Van der Linden & Pashley, 2010) for test constraints (content and size of the test, for example). A description of the test design, the employed statistical methods, study results of a real application of TAI-PI to graduate students are presented in this work and the validation studies of the new methodology for pass/fail classi cation, highlighting the good quality of the new evaluation system and examination of improvement with the use of the methods of IRT and CAT. / Este trabalho descreve as etapas de transformação de um exame de proficiência em inglês acadêmico, aplicado via lápis-e-papel, com itens de múltipla escolha administrados segundo o método de Medida de Probabilidade Admissível (Shuford Jr et al., 1966), utilizado no programa de pósgraduação do Instituto de Ciências Matemáticas e de Computação da Universidade de São Paulo (ICMC-USP), em um teste adaptativo informatizado (TAI-PI) baseado em um modelo da Teoria de Resposta ao Item (TRI). Apesar do programa aceitar diversos exames que atestam a proficiência em inglês para indivíduos não-nativos de abrangência e reconhecimento internacionais, como o TOEFL (Test of English as a Foreign Language), IELTS (International English Language Testing System) e CPE (Certificate of Proficiency in English), por exemplo, a sua obrigatoriedade é incoerente em universidades públicas do Brasil devido ao custo que varia de 200 a 300 dólares por exame. O software TAI-PI (Teste Adaptativo Informatizado para Proficiência em Inglês), que foi desenvolvido em Java e SQLite, será utilizado para a avaliação da pro ciência em inglês dos alunos do programa a partir do segundo semestre de 2013, de forma gratuita. A metodologia estatística implementada foi definida considerando a história e objetivos do exame e adotou o modelo de resposta gradual unidimensional de Samejima (Samejima, 1969), o critério de Kullback-Leibler para seleção de itens, o método de estimação da esperança a posteriori para os traços latentes (Baker , 2001) e a abordagem Shadow test (Van der Linden & Pashley, 2010) para imposição de restrições (de conteúdo e tamanho da prova) na composição do teste de cada indivíduo. Uma descrição da estrutura do exame, dos métodos empregados, dos resultados das aplicações do TAI-PI a alunos de pós-graduação do ICMC e estudos de classificação dos alunos em aprovados e reprovados, são apresentados neste trabalho, evidenciando a boa qualidade da nova proposta adotada e aprimoramento do exame com a utilização dos métodos de TRI e TAI.