Avaliar proficiência oral em uma língua estrangeira é um processo que requer um criterioso treinamento dos avaliadores e grades de avaliação precisas o suficiente para abarcar as características da proficiência dos candidatos. O processo de avaliação oral pode tornar-se mais complexo quando se trata de avaliar línguas próximas, como o português e o espanhol, pois a semelhança entre as línguas traz particularidades que podem não estar previstas na grade de avaliação. O exame de proficiência em Português para Estrangeiros Celpe-Bras, desenvolvido pelo Ministério da Educação do Brasil, testa a capacidade do candidato de compreender e de produzir a língua de forma adequada em situações reais de comunicação. Para tanto, a grade de avaliação do exame é expressa em descritores de desempenho do candidato. Esses descritores, no entanto, nem sempre contemplam toda a variação no desempenho dos candidatos e, por serem ainda bastante amplos, dificultam a determinação do nível de proficiência, principalmente quando os candidatos são falantes de línguas próximas ao português. Este trabalho tem como objetivo fazer uma descrição detalhada do desempenho de candidatos falantes de espanhol no exame Celpe-Bras, apontando as características da sua proficiência. O corpus para essa análise é constituído de doze entrevistas de candidatos falantes de espanhol, dos quais quatro obtiveram Certificado Avançado, quatro Certificado Intermediário e quatro não receberam certificação. A partir da análise dos dados, foram selecionadas categorias relevantes para a avaliação dos candidatos e, de acordo com a adequação ou inadequação apresentadas nessas categorias, pudemos descrever o desempenho dos candidatos em cada um dos níveis de certificação e explicitar melhor qual a diferença entre um nível de certificação e outro. Os resultados deste trabalho pretendem contribuir para que os avaliadores possam se basear em descrições mais detalhadas de desempenho para avaliar a proficiência oral de falantes de espanhol, aperfeiçoando assim o processo de avaliação.

Avaliar proficiência oral em uma língua estrangeira é um processo que requer um criterioso treinamento dos avaliadores e grades de avaliação precisas o suficiente para abarcar as características da proficiência dos candidatos. O processo de avaliação oral pode tornar-se mais complexo quando se trata de avaliar línguas próximas, como o português e o espanhol, pois a semelhança entre as línguas traz particularidades que podem não estar previstas na grade de avaliação. O exame de proficiência em Português para Estrangeiros Celpe-Bras, desenvolvido pelo Ministério da Educação do Brasil, testa a capacidade do candidato de compreender e de produzir a língua de forma adequada em situações reais de comunicação. Para tanto, a grade de avaliação do exame é expressa em descritores de desempenho do candidato. Esses descritores, no entanto, nem sempre contemplam toda a variação no desempenho dos candidatos e, por serem ainda bastante amplos, dificultam a determinação do nível de proficiência, principalmente quando os candidatos são falantes de línguas próximas ao português. Este trabalho tem como objetivo fazer uma descrição detalhada do desempenho de candidatos falantes de espanhol no exame Celpe-Bras, apontando as características da sua proficiência. O corpus para essa análise é constituído de doze entrevistas de candidatos falantes de espanhol, dos quais quatro obtiveram Certificado Avançado, quatro Certificado Intermediário e quatro não receberam certificação. A partir da análise dos dados, foram selecionadas categorias relevantes para a avaliação dos candidatos e, de acordo com a adequação ou inadequação apresentadas nessas categorias, pudemos descrever o desempenho dos candidatos em cada um dos níveis de certificação e explicitar melhor qual a diferença entre um nível de certificação e outro. Os resultados deste trabalho pretendem contribuir para que os avaliadores possam se basear em descrições mais detalhadas de desempenho para avaliar a proficiência oral de falantes de espanhol, aperfeiçoando assim o processo de avaliação.

Avaliar proficiência oral em uma língua estrangeira é um processo que requer um criterioso treinamento dos avaliadores e grades de avaliação precisas o suficiente para abarcar as características da proficiência dos candidatos. O processo de avaliação oral pode tornar-se mais complexo quando se trata de avaliar línguas próximas, como o português e o espanhol, pois a semelhança entre as línguas traz particularidades que podem não estar previstas na grade de avaliação. O exame de proficiência em Português para Estrangeiros Celpe-Bras, desenvolvido pelo Ministério da Educação do Brasil, testa a capacidade do candidato de compreender e de produzir a língua de forma adequada em situações reais de comunicação. Para tanto, a grade de avaliação do exame é expressa em descritores de desempenho do candidato. Esses descritores, no entanto, nem sempre contemplam toda a variação no desempenho dos candidatos e, por serem ainda bastante amplos, dificultam a determinação do nível de proficiência, principalmente quando os candidatos são falantes de línguas próximas ao português. Este trabalho tem como objetivo fazer uma descrição detalhada do desempenho de candidatos falantes de espanhol no exame Celpe-Bras, apontando as características da sua proficiência. O corpus para essa análise é constituído de doze entrevistas de candidatos falantes de espanhol, dos quais quatro obtiveram Certificado Avançado, quatro Certificado Intermediário e quatro não receberam certificação. A partir da análise dos dados, foram selecionadas categorias relevantes para a avaliação dos candidatos e, de acordo com a adequação ou inadequação apresentadas nessas categorias, pudemos descrever o desempenho dos candidatos em cada um dos níveis de certificação e explicitar melhor qual a diferença entre um nível de certificação e outro. Os resultados deste trabalho pretendem contribuir para que os avaliadores possam se basear em descrições mais detalhadas de desempenho para avaliar a proficiência oral de falantes de espanhol, aperfeiçoando assim o processo de avaliação.

A descrição realizada nesta pesquisa aponta para uma compreensão etnometodológica do trabalho de fazer ser membro na fala-em-interação de entrevista de proficiência oral em português como língua adicional. O objetivo deste estudo é atingir uma compreensão de proficiência oral em língua adicional da perspectiva dos participantes na entrevista de proficiência oral em português como língua adicional do exame Celpe-Bras, de modo a realizar, a partir dessa compreensão, a proposição de um entendimento de proficiência e de parâmetros de avaliação de proficiência oral em língua adicional que possam ser válidos e confiáveis para o uso da linguagem para ação no mundo (Clark, 1996). Pela adesão ao arcabouço teórico da Etnometodologia (Garfinkel, 1967; Garfinkel e Sacks, 1970) e aos princípios teórico-metodológicos da Análise da Conversa Etnometodológica, este estudo entende que a fala-em-interação de entrevista de proficiência oral em língua adicional é uma realização intersubjetiva e contingente para todos os efeitos práticos da realização dessa atividade cotidiana pelos interagentes. Para alcançar o objetivo desta pesquisa, foram analisadas entrevistas de proficiência oral do exame Celpe-Bras, segmentadas de um corpus de 10h de entrevistas gravadas em áudio em um dos postos aplicadores do Celpe-Bras na Região Sul do Brasil. Para análise, foram segmentadas seqüências interacionais em que os participantes realizam práticas interacionais por meio das quais exibem uns aos outros o entendimento das ações que fazem como parte do trabalho de fazer ser membro na falaem- interação de entrevista de proficiência oral em português como língua adicional. A partir da visão etnometodológica da ação humana pelo uso da linguagem, a descrição realizada nesta pesquisa apontou para um entendimento de proficiência oral em língua adicional como a constituição do pertencimento por meio de um trabalho interacional intersubjetivo e contingente realizado pelo domínio da linguagem natural (Garfinkel, 1967; Garfinkel e Sacks, 1970). Para realizar o trabalho de fazer ser membro na falaem- interação de entrevista de proficiência oral, os participantes deste estudo exibem uns aos outros e, com isso, ao analista: 1) a produção intersubjetiva de contextos e de identidades institucionais; 2) a atribuição e a ratificação de categorias de pertencimento da coleção [ser daqui/deste país x ser de lá/de outro país] uns aos outros pela exibição do entendimento do interlocutor como representante da categoria de pertencimento a ele atribuída e, portanto, possuidor de conhecimento de senso comum para a produção de ações e descrições “visivelmente-racionais-e-observáveis-para-todos-os-efeitos práticos” (Garfinkel, 1967, p. vii) na constituição da organização da fala-em-interação; 3) a exibição da compreensão e da produção de práticas de categorização e descrição em língua portuguesa como preferíveis (Abeledo, 2008); e 4) a exibição da compreensão e da produção de práticas de categorização e descrição em língua espanhola como aceitáveis. A descrição do trabalho de fazer ser membro na fala-em-interação de entrevista de proficiência oral realizada neste estudo implica a redefinição do conceito de proficiência oral, a reconfiguração do conceito de confiabilidade e a elaboração de novos parâmetros na área de avaliação de língua adicional para que a avaliação de proficiência oral em língua adicional do Exame Celpe-Bras possa ser mais válida e confiável para o uso da linguagem para ação no mundo (Clark, 1996). / The description achieved in this research points to an ethnomethodological understanding of the work of doing ‘being a member’ in Portuguese as an additional language oral proficiency interview talk-in-interaction. The aim of this study is to achieve an understanding of oral proficiency in an additional language from the perspective of the participants in the Portuguese as an additional language oral proficiency interview in the Celpe-Bras exam in order to propose, based on the participants’ perspective, an understanding of oral proficiency and of assessment parameters for the assessment of oral proficiency in an additional language which may be valid and reliable for language use as a form of joint action (Clark, 1996). Based on the theoretical framework which is the grounds of Ethnomethodology (Garfinkel, 1967; Garfinkel and Sacks, 1970) and on the theoretical-methodological principles in Conversation Analysis, this study understands additional language oral proficiency interview talk-in-interaction as a contingent and intersubjective achievement for all practical purposes of the achievement of this everyday activity by the interactants. In order to reach my research goal, I analyzed Celpe-Bras Portuguese as oral proficiency interviews, segmented from a corpus of 10 hours of audio recordings in one of the Celpe-Bras application centers in the South of Brasil. As for the analysis, interactional sequences were segmented in which the participants produce interactional practices by which they exhibit to one another the understanding of the actions they accomplish as part of the work of doing ‘being a member’ in Portuguese as an additional language oral proficiency interview talk-in-interaction. From the ethnomethodological perspective of human action accomplished by means of language use, the description achieved in this research has pointed to an understanding of oral proficiency in an additional language as exhibiting co-membership in a contingent and intersubjective interactional work accomplished by the mastery of natural language (Garfinkel, 1967; Garfinkel and Sacks, 1970). The analysis has shown that for the participants to accomplish the work of doing ‘being a member’ in the oral proficiency interview talk-in-interaction they exhibit to one another and, by doing so, to the analyst that: 1) they intersubjectively produce institutional contexts and identities; 2) they invoke and ratify membership categories of the collection [being from here/this country x being from there/that country] to one another by the reflexive exhibition of the understanding of the interlocutor as a representative of the membership categorization made relevant and, for being a representative of that category, sharing common sense knowledge to produce actions and descriptions ‘visibly-rational-and-observable-for-all-practical-purposes’ (Garfinkel, 1967, p. vii) in the intersubjective accomplishment of talk-in-interaction; 3) they exhibit understanding and production of categorization and description practices in Portuguese as preferable (Abeledo, 2008); and 4) they exhibit understanding and production of categorization and description practices in Spanish as acceptable. The description of the work of doing ‘being a member’ in oral proficiency interview talk-in-interaction accomplished in this study points to the redefinition of oral proficiency, to the reconfiguration of reliability, and to the elaboration of new assessment parameters which may be valid and reliable for language use as a form of joint action (Clark, 1996).

Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.

Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.

A descrição realizada nesta pesquisa aponta para uma compreensão etnometodológica do trabalho de fazer ser membro na fala-em-interação de entrevista de proficiência oral em português como língua adicional. O objetivo deste estudo é atingir uma compreensão de proficiência oral em língua adicional da perspectiva dos participantes na entrevista de proficiência oral em português como língua adicional do exame Celpe-Bras, de modo a realizar, a partir dessa compreensão, a proposição de um entendimento de proficiência e de parâmetros de avaliação de proficiência oral em língua adicional que possam ser válidos e confiáveis para o uso da linguagem para ação no mundo (Clark, 1996). Pela adesão ao arcabouço teórico da Etnometodologia (Garfinkel, 1967; Garfinkel e Sacks, 1970) e aos princípios teórico-metodológicos da Análise da Conversa Etnometodológica, este estudo entende que a fala-em-interação de entrevista de proficiência oral em língua adicional é uma realização intersubjetiva e contingente para todos os efeitos práticos da realização dessa atividade cotidiana pelos interagentes. Para alcançar o objetivo desta pesquisa, foram analisadas entrevistas de proficiência oral do exame Celpe-Bras, segmentadas de um corpus de 10h de entrevistas gravadas em áudio em um dos postos aplicadores do Celpe-Bras na Região Sul do Brasil. Para análise, foram segmentadas seqüências interacionais em que os participantes realizam práticas interacionais por meio das quais exibem uns aos outros o entendimento das ações que fazem como parte do trabalho de fazer ser membro na falaem- interação de entrevista de proficiência oral em português como língua adicional. A partir da visão etnometodológica da ação humana pelo uso da linguagem, a descrição realizada nesta pesquisa apontou para um entendimento de proficiência oral em língua adicional como a constituição do pertencimento por meio de um trabalho interacional intersubjetivo e contingente realizado pelo domínio da linguagem natural (Garfinkel, 1967; Garfinkel e Sacks, 1970). Para realizar o trabalho de fazer ser membro na falaem- interação de entrevista de proficiência oral, os participantes deste estudo exibem uns aos outros e, com isso, ao analista: 1) a produção intersubjetiva de contextos e de identidades institucionais; 2) a atribuição e a ratificação de categorias de pertencimento da coleção [ser daqui/deste país x ser de lá/de outro país] uns aos outros pela exibição do entendimento do interlocutor como representante da categoria de pertencimento a ele atribuída e, portanto, possuidor de conhecimento de senso comum para a produção de ações e descrições “visivelmente-racionais-e-observáveis-para-todos-os-efeitos práticos” (Garfinkel, 1967, p. vii) na constituição da organização da fala-em-interação; 3) a exibição da compreensão e da produção de práticas de categorização e descrição em língua portuguesa como preferíveis (Abeledo, 2008); e 4) a exibição da compreensão e da produção de práticas de categorização e descrição em língua espanhola como aceitáveis. A descrição do trabalho de fazer ser membro na fala-em-interação de entrevista de proficiência oral realizada neste estudo implica a redefinição do conceito de proficiência oral, a reconfiguração do conceito de confiabilidade e a elaboração de novos parâmetros na área de avaliação de língua adicional para que a avaliação de proficiência oral em língua adicional do Exame Celpe-Bras possa ser mais válida e confiável para o uso da linguagem para ação no mundo (Clark, 1996). / The description achieved in this research points to an ethnomethodological understanding of the work of doing ‘being a member’ in Portuguese as an additional language oral proficiency interview talk-in-interaction. The aim of this study is to achieve an understanding of oral proficiency in an additional language from the perspective of the participants in the Portuguese as an additional language oral proficiency interview in the Celpe-Bras exam in order to propose, based on the participants’ perspective, an understanding of oral proficiency and of assessment parameters for the assessment of oral proficiency in an additional language which may be valid and reliable for language use as a form of joint action (Clark, 1996). Based on the theoretical framework which is the grounds of Ethnomethodology (Garfinkel, 1967; Garfinkel and Sacks, 1970) and on the theoretical-methodological principles in Conversation Analysis, this study understands additional language oral proficiency interview talk-in-interaction as a contingent and intersubjective achievement for all practical purposes of the achievement of this everyday activity by the interactants. In order to reach my research goal, I analyzed Celpe-Bras Portuguese as oral proficiency interviews, segmented from a corpus of 10 hours of audio recordings in one of the Celpe-Bras application centers in the South of Brasil. As for the analysis, interactional sequences were segmented in which the participants produce interactional practices by which they exhibit to one another the understanding of the actions they accomplish as part of the work of doing ‘being a member’ in Portuguese as an additional language oral proficiency interview talk-in-interaction. From the ethnomethodological perspective of human action accomplished by means of language use, the description achieved in this research has pointed to an understanding of oral proficiency in an additional language as exhibiting co-membership in a contingent and intersubjective interactional work accomplished by the mastery of natural language (Garfinkel, 1967; Garfinkel and Sacks, 1970). The analysis has shown that for the participants to accomplish the work of doing ‘being a member’ in the oral proficiency interview talk-in-interaction they exhibit to one another and, by doing so, to the analyst that: 1) they intersubjectively produce institutional contexts and identities; 2) they invoke and ratify membership categories of the collection [being from here/this country x being from there/that country] to one another by the reflexive exhibition of the understanding of the interlocutor as a representative of the membership categorization made relevant and, for being a representative of that category, sharing common sense knowledge to produce actions and descriptions ‘visibly-rational-and-observable-for-all-practical-purposes’ (Garfinkel, 1967, p. vii) in the intersubjective accomplishment of talk-in-interaction; 3) they exhibit understanding and production of categorization and description practices in Portuguese as preferable (Abeledo, 2008); and 4) they exhibit understanding and production of categorization and description practices in Spanish as acceptable. The description of the work of doing ‘being a member’ in oral proficiency interview talk-in-interaction accomplished in this study points to the redefinition of oral proficiency, to the reconfiguration of reliability, and to the elaboration of new assessment parameters which may be valid and reliable for language use as a form of joint action (Clark, 1996).

A descrição realizada nesta pesquisa aponta para uma compreensão etnometodológica do trabalho de fazer ser membro na fala-em-interação de entrevista de proficiência oral em português como língua adicional. O objetivo deste estudo é atingir uma compreensão de proficiência oral em língua adicional da perspectiva dos participantes na entrevista de proficiência oral em português como língua adicional do exame Celpe-Bras, de modo a realizar, a partir dessa compreensão, a proposição de um entendimento de proficiência e de parâmetros de avaliação de proficiência oral em língua adicional que possam ser válidos e confiáveis para o uso da linguagem para ação no mundo (Clark, 1996). Pela adesão ao arcabouço teórico da Etnometodologia (Garfinkel, 1967; Garfinkel e Sacks, 1970) e aos princípios teórico-metodológicos da Análise da Conversa Etnometodológica, este estudo entende que a fala-em-interação de entrevista de proficiência oral em língua adicional é uma realização intersubjetiva e contingente para todos os efeitos práticos da realização dessa atividade cotidiana pelos interagentes. Para alcançar o objetivo desta pesquisa, foram analisadas entrevistas de proficiência oral do exame Celpe-Bras, segmentadas de um corpus de 10h de entrevistas gravadas em áudio em um dos postos aplicadores do Celpe-Bras na Região Sul do Brasil. Para análise, foram segmentadas seqüências interacionais em que os participantes realizam práticas interacionais por meio das quais exibem uns aos outros o entendimento das ações que fazem como parte do trabalho de fazer ser membro na falaem- interação de entrevista de proficiência oral em português como língua adicional. A partir da visão etnometodológica da ação humana pelo uso da linguagem, a descrição realizada nesta pesquisa apontou para um entendimento de proficiência oral em língua adicional como a constituição do pertencimento por meio de um trabalho interacional intersubjetivo e contingente realizado pelo domínio da linguagem natural (Garfinkel, 1967; Garfinkel e Sacks, 1970). Para realizar o trabalho de fazer ser membro na falaem- interação de entrevista de proficiência oral, os participantes deste estudo exibem uns aos outros e, com isso, ao analista: 1) a produção intersubjetiva de contextos e de identidades institucionais; 2) a atribuição e a ratificação de categorias de pertencimento da coleção [ser daqui/deste país x ser de lá/de outro país] uns aos outros pela exibição do entendimento do interlocutor como representante da categoria de pertencimento a ele atribuída e, portanto, possuidor de conhecimento de senso comum para a produção de ações e descrições “visivelmente-racionais-e-observáveis-para-todos-os-efeitos práticos” (Garfinkel, 1967, p. vii) na constituição da organização da fala-em-interação; 3) a exibição da compreensão e da produção de práticas de categorização e descrição em língua portuguesa como preferíveis (Abeledo, 2008); e 4) a exibição da compreensão e da produção de práticas de categorização e descrição em língua espanhola como aceitáveis. A descrição do trabalho de fazer ser membro na fala-em-interação de entrevista de proficiência oral realizada neste estudo implica a redefinição do conceito de proficiência oral, a reconfiguração do conceito de confiabilidade e a elaboração de novos parâmetros na área de avaliação de língua adicional para que a avaliação de proficiência oral em língua adicional do Exame Celpe-Bras possa ser mais válida e confiável para o uso da linguagem para ação no mundo (Clark, 1996). / The description achieved in this research points to an ethnomethodological understanding of the work of doing ‘being a member’ in Portuguese as an additional language oral proficiency interview talk-in-interaction. The aim of this study is to achieve an understanding of oral proficiency in an additional language from the perspective of the participants in the Portuguese as an additional language oral proficiency interview in the Celpe-Bras exam in order to propose, based on the participants’ perspective, an understanding of oral proficiency and of assessment parameters for the assessment of oral proficiency in an additional language which may be valid and reliable for language use as a form of joint action (Clark, 1996). Based on the theoretical framework which is the grounds of Ethnomethodology (Garfinkel, 1967; Garfinkel and Sacks, 1970) and on the theoretical-methodological principles in Conversation Analysis, this study understands additional language oral proficiency interview talk-in-interaction as a contingent and intersubjective achievement for all practical purposes of the achievement of this everyday activity by the interactants. In order to reach my research goal, I analyzed Celpe-Bras Portuguese as oral proficiency interviews, segmented from a corpus of 10 hours of audio recordings in one of the Celpe-Bras application centers in the South of Brasil. As for the analysis, interactional sequences were segmented in which the participants produce interactional practices by which they exhibit to one another the understanding of the actions they accomplish as part of the work of doing ‘being a member’ in Portuguese as an additional language oral proficiency interview talk-in-interaction. From the ethnomethodological perspective of human action accomplished by means of language use, the description achieved in this research has pointed to an understanding of oral proficiency in an additional language as exhibiting co-membership in a contingent and intersubjective interactional work accomplished by the mastery of natural language (Garfinkel, 1967; Garfinkel and Sacks, 1970). The analysis has shown that for the participants to accomplish the work of doing ‘being a member’ in the oral proficiency interview talk-in-interaction they exhibit to one another and, by doing so, to the analyst that: 1) they intersubjectively produce institutional contexts and identities; 2) they invoke and ratify membership categories of the collection [being from here/this country x being from there/that country] to one another by the reflexive exhibition of the understanding of the interlocutor as a representative of the membership categorization made relevant and, for being a representative of that category, sharing common sense knowledge to produce actions and descriptions ‘visibly-rational-and-observable-for-all-practical-purposes’ (Garfinkel, 1967, p. vii) in the intersubjective accomplishment of talk-in-interaction; 3) they exhibit understanding and production of categorization and description practices in Portuguese as preferable (Abeledo, 2008); and 4) they exhibit understanding and production of categorization and description practices in Spanish as acceptable. The description of the work of doing ‘being a member’ in oral proficiency interview talk-in-interaction accomplished in this study points to the redefinition of oral proficiency, to the reconfiguration of reliability, and to the elaboration of new assessment parameters which may be valid and reliable for language use as a form of joint action (Clark, 1996).

Para que um exame de proficiência em língua estrangeira possa ser considerado válido para determinados usos, é necessário que a visão de proficiência subjacente ao instrumento de avaliação e ao processo de correção seja coerente com o construto teórico explicitado pelo exame. O objetivo deste trabalho é analisar a validade de construto da avaliação de compreensão oral, leitura e produção escrita do exame Celpe-Bras, verificando a noção de proficiência operacionalizada na Parte Coletiva do exame, e apontar caminhos para o aumento dessa validade. Analisamos, para tanto, as tarefas e as grades de avaliação da prova aplicada no primeiro semestre de 2006, e também 181 textos produzidos pelos candidatos em resposta a essas tarefas. A análise mostrou que os critérios norteadores da definição dos pontos de corte para os níveis de proficiência avaliados foram a recuperação de informações do textobase e a adequação lexical e gramatical, muitas vezes desvinculadas dos demais aspectos avaliados. A avaliação da compreensão deu-se de forma relativamente autônoma em relação à avaliação da produção, e os recursos lingüísticos foram muitas vezes avaliados dissociados da sua contribuição para o cumprimento do propósito comunicativo, revelando limitações na operacionalização do conceito de uso da linguagem por não conseguir relacionar todos os componentes do contexto de recepção e de produção sugeridos pela tarefa na grade de avaliação e no processo de correção. A partir da perspectiva bakhtiniana de linguagem - segundo a qual a comunicação é organizada através de gêneros do discurso, com base nas relações axiológicas estabelecidas entre os interlocutores em determinado contexto de produção -, propomos novos parâmetros de avaliação para a Parte Coletiva do exame Celpe- Bras, os quais buscam uma avaliação holística e integrada das práticas de compreensão e produção (conforme defendido pelo exame) a partir da configuração da interlocução no texto. A testagem desses novos parâmetros revelou uma tendência de aumento no número de textos considerados proficientes em relação à avaliação feita com base na grade de avaliação do exame Celpe-Bras, por aceitar uma variedade maior de leituras dos contextos de recepção e de produção dos textos propostos pelas tarefas. Esse resultado é conseqüência de uma avaliação que busca compreender o texto em sua singularidade a partir da interlocução nele configurada, para então avaliar, a partir dessa interlocução, quais e quantas informações e recursos lingüísticos seriam necessários para cumprir o propósito do texto dentro do contexto de produção solicitado. Nesse sentido, a proficiência é compreendida como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo, e sua avaliação somente será válida se levar em conta a relação entre todos os aspectos que vão determinar a atualização do propósito de comunicação e da relação entre os participantes em diferentes contextos de comunicação. / To be considered valid for certain purposes, the vision of proficiency underlying to the assessment instrument and the grading process of a proficiency exam in a foreign language must be coherent with the theoretical construct explicited by the exam. The aim of this work is to analyze the construct validity of the listening, reading, and writing assessment of Celpe- Bras exam, verifying what notion of proficiency is operationalized in the Collective Part of the exam, and indicate directions for the improvement of this validity. We have analyzed, for such purpose, the tasks and rating scales of the exam administered in the first semester of 2006, and also 181 texts produced by the candidates in response to these tasks. The analysis has shown that the guiding criteria for the definition of cut points for the proficiency levels examined have been retrieval of information from the base text and lexical and grammatical adequacy, in many cases unconnected with the other aspects assessed. Comprehension assessment has been done in a relatively autonomous way with respect to production assessment, and the linguistic resources have in many cases been assessed dissociated from their contribution to the accomplishment of the communicative purpose, revealing limitations on the operationalization of the language use concept by not being able to relate all the components of the reception and production context suggested by the task in the rating scale and the grading process. Based on the Bakhtinian perspective of language - according to which communication is organized through speech genres, based upon the axiological relations established between the interlocutors in a given production context -, we propose new assessment parameters for the Collective Part of the Celpe-Bras exam, which pursue an integrated holistic assessment of the comprehension and production practices (as advocated by the exam) from the configuration of the interlocution in the text. The testing of these new parameters has revealed a tendency of increase in the number of texts considered proficient with respect to the assessment based on the Celpe-Bras exam rating scale, by accepting a larger variety of readings of the reception and production contexts of the texts proposed by the tasks. This result is a consequence of an assessment which aims at understanding the text in its singularity from the interlocution configured in it, to then assess, from this interlocution, what and how many pieces of information and linguistic resources would be necessary to accomplish the purpose of the text within the required production context. In this sense, proficiency is understood as the ability to produce adequate utterances within certain speech genres, configuring the interlocution in a manner adequate to the production context and the communicative purpose, and its assessment will only be valid if the latter takes into account the relation among all the aspects which will determine the updating of the communicative purpose and the relation among the participants in different communication contexts.

Percorremos nessa pesquisa caminhos entre a leitura, tradução e avaliação que muitas vezes se cruzam, como na didática de línguas e nos estudos cognitivos. Os processos e estratégias de tradução, forçosamente, demandam variados tipos de leitura em língua estrangeira que, por sua vez, ativam outras estratégias em diferentes momentos, como a leitura do texto traduzido feita em comparação ao texto original, denominada leitura crítica da tradução. A prática da tradução exercita a leitura, ao mesmo tempo em que faz com que o leitor-tradutor reflita sobre suas próprias atividades e percursos. A avaliação da compreensão escrita de um texto em língua estrangeira é a finalidade dos exames universitários de proficiência que representam uma das etapas exigidas durante processo seletivo para o mestrado e doutorado nos programas de pósgraduação. Esses exames podem ter diferentes modalidades dentro de um mesmo centro aplicador ou universidade, como acontece na USP. Em alguns casos, exige-se a tradução, se não integral, de um trecho do texto para o qual também são feitas outras questões: dissertativas, múltipla escolha ou opção por verdadeiro ou falso. Nessa pesquisa, analisamos as traduções de trechos de textos de exames de proficiência em francês feitas por candidatos aos programas de pós-graduação para o mestrado e doutorado na ECA, nos anos 2002, 2004, 2005 e 2006, e na Faculdade de Letras, nos anos 2004, 2006 e 2007. Os trechos de tradução foram inseridos no programa WordSmith Tools, que ajuda a visualizar um corpus para que seja analisado, por isso muito usual nas pesquisas em Linguística de Corpus. Confrontamos nossas postulações de erros com as soluções, dificuldades, problemas e procedimentos encontrados no corpus. Considerando o objetivo do exame de proficiência e como não há indícios de um método de correção da tradução no corpus, procuramos distinguir os erros de leitura dos de expressão escrita e compreender as estratégias utilizadas pelos candidatos. Essa distinção deveria estar presente nos critérios de correção que deveriam ser explicitados pelos elaboradores para que pudessem ser conhecidos de antemão pelos candidatos. Dentro da USP, é crescente a busca por preparo aos exames de proficiência nos cursos instrumentais, entre eles o de francês, que têm como principal foco a compreensão de textos em língua estrangeira. Para que os atuais alunos leiam suas bibliografias e sendo, alguns desses também futuros candidatos a essas provas, devese atentar para os exercícios de tradução, já que esses trabalham e revelam a compreensão do leitor-tradutor. Nosso objetivo é refletir sobre os critérios de avaliação dos exames e contribuir para o ensino da leitura em FLE, auxiliando os cursos instrumentais a incorporarem a prática da tradução, apresentando seus benefícios para a leitura. / In this research we go through the paths between reading, translation and assessment that often intersect, like in language teaching and cognitive studies. The processes and strategies of translation strongly require different kinds of reading in a foreign language, which, in their turn, activate other strategies at different times, like reading the translated text and comparing it to the original text, which is called critical reading of translation. The practice of translating exercises the reading process, at the same time that it makes the reader-translator reflect on their own activities and pathways. The assessment of reading comprehension of a text in a foreign language is the purpose of the university proficiency exams that represent one of the steps required during the selection process for masters and doctorate programs in graduate school. These exams may have different modalities within a single applying centre or university, as it occurs at USP. In some cases it is required the translation of a texts extract, if not the whole text, and questions about it are made, which can be in form of essay, multiple choice or true or false options. In this research, we analyse the translation of excerpts from texts of French proficiency exams taken by candidates for postgraduate programs for master\'s and doctorate at ECA, in the years 2002, 2004, 2005 and 2006, and at the Faculty of Arts, University of Sao Paulo, in the years 2004, 2006 and 2007. The excerpts were entered into the translation program WordSmith Tools, which helps to visualise a corpus that will be analysed, being very used in Corpus Linguistics polls. We confronted our supposed mistakes with the solutions, difficulties, problems and procedures found in the corpus and verified whether the exercise of translation reveals (in) comprehension by the candidates. Inside USP there is an increase of search for reading courses that prepare to the proficiency exams, and that includes the Reading in French course, which focuses on reading comprehension in a foreign language. For the current students to read their bibliographies, and being some of them future candidates to the proficiency exams, it is important that the reading courses give special attention to the translation exercises, since they show and work on the comprehension of the reader-translator. Our aim is to reflect on the assessment criteria of the exams and contribute to the teaching of reading in FFL, assisting reading courses to incorporate the practice of translation, by presenting its benefits for reading.