The purpose of the present study is to investigate the predictive validity of the BUEPE through the use of the three-parameter IRT model&amp / #8217 / s ability estimates. The study made use of the BUEPE September 2000 data which included the responses of 699 students. The predictive validity was established by using the departmental English courses (DEC) passing grades of a total number of 371 students. As for the prerequisite analysis the best fitted model of IRT was determined by first, checking the assumptions of IRT / second, by analyzing the invariance of ability parameters and item parameters and thirdly, by interpreting the chi-square statistics. After the prerequisite analyses, the best fitted model&amp / #8217 / s estimates were correlated with DEC passing grades to investigate the predictive power of BUEPE on DEC passing grades. The findings indicated that the minimal guessing assumption of the one- and two-parameter models was not met. In addition, the chi-square statistics indicated a better fit to the three-parameter model. Therefore, it was concluded that the best fitted model was the three-parameter model. The findings of the predictive validity analyses revealed that the best predictors for DEC passing grades were the three-parameter model ability estimates. The second best predictor was the ability estimates obtained from sixty high information items. In the third place BUEPE total scores and the total scores obtained from sixty high information items followed with nearly the same correlation coefficients. Among the three sub-tests, the reading sub-test was found to be the best predictor of DEC passing grades.

Made available in DSpace on 2016-06-02T20:25:02Z (GMT). No. of bitstreams: 1 2222.pdf: 2028194 bytes, checksum: 069bb69ee62ece533677e4392f107a09 (MD5) Previous issue date: 2008-12-03 / As English is the most frequent language in science and in the academic community, the proficiency in this language is necessary to whom is in this environment included, mainly regarding reading comprehension. Many proficiency exams that evaluate this ability in candidates or graduate students, although request students only to translate a text. At ICMC (USP - São Carlos) since 2001 an English Proficiency Exam (EPE) has been made evaluating graduate students knowledge of research article as a genre (Swales,1990; Weissberg & Buker, 1990). The assessment is divided into four modules: 1) linguistic conventions, 2) structure of research article, 3) reading comprehension and 4) writing strategies which are peculiar to Academic English (Aluísio et al, 2003). However, the modules are not fully implemented and there s still a lot of space for linguistic reflections, once the exam was elaborated by a professor in the Computer Science area. The current study aims the construction of a corpus and the elaboration of questions referring to module 1 with the axioms needed in any evaluation (Perrenoud, 1999; Miller et al, 1998), the peculiar characterists of a foreign language test, Bloom s Taxonomy (1984), the Admissible Probability Method (APM) (Klinger, 1997) and the most recurrent mistakes made by Brazilian graduate students (Genoves Jr. et al, 2007). Computer tools will be used, such as: a concord and a word list that are commonly available in corpus processor like WordSmith Tool besides a chunker, a parser and a parser tree. The questions will be part of an item base to be used for: 1) the elaboration of future EPEs; 2) raising relevant information about the conditions of the testees reading comprehension; and 3) testees´ study and preparation through CALEAP-Web (Gonçalves, 2004). / Como o inglês é a língua franca da ciência e da comunidade acadêmica, a proficiência em tal idioma se faz necessária a quem está neste meio inserido, principalmente no que diz respeito à compreensão de leitura. Muitos exames de proficiência que avaliam tal habilidade de candidatos ou alunos de pós-graduação, entretanto, requerem que os avaliandos apenas traduzam um texto. No ICMC (Instituto de Ciências Matemáticas e Computação) da USP de São Carlos, desde 2001, já ocorre um EPI (Exame de Proficiência em Inglês) que avalia os conhecimentos dos mestrandos acerca do gênero artigo científico (Swales, 1990; Weissberg & Buker, 1990). Tal avaliação está dividida em quatro módulos: 1) convenções lingüísticas, 2) estrutura de textos científicos, 3) compreensão de texto e 4) estratégias de escrita peculiares ao inglês acadêmico (Aluísio et al, 2003). Entretanto, os módulos ainda não estão plenamente implementados, e ainda há campo fértil para reflexões lingüísticas, uma vez que o exame foi elaborado por um docente da área de Computação. A presente pesquisa visa à construção de um córpus de artigos científicos e à criação de questões referentes ao módulo 1, com axiomas necessários a qualquer avaliação (Perrenoud, 1999; Miller et al, 1998), nas características peculiares a uma avaliação em língua estrangeira, na Taxonomia de Bloom (1984), no Método de Probabilidade Admissível - MPA (Klinger, 1997) e nos erros mais recorrentes na escrita científica de brasileiros (Genoves et al, 2007). Para tanto, serão utilizadas ferramentas computacionais tais como: um concordanciador e um contador de freqüência que comumente são disponibilizados em processadores de córpus como o WordSmith Tool , além de um chunker, um parser e um parser tree. Tais questões farão parte de um banco de itens que poderá ser utilizado para: 1) a elaboração de futuros EPIs; 2) levantamento de informações relevantes sobre o panorama da compreensão de leitura dos examinandos; e 3) estudo e preparação por parte dos avaliandos através da ferramenta CALEAP-Web (Gonçalves, 2004).

Orientador: Monica Graciela Zoppi-Fontana / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Estudos da Linguagem / Made available in DSpace on 2018-08-11T03:02:46Z (GMT). No. of bitstreams: 1 Diniz_LeandroRodriguesAlves_M.pdf: 3423487 bytes, checksum: 1b719282668ea6812c04a22e33e5645c (MD5) Previous issue date: 2008 / Resumo: Filiando-nos à História das Idéias Lingüísticas, na sua articulação com a Análise do Discurso de perspectiva materialista, estudamos a construção discursiva do português do Brasil como língua estrangeira (PLE), a partir da ampliação de seu ¿espaço de enunciação¿ (GUIMARÃES, 2002). Para tanto, investigamos duas instâncias da gramatização (AUROUX, 1992) brasileira do português ¿ os livros didáticos (LDs) de ensino de PLE e o Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras) ¿, aqui concebidos como instrumentos lingüísticos, que se encontram no cerne do que Orlandi (2007a) denomina ¿política de línguas¿. Após um mapeamento da produção editorial brasileira de LDs de PLE desde a primeira publicação na área ¿ que nos permitiu observar interessantes mudanças diacrônicas ¿, constituímos nosso corpus para o estudo desses materiais. Para a investigação do Celpe-Bras, concentramo-nos nos manuais do exame e em uma entrevista com um ex-membro da comissão técnica do Celpe-Bras. Nosso estudo indica que a configuração do Mercado Comum do Sul (Mercosul), em 1991, pode ser vista como o marco de um novo período no processo de gramatização brasileira (ZOPPI-FONTANA, 2007). Tal período é caracterizado por um gesto político do Estado brasileiro em relação à inclusão do português do Brasil em um espaço geopolítico transnacional, que se reverbera em diferentes iniciativas da sociedade civil. Constitui-se, assim, uma posição de autoria para o Estado/cidadão brasileiro. Percebemos, ainda, que o português é freqüentemente significado como uma língua ¿do mundo da comunicação¿, de ¿troca comercial¿, que ¿está em toda parte¿. Assim, ele é antes representado como uma língua veicular (GOBARD, 1976) do que como uma língua de integração regional. Trata-se, porém, de uma representação específica de língua veicular, ligada ao avanço do ¿capitalismo mundial integrado¿, nas palavras de Guattari (1987). ¿Dominar¿ o português aparece, por exemplo, relacionado ao sucesso, recompensa prometida àqueles que obedecem às ¿leis do Mercado¿, em tempos contemporâneos (PAYER, 2005). Além disso, não se representa o português como uma língua ¿neutra, objetiva, despojada de suas especificidades étnicas¿ (GOBARD, op. cit., p.36). Ao contrário, observamos o funcionamento de um ¿discurso de brasilidade¿, através do qual, de uma maneira ou de outra, faz-se sempre alusão ao Brasil ¿e não a Portugal ¿, o que evidencia o trabalho de uma política do silêncio (ORLANDI, 2002b). Em termos de Mercado, esse discurso permite ¿vender¿ a língua portuguesa, enquanto instrumento para se atingir um objetivo outro, e, por conseguinte, ¿vender¿ os ¿produtos¿ em questão: os LDs e o Celpe-Bras. Em relação ao Estado, percebemos que o Brasil, marcado por políticas lingüísticas portuguesas, passa a disputar com Portugal espaços políticos, simbólicos e econômicos. Concebemos, assim, o português do Brasil não como uma língua globalizada, mas como uma língua transnacional, na medida em que ele se ¿exporta¿ como metonímia do Estado brasileiro. Concluímos, ainda, que a gramatização brasileira do PLE se configura a partir da relação entre as duas meta-instituições que, segundo Payer (op. cit.), desempenham um papel fundamental na constituição do sujeito contemporâneo: o Estado e o Mercado / Abstract: Based on the History of Linguistic Ideas in its relation to the Discourse Analysis from a materialistic perspective, we study the discursive construction of Brazilian Portuguese as a foreign language (PFL), which starts from the broadening of its ¿space of enunciation¿ (GUIMARÃES, 2002). To undertake such research, we investigate two instances of the Brazilian grammatisation of Portuguese ¿ PFL coursebooks and the Certificate of Proficiency in Portuguese as a Foreign Language (Celpe-Bras) ¿, conceived of as linguistic instruments, which are at the core of what Orlandi (2007a) designates the ¿politics of languages¿. After mapping the Brazilian editorial production of PFL coursebooks since the publication of the first material ¿ which enabled us to observe interesting diachronic changes ¿, we composed our corpus for the study of the coursebooks. For the investigation of Celpe-Bras, we concentrated on the exam booklets and on an interview with an ex-member of the technical comission of Celpe-Bras. Our study indicates that the creation of the Southern Common Market (MERCOSUR), in 1991, may be considered the turning point for a new period in the Brazilian grammatisation process (ZOPPI-FONTANA, 2007). This period is characterised by a gesture of the Brazilian State for the inclusion of Brazilian Portuguese in a transnational space of enunciation, which reverberates through different initiatives taken by civil society. A new position of autorship for the Brazilian State / citizen is thereby stablished. In addition, we have observed that Portuguese is frequently signified as a language ¿of the world of communication¿, of ¿commercial trade¿, which ¿is everywhere¿. Therefore, it is represented as a vehicular language (GOBARD, 1976) rather than as a language of regional integration. However, that is a specific representation of a vehicular language, related to the advance of ¿worldwide integrated capitalism¿, in the words of Guattari (1987). For instance, ¿mastering¿ the Portuguese language is related to sucess, as a reward for those who obey Market laws, in contemporaneity (PAYER, 2005). Besides, Portuguese is not represented as a ¿neutral and objective¿ language, ¿dispossessed of its ethnic specificities¿ (GOBARD, op. cit., p. 36). On the contrary, we observe the functioning of a ¿discourse of Brazilianity¿, through which an allusion to Brazil ¿ and not to Portugal ¿ is, one way or the other, always made, revealing the work of the politics of silence (ORLANDI, 2002b). In terms of Market, this discourse enables the ¿sale¿ of the Portuguese language, as an instrument for achieving another objective, and, consequently, the ¿sale¿ of the ¿products¿ in question: the coursebooks and Celpe-Bras. With reference to the State, it is noticeable that Brazil, defined by linguistic policies pursued by Portugal, begins to challenge Portugal regarding political, symbolic and economic spaces. We conceive, therefore, Brazilian Portuguese not as a globalised language, but as a transnational one, since it ¿exports¿ itself as a metonymy of the Brazilian State. We also conclude that the Brazilian grammatisation of PFL is outlined by two metainstitutions which, according to Payer (op. cit.), play a leading role in the constitution of the contemporary subject: the State and the Market / Mestrado / Linguistica / Mestre em Linguística

In order to continuously improve teaching and learning of a language program, it is a crucial part of program evaluation to assure that its assessment instruments have a beneficial influence on the teaching and learning procedures. For that reason, evidence was gathered to investigate the validity of test scores of the German Proficiency Exam (GPE) used by the German Section of the Germanic and Slavic Languages Department at Brigham Young University. The GPE consists of seven exam components: Listening comprehension, reading, writing, speaking, grammar, vocabulary, and strong verbs. The GPE component scores of 179 students were used to conduct the analysis for this study. In order to estimate the reliability of the test scores, Cronbach's Alpha was calculated for the listening comprehension exam, the reading exam, the grammar exam, the strong verbs exam, and the vocabulary exam. In addition, the analysis included overall descriptive statistics, item facility and item discrimination, distractor analysis, ANOVA, and a post-hoc Tukey's pairwise comparison. The results of the Cronbach's alpha indicated relatively high reliability of scores of all the exam components except the listening component. The item and distractor analysis of the strong verbs and vocabulary exam revealed that the scoring procedures need to be revised so that the scores reflect a student's true knowledge. The descriptive statistics of the exams showed a limited usage of the scoring range and suggest defining the scoring procedures and training the scorers. Further, it was suggested to define general language construct and the specific construct of each language skill on the basis of which proficiency levels can be developed. Using the results of the data analysis. various suggestions were given to improve the validity of scores of the GPE.