Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2015.

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2017 / Made available in DSpace on 2017-09-26T04:18:49Z (GMT). No. of bitstreams: 1 348177.pdf: 2799400 bytes, checksum: 243a8a6f839c30092976d8e6b595b81a (MD5) Previous issue date: 2017 / Teste adaptativo computadorizado (CAT) é um método de aplicação de testes capaz de produzir um teste personalizado para cada indivíduo. O sucesso de um CAT depende, entre outros fatores, de um banco de itens (BI) calibrado pela teoria da resposta ao item (TRI) e com boas qualidades psicométricas. Esse BI necessita de manutenção periódica para não comprometer os resultados da avaliação, principalmente em testes de alto impacto, ou seja, quando seus resultados são usados para tomar decisões importantes que afetam estudantes, professores ou instituições. O objetivo deste trabalho foi desenvolver uma sistemática para a manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto. Duas fases foram definidas. A Fase 1 visa acrescentar novos itens no BI (calibração de novos itens), enquanto a Fase 2 visa o monitoramento para identificar itens comprometidos e que precisam ser eliminados do BI (Etapa 1 - monitoramento da exposição dos itens e Etapa 2 - verificação de drift dos parâmetros dos itens). Diretrizes são fornecidas para orientar os desenvolvedores de testes e profissionais responsáveis pela manutenção de CATs, sobre como proceder em cada fase de análise. Diferentes simulações são apresentadas para definição do design do CAT operacional para avaliar profissionais de um curso de capacitação na área da saúde, bem como os resultados da aplicação do CAT em duas edições de testes e implementação de parte da sistemática de manutenção do BI. Por fim, sugere-se a execução das duas fases da sistemática a cada edição de testes. / Abstract: Computerized adaptive testing (CAT) is a form of computer-administered test that adapts to the examinee's latent trait level. Adapting the difficulty of items means that an examinee with high latent trait will receive difficult items, while an examinee with low latent trait will receive easy items. The success of a CAT depends, among other factors, on an item bank (BI) with both good psychometric qualities and calibration based on the item response theory (IRT). In order to keep effectiveness, this item bank needs to be periodically up-to-dated so the evaluation results will not be compromised. The item bank maintenance is especially important for high-stakes tests, ie when their results are used to make important decisions that affect students, teachers or institutions. The objective of this work was to develop a systematized approach for the item bank maintenance for computerized adaptive testing applied in high-stakes tests. Two phases have been defined. Phase 1 aims to increase BI (calibration of new items), while Phase 2 aims to identify potentially compromised items that need to be eliminated of the BI (Step 1 - monitoring the items exposure and Step 2 - detection of item parameter drift). Guidelines are provided to guide test developers and professionals responsible for maintaining a CAT, on how to proceed in each phase of the analysis. Different simulations are presented to define the CAT design for the evaluation of health professionals at the end a training course. We also present both the results of the CAT application in two rounds of tests and the implementation of part of the approach for the item bank maintenance. Finally, we suggest the execution of the two phases to each round of tests.

A necessidade de jovens pesquisadores lerem correta e rapidamente uma grande quantidade de textos escritos em inglês, que é a língua franca da ciência, representa uma barreira considerável para eles. Dada essa necessidade, em 2001, o programa de mestrado em Ciências da Computação e Matemática Computacional do ICMC-USP passou a avaliar a proficiência em inglês dos alunos quanto à habilidade de reconhecerem o gênero de textos científicos em inglês, com as convenções que lhe são características. O site do Exame de Proficiência em Inglês (EPI)disponibiliza Exames Modelos com correção automatizada para os alunos saberem antecipadamente como será o exame formal, também informatizado. Porém, a prática com o Exame Modelo fornece apenas um relatório com o escore do aluno, não oferecendo meios para ele relembrar seus conhecimentos, receber instrução ou ainda rever conceitos errôneos. Uma possível solução para essa lacuna é um ambiente computacional que propicie um contexto favorável à aprendizagem do inglês instrumental. Na perspectiva de favorecer tal aprendizado e auxiliar os alunos a estudarem para o EPI é que essa pesquisa propôs um Ambiente Computacional de Aprendizagem (ACA) para o inglês instrumental. O ACA desenvolvido, denominado Computer-Aided Learning of English for Academic Purposes (CALEAP-Web), é fruto da integração de um Teste Adaptativo Informatizado (TAI), denominado de Adaptive English Proficiency Test for the Web (ADEPT), e um Ambiente Computacional de Tarefas (ACT), denominado de Computer-Aided Task Environment for Scientific English (CATESE). Um TAI consiste em itens (questões) selecionados de acordo com o nível de habilidade estimado do aluno, gerando um teste individualizado. Já o ACT fornece tarefas pré-determinadas para o aprendizado do aluno. Para o ADEPT foram realizados dois experimentos com alunos de mestrado em Ciências da Computação e Matemática Computacional do ICMC-USP e com o CALEAP-Web, como um todo, foram realizadas simulações para a verificação de sua operacionalidade. Embora o ACA tenha sido desenvolvido para apoiar os alunos do programa de mestrado do ICMC-USP, ele é suficientemente genérico para ser usado em outros programas de mestrado que avaliam o inglês instrumental e por jovens pesquisadores que desejam conhecer as convenções do gênero de textos científicos em inglês. / The need to read correctly and rapidly a huge amount of scientific papers, that is predominantly in English as the lingua franca for science, represents a considerable barrier for novice non-native English researchers. Due to this need, in 2001, the MSc. program in Computer Science and Computational Maths at ICMC-USP proposed a new type of proficiency exam to evaluate students\' competence in terms of the demands of highly standardized research articles written in English. The English proficiency exam website makes available simulated tests for the students to be aware of the contents and scoring procedure and to practice before applying for the formal exam, which is also automatically corrected. However, practice with simulated tests only provides a report with the student\'s score. There is no support to correct student\'s misconceptions, to instruct or to refresh prerequisite knowledge. A possible solution to fulfil this gap is to provide a computer-based environment designed to arouse students\' consciousness about the conventions in English usage in research papers. The purpose of this research was to propose such an environment. The computer-based environment developed, called Computer-Aided Learning of English for Academic Purposes (CALEAP-Web), is the result of the integration of an adaptive test, named Adaptive English Proficiency Test for the Web (ADEPT), and a task based environment called Computer-Aided Task Environment for Scientific English (CATESE). An adaptive test consists of items (questions) selected according to the estimated ability level of the student, providing an individualized test. A task based environment provides predefined tasks to ensure student\'s learning in a certain issue. Two evaluation experiments with students from the MSc. program in Computer Science and Computational Maths at ICMC-USP were carried out with ADEPT; with CALEAP-Web simulations were designed to verify functionality and robustness. Although CALEAP-Web was developed to support students from the MSc. program in Computer Science and Computational Maths at ICMC-USP, it is sufficiently generic to be used in other master programs which assess instrumental English and by novice researchers who need to know the demands of highly standardized research articles written in English.

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2015. / Submitted by Patrícia Nunes da Silva (patricia@bce.unb.br) on 2015-11-23T15:47:56Z No. of bitstreams: 1 2015_AntonioGeraldoPintoMaiaJunior_Parcial.pdf: 2852414 bytes, checksum: 1303cf1106fe5224e001f2e527d46d67 (MD5) / Approved for entry into archive by Guimaraes Jacqueline(jacqueline.guimaraes@bce.unb.br) on 2015-12-03T10:59:49Z (GMT) No. of bitstreams: 1 2015_AntonioGeraldoPintoMaiaJunior_Parcial.pdf: 2852414 bytes, checksum: 1303cf1106fe5224e001f2e527d46d67 (MD5) / Made available in DSpace on 2015-12-03T10:59:49Z (GMT). No. of bitstreams: 1 2015_AntonioGeraldoPintoMaiaJunior_Parcial.pdf: 2852414 bytes, checksum: 1303cf1106fe5224e001f2e527d46d67 (MD5) / O presente trabalho tem como objetivo central melhorar os Testes Adaptativos Informatizados (Computerized Adaptative Tests, CATs na sigla, em inglês) clássicos, que são aqueles administrados por computador e que ajustam os itens do teste à medida que ele é realizado. Isso é possível, pois, dada a resposta do respondente, estima-se a sua habilidade momentânea, obtendo-se o próximo item a ser administrado, com base em um critério estatístico (Máxima Informação, Máxima Informação Global ou Máxima Informação Esperada). Para isso, inseriu-se a covariável Tempo de Resposta ao modelo. Pois, acreditou-se que há informação nessa covariável e, portanto, ao se considerá-la, o teste pode ser encurtado, melhorando, assim, a convergência do algoritmo. Nessa perspectiva, fez-se uma revisão bibliográfica de TRI (sigla de Teoria de Resposta ao Item) e CAT, para se estruturar o novo modelo com a covariável Tempo de Resposta, calculando-se todas as equações que serão utilizadas na aplicação. Por fim, a aplicação com dados simulados concluiu nosso estudo, pois, ao comparar a convergência do algoritmo de um CAT tradicional em relação ao novo CAT, observou-se que os objetivos do presente trabalho foram cumpridos. ___________________________________________________________________________ ABSTRACT / Computerized adaptive tests (CATs) are tests administered by computer which adjust the test items as the test is carried out. This work proposes to improve CATs by taking into account the time that the respondents use to answer the different questions to obtain provisional estimates of their ability in order to choose the next item. This information is used to modify the classical criteria (maximal information, overall maximum information or maximum information expected). It is believed that the use of this covariate may improve the convergence of the CAT algorithm, thus allowing for shorter tests. The dissertation presents a review of TRI and CAT and the new model which takes into account the response time. An application using simulated data is used to compare the convergence of a traditional CAT algorithm and that of the model using the response time.

A necessidade de jovens pesquisadores lerem correta e rapidamente uma grande quantidade de textos escritos em inglês, que é a língua franca da ciência, representa uma barreira considerável para eles. Dada essa necessidade, em 2001, o programa de mestrado em Ciências da Computação e Matemática Computacional do ICMC-USP passou a avaliar a proficiência em inglês dos alunos quanto à habilidade de reconhecerem o gênero de textos científicos em inglês, com as convenções que lhe são características. O site do Exame de Proficiência em Inglês (EPI)disponibiliza Exames Modelos com correção automatizada para os alunos saberem antecipadamente como será o exame formal, também informatizado. Porém, a prática com o Exame Modelo fornece apenas um relatório com o escore do aluno, não oferecendo meios para ele relembrar seus conhecimentos, receber instrução ou ainda rever conceitos errôneos. Uma possível solução para essa lacuna é um ambiente computacional que propicie um contexto favorável à aprendizagem do inglês instrumental. Na perspectiva de favorecer tal aprendizado e auxiliar os alunos a estudarem para o EPI é que essa pesquisa propôs um Ambiente Computacional de Aprendizagem (ACA) para o inglês instrumental. O ACA desenvolvido, denominado Computer-Aided Learning of English for Academic Purposes (CALEAP-Web), é fruto da integração de um Teste Adaptativo Informatizado (TAI), denominado de Adaptive English Proficiency Test for the Web (ADEPT), e um Ambiente Computacional de Tarefas (ACT), denominado de Computer-Aided Task Environment for Scientific English (CATESE). Um TAI consiste em itens (questões) selecionados de acordo com o nível de habilidade estimado do aluno, gerando um teste individualizado. Já o ACT fornece tarefas pré-determinadas para o aprendizado do aluno. Para o ADEPT foram realizados dois experimentos com alunos de mestrado em Ciências da Computação e Matemática Computacional do ICMC-USP e com o CALEAP-Web, como um todo, foram realizadas simulações para a verificação de sua operacionalidade. Embora o ACA tenha sido desenvolvido para apoiar os alunos do programa de mestrado do ICMC-USP, ele é suficientemente genérico para ser usado em outros programas de mestrado que avaliam o inglês instrumental e por jovens pesquisadores que desejam conhecer as convenções do gênero de textos científicos em inglês. / The need to read correctly and rapidly a huge amount of scientific papers, that is predominantly in English as the lingua franca for science, represents a considerable barrier for novice non-native English researchers. Due to this need, in 2001, the MSc. program in Computer Science and Computational Maths at ICMC-USP proposed a new type of proficiency exam to evaluate students\' competence in terms of the demands of highly standardized research articles written in English. The English proficiency exam website makes available simulated tests for the students to be aware of the contents and scoring procedure and to practice before applying for the formal exam, which is also automatically corrected. However, practice with simulated tests only provides a report with the student\'s score. There is no support to correct student\'s misconceptions, to instruct or to refresh prerequisite knowledge. A possible solution to fulfil this gap is to provide a computer-based environment designed to arouse students\' consciousness about the conventions in English usage in research papers. The purpose of this research was to propose such an environment. The computer-based environment developed, called Computer-Aided Learning of English for Academic Purposes (CALEAP-Web), is the result of the integration of an adaptive test, named Adaptive English Proficiency Test for the Web (ADEPT), and a task based environment called Computer-Aided Task Environment for Scientific English (CATESE). An adaptive test consists of items (questions) selected according to the estimated ability level of the student, providing an individualized test. A task based environment provides predefined tasks to ensure student\'s learning in a certain issue. Two evaluation experiments with students from the MSc. program in Computer Science and Computational Maths at ICMC-USP were carried out with ADEPT; with CALEAP-Web simulations were designed to verify functionality and robustness. Although CALEAP-Web was developed to support students from the MSc. program in Computer Science and Computational Maths at ICMC-USP, it is sufficiently generic to be used in other master programs which assess instrumental English and by novice researchers who need to know the demands of highly standardized research articles written in English.