Weve presented the results of our research for the conception, execution and evaluation of an informatized adaptive tool, known as DIA (in portuguese), that allows evaluate and give a feedback to the student under the perspective of formative evaluation. At the first stage, we used the PCN: Sciency of the Nature, Mathematics and its Technologies (BRASIL, 1998) and the Curriculum Matrices of Reference from the Instituto Nacional de Estudos e Pesquisas Educacionais -INEP, to the Sistem of Evaluation for Basic Education - SAEB (BRASIL, 2005) to build a scale in wich the objectives are in increasing order, according to the vertical development of the knowledge construction in Mathematics. We linked the proposed objectives to create a Data Bank (BI, in portuguese) that was used in our simulations. Weve analized the results of our essay to evaluate the comunication between the data bank and the scale under the perspective of giving a diagnosis of the construction of the mathematics knowledge. In our essay, we simulated the functionning of the DIA tool through an adaptive informatized test based on the "Teoria de Resposta ao Item" (TRI). We were also interested on determing a profile of a Data Bank (BI) that is able to significantly dialogue with our scale through the TRI. The scale and the associated data bank should provide a constructive feedback that will help the stundents develop their metacognitives competencies. / Apresentamos os resultados de nossa pesquisa para concepção, execuçãoo e avaliação de uma ferramenta adaptativa informatizada, denominada DIA, que permita tanto avaliar como fornecer feedback a estudantes sob uma perspectiva de avaliação formativa. Na primeira etapa, usamos os PCN: Ciências da Natureza, Matemática e suas Tecnologias (BRASIL, 1998) e as Matrizes Curriculares de Referência do Instituto Nacional de Estudos e Pesquisas Educacionais - INEP, para o Sistema de Avaliação para a Educação Básica- SAEB (BRASIL, 2005), para construir uma escala, em que os objetivos estão em ordem crescente, de acordo com o desenvolvimento vertical da construção do conhecimento em Matemática. Entrelaçamos os objetivos propostos para criar um Banco de Itens (BI), que foi usado em nossas simulações. Analisamos os resultados obtidos em nosso ensaio para avaliar o diálogo entre o BI e a escala sob a perspectiva de oferecer um diagnóstico de lacunas na construção do conhecimento matemático. Em nosso ensaio, simulamos o funcionamento da ferramenta DIA através de um teste adaptativo informatizado baseado na Teoria de Resposta ao Item (TRI). Também estamos interessados em determinar um perfil de um Banco de Itens, que seja capaz de forma significativa de dialogar com nossa escala através de TRI. A escala e o banco de itens a ela associado devem viabilizar um feedback construtivo que ajude os alunos a desenvolverem competências metacognitivas.

Weve presented the results of our research for the conception, execution and evaluation of an informatized adaptive tool, known as DIA (in portuguese), that allows evaluate and give a feedback to the student under the perspective of formative evaluation. At the first stage, we used the PCN: Sciency of the Nature, Mathematics and its Technologies (BRASIL, 1998) and the Curriculum Matrices of Reference from the Instituto Nacional de Estudos e Pesquisas Educacionais -INEP, to the Sistem of Evaluation for Basic Education - SAEB (BRASIL, 2005) to build a scale in wich the objectives are in increasing order, according to the vertical development of the knowledge construction in Mathematics. We linked the proposed objectives to create a Data Bank (BI, in portuguese) that was used in our simulations. Weve analized the results of our essay to evaluate the comunication between the data bank and the scale under the perspective of giving a diagnosis of the construction of the mathematics knowledge. In our essay, we simulated the functionning of the DIA tool through an adaptive informatized test based on the "Teoria de Resposta ao Item" (TRI). We were also interested on determing a profile of a Data Bank (BI) that is able to significantly dialogue with our scale through the TRI. The scale and the associated data bank should provide a constructive feedback that will help the stundents develop their metacognitives competencies. / Apresentamos os resultados de nossa pesquisa para concepção, execuçãoo e avaliação de uma ferramenta adaptativa informatizada, denominada DIA, que permita tanto avaliar como fornecer feedback a estudantes sob uma perspectiva de avaliação formativa. Na primeira etapa, usamos os PCN: Ciências da Natureza, Matemática e suas Tecnologias (BRASIL, 1998) e as Matrizes Curriculares de Referência do Instituto Nacional de Estudos e Pesquisas Educacionais - INEP, para o Sistema de Avaliação para a Educação Básica- SAEB (BRASIL, 2005), para construir uma escala, em que os objetivos estão em ordem crescente, de acordo com o desenvolvimento vertical da construção do conhecimento em Matemática. Entrelaçamos os objetivos propostos para criar um Banco de Itens (BI), que foi usado em nossas simulações. Analisamos os resultados obtidos em nosso ensaio para avaliar o diálogo entre o BI e a escala sob a perspectiva de oferecer um diagnóstico de lacunas na construção do conhecimento matemático. Em nosso ensaio, simulamos o funcionamento da ferramenta DIA através de um teste adaptativo informatizado baseado na Teoria de Resposta ao Item (TRI). Também estamos interessados em determinar um perfil de um Banco de Itens, que seja capaz de forma significativa de dialogar com nossa escala através de TRI. A escala e o banco de itens a ela associado devem viabilizar um feedback construtivo que ajude os alunos a desenvolverem competências metacognitivas.

Esta Tese resulta de um projeto de construção de um Teste Adaptativo Informatizado (TAI) para a versão em papel e lápis da Provinha Brasil (PB), focado na avaliação da proficiência em leitura. O teste da PB Leitura, apesar de possuir elementos de ordem técnica e conceitual para a constituição de uma avaliação educacional e de seu amplo uso por professores dos anos iniciais do ensino fundamental, apresentava limitações que poderiam ser superadas por testes adaptados aos perfis de aprendizagem dos estudantes e com resultados mais fidedignos para apoiar as decisões pedagógicas de professores(as) e gestores(as) escolares. Assim, buscou-se responder à questão: É possível construir um TAI para a versão impressa da PB Leitura que seja ponto de apoio para professores(a) na avaliação de alunos(as) dos anos iniciais do ensino fundamental?. Para a construção dessa ferramenta TAI da PB Leitura foi necessário articular engenheiros de softwares, elaboradores de testes, pesquisadores e profissionais da educação de 15 escolas públicas do município de São Paulo. Para que pudessem participar da construção da ferramenta e da validação dos resultados obtidos, foi realizada formação de professores(as) e gestores(as) educacionais sobre medida educacional, leitura e avaliação. Após a verificação de que os aspectos psicométricos dos itens da versão impressa poderiam ser mantidos para a versão informatizada, o TAI da PB Leitura foi aplicado e os resultados indicaram que ele permitiu testes personalizados aos domínios dos(as) alunos(as), mais rápidos e de menor comprimento, sem prejuízo da precisão. Por apresentar resultados embasados em uma escala com importante interpretação pedagógica, o TAI da PB Leitura se revelou capaz de apoiar a prática avaliativa de professores(as) e gestores(as) e o trabalho pedagógico na alfabetização e no letramento inicial. Esse apoio foi potencializado com o acréscimo de uma regra ao critério de parada do TAI, utilizada em testes que visam a classificação do respondente em níveis de resultado. Verificouse também a necessidade de aprofundar as investigações sobre: a formação de professores(as) na temática da medida e avaliação; a ampliação do banco de itens, com a finalidade de controle de taxas de exposição e balanceamento de conteúdo, e a produção de relatórios pedagógicos. / This thesis results from a project of construction of a Computerized Adaptive Test (CAT) for the paper and pencil version of Provinha Brasil (PB), focused on the assessment of proficiency in reading. The PB Reading test, despite having technical and conceptual elements for the constitution of an educational assessment and its wide use by teachers of the initial years of elementary school, presented limitations that could be overcome by tests adapted to the learning styles of students and with much more reliable outcomes to support the pedagogical decisions of teachers and school administrators. Thus, it was sought to answer the question: \"Is it possible to create a CAT for the printed version of PB Reading test which would be a base of assistance for teachers in the assessment of students in the initial years of elementary education?\" For the creation of this CAT tool from PB Reading test it was necessary to articulate software engineers, test designers, researchers and education professionals from 15 public schools from São Paulo city. In order to take part in the creation of the tool and the validation of the achieved results, it was made teachers and educational managers training on educational measures, reading and assessment. After verifying that the psychometric aspects of the printed version items could be kept for the computerized version, the PB Reading CAT was applied and the results indicated that it allowed customized testing to the students domains, faster and of smaller length, without prejudice of the precision. Based on a scale with an important pedagogical interpretation, the PB Reading CAT was able to support the assessment practice of teachers and managers and the pedagogical work in literacy and initial literacy. This support was strengthened by adding a rule to the CAT stopping criterion, used in tests that aim to classify the respondent into outcome levels. There was also a need to deepen the research on: teacher training in the subject of measurement and assessment; the expansion of the item base, for the purpose of controlling exposure rates and content balancing, and the production of pedagogical reports.

O objetivo deste trabalho é apresentar os conceitos relacionados a Teste Adaptativo Informatizado, ou abreviadamente TAI, para o modelo logístico unidimensional da Teoria de Resposta ao Item. Utilizamos a abordagem bayesiana para a estimação do parâmetro de interesse, chamado de traço latente ou habilidade. Apresentamos os principais algoritmos de seleção de itens em TAI e realizamos estudos de simulação para comparar o desempenho deles. Para comparação, usamos aproximações numéricas para o Erro Quadrático Médio e para o Vício e também calculamos o tempo médio para o TAI selecionar um item. Além disso, apresentamos como instalar e usar a implementação de TAI desenvolvida neste projeto chamada de TAI2U, que foi desenvolvido no VBA-Excel usando uma interface com o R / The main of this work is to introduce the subjects related to Computerized Adaptive Testing, or breafly CAT, for the unidimensional three-parameter logistic model of Item Response Theory. We use bayesian approach to estimate the parameter of interest. We present several item selection algorithms and we perform simulations comparing them. The comparisons are made in terms of the mean square error, bias of the trait estimates, the average time for item selection and the average length of test. Furthermore, we show how to install e use the CAT implementation of this work called built in MIcrosoft Excel - VBA using interface with the statistical package R

Submitted by Izabel Franco (izabel-franco@ufscar.br) on 2016-09-21T20:05:06Z No. of bitstreams: 1 DissVRS.pdf: 1534933 bytes, checksum: 3be53a846076f3dcad8ef3bbed2d3e3c (MD5) / Approved for entry into archive by Ronildo Prado (ronisp@ufscar.br) on 2016-09-28T18:36:30Z (GMT) No. of bitstreams: 1 DissVRS.pdf: 1534933 bytes, checksum: 3be53a846076f3dcad8ef3bbed2d3e3c (MD5) / Approved for entry into archive by Ronildo Prado (ronisp@ufscar.br) on 2016-09-28T18:36:38Z (GMT) No. of bitstreams: 1 DissVRS.pdf: 1534933 bytes, checksum: 3be53a846076f3dcad8ef3bbed2d3e3c (MD5) / Made available in DSpace on 2016-09-28T18:43:48Z (GMT). No. of bitstreams: 1 DissVRS.pdf: 1534933 bytes, checksum: 3be53a846076f3dcad8ef3bbed2d3e3c (MD5) Previous issue date: 2015-04-09 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / This work describes the steps for converting a linear paper-and-pencil English proficiency test for academic purposes, composed with multiple choice items that are administered following the admissible probability measurement procedure (Shuford Jr et al., 1966), adopted by the graduate program of Institute of Mathematical Sciences and Computing of University of São Paulo (ICMCUSP), Brazil, to a computerized adaptive test (CAT) based on an item response theory model (IRT). Despite the Institute recognizes reliable international English-language exams for academic purposes and non-native speakers, as TOEFL (Test of English as a Foreign Language), IELTS (International English Language Testing System) and CPE (Cambridge English: Proficiency), for instance, it is inconsistent that public universities in Brazil require them as certification because of the cost of approximately US$ 200.00 to US$ 300.00 per exam. The software TAI-PI (computerized adaptive test for English proficiency) was implemented in Java language, used SQLite as database engine, and it shall be offered free of charge for English proficiency assessment of the graduate students from October 2013. The statistical methodology employed for TAI-PI construction was defined considering the history and the aims of the evaluation and adopted the Samejima's graded response model (Samejima, 1969), the Kullback-Leibler information criterion for item selection, the expected a posteriori Bayesian estimation for latent trait (Baker, 2001) and shadow test approach (Van der Linden & Pashley, 2010) for test constraints (content and size of the test, for example). A description of the test design, the employed statistical methods, study results of a real application of TAI-PI to graduate students are presented in this work and the validation studies of the new methodology for pass/fail classi cation, highlighting the good quality of the new evaluation system and examination of improvement with the use of the methods of IRT and CAT. / Este trabalho descreve as etapas de transformação de um exame de proficiência em inglês acadêmico, aplicado via lápis-e-papel, com itens de múltipla escolha administrados segundo o método de Medida de Probabilidade Admissível (Shuford Jr et al., 1966), utilizado no programa de pósgraduação do Instituto de Ciências Matemáticas e de Computação da Universidade de São Paulo (ICMC-USP), em um teste adaptativo informatizado (TAI-PI) baseado em um modelo da Teoria de Resposta ao Item (TRI). Apesar do programa aceitar diversos exames que atestam a proficiência em inglês para indivíduos não-nativos de abrangência e reconhecimento internacionais, como o TOEFL (Test of English as a Foreign Language), IELTS (International English Language Testing System) e CPE (Certificate of Proficiency in English), por exemplo, a sua obrigatoriedade é incoerente em universidades públicas do Brasil devido ao custo que varia de 200 a 300 dólares por exame. O software TAI-PI (Teste Adaptativo Informatizado para Proficiência em Inglês), que foi desenvolvido em Java e SQLite, será utilizado para a avaliação da pro ciência em inglês dos alunos do programa a partir do segundo semestre de 2013, de forma gratuita. A metodologia estatística implementada foi definida considerando a história e objetivos do exame e adotou o modelo de resposta gradual unidimensional de Samejima (Samejima, 1969), o critério de Kullback-Leibler para seleção de itens, o método de estimação da esperança a posteriori para os traços latentes (Baker , 2001) e a abordagem Shadow test (Van der Linden & Pashley, 2010) para imposição de restrições (de conteúdo e tamanho da prova) na composição do teste de cada indivíduo. Uma descrição da estrutura do exame, dos métodos empregados, dos resultados das aplicações do TAI-PI a alunos de pós-graduação do ICMC e estudos de classificação dos alunos em aprovados e reprovados, são apresentados neste trabalho, evidenciando a boa qualidade da nova proposta adotada e aprimoramento do exame com a utilização dos métodos de TRI e TAI.

O objetivo deste trabalho é apresentar os conceitos relacionados a Teste Adaptativo Informatizado, ou abreviadamente TAI, para o modelo logístico unidimensional da Teoria de Resposta ao Item. Utilizamos a abordagem bayesiana para a estimação do parâmetro de interesse, chamado de traço latente ou habilidade. Apresentamos os principais algoritmos de seleção de itens em TAI e realizamos estudos de simulação para comparar o desempenho deles. Para comparação, usamos aproximações numéricas para o Erro Quadrático Médio e para o Vício e também calculamos o tempo médio para o TAI selecionar um item. Além disso, apresentamos como instalar e usar a implementação de TAI desenvolvida neste projeto chamada de TAI2U, que foi desenvolvido no VBA-Excel usando uma interface com o R / The main of this work is to introduce the subjects related to Computerized Adaptive Testing, or breafly CAT, for the unidimensional three-parameter logistic model of Item Response Theory. We use bayesian approach to estimate the parameter of interest. We present several item selection algorithms and we perform simulations comparing them. The comparisons are made in terms of the mean square error, bias of the trait estimates, the average time for item selection and the average length of test. Furthermore, we show how to install e use the CAT implementation of this work called built in MIcrosoft Excel - VBA using interface with the statistical package R

Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-07-31T19:17:25Z No. of bitstreams: 1 JUCELIO SOARES DOS SANTOS - DISSERTAÇÃO PPGCC 2017..pdf: 18900717 bytes, checksum: 52e41e0b5debced99e35a3ffbc382776 (MD5) / Made available in DSpace on 2018-07-31T19:17:25Z (GMT). No. of bitstreams: 1 JUCELIO SOARES DOS SANTOS - DISSERTAÇÃO PPGCC 2017..pdf: 18900717 bytes, checksum: 52e41e0b5debced99e35a3ffbc382776 (MD5) Previous issue date: 2017-07-07 / Devido à deficiência na prática de rastreio da dislexia nas escolas e à carência de recursos informatizados válidos para tal uso, a presente pesquisa teve como objetivo melhorar a capacidade de triagem de crianças em tarefas preditoras da leitura. Para tanto, foi concebido, desenvolvido e analisado um teste com abordagem de jogo adaptado de um instrumento psicométrico construído e validado no Brasil. O jogo desenvolvido é administrado por um algoritmo de seleção adaptativa de itens e avalia as habilidades de aliteração, segmentação, memória visual e rima por meio da Teoria de Resposta ao Item. O trabalho apresenta um experimento a fim de verificar se a escala proposta, o banco de itens e o algoritmo utilizados consegue distinguir crianças com fraca/forte habilidade em tarefas preditoras da leitura. Como resultado, o jogo permitiu a economia de tempo, facilidade de reprodução, bem como obteve resultados mais precisos da habilidade das crianças, identificando as que possui limitações na leitura. / Due to the deficiency in the practice of screening for dyslexia in schools and the lack of computerized resources valid for the use of such, the present research aimed to improve the capacity for screening children in predictive reading tasks. For that, a test with game approach adapted from a psychometric instrument constructed and validated in Brazil was conceived, developed and analyzed. The developed game is administered by an adaptive selection algorithm and evaluates alliteration, segmentation, visual memory, and rhyming skills through Item Response Theory. This work presents an experiment in order to verify whether a proposed scale, the items bank and the algorithm can distinguish children with weak/strong ability. As a result, the game allowed time savings, reproduction facility, as well as more accurate results of children's abilities, identifying them as having limitations in reading.