Weve presented the results of our research for the conception, execution and evaluation of an informatized adaptive tool, known as DIA (in portuguese), that allows evaluate and give a feedback to the student under the perspective of formative evaluation. At the first stage, we used the PCN: Sciency of the Nature, Mathematics and its Technologies (BRASIL, 1998) and the Curriculum Matrices of Reference from the Instituto Nacional de Estudos e Pesquisas Educacionais -INEP, to the Sistem of Evaluation for Basic Education - SAEB (BRASIL, 2005) to build a scale in wich the objectives are in increasing order, according to the vertical development of the knowledge construction in Mathematics. We linked the proposed objectives to create a Data Bank (BI, in portuguese) that was used in our simulations. Weve analized the results of our essay to evaluate the comunication between the data bank and the scale under the perspective of giving a diagnosis of the construction of the mathematics knowledge. In our essay, we simulated the functionning of the DIA tool through an adaptive informatized test based on the "Teoria de Resposta ao Item" (TRI). We were also interested on determing a profile of a Data Bank (BI) that is able to significantly dialogue with our scale through the TRI. The scale and the associated data bank should provide a constructive feedback that will help the stundents develop their metacognitives competencies. / Apresentamos os resultados de nossa pesquisa para concepção, execuçãoo e avaliação de uma ferramenta adaptativa informatizada, denominada DIA, que permita tanto avaliar como fornecer feedback a estudantes sob uma perspectiva de avaliação formativa. Na primeira etapa, usamos os PCN: Ciências da Natureza, Matemática e suas Tecnologias (BRASIL, 1998) e as Matrizes Curriculares de Referência do Instituto Nacional de Estudos e Pesquisas Educacionais - INEP, para o Sistema de Avaliação para a Educação Básica- SAEB (BRASIL, 2005), para construir uma escala, em que os objetivos estão em ordem crescente, de acordo com o desenvolvimento vertical da construção do conhecimento em Matemática. Entrelaçamos os objetivos propostos para criar um Banco de Itens (BI), que foi usado em nossas simulações. Analisamos os resultados obtidos em nosso ensaio para avaliar o diálogo entre o BI e a escala sob a perspectiva de oferecer um diagnóstico de lacunas na construção do conhecimento matemático. Em nosso ensaio, simulamos o funcionamento da ferramenta DIA através de um teste adaptativo informatizado baseado na Teoria de Resposta ao Item (TRI). Também estamos interessados em determinar um perfil de um Banco de Itens, que seja capaz de forma significativa de dialogar com nossa escala através de TRI. A escala e o banco de itens a ela associado devem viabilizar um feedback construtivo que ajude os alunos a desenvolverem competências metacognitivas.

Dissertação (mestrado)—Universidade de Brasília, Universidade Federal da Paraíba, Universidade Federal do Rio Grande do Norte, Programa Multi-Institucional e Inter-Regional de Pós-Graduação em Ciências Contábeis, 2013. / Submitted by Alaíde Gonçalves dos Santos (alaide@unb.br) on 2014-05-30T15:01:47Z No. of bitstreams: 1 2013_ JaneKellyBatistaRamalhoPedroza.pdf: 1697350 bytes, checksum: 50bb412214ddf483e6f42a9da38763cc (MD5) / Approved for entry into archive by Guimaraes Jacqueline(jacqueline.guimaraes@bce.unb.br) on 2014-06-05T15:58:52Z (GMT) No. of bitstreams: 1 2013_ JaneKellyBatistaRamalhoPedroza.pdf: 1697350 bytes, checksum: 50bb412214ddf483e6f42a9da38763cc (MD5) / Made available in DSpace on 2014-06-05T15:58:52Z (GMT). No. of bitstreams: 1 2013_ JaneKellyBatistaRamalhoPedroza.pdf: 1697350 bytes, checksum: 50bb412214ddf483e6f42a9da38763cc (MD5) / O processo genericamente identificado como globalização expôs as PMEs a problemas internacionais semelhantes aos das grandes empresas. Visando uma resposta à demanda informacional internacional em economias desenvolvidas e em desenvolvimento, o IASB editou um conjunto condensado de normas para pequenas e médias empresas – a IFRS for SMEs. Embora a abordagem das IFRSs se mostre benéfica em sentido amplo, é importante discutir o processo de adoção por diferentes países, pois envolve contextos econômicos e culturais diferentes. Sendo assim, este trabalho teve como objetivo principal investigar o nível de compreensão dos contadores do Estado da Paraíba em relação à IFRS para PMEs. Para a mensuração do traço latente compreensão (não observável) utilizou-se da Teoria de Resposta ao Item (TRI) como uma ferramenta de mensuração. Mede-se por teoria quando se procura medir um atributo latente (não observável) através de um atributo empírico (observável). Para fins metodológicos a pesquisa caracterizou-se quanto aos fins como descritiva e exploratória e quanto aos meios como bibliográfica e de levantamento. A amostra foi composta por 362 contadores do Estado da Paraíba como sujeitos pertinentes para responder a um questionário (teste), contendo 11 questões (itens) de múltipla escolha. Os testes demandaram inicialmente a análise através da Teoria Clássica de Medidas (TCM) e, considerando suas limitações, posteriormente, através da TRI. Os resultados obtidos com a TCM indicam que os itens mais fáceis do teste foram: Mensuração subsequente de ativo imobilizado e perda por irrecuperabilidade, Reconhecimento de arrendamento mercantil e Mensuração subsequente de estoques. O coeficiente de correlação bisserial apresentou-se dentro dos limites estabelecidos pela teoria e o coeficiente alfa de Cronbach indicou boa fidedignidade das medidas com (p-valor = 0,70). A análise amparada pela TRI indica, através do índice de dificuldade que os itens relacionados a Reconhecimento de Receitas de Contratos de Construção, Reconhecimento de receita de vendas e Compreensão do conceito de PME segundo a IFRS foram considerados os itens mais difíceis do teste, demandando maior habilidade (compreensão) dos respondentes. Com relação ao índice de discriminação os itens que mais discriminaram o indivíduo habilidoso do indivíduo não habilidoso foram os itens relativos a Reconhecimento de arrendamento mercantil, Mensuração subsequente de ativo imobilizado e perda por irrecuperabilidade e Mensuração subsequente de estoques. O teste qui-quadrado apresenta bom ajustamento do modelo utilizado. Analisando os escores obtidos no teste verifica-se que o conhecimento a respeito da norma não está satisfatório ao demandado pela IFRS, visto que obteve uma compreensão menor que a estabelecida pelos itens que contemplaram um escore de (-4 a +4). Além disso, quase a totalidade dos respondentes, 90%, só conseguiu atingir uma compreensão ( 1,0085) em um escore que poderia atingir compreensão +4. Quanto às métricas a serem utilizadas nas pesquisas brasileiras, sobretudo, aquelas que buscam investigar traços latentes (não observáveis) como: compreensão, percepção, aderência, adequação, entre outros, a TRI surge como fator contribuinte para que pesquisas futuras possam ser desenvolvidas na contabilidade. De certa forma, os resultados encontram-se dentro do esperado, considerando que, a harmonização é o fim de um processo, não o começo. _______________________________________________________________________________________ ABSTRACT / The process which is generically identified as globalization has exposed SMEs to international problems similar to those of large enterprises. Targeting a response to international informational demand in developed and developing economies, the IASB edited a condensed set of norms for small and medium enterprises - the IFRS for SMEs. Although the approach of IFRS proves itself beneficial in a broader sense, it is important to address the adoption process by different countries as it involves different economic and cultural contexts. Thus, this work had the main objective of investigating the level of understanding of the accountants in the state of Paraiba regarding IFRS for SMEs. To measure the latent trait of understanding (unobservable) the Item Response Theory (IRT) was used as a measurement tool. Measurement by theory is done when trying to measure a latent attribute (unobservable) through an empirical attribute (observable). For methodological reasons the research was characterized regarding its purposes as descriptive and exploratory and regarding its means as bibliographic and of data collection. The sample consisted of 362 accountants in the state of Paraiba as pertinent subjects to respond to a questionnaire (test), containing 11 questions (items) of multiple choices. The tests initially demanded the analysis through the Classical Test Theory (CTT) and considering its limitations, later through the IRT. The results obtained with the CTT indicate that the easiest test items were: Subsequent measurement of fixed assets and impairment loss, Recognition of leasing and Subsequent measurement of inventories. The biserial correlation coefficient showed itself within the limits established by the theory and Cronbach's alpha coefficient showed evidence of good trustworthiness of measurements with (p-value = 0.70). The analysis supported by IRT indicates, through the difficulty index , that items regarding Recognition of Revenues of Construction Contracts, Recognition of Sales Revenues and Understanding of the Concept of SMEs according to the IFRS were considered the most difficult test items, requiring greater ability (understanding) of the respondents. Regarding the discrimination index , the items that mostly discriminated the skillful individual from the unskilled one were the items related to Recognition of leasing, Subsequent measurement of fixed assets, Impairment loss and Subsequent measurement of inventories. The chi-square test presents a good fit of the model employed. Analyzing the scores obtained in the test it is found that the knowledge regarding the standard is not satisfactory to the required by IFRS since it obtained a lower understanding than established by the items that contemplated a score of (-4 to +4). Moreover, almost all the respondents, 90%, only managed to reach an understanding of ( 1.0085) in a score that could reach understanding of +4. As regards the metrics to be used in Brazilian researches, especially those that seek to investigate latent traits (unobservable) such as: understanding, perception, adherence, fitness, among others, the IRT emerges as a contributing factor so that future research can be developed in accounting . In a certain way, the results find themselves within the expected, considering that the harmonization is the end of a process, not the beginning.

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2014. / Submitted by Raquel Viana (raquelviana@bce.unb.br) on 2014-10-20T18:57:42Z No. of bitstreams: 1 2014_EdnaAlessandraPereira.pdf: 880527 bytes, checksum: 06ad4747f8483b15b8dac261db7c5844 (MD5) / Approved for entry into archive by Raquel Viana(raquelviana@bce.unb.br) on 2014-10-21T16:21:07Z (GMT) No. of bitstreams: 1 2014_EdnaAlessandraPereira.pdf: 880527 bytes, checksum: 06ad4747f8483b15b8dac261db7c5844 (MD5) / Made available in DSpace on 2014-10-21T16:21:07Z (GMT). No. of bitstreams: 1 2014_EdnaAlessandraPereira.pdf: 880527 bytes, checksum: 06ad4747f8483b15b8dac261db7c5844 (MD5) / Neste trabalho, são estudadas duas propostas de métodos de imputação de dados para o ajuste do modelo de três parâmetros em estudos de teoria de resposta ao item. O primeiro método proposto consiste em utilizar como probabilidade de resposta positiva para imputação de resposta o valor fornecido pela curva de regressão logística das respostas certas e erradas do indivíduo como função das estimativas do parâmetro de dificuldade para os itens respondidos pelo indivíduo. Obtida a curva logística, a probabilidade de resposta positiva para um item que o indivíduo não tenha respondido é obtida pela curva logística ajustada calculada no valor estimado do parâmetro de dificuldade do item não respondido. A partir desta probabilidade, imputa-se uma resposta correta ou não. O segundo método é similar ao primeiro, mas utiliza para imputação a probabilidade de resposta correta dada pelo valor da curva suavizada via kernel fornecida pela regressão isotônica das respostas corretas e incorretas (1 e 0) como função decrescente das estimativas do parâmetro de dificuldade do itens respondidos. Num estudo de simulação, as estimativas dos parâmetros dos itens e da proficiência obtidas a partir dos dados imputados pelos dois métodos e também sem imputação de dados são comparadas com os valores reais e com aqueles obtidos para os dados completos. _______________________________________________________________________________________ ABSTRACT / In this work we have studied two imputation procedures for missing data when fitting the three parameters model in item response theory studies. The first proposed method uses as the probability of imputation of correct response the value obtained from the logistic regression of the correct (1) and incorrect (0) answers as a function of the difficulty parameter estimates for the items with responses. We take the fitted logisitic curve and calculate the probability of imputation of positive response as a function of the value of the difficulty parameter estimates for the non responded items. The second method is similar to the first one, but we use the probability of imputation of a positive response provided by the kernel smoothed isotonic regression obtained taking the probability of positive response as a decreasing function of the estimated difficulty parameter for each item with a response. In a simulation study, the estimates of the item parameters and proficiency were compared to the real values and also to the estimates obtained for the data with no missing responses.

Dissertação (mestrado)—Universidade de Brasília, Universidade Federal da Paraíba, Universidade Federal do Rio Grande do Norte, Programa Multi-Institucional e Inter-Regional de Pós-Graduação em Ciências Contábeis, 2015. / Submitted by Ana Cristina Barbosa da Silva (annabds@hotmail.com) on 2015-03-19T18:20:42Z No. of bitstreams: 1 2015_GilbertoMagalhaesdaSilvaFilho.pdf: 1765024 bytes, checksum: 64343359aad8cd02d8a701292b31f4d1 (MD5) / Approved for entry into archive by Ruthléa Nascimento(ruthleanascimento@bce.unb.br) on 2015-04-29T17:36:09Z (GMT) No. of bitstreams: 1 2015_GilbertoMagalhaesdaSilvaFilho.pdf: 1765024 bytes, checksum: 64343359aad8cd02d8a701292b31f4d1 (MD5) / Made available in DSpace on 2015-04-29T17:36:09Z (GMT). No. of bitstreams: 1 2015_GilbertoMagalhaesdaSilvaFilho.pdf: 1765024 bytes, checksum: 64343359aad8cd02d8a701292b31f4d1 (MD5) / O Sistema Público de Escrituração Digital (Sped) representa uma iniciativa integrada das administrações tributárias federal, estadual e municipal, visando à modernização sistemática do cumprimento das obrigações acessórias pelas empresas. Representa, paralelamente ao processo de convergência às normas internacionais de contabilidade, uma grande mudança na área contábil com impactos legais, operacionais e profissionais. O contador moderno precisa acumular muitos conhecimentos e o Sped tem exigido por parte desses profissionais o domínio das ferramentas tecnológicas, assim como das normas e legislações que norteiam a profissão contábil. Diante do exposto, o presente estudo teve como objetivo medir o conhecimento dos profissionais de contabilidade do município de João Pessoa a respeito do Sped. A amostra da pesquisa foi formada por 209 profissionais de contabilidade que responderam a um questionário com 14 questões (itens) de múltipla escolha, validado por especialistas. A partir das ferramentas da Teoria Clássica dos Testes, foram realizadas as validações dos itens e do teste, fazendo uso da correlação ponto bisserial e do alfa de Cronbach. Em relação à correlação ponto bisserial, os resultados mostraram que, em geral, os itens apresentaram bom poder de discriminação e o item que apresentou maior índice de discriminação foi a questão que trata da obrigatoriedade da entrega dos livros fiscais em formato digital. Já a análise do alfa de Cronbach se mostrou adequada conforme a literatura pertinente, com p-valor = 0,678, indicando boa consistência interna do instrumento da pesquisa. Para mensurar o traço latente (conhecimento), utilizou-se o modelo de 1 parâmetro (Rasch) da Teoria de Resposta ao Item, que considera que as respostas de um sujeito dependem apenas do seu traço latente e do parâmetro de dificuldade de cada item. O resultado do modelo mostrou que os itens mais difíceis foram: 1 – Orientações observadas na elaboração da Escrituração Contábil Digital (ECD); 3 – Plano de Contas Referencial; e 8 – Processo de arquivamento da Nota Fiscal Eletrônica (NF-e), que demandavam maior conhecimento dos participantes. Em contrapartida, os itens: 12 – Empresas obrigadas à Escrituração Fiscal Digital (EFD) na Paraíba; e 11 – Documentos escriturados na EFD, apresentaram menor parâmetro de dificuldade. Quando considerado o conhecimento (ɵ) de cada participante, este se mostrou insatisfatório, uma vez que mais de 50% dos respondentes apresentaram escore de conhecimento inferior a -8,26 e 75% dos participantes obtiveram escore menor que 68,05, em uma escala que vai de -300 a +300. Os achados da pesquisa podem se justificar pelo fato de que a implantação do Sped está sendo um processo gradativo, que ainda não está concluído e não se estende a todas as empresas, sendo esperado que isso ocorra em 2015. / Public Digital Bookkeeping System (Sped) is an integrated initiative of federal, state and local tax administrations, aimed at systematic modernization of compliance of ancillary obligations by business. It represents, parallel to the process of convergence with international accounting standards, a big change in accounting with legal, operational and professional impacts. Modern accountant needs to accumulate a lot of knowledge, and Sped has required by these professionals mastery of technological tools, as well as rules and laws that govern the accounting profession. Given the above, this study aimed to measure the knowledge of accounting professionals in the city of João Pessoa about Sped. Research sample was formed by 209 accounting professionals who answered a questionnaire with 14 questions (items) of multiple choice, validated by experts. From tools of Classical Theory of Tests, validations of items and test was performed, using point biserial correlation and Cronbach’s alpha. Regarding biserial point correlation, results showed that, in general, items showed good discrimination power and the item with the highest index of discrimination was the question that deals with obligation of delivery of tax books in digital format. Analysis of Cronbach’s alpha was adequate according to relevant literature, with p-value = 0.678, indicating good internal consistency of research instrument. To measure latent trait (knowledge), the model of 1 parameter (Rasch) of Item Response Theory was used, which considers that the responses of a subject depend only on its latent trait and the parameter of difficulty of each item. Model output showed that most difficult items were: 1 – Guidelines observed in development of Digital Accounting Bookkeeping (ECD); 3 – Referential Accounting Plan; and 8 – Electronic Invoice (NF-e) archiving process, which demanded greater knowledge of the participants. However, the items: 12 – Companies obliged to Digital Tax Bookkeeping (EFD) in Paraíba; and 11 – Documents carried in EFD, had lower parameter of difficulty. When considering knowledge (ɵ) of each participant, this proved unsatisfactory, since over 50% of respondents had knowledge score less than -8.26 and 75% of participants had scores lower than 68.05, in a scale from -300 to +300. Research findings can be justified by the fact that implantation of Sped is being a gradual process, which is not yet complete and does not extend to all businesses, being expected this to happen in 2015.

Submitted by Fernanda Rodrigues de Lima (fernanda.rlima@ufpe.br) on 2018-08-22T22:21:47Z No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Celine Lorena Oliveira Barboza de Lira.pdf: 1714475 bytes, checksum: b0f6cf9a64c43acb4ce2523e4e496ea4 (MD5) / Approved for entry into archive by Alice Araujo (alice.caraujo@ufpe.br) on 2018-08-29T20:50:07Z (GMT) No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Celine Lorena Oliveira Barboza de Lira.pdf: 1714475 bytes, checksum: b0f6cf9a64c43acb4ce2523e4e496ea4 (MD5) / Made available in DSpace on 2018-08-29T20:50:08Z (GMT). No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Celine Lorena Oliveira Barboza de Lira.pdf: 1714475 bytes, checksum: b0f6cf9a64c43acb4ce2523e4e496ea4 (MD5) Previous issue date: 2017-06-30 / CNPq / A busca pela integração entre a emoção e a cognição vem avançando com estudos sobre a inteligência emocional e as habilidades que a compõem, como a regulação emocional. Considerando a importância de avaliar tais habilidades para o avanço teórico na área, relata-se aqui a construção do Teste de Regulação de Emoções (TRE) que se propõe a avaliar o conhecimento acerca da utilização de estratégias para regular as emoções, tendo como base a teoria psicoevolutiva das emoções e o modelo de regulação emocional proposto por James Gross. Realizaram-se dois estudos, sendo que no primeiro buscou evidências de validade com base na estrutura interna do TRE (validade fatorial) e com base em sua relação com variáveis externas (indicadores psicopatológicos e dados pessoais); e o segundo, a análise do instrumento a partir da Teoria de Resposta ao Item (TRI). Em ambos a amostra foi composta por 289 indivíduos adultos, que foram contatados pela internet, e responderam ao questionário sociodemográfico e ao TRE, composto por cenários (vinhetas) representativos de conflitos envolvendo oito emoções básicas, e itens em que o respondente avalia a eficácia de respostas aos conflitos emocionais presentes nas vinhetas. Para o estudo de validade com variáveis externas, uma parcela menor (N=191), respondeu o Inventário Dimensional Clínico da Personalidade-Triagem. O primeiro estudo resultou numa estrutura bifatorial sugerindo que dois processos mentais estão relacionados com a regulação de emoções: o de detectar que uma estratégia é eficaz (fator 1) e o de detectar que uma estratégia não é eficaz (fator 2) pra regular emoções. A análise do segundo estudo apresenta dados importantes para a continuidade do desenvolvimento do instrumento, como por exemplo o modo pelo qual se pode construir novos itens, controlando-se seus índices de dificuldade com base no conhecimento do traço latente. De modo geral os resultados mostram que o TRE apresentou boas propriedades psicométricas e ajustamento ao modelo da TRI. Discute-se a necessidade de se pensar a regulação de emoções como um processo complexo, que envolve diferentes tipos de processamento da informação e que necessitam ser melhor investigados em estudos futuros. / The search for the integration between emotion and cognition has been advancing due to studies on emotional intelligence and related skills, such as emotional regulation. Considering the importance of evaluating such skills for the theoretical advancement, this work reports the construction of the Emotion Regulation Test (ERT), which aims to evaluate the knowledge about the usage of strategies to regulate emotions, based on the Psychoevolutionary theory of emotions and the model of emotional regulation proposed by James Gross. Two studies were carried out, in which the first one sought validity evidence based both on the internal structure of the ERT (factorial validity) and on its relationship with external variables (psychopathological indicators and personal data); and in the second study analyzed the psychometric properties of the instrument based on Item Response Theory (IRT). Participants of both studies were 289 adults, that were contacted by internet, and answered a sociodemographic questionnaire and the ERT, which consists of scenarios (vignettes) representing conflicts involving eight basic emotions, and items in which the respondent evaluates the effectiveness of responses to the emotional conflicts present in the vignettes. For the validity with external variables study, a smaller portion (N = 191) of the whole sample responded to the Clinical Dimensional Inventory of Personality-Screening. The first study resulted in a two-factor structure suggesting that there are two mental processes underlying the regulation of emotions: to detect that a strategy is effective (factor 1) and to detect that a strategy is not effective (factor 2) to regulate emotions. The second study presents important data to continue developing the instrument, for example, how to construct new items controlling its difficulties based on the latent trait. In general, the results of the work show that the ERT presented good psychometric properties and adjustment to the TRI model. Discussion suggests that regulation of emotion should be understood as a complex process involving different types of information processing and the need of further investigation.

Orientador: Luiz Carlos de Freitas, Dalton Francisco de Andrade / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Educação / Made available in DSpace on 2018-08-10T21:12:26Z (GMT). No. of bitstreams: 1 Stevao_ChristianeBellorioGennarideAndrade_M.pdf: 5247957 bytes, checksum: 947de91bb797b7b1b693ceab7297dd14 (MD5) Previous issue date: 2008 / Resumo: Este trabalho teve como problema pesquisa mostrar os resultados obtidos aplicando a Teoria da Resposta ao Item aos dados do Projeto GERES Campinas, o qual utiliza todos itens de um teste como âncora para a criação da escala de proficiência, e assim comparar os resultados com a forma clássica de se elaborar escalas, o qual usa critérios específicos para aceitação de um item como item âncora. Para isso trabalhamos com os dados da pesquisa GERES, um estudo longitudinal com alunos de 1ª a 4ª série do ensino fundamental na cidade de Campinas, que teve seu início em março de 2005, nas três redes de ensino, Estadual, Municipal e Particular. Apresentamos o desempenho dos alunos nas três primeiras aplicações, no teste de matemática, e mostramos que há divergência entre as duas técnicas / Abstract: This work had as a research issue to show the results obtained by applying the Theory of the Response to the item to the database from the GERES' Project of Campinas. This Project utilizes all the items of a test as an anchor to make the scale of proficiency, and then to compare the obtained results with the classical way to elaborate scales. The latter uses specific criteria for the approval of an item as an anchor item. Therefore, we have analyzed the data from GERES' Project, which consists of a longitudinal study with 1st to 4th grade students of Elementary School of Campinas City (State, Municipal and Private School System) that started in March, 2005. We present the performance of the students in the Mathematic Test considering the first three applications of GERES Project and as a conclusion we found a divergence between the two methods / Mestrado / Ensino, Avaliação e Formação de Professores / Mestre em Educação

Orientadores: Caio Lucidius Neberezny Azevedo, Hildete Prisco Pinheiro / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matemática, Estatística e Computação Científica / Made available in DSpace on 2018-08-20T00:05:22Z (GMT). No. of bitstreams: 1 Pereira_SheilaReginadosSantos_M.pdf: 25409754 bytes, checksum: 462fcbdec414321c70cbff248acc4ed1 (MD5) Previous issue date: 2012 / Resumo: Na área educacional é crescente o interesse pela aplicação de técnicas derivadas da Teoria de Resposta ao Item (TRI), já que esta metodologia vem sendo utilizada em processos qualitativos da avaliação psicológica e educacional. Porém, na grande parte das avaliações que empregam itens de múltipla escolha, é comum a redução das respostas em padrões de certo ou errado para a utilização desses modelos. A dicotomização das respostas dos indivíduos ignora qualquer conhecimento parcial que ele possa ter da resposta correta, pois assume implicitamente que ou o indivíduo tem conhecimento para escolher a alternativa correta, ou não o tem e seleciona aleatoriamente uma das alternativas. Desta maneira, a informação do conhecimento parcial não é ser usada na estimação dos traços latentes. Nesse sentido, o objetivo do presente trabalho é mostrar a eficiência do Modelo de Resposta Nominal no processo de estimação dos traços latentes dos indivíduos submetidos a testes com itens de múltipla escolha, bem com, analisar e interpretar os parâmetros dos itens estimados por esse modelo / Abstract: In the educational field there is growing interest in applying techniques derived from the TRI, since this methodology has been used in qualitative processes of psychological and educational assessment. However, in most of the educational assessments that use multiple choice items is common to decreased response in patterns of right or wrong to use these models. The dichotomization of the responses of individuals ignores any partial knowledge he may have the correct answer, or because it implicitly assumes that the individual has knowledge to choose the correct alternative, or do not have it and randomly selects one of the alternatives. Thus, information from the partial knowledge is not to be used in the estimation of latent traits. In this sense, the objective of this work is to show the efficiency of the Nominal Response Model in the estimation of latent traits of individuals tested with multiple choice items, as well as analyze and interpret the parameters of the items estimated by this model / Mestrado / Estatistica / Mestre em Estatística

[pt] Este trabalho de conclusão de curso tem dois objetivos. O primeiro, tornar acessível aos Diretores, Coordenadores e Professores os dados dos seus alunos que participaram do Exame Nacional do Ensino Médio (ENEM) 2012, divulgados pelo INEP através dos Microdados do ENEM 2012, por intermédio de uma ferramenta que permite conhecer, analisar, tomar decisões e criar estratégias para o aprimoramento do projeto pedagógico do Estabelecimento de Ensino. O segundo objetivo é o de capacitar pessoas para obter estes dados e desenvolver as suas próprias ferramentas utilizando o programa Excel. / [en] The present work aims at achieving two objectives. The first one is to make it accessible to principals, coordinators and teachers, data about their students who took part in ENEM (Exame Nacional do Ensino Médio / High School National Exam) in 2012. This data was released by INEP, a governmental institute, based on each candidate s information on the test. The tool used to get this data makes it possible to obtain, analyse, make decisions and create strategies to improve the pedagogic plan of the school. The second objective is to train people to get this data and develop their own tools using the Microsoft Office Excel.

Este trabalho descreve as etapas de transformação de um exame de proficiência em inglês acadêmico, aplicado via lápis-e-papel, com itens de múltipla escolha administrados segundo o método de Medida de Probabilidade Admissível (Shuford Jr et al., 1966), utilizado no programa de pós-graduação do Instituto de Ciências Matemáticas e de Computação da Universidade de São Paulo (ICMC-USP), em um teste adaptativo informatizado (TAI-PI) baseado em um modelo da Teoria de Resposta ao Item (TRI). Apesar do programa aceitar diversos exames que atestam a proficiência em inglês para indivíduos não-nativos de abrangência e reconhecimento internacionais, como o TOEFL (Test of English as a Foreign Language), IELTS (International English Language Testing System) e CPE (Certicate of Proficiency in English), por exemplo, a sua obrigatoriedade é incoerente em universidades públicas do Brasil devido ao custo que varia de 200 a 300 dólares por exame. O software TAI-PI (Teste Adaptativo Informatizado para Proficiência em Inglês), que foi desenvolvido em Java e SQLite, será utilizado para a avaliação da proficiência em inglês dos alunos do programa a partir do segundo semestre de 2013, de forma gratuita. A metodologia estatística implementada foi definida considerando a história e objetivos do exame e adotou o modelo de resposta gradual unidimensional de Samejima (Samejima, 1969), o critério de Kullback-Leibler para seleção de itens, o método de estimação da esperança a posteriori para os traços latentes (Baker, 2001) e a abordagem Shadow test (Van der Linden e Pashley, 2010) para imposição de restrições (de conteúdo e tamanho da prova) na composição do teste de cada indivíduo. Uma descrição da estrutura do exame, dos métodos empregados, dos resultados das aplicações do TAI-PI a alunos de pós-graduação do ICMC e estudos de classificação dos alunos em aprovados e reprovados, são apresentados neste trabalho, evidenciando a boa qualidade da nova proposta adotada e aprimoramento do exame com a utilização dos métodos de TRI e TAI. / This work describes the steps for converting a linear paper-and-pencil English proficiency test for academic purposes, composed with multiple choice items that are administered following the admissible probability measurement procedure (Shuford Jr et al., 1966), adopted by the graduate program of Institute of Mathematical Sciences and Computing of University of São Paulo (ICMCUSP), Brazil, to a computerized adaptive test (TAI-PI) based on an item response theory model (IRT). Despite the Institute recognizes reliable international English-language exams for academic purposes and non-native speakers, as TOEFL (Test of English as a Foreign Language), IELTS (International English Language Testing System) and CPE (Cambridge English: Proficiency), for instance, it is inconsistent that public universities in Brazil require them as certification because of the cost of approximately US$ 200.00 to US$ 300.00 per exam. The software TAI-PI (computerized adaptive test for English proficiency) was implemented in Java language, used SQLite as database engine, and it shall be offered free of charge for English proficiency assessment of the graduate students from October 2013. The statistical methodology employed for TAI-PI construction was defined considering the history and the aims of the evaluation and adopted the Samejima\'s graded response model (Samejima, 1969), the Kullback-Leibler information criterion for item selection, the expected a posteriori Bayesian estimation for latent trait (Baker, 2001) and shadow test approach (Van der Linden e Pashley, 2010) for test constraints (content and size of the test, for example). A description of the test design, the employed statistical methods, study results of a real application of TAI-PI to graduate students are presented in this work and the validation studies of the new methodology for pass/fail classification, highlighting the good quality of the new evaluation system and examination of improvement with the use of the methods of IRT and CAT.

We propose a new method for measuring teacher grading standards that is based on the Item Response Theory framework, and investigate the relationship between teacher grading standards and student learning in São Paulo State public schools in light of this new approach. We simulate a policy in which student achievement in a standardized examination (Saresp) is used as the passing grade criterion, setting a unique grading standard for each grade and subject that would substitute the current teacher-defined grading. We estimate the optimal standards that maximize student achievement under this policy, and compare them with the standards estimated for each individual teacher. Our estimates indicate that teachers currently apply standards that are, on average, more lenient than the optimal policy standards / Neste trabalho propomos um novo método para a medição do padrão de avaliação dos professores, fundamentado na Teoria de Resposta ao Item. Investigamos, com base no novo método, a relação entre o padrão de avaliação do professor e o aprendizado do aluno. Nós simulamos os potenciais resultados de uma política de aprovação de alunos baseada exclusivamente em um teste padronizado (Saresp), que implicaria em um padrão de avaliação único para cada série e disciplina, em substituição à política atual em que os professores são responsáveis pela definição sobre a aprovação de seus alunos. Estimamos os padrões de avaliação ótimos sob esta política, do ponto de vista da maximização do aprendizado dos alunos, e comparamos estes valores com os padrões de avaliação estimados para cada professor. Nossas estimativas indicam que os professores utilizam atualmente padrões de avaliação que são, em média, mais lenientes do que o padrão de avaliação ótimo estimado para a nova política