FundaÃÃo de Amparo à Pesquisa do Estado do Cearà / Esse trabalho doutoral tem como proposta fazer uso da Teoria ClÃssica dos Testes â TCT e da Teoria de Resposta ao Item â TRI como instrumentos na avaliaÃÃo da qualidade mÃtrica de testes de seleÃÃo, sob quatro aspectos de investigaÃÃo: AnÃlise da Validez do Construto; AnÃlise PsicomÃtrica dos Itens; Funcionamento Diferencial dos Itens â DIF; e FunÃÃo de InformaÃÃo. Para tanto, foram utilizados dados dos resultados das provas de PortuguÃs e MatemÃtica do concurso vestibular da Universidade Estadual do Estado do Cearà â UECE, de 2007, em que participaram 20.016 candidatos a 38 Cursos de GraduaÃÃo, somente na Capital do Estado. Para o tratamento desses dados, foram utilizados os seguintes softwares: SPSS, v15; BILOG-MG, v3.0; MULTILOG FOR WINDOWS, v1.0; e o TESTFACT v4.0. A primeira providÃncia foi verificar a dimensionaidade dessas provas. Para tanto se utilizou o MÃtodo de Kaiser-Guttman, Scree-plot, e o MÃtodo das Cargas Fatoriais e das Comunalidades da Matriz de Fatores. A constataÃÃo foi de que a prova de PortuguÃs apresentava caracterÃsticas multidimensionais, sendo, portanto, descartada, por nÃo atender aos pressupostos bÃsicos da Unidimensionalidade e IndependÃncia Local dos Itens. A prova de MatemÃtica, no entanto, por apresentar comportamento unidimensional, se tornou o foco deste trabalho. A anÃlise da Validez do Construto foi realizada por meio dos coeficientes Alpha de Cronbach e Kuder-Richardson, tendo gerado valores iguais a 0,685, alÃm da utilizaÃÃo, tambÃm, do mÃtodo das Cargas Fatoriais, com cargas entre 0,837 e 0,960, indicando intensa consistÃncia interna. A anÃlise psicomÃtrica dos itens foi realizada por meio dos Ãndices de dificuldade, discriminaÃÃo e acerto ao acaso, para ambas as teorias, indicando ser essa uma prova de dificuldade mediana, com bom comportamento discriminativo e baixo Ãndice de acerto ao acaso. A anÃlise do DIF foi realizada, segundo o gÃnero dos candidatos, pelos mÃtodos Delta-plot, Maentel-Haenszel, RegressÃo LogÃstica e ComparaÃÃo dos Betas, indicando resultados estatÃsticamente nÃo significativos, no que se concluiu nÃo apresentar, a prova, comportamento diferenciado, segundo o gÃnero. A anÃlise da FunÃÃo de InformaÃÃo da prova permitiu se observar que esta à particularmente vÃlida para candidatos com aptidÃo em torno de 0,8750 e que, a um nÃvel de confianÃa de 95%, 49,3% dos candidatos atenderiam a essa indicaÃÃo. Observou-se tambÃm que 90,6% dos candidatos, em ambos os processos, apresentaram o mesmo nÃvel de aptidÃo, indicando uma convergÃncia bastante razoÃvel entre os resultados gerados pela TCT e TRI, no entanto, no estudo amostral, a TRI identificou que 9,4% dos candidatos apresentaram maior aptidÃo para a realizaÃÃo de um curso superior que os selecionados pela TCT.

Submitted by Cássia Santos (cassia.bcufg@gmail.com) on 2016-06-13T15:22:17Z No. of bitstreams: 2 Dissertação - Alexandre Martins Ferreira Bueno - 2011.pdf: 2170812 bytes, checksum: ca9620fc2142f942080575c91a55e932 (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2016-06-13T15:27:38Z (GMT) No. of bitstreams: 2 Dissertação - Alexandre Martins Ferreira Bueno - 2011.pdf: 2170812 bytes, checksum: ca9620fc2142f942080575c91a55e932 (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Made available in DSpace on 2016-06-13T15:27:38Z (GMT). No. of bitstreams: 2 Dissertação - Alexandre Martins Ferreira Bueno - 2011.pdf: 2170812 bytes, checksum: ca9620fc2142f942080575c91a55e932 (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) Previous issue date: 2011-12-13 / Nowadays, e-learning has become an important source of knowledge, providing content without the limitation of time or space. In this context, Web-based education became an important sector. A large number of e-learning applications have utilized the Web to teach, mainly to provide distance learning. As a result of the substantial growth in elearning there has been an increase in the diversity of students that uses this environment to achieve their academic or professional backgrounds. In general, these students have di erent personal, social-cultural and cognitive characteristics. Adaptive Hypermedia Systems provide resources to assist this diverse public, they are able to consider the individual characteristics of students during the learning process. It is known that the representation of these features are often associated with uncertain and imprecise information. Given this context, this work proposes a Web-based Adaptive Educational Hypermedia System (with instructional content) that aims to personalize the process of distance learning. It has a student model that is able to represent the uncertainties related to the student's knowledge (characteristic of the students considered by the system) through the use of a Bayesian Network. This model is adjusted according to the answers provided by students in ability tests, which in turn are evaluated by a mathematical model of Item Response Theory. The experiment realized compared the results obtained by the proposed system, that is provided with adaptation (personalization) mechanisms, and other system that has no such mechanisms, in which the same content was presented to all the students. Statistical analysis of the collected data has shown a signi cant improvement in knowledge retention by the students who used the system provided with adaptation. However, it was expected, as a result of this improvement, that the levels of satisfaction reported by the students who used the proposed system were better than the levels reported by the students who used the system without adaptation, which was not evidenced by the gathered data. / Hoje em dia, o e-learning se tornou uma importante vertente na obtenção de conhecimento, fornecendo conteúdo sem a limitação de tempo ou espaço . Neste contexto, a educação baseada na Web tem recebido destaque. Inúmeras aplicações de e-learning tem se utilizado da Web para ensinar, principalmente para prover ensino a distancia. Como consequência do crescimento substancial do e-learning houve um aumento na diversidade dos alunos que fazem uso deste meio para a obtenção de suas formações acadêmicas ou prossionais. Em geral, estes alunos possuem diferentes características pessoais, sócio culturais e cognitivas. Os Sistemas Hiperm dia Adaptativos oferecem recursos para atender a este p ublico diverso, eles são capazes de considerar as características individuais dos alunos durante o processo de aprendizagem. Sabe-se que na representação destas características frequentemente estão associadas informações que são incertas e imprecisas. Diante do apresentado, este trabalho propõe um Sistema Hipermídia Adaptativo Educacional (com conteúdo instrucional) que tem como objetivo a personalização do processo de ensino a distância através da Web. Ele possui um modelo do aluno que e capaz de lidar com as incertezas relacionadas ao conhecimento dos alunos (caracteristica dos alunos considerada pelo sistema) através do uso de uma Rede Bayesiana. Este modelo e ajustado por respostas dadas pelos alunos em testes de habilidade, que são avaliadas por um modelo matemático da Teoria da Resposta ao Item. O experimento realizado comparou os resultados obtidos pelo sistema proposto, provido de mecanismos de adaptação (personalização), e outro sistema desprovido de adaptação, em que o mesmo conteúdo era apresentado a todos os alunos. A analise estatística dos dados coletados mostrou uma melhoria signicativa na retenção de conhecimento por parte dos alunos que zeram uso do sistema provido de adaptação. Entretanto, esperava-se, como consequência desta melhoria, que os níveis de satisfação informados pelos alunos que zeram uso do sistema proposto fossem superiores aos níveis informados pelos alunos que zeram uso do sistema desprovido de adaptação, fato não evidenciado pelos dados obtidos.

Neste trabalho discutimos a análise bayesiana em modelos TRI (Teoria da Resposta ao Item) de três parâmetros com respostas binárias e ordinais, considerando a ligação probito. Em ambos os casos usamos técnicas baseadas em MCCM (método de Monte Carlo baseado em Cadeias de Markov) para estimação dos parâmetros dos itens. No modelo com respostas binárias, consideramos dois conjuntos de dados resultantes de provas com itens de múltipla-escolha. Para esses dados, foi feito um estudo da sensibilidade à escolha de distribuições a priori, além de uma análise das estimativas a posteriori para os parâmetros dos itens: discriminação, dificuldade e probabilidade de acerto ao acaso. Um terceiro conjunto de dados foi utilizado no estudo do modelo com respostas ordinais. Estes dados são provenientes de uma disciplina básica de estatística, onde a prova contêm itens dissertativos. As respostas foram classificadas nas categorias: certa, errada ou parcialmente certa. Utilizamos o programa WinBugs para a estimação dos parâmetros do modelo binário e a função MCMCordfactanal do programa R para estimar os parâmetros do modelo ordinal. Ambos os softwares são não proprietários e gratuitos (livres). / In this dissertation the bayesian analysis for three parameters IRT (Item Response Theory) models with binaries and ordinals responses, considering the probit model, was discussed. For both cases, binary and ordinal, techniques based on MCCM (Monte Carlo Markov Chain) were used to estimate the items parameters. For binary response model, was considered two data sets from tests with multipla choices items. For these two data sets, a sensibility study of the priori distributions choice was considered, and also, an analyses of a posteriori estimates of the items parameters: discrimination, difficulties and guessing. A third data set is used to ilustrate the ordinal response model. This come from an elementar statistical course, where a test with open items is considered. The responses are classified in the following categories: correct, wrong or partial correct. The WinBugs software was used to estimate the parameters for the binary model and, for the ordinal model was considered the function MCMCordfactanal from R program.

Made available in DSpace on 2016-08-17T14:53:07Z (GMT). No. of bitstreams: 1 Jaclason Machado Veras.pdf: 1682090 bytes, checksum: 035fe122eaaac20d2dba05af3e7eab78 (MD5) Previous issue date: 2010-02-26 / This work proposes a general modeling for an educational software which will serve to verify the knowledge of geometry of fourth grade students of elementary school. The Virtual-Taneb will be based on Basic Education Evaluation System (SAEB) which is an evaluative instrument used in Brazil originated from the guidelines of the National Assessment of Educational Progress (NAEP), which is currently applied manually by written tests. One of the motivations for developing this tool was to reduce the delivery time of obtained results through the resolution of written tests, obeying Basic Education Courseworks. Another motivation was the inclusion of the Item Response Theory (IRT) as an educational evaluation quantifier and qualifier, allowing a statistical analysis from items such as central elements of tests, since the need to monitor the development process of educational evaluation systems. However, there are factors that suppress the use of IRT on a large scale, such as customizing each application and the mathematical complexity of the methods involved. This prototype of educational software will be applied to elementary schools in the State of Maranhão, Brazil. It will be adapted to the cognitive level of students through the inclusion of recourses from the area of Artificial Intelligence and besides it will enable an effective analysis of students knowledge using the IRT on the responses made. Virtual-Taneb will provide some benefits to the Brazilian society, as to favor a long-term reduction of economic investment in the evaluation process, resulting in improvements for present and future generations. Another benefit is the adequation possibility of this software to other evaluation systems, as an example, the International Program of Students Assessment (PISA), the National Examination of High School (ENEM), Prova Brasil, among others. In the future, though the adaptation of the Virtual-Taneb software, there will be the possibility of adding other subjects to the test. / Esse trabalho propõe uma modelagem geral para um software educacional que atuará na verificação do conhecimento de geometria de alunos da quarta série do ensino fundamental. O Virtual-TANEB estará baseado no Sistema de Avaliação da Educação Básica (SAEB) que é um instrumento avaliativo usado no Brasil originado a partir das diretrizes do National Assessment of Educational Progress (NAEP), que, atualmente, é aplicado de forma manual por meio de cadernos de provas. Uma das motivações para o desenvolvimento dessa ferramenta foi reduzir o tempo de entrega dos resultados obtidos, através da resolução dos cadernos de provas, obedecendo à Matriz Curricular da Educação Básica. Outra motivação foi a inclusão da Teoria da Resposta ao Item (TRI) como quantificadora e qualificadora da avaliação educacional, permitindo uma análise estatística a partir de itens como elementos centrais da prova, visto a necessidade de acompanhar o processo de evolução dos sistemas de avaliação educacional. Porém, existem fatores que suprimem a utilização da TRI em larga escala, tais como: a personalização de cada aplicação e a complexidade matemática dos métodos envolvidos. Este protótipo de software educacional será aplicado às escolas do ensino fundamental no Estado do Maranhão, Brasil. Ele se adaptará ao nível cognitivo dos alunos através da inclusão de recursos provenientes da área de Inteligência Artificial e, além disso, possibilitará uma análise mais efetiva do conhecimento dos alunos usando a TRI sobre as respostas efetuadas. O Virtual-TANEB irá proporcionar alguns benefícios para a sociedade, como favorecer a longo prazo a redução de investimento econômico no processo de avaliação, resultando em melhorias para gerações presentes e futuras. Outro beneficio é a adequação desse software a outros sistemas de avaliação, por exemplo, Programa Internacional de Avaliação de Alunos (PISA), Exame Nacional do Ensino Médio (ENEM), Prova Brasil, dentre outros. No futuro, mediante uma adaptação no software Virtual-TANEB, haverá a possibilidade de realizar a inclusão de outras disciplinas à prova.

Este trabalho apresenta uma proposta para o ensino da Estatística e Probabilidade nas séries finais do Ensino Fundamental II. Seu objetivo é mostrar que a metodologia aqui adotada possibilita a aquisição de conceitos estatísticos e probabilísticos, assim como o desenvolvimento de habilidades pessoais e interpessoais. Trata de um projeto fundamentado em Planejamento de Experimentos com respaldo na aprendizagem ativa. Na sequência didática do projeto os alunos realizaram um experimento com aviões de papel no qual tiveram que responder, na prática, a seguinte questão \"Quais alterações podem ser feitas em um modelo de avião de papel para que ele permaneça mais tempo no ar?\". Para atestar a efetividade da sequência didática, foi construído e validado um Teste de Proficiência em Estatística e Probabilidade (TEPEP) com base nos fundamentos da Psicometria. A análise das características do teste foi feita por meio da Teoria Clássica dos Testes e da Teoria de Resposta ao Item. Foram sujeitos da pesquisa 391 alunos de escolas públicas e particulares da região do Vale do Paraíba, Estado de São Paulo. Desse total, 374 auxiliaram na validação do instrumento e os 17 alunos restantes participaram do projeto. Os resultados deste trabalho mostraram que o uso de Planejamento de Experimentos favoreceu a aprendizagem da Estatística e Probabilidade, desenvolvendo também outras competências. Em relação à validação do TEPEP, concluiu-se que os métodos psicométricos empregados têm grande potencial e devem ser mais explorados. Esta pesquisa apresenta, como produtos finais, a metodologia desenvolvida e o teste de proficiência construído, oferecendo ambos a professores e pesquisadores. / This work presents a proposal for teaching of Statistics and Probability, for the last years of Elementary School. Its objective is to show that the methodology adopted here allows the acquisition of statistical and probabilistic concepts, as well as the development of personal and interpersonal skills. It\'s a project with a didactic sequence grounded in Designs of Experiments, supported in active learning. In the didactic sequence of the project the students carried out an experiment with paper airplanes in which they had to answer, in practice, the following question \"What changes can be made to a paper airplane model so that it stays longer in the air?\". To attest the effectiveness of the didactic sequence, it was developed and validated a Proficiency Test in Statistics and Probability (PTSP), this using Psychometry. The analysis of the characteristics of the test was made through the Classical Test Theory and the Item Response Theory. The research subjects were a total of 391 students from public and private schools in the Vale do Paraíba region, State of São Paulo. Of this total, 17 students participated in the project. The other students (374) assisted in the test validation. The results of this research showed that the use of Design of Experiments favored the learning of Statistic and Probability, also to develop others competences. Regarding the validation of PTSP, it could be concluded that the psychometric methods used have potential and they should be more explored. This research acclaims, as final products, the developed methodology and the Proficiency test validated, both offered to teachers and researchers.

Este trabalho tem por objetivo apresentar a Teoria da Resposta ao Item (TRI), por meio de uma abordagem pedagógica, aos professores da educação básica, que mencionaram esta necessidade por meio de pesquisa realizada pelo autor. Levar parte do conhecimento teórico que embasa esta teoria ao conhecimento do docente, principalmente a construção da curva de probabilidade de acerto do item, favorecerá a compreensão, a análise e o monitoramento do processo avaliativo educacional. Este material apresenta as principais definições e conceitos da avaliação externa em larga escala, além de fornecer insumos para a compreensão das suposições realizadas para aplicação da metodologia. Neste sentido, o texto foi estruturado de forma a apresentar didaticamente as etapas do processo de implementação de uma avaliação, desde a construção do item até a apuração e divulgação dos resultados. Todo enfoque será dado à construção do modelo da TRI com um parâmetro (dificuldade do item), também conhecido como modelo de Rasch, o que simplifica e facilita a compreensão da metodologia. O modelo utilizado nas avaliações externas em larga escala (modelo com três parâmetros) será introduzido a partir das considerações realizadas na abordagem que explicita o pensamento da construção do modelo de um parâmetro. Acredita-se que esta compreensão possa colaborar com o professor na exploração das habilidades/competências dos alunos durante os anos escolares. / This study aims to present the Item Response Theory (IRT), through a pedagogical approach, to teachers of basic education, which mentioned this necessity through research conducted by the author. To take part of the theoretical knowledge that supports this theory to the teacher\'s knowledge, especially the construction of probability curve of item correct response, it will favor for understanding, analysis and monitoring the evaluation educational process. This material presents the main definitions and concepts of the external evaluation in large scale, besides providing inputs for understanding the assumptions made to apply the methodology. In this sense, the text was structured in order to present the implementation process stages of a large scale assessment, from the item construction to the results calculation and dissemination. The focus will be given to the IRT model construction of one-parameter (difficulty of the item), also known as Rasch model, since it simplifies and facilitates the understanding of methodology. The model used in the external assessment on a large scale (three-parameter model) will be introduced from the considerations made in the approach that explicit the thought of one-parameter model construction. It is believed that understanding can collaborate with teacher in exploration of the students\' skills/competences during the school year.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-04-18T13:40:02Z No. of bitstreams: 1 pablorafaeldeoliveiracarlos.pdf: 29554334 bytes, checksum: 0246060899d919f9c710cf3521c9644b (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-04-18T14:01:49Z (GMT) No. of bitstreams: 1 pablorafaeldeoliveiracarlos.pdf: 29554334 bytes, checksum: 0246060899d919f9c710cf3521c9644b (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-04-18T14:02:00Z (GMT) No. of bitstreams: 1 pablorafaeldeoliveiracarlos.pdf: 29554334 bytes, checksum: 0246060899d919f9c710cf3521c9644b (MD5) / Made available in DSpace on 2017-04-18T14:02:00Z (GMT). No. of bitstreams: 1 pablorafaeldeoliveiracarlos.pdf: 29554334 bytes, checksum: 0246060899d919f9c710cf3521c9644b (MD5) Previous issue date: 2016-12-15 / No presente trabalho são abordados aspectos importantes das avaliações de larga escala, principalmente as avaliações de Física, os tipos, as características e também a elaboração das matrizes de referência para tais avaliações e dos itens que compõem os instrumentos de avaliação. Discutiremos a Taxonomia de Bloom, a Teoria Clássica dos Testes e a Teoria de Resposta ao Item. É feita uma análise sobre o desempenho dos estudantes concluintes do Ensino Médio que participaram do Exame Nacional do Ensino Médio (ENEM) nas edições de 2009 a 2014, para esse objetivo foi utilizado como fonte de dados os microdados do ENEM fornecida pelo INEP. Primeiramente é feita uma breve discussão sobre a base teórica que envolve esse modelo de exame, a Teoria de Resposta ao Item e Teoria Clássica dos Testes. Os alunos foram distribuídos em sete níveis de proficiência, buscou-se uma série de informações estatísticas entre outras medidas psicrométricas relevantes. Esse estudo revelou um baixo desempenho em Física dos estudantes que estão concluindo o Ensino Médio no Brasil, evidenciando a necessidade do acompanhamento do ensino nessa disciplina, para assim possibilitar ações políticas e pedagógicas que busquem melhorar a qualidade do ensino científico, sendo assim as avaliações educacionais mostram-se uma excelente ferramenta. Por fim, iremos discorrer a respeito dos aspectos positivos de se avaliar e como os resultados das avaliações podem ser usados para melhorar as práticas pedagógicas no ensino de Física. O produto educacional desenvolvido nesse trabalho de mestrado foi a construção de um guia de elaboração, revisão e aplicação de instrumentos de avaliação no ensino de Física cuja finalidade é dar subsídios aos professores para desenvolver um olhar crítico sobre essas avaliações, além de auxiliar no tratamento dos dados gerados e na utilização desses dados para desenvolver atividades em sala de aula que busquem potencializar o ensino-aprendizagem em Física. / In this work we address important aspects of large-scale assessments, especially the Physic assessments, the types, characteristics and also the preparation of the reference matrices for such assessments and items that make up the evaluation instruments. We discuss Bloom's Taxonomy, the classical theory of tests and the Item Response Theory. We analyse the performance of graduating high school students who participated in the National High School Exam (ENEM) in the 2009 to 2014 editions, for this purpose we used as a data source ENEM microdata provided by INEP. A brief discussion of the theoretical basis is primarily made involving this test model, item response theory and classical theory of tests. The students were divided into seven levels of proficiency, sought a series of statistical information between other relevant psychometric measures. This study revealed a poor performance in Physics of students that are completing high school in Brazil, highlighting the need for monitoring of teaching this discipline, so as to enable political and pedagogical actions that seek to improve the quality of science education, so the educational assessments show is an excellent tool. Finally, we will discuss the positive aspects of assessing and how the results of the evaluations can be used to improve teaching practices in teaching physics. The educational product developed in this master's work was the construction of a preparation guide, review and application of assessment tools in teaching physics whose purpose is to assist teachers to develop a critical eye on these assessments, to help in the treatment of the data generated and to use these data to develop activities in the classroom that seek to enhance the teaching and learning in physics.

Submitted by isabela.moljf@hotmail.com (isabela.moljf@hotmail.com) on 2017-06-23T14:34:24Z No. of bitstreams: 1 edilenenoronharodrigues.pdf: 5251162 bytes, checksum: 84e82c4603e207a783d3b2f6cffa3c4c (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-08-07T20:14:34Z (GMT) No. of bitstreams: 1 edilenenoronharodrigues.pdf: 5251162 bytes, checksum: 84e82c4603e207a783d3b2f6cffa3c4c (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-08-07T20:15:08Z (GMT) No. of bitstreams: 1 edilenenoronharodrigues.pdf: 5251162 bytes, checksum: 84e82c4603e207a783d3b2f6cffa3c4c (MD5) / Made available in DSpace on 2017-08-07T20:15:08Z (GMT). No. of bitstreams: 1 edilenenoronharodrigues.pdf: 5251162 bytes, checksum: 84e82c4603e207a783d3b2f6cffa3c4c (MD5) Previous issue date: 2008-04-15 / O funcionamento diferencial do item ocorre quando um item é aplicado a dois grupos de alunos com mesma habilidade cognitiva e esses grupos obtêm desempenhos diferenciados ao responderem a esse item, levando um grupo a apresentar melhores resultados que o outro. O presente estudo levou em consideração grupos de alunos do sexo feminino e do masculino de diferentes grupos raciais e alunos de regiões distintas dos Estados do Rio de Janeiro e Minas Gerais. Os resultados estatísticos obtidos entre dois grupos de alunos podem demonstrar que um grupo está sendo beneficiado em relação ao outro. A importância de realizar a análise do funcionamento diferencial – DIF– dos itens nos diferentes grupos de alunos se justifica, para que a proficiência estimada seja de boa qualidade, e os resultados possam ser adequadamente equalizados. Pode também apontar uma diferenciação pedagógica entre as regiões escolares, devido a uma maior exposição ao tema ou maior ênfase curricular, diferenças culturais associadas a diferenças sócio-econômicas, ou diagnosticar deficiências pedagógicas existentes. O objetivo da pesquisa é identificar e analisar os itens de Língua Portuguesa, especificamente das 3ª, 4a e 5ª séries do Ensino Fundamental, referentes aos testes aplicados em 2005 pelo Programa Nova Escola e pelo Simave/Proeb, que apresentaram funcionamento diferencial, segundo sua dificuldade, para alunos de diferentes regiões e com diferenças de gênero e raça, no Estado do Rio de Janeiro e Minas Gerais. Inicialmente, apresentou-se uma revisão histórica da avaliação em larga escala no Brasil e dos principais programas de avaliação executados nos Estados; sem pretensão de esgotar o assunto, alguns métodos de medidas em avaliação educacional em larga escala e a construção da escala de habilidades foram descritos. A seguir, procurou-se descrever o Funcionamento Diferencial do Item – DIF, os principais métodos para sua detecção e sua evolução histórica. Posteriormente, identificou-se o Funcionamento Diferencial-DIF em itens do Programa Nova Escola e do Simave/Proeb, foram classificados os encontrados e que geraram hipóteses para explicar o DIF. No presente estudo constatou-se que nem todos os itens diagnosticados com DIF são ruins para efeito de avaliação, pois eles podem trazer informações importantes para diagnóstico do sistema educacional do Estado do Rio de Janeiro e de Minas Gerais; por intermédio deles, podem-se diagnosticar as deficiências curriculares, indícios de discriminações raciais ou diversidades culturais. Assim, nem sempre o procedimento mais adequado é a sua retirada dos testes. / The operation of the item gap occurs when an item is applied to two groups of students with cognitive ability and these same groups get different performances to respond to that item, leading a group to produce better results than the other. This study took into account groups of students were female and male from different racial groups and students from different regions of the states of Rio de Janeiro and Minas Gerais. The statistical results obtained between two groups of students can demonstrate that a group is being received in relation to the other. The importance of conducting an analysis of the functioning differential - DIF-of items in different groups of students is justified, so that the estimated proficiency is of good quality, and results can be adequately equalizados. It may also indicate a differentiation between the regions educational school, due to greater exposure to the subject or greater emphasis curriculum, cultural differences associated with socio-economic differences, or diagnose existing educational deficiencies. The objective of the survey is to identify and analyse the items of Portuguese Language, specifically the 3, 4th and 5 th series of elementary school, regarding the tests applied in 2005 by the New School Program and the Simave / Proeb, which showed differential operation, according to their difficulty For students from different regions and with differences in gender and race in the state of Rio de Janeiro and Minas Gerais. Initially, presented to a review of historical assessment on a large scale in Brazil and the core program implemented in the evaluation; without pretension to exhaust the subject, some methods of measures in educational evaluation on a large scale and the scale of construction skills were described . Then, sought to describe the operation Differential Item - DIF, the main methods for its detection and its historical development. Subsequently, identified as the Operation Differential-DIF items in the Programme and the New School Simave / Proeb, were classified and that those found generated hypotheses to explain the DIF. In this study it was found that not all items are diagnosed with DIF bad for the purpose of evaluation, because they can provide important information for diagnosis of the educational system of the State of Rio de Janeiro and Minas Gerais, through them, you can diagnose learning disabilities, evidence of racial discrimination or cultural diversity. So, not always the most appropriate procedure is the withdrawal of its tests.

[pt] Neste trabalho apresentamos algumas contrubuições ao estudo dos modelos de avaliação estatística usados nas ciências sociais. As contribuições originais são: i ) uma descrição unificada sobre como a teoria da medição evoluiu nas diversas disciplinas científicas; ii ) uma resenha abrangente sobre os métodos de estimação por máxima verossimilhança empregados na medição estatística; iii ) uma formulação geral do métodos da máxima verossimilhan ça tendo em vista a aplicação em modelos não-lineares; e principalmente, iv ) a apresentação do método da aproximação estocástica na estimação dos modelos estatísticos de avaliação e medição. Os modelos não-lineares ocorrem freqüentemente nas ciências sociais onde é importante a modelagem de variáveis de resposta dicotômicas ou ordinais. Em particular, este trabalho trata dos modelos da teoria da resposta ao item, dos modelos de regressão logística e dos modelos de componentes aleatórias em geral. A estimação destes modelos ainda é objeto de intensa pesquisa. Não se pode afirmar que exista um método de estimação inteiramente confiável. Os métodos aproximados produzem estimativas com viés acentuado nas componentes de variância, enquanto os métodos de integração numérica e os métodos bayesianos podem apresentar problemas de convergência em muitos casos. O método da aproximação estocástica se baseia na maximização da verossimilhança e emprega o algoritmo de Robbins- Monro para resolver a equação do escore. Como um método estocástico ele gera um processo de Markov que se aproxima das estimativas desejadas e portanto pode ser considerado um MCMC (Monte Carlo Markov chain) freqüentista. Nas simulações realizadas o método apresentou um bom desempenho, produzindo estimativas com viés pequeno, precisão razoável e raros problemas de convergência. / [en] This work presents a study of statistical models used for assessment and measurement in the social sciences. The main contributions are: i ) a unified description of how evaluation, assessment, and the theory of measurement evolved within several branches of science; ii ) a review of estimation methods currently employed in nonlinear models; iii ) a general formulation of the maximum likelihood estimation method; and particularly, iv the presentation of the stochastic approximation method for estimation of non linear statistical models in measurement and assessment. Non linear models occurs frequently in the social sciences where it is important to model binary or ordinal response variables. This work deals with item response theory models, logistic regression models and general models with random components. The estimation of these models has been the subject of several recent simulation studies. One cannot say there is a best estimation method. The approximate methods are known to produce biased estimates, numerical integration methods and bayesian methods can present convergence problems in many cases. Stochastic approximation method is a maximum likelihood method that uses the Robbins-Monro algorithm to solve the score equation. As a stochastic approximation method it generates a Markov chain that converges to the desired estimates and can be considered a frequentist MCMC. A simulation study and a comparative estimation study show a good performance, the method producing small bias for the estimates, good precision, and very rare convergence problems.

[pt] A finalidade desta tese é propor estimadores pontuais para os coeficientes de escalonabilidade associados à Teoria de Resposta ao Item não Paramétrica (TRIN), a saber: Hij, Hi e H, e seus respectivos estimadores da variância, baseados na abordagem da amostragem de populações finitas. Com o objetivo de investigar empiricamente a qualidade destes estimadores são consideradas as populações de referência que são formadas pelos alunos que frequentavam o 9° ano do Ensino Fundamental, na rede pública, em áreas urbanas dos Estados de Roraima e do Rio de Janeiro, que participaram da Prova Brasil 2007. As respostas obtidas destes alunos a um conjunto de 10 itens dicotomizados que mensuram o capital econômico da sua família foram usadas na construção dos coeficientes de escalonabilidade do Modelo de Homogeneidade Monótona da TRIN. Repetidas amostras foram selecionadas de cada população de referência empregando dois planos amostrais: AC1S (amostragem por conglomerados em único estágio) e AC2-SAEB (com seleção de escolas e turmas, estratificação e sorteio das unidades do primeiro estágio com probabilidade proporcional a uma medida de tamanho da escola. A estimação pontual é baseada no Modelo de Superpopulação. Duas técnicas foram tratadas para a estimação da variância: método do Conglomerado Primário e Delete - 1 Jackknife. As medidas usuais: vício relativo, erro relativo médio, intervalo de confiança e efeito do plano amostral são usadas para a avaliação da qualidade dos estimadores em termos das propriedades de vício e precisão. O estudo assinala que os estimadores pontuais apresentam boas propriedades e, além disto, o estimador da variância corrigido pelo fator de correção de população finita é o mais apropriado em termos de vício e precisão. O plano amostral complexo adotado teve impacto na estimação pontual e da variância dos estimadores dos coeficientes de escalonabilidade. / [en] The purpose of this thesis is to propose estimators for the coefficients of scalability associated with Non Parametric Item Response Theory (NIRT), namely: Hij, Hi and H, and their variance estimators, based on the approach of sampling finite populations. To investigate empirically the quality of these estimators are considered the reference populations that are formed by students attending the 9th year of elementary school, in public, in urban areas of the states of Roraima and Rio de Janeiro, who participated Prova Brasil 2007. The responses of students to a set of 10 dichotomized items that measure the economic status of their families were used in the construction of the coefficients of scalability of the Homogeneity Model. Repeated samples were selected from each reference population using two sampling plans: AC1S (cluster sampling single stage) and AC2-SAEB (with selecting schools and classes, stratification and draw units of the first stage with probability proportional to a measure of school size). The point estimate is based on the approach of the Model Overpopulation. Two techniques were treated to estimate the variance: Ultimate Cluster method and Delete - 1 Jackknife. The usual measures: relative bias, mean relative error, confidence intervals and effect of the sampling plan is used to assess the quality of the estimators in terms of the properties of bias and accuracy. The study notes that the estimators have good properties and, in addition, the estimator of the variance corrected by the correction factor for finite population is the most appropriate in terms of accuracy and bias. The complex sampling (AC2-SAEB) impacted the point estimate and variance of the estimators of the coefficients of scalability.