Return to search

A (In)Dependência da habilidade estimada pela Teoria de Resposta ao Item em relação à dificuldade da prova : um estudo com os dados do Saeb

Dissertação (mestrado)—Universidade de Brasília, Instituto de Psicologia, Departamento de Psicologia Social e do Trabalho, Programa de Pós-Graduação em Psicologia Social, do Trabalho e das Organizações, 2002. / Submitted by Tania Milca Carvalho Malheiros (tania@bce.unb.br) on 2009-08-12T15:10:21Z
No. of bitstreams: 1
2002_Frederico_Neves_Condé_Dissertação.pdf: 757326 bytes, checksum: d2e4997cc97c4e45cf7a0d658e7f00f5 (MD5) / Approved for entry into archive by Guimaraes Jacqueline(jacqueline.guimaraes@bce.unb.br) on 2009-08-12T16:10:44Z (GMT) No. of bitstreams: 1
2002_Frederico_Neves_Condé_Dissertação.pdf: 757326 bytes, checksum: d2e4997cc97c4e45cf7a0d658e7f00f5 (MD5) / Made available in DSpace on 2009-08-12T16:10:44Z (GMT). No. of bitstreams: 1
2002_Frederico_Neves_Condé_Dissertação.pdf: 757326 bytes, checksum: d2e4997cc97c4e45cf7a0d658e7f00f5 (MD5)
Previous issue date: 2002-10-18 / A Teoria de Resposta ao Item (TRI) assume a existência da propriedade de invariância
dos parâmetros, que permite estimar a habilidade dos sujeitos (theta) independentemente da forma do teste utilizado. Esta propriedade se baseia em pelo menos duas condições relacionadas
aos itens do teste: estar na mesma escala e atender ao pressuposto de unidimensionalidade. O objetivo do presente estudo é o de investigar se a estimativa de theta independe da dificuldade dos itens utilizados para estimá-la bem como verificar em que medida a unidimensionalidade da
prova influencia nesta propriedade. Foram utilizados os dados secundários de 26 formas de prova de Matemática de 8a Série do Ensino Fundamental (E.F.) do Sistema Nacional de Avaliação da Educação Básica (Saeb), aplicada em 1997, em uma amostra de 18.806 estudantes brasileiros de escolas públicas e particulares de cada uma das 27 Unidades da Federação brasileiras. Essas formas de prova foram respondidas por 26 grupos diferentes de estudantes, equivalentes em termos de habilidades. Foram correlacionados os resultados médios de índices de dificuldade das provas e habilidade dos estudantes calculados pela Teoria Clássica dos Testes (TCT) e pela TRI. Os resultados apontam para a existência de uma dependência do theta em relação à dificuldade dos cadernos (r = 0,68, com o valor p; r = - 0,69 com o parâmetro b), menor que a do índice de
habilidade calculado pela TCT, o escore total, em relação à dificuldade (r = - 0,95, com o parâmetro b). A dependência entre o theta e a dificuldade diminui quando são excluídos da prova os itens com cargas fatoriais inferiores a 0,20 no fator único, que praticamente não contribuem para a unidimensionalidade. Observou-se, neste caso, um coeficiente de correlação com o valor p de 0,60 e, com o parâmetro b, de – 0,57. Conclui-se que o theta estimado depende da dificuldade dos itens que são utilizados para estimá-lo, não confirmando a propriedade de invariância dos parâmetros. O theta apresenta uma dependência menor com a dificuldade, que a observada pelo
escore total. Por sua vez esta estimativa da TRI apresenta uma diminuição da dependência com relação à dificuldade quando a prova se aproxima da unidimensionalidade. Os resultados indicam ser vantajosa a utilização da TRI para estimar a habilidade dos estudantes, quando são utilizadas
formas de teste com dificuldades diferentes, pois o theta é menos dependente da dificuldade que o escore total. Faz-se necessário um maior rigor no controle da condição de unidimensionalidade da prova para a obtenção de estimativas de theta mais invariantes. _______________________________________________________________________________ ABSTRACT / The Item Response Theory (IRT) assumes the existence of a property of invariance of the
parameters, which implies that the parameter that characterizes the ability of an examinee (theta) does not depend on the set of items of the test forms. This property is based on at least two conditions related to the test items: being in a common scale and being in accordance with the assumption of unidimensionality. The objective of the present study is to investigate whether the
estimation of theta does not depend on the difficulty of the items used to estimate it, as well as how much the unidimensionality of the test items influences this property. In this study, secundary data were used of 26 test forms of Mathematics, eight grade, from the National System of Evaluation of the Basic Education (Saeb), applied in 1997, in a sample of 18.806 Brazilian students of public and particular schools of the 27 Brazilian states. The test forms were answered by 26 different groups of students, equivalent in terms of abilities. The results of indexes of the tests' difficulty and the students' ability were calculated and correlated using both the Classic
Theory of Tests (CTT) and the IRT. The results point to the existence of a dependence of the theta in relation to the difficulty of the booklets (r = 0,68, for the p value; r = - 0,69 for the
parameter b), smaller than the one of the ability index calculated by CTT, the total score, in relation to the difficulty (r = - 0,95, with the parameter b). The dependence between theta and the difficulty decreases when items with factor loadings less than 0,20 in the only factor of the test,
that practically don't contribute to the unidimensionality, are excluded. A correlation with the p value of 0,60 and, with the parameter b, of - 0,57, was observed, in this case. It was concluded
that the estimated of theta is related to the difficulty of the items, not confirming the property of parameter invariance. This relation is less strong than the one between the total score and the difficulty of the items. The estimated of theta presents a dependence that decreases with the
difficulty when the test approaches the unidimensionality. The use of IRT is considered advantageous to esteem the students' ability, when test forms present different difficulties, theta is less dependent on the difficulty than the total score. It is considered necessary a greater rigidity on the control of the conditions for the unidimensionality of the tests in order to obtain more invariant estimates of theta.

Identiferoai:union.ndltd.org:IBICT/oai:repositorio.unb.br:10482/1579
Date18 October 2002
CreatorsCondé, Frederico Neves
ContributorsLaros, Jacob Arie
Source SetsIBICT Brazilian ETDs
LanguagePortuguese
Detected LanguageEnglish
Typeinfo:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis
Sourcereponame:Repositório Institucional da UnB, instname:Universidade de Brasília, instacron:UNB
Rightsinfo:eu-repo/semantics/openAccess

Page generated in 0.0032 seconds