SOUSA, Leandro Araujo de. Análise psicométrica dos itens de educação física do Exame Nacional do Ensino Médio (ENEM) via Teoria Clássica dos Testes. 2017. 69f. – Dissertação (Mestrado) – Universidade Federal do Ceará, Programa de Pós-graduação em Educação Brasileira, Fortaleza (CE), 2017. / Submitted by Gustavo Daher (gdaherufc@hotmail.com) on 2017-03-17T13:08:49Z No. of bitstreams: 1 2017_dis_lasousa.pdf: 765171 bytes, checksum: 136d56a7eae5ae977bedd331d9f77052 (MD5) / Approved for entry into archive by Márcia Araújo (marcia_m_bezerra@yahoo.com.br) on 2017-03-20T12:22:25Z (GMT) No. of bitstreams: 1 2017_dis_lasousa.pdf: 765171 bytes, checksum: 136d56a7eae5ae977bedd331d9f77052 (MD5) / Made available in DSpace on 2017-03-20T12:22:25Z (GMT). No. of bitstreams: 1 2017_dis_lasousa.pdf: 765171 bytes, checksum: 136d56a7eae5ae977bedd331d9f77052 (MD5) Previous issue date: 2017 / In recent years the importance of large-scale evaluations in the Brazilian context has grown, with emphasis in this scenario on the National High School Examination (ENEM). With its reformulation in 2009, the skills and abilities of the Physical Education have been inserted in the reference matrix of this exam. In that same year, the method of analysis of the results, based on the Classical Tests Theory (CTT), was also changed, using the Item Response Theory (IRT), under justification of being more adequate to allow the comparability of the Results. With this, this research aimed to analyze the Physical Education items of ENEM from the years 2009 to 2014 from the CTT. For that, we used the microdata of the exam provided by the National Institute of Studies and Educational Research Anísio Teixeira (INEP). The following metric parameters were analyzed: validity, reliability, difficulty and discrimination. SPSS software version 20.0 was used as a resource. The items presented good correlation values and adequacy of the item sample. They presented scores of commonality and factorial loads inadequate for the composition of the test. The Exploratory Factor Analysis presented low explanation of the variance considering only one factor, even the scree plot indicating that the test is unidimensionality. The reliability values of the test were good, with no influence of physical education items. The difficulty and discrimination presented values acceptable in almost every year. However, in 2014 the test did not present unidimensionality, considering the explained variance, as well as in the graphic analysis. This year, the items presented high difficulty and low discrimination. Thus, it is concluded that the Language and Codes tests of the ENEM presented difficulties in proving the unidimensionality, although it presented good accuracy, with the exception of 2014 and some Physical Education items of the exam did not present adequate parameters. Such factors may compromise the validity of the measure and consequently the results of such examination. / Nos últimos anos tem crescido a importância das avaliações em larga escala no contexto brasileiro, com destaque nesse cenário o Exame Nacional do Ensino Médio (ENEM). Com sua reformulação em 2009, competências e habilidades da área de Educação Física têm sido inseridas na matriz de referência desse exame. Nesse mesmo ano é alterado também o método de análise dos resultados, realizado a partir da Teoria Clássica dos Testes (TCT), passando a ser utilizada a Teoria de Resposta ao Item (TRI), sob justificativa de ser mais adequada por permitir a comparabilidade dos resultados. Com isso, esta pesquisa objetivou analisar os itens de Educação Física do ENEM dos anos de 2009 a 2014 a partir da TCT. Para tanto, utilizou-se os microdados do exame disponibilizados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Foram analisados os seguintes parâmetros métricos: validade, fidedignidade, dificuldade e discriminação. Utilizou-se como recurso o software SPSS, versão 20.0. Os itens apresentaram bons valores de correlação e adequação da amostra de itens. Apresentaram escores de comunalidade e cargas fatoriais inadequados para composição da prova. A Análise Fatorial Exploratória apresentou baixa explicação da variância considerando apenas um fator, mesmo a análise gráfica (scree plot) indicando a unidimensionalidade do teste. Os valores de fidedignidade da prova foram bons, não havendo influência dos itens de Educação Física. A dificuldade e discriminação apresentaram valores aceitáveis em quase todos os anos. No entanto, em 2014 a prova não apresentou unidimensionalidade, considerando a variância explicada, bem como na análise gráfica. Neste ano, os itens apresentaram alta dificuldade e baixa discriminação. Dessa forma, conclui-se que as provas de Linguagens e Códigos do ENEM apresentaram dificuldades de comprovação da unidimensionalidade, embora, tenha apresentado boa precisão, com exceção de 2014 e alguns itens de Educação Física do exame não apresentaram parâmetros adequados. Tais fatores podem comprometer a validade da medida e consequentemente dos resultados desse exame.

nÃo hà / Nos Ãltimos anos tem crescido a importÃncia das avaliaÃÃes em larga escala no contexto brasileiro, com destaque nesse cenÃrio o Exame Nacional do Ensino MÃdio (ENEM). Com sua reformulaÃÃo em 2009, competÃncias e habilidades da Ãrea de EducaÃÃo FÃsica tÃm sido inseridas na matriz de referÃncia desse exame. Nesse mesmo ano à alterado tambÃm o mÃtodo de anÃlise dos resultados, realizado a partir da Teoria ClÃssica dos Testes (TCT), passando a ser utilizada a Teoria de Resposta ao Item (TRI), sob justificativa de ser mais adequada por permitir a comparabilidade dos resultados. Com isso, esta pesquisa objetivou analisar os itens de EducaÃÃo FÃsica do ENEM dos anos de 2009 a 2014 a partir da TCT. Para tanto, utilizou-se os microdados do exame disponibilizados pelo Instituto Nacional de Estudos e Pesquisas Educacionais AnÃsio Teixeira (INEP). Foram analisados os seguintes parÃmetros mÃtricos: validade, fidedignidade, dificuldade e discriminaÃÃo. Utilizou-se como recurso o software SPSS, versÃo 20.0. Os itens apresentaram bons valores de correlaÃÃo e adequaÃÃo da amostra de itens. Apresentaram escores de comunalidade e cargas fatoriais inadequados para composiÃÃo da prova. A AnÃlise Fatorial ExploratÃria apresentou baixa explicaÃÃo da variÃncia considerando apenas um fator, mesmo a anÃlise grÃfica (scree plot) indicando a unidimensionalidade do teste. Os valores de fidedignidade da prova foram bons, nÃo havendo influÃncia dos itens de EducaÃÃo FÃsica. A dificuldade e discriminaÃÃo apresentaram valores aceitÃveis em quase todos os anos. No entanto, em 2014 a prova nÃo apresentou unidimensionalidade, considerando a variÃncia explicada, bem como na anÃlise grÃfica. Neste ano, os itens apresentaram alta dificuldade e baixa discriminaÃÃo. Dessa forma, conclui-se que as provas de Linguagens e CÃdigos do ENEM apresentaram dificuldades de comprovaÃÃo da unidimensionalidade, embora, tenha apresentado boa precisÃo, com exceÃÃo de 2014 e alguns itens de EducaÃÃo FÃsica do exame nÃo apresentaram parÃmetros adequados. Tais fatores podem comprometer a validade da medida e consequentemente dos resultados desse exame. / In recent years the importance of large-scale evaluations in the Brazilian context has grown, with emphasis in this scenario on the National High School Examination (ENEM). With its reformulation in 2009, the skills and abilities of the Physical Education have been inserted in the reference matrix of this exam. In that same year, the method of analysis of the results, based on the Classical Tests Theory (CTT), was also changed, using the Item Response Theory (IRT), under justification of being more adequate to allow the comparability of the Results. With this, this research aimed to analyze the Physical Education items of ENEM from the years 2009 to 2014 from the CTT. For that, we used the microdata of the exam provided by the National Institute of Studies and Educational Research AnÃsio Teixeira (INEP). The following metric parameters were analyzed: validity, reliability, difficulty and discrimination. SPSS software version 20.0 was used as a resource. The items presented good correlation values and adequacy of the item sample. They presented scores of commonality and factorial loads inadequate for the composition of the test. The Exploratory Factor Analysis presented low explanation of the variance considering only one factor, even the scree plot indicating that the test is unidimensionality. The reliability values of the test were good, with no influence of physical education items. The difficulty and discrimination presented values acceptable in almost every year. However, in 2014 the test did not present unidimensionality, considering the explained variance, as well as in the graphic analysis. This year, the items presented high difficulty and low discrimination. Thus, it is concluded that the Language and Codes tests of the ENEM presented difficulties in proving the unidimensionality, although it presented good accuracy, with the exception of 2014 and some Physical Education items of the exam did not present adequate parameters. Such factors may compromise the validity of the measure and consequently the results of such examination.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-04-10T14:24:23Z No. of bitstreams: 1 denisemendoncademelo.pdf: 507802 bytes, checksum: c3b5542230bfc09c6418bdaf6d4288e2 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-04-11T11:35:29Z (GMT) No. of bitstreams: 1 denisemendoncademelo.pdf: 507802 bytes, checksum: c3b5542230bfc09c6418bdaf6d4288e2 (MD5) / Made available in DSpace on 2017-04-11T11:35:29Z (GMT). No. of bitstreams: 1 denisemendoncademelo.pdf: 507802 bytes, checksum: c3b5542230bfc09c6418bdaf6d4288e2 (MD5) Previous issue date: 2016-12-07 / O Mini Exame do Estado Mental (MEEM) é o instrumento de rastreio do status cognitivo mais utilizado no mundo. Apesar de sua relevância, suas propriedades psicométricas não têm sido suficientemente analisadas no Brasil. O objetivo principal desta tese foi analisar as propriedades psicométricas da versão brasileira dessa medida proposta por Brucki et al (2003) com Teoria Clássica dos Testes e com Teoria de Resposta ao Item (TRI), enfatizando a escolaridade. Para tanto, foram desenvolvidos dois estudos. Antes, porém, realizou-se uma revisão sistemática das pesquisas empíricas indexadas na base de dados SciELO que utilizaram o MEEM com idosos no Brasil (N=74), que identificou 11 versões do MEEM. Mais da metade desses estudos adotou a escolaridade para estabelecer pontos de corte. Constatou-se que as propriedades psicométricas dessa medida têm sido pouco investigadas no país e, consequentemente, faltam padronização e evidências de validade. O segundo estudo teve como objetivo obter evidências de validade baseadas na estrutura interna para essa medida por meio de análise de componentes principais (ACP) e de análise fatorial confirmatória (AFC). Uma amostra de 2734 idosos participantes do estudo FIBRA Unicamp foi pesquisada. Na ACP, uma solução com cinco componentes foi a mais adequada. Quatro modelos de estrutura interna foram testados com AFC. Dois modelos com estrutura multidimensional de cinco fatores e um fator de segunda ordem apresentaram índices de ajuste satisfatórios, o que não ocorreu com o modelo unidimensional. Assim, há evidências de que se trata de uma medida multidimensional. O terceiro estudo apresentou uma análise com TRI para avaliar o funcionamento diferencial dos itens (DIF), a dificuldade e a discriminação dos itens. Constatou-se que quatro itens do sete seriado foram os mais difíceis e os itens nove, 13, 22 e 23, os mais fáceis. O nível de habilidade das pessoas foi maior do que o nível de dificuldade dos itens. Observou-se DIF para escolaridade (27 itens), sexo (18 itens) e idade (16 itens). Conclui-se que o uso do MEEM com idosos da comunidade deve ser cauteloso devido ao grande número de itens enviesados, principalmente pela escolaridade. Em suma, a versão do MEEM analisada apresentou evidências de validade baseadas na estrutura interna, e é fortemente influenciada pela escolaridade. / The Mini Mental State Examination (MMSE) is the screening tool of cognitive status most used in the world. Despite its relevance, its psychometric properties have not been sufficiently analyzed in Brazil. The main purpose of this thesis was to analyze the psychometric properties of a Brazilian version of this measure suggested by Brucki et al (2003) with Classical Theory of Tests and Item Response Theory (IRT), emphasizing education. For this, two studies were developed. First, however, there was a systematic review of empirical research indexed in SciELO database that used the MMSE with elderly (N = 74), which identified 11 versions of the MMSE. More than half of these studies adopted the school to establish cutoffs. It was found that the psychometric properties of this measure have been little investigated in the country and, consequently, lack standardization and evidence of validity. The second study aimed to obtain evidence of validity based on the internal structure for this measure by principal component analysis (PCA) and confirmatory factor analysis (CFA). A sample of 2734 elderly participants of the FIBRA Unicamp study was researched. In the PCA, a solution with five components was the most appropriate. Four internal structure models were tested with CFA. Two models with multidimensional structure of five factors and a factor of second order showed satisfactory fit indices, which did not happen with the unidimensional model. Therefore, there is evidence that it is a multidimensional measurement. The third study presents an analysis with IRT to evaluate the differential item functioning (DIF), difficulty and discrimination of the items. It was found that four items of serial seven were the most difficult and the items 9, 13, 22 and 23 were the easiest ones. The skill level of the people was higher than the level of difficulty of the items. There was DIF for education (27 items), sex (18 items) and age (16 items). We conclude that the use of MMSE with community dwelling elderly should be cautious due to the large number of biased items, especially for education. In conclusion, the version of the MMSE analyzed the version of MMSE analyzed obtained validity evidences regarding the internal structure, and is strongly influenced by education.