Institutional self-assessment is an important component of the Brazilian National Higher Education Assessment System (SINAES), which consists in an instrument for higher education institutions to identify their capacities and weaknesses. One of the activities inherent to institutional self-assessment is the performance evaluation of its professors. From this perspective, this study aimed to analyze the measuring instrument used on professor performance evaluation, applied to students of undergraduate courses at the Federal University of Santa Maria (UFSM). For this, the study was based on the statistical technique of Item Response Theory (IRT) to evaluate the construct reliability, its internal consistency and unidimensionality, and to estimate the items difficulty and discrimination parameters, by using the 2-Parameter Logistic Model (ML2). The IRT is a set of mathematical models that seeks to represent the probability of an individual to answer correctly to an item, depending on the parameters of this item and its ability. The data treatment and statistical tests were applied to a database containing over 20,000 evaluations, carried out in the first half of 2016, made available by the UFSM Data Processing Center. The results showed that the set of items has internal consistency, so as good build quality. The dimensionality test showed that the measuring instrument is one-dimensional, measuring a single latent trait, the professor's performance. The comparison of the estimated discrimination and difficulty parameters for the UFSM, with the estimated parameters for the ten Study Centers revealed that the items behavior is similar despite the different samples. The results also demonstrated that the measuring instrument applied to professor performance evaluation is statistically valid when subjected to the Item Response Theory analysis. / A autoavaliação institucional é um importante componente do Sistema Nacional de Avaliação da Educação Superior brasileira (SINAES), constituindo-se em um instrumento para que as Instituições de Ensino Superior identifiquem suas potencialidades e fraquezas. Uma das atividades inerentes à autoavaliação institucional é a realização da avaliação docente. Sob essa perspectiva, o presente trabalho se propôs a analisar o instrumento de medida da avaliação docente, aplicado aos discentes dos cursos de graduação da Universidade Federal de Santa Maria (UFSM). Para tanto, o estudo se baseou na técnica estatística da Teoria da Resposta ao Item (TRI) para avaliar a confiabilidade, a consistência interna e a unidimensionalidade do construto, além de estimar os parâmetros de dificuldade e discriminação do item, a partir da aplicação do Modelo Logístico de 2 Parâmetros (ML2). A TRI é um conjunto de modelos matemáticos que busca representar a probabilidade de um indivíduo responder positivamente a um item, em função dos parâmetros desse item e de sua habilidade. O tratamento e os testes estatísticos foram aplicados a uma base de dados contendo mais de 20.000 avaliações, realizadas no primeiro semestre de 2016, disponibilizada pelo Centro de Processamento de Dados da UFSM. Os resultados encontrados demonstraram que o conjunto de itens apresenta consistência interna, assim como boa qualidade de construção. O teste de dimensionalidade demonstrou que o instrumento de medida é unidimensional, medindo um único traço latente, o desempenho docente. A comparação dos parâmetros de discriminação e dificuldade estimados para a UFSM com os parâmetros estimados para os dez Centros de Ensino revelou que o comportamento dos itens é semelhante apesar das diferentes amostras. A partir dos resultados obtidos, concluiu-se que o instrumento de medida aplicado na avaliação docente pelos discentes da instituição apresentou validade estatística quando submetido aos testes da Teoria da Resposta ao Item.
| Identifer | oai:union.ndltd.org:IBICT/oai:repositorio.ufsm.br:1/12699 |
| Date | 20 March 2017 |
| Creators | Barcelos, Ricardo da Silva |
| Contributors | Vey, Ivan Henrique, Battistella, Luciana Flores, Venturini, Jonas Cardona |
| Publisher | Universidade Federal de Santa Maria, Centro de Ciências Sociais e Humanas, Programa de Pós-Graduação em Gestão de Organizações Públicas, UFSM, Brasil, Administração |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Source | reponame:Repositório Institucional da UFSM, instname:Universidade Federal de Santa Maria, instacron:UFSM |
| Rights | Attribution-NonCommercial-NoDerivatives 4.0 International, http://creativecommons.org/licenses/by-nc-nd/4.0/, info:eu-repo/semantics/openAccess |
| Relation | 600200000006, 600, adb9ac24-c59d-4c7d-98ed-f19531a89be9, e1e5ab4e-7887-47db-9715-1def99962cc6, a5171b6f-1b80-4671-bf8e-6c47f1183f94, 3b183f4a-dbe1-4528-889d-ddcf093df936 |
Page generated in 0.0018 seconds