Orientador : Prof.Dr. Paulo Justiniano Ribeiro Jr. / Dissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Métodos Numéricos em Engenharia. Defesa: Curitiba, 12/09/2014 / Inclui referências / Resumo: A utilização da Teoria da Resposta ao Item (TRI) na avaliação educacional tem fornecido
dados sobre às habilidades necessárias e competências dos educandos, visando mensurar
seus conhecimentos não no teste como um todo, mas em cada item individualmente,
apresentando-se como uma alternativa viável agregada à realidade do crescimento de métodos
para avaliar alunos. Esta pesquisa fornece uma visão geral dos modelos da TRI e as
implicações concretas em exames multidisciplinares, compostos por três conjunto de dados.
O primeiro conjunto tem 94 alunos da graduação do curso de engenharia; o segundo
com 189 alunos da graduação de administração da Pontifícia Universidade Católica do
Paraná e o último conjunto com 436 alunos concluíntes da graduação de Estatística do
Exame Nacional de Avaliação de Desempenho de Estudantes (Enade) no ano de 2009. Nos
dois primeiros conjuntos de dados, o conhecimento e a preparação para o Enade foram
considerados como avaliação interna da instituição, pois avaliam o desempenho. Para o
terceiro conjunto de dados, foram consideradas somente as provas objetivas. A flexibilidade
dos benefícios da TRI e as implicações do uso de modelos em processos educacionais
são discutidas e abordadas a partir dos modelos encaixados: unidimensional (TRIU) e
multidimensional (TRIM). Assim, para avaliar tanto a estimação dos parâmetros dos itens
e os traços latentes dos respondentes, foi necessário que esses representassem a realidade
observada e como são avaliados por tais modelos. Logo, o tema central desta pesquisa é
mostrar a importância de um modelo da TRI multidimensional, capaz de levar em consideração
uma prova que seja composta e, consequentemente, respondida por múltiplas
habilidades latentes, para os testes realizados na avaliação. Os estudos descritos neste
trabalho mostraram que cada modelo proposto da TRI tem suas particularidades. Foram
aplicados critérios estatísticos, os quais permitiram que se fizessem críticas, escolhas e avaliações
dos modelos para justificar metodológica e computacionalmente um modelo mais
complexo. A interpretação dos resultados da escolha do modelo pode levar a conclusões
precipitadas da TRI, principalmente em exames multidisciplinares, cuja dimensionalidade
depende dos itens, os quais expressam as habilidades avaliadas. Os escores obtidos possibilitaram
comparações convenientes da teoria clássica com a TRI na proposta da escala
padronizada entre 0 e 1. O trabalho proporciona também análises para as habilidades dos
alunos e métodos computacionais ainda não utilizados nas avaliações multidisciplinares.
Os conjuntos de dados, foram sugeridos e aceitáveis por análises de diagnóstico estatístico,
conforme o modelo, por representarem práticas em estudo, com ajustes e estimativas de
parâmetros precisos e adequados.
Palavras-chave: Avaliação. Habilidades. Modelos-TRI. / Abstract: The Item Response Theory (IRT) application on the educational evaluation has been
providing data related to the to student’s required skills and their acquired competences,
aiming to quantitate their knowledge on each item of the entire process, not only on
the tests individualy. Therefore, it is seen as a viable alternative to be associated with
the current increase of student’s evaluation methods. This research allows a wide view
of the IRT models and their real implications on the educational evaluations, composed
by three sets of data. The first one has 94 undergraduate Engineering student’s from
Pontifícia Universidade Católica do (PUC) Paraná. The second group is composed by
189 undergraduate students from the Business Administration Course from PUC - Paraná
and the last one had 436 undergraduate students of Statistics Course from the National
Examination of Students Performance (ENADE) in 2009. In the first two data sets,
both knowledge and preparation for Enade were considered an internal evaluation of the
institution, since they assess the student’s performance. For the third data set, only the
objective evaluations were considered. The TRI flexibility benefits and the implications
of applying the models in educational processes are discussed and addressed from the
following models: unidimensional (UIRT) and multidimensional (MIRT). Hence, in order
to assess both estimation of the parameters and the latent traits of the respondents, it was
necessary that they did represent the observed reality and how they are evaluated by such
models. Therefore, the main objective of this research is to show the importance of an
IRT multidimensional model, which is able to take into account that a test is formed and
consequently answered by multiple latent skills, for the tests performed in the evaluation.
The performed studies during this study have shown that each model proposed by IRT
has its peculiarities. The applied statistical criteria allowed the use of critics, choices
and evaluations of the model to justify both computational and methodologically a more
complex model. The results interpretation concerning the model of choice can lead to
IRT early conclusions, mainly in multidisciplinary tests, which dimensionality depends
on the items, which express the assessed skills. The obtained scores allowed convenient
comparisons of classical theory with the TRI based on the propose of the standardized
scale between 0 and 1. This work also provides analyses concerning the students’ abilities
and computational methods which have not yet been used in these assessments. However,
the data sets were suggested and accepted by consistent statistical analyses according to
the model since they represent the ongoing reality, with adjustments and estimates of
accurate and appropriate parameters.
Key-word: Evaluation. Abilities. IRT Models.
| Identifer | oai:union.ndltd.org:IBICT/oai:dspace.c3sl.ufpr.br:1884/36872 |
| Date | January 2014 |
| Creators | Coelho, Edy Célia |
| Contributors | Ribeiro Junior, Paulo Justiniano, 1967-, Universidade Federal do Paraná. Setor de Tecnologia. Programa de Pós-Graduação em Métodos Numéricos em Engenharia |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | English |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/doctoralThesis |
| Format | 189f. : il. algumas color., grafs., tabs., application/pdf |
| Source | reponame:Repositório Institucional da UFPR, instname:Universidade Federal do Paraná, instacron:UFPR |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | Disponível em formato digital |
Page generated in 0.0086 seconds