Testes Adaptativos Computadorizados (CAT) baseados na Teoria de Resposta ao Item permitem fazer testes mais precisos com um menor número de questões em relação à prova clássica feita a papel. Porém a construção de CAT envolve alguns questionamentos-chave, que quando feitos de forma adequada, podem melhorar ainda mais a precisão e a eficiência na estimativa das habilidades dos respondentes. Um dos principais questionamentos está na escolha da Regra de Seleção de Itens (ISR). O CAT clássico, faz uso, exclusivamente, de uma ISR. Entretanto, essas regras possuem vantagens, entre elas, a depender do nível de habilidade e do estágio em que o teste se encontra. Assim, o objetivo deste trabalho é reduzir o comprimento de provas dicotômicas - que consideram apenas se a resposta foi correta ou incorreta - que estão inseridas no ambiente de um CAT que faz uso, exclusivo, de apenas uma ISR sem perda significativa de precisão da estimativa das habilidades. Para tal, cria-se a abordagem denominada ALICAT que personaliza o processo de seleção de itens em CAT, considerando o uso de mais de uma ISR. Para aplicar essa abordagem é necessário primeiro analisar o desempenho de diferentes ISRs. Um estudo de caso na prova de Matemática e suas tecnologias do ENEM de 2012, indica que a regra de seleção de Kullback-Leibler com distribuição a posteriori (KLP) possui melhor desempenho na estimativa das habilidades dos respondentes em relação as regras: Informação de Fisher (F); Kullback-Leibler (KL); Informação Ponderada pela Máxima Verossimilhança (MLWI); e Informação ponderada a posteriori (MPWI). Resultados prévios da literatura mostram que CAT utilizando a regra KLP conseguiu reduzir a prova do estudo de caso em 46,6% em relação ao tamanho completo de 45 itens sem perda significativa na estimativa das habilidades. Neste trabalho, foi observado que as regras F e a MLWI tiveram melhor desempenho nos estágios inicias do CAT, para estimar respondentes com níveis de habilidades extremos negativos e positivos, respectivamente. Com a utilização dessas regras de seleção em conjunto, a abordagem ALICAT reduziu a mesma prova em 53,3% / Computerized Adaptive Testing (CAT) based on Item Response Theory allows more accurate assessments with fewer questions than the classic paper test. Nonetheless, the CAT building involves some key questions that, when done properly, can further improve the accuracy and efficiency in estimating examinees\' abilities. One of the main questions is in regard to choosing the Item Selection Rule (ISR). The classic CAT makes exclusive use of one ISR. However, these rules have differences depending on the examinees\' ability level and on the CAT stage. Thus, the objective of this work is to reduce the dichotomous - which considers only correct and incorrect answers - test size which is inserted on a classic CAT without significant loss of accuracy in the estimation of the examinee\'s ability level. For this purpose, we create the ALICAT approach that personalizes the item selection process in a CAT considering the use of more than one ISR. To apply this approach, we first analyze the performance of different ISRs. The case study in textit test of the ENEM 2012 shows that the Kullback-Leibler Information with a Posterior Distribution (KLP) has better performance in the examinees\' ability estimation when compared with: Fisher Information (F); Kullback-Leibler Information (KL); Maximum Likelihood Weighted Information(MLWI); and Maximum Posterior Weighted Information (MPWI) rules. Previous results in the literature show that CAT using KLP was able to reduce this test size by 46.6% from the full size of 45 items with no significant loss of accuracy in estimating the examinees\' ability level. In this work, we observe that the F and the MLWI rules performed better on early CAT stages to estimate examinees proficiency level with extreme negative and positive values, respectively. With this information, we were able to reduce the same test by 53.3% using an approach that uses the best rules together

A falta de alternativas ao modelo normal uni/multivariado já é um problema superado pois atualmente é possível encontrar inúmeros trabalhos que introduzem e desenvolvem generalizações da distribuição normal com relação `a assimetria, curtose e/ou multimodalidade (Branco e Arellano-Valle (2004), Genton (2004), Arellano-Valle et al. (2006)). No contexto dos modelos unidimensionais da Teoria da Resposta ao Item (TRI), Bazán (2005) percebeu esta realidade e introduziu uma classe denominada PANA (Probito Assimétrico - Normal Assimétrica) a qual permite modelar possíveis comportamentos assimétricos de um modelo (uma probabilidade) de resposta ao item bem como a especificação de uma distribuição normal assimétrica para os traços latentes (unidimensionais) a qual é utilizada no processo de estimação. Motivado pela necessidade de melhor representar os fenômenos da área psicométrica (Heinen, 1996, p. 105) e da atual disponibilidade de distribuições elípticas assimétricas cujas propriedades são tão convenientes quanto aquelas devidas `a distribuição normal, a proposta do presente trabalho é apresentar uma extensão do modelo K-dimensional de 3 Parâmetros Probito (Kd3PP) com vetores de traços latentes normalmente distribuídos para o caso t-Assimétrico, gerando, assim, o que denominamos modelo Kd3PP-tA. Nossa proposta, portanto, pode ser considerada como uma extensão do trabalho desenvolvido por Bazán (2005) tanto no sentido de extender a distribuição unidimensional assimétrica dos traços latentes para o caso multidimensional quanto no que conscerne em considerar o achatamento (curtose) da distribuição. Nossa proposta também pode ser vista como uma extensão do trabalho de Béguin e Glas (2001) no sentido de desenvolver o método de estimação bayesiana dos modelos multidimensionais da TRI via DAGS (Dados Aumentados com Amostrador de Gibbs) para o caso em que os vetores de traços latentes comportam-se segundo uma distribuição multivariada t-Assimétrica. No desenvolvimento deste trabalho nos deparamos com uma das principais dificuldades encontradas no processo de estimação e inferência dos modelos multidimensionais da TRI que é a falta de identificabilidade e, com a intenção de ampliar e desmistificar nossos conhecimentos sobre um assunto ainda pouco explorado na literatura da TRI, apresentamos um estudo bibliográfico sobre este tema tanto sob o contexto da inferência clássica quanto bayesiana. Com o intuito de identificar situações particulares em que o uso de uma distribuição normal assimétrica para os traços latentes seja de maior relevância para a estimação e inferência dos parâmetros de item, bem como outros parâmetros relacionados à distribuição dos traços latentes, algumas análises sobre conjuntos de dados simulados são desenvolvidas. Como conclusão destas análises, podemos dizer que há uma melhora superficial quando a informação sobre uma possível assimetria na distribuição dos traços latentes não é ignorada. Além disso, os resultados favoreceram a seleção dos modelos que consideram distribuições assimétricas para os traços latentes, principalmente quando são considerados os modelos que possibilitam a estimação dos parâmetros de localização e escala da distribuição dos vetores de traços latentes. Duas principais contribuições que consideramos de ordem prática, são: a análise e a interpretação de testes através da estimação de modelos uni e multidimensionais da TRI que consideram tanto distribuições simétricas quanto assimétricas para os vetores de traços latentes e a disponibilização de uma função escrita em códigos R e C++ para a estimação dos modelos apresentados e desenvolvidos no presente trabalho. / The lack of alternatives to the univariate or multivariate normal model has been already solved because actually it has been possible to find several works that introduce and develop generalizations of the normal distribution in relation to the asymmetry, kurtosis and/or multimodality (Branco e Arellano-Valle (2004), Genton (2004), Arellano-Valle et al. (2006). In the context of unidimensional models of the Item Response Theory (IRT), Baz´an (2005) observed this fact and introduced a class called PANA (Probito Assimétrico - Normal Assimétrica) which allows to take account for asymmetry in the shape of an item response model (probability) and the specification of a skew normal distribution for unidimensional latent traits which is used in the estimation process. Motivated by the need to better represent the phenomenon of psychometric area (Heinen, 1996, p. 105) and the current availability of skew elliptical distributions whose properties are as convenient as those due to normal distribution, the proposal of this work is to provide an extension of multidimensional 3 Parameters Probit model (Kd3PP) where latent traits vectors are normally distributed for the case of Skew-t distribution (Sahu et al., 2003), generating therefore what we call Kd3PP-St model. Our proposal, therefore, can be regarded as an extension of the work of Bazán (2005) in two ways: the first is extending the unidimensional skew normal distribution of latent traits to the multidimensional case and second in the sense to consider the flattening (kurtosis) of this distribution. Our proposal can also be seen as an extension of the work of B´eguin e Glas (2001) in the sense that we develop the Bayesian estimation method of the 3 parameters multidimensional item response model by DAGS (Augmentated Data with Gibbs sampling) for the case where the latent trait vectors behave according to a Skew-t multivariate distribution. In the development of this work we come across one of the main difficulties encountered in the process of estimation and inference of multidimensional IRT models which is the lack of identifiabilitie and, with the intent to demystify and expand our knowledge on a subject still little explored in the literature of the IRT, we present a bibliographical study on this subject both in the context of classical and Bayesian inference. In order to identify particular situations where the use of a skew normal distribution is more relevant to the estimation and inference of item parameters as well as other parameters related to the distribution of latent traits, some analyses on simulated data sets are developed. As results of these analyses, we can say that there is a modest improvement when information about a possible asymmetry in the distribution of latent traits is not ignored. Moreover, the results favored the selection of models that consider asymmetric distributions for latent traits, especially when models that enable the estimation of parameters of location and scale from this distribution are considered. Two main contributions that we consider of pratical interest are: analysis and interpretations of tests using unidimensional and multidimensional IRT models that consider both simetric and skewed distributions for the vectors of latent traits and a function written in R and C++ language program that is made disponible for the estimation of models treated in this work.

The estimation of latent variable models with ordinal and continuous, or ranking variables is the research focus of this thesis. The existing estimation methods are discussed and a composite likelihood approach is developed. The main advantages of the new method are its low computational complexity which remains unchanged regardless of the model size, and that it yields an asymptotically unbiased, consistent, and normally distributed estimator. The thesis consists of four papers. The first one investigates the two main formulations of the unrestricted Thurstonian model for ranking data along with the corresponding identification constraints. It is found that the extra identifications constraints required in one of them lead to unreliable estimates unless the constraints coincide with the true values of the fixed parameters. In the second paper, a pairwise likelihood (PL) estimation is developed for factor analysis models with ordinal variables. The performance of PL is studied in terms of bias and mean squared error (MSE) and compared with that of the conventional estimation methods via a simulation study and through some real data examples. It is found that the PL estimates and standard errors have very small bias and MSE both decreasing with the sample size, and that the method is competitive to the conventional ones. The results of the first two papers lead to the next one where PL estimation is adjusted to the unrestricted Thurstonian ranking model. As before, the performance of the proposed approach is studied through a simulation study with respect to relative bias and relative MSE and in comparison with the conventional estimation methods. The conclusions are similar to those of the second paper. The last paper extends the PL estimation to the whole structural equation modeling framework where data may include both ordinal and continuous variables as well as covariates. The approach is demonstrated through an example run in R software. The code used has been incorporated in the R package lavaan (version 0.5-11).

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Traditional tests for large-scale assessment of mathematics learning have been criticized for several reasons, such as their mismatch between the vision of mathematical competence and the content covered by the test, and their failure to provide relevant information for guiding further learning and instruction. To achieve that large-scale assessments can function as tools for monitoring and improving learning and teaching, one has to move away from the rationale, the constraints, and the practices of traditional tests. As an illustration this paper presents an alternative approach to largescale assessment of elementary school mathematics developed in Flanders, Belgium Using models of item response theory, 14 measurement scales were constructed, each representing a cluster of curriculum standards and covering as a whole the mathematics curriculum relating to numbers, measurement and geometry. A representative sample of 5,763 sixth-graders (12-year-olds) belonging to 184 schools participated in the study. Based on expert judgments a cut-off score was set that determines the minimum level that students must achieve on each scale to master the standards. Overall, the more innovative curriculum standards were mastered less well than the more traditional ones. Few gender differences in performance were observed. The advantages of this approach and its further development are discussed.

Made available in DSpace on 2010-04-20T20:48:31Z (GMT). No. of bitstreams: 3 71040100499.pdf.jpg: 16266 bytes, checksum: 600e8a9f1cfb89d1b0ed0df002296139 (MD5) 71040100499.pdf: 3824101 bytes, checksum: cb7a1bf5076a35da07172b02ade64ace (MD5) 71040100499.pdf.txt: 233643 bytes, checksum: a6de5bcd9e087e7f9317d47d3ad96665 (MD5) Previous issue date: 2008-02-18T00:00:00Z / Existe a expectativa de que cada indivíduo absorva de forma rápida e satisfatória os avanços tecnológicos para que possa usufruir dos seus benefícios e permanecer competitivo no mercado de trabalho. Mesmo que o foco principal da maior parte das pesquisas esteja no alcance de benefícios para as empresas com o uso de tecnologia, a intenção de comportamento do indivíduo representa o passo inicial para a sua adoção. No entanto, ao mesmo tempo em que se percebe a evolução das tecnologias em benefício das pessoas, também existem evidências no sentido de um sentimento de frustração com a tecnologia. Nenhum estudo é conclusivo sobre a identificação das variáveis que afetam o desenvolvimento das percepções e intenções para a tecnologia. Além disso, a maior parte dos modelos foi testada em países desenvolvidos ou em camadas sociais superiores da população. O propósito principal dessa tese é apresentar forma alternativa de medir a Predisposição para a Tecnologia, que seja aplicável não apenas em situações específicas, mas também para toda a gama da população. O trabalho faz uso das ferramentas da Teoria de Resposta ao Item para a proposição e validação de uma nova escala de Predisposição para a Tecnologia, que se mostrou bastante consistente e coerente. A nova escala possui a vantagem de ter maior poder discriminante, especialmente para as classes de menor nível educacional e de renda. Além disso, a escala criada apresenta mais informação com um número reduzido de itens, o que pode representar reduções de custo e tempo de aplicação dos questionários. / There is an expectation that each individual absorb, in a fast and satisfactory way, technological advances so that he/she can take advantage of their benefits and remain competitive in the job market. Although the main focus of most researches is on the technological benefits for businesses using technology, the behavior intention of the individual represents the first step towards its adoption. However, at the same time, technology is perceived as an evolution for the benefit of people, there are also clear signs towards a sense of frustration with technology. No study is conclusive about identification of variables that affect the development of perceptions and intentions toward technology. Moreover, most of the models were tested in developed countries or in high social level populations. The main purpose of this thesis is to present an alternative way of measuring the Technology Predisposition, which applies not only in specific situations, but also for the full range of population. This study work makes use of the tools of Item Response Theory, for proposition and validation of a new scale of Technology Predisposition, which proved to be quite consistent and coherent. The new scale has the advantage of having more discriminative power, especially for the lower classes of educational level and income. Moreover, the created scale displays more information with a limited number of items, which may represent cost and time reductions.

Made available in DSpace on 2010-04-20T20:48:25Z (GMT). No. of bitstreams: 3 127069.pdf.jpg: 11605 bytes, checksum: f442e466112923acefc8517744135e8d (MD5) 127069.pdf: 1363751 bytes, checksum: 38a2699d587f65ea30682f3fbfee2b05 (MD5) 127069.pdf.txt: 230496 bytes, checksum: 731125dd5ec8de957061ab9be44d7e96 (MD5) Previous issue date: 2006-02-17T00:00:00Z / Pesquisas de opinião freqüentemente utilizam questionários com muitos itens para avaliar um serviço ou produto. Nestas pesquisas, cada respondente, além de avaliar os itens segundo seu grau de satisfação ou concordância, deve também atribuir um grau de importância ao item. Com estas duas informações disponíveis para cada item, é possível criar uma medida resumo, na forma de um escore total composto pela avaliação dos itens ponderada pela sua importância. O objetivo desta tese é modelar a importância dos itens por meio de um modelo de Desdobramento Graduado Generalizado, pertencente à família de modelos da Teoria de Resposta ao Item. Resultados de uma pesquisa sobre academia de ginástica mostram que o modelo tem bom ajuste neste caso, e simulações mostram que é possível, com a utilização do modelo, montar desenhos experimentais para diminuir o número de itens ou categorias de resposta a serem perguntados aos respondentes sem perda de informação. / Many surveys use multi-items questionnaires to make an assessment of a service or product. In these surveys, each respondent, besides having to evaluate each item (attribute) according to the degree of satisfaction or agreement, must also evaluate its importance. It is possible, with these two informations, to create a global score of the product or service weighted by the importance of the items. The goal of this thesis is to model the importance through a Generalized Graded Unfolding Model, which is an Item Response Theory model. Results of a survey showed a good fit of the model, and simulations showed that it is possible to design experiments to reduce the number of items or response categories asked to the respondents without loss of information if this model is used.

Recent political and social changes in South Africa have created the need for culture-fair tests for cross-cultural measurement of cognitive ability. This need has been highlighted by the professional, legal and research communities. For cognitive assessment, dynamic assessment is more equitable because it involves a test-train-retest procedure, which shows what performance levels individuals are able to attain when relevant training is provided. Following Binet’s thinking, dynamic assessment aims to identify those individuals who are likely to benefit from additional training. The theoretical basis for learning potential assessment is Vygotsky’s concept of the zone of proximal development. This thesis describes the development, standardisation and evaluation of the Learning Potential Computerised Adaptive Test (LPCAT), for measuring learning potential in the culturally diverse South African population by means of nonverbal figural items. In accordance with Vygotsky’s view, learning potential is defined as a combination of present performance and the extent to which performance is increased after relevant training. This definition allows for comparison of individuals at different levels of initial performance and with different measures of improvement. Computerised adaptive testing based on item response theory, as used in the LPCAT, is uniquely suitable for increasing both measurement accuracy and testing efficiency of dynamic testing, two aspects that have been identified as problematic. The LPCAT pretest and the post-test are two separate adaptive tests, hence eliminating the role of memory in post-test performance. Several multicultural groups were used for item analysis and test validation. The results support the LPCAT as a culture-fair measure of learning potential in the nonverbal general reasoning domain. For examinees with a wide range of ability levels, LPCAT scores correlate strongly with academic performance. For African examinees, poor proficiency in English (the language of teaching) hampers academic performance. The LPCAT ensures the equitable measurement of learning potential, independent of language proficiency and prior scholastic learning and can be used to help select candidates for further training or developmental opportunities. / Psychology / D. Litt. et Phil. (Psychology)

This study empirically compares the Classical Test Theory (CTT) and the Partial Credit Model (PCM) of Rasch focusing on the invariance of item parameters. The invariance concept which is the consequence of the principle of specific objectivity was tested in both CTT and PCM using the results of learners who wrote the National Senior Certificate (NSC) Mathematics examinations in 2010. The difficulty levels of the test items were estimated from the independent samples of learn- ers. The same sample of learners used in the calibration of the difficulty levels of the test items in the PCM model were also used in the calibration of the difficulty levels of the test items in CTT model. The estimates of the difficulty levels of the test items were done using RUMM2030 in the case of PCM while SAS was used in the case of CTT. RUMM2030 and SAS are both the statistical softwares. The analysis of variance (ANOVA) was used to compare the four different design groups of test takers. In cases where the ANOVA showed a significant difference between the means of the design groups, the Tukeys groupings was used to establish where the difference came from. The research findings were that the test items' difficulty parameter estimates based on the CTT theoretical framework were not invariant across the different independent sample groups. The over- all findings from this study were that the CTT theoretical framework was unable to produce item difficulty invariant parameter estimates. The PCM estimates were very stable in the sense that for most of the items, there was no significant difference between the means of at least three design groups and the one that deviated from the rest did not deviate that much. The item parameters of the group that was representative of the population (proportional allocation) and the one where the same number of learners (50 learners) was taken from different performance categories did not differ significantly for all the items except for item 6.6 in examination question paper 2. It is apparent that for the test item parameters to be invariant of the group of test takers in PCM, the group of test takers must be heterogeneous and each performance category needed to be big enough for the proper calibration of item parameters. The higher values of the estimated item parameters in CTT were consistently found in the sample that was dominated by the high proficient learners in Mathematics ("bad") and the lowest values were consistently calculated in the design group that was dominated by the less proficient learners. This phenomenon was not apparent in the Rasch model. / Mathematical Sciences / M.Sc. (Statistics)

MAIA, José Leudo. Uso da Teoria Clássica dos Testes – TCT e da Teoria de Resposta ao Item – TRI na avaliação da qualidade métrica de testes de seleção. 2009. 325f. Tese (Doutorado em Educação) – Universidade Federal do Ceará, Faculdade de Educação, Programa de Pós-Graduação em Educação Brasileira, Fortaleza-CE, 2009. / Submitted by Maria Josineide Góis (josineide@ufc.br) on 2012-07-10T11:42:58Z No. of bitstreams: 1 2009_Tese_JLMaia.pdf: 4582126 bytes, checksum: 35b2f8279baa21b052a910889b5a7001 (MD5) / Approved for entry into archive by Maria Josineide Góis(josineide@ufc.br) on 2012-07-13T11:49:37Z (GMT) No. of bitstreams: 1 2009_Tese_JLMaia.pdf: 4582126 bytes, checksum: 35b2f8279baa21b052a910889b5a7001 (MD5) / Made available in DSpace on 2012-07-13T11:49:37Z (GMT). No. of bitstreams: 1 2009_Tese_JLMaia.pdf: 4582126 bytes, checksum: 35b2f8279baa21b052a910889b5a7001 (MD5) Previous issue date: 2009 / sse trabalho doutoral tem como proposta fazer uso da Teoria Clássica dos Testes – TCT e da Teoria de Resposta ao Item – TRI como instrumentos na avaliação da qualidade métrica de testes de seleção, sob quatro aspectos de investigação: Análise da Validez do Construto; Análise Psicométrica dos Itens; Funcionamento Diferencial dos Itens – DIF; e Função de Informação. Para tanto, foram utilizados dados dos resultados das provas de Português e Matemática do concurso vestibular da Universidade Estadual do Estado do Ceará – UECE, de 2007, em que participaram 20.016 candidatos a 38 Cursos de Graduação, somente na Capital do Estado. Para o tratamento desses dados, foram utilizados os seguintes softwares: SPSS, v15; BILOG-MG, v3.0; MULTILOG FOR WINDOWS, v1.0; e o TESTFACT v4.0. A primeira providência foi verificar a dimensionaidade dessas provas. Para tanto se utilizou o Método de Kaiser-Guttman, Scree-plot, e o Método das Cargas Fatoriais e das Comunalidades da Matriz de Fatores. A constatação foi de que a prova de Português apresentava características multidimensionais, sendo, portanto, descartada, por não atender aos pressupostos básicos da Unidimensionalidade e Independência Local dos Itens. A prova de Matemática, no entanto, por apresentar comportamento unidimensional, se tornou o foco deste trabalho. A análise da Validez do Construto foi realizada por meio dos coeficientes Alpha de Cronbach e Kuder-Richardson, tendo gerado valores iguais a 0,685, além da utilização, também, do método das Cargas Fatoriais, com cargas entre 0,837 e 0,960, indicando intensa consistência interna. A análise psicométrica dos itens foi realizada por meio dos índices de dificuldade, discriminação e acerto ao acaso, para ambas as teorias, indicando ser essa uma prova de dificuldade mediana, com bom comportamento discriminativo e baixo índice de acerto ao acaso. A análise do DIF foi realizada, segundo o gênero dos candidatos, pelos métodos Delta-plot, Maentel-Haenszel, Regressão Logística e Comparação dos Betas, indicando resultados estatísticamente não significativos, no que se concluiu não apresentar, a prova, comportamento diferenciado, segundo o gênero. A análise da Função de Informação da prova permitiu se observar que esta é particularmente válida para candidatos com aptidão em torno de 0,8750 e que, a um nível de confiança de 95%, 49,3% dos candidatos atenderiam a essa indicação. Observou-se também que 90,6% dos candidatos, em ambos os processos, apresentaram o mesmo nível de aptidão, indicando uma convergência bastante razoável entre os resultados gerados pela TCT e TRI, no entanto, no estudo amostral, a TRI identificou que 9,4% dos candidatos apresentaram maior aptidão para a realização de um curso superior que os selecionados pela TCT.