This study empirically compares the Classical Test Theory (CTT) and the Partial Credit Model (PCM) of Rasch focusing on the invariance of item parameters. The invariance concept which is the consequence of the principle of specific objectivity was tested in both CTT and PCM using the results of learners who wrote the National Senior Certificate (NSC) Mathematics examinations in 2010. The difficulty levels of the test items were estimated from the independent samples of learn- ers. The same sample of learners used in the calibration of the difficulty levels of the test items in the PCM model were also used in the calibration of the difficulty levels of the test items in CTT model. The estimates of the difficulty levels of the test items were done using RUMM2030 in the case of PCM while SAS was used in the case of CTT. RUMM2030 and SAS are both the statistical softwares. The analysis of variance (ANOVA) was used to compare the four different design groups of test takers. In cases where the ANOVA showed a significant difference between the means of the design groups, the Tukeys groupings was used to establish where the difference came from. The research findings were that the test items' difficulty parameter estimates based on the CTT theoretical framework were not invariant across the different independent sample groups. The over- all findings from this study were that the CTT theoretical framework was unable to produce item difficulty invariant parameter estimates. The PCM estimates were very stable in the sense that for most of the items, there was no significant difference between the means of at least three design groups and the one that deviated from the rest did not deviate that much. The item parameters of the group that was representative of the population (proportional allocation) and the one where the same number of learners (50 learners) was taken from different performance categories did not differ significantly for all the items except for item 6.6 in examination question paper 2. It is apparent that for the test item parameters to be invariant of the group of test takers in PCM, the group of test takers must be heterogeneous and each performance category needed to be big enough for the proper calibration of item parameters. The higher values of the estimated item parameters in CTT were consistently found in the sample that was dominated by the high proficient learners in Mathematics ("bad") and the lowest values were consistently calculated in the design group that was dominated by the less proficient learners. This phenomenon was not apparent in the Rasch model. / Mathematical Sciences / M.Sc. (Statistics)

Este trabalho tem por objetivo apresentar a Teoria da Resposta ao Item (TRI), por meio de uma abordagem pedagógica, aos professores da educação básica, que mencionaram esta necessidade por meio de pesquisa realizada pelo autor. Levar parte do conhecimento teórico que embasa esta teoria ao conhecimento do docente, principalmente a construção da curva de probabilidade de acerto do item, favorecerá a compreensão, a análise e o monitoramento do processo avaliativo educacional. Este material apresenta as principais definições e conceitos da avaliação externa em larga escala, além de fornecer insumos para a compreensão das suposições realizadas para aplicação da metodologia. Neste sentido, o texto foi estruturado de forma a apresentar didaticamente as etapas do processo de implementação de uma avaliação, desde a construção do item até a apuração e divulgação dos resultados. Todo enfoque será dado à construção do modelo da TRI com um parâmetro (dificuldade do item), também conhecido como modelo de Rasch, o que simplifica e facilita a compreensão da metodologia. O modelo utilizado nas avaliações externas em larga escala (modelo com três parâmetros) será introduzido a partir das considerações realizadas na abordagem que explicita o pensamento da construção do modelo de um parâmetro. Acredita-se que esta compreensão possa colaborar com o professor na exploração das habilidades/competências dos alunos durante os anos escolares. / This study aims to present the Item Response Theory (IRT), through a pedagogical approach, to teachers of basic education, which mentioned this necessity through research conducted by the author. To take part of the theoretical knowledge that supports this theory to the teacher\'s knowledge, especially the construction of probability curve of item correct response, it will favor for understanding, analysis and monitoring the evaluation educational process. This material presents the main definitions and concepts of the external evaluation in large scale, besides providing inputs for understanding the assumptions made to apply the methodology. In this sense, the text was structured in order to present the implementation process stages of a large scale assessment, from the item construction to the results calculation and dissemination. The focus will be given to the IRT model construction of one-parameter (difficulty of the item), also known as Rasch model, since it simplifies and facilitates the understanding of methodology. The model used in the external assessment on a large scale (three-parameter model) will be introduced from the considerations made in the approach that explicit the thought of one-parameter model construction. It is believed that understanding can collaborate with teacher in exploration of the students\' skills/competences during the school year.

Testes Adaptativos Computadorizados (CAT) baseados na Teoria de Resposta ao Item permitem fazer testes mais precisos com um menor número de questões em relação à prova clássica feita a papel. Porém a construção de CAT envolve alguns questionamentos-chave, que quando feitos de forma adequada, podem melhorar ainda mais a precisão e a eficiência na estimativa das habilidades dos respondentes. Um dos principais questionamentos está na escolha da Regra de Seleção de Itens (ISR). O CAT clássico, faz uso, exclusivamente, de uma ISR. Entretanto, essas regras possuem vantagens, entre elas, a depender do nível de habilidade e do estágio em que o teste se encontra. Assim, o objetivo deste trabalho é reduzir o comprimento de provas dicotômicas - que consideram apenas se a resposta foi correta ou incorreta - que estão inseridas no ambiente de um CAT que faz uso, exclusivo, de apenas uma ISR sem perda significativa de precisão da estimativa das habilidades. Para tal, cria-se a abordagem denominada ALICAT que personaliza o processo de seleção de itens em CAT, considerando o uso de mais de uma ISR. Para aplicar essa abordagem é necessário primeiro analisar o desempenho de diferentes ISRs. Um estudo de caso na prova de Matemática e suas tecnologias do ENEM de 2012, indica que a regra de seleção de Kullback-Leibler com distribuição a posteriori (KLP) possui melhor desempenho na estimativa das habilidades dos respondentes em relação as regras: Informação de Fisher (F); Kullback-Leibler (KL); Informação Ponderada pela Máxima Verossimilhança (MLWI); e Informação ponderada a posteriori (MPWI). Resultados prévios da literatura mostram que CAT utilizando a regra KLP conseguiu reduzir a prova do estudo de caso em 46,6% em relação ao tamanho completo de 45 itens sem perda significativa na estimativa das habilidades. Neste trabalho, foi observado que as regras F e a MLWI tiveram melhor desempenho nos estágios inicias do CAT, para estimar respondentes com níveis de habilidades extremos negativos e positivos, respectivamente. Com a utilização dessas regras de seleção em conjunto, a abordagem ALICAT reduziu a mesma prova em 53,3% / Computerized Adaptive Testing (CAT) based on Item Response Theory allows more accurate assessments with fewer questions than the classic paper test. Nonetheless, the CAT building involves some key questions that, when done properly, can further improve the accuracy and efficiency in estimating examinees\' abilities. One of the main questions is in regard to choosing the Item Selection Rule (ISR). The classic CAT makes exclusive use of one ISR. However, these rules have differences depending on the examinees\' ability level and on the CAT stage. Thus, the objective of this work is to reduce the dichotomous - which considers only correct and incorrect answers - test size which is inserted on a classic CAT without significant loss of accuracy in the estimation of the examinee\'s ability level. For this purpose, we create the ALICAT approach that personalizes the item selection process in a CAT considering the use of more than one ISR. To apply this approach, we first analyze the performance of different ISRs. The case study in textit test of the ENEM 2012 shows that the Kullback-Leibler Information with a Posterior Distribution (KLP) has better performance in the examinees\' ability estimation when compared with: Fisher Information (F); Kullback-Leibler Information (KL); Maximum Likelihood Weighted Information(MLWI); and Maximum Posterior Weighted Information (MPWI) rules. Previous results in the literature show that CAT using KLP was able to reduce this test size by 46.6% from the full size of 45 items with no significant loss of accuracy in estimating the examinees\' ability level. In this work, we observe that the F and the MLWI rules performed better on early CAT stages to estimate examinees proficiency level with extreme negative and positive values, respectively. With this information, we were able to reduce the same test by 53.3% using an approach that uses the best rules together

[pt] Este estudo compara o Letramento Científico dos estudantes brasileiros e japoneses, com base nos resultados do PISA e procura responder às seguintes as questões de pesquisa: a) Há diferenças de competência cognitiva em Ciências entre os alunos brasileiros e dos outros países, sobretudo os do Japão no PISA?; b) Existem itens do PISA 2006 que apresentam comportamento diferencial, tendo o Brasil como referência?; e c) É possível, a partir dos dados do PISA e da adoção complementar de uma abordagem qualitativa, identificar diferentes ênfases curriculares e/ou práticas pedagógicas no Ensino de Ciências de Brasil e Japão que contribuam para a compreensão das diferenças de desempenho entre seus estudantes? Para responder a primeira questão, comparamos os resultados do Brasil e do Japão nas edições 2006 e 2015 do PISA, em que o foco foi Ciências. O Brasil se mostra em situação de desvantagem em relação a quase todos os países que participaram do Programa, o que é em parte explicado pela repetência. Na escala de desempenho, o Brasil permanece no nível 1 e o Japão, no nível 3 em2006, passou para o nível 4 em 2015. Para responder à segunda questão, utilizamos a análise de Differential Item Functioning (DIF) nos itens da prova de Ciências de 2006 e concluímos que há grande presença de DIF nesses itens comparativamente entre o Brasil e o Japão. Apesar de não serem capazes de comprometer o processo avaliativo privilegiando um grupo em detrimento do outro, esses itens sugerem diferentes ênfases curriculares em Ciências. Levando em conta essa hipótese e para responder à terceira questão adotamos uma abordagem qualitativa, com observação do uso do tempo das aulas; registro das ênfases curriculares e da ocorrência de atividades relacionadas à interação, investigação, experimentação e aplicação na perspectiva dos alunos, professores e da observação; e entrevistas com especialistas e gestores. Os resultados mostraram que mais de 20 por cento do tempo oficial de aula observados no Brasil são desperdiçados com questões outras que não o ensino efetivo de Ciências; 10 vezes mais que no Japão. No Brasil, há ênfase curricular mais acentuada nas Ciências Naturais e Biológicas. O currículo é distribuído mais homogeneamente no Japão e é seccionado no Brasil. Segundo os estudantes japoneses, não são freqüentes as atividades de interação, investigação, experimentação e aplicação. As atividades mais recorrentes observadas e percebidas pelos professores japoneses são as de experimentação e interação; no Brasil, as de interação e aplicação. Entrevistas realizadas com especialistas em Ensino de Ciências e gestoras do PISA, no Brasil e no Japão, mostraram que o sucesso do Japão nessa avaliação é associado à existência de um currículo nacional comum e à formação continuada de professores em serviço, bem como às reformas do sistema educacional japonês suscitadas pelos resultados do PISA. O baixo desempenho dos estudantes brasileiros no PISA estaria, por sua vez, relacionado com o despreparo dos estudantes, com a falta de familiaridade destes com o teste, com a deficiente formação dos professores e com o limitado uso das evidências produzidas pelas avaliações em larga escala. / [en] This study compares the Scientific Literacy of Brazilian and Japanese students, based on the results of PISA and seeks to answer the following research questions: a) Are there differences of cognitive competence in Science among Brazilian students and those from other countries, especially Japan, in the PISA ?; B) Are there items of PISA 2006 that present differential functioning, with Brazil as a reference ?; and c) Is it possible, based on the PISA data and the complementary adoption of a qualitative approach, to identify different curricular emphases and / or pedagogical practices in Science Education in Brazil and Japan that contribute to the understanding of differences in performance among their students? To answer the first question, we compared the results of Brazil and Japan in the 2006 and 2015 editions of PISA, where the focus was Science. Brazil is disadvantaged compared to almost all the countries that participated in the Program, which is partly explained by the repetition. In the performance scale, Brazil remains at level 1 and Japan at level 3 in 2006 has moved to level 4 in 2015. In order to answer the second question, we used the Differential Item Functioning (DIF) analysis in the 2006 test s Science items and we conclude that there is a large presence of DIF in these items comparatively between Brazil and Japan. Although they are not able to compromise the evaluation process by favoring one group over the other, these items suggest different curricular emphases in Science. Taking into account this hypothesis and to answer the third question we adopted a qualitative approach, with observation of the use of class time; record of curricular emphases and the occurrence of activities related to interaction, investigation, experimentation and application from the perspective of students, teachers and observation; and interviews with experts and PISA managers. The results showed that more than 20 percent of official classroom time observed in Brazil is wasted with questions other than effective teaching of science; 10 times more than in Japan. In Brazil, there is a more pronounced curricular emphasis in Natural and Biological Sciences. The curriculum is distributed more homogeneously in Japan and is sectioned in Brazil. According to Japanese students, activities of interaction, investigation, experimentation and application are not frequent. The most recurrent activities observed and perceived by Japanese teachers are those of experimentation and interaction; In Brazil, those of interaction and application. Interviews with experts in Science Education and PISA managers in Brazil and Japan have shown that Japan s success in this assessment is associated with the existence of a common national curriculum and the teachers ongoing in-service training as well as the educational system reforms raised by the PISA results. The low performance of Brazilian students in PISA would, in turn, be related to the lack of preparation of the students, their lack of familiarity with the test, poor teacher training and the limited use of the evidence produced by the large scale evaluations.

A falta de alternativas ao modelo normal uni/multivariado já é um problema superado pois atualmente é possível encontrar inúmeros trabalhos que introduzem e desenvolvem generalizações da distribuição normal com relação `a assimetria, curtose e/ou multimodalidade (Branco e Arellano-Valle (2004), Genton (2004), Arellano-Valle et al. (2006)). No contexto dos modelos unidimensionais da Teoria da Resposta ao Item (TRI), Bazán (2005) percebeu esta realidade e introduziu uma classe denominada PANA (Probito Assimétrico - Normal Assimétrica) a qual permite modelar possíveis comportamentos assimétricos de um modelo (uma probabilidade) de resposta ao item bem como a especificação de uma distribuição normal assimétrica para os traços latentes (unidimensionais) a qual é utilizada no processo de estimação. Motivado pela necessidade de melhor representar os fenômenos da área psicométrica (Heinen, 1996, p. 105) e da atual disponibilidade de distribuições elípticas assimétricas cujas propriedades são tão convenientes quanto aquelas devidas `a distribuição normal, a proposta do presente trabalho é apresentar uma extensão do modelo K-dimensional de 3 Parâmetros Probito (Kd3PP) com vetores de traços latentes normalmente distribuídos para o caso t-Assimétrico, gerando, assim, o que denominamos modelo Kd3PP-tA. Nossa proposta, portanto, pode ser considerada como uma extensão do trabalho desenvolvido por Bazán (2005) tanto no sentido de extender a distribuição unidimensional assimétrica dos traços latentes para o caso multidimensional quanto no que conscerne em considerar o achatamento (curtose) da distribuição. Nossa proposta também pode ser vista como uma extensão do trabalho de Béguin e Glas (2001) no sentido de desenvolver o método de estimação bayesiana dos modelos multidimensionais da TRI via DAGS (Dados Aumentados com Amostrador de Gibbs) para o caso em que os vetores de traços latentes comportam-se segundo uma distribuição multivariada t-Assimétrica. No desenvolvimento deste trabalho nos deparamos com uma das principais dificuldades encontradas no processo de estimação e inferência dos modelos multidimensionais da TRI que é a falta de identificabilidade e, com a intenção de ampliar e desmistificar nossos conhecimentos sobre um assunto ainda pouco explorado na literatura da TRI, apresentamos um estudo bibliográfico sobre este tema tanto sob o contexto da inferência clássica quanto bayesiana. Com o intuito de identificar situações particulares em que o uso de uma distribuição normal assimétrica para os traços latentes seja de maior relevância para a estimação e inferência dos parâmetros de item, bem como outros parâmetros relacionados à distribuição dos traços latentes, algumas análises sobre conjuntos de dados simulados são desenvolvidas. Como conclusão destas análises, podemos dizer que há uma melhora superficial quando a informação sobre uma possível assimetria na distribuição dos traços latentes não é ignorada. Além disso, os resultados favoreceram a seleção dos modelos que consideram distribuições assimétricas para os traços latentes, principalmente quando são considerados os modelos que possibilitam a estimação dos parâmetros de localização e escala da distribuição dos vetores de traços latentes. Duas principais contribuições que consideramos de ordem prática, são: a análise e a interpretação de testes através da estimação de modelos uni e multidimensionais da TRI que consideram tanto distribuições simétricas quanto assimétricas para os vetores de traços latentes e a disponibilização de uma função escrita em códigos R e C++ para a estimação dos modelos apresentados e desenvolvidos no presente trabalho. / The lack of alternatives to the univariate or multivariate normal model has been already solved because actually it has been possible to find several works that introduce and develop generalizations of the normal distribution in relation to the asymmetry, kurtosis and/or multimodality (Branco e Arellano-Valle (2004), Genton (2004), Arellano-Valle et al. (2006). In the context of unidimensional models of the Item Response Theory (IRT), Baz´an (2005) observed this fact and introduced a class called PANA (Probito Assimétrico - Normal Assimétrica) which allows to take account for asymmetry in the shape of an item response model (probability) and the specification of a skew normal distribution for unidimensional latent traits which is used in the estimation process. Motivated by the need to better represent the phenomenon of psychometric area (Heinen, 1996, p. 105) and the current availability of skew elliptical distributions whose properties are as convenient as those due to normal distribution, the proposal of this work is to provide an extension of multidimensional 3 Parameters Probit model (Kd3PP) where latent traits vectors are normally distributed for the case of Skew-t distribution (Sahu et al., 2003), generating therefore what we call Kd3PP-St model. Our proposal, therefore, can be regarded as an extension of the work of Bazán (2005) in two ways: the first is extending the unidimensional skew normal distribution of latent traits to the multidimensional case and second in the sense to consider the flattening (kurtosis) of this distribution. Our proposal can also be seen as an extension of the work of B´eguin e Glas (2001) in the sense that we develop the Bayesian estimation method of the 3 parameters multidimensional item response model by DAGS (Augmentated Data with Gibbs sampling) for the case where the latent trait vectors behave according to a Skew-t multivariate distribution. In the development of this work we come across one of the main difficulties encountered in the process of estimation and inference of multidimensional IRT models which is the lack of identifiabilitie and, with the intent to demystify and expand our knowledge on a subject still little explored in the literature of the IRT, we present a bibliographical study on this subject both in the context of classical and Bayesian inference. In order to identify particular situations where the use of a skew normal distribution is more relevant to the estimation and inference of item parameters as well as other parameters related to the distribution of latent traits, some analyses on simulated data sets are developed. As results of these analyses, we can say that there is a modest improvement when information about a possible asymmetry in the distribution of latent traits is not ignored. Moreover, the results favored the selection of models that consider asymmetric distributions for latent traits, especially when models that enable the estimation of parameters of location and scale from this distribution are considered. Two main contributions that we consider of pratical interest are: analysis and interpretations of tests using unidimensional and multidimensional IRT models that consider both simetric and skewed distributions for the vectors of latent traits and a function written in R and C++ language program that is made disponible for the estimation of models treated in this work.

Testes Adaptativos Computadorizados (CAT) baseados na Teoria de Resposta ao Item permitem fazer testes mais precisos com um menor número de questões em relação à prova clássica feita a papel. Porém a construção de CAT envolve alguns questionamentos-chave, que quando feitos de forma adequada, podem melhorar ainda mais a precisão e a eficiência na estimativa das habilidades dos respondentes. Um dos principais questionamentos está na escolha da Regra de Seleção de Itens (ISR). O CAT clássico, faz uso, exclusivamente, de uma ISR. Entretanto, essas regras possuem vantagens, entre elas, a depender do nível de habilidade e do estágio em que o teste se encontra. Assim, o objetivo deste trabalho é reduzir o comprimento de provas dicotômicas - que consideram apenas se a resposta foi correta ou incorreta - que estão inseridas no ambiente de um CAT que faz uso, exclusivo, de apenas uma ISR sem perda significativa de precisão da estimativa das habilidades. Para tal, cria-se a abordagem denominada ALICAT que personaliza o processo de seleção de itens em CAT, considerando o uso de mais de uma ISR. Para aplicar essa abordagem é necessário primeiro analisar o desempenho de diferentes ISRs. Um estudo de caso na prova de Matemática e suas tecnologias do ENEM de 2012, indica que a regra de seleção de Kullback-Leibler com distribuição a posteriori (KLP) possui melhor desempenho na estimativa das habilidades dos respondentes em relação as regras: Informação de Fisher (F); Kullback-Leibler (KL); Informação Ponderada pela Máxima Verossimilhança (MLWI); e Informação ponderada a posteriori (MPWI). Resultados prévios da literatura mostram que CAT utilizando a regra KLP conseguiu reduzir a prova do estudo de caso em 46,6% em relação ao tamanho completo de 45 itens sem perda significativa na estimativa das habilidades. Neste trabalho, foi observado que as regras F e a MLWI tiveram melhor desempenho nos estágios inicias do CAT, para estimar respondentes com níveis de habilidades extremos negativos e positivos, respectivamente. Com a utilização dessas regras de seleção em conjunto, a abordagem ALICAT reduziu a mesma prova em 53,3% / Computerized Adaptive Testing (CAT) based on Item Response Theory allows more accurate assessments with fewer questions than the classic paper test. Nonetheless, the CAT building involves some key questions that, when done properly, can further improve the accuracy and efficiency in estimating examinees\' abilities. One of the main questions is in regard to choosing the Item Selection Rule (ISR). The classic CAT makes exclusive use of one ISR. However, these rules have differences depending on the examinees\' ability level and on the CAT stage. Thus, the objective of this work is to reduce the dichotomous - which considers only correct and incorrect answers - test size which is inserted on a classic CAT without significant loss of accuracy in the estimation of the examinee\'s ability level. For this purpose, we create the ALICAT approach that personalizes the item selection process in a CAT considering the use of more than one ISR. To apply this approach, we first analyze the performance of different ISRs. The case study in textit test of the ENEM 2012 shows that the Kullback-Leibler Information with a Posterior Distribution (KLP) has better performance in the examinees\' ability estimation when compared with: Fisher Information (F); Kullback-Leibler Information (KL); Maximum Likelihood Weighted Information(MLWI); and Maximum Posterior Weighted Information (MPWI) rules. Previous results in the literature show that CAT using KLP was able to reduce this test size by 46.6% from the full size of 45 items with no significant loss of accuracy in estimating the examinees\' ability level. In this work, we observe that the F and the MLWI rules performed better on early CAT stages to estimate examinees proficiency level with extreme negative and positive values, respectively. With this information, we were able to reduce the same test by 53.3% using an approach that uses the best rules together

A falta de alternativas ao modelo normal uni/multivariado já é um problema superado pois atualmente é possível encontrar inúmeros trabalhos que introduzem e desenvolvem generalizações da distribuição normal com relação `a assimetria, curtose e/ou multimodalidade (Branco e Arellano-Valle (2004), Genton (2004), Arellano-Valle et al. (2006)). No contexto dos modelos unidimensionais da Teoria da Resposta ao Item (TRI), Bazán (2005) percebeu esta realidade e introduziu uma classe denominada PANA (Probito Assimétrico - Normal Assimétrica) a qual permite modelar possíveis comportamentos assimétricos de um modelo (uma probabilidade) de resposta ao item bem como a especificação de uma distribuição normal assimétrica para os traços latentes (unidimensionais) a qual é utilizada no processo de estimação. Motivado pela necessidade de melhor representar os fenômenos da área psicométrica (Heinen, 1996, p. 105) e da atual disponibilidade de distribuições elípticas assimétricas cujas propriedades são tão convenientes quanto aquelas devidas `a distribuição normal, a proposta do presente trabalho é apresentar uma extensão do modelo K-dimensional de 3 Parâmetros Probito (Kd3PP) com vetores de traços latentes normalmente distribuídos para o caso t-Assimétrico, gerando, assim, o que denominamos modelo Kd3PP-tA. Nossa proposta, portanto, pode ser considerada como uma extensão do trabalho desenvolvido por Bazán (2005) tanto no sentido de extender a distribuição unidimensional assimétrica dos traços latentes para o caso multidimensional quanto no que conscerne em considerar o achatamento (curtose) da distribuição. Nossa proposta também pode ser vista como uma extensão do trabalho de Béguin e Glas (2001) no sentido de desenvolver o método de estimação bayesiana dos modelos multidimensionais da TRI via DAGS (Dados Aumentados com Amostrador de Gibbs) para o caso em que os vetores de traços latentes comportam-se segundo uma distribuição multivariada t-Assimétrica. No desenvolvimento deste trabalho nos deparamos com uma das principais dificuldades encontradas no processo de estimação e inferência dos modelos multidimensionais da TRI que é a falta de identificabilidade e, com a intenção de ampliar e desmistificar nossos conhecimentos sobre um assunto ainda pouco explorado na literatura da TRI, apresentamos um estudo bibliográfico sobre este tema tanto sob o contexto da inferência clássica quanto bayesiana. Com o intuito de identificar situações particulares em que o uso de uma distribuição normal assimétrica para os traços latentes seja de maior relevância para a estimação e inferência dos parâmetros de item, bem como outros parâmetros relacionados à distribuição dos traços latentes, algumas análises sobre conjuntos de dados simulados são desenvolvidas. Como conclusão destas análises, podemos dizer que há uma melhora superficial quando a informação sobre uma possível assimetria na distribuição dos traços latentes não é ignorada. Além disso, os resultados favoreceram a seleção dos modelos que consideram distribuições assimétricas para os traços latentes, principalmente quando são considerados os modelos que possibilitam a estimação dos parâmetros de localização e escala da distribuição dos vetores de traços latentes. Duas principais contribuições que consideramos de ordem prática, são: a análise e a interpretação de testes através da estimação de modelos uni e multidimensionais da TRI que consideram tanto distribuições simétricas quanto assimétricas para os vetores de traços latentes e a disponibilização de uma função escrita em códigos R e C++ para a estimação dos modelos apresentados e desenvolvidos no presente trabalho. / The lack of alternatives to the univariate or multivariate normal model has been already solved because actually it has been possible to find several works that introduce and develop generalizations of the normal distribution in relation to the asymmetry, kurtosis and/or multimodality (Branco e Arellano-Valle (2004), Genton (2004), Arellano-Valle et al. (2006). In the context of unidimensional models of the Item Response Theory (IRT), Baz´an (2005) observed this fact and introduced a class called PANA (Probito Assimétrico - Normal Assimétrica) which allows to take account for asymmetry in the shape of an item response model (probability) and the specification of a skew normal distribution for unidimensional latent traits which is used in the estimation process. Motivated by the need to better represent the phenomenon of psychometric area (Heinen, 1996, p. 105) and the current availability of skew elliptical distributions whose properties are as convenient as those due to normal distribution, the proposal of this work is to provide an extension of multidimensional 3 Parameters Probit model (Kd3PP) where latent traits vectors are normally distributed for the case of Skew-t distribution (Sahu et al., 2003), generating therefore what we call Kd3PP-St model. Our proposal, therefore, can be regarded as an extension of the work of Bazán (2005) in two ways: the first is extending the unidimensional skew normal distribution of latent traits to the multidimensional case and second in the sense to consider the flattening (kurtosis) of this distribution. Our proposal can also be seen as an extension of the work of B´eguin e Glas (2001) in the sense that we develop the Bayesian estimation method of the 3 parameters multidimensional item response model by DAGS (Augmentated Data with Gibbs sampling) for the case where the latent trait vectors behave according to a Skew-t multivariate distribution. In the development of this work we come across one of the main difficulties encountered in the process of estimation and inference of multidimensional IRT models which is the lack of identifiabilitie and, with the intent to demystify and expand our knowledge on a subject still little explored in the literature of the IRT, we present a bibliographical study on this subject both in the context of classical and Bayesian inference. In order to identify particular situations where the use of a skew normal distribution is more relevant to the estimation and inference of item parameters as well as other parameters related to the distribution of latent traits, some analyses on simulated data sets are developed. As results of these analyses, we can say that there is a modest improvement when information about a possible asymmetry in the distribution of latent traits is not ignored. Moreover, the results favored the selection of models that consider asymmetric distributions for latent traits, especially when models that enable the estimation of parameters of location and scale from this distribution are considered. Two main contributions that we consider of pratical interest are: analysis and interpretations of tests using unidimensional and multidimensional IRT models that consider both simetric and skewed distributions for the vectors of latent traits and a function written in R and C++ language program that is made disponible for the estimation of models treated in this work.

Multidimensional forced-choice questionnaires can reduce the impact of numerous response biases typically associated with Likert scales. However, if scored with traditional methodology these instruments produce ipsative data, which has psychometric problems, such as constrained total test score and negative average scale inter-correlation. Ipsative scores distort scale relationships and reliability estimates, and make interpretation of scores problematic. This research demonstrates how Item Response Theory (IRT) modeling may be applied to overcome these problems. A multidimensional IRT model for forced-choice questionnaires is introduced, which is suitable for use with any forced-choice instrument composed of items fitting the dominance response model, with any number of measured traits, and any block sizes (i.e. pairs, triplets, quads etc.). The proposed model is based on Thurstone's framework for comparative data. Thurstonian IRT models are normal ogive models with structured factor loadings, structured uniquenesses, and structured local dependencies. These models can be straightforwardly estimated using structural equation modeling (SEM) software Mplus. Simulation studies show how the latent traits are recovered from the comparative binary data under different conditions. The Thurstonian IRT model is also tested with real participants in both research and occupational assessment settings. It is concluded that when the recommended design guidelines are met, scores estimated from forced-choice questionnaires with the proposed methodology reproduce the latent traits well.

The objective of this work is the evaluation of the impact on health care of the systematic use of health related quality of life (HRQL) measures. A systematic review and a meta-analysis of randomized clinical trials were performed. A novel method was developed for the interpretation of scores that was based on Item Response Theory and it was applied to Visual Function Index VF-14, a perceived visual function measure for cataract patients. In a before-after trial, the visual function of 833 consecutive cataract patients attending 19 ophthalmologists in hospital and primary care based practices was routinely assessed. The results suggest that the feed back on HRQL and perceived health to health professionals might improve some aspects of medical care process, but not its outcome. / El objetivo del presente trabajo es evaluar el impacto en la atención médica del uso sistemático de instrumentos de medida de la calidad de vida relacionada con la salud (CVRS). Para ello se realizó una revisión sistemática y meta-análisis de ensayos clínicos. Se desarrolló un método para la interpretación de las puntuaciones basado en Teoría de Respuesta al Ítem y se aplicó al Índice de Función Visual VF-14, una medida de función visual percibida para pacientes con cataratas. Se diseñó un estudio de intervención antes-después en el que se midió de forma sistemática la función visual de 833 pacientes con cataratas que acudieron de forma consecutiva a las consultas de 19 oftalmólogos en centros hospitalarios y de atención primaria. Los resultados indican que la administración de información sobre CVRS y salud percibida a los profesionales de la salud podría modificar algunos componentes del proceso de la atención sanitaria, pero no su resultado. / L' objectiu del present treball és l'avaluació de l'impacto a l' atenció mèdica de l'us sistemàtic dels instruments de mesura de la qualitat de vida relacionada amb la salut (QVRS). Es realitzà una revisió sistemàtica i meta-anàlisi d'assaijos clínics. Es va desenvolupar un mètode per a la interpretació de les puntuacions basat en la Teoria de Resposta a l'Ítem que es va aplicar a l'Índex de Funció Visual VF-14, una mesura de funció visual percebuda per a pacients amb cataractes. Es va dissenyar un estudi d'intervenció abans-després en el que es mesurà de forma sistemàtica la funció visual de 833 pacients amb cataractes atesos de forma consecutiva a les consultas de 19 oftalmòlegs de centres hospitalaris i d'atenció primària. Els resultats indiquen que l'administració d'información sobre QVRS i salut percebuda als professionals de la salut pot modificar alguns components del procés de l' atenció sanitària, pero no el seu resultat.

Magistro baigiamajame darbe nagrinėjami IRT įgalinti paslaugų gamybos ir prekybos pokyčiai, kuriuos kai kurie mokslininkai vadina revoliuciniais. Dėl teorinio ir praktinio naujumo literatūroje šie reiškiniai tirti įvairiais aspektais. Tačiau nepaisant literatūros gausos, nėra pateikiama išsamios ir nuoseklios teorijos, leidžiančios paaiškinti šiuos paslaugų gamybos ir prekybos pokyčius. Šio darbo tikslas yra esamų teorinių įžvalgų pagrindu išvystyti teorinius įrankius paslaugų gamybos ir prekybos permainoms, jų mechanizmui, ypatumams, atsižvelgiant į paslaugų, kaip besiskiriančių nuo prekių, charakteristikas, paaiškinti ir pagrįsti ir vadovaujantis šiais įrankiais atlikti analizę. Pirmame skyriuje atliekama kritinė paslaugų koncepcijų, jos apibrėžiančiųjų charakteristikų analizė siekiant apibrėžti paslaugas ir atskleisti jų savybes, kurios leis paaiškinti nagrinėjamas jų gamybos ir prekybos permainas. Pirmoje antrojo skyriaus dalyje išvystomas paslaugų gamybos ir prekybos pokyčiams esminėmis laikytinomis paslaugų savybėmis pagrįstas teorinis modelis, nagrinėjamas IRT, kaip pamatinio pokyčių veiksnio, poveikis ir jo mechanizmai paslaugų gamybai ir prekybai. Antroje antrojo skyriaus dalyje atliekamas tyrimas naudojantis išvystytu modeliu. Darbe naudoti mokslinio tyrimo metodai: sisteminė literatūros šaltinių analizė ir apibendrinimas; statistinių ir empirinių duomenų analizė; priežastingumo ryšių analizė; lyginamoji analizė; loginės analizės metodai. Svarbiausias darbo... [toliau žr. visą tekstą] / This master‘s thesis seeks to provide a theoretical framework for better understanding current Information & communication technology (ICT) enabled structural changes in services’ production & trade & perform an analysis using the developed framework. In the first part, services’ definitions & characteristics are examined by performing a critical analysis of existing theories with the purpose to identify a common denominator to enable identification of the internal determinants of the changes. It is concluded that services comprise a very wide range of economic goods which are extremely difficult (if not impossible) to generalize. The conceptualization of services is therefore far from complete. Further study showed that there exists a fundamental division within the services category, the defining feature of which is possibility of separation of services’ production & consumption. A theoretical framework for analysis of services’ production & consumption & production processes’ separability is produced by identifying 4 dimensions of separability & developing their matrix. Due to another important feature of services, their inherent immateriality, separability is greatly enhanced for some services or even enabled altogether for some others by Information & communication technology revolution. ICT further contributed to services’ separabillity by making it possible to fragment services’ production into constituent components some of which can be separated. Finally... [to full text]