Thesis (Ph.D.)--Ohio University, August, 2009. / Title from PDF t.p. Includes bibliographical references.

abstract: The existing minima for sample size and test length recommendations for DIMTEST (750 examinees and 25 items) are tied to features of the procedure that are no longer in use. The current version of DIMTEST uses a bootstrapping procedure to remove bias from the test statistic and is packaged with a conditional covariance-based procedure called ATFIND for partitioning test items. Key factors such as sample size, test length, test structure, the correlation between dimensions, and strength of dependence were manipulated in a Monte Carlo study to assess the effectiveness of the current version of DIMTEST with fewer examinees and items. In addition, the DETECT program was also used to partition test items; a second feature of this study also compared the structure of test partitions obtained with ATFIND and DETECT in a number of ways. With some exceptions, the performance of DIMTEST was quite conservative in unidimensional conditions. The performance of DIMTEST in multidimensional conditions depended on each of the manipulated factors, and did suggest that the minima of sample size and test length can be made lower for some conditions. In terms of partitioning test items in unidimensional conditions, DETECT tended to produce longer assessment subtests than ATFIND in turn yielding different test partitions. In multidimensional conditions, test partitions became more similar and were more accurate with increased sample size, for factorially simple data, greater strength of dependence, and a decreased correlation between dimensions. Recommendations for sample size and test length minima are provided along with suggestions for future research. / Dissertation/Thesis / M.A. Educational Psychology 2012

Multiple Choice Questions (MCQs) have long been the backbone of standardized testing in academia and industry. Correspondingly, there is a constant need for the authors of MCQs to write and refine new questions for new versions of standardized tests as well as to support measuring performance in the emerging massive open online courses, (MOOCs). Research that explores what makes a question difficult, or what questions distinguish higher-performing students from lower-performing students can aid in the creation of the next generation of teaching and evaluation tools. In the automated MCQ answering component of this thesis, algorithms query for definitions of scientific terms, process the returned web results, and compare the returned definitions to the original definition in the MCQ. This automated method for answering questions is then augmented with a model, based on human performance data from crowdsourced question sets, for analysis of question difficulty as well as the discrimination power of the non-answer alternatives. The crowdsourced question sets come from PeerWise, an open source online college-level question authoring and answering environment. The goal of this research is to create an automated method to both answer and assesses the difficulty of multiple choice inverse definition questions in the domain of introductory biology. The results of this work suggest that human-authored question banks provide useful data for building gold standard human performance models. The methodology for building these performance models has value in other domains that test the difficulty of questions and the quality of the exam takers.

Introdução: A Teoria de Resposta ao Item constitui-se em um novo grupo de modelos psicométricos de construção, validação e avaliação de instrumentos de aferição em desfechos em saúde. Dentre tais modelos, o Modelo de Rasch se destaca como uma possibilidade de testar a Teoria de Mensuração Conjunta e, portanto, desenvolver escalas de medida com estrutura intervalar. De fato, as robustas estratégias estatísticas utilizadas recentemente demandam que as variáveis apresentem propriedades intervalares para que resultados fidedignos sejam obtidos. Na área da saúde mental, o Modelo de Rasch agrega a possibilidade de que os construtos sejam avaliados quanto à dimensionalidade. Os instrumentos podem ser explorados quanto à invariância dos itens, calibragem, adequação das escalas de resposta e adequação dos itens ao modelo teórico subjacente.Objetivos: Explorar a aplicação do Modelo de Rasch no desenvolvimento de instrumentos de qualidade de vida e atitudes frente ao envelhecimento. Utilizar o Modelo de Rasch na validação cultural de um instrumento de depressão geriátrica, assim como testar a adequação de uma escala de resposta Likert de acordo com o nível educacional, através da aplicação do Modelo de Rasch. Método: Dados internacionais de qualidade de vida, atitudes frente ao envelhecimento e depressão foram utilizados nestes estudos. Os dados são provenientes do Projeto WHOQOL-OLD e AAQ, coordenado pela Organização Mundial de Saúde em 20 países. Uma combinação de Teoria Clássica emPsicometria e Modelo de Rasch foi utilizada para a análise dos dados. O Modelo de Rasch foi implementado através do software RUMM2020. Resultados: A utilização do Modelo de Rasch possibilitou um refinamento dos instrumentos testados, gerando instrumentos com novos formatos mais adequados. No instrumento WHOQOL-OLD, em sua versão em Português, dois domínios dos seis apresentaram interação item-total insuficiente. O remodelamento da escala de resposta e a exclusão de itens de performance inadequada acarretaram melhora da escala. O instrumento Atitudes Frente ao Envelhecimento também necessitou de exclusão de itens e agrupamento de categorias de resposta, em sua versão em Português, para que seu desempenho psicométrico fosse adequado. Em relação ao nível de escolaridade, a análise dos dados gerados pelo instrumento WHOQOL-BREF em uma amostra internacional de idosos por Modelo de Rasch evidenciou que uma escala Likert de cinco pontos não é adequada para sujeitos analfabetos, em oposição aos achados com sujeitos universitários. A escala de depressão geriátrica GDS também foi analisada em uma amostra brasileira. O formato original de 15 itens se mostrou inadequado, e a exclusão de itens é fundamental para que o desempenho deste instrumento seja satisfatório. Por fim, o impacto de sintomas depressivos clínicos e subclínicos na qualidade de vida de idosos foi avaliado. Mesmo níveis subclínicos de depressão mostraram-se significativamente associados a decréscimo de qualidade de vida e atitudes frente ao envelhecimento em uma amostra de 5566 idosos. Conclusão: A aplicação do Modelo de Rasch no desenvolvimento e validação de instrumentos na área da saúde mental mostrou-se marcadamente relevante. Tal modelo proporcionou que as escalas possam ser examinadas em detalhes. A avaliação dos itens de modo individual permite que a sua adequação seja determinada e que o instrumento seja refinado de acordo com as modificações sugeridas pelas análises de Rasch. Por fim, o Modelo de Rasch permite o teste de invariância dos itens, que assume particular importância na utilização transcultural de instrumentos na área da saúde mental. / Background: Item Response Theory represents a novel group of psychometric models for constructing, validating and evaluating health outcome instruments. Among these models, the Rasch Model is able to test the Theory of Conjoint Measurement and, so, develop intervalar scales. In fact, the recently applied robust statistical strategies demand that the variables have an intervalar structure, so that reliable results are obtained. In the mental health field, the Rasch Model assures that the constructs may be tested for dimensionality. The instruments may be explored regarding item invariance, targetting, response scales adequacy and item fit to the underlying theoretical model. Objectives: To explore the role of the Rasch Model for the development of quality of life and attitudes to aging instruments. In addition, to apply the Rasch Model in the cultural validation of a geriatric depression scale, as well as test the suitability of a 5-point Likert response scale according to the educational level. Method: International data on quality of life, attitudes to aging and depression were analyzed in these studies. Data were drawn from the WHOQOL-OLD and AAQ Project, coordinated by the World Health Organization in 20 countries. A combination of Classical Test Theory and Rasch Model was used to data analysis. The Rasch Model was implemented by RUMM2020 software. Results: The application of the Rasch Model determined a refinement of the original instruments, deriving more adequate versions. The Portuguese version of the WHOQOL-OLD instrument presented insufficient item-total interaction in two domains out of six. Rescoring the response scale and deleting items led to 14 improvement of the instrument. The Attitudes to Aging Questionnaire (Portuguese version) has also demanded rescoring and item deletion in order to present adequate psychometric performance. Regarding the educational level, the Rasch analysis of data obtained using the WHOQOL-BREF in an international sample of older adults indicated that a 5-point Likert scale is not suitable for illiterate subjects. In opositte, this Likert scale is suitable for graduate older adults. The Geriatric Depression Scale was explored in a Brazilian sample. Its original 15-item format has proven to be inadequate, and item exclusion is crucial to obtain a satisfactory performance. Finally, the impact of clinical and subclinical depressive symptoms in quality of life was assessed. Even subthreshold symptomatology is significantly associated to impairments in quality of life and attitudes to aging in a sample of 5566 older adults. Conclusion: The application of the Rasch Model to the development and validation of mental health instruments has proven to be highly relevant. This model brings the possibilty of examining scales in depth. The individual assessment of each item makes it possible to determine item fit and, thus, to refine the instruments according to the alterations claimed by the Rasch analysis. Finally, the Rasch Model implements the item invariance test, which is particularly important for utilizing instruments in transcultural investigations

The Chinese government has announced the 2013 Guidelines for developing a national system for early detection of disability among children under 6 years of age. However, given limited resources, challenges exist with developmental measures required in the 2013 Guidelines. In order to meet the needs for a more accurate and cost-efficient measure for developmental assessment, the Ages & Stages Questionnaires:INVENTORY was translated into Simplified Chinese, and validated on a regional sample of 812 Chinese children ages from 1-25 months. Psychometric properties were examined; data from previous studies on the ASQ:INVENTORY in the U.S. were compared to identify differences between the two countries. Results indicated that the Chinese ASQ:INVENTORY was an instrument with sufficient internal consistency, reliability and validity. It was well accepted by parents and professionals in China. Findings suggested that the Chinese ASQ:INVENTORY provides a promising alternative measure for screening and diagnosing developmental delays in young children in China. Implications for future research and implementation are discussed.

We apply multidimensional item response theory models (MIRT) to analyse multi-category purchase decisions. We further compare their performance to benchmark models by means of topic models. Estimation is based on two types of data sets. One contains only binary the other polytomous purchase decisions. We show that MIRT are superior w. r. t. our chosen benchmark models. In particular, MIRT are able to reveal intuitive latent traits that can be interpreted as characteristics of households relevant for multi-category purchase decisions. With the help of latent traits marketers are able to predict future purchase behaviour for various types of households. These information may guide shop managers for cross selling activities and product recommendations.

Introdução: A Teoria de Resposta ao Item constitui-se em um novo grupo de modelos psicométricos de construção, validação e avaliação de instrumentos de aferição em desfechos em saúde. Dentre tais modelos, o Modelo de Rasch se destaca como uma possibilidade de testar a Teoria de Mensuração Conjunta e, portanto, desenvolver escalas de medida com estrutura intervalar. De fato, as robustas estratégias estatísticas utilizadas recentemente demandam que as variáveis apresentem propriedades intervalares para que resultados fidedignos sejam obtidos. Na área da saúde mental, o Modelo de Rasch agrega a possibilidade de que os construtos sejam avaliados quanto à dimensionalidade. Os instrumentos podem ser explorados quanto à invariância dos itens, calibragem, adequação das escalas de resposta e adequação dos itens ao modelo teórico subjacente.Objetivos: Explorar a aplicação do Modelo de Rasch no desenvolvimento de instrumentos de qualidade de vida e atitudes frente ao envelhecimento. Utilizar o Modelo de Rasch na validação cultural de um instrumento de depressão geriátrica, assim como testar a adequação de uma escala de resposta Likert de acordo com o nível educacional, através da aplicação do Modelo de Rasch. Método: Dados internacionais de qualidade de vida, atitudes frente ao envelhecimento e depressão foram utilizados nestes estudos. Os dados são provenientes do Projeto WHOQOL-OLD e AAQ, coordenado pela Organização Mundial de Saúde em 20 países. Uma combinação de Teoria Clássica emPsicometria e Modelo de Rasch foi utilizada para a análise dos dados. O Modelo de Rasch foi implementado através do software RUMM2020. Resultados: A utilização do Modelo de Rasch possibilitou um refinamento dos instrumentos testados, gerando instrumentos com novos formatos mais adequados. No instrumento WHOQOL-OLD, em sua versão em Português, dois domínios dos seis apresentaram interação item-total insuficiente. O remodelamento da escala de resposta e a exclusão de itens de performance inadequada acarretaram melhora da escala. O instrumento Atitudes Frente ao Envelhecimento também necessitou de exclusão de itens e agrupamento de categorias de resposta, em sua versão em Português, para que seu desempenho psicométrico fosse adequado. Em relação ao nível de escolaridade, a análise dos dados gerados pelo instrumento WHOQOL-BREF em uma amostra internacional de idosos por Modelo de Rasch evidenciou que uma escala Likert de cinco pontos não é adequada para sujeitos analfabetos, em oposição aos achados com sujeitos universitários. A escala de depressão geriátrica GDS também foi analisada em uma amostra brasileira. O formato original de 15 itens se mostrou inadequado, e a exclusão de itens é fundamental para que o desempenho deste instrumento seja satisfatório. Por fim, o impacto de sintomas depressivos clínicos e subclínicos na qualidade de vida de idosos foi avaliado. Mesmo níveis subclínicos de depressão mostraram-se significativamente associados a decréscimo de qualidade de vida e atitudes frente ao envelhecimento em uma amostra de 5566 idosos. Conclusão: A aplicação do Modelo de Rasch no desenvolvimento e validação de instrumentos na área da saúde mental mostrou-se marcadamente relevante. Tal modelo proporcionou que as escalas possam ser examinadas em detalhes. A avaliação dos itens de modo individual permite que a sua adequação seja determinada e que o instrumento seja refinado de acordo com as modificações sugeridas pelas análises de Rasch. Por fim, o Modelo de Rasch permite o teste de invariância dos itens, que assume particular importância na utilização transcultural de instrumentos na área da saúde mental. / Background: Item Response Theory represents a novel group of psychometric models for constructing, validating and evaluating health outcome instruments. Among these models, the Rasch Model is able to test the Theory of Conjoint Measurement and, so, develop intervalar scales. In fact, the recently applied robust statistical strategies demand that the variables have an intervalar structure, so that reliable results are obtained. In the mental health field, the Rasch Model assures that the constructs may be tested for dimensionality. The instruments may be explored regarding item invariance, targetting, response scales adequacy and item fit to the underlying theoretical model. Objectives: To explore the role of the Rasch Model for the development of quality of life and attitudes to aging instruments. In addition, to apply the Rasch Model in the cultural validation of a geriatric depression scale, as well as test the suitability of a 5-point Likert response scale according to the educational level. Method: International data on quality of life, attitudes to aging and depression were analyzed in these studies. Data were drawn from the WHOQOL-OLD and AAQ Project, coordinated by the World Health Organization in 20 countries. A combination of Classical Test Theory and Rasch Model was used to data analysis. The Rasch Model was implemented by RUMM2020 software. Results: The application of the Rasch Model determined a refinement of the original instruments, deriving more adequate versions. The Portuguese version of the WHOQOL-OLD instrument presented insufficient item-total interaction in two domains out of six. Rescoring the response scale and deleting items led to 14 improvement of the instrument. The Attitudes to Aging Questionnaire (Portuguese version) has also demanded rescoring and item deletion in order to present adequate psychometric performance. Regarding the educational level, the Rasch analysis of data obtained using the WHOQOL-BREF in an international sample of older adults indicated that a 5-point Likert scale is not suitable for illiterate subjects. In opositte, this Likert scale is suitable for graduate older adults. The Geriatric Depression Scale was explored in a Brazilian sample. Its original 15-item format has proven to be inadequate, and item exclusion is crucial to obtain a satisfactory performance. Finally, the impact of clinical and subclinical depressive symptoms in quality of life was assessed. Even subthreshold symptomatology is significantly associated to impairments in quality of life and attitudes to aging in a sample of 5566 older adults. Conclusion: The application of the Rasch Model to the development and validation of mental health instruments has proven to be highly relevant. This model brings the possibilty of examining scales in depth. The individual assessment of each item makes it possible to determine item fit and, thus, to refine the instruments according to the alterations claimed by the Rasch analysis. Finally, the Rasch Model implements the item invariance test, which is particularly important for utilizing instruments in transcultural investigations

abstract: The use of exams for classification purposes has become prevalent across many fields including professional assessment for employment screening and standards based testing in educational settings. Classification exams assign individuals to performance groups based on the comparison of their observed test scores to a pre-selected criterion (e.g. masters vs. nonmasters in dichotomous classification scenarios). The successful use of exams for classification purposes assumes at least minimal levels of accuracy of these classifications. Classification accuracy is an index that reflects the rate of correct classification of individuals into the same category which contains their true ability score. Traditional methods estimate classification accuracy via methods which assume that true scores follow a four-parameter beta-binomial distribution. Recent research suggests that Item Response Theory may be a preferable alternative framework for estimating examinees' true scores and may return more accurate classifications based on these scores. Researchers hypothesized that test length, the location of the cut score, the distribution of items, and the distribution of examinee ability would impact the recovery of accurate estimates of classification accuracy. The current simulation study manipulated these factors to assess their potential influence on classification accuracy. Observed classification as masters vs. nonmasters, true classification accuracy, estimated classification accuracy, BIAS, and RMSE were analyzed. In addition, Analysis of Variance tests were conducted to determine whether an interrelationship existed between levels of the four manipulated factors. Results showed small values of estimated classification accuracy and increased BIAS in accuracy estimates with few items, mismatched distributions of item difficulty and examinee ability, and extreme cut scores. A significant four-way interaction between manipulated variables was observed. In additional to interpretations of these findings and explanation of potential causes for the recovered values, recommendations that inform practice and avenues of future research are provided. / Dissertation/Thesis / M.A. Educational Psychology 2013

Introdução: A Teoria de Resposta ao Item constitui-se em um novo grupo de modelos psicométricos de construção, validação e avaliação de instrumentos de aferição em desfechos em saúde. Dentre tais modelos, o Modelo de Rasch se destaca como uma possibilidade de testar a Teoria de Mensuração Conjunta e, portanto, desenvolver escalas de medida com estrutura intervalar. De fato, as robustas estratégias estatísticas utilizadas recentemente demandam que as variáveis apresentem propriedades intervalares para que resultados fidedignos sejam obtidos. Na área da saúde mental, o Modelo de Rasch agrega a possibilidade de que os construtos sejam avaliados quanto à dimensionalidade. Os instrumentos podem ser explorados quanto à invariância dos itens, calibragem, adequação das escalas de resposta e adequação dos itens ao modelo teórico subjacente.Objetivos: Explorar a aplicação do Modelo de Rasch no desenvolvimento de instrumentos de qualidade de vida e atitudes frente ao envelhecimento. Utilizar o Modelo de Rasch na validação cultural de um instrumento de depressão geriátrica, assim como testar a adequação de uma escala de resposta Likert de acordo com o nível educacional, através da aplicação do Modelo de Rasch. Método: Dados internacionais de qualidade de vida, atitudes frente ao envelhecimento e depressão foram utilizados nestes estudos. Os dados são provenientes do Projeto WHOQOL-OLD e AAQ, coordenado pela Organização Mundial de Saúde em 20 países. Uma combinação de Teoria Clássica emPsicometria e Modelo de Rasch foi utilizada para a análise dos dados. O Modelo de Rasch foi implementado através do software RUMM2020. Resultados: A utilização do Modelo de Rasch possibilitou um refinamento dos instrumentos testados, gerando instrumentos com novos formatos mais adequados. No instrumento WHOQOL-OLD, em sua versão em Português, dois domínios dos seis apresentaram interação item-total insuficiente. O remodelamento da escala de resposta e a exclusão de itens de performance inadequada acarretaram melhora da escala. O instrumento Atitudes Frente ao Envelhecimento também necessitou de exclusão de itens e agrupamento de categorias de resposta, em sua versão em Português, para que seu desempenho psicométrico fosse adequado. Em relação ao nível de escolaridade, a análise dos dados gerados pelo instrumento WHOQOL-BREF em uma amostra internacional de idosos por Modelo de Rasch evidenciou que uma escala Likert de cinco pontos não é adequada para sujeitos analfabetos, em oposição aos achados com sujeitos universitários. A escala de depressão geriátrica GDS também foi analisada em uma amostra brasileira. O formato original de 15 itens se mostrou inadequado, e a exclusão de itens é fundamental para que o desempenho deste instrumento seja satisfatório. Por fim, o impacto de sintomas depressivos clínicos e subclínicos na qualidade de vida de idosos foi avaliado. Mesmo níveis subclínicos de depressão mostraram-se significativamente associados a decréscimo de qualidade de vida e atitudes frente ao envelhecimento em uma amostra de 5566 idosos. Conclusão: A aplicação do Modelo de Rasch no desenvolvimento e validação de instrumentos na área da saúde mental mostrou-se marcadamente relevante. Tal modelo proporcionou que as escalas possam ser examinadas em detalhes. A avaliação dos itens de modo individual permite que a sua adequação seja determinada e que o instrumento seja refinado de acordo com as modificações sugeridas pelas análises de Rasch. Por fim, o Modelo de Rasch permite o teste de invariância dos itens, que assume particular importância na utilização transcultural de instrumentos na área da saúde mental. / Background: Item Response Theory represents a novel group of psychometric models for constructing, validating and evaluating health outcome instruments. Among these models, the Rasch Model is able to test the Theory of Conjoint Measurement and, so, develop intervalar scales. In fact, the recently applied robust statistical strategies demand that the variables have an intervalar structure, so that reliable results are obtained. In the mental health field, the Rasch Model assures that the constructs may be tested for dimensionality. The instruments may be explored regarding item invariance, targetting, response scales adequacy and item fit to the underlying theoretical model. Objectives: To explore the role of the Rasch Model for the development of quality of life and attitudes to aging instruments. In addition, to apply the Rasch Model in the cultural validation of a geriatric depression scale, as well as test the suitability of a 5-point Likert response scale according to the educational level. Method: International data on quality of life, attitudes to aging and depression were analyzed in these studies. Data were drawn from the WHOQOL-OLD and AAQ Project, coordinated by the World Health Organization in 20 countries. A combination of Classical Test Theory and Rasch Model was used to data analysis. The Rasch Model was implemented by RUMM2020 software. Results: The application of the Rasch Model determined a refinement of the original instruments, deriving more adequate versions. The Portuguese version of the WHOQOL-OLD instrument presented insufficient item-total interaction in two domains out of six. Rescoring the response scale and deleting items led to 14 improvement of the instrument. The Attitudes to Aging Questionnaire (Portuguese version) has also demanded rescoring and item deletion in order to present adequate psychometric performance. Regarding the educational level, the Rasch analysis of data obtained using the WHOQOL-BREF in an international sample of older adults indicated that a 5-point Likert scale is not suitable for illiterate subjects. In opositte, this Likert scale is suitable for graduate older adults. The Geriatric Depression Scale was explored in a Brazilian sample. Its original 15-item format has proven to be inadequate, and item exclusion is crucial to obtain a satisfactory performance. Finally, the impact of clinical and subclinical depressive symptoms in quality of life was assessed. Even subthreshold symptomatology is significantly associated to impairments in quality of life and attitudes to aging in a sample of 5566 older adults. Conclusion: The application of the Rasch Model to the development and validation of mental health instruments has proven to be highly relevant. This model brings the possibilty of examining scales in depth. The individual assessment of each item makes it possible to determine item fit and, thus, to refine the instruments according to the alterations claimed by the Rasch analysis. Finally, the Rasch Model implements the item invariance test, which is particularly important for utilizing instruments in transcultural investigations

Orientador: Luiz Carlos de Freitas, Dalton Francisco de Andrade / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Educação / Made available in DSpace on 2018-08-10T21:12:26Z (GMT). No. of bitstreams: 1 Stevao_ChristianeBellorioGennarideAndrade_M.pdf: 5247957 bytes, checksum: 947de91bb797b7b1b693ceab7297dd14 (MD5) Previous issue date: 2008 / Resumo: Este trabalho teve como problema pesquisa mostrar os resultados obtidos aplicando a Teoria da Resposta ao Item aos dados do Projeto GERES Campinas, o qual utiliza todos itens de um teste como âncora para a criação da escala de proficiência, e assim comparar os resultados com a forma clássica de se elaborar escalas, o qual usa critérios específicos para aceitação de um item como item âncora. Para isso trabalhamos com os dados da pesquisa GERES, um estudo longitudinal com alunos de 1ª a 4ª série do ensino fundamental na cidade de Campinas, que teve seu início em março de 2005, nas três redes de ensino, Estadual, Municipal e Particular. Apresentamos o desempenho dos alunos nas três primeiras aplicações, no teste de matemática, e mostramos que há divergência entre as duas técnicas / Abstract: This work had as a research issue to show the results obtained by applying the Theory of the Response to the item to the database from the GERES' Project of Campinas. This Project utilizes all the items of a test as an anchor to make the scale of proficiency, and then to compare the obtained results with the classical way to elaborate scales. The latter uses specific criteria for the approval of an item as an anchor item. Therefore, we have analyzed the data from GERES' Project, which consists of a longitudinal study with 1st to 4th grade students of Elementary School of Campinas City (State, Municipal and Private School System) that started in March, 2005. We present the performance of the students in the Mathematic Test considering the first three applications of GERES Project and as a conclusion we found a divergence between the two methods / Mestrado / Ensino, Avaliação e Formação de Professores / Mestre em Educação