Kognitive Diagnosemodelle (DCMs) sind konfirmatorische probabilistische Modelle mit kategorialen latenten Variablen, die Mehrfachladungsstrukturen erlauben. Sie ermöglichen die Abbildung der Kompetenzen in mehrdimensionalen Profilen, die zur Erstellung informativer Rückmeldungen dienen können. Diese Dissertation untersucht in zwei Anwendungsstudien und einer Simulationsstudie wichtige methodische Aspekte bei der Schätzung der DCMs. In der Arbeit wurde ein neuer Mathematiktest entwickelt basierend auf theoriegeleiteten vorab definierten Q-Matrizen. In den Anwendungsstudien (a) illustrierten wir die Anwendung der DCMs für empirische Daten für den neu entwickelten Mathematiktest, (b) verglichen die DCMs mit konfirmatorischen Faktorenanalysemodellen (CFAs), (c) untersuchten die inkrementelle Validität der mehrdimensionalen Profile und (d) schlugen eine Methode zum Vergleich konkurrierender DCMs vor. Ergebnisse der Anwendungsstudien zeigten, dass die geschätzten DCMs meist einen nicht akzeptablen Modellfit aufwiesen. Zudem fanden wir nur eine vernachlässigbare inkrementelle Validität der mehrdimensionalen Profile nach der Kontrolle der Personenparameter bei der Vorhersage der Mathematiknote. Zusammengenommen sprechen diese Ergebnisse dafür, dass DCMs per se keine zusätzliche Information über die mehrdimensionalen CFA-Modelle hinaus bereitstellen. DCMs erlauben jedoch eine andere Aufbereitung der Information. In der Simulationsstudie wurde die Präzision der Parameterschätzungen in log-linearen DCMs sowie die Sensitivität ausgewählter Indizes der Modellpassung auf verschiedene Formen der Fehlspezifikation der Interaktionsterme oder der Q-Matrix untersucht. Die Ergebnisse der Simulationsstudie zeigen, dass die Parameterwerte für große Stichproben korrekt geschätzt werden, während die Akkuratheit der Parameterschätzungen bei kleineren Stichproben z. T. beeinträchtigt ist. Ein großer Teil der Personen wird in Modellen mit fehlspezifizierten Q-Matrizen falsch klassifiziert. / Cognitive diagnostic classification models (DCMs) have been developed to assess the cognitive processes underlying assessment responses. Current dissertation aims to provide theoretical and practical considerations for estimation of DCMs for educational applications by investigating several important underexplored issues. To avoid problems related to retrofitting of DCMs to an already existing data, test construction of the newly mathematics assessment for primary school DMA was based on a-priori defined Q-matrices. In this dissertation we compared DCMs with established psychometric models and investigated the incremental validity of DCMs profiles over traditional IRT scores. Furthermore, we addressed the issue of the verification of the Q-matrix definition. Moreover, we examined the impact of invalid Q-matrix specification on item, respondent parameter recovery, and sensitivity of selected fit measures. In order to address these issues one simulation study and two empirical studies illustrating applications of several DCMs were conducted. In the first study we have applied DCMs in general diagnostic modelling framework and compared those models to factor analysis models. In the second study we implemented a complex simulation study and investigated the implications of Q-matrix misspecification on parameter recovery and classification accuracy for DCMs in log-linear framework. In the third study we applied results of the simulation study to a practical application based on the data for 2032 students for the DMA. Presenting arguments for additional gain of DCMs over traditional psychometric models remains challenging. Furthermore, we found only a negligible incremental validity of multivariate proficiency profiles compared to the one-dimensional IRT ability estimate. Findings from the simulation study revealed that invalid Q-matrix specifications led to decreased classification accuracy. Information-based fit indices were sensitive to strong model misspecifications.

Made available in DSpace on 2016-08-10T10:29:47Z (GMT). No. of bitstreams: 1 FERNANDA RODRIGUES BANDEIRA.pdf: 1587982 bytes, checksum: 894321815af951f54d99dfd6ebdce646 (MD5) Previous issue date: 2010-02-10 / Aims to present a way to measure and evaluate the organizational maturity for the implantation of a Total Quality Management System - TQMS, having as a case to study ITPAC Pharmacy School, that qualifies as a traditional business, which does not have a Quality Management System - QMS. This study is done as a quantity research with the directors and helpers of the organization, through questions, getting to know the opinion of all the inside workers of the Pharmacy School, achieving this way, through the answered obtained, the intensity of the active factors that stand in the way of a Total Quality Management in the developed activities. The parameters of the items in the questions made is calibrated by the research The Impact of Just-In-Time Implementation and ISO 9000 Certification on Total Quality Management by L. Paul Dreyfus, Sanjay L. Ahire, and Maling Ebrahimpour (2004). The method used applies concepts from the Item Answer Theory (IAT) to evaluate the maturity level of successful critic factors in the development of the activities in the Pharmacy School ITPAC: one related to the actions of implantation of a Total Quality Management System (TQMS) and another related to the Results obtained by the Pharmacy School Administrative Management ITPAC in relation to the quality of the products and services offered. The research also supplies lines of direction to help with eliminating the factors that interrupt Total Quality Management System in the Pharmacy School ITPAC according to the results achieved. These lines of direction allow the Pharmacy School to improve there processes and consequently, achieve higher levels of maturity to the implantation of a Total Quality Management System. It is important to emphasize that a Quality strategy planning, valuing the relationship with the clients, giving more strength to the capability of the processes and human functional links and the supplier, is a successful critic factor to any business. / Objetivou-se apresentar uma forma de medir e avaliar a maturidade organizacional para a implantação de um sistema de Gestão da Qualidade Total SGQT, tendo como estudo de caso o ITPAC Farmácia Escola, que se enquadra como uma empresa tradicional, ou seja, que não possui nenhum Sistema de Gestão da Qualidade SGQ. Este estudo se fez por meio de pesquisa quantitativa junto aos gestores e colaboradores da organização, através da aplicação de um questionário, visualizando o ponto de vista de todos os setores internos da Farmácia Escola, obtendo assim, através dos resultados encontrados, a intensidade dos fatores ativos que inibem a Gestão da Qualidade Total em suas atividades desenvolvidas. Os parâmetros dos itens do questionário aplicado é calibrado pela pesquisa The Impact of Just-In-Time Implementation and ISO 9000 Certification on Total Quality Management de L. Paul Dreyfus, Sanjay L. Ahire, and Maling Ebrahimpour (2004). O método utilizado aplica conceitos da Teoria da Resposta ao Item (TRI) para avaliar o grau de maturidade de fatores críticos de sucesso no desenvolvimento das atividades da Farmácia Escola - ITPAC: um relacionado às ações de implementação do Sistema de Gestão da Qualidade Total (SGQT) e outro relacionado aos Resultados obtidos pela Gestão Administrativa da Farmácia Escola - ITPAC com relação à qualidade dos produtos e serviços que oferece. A Pesquisa também fornece diretrizes para auxiliar na resolução dos fatores que inibem o emprego da Gestão da Qualidade Total na Farmácia Escola ITPAC pautadas nos resultados encontrados. Essas diretrizes possibilitam a Farmácia Escola, melhorar seus processos e conseqüentemente, alcançar níveis mais elevados de maturidade para a implantação da Gestão da Qualidade Total. É importante destacar que um planejamento estratégico da Qualidade, valorizando a relação com os clientes, potencializando a capacidade dos processos e dos vínculos humanos funcionais e dos fornecedores, é um fator crítico de sucesso para qualquer empresa.

Neste trabalho discutimos a análise bayesiana em modelos TRI (Teoria da Resposta ao Item) de três parâmetros com respostas binárias e ordinais, considerando a ligação probito. Em ambos os casos usamos técnicas baseadas em MCCM (método de Monte Carlo baseado em Cadeias de Markov) para estimação dos parâmetros dos itens. No modelo com respostas binárias, consideramos dois conjuntos de dados resultantes de provas com itens de múltipla-escolha. Para esses dados, foi feito um estudo da sensibilidade à escolha de distribuições a priori, além de uma análise das estimativas a posteriori para os parâmetros dos itens: discriminação, dificuldade e probabilidade de acerto ao acaso. Um terceiro conjunto de dados foi utilizado no estudo do modelo com respostas ordinais. Estes dados são provenientes de uma disciplina básica de estatística, onde a prova contêm itens dissertativos. As respostas foram classificadas nas categorias: certa, errada ou parcialmente certa. Utilizamos o programa WinBugs para a estimação dos parâmetros do modelo binário e a função MCMCordfactanal do programa R para estimar os parâmetros do modelo ordinal. Ambos os softwares são não proprietários e gratuitos (livres). / In this dissertation the bayesian analysis for three parameters IRT (Item Response Theory) models with binaries and ordinals responses, considering the probit model, was discussed. For both cases, binary and ordinal, techniques based on MCCM (Monte Carlo Markov Chain) were used to estimate the items parameters. For binary response model, was considered two data sets from tests with multipla choices items. For these two data sets, a sensibility study of the priori distributions choice was considered, and also, an analyses of a posteriori estimates of the items parameters: discrimination, difficulties and guessing. A third data set is used to ilustrate the ordinal response model. This come from an elementar statistical course, where a test with open items is considered. The responses are classified in the following categories: correct, wrong or partial correct. The WinBugs software was used to estimate the parameters for the binary model and, for the ordinal model was considered the function MCMCordfactanal from R program.

Este trabalho apresenta uma proposta para o ensino da Estatística e Probabilidade nas séries finais do Ensino Fundamental II. Seu objetivo é mostrar que a metodologia aqui adotada possibilita a aquisição de conceitos estatísticos e probabilísticos, assim como o desenvolvimento de habilidades pessoais e interpessoais. Trata de um projeto fundamentado em Planejamento de Experimentos com respaldo na aprendizagem ativa. Na sequência didática do projeto os alunos realizaram um experimento com aviões de papel no qual tiveram que responder, na prática, a seguinte questão \"Quais alterações podem ser feitas em um modelo de avião de papel para que ele permaneça mais tempo no ar?\". Para atestar a efetividade da sequência didática, foi construído e validado um Teste de Proficiência em Estatística e Probabilidade (TEPEP) com base nos fundamentos da Psicometria. A análise das características do teste foi feita por meio da Teoria Clássica dos Testes e da Teoria de Resposta ao Item. Foram sujeitos da pesquisa 391 alunos de escolas públicas e particulares da região do Vale do Paraíba, Estado de São Paulo. Desse total, 374 auxiliaram na validação do instrumento e os 17 alunos restantes participaram do projeto. Os resultados deste trabalho mostraram que o uso de Planejamento de Experimentos favoreceu a aprendizagem da Estatística e Probabilidade, desenvolvendo também outras competências. Em relação à validação do TEPEP, concluiu-se que os métodos psicométricos empregados têm grande potencial e devem ser mais explorados. Esta pesquisa apresenta, como produtos finais, a metodologia desenvolvida e o teste de proficiência construído, oferecendo ambos a professores e pesquisadores. / This work presents a proposal for teaching of Statistics and Probability, for the last years of Elementary School. Its objective is to show that the methodology adopted here allows the acquisition of statistical and probabilistic concepts, as well as the development of personal and interpersonal skills. It\'s a project with a didactic sequence grounded in Designs of Experiments, supported in active learning. In the didactic sequence of the project the students carried out an experiment with paper airplanes in which they had to answer, in practice, the following question \"What changes can be made to a paper airplane model so that it stays longer in the air?\". To attest the effectiveness of the didactic sequence, it was developed and validated a Proficiency Test in Statistics and Probability (PTSP), this using Psychometry. The analysis of the characteristics of the test was made through the Classical Test Theory and the Item Response Theory. The research subjects were a total of 391 students from public and private schools in the Vale do Paraíba region, State of São Paulo. Of this total, 17 students participated in the project. The other students (374) assisted in the test validation. The results of this research showed that the use of Design of Experiments favored the learning of Statistic and Probability, also to develop others competences. Regarding the validation of PTSP, it could be concluded that the psychometric methods used have potential and they should be more explored. This research acclaims, as final products, the developed methodology and the Proficiency test validated, both offered to teachers and researchers.

No presente trabalho propomos uma estrutura bayesiana, através de um esquema de dados aumentados, para analisar modelos longitudinais com grupos mútiplos (MLGMTRI) na Teoria da Resposta ao Item (TRI). Tal estrutura consiste na tríade : modelagem, métodos de estimação e métodos de diagnóstico para a classe de MLGMTRI. Na parte de modelagem, explorou-se as estruturas multivariada e multinível, com o intuito de representar a hierarquia existente em dados longitudinais com grupos múltiplos. Esta abordagem permite considerar várias classes de submodelos como: modelos de grupos múltiplos e modelos longitudinais de um único grupo. Estudamos alguns aspectos positivos e negativos de cada uma das supracitadas abordagens. A modelagem multivariada permite representar de forma direta estruturas de dependência, além de possibilitar que várias delas sejam facilmente incorporadas no processo de estimação. Isso permite considerar, por exemplo, uma matriz não estruturada e assim, obter indícios da forma mais apropriada para a estrutura de dependência. Por outro lado, a modelagem multinível propicia uma interpretação mais direta, obtenção de condicionais completas univariadas, fácil inclusão de informações adicionais, incorporação de fontes de dependência intra e entre unidades amostrais, dentre outras. Com relação aos métodos de estimação, desenvolvemos um procedimento baseado nas simulações de Monte Carlo via cadeias de Markov (MCMC). Mostramos que as distribuições condicionais completas possuem forma analítica conhecida e, além disso, são fáceis de se amostrar. Tal abordagem, apesar de demandar grande esforço computacional, contorna diversos problemas encontrados em outros procedimentos como: limitação no número de grupos envolvidos, quantidade de condições de avaliação, escolha de estruturas de dependência, assimetria dos traços latentes, imputação de dados, dentre outras. Além disso, através da metodologia MCMC, desenvolvemos uma estrutura de seleção de matrizes de covariâncias, através de um esquema de Monte Carlo via Cadeias de Markov de Saltos Reversíveis (RJMCMC). Estudos de simulação indicam que o modelo, o método de estimação e o método de seleção produzem resultados bastante satisfatórios. Também, robustez à escolha de prioris e valores iniciais foi observada. Os métodos de estimação desenvolvidos podem ser estendidos para diversas situações de interesse de um modo bem direto. Algumas das técnicas de diagnóstico estudadas permitem avaliar a qualidade do ajuste do modelo de um modo global. Outras medidas fornecem indícios de violação de suposições específicas, como ausência de normalidade para os traços latentes. Tal metodologia fornece meios concretos de se avaliar a qualidade do instrumento de medida (prova, questionário etc). Finalmente, a análise de um conjunto de dados real, utilizando-se alguns dos modelos abordados no presente trabalho, ilustra o potencial da tríade desenvolvida além de indicar um ganho na utilização dos modelos longitudinais da TRI na análise de ensaios educacionais com medidas repetidas em deterimento a suposição de independência. / In this work we proposed a bayesian framework, by using an augmented data scheme, to analyze longitudinal multiple groups models (LMGMIRT) in the Item Response Theory (IRT). Such framework consists in the following set : modelling, estimation methods and diagnostic tools to the LMGMIRT. Concerning the modelling, we exploited multivariate and multilevel structures in order to represent the hierarchical nature of the longitudinal multiple groupos model. This approach allows to consider several submodels such that: multiple groups and longitudinal one group models. We studied some positive and negative aspects of both above mentioned approches. The multivariate modelling allows to represent, in a straightforward way, many dependence structures. Furthermore it possibilities that many of them can be easily considered in the estimation process. This allows, for example, to consider an unstructured covariance matrix and, then, it allows to obtain information about the most appropritate dependece structure. On the other hand, the multilevel modelling permits to obtain: more straightforward interpretations of the model, the construction of univariate full conditional distributions, an easy way to include auxiliary information, the incorporation of within and between subjects (groups) sources of variability, among others. Concerning the estimation methods, we developed a procedure based on Monte Carlo Markov Chain (MCMC) simulation. We showed that the full conditional distributions are known and easy to sample from. Even though such approach demands a considerable amount of time it circumvents many problems such that: limitation in the number of groups that can be considered, the limitation in the number of instants of observation, the choice of covariance matrices, latent trait asymmetry, data imputation, among others. Furthermore, within the MCMC metodology, we developed a procedure to select covariance matrices, by using the so called Reversible Jump MCMC (RJMCMC). Simulation studies show that the model, the estimation method and the model selection procedure produce reasonable results. Also, the studies indicate that the developed metodology presents robustness concerning prior choice and different initial values choice. It is possible to extent the developed estimation methods to other situations in a straightforward way. Some diagnostics techniques that were studied allow to assess the model fit, in a global sense. Others techniques give directions toward the departing from some specific assumptions as the latent trait normality. Such methodology also provides ways to assess the quality of the test or questionaire used to measure the latent traits. Finally, by analyzing a real data set, using some of the models that were developed, it was possible to verify the potential of the methodology considered in this work. Furthermore, the results of this analysis indicate advantages in using longitudinal IRT models to model educational repeated measurement data instead of to assume independence.

Traditional tests for large-scale assessment of mathematics learning have been criticized for several reasons, such as their mismatch between the vision of mathematical competence and the content covered by the test, and their failure to provide relevant information for guiding further learning and instruction. To achieve that large-scale assessments can function as tools for monitoring and improving learning and teaching, one has to move away from the rationale, the constraints, and the practices of traditional tests. As an illustration this paper presents an alternative approach to largescale assessment of elementary school mathematics developed in Flanders, Belgium Using models of item response theory, 14 measurement scales were constructed, each representing a cluster of curriculum standards and covering as a whole the mathematics curriculum relating to numbers, measurement and geometry. A representative sample of 5,763 sixth-graders (12-year-olds) belonging to 184 schools participated in the study. Based on expert judgments a cut-off score was set that determines the minimum level that students must achieve on each scale to master the standards. Overall, the more innovative curriculum standards were mastered less well than the more traditional ones. Few gender differences in performance were observed. The advantages of this approach and its further development are discussed.

No description available.

Made available in DSpace on 2010-04-20T20:48:31Z (GMT). No. of bitstreams: 3 71040100499.pdf.jpg: 16266 bytes, checksum: 600e8a9f1cfb89d1b0ed0df002296139 (MD5) 71040100499.pdf: 3824101 bytes, checksum: cb7a1bf5076a35da07172b02ade64ace (MD5) 71040100499.pdf.txt: 233643 bytes, checksum: a6de5bcd9e087e7f9317d47d3ad96665 (MD5) Previous issue date: 2008-02-18T00:00:00Z / Existe a expectativa de que cada indivíduo absorva de forma rápida e satisfatória os avanços tecnológicos para que possa usufruir dos seus benefícios e permanecer competitivo no mercado de trabalho. Mesmo que o foco principal da maior parte das pesquisas esteja no alcance de benefícios para as empresas com o uso de tecnologia, a intenção de comportamento do indivíduo representa o passo inicial para a sua adoção. No entanto, ao mesmo tempo em que se percebe a evolução das tecnologias em benefício das pessoas, também existem evidências no sentido de um sentimento de frustração com a tecnologia. Nenhum estudo é conclusivo sobre a identificação das variáveis que afetam o desenvolvimento das percepções e intenções para a tecnologia. Além disso, a maior parte dos modelos foi testada em países desenvolvidos ou em camadas sociais superiores da população. O propósito principal dessa tese é apresentar forma alternativa de medir a Predisposição para a Tecnologia, que seja aplicável não apenas em situações específicas, mas também para toda a gama da população. O trabalho faz uso das ferramentas da Teoria de Resposta ao Item para a proposição e validação de uma nova escala de Predisposição para a Tecnologia, que se mostrou bastante consistente e coerente. A nova escala possui a vantagem de ter maior poder discriminante, especialmente para as classes de menor nível educacional e de renda. Além disso, a escala criada apresenta mais informação com um número reduzido de itens, o que pode representar reduções de custo e tempo de aplicação dos questionários. / There is an expectation that each individual absorb, in a fast and satisfactory way, technological advances so that he/she can take advantage of their benefits and remain competitive in the job market. Although the main focus of most researches is on the technological benefits for businesses using technology, the behavior intention of the individual represents the first step towards its adoption. However, at the same time, technology is perceived as an evolution for the benefit of people, there are also clear signs towards a sense of frustration with technology. No study is conclusive about identification of variables that affect the development of perceptions and intentions toward technology. Moreover, most of the models were tested in developed countries or in high social level populations. The main purpose of this thesis is to present an alternative way of measuring the Technology Predisposition, which applies not only in specific situations, but also for the full range of population. This study work makes use of the tools of Item Response Theory, for proposition and validation of a new scale of Technology Predisposition, which proved to be quite consistent and coherent. The new scale has the advantage of having more discriminative power, especially for the lower classes of educational level and income. Moreover, the created scale displays more information with a limited number of items, which may represent cost and time reductions.

Made available in DSpace on 2010-04-20T20:48:25Z (GMT). No. of bitstreams: 3 127069.pdf.jpg: 11605 bytes, checksum: f442e466112923acefc8517744135e8d (MD5) 127069.pdf: 1363751 bytes, checksum: 38a2699d587f65ea30682f3fbfee2b05 (MD5) 127069.pdf.txt: 230496 bytes, checksum: 731125dd5ec8de957061ab9be44d7e96 (MD5) Previous issue date: 2006-02-17T00:00:00Z / Pesquisas de opinião freqüentemente utilizam questionários com muitos itens para avaliar um serviço ou produto. Nestas pesquisas, cada respondente, além de avaliar os itens segundo seu grau de satisfação ou concordância, deve também atribuir um grau de importância ao item. Com estas duas informações disponíveis para cada item, é possível criar uma medida resumo, na forma de um escore total composto pela avaliação dos itens ponderada pela sua importância. O objetivo desta tese é modelar a importância dos itens por meio de um modelo de Desdobramento Graduado Generalizado, pertencente à família de modelos da Teoria de Resposta ao Item. Resultados de uma pesquisa sobre academia de ginástica mostram que o modelo tem bom ajuste neste caso, e simulações mostram que é possível, com a utilização do modelo, montar desenhos experimentais para diminuir o número de itens ou categorias de resposta a serem perguntados aos respondentes sem perda de informação. / Many surveys use multi-items questionnaires to make an assessment of a service or product. In these surveys, each respondent, besides having to evaluate each item (attribute) according to the degree of satisfaction or agreement, must also evaluate its importance. It is possible, with these two informations, to create a global score of the product or service weighted by the importance of the items. The goal of this thesis is to model the importance through a Generalized Graded Unfolding Model, which is an Item Response Theory model. Results of a survey showed a good fit of the model, and simulations showed that it is possible to design experiments to reduce the number of items or response categories asked to the respondents without loss of information if this model is used.

This study empirically compares the Classical Test Theory (CTT) and the Partial Credit Model (PCM) of Rasch focusing on the invariance of item parameters. The invariance concept which is the consequence of the principle of specific objectivity was tested in both CTT and PCM using the results of learners who wrote the National Senior Certificate (NSC) Mathematics examinations in 2010. The difficulty levels of the test items were estimated from the independent samples of learn- ers. The same sample of learners used in the calibration of the difficulty levels of the test items in the PCM model were also used in the calibration of the difficulty levels of the test items in CTT model. The estimates of the difficulty levels of the test items were done using RUMM2030 in the case of PCM while SAS was used in the case of CTT. RUMM2030 and SAS are both the statistical softwares. The analysis of variance (ANOVA) was used to compare the four different design groups of test takers. In cases where the ANOVA showed a significant difference between the means of the design groups, the Tukeys groupings was used to establish where the difference came from. The research findings were that the test items' difficulty parameter estimates based on the CTT theoretical framework were not invariant across the different independent sample groups. The over- all findings from this study were that the CTT theoretical framework was unable to produce item difficulty invariant parameter estimates. The PCM estimates were very stable in the sense that for most of the items, there was no significant difference between the means of at least three design groups and the one that deviated from the rest did not deviate that much. The item parameters of the group that was representative of the population (proportional allocation) and the one where the same number of learners (50 learners) was taken from different performance categories did not differ significantly for all the items except for item 6.6 in examination question paper 2. It is apparent that for the test item parameters to be invariant of the group of test takers in PCM, the group of test takers must be heterogeneous and each performance category needed to be big enough for the proper calibration of item parameters. The higher values of the estimated item parameters in CTT were consistently found in the sample that was dominated by the high proficient learners in Mathematics ("bad") and the lowest values were consistently calculated in the design group that was dominated by the less proficient learners. This phenomenon was not apparent in the Rasch model. / Mathematical Sciences / M.Sc. (Statistics)