As investigações sobre as bases genéticas de doenças complexas em Genômica utilizam diversos tipos de informação. Diversos sintomas são avaliados de maneira a diagnosticar a doença, os indivíduos apresentam padrões de agrupamento baseados, por exemplo no seu parentesco ou ambiente comum e uma quantidade imensa de características dos indivíduos são medidas por meio de marcadores genéticos. No presente trabalho, um modelo multiníveis da teoria de resposta ao item (TRI) é proposto de forma a integrar todas essas fontes de informação e caracterizar doenças complexas através de uma variável latente. Além disso, a quantidade de marcadores moleculares induz um problema de seleção de variáveis, para o qual uma seleção baseada nos métodos da busca estocástica e do LASSO bayesiano são propostos. Os parâmetros do modelo e a seleção de variáveis são realizados sob um paradigma bayesiano, no qual um algoritmo Monte Carlo via Cadeias de Markov é construído e implementado para a obtenção de amostras da distribuição a posteriori dos parâmetros. O mesmo é validado através de estudos de simulação, nos quais a capacidade de recuperação dos parâmetros, de escolha de variáveis e características das estimativas pontuais dos parâmetros são avaliadas em cenários similares aos dados reais. O processo de estimação apresenta uma recuperação satisfatória nos parâmetros estruturais do modelo e capacidade de selecionar covariáveis em espaços de dimensão elevada apesar de um viés considerável nas estimativas das variáveis latentes associadas ao traço latente e ao efeito aleatório. Os métodos desenvolvidos são então aplicados aos dados colhidos no estudo de associação familiar \'Corações de Baependi\', nos quais o modelo multiníveis se mostra capaz de caracterizar a síndrome metabólica, uma série de sintomas associados com o risco cardiovascular. O modelo multiníveis e a seleção de variáveis se mostram capazes de recuperar características conhecidas da doença e selecionar um marcador associado. / Recent investigations about the genetic architecture of complex diseases use diferent sources of information. Diferent symptoms are measured to obtain a diagnosis, individuals may not be independent due to kinship or common environment and their genetic makeup may be measured through a large quantity of genetic markers. In the present work, a multilevel item response theory (IRT) model is proposed that unifies all these diferent sources of information through a latent variable. Furthermore, the large ammount of molecular markers induce a variable selection problem, for which procedures based on stochastic search variable selection and the Bayesian LASSO are considered. Parameter estimation and variable selection is conducted under a Bayesian framework in which a Markov chain Monte Carlo algorithm is derived and implemented to obtain posterior distribution samples. The estimation procedure is validated through a series of simulation studies in which parameter recovery, variable selection and estimation error are evaluated in scenarios similar to the real dataset. The estimation procedure showed adequate recovery of the structural parameters and the capability to correctly nd a large number of the covariates even in high dimensional settings albeit it also produced biased estimates for the incidental latent variables. The proposed methods were then applied to the real dataset collected on the \'Corações de Baependi\' familiar association study and was able to apropriately model the metabolic syndrome, a series of symptoms associated with elevated heart failure and diabetes risk. The multilevel model produced a latent trait that could be identified with the syndrome and an associated molecular marker was found.

[pt] Este trabalho apresenta algumas contribuições ao estudo da estimação da satisfação do consumidor. As contribuições originais são: a) uma resenha abrangente sobre os métodos de estimação da satisfação, principalmente sobre os baseados em Modelos de Equações Estruturais, categorizados em: modelos baseados em estruturas de covariâncias (MEC) e modelos baseados em mínimos quadrados parciais (MQP); b) uma análise comparativa dos métodos de estimação de escores dos modelos MEC e MQP, através da quantidade de informação dos escores estimados em relação aos verdadeiros, com base no modelo de Satisfação do Consumidor da ANEEL (IASC); c) um modelo alternativo unidimensional para o IASC baseado no modelo de Respostas Graduadas de Samejima, da Teoria da Resposta ao Item (TRI). Sobre a análise comparativa dos métodos de estimação de escores, verificou-se que o MQP estimou escores com maior precisão principalmente quando as relações do modelo foram, em módulo, mais fracas; ao contrário do MEC que se destacou quando as relações do modelo foram mais fortes. Sobre o modelo baseado na TRI, algumas vantagens foram observadas em relação aos Modelos de Equações Estruturais, principalmente no que tange à análise individual e comparativa dos itens da pesquisa. Por último, constatou-se que ambas as metodologias são relevantes para o IASC e por isso deveriam ser aplicadas em conjunto para orientar as ações dos gestores e os investimentos para a melhoria dos serviços prestados pelas distribuidoras. / [en] This work presents a study of statistical models used for estimation of the customer satisfaction. The main contributions are: a) a general description about the estimation methods of the customer satisfaction, mainly about the methods based on Structural Equation Models, grouped by: CSM (Covariance Structure Model) and PLS (Partial Least Square); b) a comparison between the estimation methods of the LISREL (Linear Structural Relations) and PLS with base on information function between the estimated scores and the true ones. The used model was the Brazilian Customer Satisfaction Index for Electric Energy (IASC) of the ANEEL (Brazilian Electricity Regulatory Agency); c) an alternative unidimentional model for the IASC based on the Samejima´s Model for Graded Response of the Item Response Theory (IRT). About the comparative analysis of the scores estimation methods, the PLS was better than LISREL if the latent variables relations were weak, in module. In opposite, LISREL was the best when the latent variables relations were stronger. However, this analysis was based on simulated data and it was necessary to consider some conditions to guarantee validity, estimation convergence and good fit of the models. About the proposed model based on IRT, many benefits were observed if compared with Structural Equation Models, mainly with regard to survey item analysis. Finally, it was observed that both methodologies are important to improve IASC methodology, so they have to be used together to guide the manager actions and the investments to improve utilities services for the customers.

We propose a new method for measuring teacher grading standards that is based on the Item Response Theory framework, and investigate the relationship between teacher grading standards and student learning in São Paulo State public schools in light of this new approach. We simulate a policy in which student achievement in a standardized examination (Saresp) is used as the passing grade criterion, setting a unique grading standard for each grade and subject that would substitute the current teacher-defined grading. We estimate the optimal standards that maximize student achievement under this policy, and compare them with the standards estimated for each individual teacher. Our estimates indicate that teachers currently apply standards that are, on average, more lenient than the optimal policy standards / Neste trabalho propomos um novo método para a medição do padrão de avaliação dos professores, fundamentado na Teoria de Resposta ao Item. Investigamos, com base no novo método, a relação entre o padrão de avaliação do professor e o aprendizado do aluno. Nós simulamos os potenciais resultados de uma política de aprovação de alunos baseada exclusivamente em um teste padronizado (Saresp), que implicaria em um padrão de avaliação único para cada série e disciplina, em substituição à política atual em que os professores são responsáveis pela definição sobre a aprovação de seus alunos. Estimamos os padrões de avaliação ótimos sob esta política, do ponto de vista da maximização do aprendizado dos alunos, e comparamos estes valores com os padrões de avaliação estimados para cada professor. Nossas estimativas indicam que os professores utilizam atualmente padrões de avaliação que são, em média, mais lenientes do que o padrão de avaliação ótimo estimado para a nova política

O objetivo deste estudo foi analisar o impacto da habilidade do professor sobre o desempenho escolar de seus alunos. Muitos estudos não encontram um efeito significativo para o \'professor\' em regressões de desempenho escolar. Uma possível explicação pode estar na fragilidade das variáveis que têm sido utilizadas para medir qualidade do professor - nível de escolaridade e experiência. Este estudo utilizou como proxy para identificar o traço latente ou habilidade do professor com o ensino, as questões da Prova Brasil de 2007 a respeito das características produtivas (investimento em capital humano) dos professores e das práticas didáticas adotadas em sala de aula para estimular a aprendizagem dos alunos. Com base em tais variáveis e utilizando a teoria de reposta ao item, foram construídos dois índices de habilidade do professor: um primeiro relativo às características de capital humano dos professores e um segundo relativo às práticas didáticas. A análise mostrou que os itens em geral utilizados neste exercício são itens fáceis, ou seja, um professor não precisa ter habilidade muito alta para ter 50% de chance de acertar o item. Embora alguns itens tenham mostrado bom poder de discriminação para professores com baixa habilidade, o reduzido grau de dificuldade e baixo poder de discriminação para a maior parte deles, geraram indicadores com baixa variabilidade em termos da habilidade dos professores. Tais resultados por sua vez implicaram em baixa correlação dos escores de habilidade identificados tanto com o perfil do professor (sexo, idade, raça, etc) quanto com o desempenho escolar dos alunos. / The aim of this study was to analyze the impact of the ability of the teacher on the academic performance of their students. Many studies find no significant effect for the \'teacher\' in regressions of scholar achievement. A possible explanation may lie in the fragility of the variables that have been used to measure the teachers quality - level of education and experience. This study used as a proxy to identify the latent trait or ability of the teacher with teaching, issues of race in Brazil in 2007 regarding their production (investment in human capital) of teachers and teaching practices adopted at the classroom to stimulate student learning. Based on these variables and using the Item Response Theory (IRT), we built two levels of skill of the teacher: a first on the characteristics of human resources for teachers and a second on teaching practices. The analysis showed that the items generally used in this exercise are items \'easy\', or a teacher does not need to have very high ability to have 50% chance of hitting the item. Although some items have shown good discriminatory power for teachers with low skill, the low degree of difficulty and low discrimination power for the most part, generated indicators with low variability in the ability of teachers. These results in turn led to low correlation of scores of ability identified both with the teacher\'s profile (gender, age, race, etc.) and with the performance of the students.

Orientador: Dirceu da Silva / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Educação / Made available in DSpace on 2019-01-02T16:34:50Z (GMT). No. of bitstreams: 1 Stevao_ChristianeBellorioGennariDeAndrade_D.pdf: 3637193 bytes, checksum: 59618eefb30d1940e3b80146e8614f26 (MD5) Previous issue date: 2014 / Resumo: Este estudo fundamenta-se na avaliação dos aspectos positivos da aplicação da Teoria da Resposta ao Item (TRI) na definição da nota de corte da 1ª fase do processo seletivo do vestibular da UNESP (Universidade Estadual Paulista), bem como na adoção de um instrumento que subsidia a seleção dos candidatos a serem convocados para a 2ª fase, mantendo-se o cálculo da nota final do processo pela Teoria Clássica de Medidas (TCM). O modelo da TRI utilizado é o de três parâmetros, considerando que na prova do vestibular sempre existe a possibilidade de resposta ao acaso. O objetivo principal da pesquisa é mostrar a implantação de uma metodologia para estabelecer um cálculo, que permita selecionar os mais bem preparados sem prejudicar o aluno que por engano possa colocar a resposta errada em uma questão ao passá-la para o gabarito e, desse modo, determinar que a nota de corte não avance muito com o passar dos anos. Este trabalho possibilita aumentar o número de alunos classificados para a 2ª fase do vestibular com a certeza de estar selecionando os alunos com maior habilidade em todas as disciplinas avaliadas, sem prejudicá-los em um único item. O problema levantado por esta pesquisa vem da implantação do Vestibular UNESP 2010 com a 1ª fase eliminatória (Prova de Conhecimentos Gerais). Com a metodologia proposta foi possível conseguir um modelo matemático para o cálculo do número de candidatos para a 2ª fase nos próximos vestibulares e apresentar um estudo preliminar para a necessidade do aumento de vagas nos cursos mais concorridos no decorrer dos próximos anos. Neste estudo considerou-se também o questionário respondido pelos concorrentes ao efetuar a inscrição para verificar como se classificam os alunos das escolas públicas e de baixa renda. Para isso trabalhou-se com amostras de três cursos selecionados: Direito da cidade de Franca curso diurno, Engenharia Civil da cidade de Guaratinguetá em período integral e Medicina da cidade de Botucatu período integral, nos vestibulares de 2010 e 2012 / Abstract: This study is based on the evaluation of the positive aspects from the Item Response Theory's (TRI) application in defining the minimum score of the first phase of the selection process, of UNESP's (Universidade Estadual Paulista) Entrance Exam, as well as in the adoption of an instrument that subsidizes the selection of candidates to be called for the second phase, keeping the calculation of the final grade of the process by the Classical Theory of Measures (TCM). The TRI model used will be the one of three-parameter considering that in vestibular there is always the possibility of random response. The main objective of this research was the implementation of a methodology for establishing this calculation, which allows select the better prepared without harming the student who mistakenly can put the wrong answer on a question when transferring it to the final answer paper, and this way determine that the minimum score do not advance much over the years. This work makes it possible to increase the number of students classified for the second phase of the Entrance Exam with the certainty of being selecting students with higher skills in all evaluated subjects, without harming them into a single item. The problem raised by this research comes from the deployment of the 2010 UNESP entrance examination with the 1st knockout round (General Knowledge Test). With the proposed methodology was possible to achieve a mathematical model for calculating the number of candidates for the second phase of the upcoming university entrance exams and submit a preliminary study for the need to increase the vacancies in courses with greater demand over the next few years. In this study it was also considered the questionnaire answered by competitors when making the inscription to check how students from public schools and with low income are classified. For this, it was made a sample of three selected courses: Law, from Franca city, a daytime course, Civil Engineering from the city of Guaratinguetá, a full-time course, and Medicine from Botucatu city, a full-time course, in the entrance exams of 2010 and 2012 / Doutorado / Ensino e Práticas Culturais / Doutora em Educação

As investigações sobre as bases genéticas de doenças complexas em Genômica utilizam diversos tipos de informação. Diversos sintomas são avaliados de maneira a diagnosticar a doença, os indivíduos apresentam padrões de agrupamento baseados, por exemplo no seu parentesco ou ambiente comum e uma quantidade imensa de características dos indivíduos são medidas por meio de marcadores genéticos. No presente trabalho, um modelo multiníveis da teoria de resposta ao item (TRI) é proposto de forma a integrar todas essas fontes de informação e caracterizar doenças complexas através de uma variável latente. Além disso, a quantidade de marcadores moleculares induz um problema de seleção de variáveis, para o qual uma seleção baseada nos métodos da busca estocástica e do LASSO bayesiano são propostos. Os parâmetros do modelo e a seleção de variáveis são realizados sob um paradigma bayesiano, no qual um algoritmo Monte Carlo via Cadeias de Markov é construído e implementado para a obtenção de amostras da distribuição a posteriori dos parâmetros. O mesmo é validado através de estudos de simulação, nos quais a capacidade de recuperação dos parâmetros, de escolha de variáveis e características das estimativas pontuais dos parâmetros são avaliadas em cenários similares aos dados reais. O processo de estimação apresenta uma recuperação satisfatória nos parâmetros estruturais do modelo e capacidade de selecionar covariáveis em espaços de dimensão elevada apesar de um viés considerável nas estimativas das variáveis latentes associadas ao traço latente e ao efeito aleatório. Os métodos desenvolvidos são então aplicados aos dados colhidos no estudo de associação familiar \'Corações de Baependi\', nos quais o modelo multiníveis se mostra capaz de caracterizar a síndrome metabólica, uma série de sintomas associados com o risco cardiovascular. O modelo multiníveis e a seleção de variáveis se mostram capazes de recuperar características conhecidas da doença e selecionar um marcador associado. / Recent investigations about the genetic architecture of complex diseases use diferent sources of information. Diferent symptoms are measured to obtain a diagnosis, individuals may not be independent due to kinship or common environment and their genetic makeup may be measured through a large quantity of genetic markers. In the present work, a multilevel item response theory (IRT) model is proposed that unifies all these diferent sources of information through a latent variable. Furthermore, the large ammount of molecular markers induce a variable selection problem, for which procedures based on stochastic search variable selection and the Bayesian LASSO are considered. Parameter estimation and variable selection is conducted under a Bayesian framework in which a Markov chain Monte Carlo algorithm is derived and implemented to obtain posterior distribution samples. The estimation procedure is validated through a series of simulation studies in which parameter recovery, variable selection and estimation error are evaluated in scenarios similar to the real dataset. The estimation procedure showed adequate recovery of the structural parameters and the capability to correctly nd a large number of the covariates even in high dimensional settings albeit it also produced biased estimates for the incidental latent variables. The proposed methods were then applied to the real dataset collected on the \'Corações de Baependi\' familiar association study and was able to apropriately model the metabolic syndrome, a series of symptoms associated with elevated heart failure and diabetes risk. The multilevel model produced a latent trait that could be identified with the syndrome and an associated molecular marker was found.

This study examined the psychometric properties of the Trauma Inventory for Partners of Sex Addicts (TIPSA). Using the Nominal Response Model (NRM), I examined several aspects of item and option functioning including discrimination, empirical category ordering, and information. Category Boundary Discrimination (CBD) parameters were calculated to determine the extent to which respondents distinguished between adjacent categories. Indistinguishable categories were collapsed through recoding. Empirically disordered response categories were also collapsed through recoding. Findings revealed that recoding solved some technical functioning issues in some items, and also revealed items (and perhaps option anchors) that were probably poorly conceived initially. In addition, nuisance or error variance was reduced only marginally by recoding, and the relative standing of respondents on the trait continuum remained largely unchanged. Items in need of modification or removal were identified, and issues of content validity were discussed.

This study examined the feasibility of using Rasch true score preequating under violated model assumptions and nonequivalent populations. Dichotomous item responses were simulated using a compensatory two dimensional (2D) three parameter logistic (3PL) Item Response Theory (IRT) model. The Rasch model was used to calibrate difficulty parameters using two methods: Fixed Parameter Calibration (FPC) and separate calibration with the Stocking and Lord linking (SCSL) method. A criterion equating function was defined by equating true scores calculated with the generated 2D 3PL IRT item and ability parameters, using random groups equipercentile equating. True score preequating to FPC and SCSL calibrated item banks was compared to identity and Levine's linear true score equating, in terms of equating bias and bootstrap standard errors of equating (SEE) (Kolen & Brennan, 2004). Results showed preequating was robust to simulated 2D 3PL data and to nonequivalent item discriminations, however, true score equating was not robust to guessing and to the interaction of guessing and nonequivalent item discriminations. Equating bias due to guessing was most marked at the low end of the score scale. Equating an easier new form to a more difficult base form produced negative bias. Nonequivalent item discriminations interacted with guessing to magnify the bias and to extend the range of the bias toward the middle of the score distribution. Very easy forms relative to the ability of the examinees also produced substantial error at the low end of the score scale. Accumulating item parameter error in the item bank increased the SEE across five forms. Rasch true score preequating produced less equating error than Levine's true score linear equating in all simulated conditions. FPC with Bigsteps performed as well as separate calibration with the Stocking and Lord linking method. These results support earlier findings, suggesting that Rasch true score preequating can be used in the presence of guessing if accuracy is required near the mean of the score distribution, but not if accuracy is required with very low or high scores.

The main purpose of this thesis is to consider usual statistical tests for discrete data and to present some recent developments around them. Contents can be divided into three parts. In the first part we consider the general issue of misclassification and its impact on usual test results. A suggested diagnostic examination of the misclassification process leads to simple and direct investigation tools to determine whether conclusions are very sensitive to classification errors. An additional probabilistic approach is presented, in order to refine the discussion in terms of the risk of getting contradictory conclusions whenever misclassified data occur. In the second part we propose a general approach to deal with the issue of multiple sub-testing procedures. In particular, when the null hypothesis is rejected, we show that usual re-applications of the test to selected parts of the data can provide non-consistency problems. The method we discuss is based on the concept of decisive subsets, set as the smallest number of categories being sufficient to reject the null hypothesis, whatever the counts of the remaining categories. In this framework, we present an iterative step-by-step detection process based on successive interval building and category count comparison. Several examples highlight the gain our method can bring with respect to classical approaches. The third and last part is consecrated to the framework of item response theory, a field of psychometrics. After a short introduction to that topic, we propose first two enhanced iterative estimators of proficiency. Several theoretical properties and simulation results indicate that these methods ameliorate the usual Bayesian estimators in terms of bias, among others. Furthermore, we propose to study the link between response pattern misfit and subject's variability (the latter as individual latent trait). More precisely, we present "maximum likelihood"-based joint estimators of subject's parameters (ability and variability); several simulations suggest that enhanced estimators also have major gain (with respect to classical ones), mainly in terms of estimator's bias.

Contextualization is often added to mathematical achievement items to place targeted mathematical operations in a real world context or in combinations with other mathematical skills. Such items may have unintended sources of difficulty, such as greater cognitive complexity than specified in the test blueprint. These types of items are being introduced to achievement exams through assessment programs such as SBAC and PARCC. Cognitive models have been created to assess sources of cognitive complexity in mathematics items, including a global model (Embretson&Daniel, 2008) and an adapted model (Lutz, Embretson,&Poggio, 2010). The current study proposes a new cognitive model structured around sources of working memory burden with an emphasis on contextualization. Full-information item response (IRT) models were applied to a state accountability test of mathematics achievement in middle school to examine impact on psychometric properties related to burden on working memory.