The study investigated five factors which can affect the equating of scores from two tests onto a common score scale. The five factors studied were: (a) distribution type (i.e., normal versus uniform); (b) standard deviation of itemdifficulties (i.e., .68, .95, .99); (c) test length or number of test items (i.e., 50,100, 200); (d) number of common items (i.e., 10,20,30); and (e) sample size (i.e., 100, 300, 500). The significant two-way interaction effects were for common item length and test length, standard deviation of item difficulties and distribution type, and standard deviation of item difficulties and sample size.

This study investigates feedback loop thinking and novices' skills in identifying feedback loops, aiming to create a valid assessment tool that distinguishes real understanding from mere awareness. The validity of the tool is assessed in two ways, 1) using it to test hypotheses about feedback learning by deploying the tool to test the effects of the terms used to name a feedback loop, and outcome desirability on loop identification accuracy determined by a signal detection analysis, and 2) using an item response analysis to determine the value of each item in distinguishing among students with a range of understanding of feedback loops. Results show little effect of terminology on sensitivity or bias, suggesting educators can use their field’s preferred terms without compromising outcomes, but a clear effect of the desirability of outcome on both sensitivity and bias, with a small increase in sensitivity and a clear bias to classify items as loops if they have a good outcome. The analysis of item sets for both positive and negative feedback loop using Item Response Theory (IRT) identified 16 items for each type of loop that provided a range of difficulties and discrimination over a moderately broad range of skill. Model fit favored a 2PL model, but global fit statistics were precluded by missing data. Still, this project delivers a reliable task for understanding feedback loop thinking, a crucial step for enabling future research on complex causal relationships. Subsequent studies should focus on assessing the unidimensionality of the item sets and elucidating the differences in how novices perceive positive versus negative feedback loops. Such efforts will further advance our understanding of feedback loop cognition. / Psychology

Avaliaçõs educacionais, de distúrbios psicológicos e da aceitação de um produto no mercado são exemplos de estudos que buscam quantificar um construto de interesse através de questionários compostos por itens de múltipla escolha. A Teoria de Resposta ao Item (TRI) é muito utilizada na análise de dados provenientes da aplicação desses questionários. Há vários modelos da TRI já muito utilizados na prática com tal finalidade, tanto para respostas dicotômicas aos itens (certo/errado, presente/ausente, sim/não), quanto para itens com mais de duas categorias de resposta (nominais ou ordinais). No entanto, a grande maioria supôe que apenas um traço latente é necessário para explicar a probabilidade de resposta ao item (modelos unidimensionais). Como as situações práticas são usualmente caracterizadas por várias aptidões (traços latentes) influenciando a probabilidade de um indivíduo apresentar certa resposta ao item, os modelos multidimensionais são de grande importância. Neste trabalho, após um levantamento bibliográfico dos principais modelos multidimensionais da TRI existentes na literatura, realizou-se um estudo detalhado de um deles: o modelo logístico multidimensional de dois parâmetros. O método de estimação dos parâmetros dos itens por máxima verossimilhança marginal e dos traços latentes por máxima verossimilhança são explicitados assim como a estimação por métodos bayesianos. Todos os métodos foram implementados em R, comparados e aplicados a um conjunto de dados reais para avaliação do Inventário de Depressão de Beck (BDI) e do Exame Nacional do Ensino Médio (ENEM) / Educational evaluations, psychological testing and market surveys are examples of studies aiming to quantify an underlying construct of interest through multiple choice item tests. Item Response Theory (IRT) is a class of models used to analyse such data. There are several IRT models already being used in applied studies to such end, either for dichotomical answers (right/wrong, present/ absent, Yes/No) or for itens with nominal or ordinal answers. However, the large majority of those models make the assumption that only one latent trait is sufficient to explain the probability of a correct answer to an item (unidimensional models). Since many situations in practice are characterized by multiple aptitudes (latent traits) in uencing such probabilities, multidimensional models that take such traits into consideration gain great importance. In the present work, after a thorough review of the litterature regarding multidimensional IRT models, we studied in depth one model: the two parameter multidimensional logistic model for dichotomical items. The marginal maximum likelihood method used to estimate the item parameters and the maximum likelihood method used for the latent traits as well as bayesian methods for parameter estimation were studied, compared, implemented in the R software and then applied to a real dataset to infere depression using the Beck Depression Inventory(BDI)and the Exame Nacional do Ensino Médio (ENEM)

O instrumento PCATool-Brasil (Primary Care Assessment Tool) permite a mensuração da presença e extensão dos atributos estruturantes da Atenção Primária à Saúde (APS) nos serviços de saúde. É importante que a metodologia para analisar instrumentos como o PCATool-Brasil considere que nem todos os itens que descrevem as características de estrutura e processo têm a mesma importância em relação ao traço latente ―Orientação à APS‖ que pode ser medido por esse instrumento. A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo dar uma resposta a um item como função dos parâmetros do item e do traço latente. Estes modelos têm como uma de suas características a incorporação de diferenças de discriminação e favorabilidade, que são os parâmetros de cada item, na estimação do traço latente. Este trabalho tem como objetivo explicitar as potencialidades da TRI na obtenção do traço latente ―Orientação para Atenção Primária‖, para serviços da rede básica, na percepção dos usuários, comparando os resultados com a validação via teoria clássica de testes e propor uma versão reduzida do PCATool-Brasil- Adultos. A partir de uma subamostra do estudo transversal de base populacional de adultos adscritos à rede pública de APS de Porto Alegre, ajustou-se o Modelo Logístico de 2 parâmetros, explorando as características de estrutura e processo que representam os atributos da APS e estimar o traço latente ―Orientação à APS‖. Os resultados desta avaliação revelaram a contribuição baseada na discriminação e favorabilidade de cada um dos itens do PCATool. Alguns itens apresentaram comportamento pouco destacado dado a sua baixa discriminação e elevada variabilidade. Mesmo assim o escore de orientação à APS obtido via TRI se revelou compatível com o escore obtido via Teoria Clássica de Testes. Com base nos itens mais discriminantes do traço latente foi possível estruturar uma versão reduzida do PCATool composta de 23 itens. Foi identificado neste estudo que itens dos atributos Longitudinalidade e Integralidade – Serviços Prestados – são os mais discriminantes para o traço latente. No entanto, há contribuição ao menos moderada dos itens dos outros atributos essenciais e derivados. Esses resultados sustentaram a estruturação de uma versão reduzida do PCATool, que apresentou medidas de consistência interna e concordância indicativos de um bom ajuste e associação com o escore TRI da versão completa, versão esta alinhada à necessidade de avaliar de forma rápida características importantes para a melhoria dos serviços de APS. / The instrument PCATool-Brazil (Primary Care Assessment Tool) allows the measurement of the presence and extent of structural attributes of the Primary Health Care (PHC) in health services. It is important that the methodology for analyzing instruments like PCATool-Brazil consider that not all items that describe the characteristics of structure and process are equally important in relation to the latent trait "Guidance PHC" which can be measured by this instrument. The Item Response Theory (IRT) is a set of mathematical models that seek to represent the probability of an individual to respond to an item as a function of the item parameters and latent trait. These models have as one of its features to incorporate differences in favorability and discrimination, which are the parameters for each item, in the estimation of latent trait. This paper aims to clarify the potential of TRI in obtaining latent trait "Guidance for Primary Care" for basic network services, the users' perception, comparing the results with validation via classical theory testing and propose a reduced version of PCATool-Brazil-Adult. From a subsample of the population-based crosssectional study of adults ascribed to public APS Porto Alegre, set the 2- parameter logistic model, exploring the characteristics of structure and process that represent the attributes of the APS and estimate the trace latent "Guidance to the APS." The results of this evaluation revealed the contribution-based discrimination and favorability of each of the items PCATool. Some items behaved little highlighted given its low discrimination and high variability. Yet the score PHC orientation obtained via IRT proved compatible with the score via Classical Test Theory. Based on the items most discriminant latent trait was possible to structure a reduced version of PCATool composed of 23 items. Was identified in this study that the items attributes and longitudinality Completeness - Services Provided - are the most discriminating for the latent trait. However, there is at least moderate contribution of other essential attributes of items and derivatives. These results supported the structuring of a reduced version of PCATool, which showed internal consistency measures and agreement indicative of a good fit and association with TRI score of the full version, this version aligned to the need to quickly evaluate important features to improve PHC services.

Avaliaçõs educacionais, de distúrbios psicológicos e da aceitação de um produto no mercado são exemplos de estudos que buscam quantificar um construto de interesse através de questionários compostos por itens de múltipla escolha. A Teoria de Resposta ao Item (TRI) é muito utilizada na análise de dados provenientes da aplicação desses questionários. Há vários modelos da TRI já muito utilizados na prática com tal finalidade, tanto para respostas dicotômicas aos itens (certo/errado, presente/ausente, sim/não), quanto para itens com mais de duas categorias de resposta (nominais ou ordinais). No entanto, a grande maioria supôe que apenas um traço latente é necessário para explicar a probabilidade de resposta ao item (modelos unidimensionais). Como as situações práticas são usualmente caracterizadas por várias aptidões (traços latentes) influenciando a probabilidade de um indivíduo apresentar certa resposta ao item, os modelos multidimensionais são de grande importância. Neste trabalho, após um levantamento bibliográfico dos principais modelos multidimensionais da TRI existentes na literatura, realizou-se um estudo detalhado de um deles: o modelo logístico multidimensional de dois parâmetros. O método de estimação dos parâmetros dos itens por máxima verossimilhança marginal e dos traços latentes por máxima verossimilhança são explicitados assim como a estimação por métodos bayesianos. Todos os métodos foram implementados em R, comparados e aplicados a um conjunto de dados reais para avaliação do Inventário de Depressão de Beck (BDI) e do Exame Nacional do Ensino Médio (ENEM) / Educational evaluations, psychological testing and market surveys are examples of studies aiming to quantify an underlying construct of interest through multiple choice item tests. Item Response Theory (IRT) is a class of models used to analyse such data. There are several IRT models already being used in applied studies to such end, either for dichotomical answers (right/wrong, present/ absent, Yes/No) or for itens with nominal or ordinal answers. However, the large majority of those models make the assumption that only one latent trait is sufficient to explain the probability of a correct answer to an item (unidimensional models). Since many situations in practice are characterized by multiple aptitudes (latent traits) in uencing such probabilities, multidimensional models that take such traits into consideration gain great importance. In the present work, after a thorough review of the litterature regarding multidimensional IRT models, we studied in depth one model: the two parameter multidimensional logistic model for dichotomical items. The marginal maximum likelihood method used to estimate the item parameters and the maximum likelihood method used for the latent traits as well as bayesian methods for parameter estimation were studied, compared, implemented in the R software and then applied to a real dataset to infere depression using the Beck Depression Inventory(BDI)and the Exame Nacional do Ensino Médio (ENEM)

O instrumento PCATool-Brasil (Primary Care Assessment Tool) permite a mensuração da presença e extensão dos atributos estruturantes da Atenção Primária à Saúde (APS) nos serviços de saúde. É importante que a metodologia para analisar instrumentos como o PCATool-Brasil considere que nem todos os itens que descrevem as características de estrutura e processo têm a mesma importância em relação ao traço latente ―Orientação à APS‖ que pode ser medido por esse instrumento. A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo dar uma resposta a um item como função dos parâmetros do item e do traço latente. Estes modelos têm como uma de suas características a incorporação de diferenças de discriminação e favorabilidade, que são os parâmetros de cada item, na estimação do traço latente. Este trabalho tem como objetivo explicitar as potencialidades da TRI na obtenção do traço latente ―Orientação para Atenção Primária‖, para serviços da rede básica, na percepção dos usuários, comparando os resultados com a validação via teoria clássica de testes e propor uma versão reduzida do PCATool-Brasil- Adultos. A partir de uma subamostra do estudo transversal de base populacional de adultos adscritos à rede pública de APS de Porto Alegre, ajustou-se o Modelo Logístico de 2 parâmetros, explorando as características de estrutura e processo que representam os atributos da APS e estimar o traço latente ―Orientação à APS‖. Os resultados desta avaliação revelaram a contribuição baseada na discriminação e favorabilidade de cada um dos itens do PCATool. Alguns itens apresentaram comportamento pouco destacado dado a sua baixa discriminação e elevada variabilidade. Mesmo assim o escore de orientação à APS obtido via TRI se revelou compatível com o escore obtido via Teoria Clássica de Testes. Com base nos itens mais discriminantes do traço latente foi possível estruturar uma versão reduzida do PCATool composta de 23 itens. Foi identificado neste estudo que itens dos atributos Longitudinalidade e Integralidade – Serviços Prestados – são os mais discriminantes para o traço latente. No entanto, há contribuição ao menos moderada dos itens dos outros atributos essenciais e derivados. Esses resultados sustentaram a estruturação de uma versão reduzida do PCATool, que apresentou medidas de consistência interna e concordância indicativos de um bom ajuste e associação com o escore TRI da versão completa, versão esta alinhada à necessidade de avaliar de forma rápida características importantes para a melhoria dos serviços de APS. / The instrument PCATool-Brazil (Primary Care Assessment Tool) allows the measurement of the presence and extent of structural attributes of the Primary Health Care (PHC) in health services. It is important that the methodology for analyzing instruments like PCATool-Brazil consider that not all items that describe the characteristics of structure and process are equally important in relation to the latent trait "Guidance PHC" which can be measured by this instrument. The Item Response Theory (IRT) is a set of mathematical models that seek to represent the probability of an individual to respond to an item as a function of the item parameters and latent trait. These models have as one of its features to incorporate differences in favorability and discrimination, which are the parameters for each item, in the estimation of latent trait. This paper aims to clarify the potential of TRI in obtaining latent trait "Guidance for Primary Care" for basic network services, the users' perception, comparing the results with validation via classical theory testing and propose a reduced version of PCATool-Brazil-Adult. From a subsample of the population-based crosssectional study of adults ascribed to public APS Porto Alegre, set the 2- parameter logistic model, exploring the characteristics of structure and process that represent the attributes of the APS and estimate the trace latent "Guidance to the APS." The results of this evaluation revealed the contribution-based discrimination and favorability of each of the items PCATool. Some items behaved little highlighted given its low discrimination and high variability. Yet the score PHC orientation obtained via IRT proved compatible with the score via Classical Test Theory. Based on the items most discriminant latent trait was possible to structure a reduced version of PCATool composed of 23 items. Was identified in this study that the items attributes and longitudinality Completeness - Services Provided - are the most discriminating for the latent trait. However, there is at least moderate contribution of other essential attributes of items and derivatives. These results supported the structuring of a reduced version of PCATool, which showed internal consistency measures and agreement indicative of a good fit and association with TRI score of the full version, this version aligned to the need to quickly evaluate important features to improve PHC services.

O instrumento PCATool-Brasil (Primary Care Assessment Tool) permite a mensuração da presença e extensão dos atributos estruturantes da Atenção Primária à Saúde (APS) nos serviços de saúde. É importante que a metodologia para analisar instrumentos como o PCATool-Brasil considere que nem todos os itens que descrevem as características de estrutura e processo têm a mesma importância em relação ao traço latente ―Orientação à APS‖ que pode ser medido por esse instrumento. A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo dar uma resposta a um item como função dos parâmetros do item e do traço latente. Estes modelos têm como uma de suas características a incorporação de diferenças de discriminação e favorabilidade, que são os parâmetros de cada item, na estimação do traço latente. Este trabalho tem como objetivo explicitar as potencialidades da TRI na obtenção do traço latente ―Orientação para Atenção Primária‖, para serviços da rede básica, na percepção dos usuários, comparando os resultados com a validação via teoria clássica de testes e propor uma versão reduzida do PCATool-Brasil- Adultos. A partir de uma subamostra do estudo transversal de base populacional de adultos adscritos à rede pública de APS de Porto Alegre, ajustou-se o Modelo Logístico de 2 parâmetros, explorando as características de estrutura e processo que representam os atributos da APS e estimar o traço latente ―Orientação à APS‖. Os resultados desta avaliação revelaram a contribuição baseada na discriminação e favorabilidade de cada um dos itens do PCATool. Alguns itens apresentaram comportamento pouco destacado dado a sua baixa discriminação e elevada variabilidade. Mesmo assim o escore de orientação à APS obtido via TRI se revelou compatível com o escore obtido via Teoria Clássica de Testes. Com base nos itens mais discriminantes do traço latente foi possível estruturar uma versão reduzida do PCATool composta de 23 itens. Foi identificado neste estudo que itens dos atributos Longitudinalidade e Integralidade – Serviços Prestados – são os mais discriminantes para o traço latente. No entanto, há contribuição ao menos moderada dos itens dos outros atributos essenciais e derivados. Esses resultados sustentaram a estruturação de uma versão reduzida do PCATool, que apresentou medidas de consistência interna e concordância indicativos de um bom ajuste e associação com o escore TRI da versão completa, versão esta alinhada à necessidade de avaliar de forma rápida características importantes para a melhoria dos serviços de APS. / The instrument PCATool-Brazil (Primary Care Assessment Tool) allows the measurement of the presence and extent of structural attributes of the Primary Health Care (PHC) in health services. It is important that the methodology for analyzing instruments like PCATool-Brazil consider that not all items that describe the characteristics of structure and process are equally important in relation to the latent trait "Guidance PHC" which can be measured by this instrument. The Item Response Theory (IRT) is a set of mathematical models that seek to represent the probability of an individual to respond to an item as a function of the item parameters and latent trait. These models have as one of its features to incorporate differences in favorability and discrimination, which are the parameters for each item, in the estimation of latent trait. This paper aims to clarify the potential of TRI in obtaining latent trait "Guidance for Primary Care" for basic network services, the users' perception, comparing the results with validation via classical theory testing and propose a reduced version of PCATool-Brazil-Adult. From a subsample of the population-based crosssectional study of adults ascribed to public APS Porto Alegre, set the 2- parameter logistic model, exploring the characteristics of structure and process that represent the attributes of the APS and estimate the trace latent "Guidance to the APS." The results of this evaluation revealed the contribution-based discrimination and favorability of each of the items PCATool. Some items behaved little highlighted given its low discrimination and high variability. Yet the score PHC orientation obtained via IRT proved compatible with the score via Classical Test Theory. Based on the items most discriminant latent trait was possible to structure a reduced version of PCATool composed of 23 items. Was identified in this study that the items attributes and longitudinality Completeness - Services Provided - are the most discriminating for the latent trait. However, there is at least moderate contribution of other essential attributes of items and derivatives. These results supported the structuring of a reduced version of PCATool, which showed internal consistency measures and agreement indicative of a good fit and association with TRI score of the full version, this version aligned to the need to quickly evaluate important features to improve PHC services.