Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2010 / Made available in DSpace on 2012-10-25T09:21:16Z (GMT). No. of bitstreams: 1 280249.pdf: 1601585 bytes, checksum: 951d4088215ab12afa8ae6175b3f9f77 (MD5) / O presente trabalho tem como objetivo avaliar a satisfação de clientes de bancos comerciais, por meio de um questionário formulado a partir de pesquisa bibliográfica e analisado com apoio da Teoria da Resposta ao Item - TRI. O levantamento bibliográfico diagnosticou a relevância de formulação de um questionário específico, capaz de contemplar os principais elementos da atividade bancária. Tal questionário, formulado a partir de pesquisa em dezesseis trabalhos publicados em revistas nacionais e internacionais a partir de 2000, é composto de 33 itens, divididos em quatro grupos: atendimento, produtos, acesso e equipamentos e tecnologia. A amostra foi composta de 240 clientes de bancos comerciais, entre eles proprietários de empresas de pequeno e médio porte ou responsáveis pelo setor financeiro destas. Os questionários foram entregues em mãos aos respondentes com a orientação de que deveriam, em caso de possuírem conta em mais de um banco, referenciar-se àquele com o qual tinham maior relacionamento. Os testes utilizando a TRI mostram que o construto é adequado para a mensuração da satisfação de clientes de banco comerciais e permitiram a construção de uma escala com três níveis âncoras.

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2010 / Made available in DSpace on 2012-10-25T14:02:04Z (GMT). No. of bitstreams: 1 278262.pdf: 3216236 bytes, checksum: 34755cc81bffbaa29b3e21d2bb8bf5f2 (MD5) / Nos processos de transformação a resistência ocupa sempre um lugar de destaque. Ela é freqüentemente tida como a vilã dos processos de mudança, sendo considerada a responsável pelos resultados negativos, os atrasos e, mesmo, pelo fracasso desses processos. Contudo, se ela for habilmente tratada poderá auxiliar sobremaneira no alcance dos resultados pretendidos. Para isso é necessário reconhecer a resistência, as suas causas e as suas raízes. Com esta preocupação, esta pesquisa desenvolve um modelo para avaliação da resistência, propondo um indicativo de uma medida de resistência com apoio na Teoria da Resposta ao Item (TRI). A medida, uma vez definida, fornecerá informações valiosas para o planejamento estratégico da mudança. O referencial teórico desenvolvido em resistência à mudança organizacional abrangeu conceitos, causas e formas de resistência. O modelo estudado foi proposto para ser realizado em estágios com oito indicadores que representam as causas da resistência. O primeiro estágio envolveu 810 respondentes. O conjunto de dados coletados apresentou os pressupostos da unidimensionalidade e independência local necessários para o uso do Modelo de Desdobramento Graduado Generalizado (GGUM) da Teoria da Resposta ao Item. Embora o número de respondentes tenha sido grande, ele não foi suficiente para calibrar todos os itens. Dessa forma, esta tese fornece um indicativo para avaliar a resistência à mudança, mas evidencia a necessidade de implementação dos outros estágios para definir a métrica inicial e posteriormente ampliar o conjunto de itens com os demais indicadores, criando um banco de itens para avaliar a resistência à mudança. Como resultado final, esta pesquisa produziu informações para identificar três níveis da escala.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção. / Made available in DSpace on 2012-10-24T08:45:51Z (GMT). No. of bitstreams: 1 262972.pdf: 1449122 bytes, checksum: dd908ec644a19512f44c12cb29d7db5b (MD5) / O presente trabalho tem como objetivo avaliar a usabilidade de sites de comércio eletrônico, através da elaboração de um construto baseado em um questionário validado pela Teoria da Resposta ao Item (TRI). Considerando que um levantamento da literatura demonstrou que a maioria das abordagens sobre usabilidade em comércio eletrônico trata de questões muito mais subjetivas e baseadas em questionários de satisfação de clientes, o presente trabalho se propõe a elaboração de um construto que reduza este problema de subjetividade. Atualmente com o crescimento da economia digital, a questão de usabilidade, principalmente nos sites de comércio eletrônico, tem figurado como uma característica capaz de gerar potencial competitivo às empresas do setor. A pesquisa bibliográfica no campo de usabilidade e comércio eletrônico serviu de base para a elaboração do questionário, e a TRI identificou a relevância de cada item, em uma amostragem de cerca de 361 sites de comércio eletrônico. Como resultado, questões de usabilidade até então puramente teóricas ou baseadas em testes com usuários foram discutidas sob o ponto de vista matemático da TRI, e uma escala padronizada para medir usabilidade em sites de comércio eletrônico foi desenvolvida. A pesquisa apresentou algumas limitações, tais como a priorização de questões objetivas e a avaliação concentrada em apenas um usuário - o autor. Entretanto, tanto os resultados como as limitações representam oportunidade futuras de pesquisa sob este ponto de vista até agora inexplorado na avaliação de sites de comércio eletrônico.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro de Desportos, Programa de Pós-Graduação em Educação Física, Florianópolis, 2015. / Made available in DSpace on 2015-10-20T03:13:48Z (GMT). No. of bitstreams: 1 335077.pdf: 1583893 bytes, checksum: f1fa574a0258698aef66a04404609923 (MD5) Previous issue date: 2015 / A satisfação com a vida é um julgamento cognitivo de alguns domínios específicos na vida e depende de uma comparação entre as circunstâncias de vida do indivíduo e um padrão por ele estabelecido. Reflete, em parte, o bem-estar subjetivo individual, ou seja, o modo e os motivos que levam as pessoas a viverem suas experiências de vida de maneira positiva. Diante disto, o objetivo deste trabalho foi criar um índice de satisfação com a vida e testar a sua associação com aspectos demográficos, socioeconômicos, comportamentais e com o Índice de Massa Corporal ? IMC, em trabalhadores no Brasil. Para isso, foi realizada uma análise secundária dos dados coletados, por meio de questionário, no inquérito ?Estilo de Vida e Hábitos de Lazer de Trabalhadores da Indústria?, entre 2006 e 2008, com amostra representativa de 24 unidades federativas do Brasil, totalizando 47.477 trabalhadores. Para a criação do índice de satisfação com a vida foi usada a Teoria da Resposta ao Item (TRI). A análise estatística de fatores associados foi realizada por meio de regressão linear múltipla bruta e ajustada, com base na abordagem hierárquica, adotando um nível de significância de 5%. A construção do índice contou com 7 itens do bloco de perguntas ?Indicadores de saúde e comportamentos preventivos?, com assuntos sobre o estado de saúde, qualidade de sono, nível de estresse, sentimento de tristeza ou depressão e percepção de vida no lar, no trabalho e no lazer. As análises mostraram que 88,4% dos trabalhadores da indústria possuem uma boa e excelente satisfação com suas vidas. A média do índice de satisfação com a vida foi maior nos homens, pessoas casadas, ativas no lazer, com consumo regular de frutas e verduras, não fumantes e não consumidores de bebidas alcoólicas e naqueles com IMC adequado. O incremento da idade, morar nas regiões norte e nordeste, ter 1 ou mais filhos, morar com mais de 7 pessoas na mesma casa, ter baixa renda e fazer tarefas domésticas pesadas, foram variáveis associadas a um menor índice de satisfação com a vida.<br> / Abstract : Life satisfaction is a cognitive judgment of some specific areas in life and depends on a comparison between the life circumstances of the individual and a standard established by it. It reflects, in part, the individual subjective well-being, that is, the way and the reasons that lead people to live their life experiences in a positive way. Hence, the objective was to create an life satisfaction index and test its association with demographic, socioeconomic, behavioral, and Body Mass Index ? (BMI) in workers in Brazil. A secondary analysis was performed of data collected through a questionnaire survey entitled "Lifestyle & Habits Leisure Industry Workers", between 2006 and 2008, with a representative sample of 24 federal units of Brazil, totaling 47.477 workers. To create the life satisfaction index the Item Response Theory (IRT) was adopted. Statistical analysis for associated factors was performed with crude and adjusted linear regression based on a hierarchical approach by adopting a 5% significance level. The construction of the index had 7 items of the "health indicators and preventive behaviors" questionnaire, with issues concerning health status, quality of sleep, stress level, feelings of sadness or depression and perception of life at home, at work and leisure. The analysis showed that 88.4% of industrial workers have a good and great satisfaction with their lives. The mean life satisfaction rate was greater among men, married people, and those who were active during leisure time, with regular consumption of fruits and vegetables, non smokers and those who did not consume alcohol and those with adequate BMI. Although the increase of age, living in the north and northeast region, having one or more children, living with more than 7 people in the house, having low income and doing heavy housework were variables associated with a lower level of satisfaction with life .

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2013. / Made available in DSpace on 2014-08-06T17:40:09Z (GMT). No. of bitstreams: 1 325589.pdf: 2658928 bytes, checksum: 84aba552ba6fdd5a1a71120701424d49 (MD5) Previous issue date: 2013 / Resumo : Esse trabalho tem como objetivo desenvolver uma escala de mensuração da predisposição ao comportamento sustentável por meio da Teoria da Resposta ao Item. A construção da escala é realizada com base em uma pesquisa que consultou 401 brasileiros nas cidades de São Paulo, Rio de Janeiro, Recife e Porto Alegre sobre hábitos de vida e bem estar. A utilização da Teoria da Resposta ao Item permitiu identificar o caminho por trás da predisposição ao comportamento sustentável, indicando que existe um processo de migração até os indivíduos adotarem efetivamente hábitos mais responsáveis, o qual é caracterizado por seis níveis. O processo passa por deixar de atribuir grande importância a bens materiais, apresentar receptividade e fazer uma primeira reflexão sobre o assunto, reconhecer e aceitar o problema ambiental, se envolver com a questão de forma a buscar maior conhecimento e apresentar um senso de responsabilização sobre o problema, se perceber como capaz de fazer alguma coisa pelo problema e, por fim, um aprofundamento dos valores pós-materialistas. Os resultados mostram que os brasileiros, apesar de apresentarem grande preocupação com a questão ambiental, se encontram nas fases iniciais de predisposição ao comportamento sustentável. Dois terços dos entrevistados se posiciona no grupo de receptivos aos problemas ambientais e um quarto no grupo que reconhece e aceita o problema.<br> / Abstract : This paper aims to develop a scale for measuring predisposition to sustainable behavior through Item Response Theory. The scale construction is achieved based on a survey that interviewed 401 Brazilians in São Paulo, Rio de Janeiro, Recife and Porto Alegre in lifestyle and wellness. The use of Item Response Theory identifies the predisposition to sustainable behavior, indicating that individuals experience a migration process until effectively adopting sustainable habits. This process is characterized by six levels. The process goes through ceasing the great importance given to material goods, show responsiveness and making a first reflection on the subject, recognize and accept the environmental problem, engage with the problem by seeking greater knowledge and presenting a sense of accountability for the issue, perceiving the ability to act upon the problem, and finally show a deepening of post-materialist values. The results show that the Brazilians, despite showing great concern with environmental issues, are in the early stages of predisposition to sustainable behavior. Two thirds of respondents are classified as receptive to environmental problems and a quarter of respondents are in the group that recognized and accepts the problem.

Dissertação (mestrado profissional) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Florianópolis, 2017. / Made available in DSpace on 2018-01-30T03:17:41Z (GMT). No. of bitstreams: 1 351614.pdf: 1202761 bytes, checksum: 125d64d70565bcd58ba2db58459f77a2 (MD5) Previous issue date: 2017 / O Exame Nacional de Desempenho de Estudantes (ENADE) é parte do Sistema Nacional de Avaliação da Educação Superior (SINAES) e consiste em uma prova composta pelos componentes da Formação Geral, comum a todas as áreas de conhecimento, e do Componente Específico de cada curso. Dada a existência de poucos estudos específicos sobre o componente da Formação Geral, que é aplicado anualmente e sua utilização na regulação da Educação Superior brasileira é imprescindível avaliar a qualidade desse componente com base na teoria da medida. Para tanto, avaliou-se os três anos correspondentes ao terceiro ciclo do ENADE ? 2010, 2011 e 2012. Entre as questões objetivas do exame, identificou-se apenas uma dimensão predominante na prova de cada ano por meio da análise fatorial de correlações tetracóricas com o método dos resíduos mínimos. Verificou-se baixa consistência interna desses itens, com Alfa Cronbach variando entre 0,28 e 0,40 e médias de Correlação Ponto-Bisserial dos itens variando entre 0,14 e 0,23. Desta forma, sob a ótica da Teoria Clássica dos Testes, conclui-se que a nota referente às questões objetivas desse componente não deveria ser utilizada para a tomada de decisões. Adicionalmente, por meio da Teoria de Resposta ao Item, se realizou a análise de uma hipotética escala unidimensional extraída dessas questões e, foi observado que alguns itens não se ajustavam ao um modelo unidimensional de cada ano. Comparou-se o ajuste dos modelos logísticos de três e quatro parâmetros e verificou-se que o último teve melhor ajuste aos itens, com ganho de variância explicada em todos os anos. Por fim, propõe-se a utilização de um modelo de itens de formato misto, permitindo calibrar simultaneamente os itens objetivos e discursivos em uma única escala, aumentando a precisão da medida e integrando as notas desses dois tipos de questões, atualmente calculadas separadamente. / Abstract : The National Student Performance Examination (ENADE) is part of the National System for the Evaluation of Higher Education (SINAES) and consists of a test composed of the components of General Formation, common to all areas of knowledge, and of the Specific Component of each course. Given the existence of few specific studies on the General Formation component, which is applied annually and its use in the regulation of Brazilian Higher Education, it is essential to evaluate the quality of this component based on the measurement theory. In order to do so, the three years corresponding to the third cycle of ENADE - 2010, 2011 and 2012 were analyzed. Among the objective questions of the examination, only one predominant dimension was identified in the test of each year by means of the factorial analysis of tetracorical correlations with the method of the minimum residues. There was a low internal consistency of these items, with Cronbach?s Alpha varying between 0.28 and 0.40 and means of Point-Bisserial Correlation of items varying between 0.14 and 0.23. Thus, from the standpoint of the Classical Theory of Tests, it is concluded that the note regarding the objective questions of this component should not be used for decision making. Additionally, through the Item Response Theory, an analysis of a hypothetical one-dimensional scale extracted from these questions was performed, and it was observed that some items did not fit the one-dimensional model of each year. The adjustment of the logistic models of three and four parameters was compared and it was verified that the last had better adjustment to the items, with gain of variance explained in all the years. Finally, it is proposed to use a mixed-format item model, allowing simultaneous calibration of objective and discursive items on a single scale, increasing the precision of the measurement and integrating the notes of these two types of questions, currently calculated separately.

Dissertação (mestrado profissional) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Florianópolis, 2014. / Made available in DSpace on 2015-02-05T20:38:48Z (GMT). No. of bitstreams: 1 328122.pdf: 2062845 bytes, checksum: cca282c33ea48c0899b22f8233a0a6ac (MD5) Previous issue date: 2014 / O presente estudo tem como objetivo a criação de uma escala para avaliar a percepção dos funcionários de Hospitais Universitários no Brasil quanto ao ambiente organizacional por meio da Teoria da Resposta ao Item (TRI). A população do estudo foi composta por 268 funcionários do Hospital Universitário da Universidade Federal de Santa Catarina que possuíam mais de dez anos de trabalho na instituição. O questionário foi elaborado e aplicado por Alcântara (2012) e possuía inicialmente 30 itens. As respostas dos funcionários foram utilizadas para calibrar os parâmetros dos itens e construir a escala de satisfação. Os dados foram tratados por meio da TRI através do modelo de resposta gradual (MRG) de Samejima, com a utilização do software MULTILOG. Após a análise dos parâmetros dos itens, um item foi eliminado por ter apresentado baixo parâmetro de discriminação e alguns itens tiveram suas categorias agrupadas, por não terem apresentado parâmetros de dificuldade bem distribuídos e nem erros padrões baixos. Com os resultados da aplicação da TRI, a escala foi criada com 29 itens com categorias ordinais em nove níveis âncora. As categorias dos itens âncora foram posicionadas nos níveis da escala, e procedeu-se à interpretação. Em relação aos funcionários do HU-UFSC, 82,84% dos entrevistados estão posicionados nos níveis que expressam uma opinião "regular" em relação aos indicadores associados ao trabalho no hospital. O indicador mais básico associado ao trabalho no hospital refere-se ao desempenho profissional a partir do que é disponibilizado pela instituição. Já as questões que podem caracterizar uma percepção mais positiva dos funcionários estão relacionadas ao suporte técnico, ao informativo do HU, aos cuidados com a manutenção preventiva e corretiva das dependências, entre outros. Pode-se afirmar que o questionário é muito eficiente e adequado para avaliar as diferentes percepções dos funcionários de hospitais universitários no Brasil quanto ao ambiente organizacional. / Abstract : This study aims to develop a scale to measure the level of satisfaction of employees of University Hospitals in Brazil by means of Item Response Theory (IRT). The study population consisted of 268 employees of the University Hospital of the Federal University of Santa Catarina who had more than ten years on the job. The questionnaire was developed and implemented by Alcantara (2012) and originally had 30 items. Employee responses were used to calibrate the item parameters and build satisfaction scale. Data were analyzed by using the IRT with graded response model of Samejima, using the software Multilog. After analyzing the parameters of the items, one item was deleted because it presented a low discrimination parameter and some items were grouped their categories because they have not submitted parameters difficult scattered and low standard errors. With the results of the application of IRT scale was created with 29 items with ordinal categories in nine anchor levels. The categories of anchor items were placed on the anchor levels of scale, and proceeded to interpretation. For officials of the HU - UFSC , 82.84 % are placed in levels that express a "regular" review of aspects related to work at the hospital. The most basic characteristic related to satisfaction is associated with job performance from what is provided by the institution. Have questions that can raise the level of employee satisfaction are related to technical support, the newsletter of HU, the care with preventive and corrective maintenance of the dependencies , among others . It can be stated that the questionnaire is very efficient and suitable for measuring all levels of employee satisfaction of university hospitals.

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2014. / Made available in DSpace on 2015-02-05T20:56:26Z (GMT). No. of bitstreams: 1 327742.pdf: 3880956 bytes, checksum: cc728d0cdf95b5dc8b1dde81b6cf0a5f (MD5) Previous issue date: 2014 / Este trabalho desenvolve um novo método de benchmarking, que permite a construção de escalas de competitividade para a comparação de produtos, utilizando-se da Teoria da Resposta ao Item (TRI). Os objetivos foram o desenvolvimento do método e a aplicação demonstrativa em um produto. Teoricamente, o método combina as etapas do processo clássico de benchmarking com as etapas da TRI, e demonstra como os modelos estatísticos desta técnica conseguem medir a competitividade de produtos, por meio de um traço latente. Assim, o método da TRI utiliza-se das teorias da Psicometria para mensurar a competitividade de forma qualitativa e quantitativa, pela interpretação das características tangíveis e intangíveis dos produtos. Na aplicação do método desenvolvido, o índice de competitividade será mais assertivo, conforme a aderência do modelo estatístico da TRI às características (itens) do produto, que representam a sua competitividade no mercado. A precisão da medida de competitividade dependerá, basicamente, dos tipos e quantidades de itens elaborados, bem como do número de produtos utilizados na estimativa dos parâmetros do modelo da TRI. Os itens deverão ser construídos com base em teorias pertinentes ao produto e/ou com a opinião de especialistas ou clientes, com o suporte do processo de medição de um traço latente. Para demonstrar a aplicação do método desenvolvido, foram utilizados os microdados do censo da educação superior do Brasil, dos cursos superiores de tecnologia presenciais, totalizando 1.581 cursos. Foram elaborados 16 itens, referentes à dimensão Corpo Docente e Tutorial, provenientes das características das instituições, cursos, docentes e alunos. O referencial teórico do construto foi o instrumento de avaliação de cursos superiores, desenvolvido pelo MEC/INEP. A aplicação do método resulta na construção da escala, nas quais as boas práticas podem ser identificadas pelos itens com maior dificuldade, dado que estes são representados na mesma unidade do índice de competitividade. O acompanhamento ao longo do tempo da competitividade é possível, mesmo com a alteração de características dos produtos, com o uso da equalização da TRI. Assim, os gestores das empresas obtém informações sobre os produtos e o mercado, apoiando-os na avaliação do desempenho frente aos concorrentes, e na tomada de decisão para a melhoria contínua do processo produtivo e ampliação das características de produtos.<br> / Abstract : This document develops a new method for benchmarking, which allows the construction of scales of competitiveness for the comparison of products using Item Response Theory (IRT). The objectives were the development of the method and its application in a product. Theoretically, the method combines classic benchmarking process steps with IRT steps and demonstrates through statistical models how this technique can measure the competitiveness of products by means of a latent trait. Thus, the IRT method uses the theories of Psychometrics to measure the competitiveness of products through qualitative and quantitative interpretation of the tangible and intangible characteristics of those products. The application of the developed method will increase the accuracy of assessments of the competitiveness of a product because this method uses a statistical model of the IRT to evaluate the characteristics product that reflect market competitiveness. The precision of the measurement of competitiveness will depend basically on the types and quantities of items produced, as well as the number of products used in estimating the model parameters of the IRT. Items will be constructed based on relevant product and/or expert opinion or customers, with the support of the process of measuring of a latent trait. To demonstrate the application of the developed method, the census microdata of higher education in Brazil, the upper courses of classroom technology, totaling 1,581 courses, were used. Sixteen items related to Academic and Tutorial Corps, from the characteristics of institutions, courses, teachers and students were drawn dimension. The theoretical construct of the assessment tool of the superior courses, developed by MEC/INEP. The application of the method results in the construction of a scale in which items identify good practice with greater difficulty because they are represented in the same units as the index of competitiveness. The monitoring along time of the competitiveness is possible, even with the change of product characteristics, using the equalization TRI. Thus, managers of companies obtain information about their products and the market, which allows them to assess their performance against their competitors and to make decisions regarding the continuous improvement of their production process and expansion of product characteristics.

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2017 / Made available in DSpace on 2017-09-26T04:18:49Z (GMT). No. of bitstreams: 1 348177.pdf: 2799400 bytes, checksum: 243a8a6f839c30092976d8e6b595b81a (MD5) Previous issue date: 2017 / Teste adaptativo computadorizado (CAT) é um método de aplicação de testes capaz de produzir um teste personalizado para cada indivíduo. O sucesso de um CAT depende, entre outros fatores, de um banco de itens (BI) calibrado pela teoria da resposta ao item (TRI) e com boas qualidades psicométricas. Esse BI necessita de manutenção periódica para não comprometer os resultados da avaliação, principalmente em testes de alto impacto, ou seja, quando seus resultados são usados para tomar decisões importantes que afetam estudantes, professores ou instituições. O objetivo deste trabalho foi desenvolver uma sistemática para a manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto. Duas fases foram definidas. A Fase 1 visa acrescentar novos itens no BI (calibração de novos itens), enquanto a Fase 2 visa o monitoramento para identificar itens comprometidos e que precisam ser eliminados do BI (Etapa 1 - monitoramento da exposição dos itens e Etapa 2 - verificação de drift dos parâmetros dos itens). Diretrizes são fornecidas para orientar os desenvolvedores de testes e profissionais responsáveis pela manutenção de CATs, sobre como proceder em cada fase de análise. Diferentes simulações são apresentadas para definição do design do CAT operacional para avaliar profissionais de um curso de capacitação na área da saúde, bem como os resultados da aplicação do CAT em duas edições de testes e implementação de parte da sistemática de manutenção do BI. Por fim, sugere-se a execução das duas fases da sistemática a cada edição de testes. / Abstract: Computerized adaptive testing (CAT) is a form of computer-administered test that adapts to the examinee's latent trait level. Adapting the difficulty of items means that an examinee with high latent trait will receive difficult items, while an examinee with low latent trait will receive easy items. The success of a CAT depends, among other factors, on an item bank (BI) with both good psychometric qualities and calibration based on the item response theory (IRT). In order to keep effectiveness, this item bank needs to be periodically up-to-dated so the evaluation results will not be compromised. The item bank maintenance is especially important for high-stakes tests, ie when their results are used to make important decisions that affect students, teachers or institutions. The objective of this work was to develop a systematized approach for the item bank maintenance for computerized adaptive testing applied in high-stakes tests. Two phases have been defined. Phase 1 aims to increase BI (calibration of new items), while Phase 2 aims to identify potentially compromised items that need to be eliminated of the BI (Step 1 - monitoring the items exposure and Step 2 - detection of item parameter drift). Guidelines are provided to guide test developers and professionals responsible for maintaining a CAT, on how to proceed in each phase of the analysis. Different simulations are presented to define the CAT design for the evaluation of health professionals at the end a training course. We also present both the results of the CAT application in two rounds of tests and the implementation of part of the approach for the item bank maintenance. Finally, we suggest the execution of the two phases to each round of tests.

Dissertação (mestrado profissional) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Florianópolis, 2015 / Made available in DSpace on 2016-04-19T04:17:56Z (GMT). No. of bitstreams: 1 337946.pdf: 2934284 bytes, checksum: 5a9c1b2c03a654d79a44ac797b98009e (MD5) Previous issue date: 2015 / O presente trabalho teve como objetivo comparar as avaliações educacionais em papel e em computador tendo como base as provas de Matemática do PISA 2012. Mais precisamente, analisou o efeito do modo de aplicação nos dois lados do processo: no instrumento e no avaliando, pelo estudo da dimensionalidade das provas e da comparação tanto das médias de grupos específicos, quanto do nível de dificuldade dos itens. Para as duas primeiras análises, foram utilizadas as respostas dos 1.390 alunos brasileiros que fizeram parte da amostra e que realizaram a prova de Matemática nos dois formatos. A avaliação do número de dimensões foi feita pelo método de análise fatorial de informação completa e o ajuste dos itens aos fatores revelou um conjunto predominantemente unidimensional, indicando a equivalência das provas nesse quesito. A comparação das médias considerou características individuais dos alunos e das escolas: posse de computadores, sexo, ano de ensino e localização da escola (urbana/rural; região/estado), demonstrando o impacto positivo das provas em computador no desempenho dos alunos de quase todos os grupos avaliados. A discussão do nível de dificuldade dos itens foi realizada através de uma análise quali-quantitativa, que levou em conta o posicionamento dos alunos e dos itens na escala geral de Matemática, bem como a dificuldade dos itens em papel e em computador da categoria de conteúdo Espaço e Forma classificados na mesma categoria de processo e contexto. O posicionamento dos 125 itens (84 em papel e 41 em computador) que fizeram parte do estudo indicou que, em geral, a prova em computador foi mais difícil que a prova em papel e que um número muito reduzido de itens em computador estavam adequados ao nível de proficiência da maioria dos alunos brasileiros, sugerindo uma possível superestimação das médias de proficiência nesse modo de aplicação, com impacto ainda maior nos grupos de baixo desempenho. As características distintas dos itens não permitiram obter resultados mais conclusivos quanto à comparabilidade dos dois modos de aplicação.<br> / Abstract : This study aimed to verify the comparability of educational assessments in both paper-based and computer-based formats based on the evidence of PISA 2012 Mathematics tests. More precisely, it examined the effect of the application mode on both sides of the process: in the instrument and in the examinees by the study of the dimensionality of the tests and by the comparison of the specific groups means and the level of items difficulty. For the first two analyzes, the responses of the 1.390 Brazilian students who were part of the sample and did the Mathematics tests in both formats were used. The evaluation of the number of dimensions was taken by the full information factor analysis and the adjustment of the items to the factors revealed a predominantly unidimensional set, indicating the equivalence of the tests in this matter. The comparison of means considered individual characteristics of the students and the schools: computers possession, sex, school year and school location (urban/rural, region/state), demonstrating the positive impact of the computer tests in students' performance in almost all groups evaluated. The discussion about the items difficulty level was accomplished through a qualitative and quantitative analysis, which considered the position of students and items in the Mathematics general scale as well as the difficulty of the paper and computer items of the content category Space and Shape classified under the same category of process and context. The position of the 125 items (84 in paper and 41 in computer) that were part of the study indicated that, in general, the computer-based test was more difficult than the paper-based test and that a very small number of items in computer were adequate to the proficiency level of most Brazilian students, suggesting a possible overestimation of proficiency average in this application mode, with even greater impact on the underperforming groups. The items' distinct characteristics did not allow to obtain more conclusive results regarding the comparability of the two application modes.