Orientadores: Eliana Martorano Amaral, Angelica Maria Bicudo Zeferino / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Ciencias Medicas / Made available in DSpace on 2018-08-12T11:06:13Z (GMT). No. of bitstreams: 1 Domingues_RosangelaCurvoLeite_D.pdf: 2568394 bytes, checksum: ef02de041cdb4116f477edbaf37a5267 (MD5) Previous issue date: 2008 / Resumo: Objetivo: Relacionar o Conceito Global Itemizado com o Conceito Geral dos alunos do 4º ano de Medicina, atribuídos por três tipos de avaliadores (docentes, colegas e próprio aluno) e compará-lo com os outros métodos de avaliação das competências esperadas no atendimento em unidade de atenção primária. Sujeitos e métodos: Foram estudadas as notas atribuídas a estudantes do 4º ano (n=106), por docentes (n=19), pelos próprios alunos e por colegas, ao final de um módulo de ensino que se desenvolve em 6 unidades básicas de saúde, sob supervisão de docentes e tutores de Ginecologia e Obstetrícia (GO), Clínica Médica (CM) e Pediatria (Ped). Os docentes forneceram uma nota (0 a 10) que resumia as competências do aluno no semestre, cuja média foi definida como Conceito Geral (CG). Depois de duas semanas, os mesmos docentes preencheram o formulário pré-testado do Conceito Global Itemizado (CGI) para os mesmos alunos, que continha 6 domínios de competências técnicas (CGIt) e 7 de competências humanísticas (CGIh). Os alunos preencheram formulários iguais (de CG e de CGI) para realizar sua auto-avaliação e apenas a parte das competências humanísticas (CGIh) para anonimamente avaliar 3-4 colegas que compunham o seu grupo. Por meio de um instrumento auto-respondido, também expressaram sua opinião sobre o exercício de se auto-avaliar e de avaliar seus colegas. As notas de CGI foram comparadas com notas provindas de outros métodos de avaliação: Provas Teóricas (Pt), Portfólio (Pf) e Avaliação Estruturada (AE). A análise estatística incluiu estatísticas descritivas, análise fatorial, coeficientes de Cronbach, testes de Friedman e de Wilcoxon para dados emparelhados, coeficientes de correlação de Pearson e de Spearman, modelos de análise de variância (ANOVA) e distâncias Euclidianas. Assumiu-se o nível de significância de 5%. Foi utilizado o programa SPSS Versão 10.0. O projeto foi aprovado pelo Comitê de Ética e Pesquisa da instituição. Resultados: Houve predominância de notas elevadas e discriminação reduzida entre os alunos. A consistência interna do questionário de CGI foi elevada para todos os avaliadores (alfa de Cronbach > 0,881). As notas de CG dos alunos foram significativamente inferiores às dos docentes (diferença de medianas = 0,41). As notas de CG foram significativamente inferiores às notas do CGI na avaliação docente (diferença de medianas = 0,13), mas não na auto avaliação e tiveram maior concordância e correlação com as notas de CGIt (r= 0,873 docente, r= 0,715 auto-avaliação) do que com as de CGIh (r= 0,614 docente, r= 0,481 auto-avaliação). As notas de CGIh foram significativamente mais elevadas do que as de CGIt, tanto na auto-avaliação (diferença de medianas = 0,17) quanto na avaliação docente (diferença de medianas = 0,19), com modestas correlações entre elas (r= 0,62 docentes, r= 0,61 auto-avaliação). Os alunos atribuíram notas significativamente mais baixas para os colegas do que para si mesmos (CGIh, diferença de medianas = 0,36). As correlações entre as notas dos três tipos de avaliadores para todos os domínios do CGI foram muito pobres e, em geral, não significativas. As notas dos docentes de Ped foram significativamente inferiores às dos docentes de GO e CM (diferenças de medianas entre 0,50 e 0,67), com correlações baixas entre elas (-0,02<r<0,48). A maior discordância ocorreu entre as notas de GO e Ped, em todos os métodos. Os domínios que tiveram maior impacto na confiabilidade do CGI foram: Exame físico, Solução de problemas, Capacidade de auto-reflexão e Julgamento clínico. Hábitos de trabalho poderia ser excluído do instrumento itemizado. 90,6% dos alunos/avaliadores avaliaram todos os seus colegas de grupo. Houve indicações de reciprocidade e constância no padrão das notas entre pares e situações sugestivas de conflitos interpessoais. Os alunos se sentiram mais confortáveis e preparados para a auto-avaliação do que para a avaliação dos colegas (diferença de 34,4% e 17,7%, respectivamente) e julgaram a auto-avaliação mais justa e valiosa do que a avaliação dos colegas (diferença de 4,2% e 34,7%, espectivamente). Houve diferenças significativas entre as distribuições das notas de todos os métodos, com notas mais elevadas na AE (mediana = 9,27). Houve correlação forte e significativa (r= 0,719) e maior concordância entre as notas da AE e as do CGI. Conclusão: Os alunos foram mais rigorosos consigo mesmo do que os docentes no CG e nos atributos técnicos do CGI e com seus pares nos atributos humanísticos do CGI. As notas do CG foram inferiores às do CGI para os docentes, mas não para os próprios alunos e enfocaram principalmente as competências técnicas dos estudantes. O CGI mostrou-se uma estratégia válida e confiável para compor o conjunto de métodos de avaliação dos estudantes do 4º ano de medicina, em estágio clínico. / Abstract: Purpose: To correlate the Global Itemized Rating with the Global Overall Rating attributed to Y4 medical students by three types of assessors (faculty, peers and self), and to compare it with other assessment methods used to evaluate learners in clinical clerkship, at the primary level of care. Subjects and Methods: The focus of the present study were ratings attributed to Y4 medical students (n= 106) by faculty members (n= 19), by own students and peers, at the end of a teaching module conducted at 6 primary care centers, and supervised by faculties and tutors from Obstetric and Gynecology (O&G), Internal Medicine (IM) and Pediatrics (Ped). Faculties provided a summative global numeric rating, ranging from 0 to 10, which summarized student's competencies during the clerkship. Faculty global scores across disciplines were averaged and defined as a Global Overall Rating (GOR). Two weeks after securing GOR ratings for all students, the same faculty members assessed the same students using in a pre-tested Global Itemized Rating, named GIR, which encompassed thirteen domains: six referred to technical skills (GIRt), and seven to humanistic skills (GIRh). Students completed similar GOR and GIR forms for self-assessment, and the humanistic scoring components of the GIR form to anonymously assess three to five working-group peers. Students answered a questionnaire on their perceptions to the experience as self and peer raters. GIR ratings were compared with ratings from other assessment methods: Multiple-choice questions (MCQs), Portfolio (Pf) and Real-case structured clinical assessment (RC-SCA). Statistical analyses included descriptive statistics, factor analysis, Cronbach's alpha, Friedman test, Wilcoxon signed rank test, Pearson and Spearman correlation coeffients, ANOVA models and Euclidean distances. Statistical significance was set at P<0.05. Statistical analyses were performed using SPSS program, version 10.0. Ethical approval was obtained. Results: Distributions were negatively skewed and reduced discrimination among students was observed. GIR internal consistency was high, across all types of raters (Cronbach's alpha > 0.881). Students' GOR ratings were significantly lower than faculties' (median difference = 0.41). GOR ratings were significantly lower than GIR ratings for faculty (median difference = 0.13), but not for self, and showed stronger agreement and correlation with GIRt (r= 0.873 for faculty and r= 0.715 for self) than with GIRh (r= 0.614 for faculty and r= 0.481 for self). GIRh ratings were significantly higher than GIRt (median difference = 0.17 for self and 0.19 for faculty), with modest correlations between them (r= 0.62 for faculty and r= 0.61 for self). Learners attributed lower mean ratings to their fellow students than to themselves (CGIh median difference = 0.36). Correlations between faculty, self and peer scores were very poor in all domains, and generally non significant. Ped scores were significantly lower than O&G and IM (median differences between 0.50 and 0.67), with low correlations between them (-0.02<r<0.48). O&G and Ped scores showed greater disagreement, in all methods. The domains that had greater impact on the reliability of the scale were: Physical examination, Problem-solving, Self- reflective skills and Clinical Judgment. Work habits could be excluded from the itemized form. 90.6% of the learners/raters assessed all their group-peers. Patterns of reciprocity and constancy in ratings, and some situations suggesting conflicts were noticed in working groups. Learners expressed to be more comfortable and prepared for self than for peer assessment (difference = 34.4% and 17.7%, respectively), and considered self-assessment more fair and valuable than peer assessment (difference = 4.2% and 34,7%, respectively). There were significant differences between score distributions in all assessment methods, with higher ratings in RC-SCA (median = 9.27). RC-SCA and GIR showed strong and significant correlations (r= 0.719) and greater agreement. Conclusion: Learners were sctricter with themselves than faculty in GOR and in GIR technical domains, and with their colleagues in GIR humanistic domains. GOR ratings were lower than GIR ratings for faculty, but not for self, and focused mainly on students' technical skills. GIR has shown to be a valid and reliable strategy, which can make up the set of assessment methods used to evaluate fouth-year students in clinical clerkship. / Doutorado / Ciencias Biomedicas / Doutor em Tocoginecologia