Submitted by Renata Morais (rmorais@unoeste.br) on 2018-09-25T18:27:46Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Rebeca Carvalho Bressa.pdf: 1225569 bytes, checksum: 7ca7dbf0fcc71d7519691f65e66dafb2 (MD5) / Made available in DSpace on 2018-09-25T18:27:46Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Rebeca Carvalho Bressa.pdf: 1225569 bytes, checksum: 7ca7dbf0fcc71d7519691f65e66dafb2 (MD5) Previous issue date: 2018-04-12 / The belief in teacher self-efficacy (AED) is defined as the teacher's judgment of his or her abilities to achieve student engagement and learning outcomes. The Objective Structured Clinical Examination (OSCE) is a standardized tool used in the evaluation of professional performance. Associating the concepts of AED and OSCE use in the practice of the medical professor is an innovative challenge. Thus, this dissertation was constructed with three studies: the first one reviewed the national publications on OSCE and their relationship with the current context of Brazilian medical education; the second presented the main Brazilian studies on EDA and the third analyzed the associations between EDA and the OSCE application. In the first study, 32 texts were selected, of which only 18.8% described theoretical concepts about the OSCE, which means little time for experimentation of the method in Brazil. In the second, 32 articles were found, and 37.5% were aimed at investigating AED in different educational contexts, which demonstrates the concern of disseminating the construct in the academic environment. In the third one, two scales (Teacher Self-efficacy Scale - EAEP and Self-efficacy Scale - EFAE) were applied and a characterization questionnaire that, besides the socio demographic characteristics of the examined ones, presented questions directed to teacher perception about their work process and the main properties of simulated activities such as the OSCE. A total of 47 medical professors from a private university in the interior of the state of São Paulo were 55.3% male and 44.7% female, ranging in age from 31 to 78, whose teaching experience was dispersed between 1 and 35 years, with a mean of 11.5 years. In the results of the EFAE, the factors Social Persuasion and Vicarious Learning were the most endorsed, indicating that these sources are those of greater interference in the formation of the teachers' beliefs. Most of the participants had low and average scores on self-efficacy beliefs. The highest averages found were in relation to the Effectiveness factor in the Intentionality of the Action. In relation to the statistically significant correlations, these were negative and with moderate magnitudes between the factors of self-efficacy and the sources of Physiological and Affective States, indicating that the greater the belief in the capacity to teach or control the academic environment, the smaller the influences of physiological and emotional tensions in the performance and formation of these beliefs. There was only a positive correlation with weak magnitude, established between Action Intentional Efficacy and Vicarious Learning, suggesting that teachers who believe in their ability to mobilize students for the teaching-learning process may have these beliefs formed from the experiences of its formative process as a whole. The association of teachers with high levels of AED and OSCE implementation needs to be further explored, including in studies with qualitative approaches, but a priori, this hypothetical association appears to be promising in strengthening the quality of teaching. / A crença de autoeficácia docente (AED) é definida como o julgamento que o professor faz de suas capacidades em alcançar os resultados de comprometimento e aprendizagem do aluno. O Objective Structured Clinical Examination (OSCE) é uma ferramenta padronizada utilizada na avaliação do desempenho profissional. Associar os conceitos de AED e uso do OSCE na prática do professor de Medicina é um desafio inovador. Assim, esta dissertação foi construída com três estudos: o primeiro revisou as publicações nacionais sobre OSCE e sua relação com o contexto atual da educação médica brasileira; o segundo apresentou os principais estudos brasileiros sobre AED e, o terceiro analisou as associações entre AED e a aplicação do OSCE. No primeiro estudo foram selecionados 32 textos, dos quais, apenas 18,8% descreveram conceitos teóricos sobre o OSCE, o que traduz pouco tempo de experimentação do método no Brasil. No segundo foram encontrados 32 artigos e 37,5% objetivaram Investigar a AED em diferentes contextos educacionais, o que demonstra preocupação em divulgar o constructo no meio acadêmico. No terceiro foram aplicadas duas escalas (Escala de Autoeficácia do Professor – EAEP e Escala sobre Fontes de Autoeficácia - EFAE) e um questionário de caracterização que, além das características sócio demográficas dos examinados, apresentava perguntas direcionadas a percepção docente sobre seu processo de trabalho e as principais propriedades de atividades simuladas como o OSCE. Participaram 47 docentes de Medicina de uma universidade privada do interior do estado de São Paulo, sendo 55,3% do sexo masculino e 44,7% do sexo feminino, com idade variando entre 31 e 78 anos, cuja experiência na docência era dispersa entre 1 e 35 anos, com média de 11,5 anos. Nos resultados da EFAE, os fatores Persuasão Social e Aprendizagem Vicária foram os mais endossados, indicando que estas fontes são as de maior interferência na formação das crenças dos professores. A maioria dos participantes tiveram pontuações de classificações baixa e média no que se refere às crenças de autoeficácia. As maiores médias encontradas foram em relação ao fator Eficácia na Intencionalidade da Ação. No que concerne às correlações estatisticamente significativas, estas foram em sentido negativo e com magnitudes moderadas entre os fatores de autoeficácia e as fontes de Estados Fisiológicos e Afetivos, indicando que quanto maior a crença na capacidade de ensinar ou controlar o ambiente acadêmico, menores são as influências de tensões fisiológicas e emocionais no desempenho e formação dessas crenças. Houve apenas uma correlação positiva com magnitude fraca, estabelecida entre Eficácia na Intencionalidade da Ação e Aprendizagem Vicária, sugerindo que os docentes que acreditam na sua capacidade de mobilizar os alunos para o processo de ensino-aprendizagem podem ter essas crenças formadas a partir das experiências de seu processo formativo como um todo. A associação de professores com elevados níveis de AED e aplicação do OSCE necessita ser mais explorada, inclusive em estudos com abordagens qualitativas, mas a priori, essa associação hipotética parece ser promissora no fortalecimento da qualidade do ensino

Introdução: Feedback é uma ferramenta de ensino poderosa. Para otimizar o feedback em avaliações tipo OSCE (Objective Structured Clinical Examination), uma modificação no papel do avaliador, apelidada de \"avaliador sombra\", foi testada. Os \"avaliadores sombras\" acompanham os estudantes por todas as estações realizando todas as avaliações. Ao término da atividade, realizam feedback do desempenho clínico aos estudantes. Objetivos: Descrever e discutir a experiência na aplicação deste modelo OSCE modificado, avaliar as opiniões dos alunos em relação a este novo método, e apresentar um estudo onde foram realizadas comparações entre o \"avaliador sombra\" e o formato original do examinador OSCE, nomeado de \"avaliador fixo\", com o objetivo de responder se este novo formato de avaliação apresenta vieses em relação ao formato original. Metodologia: Em 2011 foram realizados experimentos com as modificações no papel do avaliador para definir o formato final do \"avaliador sombra\". No período compreendido de fevereiro de 2012 a maio de 2014 foi realizado um protocolo de pesquisa com 415 estudantes do 6º ano de medicina. Destes, 316 estudantes foram randomizados para serem avaliados por avaliadores \"sombras\" e \"fixos\". Para analisar as comparações entre os avaliadores \"sombras\" e \"fixos\", foram utilizados o coeficiente de correlação de Pearson com regressão linear, teste t de Student e gráficos de Bland-Altman. Para aprofundar estas análises, os itens dos checklists foram classificados por domínios para realização de comparações mais específicas. Considerando que esta foi a primeira vez em que esta nova estratégia de avaliador (\"sombra\") foi aplicada, foram realizados questionários de opinião aos 415 estudantes que participaram do OSCE com o \"avaliador sombra\". Resultados: Foram encontradas altas e significativas correlações entre as notas globais por estação dadas aos estudantes pelos avaliadores \"sombras\" e \"fixos\",r = 0,87 (0,85 - 0,89; p < 0,05). Nas análises por domínios (afetivo, psicomotor e cognitivo), os resultados demonstraram maiores correlações entre as notas no domínio cognitivo e menores no afetivo. Não houve diferenças significativas comparando as médias das notas dadas pelos examinadores em relação às notas globais e nos domínios psicomotor e cognitivo. Análises de Teste t e de Bland-Altman demonstraram que as notas dadas aos estudantes no domínio afetivo foram maiores pelos \"avaliadores sombras\", mas a magnitude desta diferença foi muito pequena. De acordo com os questionários aplicados aos 415 estudantes, o feedback realizado pelos \"avaliadores sombras\" contribui para o aprimoramento de habilidades. Mais do que 90% dos estudantes concordaram que o feedback realizado pelo \"avaliador sombra\" é mais efetivo do que outras estratégias de feedback realizadas em outras aplicações de OSCE durante o curso de graduação de medicina até aquele momento. Conclusão: As modificações no papel do avaliador, \"avaliador sombra\", não levaram a vieses significativos nas notas dos estudantes quando comparado ao modelo de avaliador original do OSCE. Esta nova estratégia pode fornecer importantes melhorias na avaliação formativa de competências clínicas / Background: Feedback is a powerful learning tool. To improve the opportunity for feedback provided during an Objective Structured Clinical Examination (OSCE), a modification of the examiner\'s role nicknamed the \"shadow examiner\" was tested. In this new strategy, examiners follow the students across all OSCE stations, and may provide important insights for formative assessments of clinical performance Objective: Describe and discuss the experience in applying this modified OSCE, evaluate students\' opinions regarding this new method, and present an experience to analyze comparisons between the \"shadow examiner\" and original examiner OSCE format, nicknamed \"fixed examiner\". The objective of this study was to answer if this new assessment format presents biases in relation to the original format. Methods: In 2011, some experiments were carried out with modifications in the examiner\'s role to define the format of \"shadow examiner\". From February 2012 to May 2014, the research protocol was performed with 415 6th year medical students. Of these, 316 were randomly assigned to assessments made up of \"shadow\" and \"fixed\" examiners. Pearson correlation coefficients with linear regression, Student\'s t-test analysis, Bland-Altman plots were the statistical methods used to compare the assessment modes. To strengthen the analysis, checklist items were classified by domains in order to make specific comparisons. Considering that this was the first application of this new examiner (\"shadow\") strategy was applied, were conducted opinion surveys of the 415 students who participated in the OSCE with the \"shadow examiner\". Results: High correlations for global scores between \"shadow\" and \"fixed\" examiners were observed, r = 0,87 (0,85 - 0,89; p < 0,05). Analysing specific domains (affective, psychomotor and cognitive), the results demonstrated higher correlations for cognitive scores and lower correlations for affective scores. No statistically significant differences between mean examiners\' global scores, psychomotor and cognitive domains were found. T-test and Bland-Altman reviews showed that affective scores from \"shadow examiners\" were significantly higher than those from \"fixed examiners\", but the magnitude of this difference was small. According to the questionnaires applied to the 415 students, feedback from \"shadow examiners\" contributes to skills training, and more than 90% of these students agree that feedback from \"shadow examiners\" is more effective than other feedback formats achieved in other OSCE applications during the medical graduation course up to that time. Conclusion: The modifications in the role of examiner, \"shadow examiner\", did not lead to any important bias in the students\' scores comparing with the original examiner strategy of OSCE. This new strategy may provide important insights for formative assessments of clinical performance