Return to search

Étude de l'impact d'un outil de calibration des évaluations des étudiants dans l'enseignement de l'endodontie au premier cycle

Introduction : Les cliniciens de la faculté de médecine dentaire de l'Université Laval utilisent une grille d'évaluation détaillée pour la notation des traitements endodontiques effectués par les étudiants. Malgré cela, une fluctuation des notes entre les examinateurs a pu être observée. Objectif : Créer un outil de calibration informatisé pour les évaluations cliniques et pré-cliniques en endodontie et vérifier l'efficacité de cet outil. Méthode : La première étape du projet consistait à la création de l'outil de calibration sur plateforme web. La deuxième étape fut l'étude de l'efficacité de cet outil. Seize participants ont effectué à la suite un test pré-calibration (test = attribuer une note à 5 traitements endodontiques fictifs), le processus de calibration, un test post-calibration immédiat et un test post-calibration deux mois plus tard. Les accords inter-évaluateurs avant et après la calibration ont été évalués grâce au coefficient intra-classe (ICC). La différence entre la note gold standard et la note du participant a été évaluée avant et après la calibration grâce à une ANOVA à mesures répétées. Résultats : Les ICC tout groupe confondu ont montré le passage d'une concordance inter-juge faible (ICC = 0,390) en pré-calibration à une concordance modérée en post-calibration (ICC post-calibration immédiat = 0,625; ICC post-calibration 2 mois = 0,533). L'ANOVA sur modèle de la différence absolue a montré une différence statistiquement significative entre les moyennes ajustées du test pré-calibration (X̅pré = 0,6445 ± 0,0726, p < 0,05) et le test post-calibration immédiat (X̅post-1 = 0,4908 ± 0,0726, p < 0,05). Aucune différence statistiquement significative n'a été trouvée entre les moyennes ajustées des tests pré-calibration et post-calibration à 2 mois (X̅post-2 = 0,4908 ± 0,0726) (p > 0.05). Conclusion : Cette étude a démontré que l'outil de calibration permet une amélioration de la concordance des notes entre les évaluateurs immédiatement après son application mais cette concordance ne s'est pas maintenue dans le temps. / Introduction: Clinicians at the Faculty of Dentistry of Laval University use a detailed rubric for scoring endodontic treatments performed by students. Despite this, grading inconsistencies among faculty members was observed. Aim: Create and validate an online calibration tool for clinical evaluations in endodontics. Method: The first phase of the project consisted of creating the calibration tool on a web platform. The second phase was the analysis of the effectiveness of this tool. Sixteen participants performed a pre-calibration test (test = assign a score to a sample of 5 endodontic treatments), the calibration process, an immediate post-calibration test and a 2-month post-calibration test. The inter-rater agreement before and after calibration was evaluated using the intra-class coefficient (ICC). In addition, the difference between the gold standard and the participant's score was assessed before and after calibration using repeated measures ANOVA. Results: The ICC of all groups combined showed a low inter-rater agreement (ICC = 0.390) in pre-calibration and moderate agreement in post-calibration (ICC immediate post-calibration = 0.625; ICC 2-month post-calibration = 0.533). The ANOVA showed a significant difference between the adjusted mean of absolute differences (│Gold standard grades - Participant grades│) before calibration (X̅pre = 0.6445 ± 0.0726, p < 0.05) and in immediate post-calibration (X̅post-1 = 0.4908 ± 0.0726, p < 0.05). However, no statistically significant difference was found between the adjusted means of the pre-calibration test and the post-calibration test at 2 months (X̅post-2 = 0.4908 ± 0.0726) (p > 0.05). Conclusion: This study demonstrated that the calibration tool improved the inter-rater reliability immediately after application, but this agreement was not maintained over time.

Identiferoai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/69818
Date12 August 2021
CreatorsWagret, Laure
ContributorsSantos, Juliana Nascimento
Source SetsUniversité Laval
LanguageFrench
Detected LanguageFrench
Typemémoire de maîtrise, COAR1_1::Texte::Thèse::Mémoire de maîtrise
Format1 ressource en ligne (xii, 88 pages), application/pdf
Rightshttp://purl.org/coar/access_right/c_abf2

Page generated in 0.0028 seconds