Ziel der vorliegenden Studie war es, verschiedene kommerzielle Anbieter für KI-gestützte FRS-Analysen hinsichtlich ihrer Genauigkeit mit einem menschlichen Goldstandard zu vergleichen.
Auf 50 FRS wurden durch zwölf erfahrene Untersucher 15 Landmarken identifiziert, auf deren Basis neun relevante Parameter vermessen wurden. Der Medianwert dieser zwölf Auswertungen wurde für jeden Parameter auf jedem FRS als Goldstandard definiert und als Referenz für die Vergleiche mit vier verschiedenen kommerziellen KI-Anbietern (DentaliQ.ortho, WebCeph, AudaxCeph, CephX) festgelegt. Die statistische Auswertung erfolgte mittels ANOVA mit Messwiederholung, paarweiser Vergleiche mittels Post-hoc-Test und Bland-Altman-Plots.
DentaliQ.ortho zeigte für alle neun untersuchten Parameter keinen statistisch signifikanten Unterschied zum menschlichen Goldstandard und es konnte insgesamt von einer hohen Genauigkeit der Auswertungen ausgegangen werden. Auch für WebCeph war kein statistisch signifikanter Unterschied zum menschlichen Goldstandard zu verzeichnen. Allerdings war die Präzision im Vergleich zu den anderen Anbietern für alle Parameter am geringsten und der proportionale Fehler bei nahezu allen Parametern am höchsten. AudaxCeph wies für sieben Parameter statistisch signifikante Unterschiede zum menschlichen Goldstandard auf. Für CephX wurden für fünf Parameter statistisch signifikante Unterschiede zum menschlichen Goldstandard ermittelt. Insbesondere für die dentale Analyse war für alle untersuchten kommerziellen KI-Anbieter eine vergleichsweise niedrigere Genauigkeit zu verzeichnen.
Die Ergebnisse zeigen, dass noch deutliche Qualitätsunterschiede zwischen den kommerziellen KI-Anbietern für die vollständig automatisierte FRS-Analyse bestehen. Vor dem Hintergrund der Zeitersparnis und Qualitätssicherung sind KI zwar vielversprechend, sollten aber zum aktuellen Zeitpunkt nur unter Aufsicht durch menschliche Experten zum Einsatz kommen. / The aim of this study was to compare various commercial providers for AI-assisted cephalometric analysis with regard to their accuracy to a humans’ gold standard.
Twelve experienced investigators identified 15 landmarks on 50 cephalometric X-rays and on this basis nine relevant parameters were measured. The median value of these twelve evaluations was defined as the gold standard for each parameter on each cephalometric X-ray and used as a reference for the comparisons with four different commercial AI providers (DentaliQ.ortho, WebCeph, AudaxCeph, CephX). Statistical analysis was performed using ANOVA with repeated measures, pairwise comparisons using post-hoc test and Bland-Altman plots.
DentaliQ.ortho showed no statistically significant difference to the humans’ gold standard for all nine parameters examined and the overall accuracy of the evaluations could be described as high. There was also no statistically significant difference between WebCeph and the humans’ gold standard. However, compared to the other providers, the precision was the lowest for all parameters and the proportional error was the highest for almost all parameters. AudaxCeph showed statistically significant differences to the humans’ gold standard for seven parameters. For CephX, statistically significant differences to the humans’ gold standard were determined for five parameters. For the dental analysis in particular, a comparatively lower accuracy was recorded for all commercial AI providers examined.
The results show that there are significant differences in quality between commercial AI providers for fully automated cephalometric analysis. Although AI is promising in terms of saving time and assuring quality, it should currently only be used under the supervision of human experts.
| Identifer | oai:union.ndltd.org:uni-wuerzburg.de/oai:opus.bibliothek.uni-wuerzburg.de:35180 |
| Date | January 2024 |
| Creators | Widmaier [geb. Wirth], Lisa Marie |
| Source Sets | University of Würzburg |
| Language | deu |
| Detected Language | German |
| Type | doctoralthesis, doc-type:doctoralThesis |
| Format | application/pdf |
| Rights | https://opus.bibliothek.uni-wuerzburg.de/doku/lic_mit_pod.php, info:eu-repo/semantics/openAccess |
Page generated in 0.0086 seconds