Die Bedeutung von Technologien, welche auf künstlicher Intelligenz basieren, nimmt stetig zu. Vor allem im Gesundheitswesen spielen solche Anwendungen eine zunehmend größere Rolle, denn mithilfe dieser können Qualität- und Patientensicherheit enorm verbessert werden.
Ein bedeutendes Beispiel ist hier die Dokumentation von Operationen, welche sehr zeitaufwendig und nicht zuletzt auch fehleranfällig ist, da die Prozedur meist Stunden nach der eigentlichen Operation (OP) aus dem Gedächtnis reproduziert werden muss. Die Abnahme solcher zeitintensiven und repetitiven Aufgaben durch KI-basierte Anwendungssysteme ermöglicht es, dass mehr Zeit für die Arbeit mit und am Patienten geschaffen und die Arbeitslast der Ärzte reduziert werden kann.
Hierfür wurde mithilfe von „Natural Language Processing“ und einem neuronalen Sprachmodell, dem sogenannten „Deep Learning“, ein schlagwortbasiertes KI-Tool entwickelt, welches Schlagwörter, die während der Prozedur eingesprochen werden, erkennt und verarbeitet. Anhand dieser und der Wortreihenfolge werden durch eine Encoder-Decoder-Architektur sinnvoll zusammenhängende OP-Berichtsätze erzeugt, sodass parallel zur laufenden Operation ein vollständiger OP-Bericht teilautomatisiert konstruiert wird. Das Tool wurde vorerst auf der Basis von 48 konventionell erstellten Berichten von Nasennebenhöhlenoperationen mithilfe einer „k-fold cross-validation“ trainiert und weiterentwickelt, kann aber in Zukunft in verschiedenen Fachdisziplinen und Prozeduren zur Dokumentation integriert werden.
Das Ziel der vorliegenden Arbeit ist es, die Performanzentwicklung durch das Training des KI-basierten Programms zur OP-Dokumentation von NNH-Operationen anhand von bestimmten Metriken zu objektivieren.
Hierfür wurden die erzeugten Berichte vor und nach Training des Tools anhand von vier metrischen Parametern (BLEU, ROUGE, COSS, METEOR) verglichen und die Optimierung der Performanz analysiert und ausgewertet.
Anschließend erfolgte eine Evaluation mit der Fragestellung, inwiefern solche Anwendungen die Mediziner im Klinikalltag entlasten und die Patientensicherheit optimieren können.
Hierfür wurde eine Studie mit 16 Probanden durchgeführt, für welche gleich viele Fachärzte wie Assistenzärzte der Hals-, Nasen-, Ohrenheilkunde rekrutiert wurden. Die Teilnehmenden sollten drei zuvor zufällig ausgewählte, von dem Tool erstellte OP-Berichte Korrekturlesen und diese nach eigenem Empfinden bearbeiten. Dabei wurden die Anzahl und Art der Korrekturen erfasst und ausgewertet.
Anschließend wurden die Studienteilnehmer aufgefordert, einen Evaluationsbogen auszufüllen. In diesem sollten neben der Beantwortung des Fachbereiches und des Spezialisierungsgrades, die Qualität der Berichte, die mögliche Zeitersparnis und der künftige Mehrwert und Nutzen eines solches Tools eingeschätzt werden. In einer ersten Version des Fragebogens wurde die Antwortoption „keine Zeitersparnis“ nicht gegeben, sodass diese Frage mit detaillierteren Antwortmöglichkeiten reevaluiert wurde, um eine Ergebnisverzerrung zu vermeiden. Des Weiteren sollten die künstlich erzeugten mit den konventionell erstellten Berichten der jeweils gleichen Operation verglichen werden.
Schlagwortbasiertes Training des Sprachmodels: Insgesamt wurden 48 künstlich erstellte mit den dazugehörigen konventionellen Berichten anhand von vier objektiven Parametern (BLEU, ROUGE, COSS, METEOR) verglichen. Die Ergebnisse des Wilcoxon-Tests zeigten eine signifikante Verbesserung (p<.001) aller objektiver Parameter durch das schlagwortbasierte Training des KI-Sprachmodells.
Dies verdeutlicht die Lernfähigkeit KI-basierter Tools, die aus eigenen Erfolgen und Niederlagen lernen und sich selbstständig weiterentwickeln.
Alle KI-Tools haben gemein, dass je umfangreicher die Datenmengen sind, desto präziser können Vorhersagen getroffen werden. Mithilfe von großen Datenmengen, beispielsweise in Form von hochwertigen, ausführlichen Operationsberichten, könnte unser Tool zukünftig noch qualitativere und detailliertere Berichte erstellen, die unseren Erwartungen gerecht werden, bevor dieses in den klinischen Alltag integriert wird.
Korrekturen: Die Anzahl und Art der Korrekturen, welche die Teilnehmer in den Dateien der KI-gestützten OP-Berichte vornahmen, wurden über Microsoft Word® aufgezeichnet und anschließend ausgewertet. Die Korrekturanzahl variierte zwischen den Teilnehmern stark. Dies lässt sich vermutlich auf den unterschiedlichen Ausbildungs- und Erfahrungsgrad der Teilnehmer zurückführen. Es wären jedoch Folgestudien notwendig, um die Ursache dieser Diskrepanz genauer zu untersuchen. Durchschnittlich waren 23.25 Korrekturen pro Bericht erforderlich, um einen subjektiv zufriedenstellenden Bericht zu erhalten.
Dieses Ergebnis zeigt, dass noch weiteres Training zur Optimierung des Tools notwendig ist, damit ein angemessener Bericht, der nur wenig Korrekturen im Nachhinein bedarf, konstruiert werden kann.
Grammatik, Inhalt und Lesefluss: Im Schnitt wurde die Grammatik der künstlich erstellten Berichte von den Teilnehmern mit einer 3.1, der Inhalt mit einer 2.8 und der Lesefluss mit einer 2.6 im Schulnotensystem bewertet. Dies zeigt eine bereits befriedigende Performanz des Tools, welche weiterhin kontinuierlich verbessert wird.
Täglicher Zeitaufwand und Zeitersparnis: 66.67% der Teilnehmer schätzten einen täglichen Zeitaufwand von 30 bis 60 Minuten für die Erstellung von OP-Berichten. In einer detaillierteren Reevaluation schätzten 61.11% der Teilnehmer eine mögliche Zeitersparnis von 16 bis 30 Minuten und 27.78% von 1 bis 15 Minuten pro Tag durch die Unterstützung eines solchen Tools.
Diese Ergebnisse zeigen die Möglichkeit einer wertvollen Zeitersparnis, die die Arbeitslast der Mediziner wesentlich reduzieren könnte und somit Freiraum für wichtige ärztliche Tätigkeiten mit und am Patienten schafft. Mithilfe der KI-unterstützten Übernahme solcher repetitiven Aufgaben kann die Patientensicherheit und Behandlungsqualität maßgeblich verbessert und folglich die Mortalitätsrate gesenkt werden.
Klinischer Nutzen und Mehrwert: 61.11% der Teilnehmer erwarteten eine Arbeitslastreduktion und 66.67% sahen einen klinischen Mehrwert und Nutzen in der teilautomatisierten Erstellung von OP-Berichten. Die Mehrheit mit 66.67% würden dieses Tool zur OP-Berichterstellung in Zukunft selbst nutzen.
Diese Ergebnisse zeigen, dass zum einen bereits eine große Akzeptanz gegenüber einer solchen computergestützten Anwendung vorhanden ist und zum anderen, dass Mediziner es notwendig finden von repetitiven Tätigkeiten im klinischen Alltag entlastet zu werden, um weiterhin den qualitativ hohen Standard der Patientenversorgung gewährleisten zu können. Dieser wichtige Einfluss der KI sowie die Bedeutsamkeit des Verständnisses für die Tragweite dieser revolutionierenden Tools, auch in der HNO-Dokumentation, wird ebenfalls von Bur et al. beschrieben.
33.33% der Teilnehmer gaben eine inhaltliche Ähnlichkeit und 27.78% eine formale Ähnlichkeit zwischen den künstlich und konventionell erstellten Berichten an.
Diese bereits bestehende Ähnlichkeit zwischen den generierten und konventionell erstellten Berichten verdeutlicht die zufriedenstellende Performanz des Tools, welche fortlaufend verbessert wird, um noch akkuratere Berichte zu erhalten. Die konventionellen OP-Berichte wurden als Goldstandard verwendet, da kein offizieller Standard für die Form und den Inhalt eines OP-Berichtes existiert. Die Detailtiefe kann so zum Teil von Bericht zu Bericht stark variieren, weil dies den individuellen Präferenzen des Operateurs überlassen ist. In Zukunft könnte mithilfe dieses Tools möglicherweise ein Standard als Berichtvorlage für verschiedene Operationen konstruiert werden. Dies würde große Vorteile für den globalen Austausch und die Ausbildung junger Chirurgen bieten.
Dieses Projekt stellt den Grundbaustein dar, auf welchem weitere Entwicklungen und Optimierungen folgen müssen, um eine Integrierung von KI im Gesundheitswesen realisieren zu können. Es wäre auch möglich, zukünftig das Tool um andere KI-Anwendungen zu ergänzen, um beispielsweise mithilfe von Bilderkennungsprogrammen intraoperative Endoskopvideos zu analysieren und die Berichterstellung weiter zu präzisieren. Diese Studie zeigt die enorme Bedeutsamkeit dieser Technologien für die Zukunft der Medizin, welche immer sicherer, individueller und erfolgsversprechender wird.
Die Evaluationsergebnisse verdeutlichen, dass sich bereits eine große Akzeptanz der Mediziner gegenüber solchen neuen Anwendungssystemen abzeichnet. Angesichts einer mehrheitlich geschätzten Zeitersparnis von 16 bis 30 Minuten pro Tag und einer vermuteten Arbeitslastreduktion, erscheint eine Optimierung der repetitiven und zeitintensiven OP-Berichterstellung notwendig. Vor Implementierung des vorgestellten Tools zur OP-Berichterstellung ist es wichtig, dass dieses mit großen Datenmengen weiter trainiert wird, damit es sich zukünftig selbstständig fortlaufend optimieren kann, um die Leistung und Effizienz kontinuierlich zu verbessern.
Durch die Nutzung solcher KI-basierter Systeme kann zukünftig eine Steigerung der Zufriedenheit der Ärzte erreicht und somit gleichzeitig die Qualität- und die Patientensicherheit optimiert werden.:1 EINFÜHRUNG 3
1.1 KÜNSTLICHE INTELLIGENZ (KI) 3
1.1.1 Künstliche Intelligenz – Allgemein 3
1.1.2 Was ist künstliche Intelligenz? 3
1.1.3 Wie beeinflusst künstliche Intelligenz den Markt des Gesundheitswesens? 4
1.1.4 Mediziner und KI im Gesundheitssystem 6
1.2 HALS-, NASEN-, OHRENHEILKUNDE (HNO) 6
1.2.1 KI in der Hals-, Nasen-, Ohrenheilkunde 6
1.2.2 Nasennebenhöhlen-Operationen 7
1.3. DOKUMENTATION IN DER MEDIZIN 7
1.3.1 KI-basierte Dokumentation 7
1.3.2 Dokumentation von Nasennebenhöhlen-Operationen und unser Projekt 8
1.4 KÜNSTLICHE INTELLIGENZ – ZUKUNFTSAUSSICHT 10
1.5 FRAGEBOGEN 10
1.6 ZIELSETZUNG 11
1.7 ZUSAMMENFASSUNG DER ERGEBNISSE 11
2 PUBLIKATION 13
3 ZUSAMMENFASSUNG 22
4 LITERATURVERZEICHNIS 27
5 ANLAGEN 29
5.1 AUFGABENANLEITUNG FÜR DIE STUDIENTEILNEHMER 29
5.2 AUSGEWÄHLTE OP-BERICHTE FÜR DIE EVALUATION 30
5.3 EVALUATIONSBOGEN 39
| Identifer | oai:union.ndltd.org:DRESDEN/oai:qucosa:de:qucosa:87290 |
| Date | 05 October 2023 |
| Creators | Wildfeuer, Valentina |
| Contributors | Universität Leipzig |
| Source Sets | Hochschulschriftenserver (HSSS) der SLUB Dresden |
| Language | German |
| Detected Language | German |
| Type | info:eu-repo/semantics/publishedVersion, doc-type:doctoralThesis, info:eu-repo/semantics/doctoralThesis, doc-type:Text |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.003 seconds