Das Ziel der vorliegenden Dissertation ist die Untersuchung, Entwicklung und Evaluierung neuer Verfahren zur kamerabasierten Schmerzerfassung auf Basis von Mimikindikatoren und Vitalparametern im klinischen Umfeld. Im Rahmen des Vorhabens wird erforscht, inwieweit Schmerzen automatisch erkannt werden können und gleichzeitig ein Rückschluss auf weitere Schmerzdaten getroffen werden kann. Mit den entwickelten Algorithmen können in Zukunft Systeme zur kamerabasierten, kontinuierlichen Schmerzanalyse entwickelt werden. Das Einsatzpotenzial für derartige Verfahren reicht von der Etablierung von klinischen Schmerzmessungsprozessen, über die Förderung der Gesunderhaltung und Steigerung des Patientenkomforts in klinischen Bereichen bis hin zum Schmerzmonitoring in Pflegeeinrichtungen. Am Laboratory for Biosignal Processing der HTWK Leipzig werden dafür Technologien zur kamerabasierten Erfassung von Vitalparametern erforscht. In Kooperation mit dem Herzzentrum Leipzig wurde eine erste klinische Machbarkeitsstudie durchgeführt, in der die prinzipielle praxisnahe Anwendbarkeit dieser Technologien gezeigt werden kann. Diese berührungslosen Technologien zur Datenerfassung werden im Rahmen nachfolgender Promotion im Anwendungsfeld der Schmerzanalyse angewendet. Auf Basis der vorhandenen Mimik- und Vitaldaten werden daher Verfahren untersucht und weiterentwickelt. Ziel ist auch, unterschiedliche Daten zu fusionieren und anhand geeigneter Merkmale komplexe Detektionsalgorithmen zu entwickeln. Die Bearbeitung der genannten Forschungsschwerpunkte erfolgt wie nachfolgend beschrieben: • Entwicklung und Untersuchung von Methoden zur Bestimmung von Mimikindikatoren sowie die Verwendung dieser zur binären Schmerzklassifikation • Entwicklung und Untersuchung von Methoden zur Analyse und Bewertung zeitlicher Parameter (hier: Vitalparameter) • Entwicklung und Untersuchung von Methoden zur Multimodalen Schmerzbewertung:Inhaltsverzeichnis II IV 1 einführung 1 1.1 Motivation und Problemstellung . . . . . . . . . . . . . . . . . 1 1.2 Inhaltlicher Aufbau der Dissertation . . . . . . . . . . . . . . . 4 2 aufgabenstellung 6 3 grundlagen 8 3.1 Medizinischer Hintergrund . . . . . . . . . . . . . . . . . . . . 8 3.1.1 Was ist Schmerz? . . . . . . . . . . . . . . . . . . . . . . 8 3.1.2 Manuelle Schmerzbewertung durch Schmerzskalen . . 10 3.1.3 Schmerzklassifikation auf Basis von Mimikindikatoren 12 3.1.4 Schmerzklassifikation auf Basis von Vitalparametern . 15 3.2 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.1 Schmerzbewertung auf Basis von Mimikindikatoren . 17 3.2.2 Schmerzbewertung auf Basis von Vitalparametern . . . 20 3.2.3 Multimodale Schmerzbewertung . . . . . . . . . . . . . 22 4 materialien und methoden 24 4.1 Schmerzdatensätze . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.1.1 UNBC-McMaster Database . . . . . . . . . . . . . . . . . 26 4.1.2 BioVid Heat Pain Database . . . . . . . . . . . . . . . . 27 4.1.3 Individuelle Patientendaten . . . . . . . . . . . . . . . . 27 4.2 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 29 4.2.1 Detektion und Tracking von Mimikindikatoren . . . . 31 4.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 32 4.2.3 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2.4 Klassifikation und Evaluierung . . . . . . . . . . . . . . 35 4.3 ST-Processing auf Basis EKG-generierter HRV-Parameter . . . . 36 4.3.1 Extraktion von HRV-Parametern aus EKG-Daten . . . . 37 4.3.2 Bestimmung von Schmerz-Labeln als Ground Truth . . 40 4.3.3 Bestimmung relevanter HRV-Parameter . . . . . . . . . 40 4.3.4 Resampling und weiteres Preprocessing . . . . . . . . . 42 4.3.5 Klassifikation und Evaluierung . . . . . . . . . . . . . . 43 4.4 ST-Processing auf Basis rPPG-generierter HRV-Parameter . . . . 44 4.4.1 Extraktion des rPPG-Signals . . . . . . . . . . . . . . . . 44 4.4.2 Extraktion von HRV-Parametern aus rPPG-Daten . . . . 47 4.4.3 Resampling und weiteres Preprocessing . . . . . . . . . 50 4.4.4 Vergleich von EKG- mit rPPG-basierten HRV-Parametern 51 4.4.5 Klassifikation und Evaluierung . . . . . . . . . . . . . . 52 4.5 UST-Processing auf Basis rPPG-generierter HRV-Parameter . . . 52 4.5.1 Extraktion von HRV-Parametern aus rPPG-Daten . . . . 52 4.5.2 Resampling und weiteres Preprocessing . . . . . . . . . 54 4.5.3 Klassifikation und Evaluierung . . . . . . . . . . . . . . 55 4.6 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 55 4.6.1 Preprocessing und Resampling . . . . . . . . . . . . . . 56 4.6.2 Klassifikation und Evaluierung . . . . . . . . . . . . . . 59 5 ergebnisse 60 5.1 Aufbereitung der Ergebnisse . . . . . . . . . . . . . . . . . . . . 60 5.2 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 63 5.3 ST-Processing auf Basis EKG-generierter HRV-Parameter . . . . 64 5.4 ST-Processing auf Basis rPPG-generierter HRV-Parameter . . . . 65 5.5 UST-Processing auf Basis rPPG-generierter HRV-Parameter . . . 69 5.6 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 74 6 diskussion 84 6.1 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 84 6.2 ST-Processing auf Basis EKG-basierter HRV-Parameter . . . . . 86 6.3 ST-Processing auf Basis rPPG-basierter HRV-Parameter . . . . . 87 6.4 UST-Processing auf Basis rPPG-basierter HRV-Parameter . . . . 89 6.5 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 93 7 zusammenfassung 97 Literatur 102 Abbildungsverzeichnis 116 Tabellenverzeichnis 119 Anhang IX a von openface zur verfügung gestellte AUs IX b AU-basierte schmerzklassifikation X c tabellen mit p-werten XI / This dissertation aims to investigate, develop and evaluate new methods for camera-based pain assessment based on facial mimic descriptors and vital parameters in the clinical environment. Therefore, the feasibility of automatic pain assessment and to what extent conclusions can be drawn from it are explored. The developed algorithms can be used for the design of future camera-based, continuous clinical pain assessment processes, for promoting health maintenance and increasing patient comfort in clinical areas, and for pain monitoring in nursing facilities. The Laboratory for Biosignal Processing of the Leipzig University of Applied Sciences (HTWK) is developing technologies for camera-based registration of vital parameters and mimic descriptors. In cooperation with the Leipzig Heart Center, an initial feasibility study was performed to show the principle practical applicability of such technologies. These contactless technologies for data acquisition are applied in the context of the following doctoral thesis in the field of pain analysis. Based on facial mimic and vital data such methods are studied and evaluated. This dissertation also aims at the fusion of these data modalities and the development of complex detection algorithms based on adequate characteristics. The research aspects mentioned above are addressed by developing and studying methods for... • the determination of mimic indicators as well as the use of these for binary pain classification • the analysis and evaluation of time-dependent parameters (here: vital parameters) in terms of pain assessment • multimodal pain assessment based on both of these indicators:Inhaltsverzeichnis II IV 1 einführung 1 1.1 Motivation und Problemstellung . . . . . . . . . . . . . . . . . 1 1.2 Inhaltlicher Aufbau der Dissertation . . . . . . . . . . . . . . . 4 2 aufgabenstellung 6 3 grundlagen 8 3.1 Medizinischer Hintergrund . . . . . . . . . . . . . . . . . . . . 8 3.1.1 Was ist Schmerz? . . . . . . . . . . . . . . . . . . . . . . 8 3.1.2 Manuelle Schmerzbewertung durch Schmerzskalen . . 10 3.1.3 Schmerzklassifikation auf Basis von Mimikindikatoren 12 3.1.4 Schmerzklassifikation auf Basis von Vitalparametern . 15 3.2 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.1 Schmerzbewertung auf Basis von Mimikindikatoren . 17 3.2.2 Schmerzbewertung auf Basis von Vitalparametern . . . 20 3.2.3 Multimodale Schmerzbewertung . . . . . . . . . . . . . 22 4 materialien und methoden 24 4.1 Schmerzdatensätze . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.1.1 UNBC-McMaster Database . . . . . . . . . . . . . . . . . 26 4.1.2 BioVid Heat Pain Database . . . . . . . . . . . . . . . . 27 4.1.3 Individuelle Patientendaten . . . . . . . . . . . . . . . . 27 4.2 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 29 4.2.1 Detektion und Tracking von Mimikindikatoren . . . . 31 4.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 32 4.2.3 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2.4 Klassifikation und Evaluierung . . . . . . . . . . . . . . 35 4.3 ST-Processing auf Basis EKG-generierter HRV-Parameter . . . . 36 4.3.1 Extraktion von HRV-Parametern aus EKG-Daten . . . . 37 4.3.2 Bestimmung von Schmerz-Labeln als Ground Truth . . 40 4.3.3 Bestimmung relevanter HRV-Parameter . . . . . . . . . 40 4.3.4 Resampling und weiteres Preprocessing . . . . . . . . . 42 4.3.5 Klassifikation und Evaluierung . . . . . . . . . . . . . . 43 4.4 ST-Processing auf Basis rPPG-generierter HRV-Parameter . . . . 44 4.4.1 Extraktion des rPPG-Signals . . . . . . . . . . . . . . . . 44 4.4.2 Extraktion von HRV-Parametern aus rPPG-Daten . . . . 47 4.4.3 Resampling und weiteres Preprocessing . . . . . . . . . 50 4.4.4 Vergleich von EKG- mit rPPG-basierten HRV-Parametern 51 4.4.5 Klassifikation und Evaluierung . . . . . . . . . . . . . . 52 4.5 UST-Processing auf Basis rPPG-generierter HRV-Parameter . . . 52 4.5.1 Extraktion von HRV-Parametern aus rPPG-Daten . . . . 52 4.5.2 Resampling und weiteres Preprocessing . . . . . . . . . 54 4.5.3 Klassifikation und Evaluierung . . . . . . . . . . . . . . 55 4.6 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 55 4.6.1 Preprocessing und Resampling . . . . . . . . . . . . . . 56 4.6.2 Klassifikation und Evaluierung . . . . . . . . . . . . . . 59 5 ergebnisse 60 5.1 Aufbereitung der Ergebnisse . . . . . . . . . . . . . . . . . . . . 60 5.2 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 63 5.3 ST-Processing auf Basis EKG-generierter HRV-Parameter . . . . 64 5.4 ST-Processing auf Basis rPPG-generierter HRV-Parameter . . . . 65 5.5 UST-Processing auf Basis rPPG-generierter HRV-Parameter . . . 69 5.6 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 74 6 diskussion 84 6.1 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 84 6.2 ST-Processing auf Basis EKG-basierter HRV-Parameter . . . . . 86 6.3 ST-Processing auf Basis rPPG-basierter HRV-Parameter . . . . . 87 6.4 UST-Processing auf Basis rPPG-basierter HRV-Parameter . . . . 89 6.5 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 93 7 zusammenfassung 97 Literatur 102 Abbildungsverzeichnis 116 Tabellenverzeichnis 119 Anhang IX a von openface zur verfügung gestellte AUs IX b AU-basierte schmerzklassifikation X c tabellen mit p-werten XI