Das Ziel der vorliegenden Dissertation ist die Untersuchung, Entwicklung und Evaluierung neuer Verfahren zur kamerabasierten Schmerzerfassung auf Basis von Mimikindikatoren und Vitalparametern im klinischen Umfeld. Im Rahmen des Vorhabens wird erforscht, inwieweit Schmerzen automatisch erkannt werden können und gleichzeitig ein Rückschluss auf weitere Schmerzdaten getroffen werden kann. Mit den entwickelten Algorithmen können in Zukunft Systeme zur kamerabasierten, kontinuierlichen Schmerzanalyse entwickelt werden. Das Einsatzpotenzial für derartige Verfahren reicht von der Etablierung von klinischen Schmerzmessungsprozessen, über die Förderung der Gesunderhaltung und Steigerung des Patientenkomforts in klinischen Bereichen bis hin zum Schmerzmonitoring in Pflegeeinrichtungen. Am Laboratory for Biosignal Processing der HTWK Leipzig werden dafür Technologien zur kamerabasierten Erfassung von Vitalparametern erforscht. In Kooperation mit dem Herzzentrum Leipzig wurde eine erste klinische Machbarkeitsstudie durchgeführt, in der die prinzipielle praxisnahe Anwendbarkeit dieser Technologien gezeigt werden kann. Diese berührungslosen Technologien zur Datenerfassung werden im Rahmen nachfolgender Promotion im Anwendungsfeld der Schmerzanalyse angewendet. Auf Basis der vorhandenen Mimik- und Vitaldaten werden daher Verfahren untersucht und weiterentwickelt. Ziel ist auch, unterschiedliche Daten zu fusionieren und anhand geeigneter Merkmale komplexe Detektionsalgorithmen zu entwickeln. Die Bearbeitung der genannten Forschungsschwerpunkte erfolgt wie nachfolgend beschrieben: • Entwicklung und Untersuchung von Methoden zur Bestimmung von Mimikindikatoren sowie die Verwendung dieser zur binären Schmerzklassifikation • Entwicklung und Untersuchung von Methoden zur Analyse und Bewertung zeitlicher Parameter (hier: Vitalparameter) • Entwicklung und Untersuchung von Methoden zur Multimodalen Schmerzbewertung:Inhaltsverzeichnis II IV 1 einführung 1 1.1 Motivation und Problemstellung . . . . . . . . . . . . . . . . . 1 1.2 Inhaltlicher Aufbau der Dissertation . . . . . . . . . . . . . . . 4 2 aufgabenstellung 6 3 grundlagen 8 3.1 Medizinischer Hintergrund . . . . . . . . . . . . . . . . . . . . 8 3.1.1 Was ist Schmerz? . . . . . . . . . . . . . . . . . . . . . . 8 3.1.2 Manuelle Schmerzbewertung durch Schmerzskalen . . 10 3.1.3 Schmerzklassifikation auf Basis von Mimikindikatoren 12 3.1.4 Schmerzklassifikation auf Basis von Vitalparametern . 15 3.2 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.1 Schmerzbewertung auf Basis von Mimikindikatoren . 17 3.2.2 Schmerzbewertung auf Basis von Vitalparametern . . . 20 3.2.3 Multimodale Schmerzbewertung . . . . . . . . . . . . . 22 4 materialien und methoden 24 4.1 Schmerzdatensätze . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.1.1 UNBC-McMaster Database . . . . . . . . . . . . . . . . . 26 4.1.2 BioVid Heat Pain Database . . . . . . . . . . . . . . . . 27 4.1.3 Individuelle Patientendaten . . . . . . . . . . . . . . . . 27 4.2 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 29 4.2.1 Detektion und Tracking von Mimikindikatoren . . . . 31 4.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 32 4.2.3 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2.4 Klassifikation und Evaluierung . . . . . . . . . . . . . . 35 4.3 ST-Processing auf Basis EKG-generierter HRV-Parameter . . . . 36 4.3.1 Extraktion von HRV-Parametern aus EKG-Daten . . . . 37 4.3.2 Bestimmung von Schmerz-Labeln als Ground Truth . . 40 4.3.3 Bestimmung relevanter HRV-Parameter . . . . . . . . . 40 4.3.4 Resampling und weiteres Preprocessing . . . . . . . . . 42 4.3.5 Klassifikation und Evaluierung . . . . . . . . . . . . . . 43 4.4 ST-Processing auf Basis rPPG-generierter HRV-Parameter . . . . 44 4.4.1 Extraktion des rPPG-Signals . . . . . . . . . . . . . . . . 44 4.4.2 Extraktion von HRV-Parametern aus rPPG-Daten . . . . 47 4.4.3 Resampling und weiteres Preprocessing . . . . . . . . . 50 4.4.4 Vergleich von EKG- mit rPPG-basierten HRV-Parametern 51 4.4.5 Klassifikation und Evaluierung . . . . . . . . . . . . . . 52 4.5 UST-Processing auf Basis rPPG-generierter HRV-Parameter . . . 52 4.5.1 Extraktion von HRV-Parametern aus rPPG-Daten . . . . 52 4.5.2 Resampling und weiteres Preprocessing . . . . . . . . . 54 4.5.3 Klassifikation und Evaluierung . . . . . . . . . . . . . . 55 4.6 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 55 4.6.1 Preprocessing und Resampling . . . . . . . . . . . . . . 56 4.6.2 Klassifikation und Evaluierung . . . . . . . . . . . . . . 59 5 ergebnisse 60 5.1 Aufbereitung der Ergebnisse . . . . . . . . . . . . . . . . . . . . 60 5.2 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 63 5.3 ST-Processing auf Basis EKG-generierter HRV-Parameter . . . . 64 5.4 ST-Processing auf Basis rPPG-generierter HRV-Parameter . . . . 65 5.5 UST-Processing auf Basis rPPG-generierter HRV-Parameter . . . 69 5.6 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 74 6 diskussion 84 6.1 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 84 6.2 ST-Processing auf Basis EKG-basierter HRV-Parameter . . . . . 86 6.3 ST-Processing auf Basis rPPG-basierter HRV-Parameter . . . . . 87 6.4 UST-Processing auf Basis rPPG-basierter HRV-Parameter . . . . 89 6.5 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 93 7 zusammenfassung 97 Literatur 102 Abbildungsverzeichnis 116 Tabellenverzeichnis 119 Anhang IX a von openface zur verfügung gestellte AUs IX b AU-basierte schmerzklassifikation X c tabellen mit p-werten XI / This dissertation aims to investigate, develop and evaluate new methods for camera-based pain assessment based on facial mimic descriptors and vital parameters in the clinical environment. Therefore, the feasibility of automatic pain assessment and to what extent conclusions can be drawn from it are explored. The developed algorithms can be used for the design of future camera-based, continuous clinical pain assessment processes, for promoting health maintenance and increasing patient comfort in clinical areas, and for pain monitoring in nursing facilities. The Laboratory for Biosignal Processing of the Leipzig University of Applied Sciences (HTWK) is developing technologies for camera-based registration of vital parameters and mimic descriptors. In cooperation with the Leipzig Heart Center, an initial feasibility study was performed to show the principle practical applicability of such technologies. These contactless technologies for data acquisition are applied in the context of the following doctoral thesis in the field of pain analysis. Based on facial mimic and vital data such methods are studied and evaluated. This dissertation also aims at the fusion of these data modalities and the development of complex detection algorithms based on adequate characteristics. The research aspects mentioned above are addressed by developing and studying methods for... • the determination of mimic indicators as well as the use of these for binary pain classification • the analysis and evaluation of time-dependent parameters (here: vital parameters) in terms of pain assessment • multimodal pain assessment based on both of these indicators:Inhaltsverzeichnis II IV 1 einführung 1 1.1 Motivation und Problemstellung . . . . . . . . . . . . . . . . . 1 1.2 Inhaltlicher Aufbau der Dissertation . . . . . . . . . . . . . . . 4 2 aufgabenstellung 6 3 grundlagen 8 3.1 Medizinischer Hintergrund . . . . . . . . . . . . . . . . . . . . 8 3.1.1 Was ist Schmerz? . . . . . . . . . . . . . . . . . . . . . . 8 3.1.2 Manuelle Schmerzbewertung durch Schmerzskalen . . 10 3.1.3 Schmerzklassifikation auf Basis von Mimikindikatoren 12 3.1.4 Schmerzklassifikation auf Basis von Vitalparametern . 15 3.2 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.1 Schmerzbewertung auf Basis von Mimikindikatoren . 17 3.2.2 Schmerzbewertung auf Basis von Vitalparametern . . . 20 3.2.3 Multimodale Schmerzbewertung . . . . . . . . . . . . . 22 4 materialien und methoden 24 4.1 Schmerzdatensätze . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.1.1 UNBC-McMaster Database . . . . . . . . . . . . . . . . . 26 4.1.2 BioVid Heat Pain Database . . . . . . . . . . . . . . . . 27 4.1.3 Individuelle Patientendaten . . . . . . . . . . . . . . . . 27 4.2 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 29 4.2.1 Detektion und Tracking von Mimikindikatoren . . . . 31 4.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 32 4.2.3 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2.4 Klassifikation und Evaluierung . . . . . . . . . . . . . . 35 4.3 ST-Processing auf Basis EKG-generierter HRV-Parameter . . . . 36 4.3.1 Extraktion von HRV-Parametern aus EKG-Daten . . . . 37 4.3.2 Bestimmung von Schmerz-Labeln als Ground Truth . . 40 4.3.3 Bestimmung relevanter HRV-Parameter . . . . . . . . . 40 4.3.4 Resampling und weiteres Preprocessing . . . . . . . . . 42 4.3.5 Klassifikation und Evaluierung . . . . . . . . . . . . . . 43 4.4 ST-Processing auf Basis rPPG-generierter HRV-Parameter . . . . 44 4.4.1 Extraktion des rPPG-Signals . . . . . . . . . . . . . . . . 44 4.4.2 Extraktion von HRV-Parametern aus rPPG-Daten . . . . 47 4.4.3 Resampling und weiteres Preprocessing . . . . . . . . . 50 4.4.4 Vergleich von EKG- mit rPPG-basierten HRV-Parametern 51 4.4.5 Klassifikation und Evaluierung . . . . . . . . . . . . . . 52 4.5 UST-Processing auf Basis rPPG-generierter HRV-Parameter . . . 52 4.5.1 Extraktion von HRV-Parametern aus rPPG-Daten . . . . 52 4.5.2 Resampling und weiteres Preprocessing . . . . . . . . . 54 4.5.3 Klassifikation und Evaluierung . . . . . . . . . . . . . . 55 4.6 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 55 4.6.1 Preprocessing und Resampling . . . . . . . . . . . . . . 56 4.6.2 Klassifikation und Evaluierung . . . . . . . . . . . . . . 59 5 ergebnisse 60 5.1 Aufbereitung der Ergebnisse . . . . . . . . . . . . . . . . . . . . 60 5.2 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 63 5.3 ST-Processing auf Basis EKG-generierter HRV-Parameter . . . . 64 5.4 ST-Processing auf Basis rPPG-generierter HRV-Parameter . . . . 65 5.5 UST-Processing auf Basis rPPG-generierter HRV-Parameter . . . 69 5.6 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 74 6 diskussion 84 6.1 AU-basierte Schmerzklassifikation . . . . . . . . . . . . . . . . 84 6.2 ST-Processing auf Basis EKG-basierter HRV-Parameter . . . . . 86 6.3 ST-Processing auf Basis rPPG-basierter HRV-Parameter . . . . . 87 6.4 UST-Processing auf Basis rPPG-basierter HRV-Parameter . . . . 89 6.5 Multimodale Schmerzklassifikation . . . . . . . . . . . . . . . 93 7 zusammenfassung 97 Literatur 102 Abbildungsverzeichnis 116 Tabellenverzeichnis 119 Anhang IX a von openface zur verfügung gestellte AUs IX b AU-basierte schmerzklassifikation X c tabellen mit p-werten XI

Among many others, one general goal of the UN sustainability strategies aims at reducing the anthropogenic land change due to land take for settlements and transport infrastructure. To monitor the success of this goal and to comprehensively study and better understand these urban dynamic processes – such as densification, growth and sprawl, or shrinkage –, quantitative measurements were introduced to assist the assessment. For the analysis of urban dynamics, the built-up area is an important measure that can be considered at different scales, one common scale being the aggregated level of urban blocks that represent a group of developed parcels bounded by topographic borders such as street lines. Regardless of the scale of quantitative analysis, however, digital spatio-temporal data are essential. While comprehensive databases exist for contemporary data, they usually lack a historic dimension. To derive these historic data about the built-up area, potential surveying methods and sources may vary. Considering the long-term characteristic of urban land change, however, topographic maps often are the only source for small-scale, spatially explicit land cover information to build a comprehensive, spatio-temporal database of built-up area, which has been demonstrated by numerous studies. However, the manual constitution of historic geographic data based on historic maps – commonly referred to as map digitization or vectorization – is a time consuming and laborious process that limits the spatial and temporal scope and, therefore, opposes comprehensive studies. Therefore, this thesis proposes an approach to automatically extract information about the built-up area at urban block level from historic topographic maps. For a number of reasons, this is a challenging task. First, topographic maps show a high degree of informational density and complexity due to their layer concept. These layers of geographic objects generally overlap leading to the (multi-)fragmentation or fusion of distinct geographic map objects. While this may not pose a challenge to a human interpreter, it does for the formalization of the computational object recognition. Second, material aging of the document as well as a poor scanning or image compression process may result in a reduced graphical quality. Third, object representations including the use of color, if present at all, show an immense diversity over space and time. To overcome these challenges in regard to cartographical image analysis, a modular process has been designed pursuing a two-step strategy: a decomposition of salient map layers is succeeded by a re-composition of the structuring map objects to delineate the built-up area at urban block level. Several experiments prove this process to achieve acceptable results with correctness values ranging from 0.97 to 0.93 for three German study maps. Behind the background of a global trend to digitize knowledge that can also be observed with historic topographic maps, the designed process represents a promising approach to efficiently prepare these historic data for integration into a spatio-temporal database of built-up area with minimal user intervention.:Declaration of Authorship Acknowledgements Summary Contents List of Figures List of Tables List of Abbreviations 1 Introduction 1.1 Scope 1.2 Challenges 1.3 Research Questions 1.4 Structure 2 Principles of Image Analysis 2.1 Human Visual Perception 2.2 Methods of Image Analyis 2.2.1 Image Segmentation 2.2.1.1 Color Image Segmentation 2.2.1.2 Texture-based Segmentation 2.2.1.3 Morphology-based Segmentation 2.2.1.4 Further Segmentation Approaches 2.2.2 Object/Pattern Recognition 2.2.2.1 Strategies in Pattern Recognition 2.2.2.2 Approaches in Pattern Recognition 2.2.3 Object Reconstruction 2.2.3.1 Reconstruction of Contours 2.2.3.2 Raster-vector Conversion 2.3 Summary 3 Cartographic Image Analysis 3.1 Geoinformation from Cartographic Raster Maps 3.1.1 Raster Maps 3.1.2 Research History 3.1.3 Research – State of the Art 3.1.3.1 Separation of Raster Layers based on Color 3.1.3.2 Extraction and Recognition of Map Objects 3.1.3.3 Automated Georeferencing 3.1.4 Delineation of Built-up Area from Cartographic Raster Maps 3.2 Further Sources for the Delineation of Built-up Area 3.3 Summary and Interim Conclusions 4 Concept and Methodology 4.1 Concept - Preliminary Considerations 4.1.1 Defining the Subject of Delineatoin – the Urban Block 4.1.2 Data Characteristics 4.1.3 Cartographical Representation and Higher-Level Demarcation of Built-up Area 4.2 Methodological Design 4.2.1 Requirements to the Process and the Input Data 4.2.2 General Methodical Approach 4.2.3 Derivation of the General Delineation Process 4.2.4 Module Map Objects 4.2.4.1 Building Symbols 4.2.4.2 Residential Area Hatching 4.2.4.3 Railroads and Tramlines 4.2.5 Module Street Block Delineation 4.2.5.1 Street Network 4.2.5.2 Reconstruction of Street Block Objects 4.2.5.3 Evaluation of Street Block Objects 4.2.6 Delineation of Built-up Area 4.2.6.1 Module Building Grouping 4.2.6.2 Module Built-up Area 4.3 Implementation 5 Evaluation and Discussions 5.1 Evaluation Frameset 5.1.1 Study Maps 5.1.2 Reference Data 5.1.3 Methodology 5.2 Experiments and Results 5.2.1 Experiments 5.2.1.1 E.0 – Delineate Built-up Area Using the General Process 5.2.1.2 E.1 – Delineate Built-up Area Using a Deviation of the General Process 5.2.1.3 E.2 – Delineate Built-up Area Using Maps with Varying Spatial Resolution 5.2.2 Results 5.2.2.1 R.0 – Delineation Results of the General Process 5.2.2.2 R.1 – Delineation Results of the Deviated Process Variants 5.2.2.3 R.2 – Delineation Results of the Deviated Map Resolution Variants 5.3 Discussions 5.3.1 Strengths and Limitations 5.3.2 Comparision of Delineation Results to other Studies 5.3.3 Applications and Transferability to other Maps 6 Conclusion and Outlook 6.1 Revising the Research Questions 6.2 Scientific Contribution 6.3 Future Research Perspectives References Appendix A.1 List of Process Parameters and their Application A.2 Exemplary Delineation Results

Der Autor hat das pastor-Softwarepaket für automatisierte Gitterstörungstheorie im Schrödingerfunktional entwickelt. Das pastor-Paket besteht aus zwei Bausteinen, die die Erzeugung von Vertexfunktionen und Feynmandiagrammen übernehmen. Ausgehend von recht generischen Formulierungen der Gitterwirkungen für Fermionen und Gluonen, die dem Vertexgenerator in symbolischer Form übergeben werden, erzeugt dieser Feynmanregeln zu beliebiger Ordnung in der nackten Kopplung. Dabei kann sowohl ein triviales als auch ein Abelsches Hintergrundfeld verwendet werden. Die vom zweiten Teil von pastor, einem Code-Generator, erzeugten Programme greifen auf den Vertexgenerator zu und berechnen alle Terme der perturbativen Entwicklung für eine Klasse von Schrödingerfunktional-Observablen bis zur Einschleifenordnung. Verbesserungsterme der Ordnung a werden dabei berücksichtigt. Wir werden die für die Funktionen der beiden Teile von pastor relevanten Algorithmen detailliert beschrieben und die Korrektheit unserer Implementierung mit einer Reihe von Vergleichen mit perturbativen und nichtperturbativen Daten belegen. Wir werden darauf die Nützlichkeit von pastor Anhand einiger Beispiele aus dem Abgleich von Heavy Quark Effective Theory mit Quantenchromodynamik demonstrieren. Wir haben unter Anderem eine Einschleifenrechnung zweier Kandidaten für Observablen, die aller Voraussicht nach in Zukunft für den Abgleich verwendet werden, zügig und mit geringem Aufwand durchgeführt. Dies zeigt die Stärken eines Softwarepakets für automatisierte Störungsrechnungen. Unsere Resultate werden als nützliche Richtschnur für zukünftige nichtperturbative Berechnungen dienen. / The author developed the pastor software package for automated lattice perturbation theory calculations in the Schrödinger functional scheme. The pastor code consists of two building blocks, dealing with the generation of Feynman rules and Feynman diagrams respectively. Accepting a rather generic class of lattice gauge and fermion actions, passed to the code in a symbolic form as input, a low level part of pastor will generate Feynman rules to an arbitrary order in the bare coupling with a trivial or an Abelian background field. The second, high level part of pastor is a code generator whose output relies on the vertex generator. It writes programs that evaluate Feynman diagrams for a class of Schrödinger functional observables up to one loop order automatically, the relevant O(a) improvement terms are taken into account. We will describe the algorithms used for implementation of both parts of the code in detail, and provide cross checks with perturbative and non-perturbative data to demonstrate the correctness of our code. We demonstrate the usefulness of the pastor package through various applications taken from the matching process of heavy quark effective theory with quantum chromodynamics. We have e.g. completed a one loop analysis for new candidates for matching observables timely and with rather small effort, highlighting two advantages of an automated software setup. The results that were obtained so far will be useful as a guideline for further non-perturbative studies.