Mit dem Wandel des Internets zu einer universellen Softwareplattform sind die Möglichkeiten und Fähigkeiten von Webanwendungen zwar rasant gestiegen. Gleichzeitig gestaltet sich ihre Entwicklung jedoch zunehmend aufwändig und komplex, was dem Wunsch nach immer kürzeren Entwicklungszyklen für möglichst situative, bedarfsgerechte Lösungen entgegensteht. Bestehende Ansätze aus Forschung und Technik, insbesondere im Umfeld der serviceorientierten Architekturen und Mashups, werden diesen Problemen bislang nicht ausreichend gerecht. Deshalb werden in dieser Dissertation neue Konzepte für die modellgetriebene Entwicklung und Bereitstellung von Webanwendungen vorgestellt. Die zugrunde liegende Idee besteht darin, das Paradigma der Serviceorientierung auf die Präsentationsebene zu erweitern. So sollen erstmals – neben Daten- und Geschäftslogik – auch Teile der Anwendungsoberfläche in Form wiederverwendbarer Komponenten über Dienste bereitgestellt werden. Anwendungen sollen somit über alle Anwendungsebenen hinweg nach einheitlichen Prinzipien „komponiert“ werden können. Den ersten Schwerpunkt der Arbeit bilden die entsprechenden universellen Modellierungskonzepte für Komponenten und Kompositionen. Sie erlauben u. a. die plattformunabhängige Beschreibung von Anwendungen als Komposition der o. g. Komponenten. Durch die Abstraktion und entsprechende Autorenwerkzeuge wird die Entwicklung so auch für Domänenexperten bzw. Nicht-Programmierer möglich. Der zweite Schwerpunkt liegt auf dem kontextadaptiven Integrationsprozess von Komponenten und der zugehörigen, serviceorientierten Referenzarchitektur. Sie ermöglichen die dynamische Suche, Bindung und Konfiguration von Komponenten, d. h. auf Basis der o. g. Abstraktionen können genau die Anwendungskomponenten geladen und ausgeführt werden, die für den vorliegenden Nutzer-, Nutzungs- und Endgerätekontext am geeignetsten sind. Der dritte Schwerpunkt adressiert die Kontextadaptivität der kompositen Anwendungen in Form von Konzepten zur aspektorientierten Definition von adaptivem Verhalten im Modell und dessen Umsetzung zur Laufzeit. In Abhängigkeit von Kontextänderungen können so Rekonfigurationen von Komponenten, ihr Austausch oder Veränderungen an der Komposition, z.B. am Layout oder dem Datenfluss, automatisch durchgesetzt werden. Alle vorgestellten Konzepte wurden durch prototypische Implementierungen praktisch untermauert. Anhand diverser Anwendungsbeispiele konnten ihre Validität und Praktikabilität – von der Modellierung im Autorenwerkzeug bis zur Ausführung und dynamischen Anpassung – nachgewiesen werden. Die vorliegende Dissertation liefert folglich eine Antwort auf die Frage, wie zukünftige Web- bzw. Mashup-Anwendungen zeit- und kostengünstig entwickelt sowie zuverlässig und performant ausgeführt werden können. Die geschaffenen Konzepte bilden gleichermaßen die Grundlage für eine Vielzahl an Folgearbeiten.:Verzeichnisse vi Abbildungsverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii Verzeichnis der Codebeispiele . . . . . . . . . . . . . . . . . . . . . . . . . . ix Abkürzungsverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x 1 Einleitung 1 1.1 Problemdefinition, Thesen und Forschungsziele . . . . . . . . . . . . . . 3 1.1.1 Probleme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.2 Thesen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.1.3 Forschungsziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.2 Abgrenzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.3 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2 Grundlagen, Szenarien und Herausforderungen 12 2.1 Grundlagen und Begriffsklärung . . . . . . . . . . . . . . . . . . . . . . . 13 2.1.1 Komposite und serviceorientierte Webanwendungen . . . . . . . 13 2.1.2 Mashups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.1.3 Modellgetriebene Software-Entwicklung . . . . . . . . . . . . . . 17 2.1.4 Kontext und kontextadaptive Webanwendungen . . . . . . . . . 18 2.2 Szenarien und Problemanalyse . . . . . . . . . . . . . . . . . . . . . . . 20 2.2.1 Dienstkomposition zur Reiseplanung . . . . . . . . . . . . . . . . . 20 2.2.2 Interaktive Aktienverwaltung . . . . . . . . . . . . . . . . . . . . . 22 2.2.3 Adaptive Touristeninformation . . . . . . . . . . . . . . . . . . . . 23 2.3 Anforderungen und Kriterien der Analyse . . . . . . . . . . . . . . . . . . 25 2.3.1 Anforderungen an Komponenten- und Kompositionsmodell . . . 25 2.3.2 Anforderungen an die Laufzeitumgebung . . . . . . . . . . . . . 27 3 Stand der Forschung und Technik 30 3.1 SOA und Dienstkomposition zur Interaktion mit Diensten . . . . . . . . . 31 3.1.1 Statische Dienstkomposition . . . . . . . . . . . . . . . . . . . . . . 32 3.1.2 Dynamische Dienstauswahl und -Komposition . . . . . . . . . . . 33 3.1.3 Adaptionskonzepte für Dienstkompositionen . . . . . . . . . . . . 45 3.1.4 Interaktions- und UI-Konzepte für Dienstkompositionen . . . . . . 48 3.2 Web Engineering - Entwicklung interaktiver adaptiver Webanwendungen 50 3.2.1 Entwicklung von Hypertext- und Hypermedia-Anwendungen . . 51 3.2.2 Entwicklung von Mashup-Anwendungen . . . . . . . . . . . . . . 54 3.3 Zusammenfassung und Diskussion der Defizite existierender Ansätze . . 67 3.3.1 Probleme und Defizite aus dem Bereich der Dienstkomposition . 67 3.3.2 Probleme und Defizite beim Web- und Mashup-Engineering . . . 69 4 Universelle Komposition adaptiver Webanwendungen 73 4.1 Grundkonzept und Rollenmodell . . . . . . . . . . . . . . . . . . . . . . 74 4.2 Modellgetriebene Entwicklung kompositer Mashups . . . . . . . . . . . 75 4.2.1 Universelles Komponentenmodell . . . . . . . . . . . . . . . . . . 76 4.2.2 Belangorientiertes Kompositionsmodell . . . . . . . . . . . . . . . 76 4.3 Dynamische Integration und Laufzeitumgebung . . . . . . . . . . . . . 78 4.3.1 Kontextsensitiver Integrationsprozess für Mashup-Komponenten . 79 4.3.2 Referenzarchitektur zur Komposition und Ausführung . . . . . . . 80 4.3.3 Unterstützung von adaptivem Laufzeitverhalten in Mashups . . . 81 5 Belangorientierte Modellierung adaptiver, kompositer Webanwendungen 83 5.1 Ein universelles Komponentenmodell für Mashup-Anwendungen . . . . 84 5.1.1 Grundlegende Eigenschaften und Prinzipien . . . . . . . . . . . . 84 5.1.2 Komponententypen . . . . . . . . . . . . . . . . . . . . . . . . . . 86 5.1.3 Beschreibung von Komponenten . . . . . . . . . . . . . . . . . . 87 5.1.4 Nutzung der Konzepte zur Komponentenentwicklung . . . . . . . 99 5.2 Ein belangorientiertes Metamodell für interaktive Mashup-Anwendungen 100 5.2.1 Conceptual Model – Modellierung der Anwendungskonzepte . . 102 5.2.2 Communication Model – Spezifikation von Daten- und Kontrollfluss 107 5.2.3 Layout Model – Visuelle Anordnung von UI-Komponenten . . . . 114 5.2.4 Screenflow Model – Definition von Navigation und Sichten . . . . 115 5.3 Modellierung von adaptivem Verhalten . . . . . . . . . . . . . . . . . . 117 5.3.1 Adaptionstechniken für komposite Webanwendungen . . . . . . 117 5.3.2 Adaptivity Model – Modellierung von Laufzeitadaptivität . . . . . 119 5.4 Ablauf und Unterstützung bei der Modellierung . . . . . . . . . . . . . . 126 5.5 Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . . . . . . 128 6 Kontextsensitiver Integrationsprozess und Kompositionsinfrastruktur 132 6.1 Ein kontextsensitiver Integrationsprozess zur dynamischen Bindung von Mashup-Komponenten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 6.1.1 Modellinterpretation oder -transformation . . . . . . . . . . . . . . 134 6.1.2 Suche und Matching . . . . . . . . . . . . . . . . . . . . . . . . . 135 6.1.3 Rangfolgebildung . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 6.1.4 Auswahl und Integration . . . . . . . . . . . . . . . . . . . . . . . . 145 6.2 Kompositionsinfrastruktur und Laufzeitumgebung . . . . . . . . . . . . . 146 6.2.1 Verwaltung von Komponenten und Domänenwissen . . . . . . . 146 6.2.2 Aufbau der Laufzeitumgebung (MRE) . . . . . . . . . . . . . . . . 148 6.2.3 Dynamische Integration und Verwaltung von Komponenten . . . 151 6.2.4 Kommunikationsinfrastruktur und Mediation . . . . . . . . . . . . . 155 6.3 Unterstützung von Adaption zur Laufzeit . . . . . . . . . . . . . . . . . . 162 6.3.1 Kontexterfassung, -modellierung und -verwaltung . . . . . . . . . 163 6.3.2 Ablauf der dynamischen Adaption . . . . . . . . . . . . . . . . . 168 6.3.3 Dynamischer Austausch von Komponenten . . . . . . . . . . . . 170 6.4 Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . . . . . . 174 7 Umsetzung und Validierung der Konzepte 178 7.1 Realisierung der Modellierungsmittel . . . . . . . . . . . . . . . . . . . . 179 7.1.1 Komponentenbeschreibung in XML und OWL . . . . . . . . . . . 179 7.1.2 EMF-basiertes Kompositionsmodell . . . . . . . . . . . . . . . . . . 180 7.1.3 Modelltransformationen . . . . . . . . . . . . . . . . . . . . . . . . 182 7.1.4 Modellierungswerkzeug . . . . . . . . . . . . . . . . . . . . . . . . 183 7.2 Realisierung der Kompositions- und Laufzeitumgebung . . . . . . . . . . 185 7.2.1 Semantische Verwaltung und Discovery . . . . . . . . . . . . . . 185 7.2.2 Kompositions- bzw. Laufzeitumgebungen . . . . . . . . . . . . . . 192 7.2.3 Kontextverwaltung und Adaptionsmechanismen . . . . . . . . . 201 7.3 Validierung und Diskussion anhand der Beispielszenarien . . . . . . . . . 210 7.3.1 Reiseplanung mit TravelMash . . . . . . . . . . . . . . . . . . . . . 211 7.3.2 Aktienverwaltung mit StockMash . . . . . . . . . . . . . . . . . . . 214 7.3.3 Adaptive Touristeninformation mit TravelGuide . . . . . . . . . . . 216 7.3.4 Weitere Prototypen . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 7.4 Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . . . . . . 219 8 Zusammenfassung, Diskussion und Ausblick 226 8.1 Zusammenfassung der Kapitel und ihrer Beiträge . . . . . . . . . . . . . 227 8.2 Diskussion und Bewertung . . . . . . . . . . . . . . . . . . . . . . . . . . 231 8.2.1 Wissenschaftliche Beiträge . . . . . . . . . . . . . . . . . . . . . . 231 8.2.2 Einschränkungen und Grenzen . . . . . . . . . . . . . . . . . . . . 236 8.3 Laufende und zukünftige Arbeiten . . . . . . . . . . . . . . . . . . . . . 238 Anhänge 242 A.1 Komponentenbeschreibung in SMCDL . . . . . . . . . . . . . . . . . . . 242 A.2 Komponentenmodell in Form der MCDO . . . . . . . . . . . . . . . . . . 243 A.3 Kompositionsmodell in EMF . . . . . . . . . . . . . . . . . . . . . . . . . . 244 Verzeichnis eigener Publikationen 246 Webreferenzen 249 Literaturverzeichnis 253

Anhand einer Fallstudie wird die Arbeit mit dem von der Freiberg Institut für Energie und Klimaökonomie GmbH erschaffenen H2-Tankstellen-Konfigurators dargestellt. Durch die Variation der Wasserstoffversorgung einer fiktiv geplanten H2-Tankstelle wird verdeutlicht, wie die Optimierungssoftware Edgar die Dimensionierung der Anlagentechnik für eine optimale Konfiguration und minimale Kosten verändert. / A case study is used to illustrate the work with the H2 filling station configurator created by the Freiberg Institute for Energy and Climate Economics GmbH. By varying the hydrogen supply of a fictitiously planned H2 filling station, it is illustrated how the optimization software Edgar changes the dimensioning of the plant technology for an optimal configuration and minimal costs.

In data-centric environments, for example, in the field of scientific computing, the transmission of large amount of structured data to Web services is required. In service-oriented environments (SOA), the Simple Object Access Protocol (SOAP) is commonly used as the main transport protocol. However, the resulting 'by value' data transmission approach is not efficiently applicable in data-centric environments. One challenging bottleneck of SOAP arises from the XML serialization and deserialization when processing large SOAP messages. In this paper, we present an extended Web service framework which explicitly considers the data aspects of functional Web services. Aside from the possibility to integrate specialized data transfer methods in SOA, this framework allows the efficient and scalable data handling and processing within Web services. In this case, we combine the advantages of the functional perspective (SOA) and the data perspective to efficiently support data-centric environments.

Die Datenbestände lokaler Fernsehsender umfassen oftmals mehrere zehntausend Videokassetten. Moderne Verfahren werden benötigt, um derartige Datenkollektionen inhaltlich automatisiert zu erschließen. Das Auffinden relevanter Objekte spielt dabei eine übergeordnete Rolle, wobei gesteigerte Anforderungen wie niedrige Fehler- und hohe Detektionsraten notwendig sind, um eine Korruption des Suchindex zu verhindern und erfolgreiche Recherchen zu ermöglichen. Zugleich müssen genügend Objekte indiziert werden, um Aussagen über den tatsächlichen Inhalt zu treffen. Diese Arbeit befasst sich mit der Anpassung und Optimierung bestehender Detektionsverfahren. Dazu wird ein auf die hohen Leistungsbedürfnisse der Videoanalyse zugeschnittenes holistisches Workflow- und Prozesssystem mit der Zielstellung implementiert, die Entwicklung von Bilderkennungsalgorithmen, die Visualisierung von Zwischenschritten sowie deren Evaluation zu ermöglichen. Im Fokus stehen Verfahren zur strukturellen Zerlegung von Videomaterialien und zur inhaltlichen Analyse im Bereich der Gesichtsdetektion und Fußgängererkennung.:1. Motivation . . . 1 1.1. Einordnung in den Retrievalprozess . . . . . . . . . . . . . . . . . . . 2 1.2. Infrastruktur zur Optimierung von Verfahren zur Videoanalyse . . . . 4 1.3. Herausforderungen der Bilderkennung . . . . . . . . . . . . . . . . . . 6 1.4. Wissenschaftliche Ergebnisse dieser Arbeit . . . . . . . . . . . . . . . 9 1.5. Kapitelübersicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2. Methoden und Strategien der Videoanalyse . . . 15 2.1. Fachgebiete der Bilderkennung . . . . . . . . . . . . . . . . . . . . . . 16 2.1.1. Maschinelles Lernen . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.2. Maschinelles Sehen . . . . . . . . . . . . . . . . . . . . . . . . 18 2.1.3. Computer Vision . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.1.4. Mustererkennung . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.2. Strukturelle Analyse von generischen Mustererkennungsystemen . . . 22 2.2.1. Datenakquisition . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.2.2. Musteranalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.2.3. Musterklassifizierung . . . . . . . . . . . . . . . . . . . . . . . 26 2.2.4. Bilderkennungssysteme . . . . . . . . . . . . . . . . . . . . . . 28 2.2.5. Wissensentdeckung in Datenbanken . . . . . . . . . . . . . . . 28 2.3. Bilderkennung in der inhaltsbasierten Bildsuche . . . . . . . . . . . . 29 2.3.1. Paradigmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.3.2. Bildsignaturen . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.3.3. Signaturtypen . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.3.4. Lerntechniken . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.4. Holistische Bilderkennungssysteme im Überblick . . . . . . . . . . . . 44 2.4.1. Ein segment- und konturbasiertes CBIR-System . . . . . . . . 45 2.4.2. Biologisch inspirierte Systeme . . . . . . . . . . . . . . . . . . 48 2.4.3. Lernen aus wenigen Beispielen . . . . . . . . . . . . . . . . . . 51 2.5. Objekterkennung im Szenenkontext . . . . . . . . . . . . . . . . . . . 55 2.6. Aktuelle Grenzen der Muster- und Objekterkennung . . . . . . . . . . 60 2.7. Konzept eines generischen Workflows zur Objekterkennung in Videos . . . 64 2.7.1. Strukturelle Analyse . . . . . . . . . . . . . . . . . . . . . . . 64 2.7.2. Inhaltliche Analyse . . . . . . . . . . . . . . . . . . . . . . . . 66 2.7.3. Erweiterung des klassischen Paradigmas zur Objekterkennung . . . 67 2.7.4. Anwendungsdomänen . . . . . . . . . . . . . . . . . . . . . . . 68 2.8. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 3. Systemarchitektur zur Optimierung von Bilderkennungsverfahren . . . 71 3.1. Vorüberlegungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.1.1. Softwaretechnische Anforderungen . . . . . . . . . . . . . . . . 72 3.1.2. Bewertung der Systemleistung . . . . . . . . . . . . . . . . . . 75 3.1.3. Ein- und Ausgabe . . . . . . . . . . . . . . . . . . . . . . . . . 89 3.1.4. Modellierung von Domänenwissen . . . . . . . . . . . . . . . . 90 3.1.5. Diskriminierbarkeit von Merkmalen . . . . . . . . . . . . . . . 92 3.1.6. Zusammenfassende Darstellung . . . . . . . . . . . . . . . . . 95 3.2. Architektur des Gesamtsystems . . . . . . . . . . . . . . . . . . . . . 95 3.3. Struktureller Aufbau von AMOPA . . . . . . . . . . . . . . . . . . . 97 3.3.1. Verwendung von Prozessketten . . . . . . . . . . . . . . . . . 101 3.3.2. Bild- und Videoverarbeitung . . . . . . . . . . . . . . . . . . . 106 3.4. Annotation von Bildern und Videos . . . . . . . . . . . . . . . . . . . 107 3.4.1. Ein Annotationswerkzeug für Videos . . . . . . . . . . . . . . 108 3.4.2. Ein Ansatz zu Annotation, Klassifikation und Evaluation . . . 111 3.5. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 4. Videosegmentierung . . . 119 4.1. Schnitterkennung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 4.1.1. Struktureller Aufbau von Videos . . . . . . . . . . . . . . . . 121 4.1.2. Klassische Verfahren . . . . . . . . . . . . . . . . . . . . . . . 124 4.1.3. TRECVid: Evaluationskampagne und Datensätze . . . . . . . 125 4.1.4. Das Verfahren von AT&T . . . . . . . . . . . . . . . . . . . . 130 4.2. Schnittkomposition und Ähnlichkeit . . . . . . . . . . . . . . . . . . . 137 4.2.1. Dominant-Color-Deskriptor . . . . . . . . . . . . . . . . . . . 140 4.2.2. Color-Layout-Deskriptor . . . . . . . . . . . . . . . . . . . . . 140 4.2.3. Scalable-Color-Deskriptor . . . . . . . . . . . . . . . . . . . . 141 4.2.4. Edge-Histogram-Deskriptor . . . . . . . . . . . . . . . . . . . 142 4.3. Konzeption und Implementierung . . . . . . . . . . . . . . . . . . . . 143 4.3.1. Einbindung in das Prozesskonzept von AMOPA . . . . . . . . 144 4.3.2. Auswahl des Farbraums . . . . . . . . . . . . . . . . . . . . . 148 4.3.3. Bewegungsanalyse . . . . . . . . . . . . . . . . . . . . . . . . 151 4.3.4. Bestimmung und Verifikation von Schnittkandidaten . . . . . 159 4.3.5. Ergebnisdarstellung und -speicherung . . . . . . . . . . . . . . 171 4.4. Evaluation und Optimierung der harten Schnitterkennung . . . . . . 173 4.4.1. Die TRECVid Evaluationsmethodologie . . . . . . . . . . . . 174 4.4.2. Optimierung von Recall und Laufzeit . . . . . . . . . . . . . . 176 4.4.3. Optimierung der Precision . . . . . . . . . . . . . . . . . . . . 181 4.4.4. Validierung der Ergebnisse . . . . . . . . . . . . . . . . . . . . 183 4.5. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 5. Gesichtsdetektion . . . 187 5.1. Stand der Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 5.1.1. Verfahrensklassen und Datensätze . . . . . . . . . . . . . . . . 189 5.1.2. Boosting-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . 192 5.2. Realisierung eines Systems zur Musterklassifizierung . . . . . . . . . . 200 5.2.1. Trainingsphase . . . . . . . . . . . . . . . . . . . . . . . . . . 201 5.2.2. Klassifikation mit Hilfe von Detektorketten . . . . . . . . . . . 203 5.2.3. Erlernen eines geboosteten Gesichtsklassifikators . . . . . . . . 206 5.2.4. Exkurs: Gesichtslokalisation mittels Schwarmintelligenz . . . . 210 5.3. Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 5.3.1. Datensatz TS100 . . . . . . . . . . . . . . . . . . . . . . . . . 214 5.3.2. Annotation von Gesichtern in unbeschränkten Domänen . . . 217 5.3.3. Evaluationsmethodik und Ergebnisdiskussion . . . . . . . . . . 218 5.4. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 6. Erkennung weiterer Objektklassen am Beispiel von Personen . . . 229 6.1. Merkmale für die Personenerkennung . . . . . . . . . . . . . . . . . . 230 6.2. Datensätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 6.3. Evaluation von Merkmalen auf verschiedenen Datensätzen . . . . . . 234 6.3.1. Evaluationsmethodik . . . . . . . . . . . . . . . . . . . . . . . 235 6.3.2. Auswertung und Ergebnisdiskussion . . . . . . . . . . . . . . . 238 6.4. Evaluation eines kaskadierten Klassifikationssystems . . . . . . . . . . 242 6.4.1. Systemarchitektur und Training . . . . . . . . . . . . . . . . . 242 6.4.2. Klassifikation und Evaluation . . . . . . . . . . . . . . . . . . 244 6.5. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 7. Zusammenfassung und Ausblick . . . 251 Anhang . . . 257 A. Übersicht zu den Experimenten zur Schnitterkennung . . . . . . . . . 259 A.1. Konfiguration und Laufzeiten der Experimente . . . . . . . . . 259 A.2. Stufe I: Farbraum und Bewegungsschätzung . . . . . . . . . . 261 A.3. Stufe II: Optimierung der Precision . . . . . . . . . . . . . . . 261 A.4. Echtzeitfähige Datenvisualisierung . . . . . . . . . . . . . . . . 267 A.5. Visualisierung einzelner Komponenten an Beispielen . . . . . . 269 B. Ergänzungen zu den Experimenten zur Gesichtsdetektion . . . . . . . 273 B.1. Trainingsverlauf des Klassifikators TUC FD . . . . . . . . . . 273 B.2. Übersicht zu den Mindestdetektionsgrößen auf TS100 . . . . . 273 B.3. Visualisierung der Detektionen auf TS100 . . . . . . . . . . . 279 C. Systemkonfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 Verzeichnis der Abkürzungen und Begriffe . . . v Literaturverzeichnis . . . vii / The data collections of local television stations often consist of multiples of ten thousand video tapes. Modern methods are needed to exploit the content of such archives. While the retrieval of objects plays a fundamental role, essential requirements incorporate low false and high detection rates in order to prevent the corruption of the search index. However, a sufficient number of objects need to be found to make assumptions about the content explored. This work focuses on the adjustment and optimization of existing detection techniques. Therefor, the author develops a holistic framework that directly reflects on the high demands of video analysis with the aim to facilitate the development of image processing algorithms, the visualization of intermediate results, and their evaluation and optimization. The effectiveness of the system is demonstrated on the structural decomposition of video footage and on content-based detection of faces and pedestrians.:1. Motivation . . . 1 1.1. Einordnung in den Retrievalprozess . . . . . . . . . . . . . . . . . . . 2 1.2. Infrastruktur zur Optimierung von Verfahren zur Videoanalyse . . . . 4 1.3. Herausforderungen der Bilderkennung . . . . . . . . . . . . . . . . . . 6 1.4. Wissenschaftliche Ergebnisse dieser Arbeit . . . . . . . . . . . . . . . 9 1.5. Kapitelübersicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2. Methoden und Strategien der Videoanalyse . . . 15 2.1. Fachgebiete der Bilderkennung . . . . . . . . . . . . . . . . . . . . . . 16 2.1.1. Maschinelles Lernen . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.2. Maschinelles Sehen . . . . . . . . . . . . . . . . . . . . . . . . 18 2.1.3. Computer Vision . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.1.4. Mustererkennung . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.2. Strukturelle Analyse von generischen Mustererkennungsystemen . . . 22 2.2.1. Datenakquisition . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.2.2. Musteranalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.2.3. Musterklassifizierung . . . . . . . . . . . . . . . . . . . . . . . 26 2.2.4. Bilderkennungssysteme . . . . . . . . . . . . . . . . . . . . . . 28 2.2.5. Wissensentdeckung in Datenbanken . . . . . . . . . . . . . . . 28 2.3. Bilderkennung in der inhaltsbasierten Bildsuche . . . . . . . . . . . . 29 2.3.1. Paradigmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.3.2. Bildsignaturen . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.3.3. Signaturtypen . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.3.4. Lerntechniken . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.4. Holistische Bilderkennungssysteme im Überblick . . . . . . . . . . . . 44 2.4.1. Ein segment- und konturbasiertes CBIR-System . . . . . . . . 45 2.4.2. Biologisch inspirierte Systeme . . . . . . . . . . . . . . . . . . 48 2.4.3. Lernen aus wenigen Beispielen . . . . . . . . . . . . . . . . . . 51 2.5. Objekterkennung im Szenenkontext . . . . . . . . . . . . . . . . . . . 55 2.6. Aktuelle Grenzen der Muster- und Objekterkennung . . . . . . . . . . 60 2.7. Konzept eines generischen Workflows zur Objekterkennung in Videos . . . 64 2.7.1. Strukturelle Analyse . . . . . . . . . . . . . . . . . . . . . . . 64 2.7.2. Inhaltliche Analyse . . . . . . . . . . . . . . . . . . . . . . . . 66 2.7.3. Erweiterung des klassischen Paradigmas zur Objekterkennung . . . 67 2.7.4. Anwendungsdomänen . . . . . . . . . . . . . . . . . . . . . . . 68 2.8. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 3. Systemarchitektur zur Optimierung von Bilderkennungsverfahren . . . 71 3.1. Vorüberlegungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.1.1. Softwaretechnische Anforderungen . . . . . . . . . . . . . . . . 72 3.1.2. Bewertung der Systemleistung . . . . . . . . . . . . . . . . . . 75 3.1.3. Ein- und Ausgabe . . . . . . . . . . . . . . . . . . . . . . . . . 89 3.1.4. Modellierung von Domänenwissen . . . . . . . . . . . . . . . . 90 3.1.5. Diskriminierbarkeit von Merkmalen . . . . . . . . . . . . . . . 92 3.1.6. Zusammenfassende Darstellung . . . . . . . . . . . . . . . . . 95 3.2. Architektur des Gesamtsystems . . . . . . . . . . . . . . . . . . . . . 95 3.3. Struktureller Aufbau von AMOPA . . . . . . . . . . . . . . . . . . . 97 3.3.1. Verwendung von Prozessketten . . . . . . . . . . . . . . . . . 101 3.3.2. Bild- und Videoverarbeitung . . . . . . . . . . . . . . . . . . . 106 3.4. Annotation von Bildern und Videos . . . . . . . . . . . . . . . . . . . 107 3.4.1. Ein Annotationswerkzeug für Videos . . . . . . . . . . . . . . 108 3.4.2. Ein Ansatz zu Annotation, Klassifikation und Evaluation . . . 111 3.5. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 4. Videosegmentierung . . . 119 4.1. Schnitterkennung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 4.1.1. Struktureller Aufbau von Videos . . . . . . . . . . . . . . . . 121 4.1.2. Klassische Verfahren . . . . . . . . . . . . . . . . . . . . . . . 124 4.1.3. TRECVid: Evaluationskampagne und Datensätze . . . . . . . 125 4.1.4. Das Verfahren von AT&T . . . . . . . . . . . . . . . . . . . . 130 4.2. Schnittkomposition und Ähnlichkeit . . . . . . . . . . . . . . . . . . . 137 4.2.1. Dominant-Color-Deskriptor . . . . . . . . . . . . . . . . . . . 140 4.2.2. Color-Layout-Deskriptor . . . . . . . . . . . . . . . . . . . . . 140 4.2.3. Scalable-Color-Deskriptor . . . . . . . . . . . . . . . . . . . . 141 4.2.4. Edge-Histogram-Deskriptor . . . . . . . . . . . . . . . . . . . 142 4.3. Konzeption und Implementierung . . . . . . . . . . . . . . . . . . . . 143 4.3.1. Einbindung in das Prozesskonzept von AMOPA . . . . . . . . 144 4.3.2. Auswahl des Farbraums . . . . . . . . . . . . . . . . . . . . . 148 4.3.3. Bewegungsanalyse . . . . . . . . . . . . . . . . . . . . . . . . 151 4.3.4. Bestimmung und Verifikation von Schnittkandidaten . . . . . 159 4.3.5. Ergebnisdarstellung und -speicherung . . . . . . . . . . . . . . 171 4.4. Evaluation und Optimierung der harten Schnitterkennung . . . . . . 173 4.4.1. Die TRECVid Evaluationsmethodologie . . . . . . . . . . . . 174 4.4.2. Optimierung von Recall und Laufzeit . . . . . . . . . . . . . . 176 4.4.3. Optimierung der Precision . . . . . . . . . . . . . . . . . . . . 181 4.4.4. Validierung der Ergebnisse . . . . . . . . . . . . . . . . . . . . 183 4.5. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 5. Gesichtsdetektion . . . 187 5.1. Stand der Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 5.1.1. Verfahrensklassen und Datensätze . . . . . . . . . . . . . . . . 189 5.1.2. Boosting-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . 192 5.2. Realisierung eines Systems zur Musterklassifizierung . . . . . . . . . . 200 5.2.1. Trainingsphase . . . . . . . . . . . . . . . . . . . . . . . . . . 201 5.2.2. Klassifikation mit Hilfe von Detektorketten . . . . . . . . . . . 203 5.2.3. Erlernen eines geboosteten Gesichtsklassifikators . . . . . . . . 206 5.2.4. Exkurs: Gesichtslokalisation mittels Schwarmintelligenz . . . . 210 5.3. Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 5.3.1. Datensatz TS100 . . . . . . . . . . . . . . . . . . . . . . . . . 214 5.3.2. Annotation von Gesichtern in unbeschränkten Domänen . . . 217 5.3.3. Evaluationsmethodik und Ergebnisdiskussion . . . . . . . . . . 218 5.4. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 6. Erkennung weiterer Objektklassen am Beispiel von Personen . . . 229 6.1. Merkmale für die Personenerkennung . . . . . . . . . . . . . . . . . . 230 6.2. Datensätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 6.3. Evaluation von Merkmalen auf verschiedenen Datensätzen . . . . . . 234 6.3.1. Evaluationsmethodik . . . . . . . . . . . . . . . . . . . . . . . 235 6.3.2. Auswertung und Ergebnisdiskussion . . . . . . . . . . . . . . . 238 6.4. Evaluation eines kaskadierten Klassifikationssystems . . . . . . . . . . 242 6.4.1. Systemarchitektur und Training . . . . . . . . . . . . . . . . . 242 6.4.2. Klassifikation und Evaluation . . . . . . . . . . . . . . . . . . 244 6.5. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 7. Zusammenfassung und Ausblick . . . 251 Anhang . . . 257 A. Übersicht zu den Experimenten zur Schnitterkennung . . . . . . . . . 259 A.1. Konfiguration und Laufzeiten der Experimente . . . . . . . . . 259 A.2. Stufe I: Farbraum und Bewegungsschätzung . . . . . . . . . . 261 A.3. Stufe II: Optimierung der Precision . . . . . . . . . . . . . . . 261 A.4. Echtzeitfähige Datenvisualisierung . . . . . . . . . . . . . . . . 267 A.5. Visualisierung einzelner Komponenten an Beispielen . . . . . . 269 B. Ergänzungen zu den Experimenten zur Gesichtsdetektion . . . . . . . 273 B.1. Trainingsverlauf des Klassifikators TUC FD . . . . . . . . . . 273 B.2. Übersicht zu den Mindestdetektionsgrößen auf TS100 . . . . . 273 B.3. Visualisierung der Detektionen auf TS100 . . . . . . . . . . . 279 C. Systemkonfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 Verzeichnis der Abkürzungen und Begriffe . . . v Literaturverzeichnis . . . vii

This work makes significant contributions in the field of sufficient schedulability tests for rate-monotonic scheduling (RMS) and their application to partitioned RMS. Goal is the maximization of possible utilization in worst or average case under a given number of processors. This scenario is more realistic than the dual case of minimizing the number of necessary processors for a given task set since the hardware is normally fixed. Sufficient schedulability tests are useful for quick estimates of task set schedulability in automatic system-synthesis tools and in online scheduling where exact schedulability tests are too slow. Especially, the approach of Accelerated Simply Periodic Task Sets (ASPTSs) and the concept of circular period similarity are cornerstones of improvements in the success ratio of such schedulability tests. To the best of the author's knowledge, this is the first application of circular statistics in real-time scheduling. Finally, the thesis discusses the use of sharp total utilization thresholds for partitioned EDF. A constant-time admission control is enabled with a controlled residual risk. / Diese Arbeit liefert entscheidende Beiträge im Bereich der hinreichenden Planbarkeitstests für ratenmonotones Scheduling (RMS) und deren Anwendung auf partitioniertes RMS. Ziel ist die Maximierung der möglichen Last im Worst Case und im Average Case bei einer gegebenen Zahl von Prozessoren. Dieses Szenario ist realistischer als der duale Fall der Minimierung der Anzahl der notwendigen Prozessoren für eine gegebene Taskmenge, da die Hardware normalerweise fixiert ist. Hinreichende Planbarkeitstests sind für schnelle Schätzungen der Planbarkeit von Taskmengen in automatischen Werkzeugen zur Systemsynthese und im Online-Scheduling sinnvoll, wo exakte Einplanungstests zu langsam sind. Insbesondere der Ansatz der beschleunigten einfach-periodischen Taskmengen und das Konzept der zirkulären Periodenähnlichkeit sind Eckpfeiler für Verbesserungen in der Erfolgsrate solcher Einplanungstests. Nach bestem Wissen ist das die erste Anwendung zirkulärer Statistik im Echtzeit-Scheduling. Schließlich diskutiert die Arbeit plötzliche Phasenübergänge der Gesamtlast für partitioniertes EDF. Eine Zugangskontrolle konstanter Zeitkomplexität mit einem kontrollierten Restrisiko wird ermöglicht.

Big amounts of test data generated by the current used software testing tools (QA-C/QA-C++ and Cantata) contain a variety of different values. The variances cause enormous challenges in data aggregation and interpretation that directly affect generation of test metrics. Due to the circumstance of data processing, this master thesis introduces a database-centric test management framework for test metrics aims at centrally handling the big data as well as facilitating the generation of test metrics. Each test result will be individually parsed to be a particular format before being stored in a centralized database. A friendly front-end user interface is connected and synchronized with the database that allows authorized users to interact with the stored data. With a granularity tracking mechanism, any stored data will be systematically located and programmatically interpreted by a test metrics generator to create various kinds of high-quality test metrics. The automatization of the framework is driven by Jenkins CI to automatically and periodically performing the sequential operations. The technology greatly and effectively optimizes and reduces effort in the development, as well as enhance the performance of the software testing processes. In this research, the framework is only started at managing the testing processes on software-unit level. However, because of the independence of the database from levels of software testing, it could also be expanded to support software development at any level.

Das Thema Information Retrieval hat insbesondere in Form von Internetsuchmaschinen eine große Bedeutung erlangt. Retrievalsysteme werden für eine Vielzahl unterschiedlicher Rechercheszenarien eingesetzt, unter anderem für firmeninterne Supportdatenbanken, aber auch für die Organisation persönlicher E-Mails. Eine aktuelle Herausforderung besteht in der Bestimmung und Vorhersage der Leistungsfähigkeit einzelner Komponenten dieser Retrievalsysteme, insbesondere der komplexen Wechselwirkungen zwischen ihnen. Für die Implementierung und Konfiguration der Retrievalsysteme und der Retrievalkomponenten werden Fachleute benötigt. Mithilfe der webbasierten Lernanwendung Xtrieval Web Lab können Studierende praktisches Wissen über den Information Retrieval Prozess erwerben, indem sie Retrievalkomponenten zu einem Retrievalsystem zusammenstellen und evaluieren, ohne dafür eine Programmiersprache einsetzen zu müssen. Spielemechaniken leiten die Studierenden bei ihrem Entdeckungsprozess an, motivieren sie und verhindern eine Informationsüberladung durch eine Aufteilung der Lerninhalte. / Information retrieval has achieved great significance in form of search engines for the Internet. Retrieval systems are used in a variety of research scenarios, including corporate support databases, but also for the organization of personal emails. A current challenge is to determine and predict the performance of individual components of these retrieval systems, in particular the complex interactions between them. For the implementation and configuration of retrieval systems and retrieval components professionals are needed. By using the web-based learning application Xtrieval Web Lab students can gain practical knowledge about the information retrieval process by arranging retrieval components in a retrieval system and their evaluation without using a programming language. Game mechanics guide the students in their discovery process, motivate them and prevent information overload by a partition of the learning content.

Die Datenbestände lokaler Fernsehsender umfassen oftmals mehrere zehntausend Videokassetten. Moderne Verfahren werden benötigt, um derartige Datenkollektionen inhaltlich automatisiert zu erschließen. Das Auffinden relevanter Objekte spielt dabei eine übergeordnete Rolle, wobei gesteigerte Anforderungen wie niedrige Fehler- und hohe Detektionsraten notwendig sind, um eine Korruption des Suchindex zu verhindern und erfolgreiche Recherchen zu ermöglichen. Zugleich müssen genügend Objekte indiziert werden, um Aussagen über den tatsächlichen Inhalt zu treffen. Diese Arbeit befasst sich mit der Anpassung und Optimierung bestehender Detektionsverfahren. Dazu wird ein auf die hohen Leistungsbedürfnisse der Videoanalyse zugeschnittenes holistisches Workflow- und Prozesssystem mit der Zielstellung implementiert, die Entwicklung von Bilderkennungsalgorithmen, die Visualisierung von Zwischenschritten sowie deren Evaluation zu ermöglichen. Im Fokus stehen Verfahren zur strukturellen Zerlegung von Videomaterialien und zur inhaltlichen Analyse im Bereich der Gesichtsdetektion und Fußgängererkennung. / The data collections of local television stations often consist of multiples of ten thousand video tapes. Modern methods are needed to exploit the content of such archives. While the retrieval of objects plays a fundamental role, essential requirements incorporate low false and high detection rates in order to prevent the corruption of the search index. However, a sufficient number of objects need to be found to make assumptions about the content explored. This work focuses on the adjustment and optimization of existing detection techniques. Therefor, the author develops a holistic framework that directly reflects on the high demands of video analysis with the aim to facilitate the development of image processing algorithms, the visualization of intermediate results, and their evaluation and optimization. The effectiveness of the system is demonstrated on the structural decomposition of video footage and on content-based detection of faces and pedestrians.

Die Werkzeuge und Methoden der Digitalen Fabrik sind bereits seit vielen Jahren in den einzelnen Phasen des Produktentstehungsprozess im Einsatz. Sie werden dabei u.a. auch zur Planung und Gestaltung menschlicher Arbeit eingesetzt. Mit Hilfe digitaler Menschmodelle können Aspekte des Arbeitsablaufs, der Zeitwirtschaft und der Arbeitsplatzgestaltung bereits frühzeitig untersucht und verbessert werden. Die Entwicklung effizienter Simulationssysteme steht auf diesem Gebiet jedoch insbesondere im Vergleich mit anderen Bereichen, wie beispielsweise der Robotersimulation, noch am Anfang. Die vorliegende Arbeit beschäftigt sich zunächst mit der Analyse bereits existierender Menschmodell-Simulationssysteme. Aus den identifizierten Schwachstellen dieser Systeme und weiteren durch Experteninterviews sowie Literaturrecherche gewonnenen Erkenntnissen wird eine Anforderungsliste erstellt, die als Grundlage für die Konzeption und Umsetzung eines innovativen Ansatzes zur Ansteuerung und Bewegungsgenerierung für digitale Menschmodelle dient. Diese neuartige Methodik wird schließlich in ein Simulations-Softwaresystem implementiert und anschließend im Praxis-Einsatz evaluiert. Es konnte gezeigt werden, dass das neue System die Mängel der vorhandenen Systeme behebt und somit als Werkzeug zur effizienten Planung, Gestaltung und Bewertung menschlicher Arbeit geeignet ist. / For many years the tools and methods of the Digital Factory are used in various stages of the product development process. They are also used for the planning and design of human work, which is typically done using a digital human model. Aspects of the workflow, time management and workplace design can be investigated and improved upon in the early stages of the product development process using digital human models. But in this field the development of efficient simulation systems is not matured enough compared to other fields for e.g. robot simulation. This paper starts with an analysis of existing simulation systems for digital human models. Afterwards a requirements list is created from the identified weaknesses of these systems, knowledge gained through expert interviews and literature reviews. These requirements serve as the base for the design and implementation of an innovative approach for motion generation and control of digital human models. This new methodology is then implemented as a simulation software system and evaluated in practical applications. The developed system fixed the shortcomings of existing systems and thus it is a suitable tool for efficient planning, design and evaluation of human labor.

Partikelsimulationen repräsentieren eine Klasse von daten- und rechenintensiven Simulationsanwendungen, die in unterschiedlichen Bereichen der Wissenschaft und der industriellen Forschung zum Einsatz kommen. Der hohe Berechnungsaufwand der eingesetzten Lösungsmethoden und die großen Datenmengen, die zur Modellierung realistischer Probleme benötigt werden, machen die Nutzung paralleler Rechentechnik hierfür unverzichtbar. Parallelrechner mit verteiltem Speicher stellen dabei eine weit verbreitete Architektur dar, bei der eine Vielzahl an parallel arbeitenden Rechenknoten über ein Verbindungsnetzwerk miteinander Daten austauschen können. Die Berechnung von Wechselwirkungen zwischen Partikeln stellt oft den Hauptaufwand einer Partikelsimulation dar und wird mit Hilfe schneller Lösungsmethoden, wie dem Barnes-Hut-Algorithmus oder der Schnellen Multipolmethode, durchgeführt. Effiziente parallele Implementierungen dieser Algorithmen benötigen dabei eine Sortierung der Partikel nach ihren räumlichen Positionen. Die Sortierung ist sowohl notwendig, um einen effizienten Zugriff auf die Partikeldaten zu erhalten, als auch Teil von Optimierungen zur Erhöhung der Lokalität von Speicherzugriffen, zur Minimierung der Kommunikation und zur Verbesserung der Lastbalancierung paralleler Berechnungen. Die vorliegende Dissertation beschäftigt sich mit der Entwicklung eines effizienten parallelen Sortierverfahrens und der dafür benötigten Kommunikationsoperationen zur Datenumverteilung in Partikelsimulationen. Hierzu werden eine Vielzahl existierender paralleler Sortierverfahren für verteilten Speicher analysiert und mit den Anforderungen von Seiten der Partikelsimulationsanwendungen verglichen. Besondere Herausforderungen ergeben sich dabei hinsichtlich der Aufteilung der Partikeldaten auf verteilten Speicher, der Gewichtung zu sortierender Daten zur verbesserten Lastbalancierung, dem Umgang mit doppelten Schlüsselwerten sowie der Verfügbarkeit und Nutzung speichereffizienter Kommunikationsoperationen. Um diese Anforderungen zu erfüllen, wird ein neues paralleles Sortierverfahren entwickelt und in die betrachteten Anwendungsprogramme integriert. Darüber hinaus wird ein neuer In-place-Algorithmus für der MPI_Alltoallv-Kommunikationsoperation vorgestellt, mit dem der Speicherverbrauch für die notwendige Datenumverteilung innerhalb der parallelen Sortierung deutlich reduziert werden kann. Das Verhalten aller entwickelten Verfahren wird jeweils isoliert und im praxisrelevanten Einsatz innerhalb verschiedener Anwendungsprogramme und unter Verwendung unterschiedlicher, insbesondere auch hochskalierbarer Parallelrechner untersucht.