Zugl.: Zürich, Techn. Hochsch., Diss., 2009

Zugl.: Bielefeld, Univ., Diss., 2005 / Hergestellt on demand

Thesis--Universitat-Gesamthochschule Paderborn.

Originally presented as the author's Thesis (Ph. D.)--"Otto von Guericke" Universität Magdeburg, 2003. / "Elektrotechnik"--Cover. Includes bibliographical references (p. 145-149).

Die Arbeit beschreibt Konzipierung, Bau und Untersuchung eines Robotersystems, welches die grundlegenden Züge des Billardspiels beherrscht. Die Realisierung erfolgte in Form eines an die Charakteristika von mobilen Robotern angelehnten Fahrzeuges, welches sich auf einem Billardtisch bewegt und mit einer Art Queue Billardstöße ausführt. Alle Abläufe werden mit Hilfe einer über dem Tisch montierten Digitalkamera erfaßt und überwacht. Die Steuerung erfolgt durch einen Personalcomputer. Schwerpunkte der Arbeit bilden Probleme der Bilderkennung, Wegplanung und technischen Umsetzung. Die Lösung wurde mit Hilfe relativ einfacher technischer Mittel und geringem finanziellen Budget erstellt.

Frankfurt (Main), University, Diss., 2008.

Als dritthäufigstes Krebsvorkommen und zweithäufigste Krebstodesursache hat das kolorektale Karzinom (KRK) einen hohen Stellenwert für die interdisziplinäre Therapie in der Onkologie. Bei etwa 50% der Patienten befindet sich das KRK im Rektum. Die Behandlung erfolgt kurativ durch die operative Entfernung des Rektums samt der regionären Lymphknoten. Bis heute konnten keine klinischen bzw. onkologischen Vorteile der roboterassistierten Rektumresektion gegenüber der konventionell laparoskopischen Variante bewiesen werden. In dieser Arbeit wurde mithilfe maschineller Lernverfahren (Künstlicher Intelligenz, KI) ein Algorithmus trainiert, welcher bestimmte kritische anatomische Strukturen und Dissektionsebenen automatisch identifizieren kann. Damit soll zukünftig eine Assistenzfunktion etablieren werden, welche dem Chirurgen dabei helfen soll, autonome Nerven und Blutgefäße zu schonen, was das onkologische Outcome verbessern könnte. Insgesamt wurden 29 anteriore Rektumresektionen berücksichtigt, welche je in 5 OP-Phasen eingeteilt wurden (Peritoneale Inzision, Gefäßdissektion, Mediale Mobilisation, Laterale Mobilisation, Mesorektale Exzision). Etwa 500 – 2.500 Bilder wurden von jeder Phase aus den Operationsvideos extrahiert und bestimmte Strukturen wurden semantisch segmentiert. Die Leave-One-Out-Kreuzvalidierung wurde für die Algorithmus-Validierung angewendet. Als maschinelles Lernverfahren diente ein Mask R-CNN basierender Deep Learning-Algorithmus. Um die Prädiktionen evaluieren zu können, wurden die Objekterkennungs-Metriken Intersection over Union (IoU), Precision, Recall, F1 und Specificity berechnet. Gute IoU-Werte konnten bei der Instrumentenerkennung (IoU bis zu 0,82 ± 0,26), bei der Gerota’schen Faszie (IoU: 0,74 ± 0,03) und beim Mesokolon (IoU: 0,65 ± 0,05) während der medialen Mobilisation, bei der Abdominal wall (IoU: 0,78 ± 0,04) und beim Fat (IoU: 0,64 ± 0,10) während der lateralen Mobilisation und beim Peritoneum, welches beim ersten Einschnitt inzidiert wird, erreicht werden (IoU: 0,69 ± 0,22). Eine weniger präzise automatische Erkennung wurde bei der mesorektalen Faszie (IoU: 0,28 ± 0,08), beim Mesorektum (IoU: 0,45 ± 0,08), beim Kolon und Dünndarm (IoU: 0,46 ± 0,09 bzw. 0,33 ± 0,24) und der Vena mesenterica inferior (IoU: 0,25 ± 0,17) berechnet. Unzureichende Werte wurden bei den eigentlichen Dissektionslinien, den Bläschendrüsen und bei der Arteria mesenterica inferior erzielt, mit durchschnittlichen IoU-Werten kleiner 0,01 bis 0,16. Das künstliche neuronale Netzwerk erkannte zudem meist etwas ziemlich gut oder erkannte es gar nicht. Mittelgute Einzelwerte sind selten. Zusammenfassend zeigen diese Ergebnisse, dass eine KI in der Lage ist, anatomische Strukturen in laparoskopischen Aufnahmen bei einer solch komplexen OP zu erkennen. Für die KI ist es schwierig, vor allem kleinere oder hochvariabel aussehende Strukturen wie die Bläschendrüsen, Blutgefäße oder die mesorektale Faszie zu identifizieren. Es ist anzunehmen, dass die Prädiktionen mit einem größeren und diverseren Trainingsdatensatz verbessert werden können. Für Strukturen wie Dissektionslinien, für welche keine wirklichen optischen Abhebungen von anderen Strukturen im Bild bestehen, könnten andere Bereiche für die Einblendung einer Schnittführungslinie in den Bildern von Bedeutung sein. Eine zukünftige Implementierung dieser Methode in den Operationssaal im Rahmen einer Navigationsfunktion für den Chirurgen wäre demzufolge möglich.

Die automatische Erkennung von Mensch-Objekt-Interaktionen (HOI) spielt eine zentrale Rolle in der Mensch-Computer-Interaktion, der Verhaltenanalyse und zahlreichen KI-Anwendungen. Während aktuelle HOI-Methoden überwiegend auf rektilinearen Bildern trainiert wurden, gewinnen omnidirektionale Kameras mit Fischaugenobjektiven zunehmend an Bedeutung, da sie mit ihrem extrem weiten Sichtfeld deutlich größere Räume abdecken können, als hermkömmliche Kameras. Allerdings führen die starken optischen Verzerrungen dieser Objektive dazu, dass herkömmliche Computer-Vision-Algorithmen oft unzuverlässige Ergebnisse liefern. Diese Arbeit untersucht, inwiefern bestehende Methoden zur Erkennung von Mensch-Objekt-Interaktionen an die besonderen Eigenschaften von Fischaugenaufnahmen angepasst werden können. Durch den Einsatz von Transferlernen wurde ein bestehendes HOI-Modell auf zwei speziell erstellte Datensätze trainiert. Zudem wurde eine Annotationssoftware entwickelt, welches eine effiziente Beschriftung von Mensch-Objekt-Interaktionen ermöglicht und der Forschungsgemeinschaft zur Verfügung steht. Die experimentellen Ergebnisse zeigen, dass HOI-Modelle durch Transferlernen erfolgreich an die Verzerrungen omnidirektionaler Bilder angepasst werden können, wodurch eine Erkennungsgenauigkeit von bis zu 85% erreicht wurde.:1 Einleitung 1.1 Problemstellung 1.2 Zielsetzung 1.3 Forschungsfragen 2 Grundlagen 2.1 Mensch-Objekt-Interaktion 2.2 Verfahren für die HOI-Erkennung 2.2.1 Zweistufige Verfahren 2.2.2 Einstufige Verfahren 2.2.3 End-To-End Verfahren 2.2.4 Übersicht 2.3 Datensätze 2.3.1 HICO-DET 2.3.2 V-COCO 2.3.3 360Action 2.4 Augmentierungsmethoden 2.5 Faltungsnetze 2.6 Transferlernen 3 Verwandte Arbeiten 3.1 HOI-Erkennung in Echtzeit 3.2 HOI-Erkennung in 360° Aufnahmen 3.3 Transferlernen auf Fischaugenbildern 4 Auswahl des Modells 4.1 HoiTransformer 4.1.1 Backbone 4.1.2 Encoder 4.1.3 Decoder 4.1.4 Prediction Head 5 Datenerzeugung 5.1 Fischaugen-HOI-Datensatz 5.2 Datenaugmentierung 5.3 Annotationssoftware 5.3.1 HOI-Det-UI 5.3.2 HOI Labeling Tool 6 Methode 6.1 Daten 6.2 Evaluierungsmetrik 6.3 Trainingsaufbau 7 Ergebnisse und Auswertung 7.1 Quantitative Ergebnisse 7.2 Qualitative Ergebnisse 8 Schluss 8.1 Fazit 8.2 Ausblick / Human-object interaction (HOI) detection plays an important role in human-computer interaction, action analysis, and a wide range of AI-driven applications. While current HOI methods are mainly trained on perspective images, omnidirectional cameras are gaining importance due to their ultra-wide field of view, enabling coverage of significantly larger spaces compared to conventional cameras. However, the optical distortions inherent to fisheye lenses often cause traditional computer vision algorithms to produce unreliable results. This thesis explores how existing HOI detection methods can be adapted to address the unique challenges of fisheye images. Using the method of transfer learning, an established HOI model was fine-tuned on two custom datasets. Additionally, an annotation tool was developed for the labeling of HOI triplets, which has been made publicly available to support the research community. Experimental results demonstrate that HOI models can be successfully adapted to handle distortions in omnidirectional images through transfer learning, achieving a detection accuracy of up to 85%. This work highlights the feasibility of bridging the gap between conventional HOI frameworks and the demands of fisheye-based vision systems.:1 Einleitung 1.1 Problemstellung 1.2 Zielsetzung 1.3 Forschungsfragen 2 Grundlagen 2.1 Mensch-Objekt-Interaktion 2.2 Verfahren für die HOI-Erkennung 2.2.1 Zweistufige Verfahren 2.2.2 Einstufige Verfahren 2.2.3 End-To-End Verfahren 2.2.4 Übersicht 2.3 Datensätze 2.3.1 HICO-DET 2.3.2 V-COCO 2.3.3 360Action 2.4 Augmentierungsmethoden 2.5 Faltungsnetze 2.6 Transferlernen 3 Verwandte Arbeiten 3.1 HOI-Erkennung in Echtzeit 3.2 HOI-Erkennung in 360° Aufnahmen 3.3 Transferlernen auf Fischaugenbildern 4 Auswahl des Modells 4.1 HoiTransformer 4.1.1 Backbone 4.1.2 Encoder 4.1.3 Decoder 4.1.4 Prediction Head 5 Datenerzeugung 5.1 Fischaugen-HOI-Datensatz 5.2 Datenaugmentierung 5.3 Annotationssoftware 5.3.1 HOI-Det-UI 5.3.2 HOI Labeling Tool 6 Methode 6.1 Daten 6.2 Evaluierungsmetrik 6.3 Trainingsaufbau 7 Ergebnisse und Auswertung 7.1 Quantitative Ergebnisse 7.2 Qualitative Ergebnisse 8 Schluss 8.1 Fazit 8.2 Ausblick

Many companies have a large collection of different model variants and results. Hexagon's (formerly MSC Software) software Odyssee helps to find out what information is contained in this data. New calculations can sometimes be avoided because the results for new parameter combinations can be predicted from the existing calculations. This is particularly interesting for non-linear or large models with long run times. The software also helps when setting up new DOEs and offers a variety of options for statistical displays. In the lecture, the number-based and image-based methods are compared. / Viele Firmen können auf eine große Sammlung vorhandener Rechnungen für verschiedene Modellvarianten zurückgreifen. Die Software Odyssee von Hexagon (früher MSC Software) hilft herauszufinden, welche Informationen in diesen Daten stecken. Neue Rechnungen kann man sich teilweise ersparen, weil die Ergebnisse für neue Parameterkombinationen aus den vorhandenen Rechnungen vorhergesagt werden können. Dies ist besonders interessant für nichtlineare oder große Modelle mit langer Rechenzeit. Die Software hilft auch beim Aufsetzen neuer DOEs und bietet vielfältige Möglichkeiten für statistische Darstellungen. In dem Vortrag werden die zahlenbasierte und bildbasierte Methode gegenübergestellt.

Die Entwicklung von Bilderkennungssystemen ist ein hochkomplexer Prozess, der derzeit fast ausschließlich von Experten mit entsprechenden Fachkenntnissen bewältigt werden kann. Bilderkennungssysteme haben durch die allgegenwärtige Verfügbarkeit an Bilddaten und ihren kostenneutralen Einsatz das Potential, eine wichtige Rolle in der digitalisierten Gesellschaft zu spielen. Jedoch ist ihr Einsatz effektiv durch den nicht vorhandenen Zugang zu entsprechenden Entwicklungswerkzeugen limitiert. Diese Arbeit verfolgt das Ziel, ein Software-Framework bereitzustellen, das von Anwendern ohne Fachkenntnisse genutzt werden kann. Hierfür werden die einzelnen Schritte des Entwicklungsprozesses betrachtet und an diese Zielgruppe adaptiert. Im Detail bedeutet dies für das in dieser Arbeit präsentierte Software-Framework FOREST (Flexible Object Recognition System), dass - der Entwicklungsprozess größtmöglich automatisiert abläuft, - nicht automatisierbare Komponenten vereinfacht werden - und eine intuitive Benutzungsoberfläche bereitgestellt wird, die keine Einarbeitungszeit und Fachkenntnisse erfordert. Im Gegensatz zu existierenden Entwicklungswerkzeugen ist das Ziel von FOREST nicht die Entwicklung eines speziellen Bilderkennungssystems, sondern die Adaption an die vom Anwender intendierte Erkennungsaufgabe. Allein durch die Auswahl einer Bilddatenquelle und der Annotation der Bilder lernt FOREST einen Klassifikator, der die Erkennungsaufgabe löst. Das resultierende Bilderkennungssystem wird auch als aufgabenspezifisches Bilderkennungssystem bezeichnet, da es speziell auf die gestellte Erkennungsaufgabe trainiert wurde. Beispielsweise kann eine Webcam genutzt werden, um geöffnete Fenster zu detektieren und so Wetterschäden oder einen Einbruch zu vermeiden. Die Bereitstellung eines Entwicklungswerkzeugs für Anwender ohne Fachkenntnisse wird durch die automatische Bildverarbeitung mit einer großen Menge an Operatoren für die Merkmalsdetektion und die Merkmalsextraktion realisiert. Die Auswahl diskriminativer Merkmalsdeskriptoren für die Klassifikation aus dem Merkmalsdatensatz wird während des Trainingsprozesses durch einen Boosting-Klassifikator geleistet. Die modulare und erweiterbare Struktur des Frameworks ist entscheidend für den langfristig erfolgreichen Einsatz des Systems. FOREST stellt spezifizierte Schnittstellen für den Zugriff auf das System durch Benutzungsschnittstellen und die Erweiterung der Erkennungsfunktionalität bereit. Die Komponenten des Systems können zentral bereitgestellt werden und erlauben so die Nutzung ohne eine lokale Installation durch den Anwender. Die Definition der Erkennungsaufgabe findet durch die Annotation der Bilder, also der Zuweisung einer Kategorie zu jedem Bild, statt. Die Annotation ist ein sehr aufwändiger Prozess, da sie manuell durchgeführt werden muss. Die Qualität der Trainingsdaten und die Qualität der Annotationen, also die Korrektheit, haben direkten Einfluss auf die Ergebnisse des resultierenden Bilderkennungssystems. Der Annotationsaufwand wird mit Hilfe eines semi-automatischen Prozesses reduziert, indem Bilder ihrer Ähnlichkeit nach vorsortiert und in einer optimierten Benutzungsoberfläche dargestellt werden. Die Annotation ganzer Cluster in einem Zug ermöglicht eine effiziente Annotation des Datensatzes. Die Vorsortierung stellt aufgrund der unbekannten Natur der Bilder eine große Schwierigkeit dar, die durch die Integration verschiedener Bildmerkmale in einen Bag-of-Features (BoF) Histogramm-Merkmalsvektor gelöst werden kann. Die Vorsortierung der Bilder kann während des Annotationsprozesses weiter verbessert werden, indem partiell verfügbare Annotationen in einem semi-überwachten Lernprozess eingesetzt werden. Anhand partieller Annotationen wird die Gewichtung der Bildmerkmale so angepasst, dass die Ähnlichkeit innerhalb einer Kategorie erhöht wird. Zusätzlich erlaubt die Identifikation diskriminativer Bildmerkmale eine Visualisierung relevanter Bildregionen, die Anwendern als Qualitätsmaß für die neu berechnete Vorsortierung der Bilder dienen kann. Die Benutzungsschnittstellen sind auf eine visuelle Informationsdarstellung ausgelegt. FOREST erlaubt Laien-Anwendern die Entwicklung aufgabenspezifischer Bilderkennungssysteme in einem einfach gehaltenen Entwicklungsprozess, der notwendige Interaktionen auf ein Minimum beschränkt. Dennoch ist FOREST für Experten-Anwender nutzbar. Neue Operatoren können leicht in das System integriert und effizient evaluiert werden. Die Ergebnisse aufgabenspezifischer Erkennungssysteme, die mit FOREST entwickelt wurden, sind mit den Ergebnissen spezialisierter Systeme vergleichbar. Die detaillierte Analyse der Klassifikation zeigt zudem, dass trotz der Annotation ganzer Bilder mit einer Kategorie relevante Objektstrukturen erkannt und automatisiert für die Erkennung herangezogen werden. Der Entwicklungsaufwand für die Erstellung eines aufgabenspezifischen Bilderkennungssystems ist nicht mit der gemeinhin bekannten Entwicklung von Bilderkennungssystemen vergleichbar, da das System keine Programmierkenntnisse, kein Fachwissen und keine Eigenentwicklung erwartet. FOREST bietet daher für fachfremde Anwender ein Entwicklungswerkzeug und ermöglicht die Entwicklung von Bilderkennungssystemen für alltägliche Aufgaben. Damit legt FOREST den Grundstein für einen breiten Einsatz von Bilderkennungsanwendungen im Alltag.