Techn. University, Diss., 2005--Darmstadt.

Univ., Diss., 2005--Frankfurt (Main)

Zugl.: Berlin, Techn. Univ., Diss., 2008

Thermal imaging is a non-invasive and marker-free approach for intraoperative measurements of small temperature variations. In this work, we demonstrate the abilities of active dynamic thermal imaging for analysis of tissue perfusion state in case of cerebral ischemia. For this purpose, a NaCl irrigation is applied to the exposed cortex during hemicraniectomy. The cortical temperature changes are measured by a thermal imaging system and the thermal signal is recognized by a novel machine learning framework. Subsequent tissue heating is then approximated by a double exponential function to estimate tissue temperature decay constants. These constants allow us to characterize tissue with respect to its dynamic thermal properties. Using a Gaussian mixture model we show the correlation of these estimated parameters with infarct demarcations of post-operative CT. This novel scheme yields a standardized representation of cortical thermodynamic properties and might guide further research regarding specific intraoperative diagnostics.

Object pose estimation is an important problem in computer vision with applications in robotics, augmented reality and many other areas. An established strategy for object pose estimation consists of, firstly, finding correspondences between the image and the object’s reference frame, and, secondly, estimating the pose from outlier-free correspondences using Random Sample Consensus (RANSAC). The first step, namely finding correspondences, is difficult because object appearance varies depending on perspective, lighting and many other factors. Traditionally, correspondences have been established using handcrafted methods like sparse feature pipelines. In this thesis, we introduce a dense correspondence representation for objects, called object coordinates, which can be learned. By learning object coordinates, our pose estimation pipeline adapts to various aspects of the task at hand. It works well for diverse object types, from small objects to entire rooms, varying object attributes, like textured or texture-less objects, and different input modalities, like RGB-D or RGB images. The concept of object coordinates allows us to easily model and exploit uncertainty as part of the pipeline such that even repeating structures or areas with little texture can contribute to a good solution. Although we can train object coordinate predictors independent of the full pipeline and achieve good results, training the pipeline in an end-to-end fashion is desirable. It enables the object coordinate predictor to adapt its output to the specificities of following steps in the pose estimation pipeline. Unfortunately, the RANSAC component of the pipeline is non-differentiable which prohibits end-to-end training. Adopting techniques from reinforcement learning, we introduce Differentiable Sample Consensus (DSAC), a formulation of RANSAC which allows us to train the pose estimation pipeline in an end-to-end fashion by minimizing the expectation of the final pose error.

Anhand eines Realdatensatzes zum Immobilienmarkt in Deutschland werden Methoden des maschinellen Lernens zur Vorhersage von Immobilienpreisen demonstriert.

Anhand Realdaten zum Immobilienmarkt in Deutschland werden Methoden zur Datenanreicherung vor dem Hintergrund des maschinellen Lernes demonstriert. Die Immobilienmarktdaten werden durch regionale Daten des statistischen Bundesamtes zu Baulandpreisen und Einkommen ergänzt.

An der Verarbeitung natürlicher Sprache durch computerbasierte Systeme wurde immer aktiv entwickelt und geforscht, um Aufgaben in den am weitesten verbreiteten Sprachen zu lösen. In dieser Arbeit werden verschiedene Ansätze zur Lösung von Problemen in diesem Bereich mittels künstlicher neuronaler Netze beschrieben. Dabei konzentriert sich diese Arbeit hauptsächlich auf modernere Architekturen wie Transformatoren oder BERT. Ziel dabei ist es, diese besser zu verstehen und herauszufinden, welche Vorteile sie gegenüber herkömmlichen künstlichen neuronalen Netzwerken haben. Anschließend wird dieses erlangte Wissen an einer Aufgabe aus dem Bereich der Verarbeitung natürlicher Sprache getestet, in welcher mittels einer sogenannten Named Entity Recognition (NER) spezielle Informationen aus Texten extrahiert werden.:1 Einleitung 1.1 Verarbeitung natürlicher Sprache (NLP) 1.2 Neuronale Netze 1.2.1 Biologischer Hintergrund 1.3 Aufbau der Arbeit 2 Grundlagen 2.1 Künstliche neuronale Netze 2.1.1 Arten des Lernens 2.1.2 Aktivierungsfunktionen 2.1.3 Verlustfunktionen 2.1.4 Optimierer 2.1.5 Über- und Unteranpassung 2.1.6 Explodierender und verschwindender Gradient 2.1.7 Optimierungsverfahren 3 Netzwerkarchitekturen zur Verarbeitung natürlicher Sprache 3.1 Rekurrente neuronale Netze (RNN) 3.1.1 Langes Kurzzeitgedächtnis (LSTM) 3.2 Autoencoder 3.3 Transformator 3.3.1 Worteinbettungen 3.3.2 Positionscodierung 3.3.3 Encoderblock 3.3.4 Decoderblock 3.3.5 Grenzen Transformatorarchitektur 3.4 Bidirektionale Encoder-Darstellungen von Transformatoren (BERT) 3.4.1 Vortraining 3.4.2 Feinabstimmung 4 Praktischer Teil und Ergebnisse 4.1 Aufgabe 4.2 Verwendete Bibliotheken, Programmiersprachen und Software 4.2.1 Python 4.2.2 NumPy 4.2.3 pandas 4.2.4 scikit-learn 4.2.5 Tensorflow 4.2.6 Keras 4.2.7 ktrain 4.2.8 Data Version Control (dvc) 4.2.9 FastAPI 4.2.10 Docker 4.2.11 Amazon Web Services 4.3 Daten 4.4 Netzwerkarchitektur 4.5 Training 4.6 Auswertung 4.7 Implementierung 5 Schlussbemerkungen 5.1 Zusammenfassung und Ausblick

In der Arbeit wird das Konzept des fallbasierten Schließens zur Verwendung während der Minimax-Baumsuche in Spielbäumen vorgeschlagen. Die Auswirkungen von Änderungen an verschiedenen Parametern des Algorithmus werden anhand dazu durchgeführter Experimente dargestellt. Hervorzuheben sind besonders mehrere Auswahlstrategien, die den Lernprozess erheblich beschleunigen können.

Diese Arbeit behandelt maschinelles Lernen und führt dabei von theoretischen Überlegungen zu Implementierungen, sowie deren Vergleich mit typischen Verfahren aus der Praxis. Nach einer kurzen Einführung in das Thema maschinelles Lernen wird der Hauptaugenmerk auf die binäre Klassifikation gelenkt. Dabei werden aufbauend auf der Wahrscheinlichkeitstheorie wichtige Begriffe wie Regressionsfunktion, Klassifikator, Bayes’scher Klassifikator, Risiko und zusätzliches Risiko eingeführt und auf deren Wechselwirkungen eingegangen. Das Ziel ist dann bei unbekannter Verteilung, anhand eines durch diese Verteilung entstanden Beobachtungsdatensatzes, einen Klassifikator zu finden, der das zusätzliche Risiko minimiert. Da die Verteilung unbekannt ist, kann man das zusätzliche Risiko nicht direkt berechnen und versucht es durch Aufspaltung in Schätz- und Näherungsfehler nach oben abzuschätzen. Das führt zur VC Dimension und einem Objekt, welches als Modulus bezeichnet wird. Unter gewissen Zusatzannahmen an die Verteilung, wie Randbedingungen und Zugehörigkeit zu einer Approximationsklasse, lässt sich dann die Abschätzung der Fehler bewerkstelligen. Jedoch sind die Parameter in diesen Bedingungen nicht bekannt und es stellt sich die Frage, wie man trotzdem eine möglichst günstige Abschätzung erhält. Das führt zu einer speziellen Modellwahl, die für den ausgewählten Klassifikator eine ebenso gute Schranke liefert, wie wenn man die Wahl unter Kenntnis der unbekannten Parameter treffen würde. Dieses Wissen wird dann auf dyadische Bäume und deren Partitionierungen angewendet. Darauf aufbauend wird ein Baumalgorithmus implementiert, der diese Modellauswahl benutzt und zusätzlich ein Vergleichsalgorithmus der ebenfalls dyadische Bäume gebraucht. Anschließend folgt eine Einführung in typische praxisrelevante Methoden zur Klassifizierung und der Vergleich mit den implementierten Verfahren mittels der Programmiersprache und Softwareumgebung für statistische Berechnungen R. Dabei liefern meist mehrere der gewöhnlicherweise verwendeten Verfahren sehr gute Ergebnisse. Außerdem zeigt sich, dass die dyadischen Bäume für niedrigdimensionale Probleme gute Ergebnisse erzielen und für hochdimensionale Problemstellungen sehr rechenintensiv und damit zeitintensiv werden. Insgesamt liefert die Diplomarbeit damit einen praxisnahen und theoretisch fundierten Einstieg in das Thema des maschinellen Lernens mit anwendungsorientierten Beispielen in der Programmiersprache R.