Univ., Diss., 2005--Frankfurt (Main)

Zugl.: Berlin, Techn. Univ., Diss., 2008

Thermal imaging is a non-invasive and marker-free approach for intraoperative measurements of small temperature variations. In this work, we demonstrate the abilities of active dynamic thermal imaging for analysis of tissue perfusion state in case of cerebral ischemia. For this purpose, a NaCl irrigation is applied to the exposed cortex during hemicraniectomy. The cortical temperature changes are measured by a thermal imaging system and the thermal signal is recognized by a novel machine learning framework. Subsequent tissue heating is then approximated by a double exponential function to estimate tissue temperature decay constants. These constants allow us to characterize tissue with respect to its dynamic thermal properties. Using a Gaussian mixture model we show the correlation of these estimated parameters with infarct demarcations of post-operative CT. This novel scheme yields a standardized representation of cortical thermodynamic properties and might guide further research regarding specific intraoperative diagnostics.

Object pose estimation is an important problem in computer vision with applications in robotics, augmented reality and many other areas. An established strategy for object pose estimation consists of, firstly, finding correspondences between the image and the object’s reference frame, and, secondly, estimating the pose from outlier-free correspondences using Random Sample Consensus (RANSAC). The first step, namely finding correspondences, is difficult because object appearance varies depending on perspective, lighting and many other factors. Traditionally, correspondences have been established using handcrafted methods like sparse feature pipelines. In this thesis, we introduce a dense correspondence representation for objects, called object coordinates, which can be learned. By learning object coordinates, our pose estimation pipeline adapts to various aspects of the task at hand. It works well for diverse object types, from small objects to entire rooms, varying object attributes, like textured or texture-less objects, and different input modalities, like RGB-D or RGB images. The concept of object coordinates allows us to easily model and exploit uncertainty as part of the pipeline such that even repeating structures or areas with little texture can contribute to a good solution. Although we can train object coordinate predictors independent of the full pipeline and achieve good results, training the pipeline in an end-to-end fashion is desirable. It enables the object coordinate predictor to adapt its output to the specificities of following steps in the pose estimation pipeline. Unfortunately, the RANSAC component of the pipeline is non-differentiable which prohibits end-to-end training. Adopting techniques from reinforcement learning, we introduce Differentiable Sample Consensus (DSAC), a formulation of RANSAC which allows us to train the pose estimation pipeline in an end-to-end fashion by minimizing the expectation of the final pose error.

Anhand eines Realdatensatzes zum Immobilienmarkt in Deutschland werden Methoden des maschinellen Lernens zur Vorhersage von Immobilienpreisen demonstriert.

Anhand Realdaten zum Immobilienmarkt in Deutschland werden Methoden zur Datenanreicherung vor dem Hintergrund des maschinellen Lernes demonstriert. Die Immobilienmarktdaten werden durch regionale Daten des statistischen Bundesamtes zu Baulandpreisen und Einkommen ergänzt.

An der Verarbeitung natürlicher Sprache durch computerbasierte Systeme wurde immer aktiv entwickelt und geforscht, um Aufgaben in den am weitesten verbreiteten Sprachen zu lösen. In dieser Arbeit werden verschiedene Ansätze zur Lösung von Problemen in diesem Bereich mittels künstlicher neuronaler Netze beschrieben. Dabei konzentriert sich diese Arbeit hauptsächlich auf modernere Architekturen wie Transformatoren oder BERT. Ziel dabei ist es, diese besser zu verstehen und herauszufinden, welche Vorteile sie gegenüber herkömmlichen künstlichen neuronalen Netzwerken haben. Anschließend wird dieses erlangte Wissen an einer Aufgabe aus dem Bereich der Verarbeitung natürlicher Sprache getestet, in welcher mittels einer sogenannten Named Entity Recognition (NER) spezielle Informationen aus Texten extrahiert werden.:1 Einleitung 1.1 Verarbeitung natürlicher Sprache (NLP) 1.2 Neuronale Netze 1.2.1 Biologischer Hintergrund 1.3 Aufbau der Arbeit 2 Grundlagen 2.1 Künstliche neuronale Netze 2.1.1 Arten des Lernens 2.1.2 Aktivierungsfunktionen 2.1.3 Verlustfunktionen 2.1.4 Optimierer 2.1.5 Über- und Unteranpassung 2.1.6 Explodierender und verschwindender Gradient 2.1.7 Optimierungsverfahren 3 Netzwerkarchitekturen zur Verarbeitung natürlicher Sprache 3.1 Rekurrente neuronale Netze (RNN) 3.1.1 Langes Kurzzeitgedächtnis (LSTM) 3.2 Autoencoder 3.3 Transformator 3.3.1 Worteinbettungen 3.3.2 Positionscodierung 3.3.3 Encoderblock 3.3.4 Decoderblock 3.3.5 Grenzen Transformatorarchitektur 3.4 Bidirektionale Encoder-Darstellungen von Transformatoren (BERT) 3.4.1 Vortraining 3.4.2 Feinabstimmung 4 Praktischer Teil und Ergebnisse 4.1 Aufgabe 4.2 Verwendete Bibliotheken, Programmiersprachen und Software 4.2.1 Python 4.2.2 NumPy 4.2.3 pandas 4.2.4 scikit-learn 4.2.5 Tensorflow 4.2.6 Keras 4.2.7 ktrain 4.2.8 Data Version Control (dvc) 4.2.9 FastAPI 4.2.10 Docker 4.2.11 Amazon Web Services 4.3 Daten 4.4 Netzwerkarchitektur 4.5 Training 4.6 Auswertung 4.7 Implementierung 5 Schlussbemerkungen 5.1 Zusammenfassung und Ausblick

Diese Arbeit behandelt maschinelles Lernen und führt dabei von theoretischen Überlegungen zu Implementierungen, sowie deren Vergleich mit typischen Verfahren aus der Praxis. Nach einer kurzen Einführung in das Thema maschinelles Lernen wird der Hauptaugenmerk auf die binäre Klassifikation gelenkt. Dabei werden aufbauend auf der Wahrscheinlichkeitstheorie wichtige Begriffe wie Regressionsfunktion, Klassifikator, Bayes’scher Klassifikator, Risiko und zusätzliches Risiko eingeführt und auf deren Wechselwirkungen eingegangen. Das Ziel ist dann bei unbekannter Verteilung, anhand eines durch diese Verteilung entstanden Beobachtungsdatensatzes, einen Klassifikator zu finden, der das zusätzliche Risiko minimiert. Da die Verteilung unbekannt ist, kann man das zusätzliche Risiko nicht direkt berechnen und versucht es durch Aufspaltung in Schätz- und Näherungsfehler nach oben abzuschätzen. Das führt zur VC Dimension und einem Objekt, welches als Modulus bezeichnet wird. Unter gewissen Zusatzannahmen an die Verteilung, wie Randbedingungen und Zugehörigkeit zu einer Approximationsklasse, lässt sich dann die Abschätzung der Fehler bewerkstelligen. Jedoch sind die Parameter in diesen Bedingungen nicht bekannt und es stellt sich die Frage, wie man trotzdem eine möglichst günstige Abschätzung erhält. Das führt zu einer speziellen Modellwahl, die für den ausgewählten Klassifikator eine ebenso gute Schranke liefert, wie wenn man die Wahl unter Kenntnis der unbekannten Parameter treffen würde. Dieses Wissen wird dann auf dyadische Bäume und deren Partitionierungen angewendet. Darauf aufbauend wird ein Baumalgorithmus implementiert, der diese Modellauswahl benutzt und zusätzlich ein Vergleichsalgorithmus der ebenfalls dyadische Bäume gebraucht. Anschließend folgt eine Einführung in typische praxisrelevante Methoden zur Klassifizierung und der Vergleich mit den implementierten Verfahren mittels der Programmiersprache und Softwareumgebung für statistische Berechnungen R. Dabei liefern meist mehrere der gewöhnlicherweise verwendeten Verfahren sehr gute Ergebnisse. Außerdem zeigt sich, dass die dyadischen Bäume für niedrigdimensionale Probleme gute Ergebnisse erzielen und für hochdimensionale Problemstellungen sehr rechenintensiv und damit zeitintensiv werden. Insgesamt liefert die Diplomarbeit damit einen praxisnahen und theoretisch fundierten Einstieg in das Thema des maschinellen Lernens mit anwendungsorientierten Beispielen in der Programmiersprache R.

Der vorliegende Band der Informatikberichte ist dem wissenschaftlichen Lebenswerk von Prof. Werner Dilger gewidmet. Seit Oktober 1993 hat er an der Fakultät für Informatik der TU Chemnitz hervorragende Arbeit in Forschung und Lehre geleistet. Dank der Mitarbeit zahlreicher Autoren beleuchtet der vorliegende Band eine große Vielfalt unterschiedlicher Aspekte der Künstlichen Intelligenz.

Empirische Wissenschaften wie Biologie oder Psychologie konstituieren sich in ihrem Kern aus einer Menge vorläufiger Vermutungen über ihren Untersuchungsgegenstand. Ihre Konzepte und Gesetzmäßigkeiten stellen Verallgemeinerungen zurückliegender Beobachtungen dar, die als gültig angenommen werden, solange es niemandem gelingt, diese zu widerlegen. In den empirischen Naturwissenschaften bilden Messintrumente wie die Impedanzspektroskopie, deren Ergebnisse unter anderem in Materialwissenschaften oder in der Biomedizin genutzt werden, die Grundlage zur Erstellung von Hypothesen. Eine wissenschaftliche Analyse erfordert jedoch nicht nur das Suchen nach Gesetzmäßigkeiten, sondern ebenso ein Suchen nach Widersprüchen und Alternativen. Hypothesen nicht nur aufzustellen, sondern auch zu hinterfragen, gilt dabei als genuin menschliche Fähigkeit. Zwar werden zur Hypothesenbildung aus empirischen Daten häufig maschinelle Lernverfahren genutzt, doch die Bewertung solcher Hypothesen bleibt bislang ebenso dem Menschen vorbehalten wie das Suchen nach Widersprüchen und Alternativen. Um diese menschliche Fähigkeit nachzubilden, schlägt die vorliegende Arbeit eine Strategie maschinellen Lernens vor, die sowohl am Leitbild eines kritischen Rationalismus als auch an Prinzipien konstruktivistischer Lerntheorien ausgerichtet ist. Im Gegensatz zu etablierten maschinellen Lernverfahren sehen konstruktivistische Lerntheorien nicht nur ein unüberwachtes oder überwachtes Lernen vor, sondern auch ein Lernen mittels Zweifel. Um einen solchen Lernprozess operationalisieren und automatisieren zu können, werden maschinell erlernte Zusammenhänge hier als Modelle im Sinne der Allgemeinen Modelltheorie nach Herbert Stachowiak interpretiert. Die damit verbundene Definition pragmatischer Eigenschaften als Metadaten erlaubt nicht nur die Selektion zu erlernender Daten aus einem gegebenen Datensatz, sondern auch das Erzeugen und Identifizieren von Beziehungen zwischen Modellen. Dadurch wird es möglich, konkurrierende Modelle für einen gegebenen Datensatz zu unterscheiden und deren Kohärenz zu überprüfen. Insbesondere können so Mehrdeutigkeiten mittels Modell-Metadaten erkannt werden. Chancen und Risiken eines solchen Ansatzes werden hier anhand automatisierter Analysen impedanzspektroskopischer Messungen aufgezeigt, wie sie in physiologischen Untersuchungen an Epithelien erhoben werden. Da in empirischen Messungen naturgemäß nur Näherungswerte für die Ziel-Messgröße bestimmt werden können, wird das Verhalten von Epithelien hier detailliert modelliert und daraus synthetisierte Impedanzspektren als Grundlage von Analysen mittels konstruktivistischen maschinellen Lernens verwendet. Diese Analysen erfolgen in einem ersten Schritt in Form eines selbstständigen Explorierens eines Teils der Impedanzspektren, welches in einer hierarchisch geordneten Menge von Modellen resultiert. Anschließend werden diese Modelle zur Adaption konkreter Anwendungen genutzt. Als Beispiel für eine Klassifikationsanwendung werden Modelle adaptiert, die eine verlässliche Źuordnung eines Impedanzspektrums zu der zugrundeliegenden Zelllinie erlauben. Als Beispiel für eine Regressionsanwendung werden Modelle adaptiert, die eine Quantifizierung der epithelialen Kapazität erlauben. In beiden Anwendungen identifiziert das konstruktivistische maschinelle Lernen selbstständig die Grenzen der Gültigkeit der von ihm aufgestellten Hypothesen und liefert dadurch eine differenzierte und für Menschen nachvollziehbare Interpretation der analysierten Daten.