Univ., Diss.--Augsburg, 2004.

Mittels künstlichen neuronalen Netzen wurden die in den rekultivierten Tagebaukippen im Nordraum Lausitz (Tagebaue Schlabendorf und Seese) auftretenden Geländedeformationen infolge Bodenverflüssigung für die Jahre 2009 - 2013 als Zeitreihe modelliert. Das Modell ist in der Lage, grob die zeitliche Entwicklung und exakt die räumliche Lage des in den Kippen auftretenden Gefährdungspotenzials nachzuvollziehen und als Funktion des sich ändernden Grundwasserspiegels und der sich ändernden Oberflächenmorphologie in die Zukunft zu prognostizieren. Das Modell zeigt dynamisch das Entstehen neuer Risikoflächen in bisher scheinbar stabilen Bereichen des Untersuchungsgebietes. Die Korrektheit des Modells wurde mittels verschiedener Tests geprüft sowie anhand einer Prognoserechnung für das Jahr 2014 und des Vergleichs mit den real in 2014/2015 gegangenen Ereignissen nachgewiesen. Folgende Gefährdungsfaktoren wurden ermittelt: Destabilisierend wirken eine möglichst einförmige Lithologie folgender Zusammenset-zung: 31 % Feinsand, 34 % Mittelsand, 31 % Grobsand, 3 % Schluff, < 1 % Kies, < 1 % Kalk, < 1 % Ton, < 1 % Kohle, kf-Werte zwischen 10-4 und 10-4,5 m/s, ein Grundwasserflurabstand bei 3,45 m (Medianwert), möglichst hohe Gradienten der nicht lithologisch kontrollierten Parameter: Tagebauoberfläche, Grundwasseroberfläche, Grundwasserflurabstand und Mächtigkeit der gesättigten Kippe. Stabilisierend wirken vor allem eine möglichst große Heterogenität der Lithologie auf kleinem Raum (möglichst hohe Gradienten der lithologisch kontrollierten Parameter (z.B. Kiesgehalt, Sandgehalt, Tongehalt, Kohlegehalt)), ein möglichst geringer Sandanteil, möglichst hohe Anteile an Kies, Schluff, Ton, Kalk, bzw. Kohle, ein möglichst großer Grundwasserflurabstand sowie möglichst geringe Gradienten der nicht lithologisch kontrollierten Parameter: Tagebauoberfläche, Grundwasseroberfläche, Grundwasserflurabstand, Mächtigkeit der gesättigten Kippe sowie wechselnde kf-Werte 10-7 bzw. >10-2 m/s. Für die Bearbeitung wurden ausschließlich die bei der LMBV vorhandenen bzw. laufend flächendeckend erhobenen Daten genutzt: Lage des Grundwasserspiegels, Relief der Tagebauoberfläche, Liegendes der Kippe, geologische Daten der Vorfeldbohrungen. Das Modell kann als dynamisches Instrument zum Risikomanagement vor bzw. während der Sanierungsmaßnahmen genutzt werden. Mittels der Variation der prozesskontrollie-renden Parameter können die geotechnischen Auswirkungen verschiedener Sanierungsszenarien (z.B. Gestaltung der Tagebauoberfläche, Schüttung der Kippen, Grundwasseranstieg) auf die Stabilität der Kippen prognostiziert werden. / Geotechnical events (terrain deformation due to soil liquefaction) in lignite mining waste rock piles of the northern Lausitz area (opencast pits Schlabendorf and Seese), have been modeled as time series for the years 2009 – 2013 by using artificial neural networks. The model has clearly recognized the influences of various lithological and non-lithological controlled parameters on the occurrence of geotechnical events, and these have been quantified and weighted in terms of their importance. The model is able to predict the tem-poral evolution and the exact spatial location of the events occurring in the dumps as a function of changing groundwater levels and surface morphology. The model shows dynamically the emergence of new risk areas in hitherto seemingly stable areas. The correctness of the model was confirmed by means of various tests and its predictive success was demonstrated through forecasting of events for the years 2014 and 2015 and their comparison with the observed events of those years. The following main risk factors were identified: Important destabilizing factors are a monotonous lithology with the following composition: 31% fine sand, 34% medium sand, 31% coarse sand, 3% silt, <1% gravel, <1% lime, <1% clay, <1% coal, kf-values between 10-4 and 10-4.5 m/s, a surface to groundwater distance of 3.45 meters (median value), high gradients of non-lithological controlled parameters: waste dump surface, groundwater level, depth to groundwater and thickness of saturated dump. 2. Important stabilizing factors are a high heterogeneity of lithology (high gradients of the lithological controlled parameters: e.g. gravel content, sand content, clay content, carbon content), a low proportion of sand in the dump composition, high proportions of gravel, silt, clay, lime, or coal, a high depth to groundwater, low gradients of non-lithological controlled parameters: open pit surface, groundwater surface, depth to groundwater, thickness of saturated dump, strongly changing kf values between 10-7 and 10-2 m/s. The model can be used as a dynamic tool for risk management before and during the re-habilitation of lignite waste dumps, and for constructing stable waste dumps. By means of varying the model parameters (e.g. design of the dump surface, composition of dumped rocks, rising groundwater) the geotechnical effects of dump design and remediation scenarios can be predicted.

Das Training künstlicher neuronaler Netze mittels Gradientenverfahren wird detailliert mit allen Her- und Ableitungen beschrieben, implementiert und demonstriert.

Der Einsatz faltender künstlicher neuronaler Netze wird anhand einer Bildklassifikationsaufgabe demonstriert. Die vom neuronalen Netz erlernten Strukturen werden detailliert untersucht und visualisiert.

An der Verarbeitung natürlicher Sprache durch computerbasierte Systeme wurde immer aktiv entwickelt und geforscht, um Aufgaben in den am weitesten verbreiteten Sprachen zu lösen. In dieser Arbeit werden verschiedene Ansätze zur Lösung von Problemen in diesem Bereich mittels künstlicher neuronaler Netze beschrieben. Dabei konzentriert sich diese Arbeit hauptsächlich auf modernere Architekturen wie Transformatoren oder BERT. Ziel dabei ist es, diese besser zu verstehen und herauszufinden, welche Vorteile sie gegenüber herkömmlichen künstlichen neuronalen Netzwerken haben. Anschließend wird dieses erlangte Wissen an einer Aufgabe aus dem Bereich der Verarbeitung natürlicher Sprache getestet, in welcher mittels einer sogenannten Named Entity Recognition (NER) spezielle Informationen aus Texten extrahiert werden.:1 Einleitung 1.1 Verarbeitung natürlicher Sprache (NLP) 1.2 Neuronale Netze 1.2.1 Biologischer Hintergrund 1.3 Aufbau der Arbeit 2 Grundlagen 2.1 Künstliche neuronale Netze 2.1.1 Arten des Lernens 2.1.2 Aktivierungsfunktionen 2.1.3 Verlustfunktionen 2.1.4 Optimierer 2.1.5 Über- und Unteranpassung 2.1.6 Explodierender und verschwindender Gradient 2.1.7 Optimierungsverfahren 3 Netzwerkarchitekturen zur Verarbeitung natürlicher Sprache 3.1 Rekurrente neuronale Netze (RNN) 3.1.1 Langes Kurzzeitgedächtnis (LSTM) 3.2 Autoencoder 3.3 Transformator 3.3.1 Worteinbettungen 3.3.2 Positionscodierung 3.3.3 Encoderblock 3.3.4 Decoderblock 3.3.5 Grenzen Transformatorarchitektur 3.4 Bidirektionale Encoder-Darstellungen von Transformatoren (BERT) 3.4.1 Vortraining 3.4.2 Feinabstimmung 4 Praktischer Teil und Ergebnisse 4.1 Aufgabe 4.2 Verwendete Bibliotheken, Programmiersprachen und Software 4.2.1 Python 4.2.2 NumPy 4.2.3 pandas 4.2.4 scikit-learn 4.2.5 Tensorflow 4.2.6 Keras 4.2.7 ktrain 4.2.8 Data Version Control (dvc) 4.2.9 FastAPI 4.2.10 Docker 4.2.11 Amazon Web Services 4.3 Daten 4.4 Netzwerkarchitektur 4.5 Training 4.6 Auswertung 4.7 Implementierung 5 Schlussbemerkungen 5.1 Zusammenfassung und Ausblick

Rotorschleuderbrecher werden zur Herstellung von Natursteinprodukten eingesetzt. Dabei beeinflussen die konstruktiven, betrieblichen und aufgabebezogenen Größen die Produktqualität entscheidend. Die komplexen Zusammenhänge zwischen den am Zerkleinerungsprozess beteiligten Haupteinflussgrößen und den anwenderspezifischen Qualitätsanforderungen wurden mit Hilfe analytischer und mathematisch-statistischer Methoden untersucht. Die Analyse der physikalischen Abläufe im Brecher ermöglichte ein tieferes Verständnis der Funktionsweise der Maschine. Unterstützt durch experimentelle Untersuchungen an einem Rotorschleuderbrecher wurden die Abhängigkeiten zwischen Einfluss- und Zielgrößen mit Hilfe der Methode der neuronalen Netze modelliert. Die Simulationsmodelle ermöglichen die Vorhersage der Produktqualität, die Optimierung der Parametereinstellung, die Beschreibung des Wirkungszusammenhanges und die Identifizierung der dominanten Parameter von Rotorschleuderbrechern.

Empirische Wissenschaften wie Biologie oder Psychologie konstituieren sich in ihrem Kern aus einer Menge vorläufiger Vermutungen über ihren Untersuchungsgegenstand. Ihre Konzepte und Gesetzmäßigkeiten stellen Verallgemeinerungen zurückliegender Beobachtungen dar, die als gültig angenommen werden, solange es niemandem gelingt, diese zu widerlegen. In den empirischen Naturwissenschaften bilden Messintrumente wie die Impedanzspektroskopie, deren Ergebnisse unter anderem in Materialwissenschaften oder in der Biomedizin genutzt werden, die Grundlage zur Erstellung von Hypothesen. Eine wissenschaftliche Analyse erfordert jedoch nicht nur das Suchen nach Gesetzmäßigkeiten, sondern ebenso ein Suchen nach Widersprüchen und Alternativen. Hypothesen nicht nur aufzustellen, sondern auch zu hinterfragen, gilt dabei als genuin menschliche Fähigkeit. Zwar werden zur Hypothesenbildung aus empirischen Daten häufig maschinelle Lernverfahren genutzt, doch die Bewertung solcher Hypothesen bleibt bislang ebenso dem Menschen vorbehalten wie das Suchen nach Widersprüchen und Alternativen. Um diese menschliche Fähigkeit nachzubilden, schlägt die vorliegende Arbeit eine Strategie maschinellen Lernens vor, die sowohl am Leitbild eines kritischen Rationalismus als auch an Prinzipien konstruktivistischer Lerntheorien ausgerichtet ist. Im Gegensatz zu etablierten maschinellen Lernverfahren sehen konstruktivistische Lerntheorien nicht nur ein unüberwachtes oder überwachtes Lernen vor, sondern auch ein Lernen mittels Zweifel. Um einen solchen Lernprozess operationalisieren und automatisieren zu können, werden maschinell erlernte Zusammenhänge hier als Modelle im Sinne der Allgemeinen Modelltheorie nach Herbert Stachowiak interpretiert. Die damit verbundene Definition pragmatischer Eigenschaften als Metadaten erlaubt nicht nur die Selektion zu erlernender Daten aus einem gegebenen Datensatz, sondern auch das Erzeugen und Identifizieren von Beziehungen zwischen Modellen. Dadurch wird es möglich, konkurrierende Modelle für einen gegebenen Datensatz zu unterscheiden und deren Kohärenz zu überprüfen. Insbesondere können so Mehrdeutigkeiten mittels Modell-Metadaten erkannt werden. Chancen und Risiken eines solchen Ansatzes werden hier anhand automatisierter Analysen impedanzspektroskopischer Messungen aufgezeigt, wie sie in physiologischen Untersuchungen an Epithelien erhoben werden. Da in empirischen Messungen naturgemäß nur Näherungswerte für die Ziel-Messgröße bestimmt werden können, wird das Verhalten von Epithelien hier detailliert modelliert und daraus synthetisierte Impedanzspektren als Grundlage von Analysen mittels konstruktivistischen maschinellen Lernens verwendet. Diese Analysen erfolgen in einem ersten Schritt in Form eines selbstständigen Explorierens eines Teils der Impedanzspektren, welches in einer hierarchisch geordneten Menge von Modellen resultiert. Anschließend werden diese Modelle zur Adaption konkreter Anwendungen genutzt. Als Beispiel für eine Klassifikationsanwendung werden Modelle adaptiert, die eine verlässliche Źuordnung eines Impedanzspektrums zu der zugrundeliegenden Zelllinie erlauben. Als Beispiel für eine Regressionsanwendung werden Modelle adaptiert, die eine Quantifizierung der epithelialen Kapazität erlauben. In beiden Anwendungen identifiziert das konstruktivistische maschinelle Lernen selbstständig die Grenzen der Gültigkeit der von ihm aufgestellten Hypothesen und liefert dadurch eine differenzierte und für Menschen nachvollziehbare Interpretation der analysierten Daten.

Die Erregungsausbreitung in neuronalen Systemen beruht auf materieller Grundlage, Transmittermoleküle werden präsynaptisch emittiert und postsynaptisch absorbiert. Emission und Absorption sind einander sich selbst verursachende Prozesse, sie sind voneinander ereignisabhängig und damit nur schwer zu unterscheiden. Diese Schwierigkeit wird prekär, wenn es darum geht, den Prozeß der Erregungsausbreitung technisch modellieren und simulieren zu wollen. Im Verlaufe der Simulation bilden sich Abhängigkeiten heraus, deren Ursachen nicht mehr vereinzelt werden können. Demzufolge ist es schwierig, das Verhalten des Simulationsmodells zu prognostizieren. Gleichermaßen schwierig ist es aber auch, das gezeigte Verhalten zweifelsfrei interpretieren zu wollen. Aus diesem Grunde macht es sich erforderlich, das Verhalten eines neuronalen Netzes auf analytischem Wege zu beschreiben. Erschwerend wirkt hierbei der Umstand, daß es innerhalb des Netzes voneinander ereignisabhängige Prozesse gibt, die sich selbst verursachen. Zur Beschreibung dessen gibt es zwei in Raum und Zeit variable Parameter: erstens die Vorzugsorientierung bei der Erregungsausbreitung, bezeichnet als 'Beweglichkeit', und zweitens die Durchlässigkeit des Netzes für den Erregungstransport, bezeichnet als 'Diffusionskoeffizient'. Diese beiden Parameter werden hergenommen, um eine vektoranalytische Beschreibungsgleichung abzuleiten, Unterschiede zu 'klassischen' neuronalen Netzen werden herausgestellt.

Die Modellierung natürlicher Neuronenpopulationen stellt den Versuch dar, komplizierte Wechselwirkungen und Ereignisabhängigkeiten in biologischen Systemen quantitativ erfassen zu wollen. Widersprüchlich erscheint dabei die Tatsache, daß ein einzelnes Neuron in einer Population ohne Signifikanz ist, daß sich die gesamte Population aber aus einer Vielzahl derartiger Neuronen zusammensetzt und eine, technischen Systemen überlegene funktionelle Vielfalt besitzt /ZUR 92/, /HOL 93/. Ergo setzt sich die Gesamtleistung eines Systems nicht aus der Summe der Leistungen seiner Komponenten 'summarisch' zusammen, sondern resultiert vielmehr aus deren Wechselwirkungen. Technisch interessant erscheinen an dieser Stelle mindestens zwei Fragen: * Welcher Mechanismus begründet den genannten Widerspruch in Neuronenpopulationen? * Welche technische Anleihe bietet dieser Mechanismus? Die Modellierung einer Neuronenpopulation kann auf zweierlei Art und Weise erfolgen. Entweder durch die Aufklärung der Neuronenpopulation 'von innen heraus', d.h. durch Beobachtung und mathematische Formulierung physiologischer Abläufe oder durch vergleichende Betrachtungen mit 'konvergenten' Modellen, d.h. durch die Schaffung von Modellen mit vergleichbaren Phänomenen. Die nachfolgenden Ausführungen favorisieren die letztgenannte Vorgehensweise. Phänomene sind die ereignisabhängigen Schwellwertentwicklungen der Neuronen in Wechselwirkung mit den umgebenden Neuronen sowie die ereignisabhängigen Entwicklungen der synaptischen Verbindungsstärken zwischen den Neuronen, bezeichnet als 'Leitwertentwicklung'. Technische Anwendungen dieser Simulationsergebnisse werden erörtert, zum Beispiel die Nachbildung der Durchdringung diffusionsfähiger Medien mit Schadstoffen und die Objektvereinzelung.

Vorgestellt wird ein Ansatz zur mathematischen Beschreibung der Erregungsausbreitung in einer Neuronenpopulation. Beschrieben werden im Detail die Einzugsgebiete der Erregungsausbreitung und die Intensität von Wechselwirkungen innerhalb solcher Einzugsgebiete. Als schwierig erweist sich dabei die Trennung von Ursache und Reaktion. In einer natürlichen Neuronenpopulationen sind Transmittermoleküle, die Botenstoffe zwischen den Neuronen, sowohl Erregung als auch Reaktion. Sie verursachen, angelagert auf der Membranoberfläche eines Neurons, dessen Erregung in Form einer Depolarisation; sie sind gleichermaßen aber auch Reaktion eines Neurons auf eine stattgefundene Erregung, wenn sie aus den Vesikeln des synaptischen Endknopfes in den synaptischen Spalt ausgeschüttet werden. Zur Überwindung dieser Dualität wird der Begriff Wirkstoff definiert. Ein Wirkstoff bewirkt etwas, er besitzt unter diesem Gesichtspunkt ein bestimmtes Potential. Die Ausbreitung von Wirkstoffen, nämlich die Wirkungsübertragung, ereignet sich extrazellulär in Raum und Zeit. Im Detail wird dargelegt, wie aus dem punktuellen Ausbreitungsverhaltens einer Erregung über das unvollständig globale Ausbreitungsverhalten auf das vollständig globale Ausbreitungsverhalten einer Erregung in einer Neuronenpopulation geschlußfolgert werden kann. Das Ziel besteht darin, einen Ansatz zur analytischen Beschreibung der Erregungsausbreitung in natürlichen Neuronenpopulationen vorzubereiten und in seiner Sinnfälligkeit zu plausibilisieren. Sinnfällig erscheinen solche Betrachtungen im Hinblick auf den Entwurf STOCHASTISCH MASSIV PARALLELER SYSTEME. Darunter werden technische Systeme verstanden, die sowohl in ihrem technischen Konzept als auch in ihrer Wirkungsweise Korrespondenzen zu natürlichen Neuronenpopulationen aufweisen. Ausgehend von der Struktur und dem Erregungsmechanismus eines Neurons soll in der Perspektive ein analytisches Entwurfswerkzeug für STOCHASTISCH MASSIV PARALLELE SYSTEME entwickelt werden.