An der Verarbeitung natürlicher Sprache durch computerbasierte Systeme wurde immer aktiv entwickelt und geforscht, um Aufgaben in den am weitesten verbreiteten Sprachen zu lösen. In dieser Arbeit werden verschiedene Ansätze zur Lösung von Problemen in diesem Bereich mittels künstlicher neuronaler Netze beschrieben. Dabei konzentriert sich diese Arbeit hauptsächlich auf modernere Architekturen wie Transformatoren oder BERT. Ziel dabei ist es, diese besser zu verstehen und herauszufinden, welche Vorteile sie gegenüber herkömmlichen künstlichen neuronalen Netzwerken haben. Anschließend wird dieses erlangte Wissen an einer Aufgabe aus dem Bereich der Verarbeitung natürlicher Sprache getestet, in welcher mittels einer sogenannten Named Entity Recognition (NER) spezielle Informationen aus Texten extrahiert werden.:1 Einleitung 1.1 Verarbeitung natürlicher Sprache (NLP) 1.2 Neuronale Netze 1.2.1 Biologischer Hintergrund 1.3 Aufbau der Arbeit 2 Grundlagen 2.1 Künstliche neuronale Netze 2.1.1 Arten des Lernens 2.1.2 Aktivierungsfunktionen 2.1.3 Verlustfunktionen 2.1.4 Optimierer 2.1.5 Über- und Unteranpassung 2.1.6 Explodierender und verschwindender Gradient 2.1.7 Optimierungsverfahren 3 Netzwerkarchitekturen zur Verarbeitung natürlicher Sprache 3.1 Rekurrente neuronale Netze (RNN) 3.1.1 Langes Kurzzeitgedächtnis (LSTM) 3.2 Autoencoder 3.3 Transformator 3.3.1 Worteinbettungen 3.3.2 Positionscodierung 3.3.3 Encoderblock 3.3.4 Decoderblock 3.3.5 Grenzen Transformatorarchitektur 3.4 Bidirektionale Encoder-Darstellungen von Transformatoren (BERT) 3.4.1 Vortraining 3.4.2 Feinabstimmung 4 Praktischer Teil und Ergebnisse 4.1 Aufgabe 4.2 Verwendete Bibliotheken, Programmiersprachen und Software 4.2.1 Python 4.2.2 NumPy 4.2.3 pandas 4.2.4 scikit-learn 4.2.5 Tensorflow 4.2.6 Keras 4.2.7 ktrain 4.2.8 Data Version Control (dvc) 4.2.9 FastAPI 4.2.10 Docker 4.2.11 Amazon Web Services 4.3 Daten 4.4 Netzwerkarchitektur 4.5 Training 4.6 Auswertung 4.7 Implementierung 5 Schlussbemerkungen 5.1 Zusammenfassung und Ausblick

Videoaufnahmen aus den vergangenen Jahrzehnten stellen kulturelles Erbe dar. Diese sind jedoch nach heutigen Sehgewohnheiten nicht ohne große Einschränkungen für die Wiederausstrahlung geeignet. Das liegt zum einen an längst vergangenen Standards der Videoaufzeichnung, aber zum anderen auch in großem Maße an unkontrolliert gealterten Speichermedien durch inadäquate Aufbewahrung. Oftmals war es lokalen Fernsehsendern technisch nicht möglich ihre Archivbestände unter optimalen klimatischen Bedingungen langlebig zu lagern. Videoarchivdaten nach der Digitalisierung für die Einbindung in heutige Produktionen manuell zu durchsuchen und entsprechend aufzubereiten, ist ein zeitaufwändiger Prozess, den lokale TV-Sender nicht bewältigen können. In unserem Beitrag möchten wir neuartige Methoden der automatisierten Aufbereitung von archivierten VHS-Digitalisaten für die Wiederausstrahlung vorstellen. Dazu zählen vor allem Verfahren zu den Schwerpunkten der Korrektur von Falschfarben (Recoloring) und zur Steigerung der Auflösung von ehemals PAL zu Full-HD und Ultra-HD (Super-Resolution). Zum Einsatz kommen dabei künstliche neuronale Netze, die anders als klassische Verfahren der Bildverarbeitung, semantische Bildkomponenten erfassen und bei der Bearbeitung berücksichtigen können. Mitunter können so deutliche Qualitätsverbesserungen erzielt werden. In unserem Beitrag möchten wir auf Chancen und aktuelle Beschränkungen dieser Technologien eingehen und anhand von digitalisierten Videoarchivdaten deren Funktionsweise demonstrieren.

This paper inspired by simulation by Artificial Neural Networks (ANNs) applied recently for evaluation of phonics methodology to teach children "how to read". A novel approach for teaching a mathematical topic using a computer aided learning (CAL) package applied at educational field (a children classroom). Interesting practical results obtained after field application of suggested CAL package with and without associated teacher's voice. Presented study highly recommends application of a novel teaching trend based on behaviorism and individuals' learning styles. That is to improve quality of children mathematical learning performance.

Bäume sind eine wichtige Ressource für die Stadt- und Raumplanung. Um diese – beispielsweise zu Klimaschutzmaßnahmen – optimal nutzen zu können, werden entsprechende Informationen darüber benötigt. Die Erhebung von Baumstandorten, -höhen, Kronendurchmessern etc. vor Ort ist aufwändig und damit zeit- und kostenintensiv. Gleichzeitig steht eine große Menge an Fernerkundungsdaten, wie beispielsweise digitale Orthophotos oder Geländemodelle, in denen Bäume erfasst sind, zur Verfügung. Die Entwicklung geeigneter Methoden, um diese Daten (automatisiert) auszuwerten, ist von entscheidender Bedeutung, wobei im Zusammenhang mit der Verarbeitung und Analyse großer Datenmengen derzeit verschiedene Methoden des maschinellen Lernens, insbesondere künstliche Neuronale Netze (kNN), Gegenstand intensiver Forschung sind.

Aus den Mängeln bisher verwendeter Modelle zur Abbildung des Wellenablaufes zu Prognosezwecken im Hochwasserfall wird in dieser Arbeit eine Methodik entwickelt, die die Schnelligkeit und Robustheit künstlicher neuronaler Netze mit der Zuverlässigkeit hydrodynamisch-numerischer Modellierung verbindet. Ein eindimensionales hydrodynamisches Modell beinhaltet die genaue Kenntnis der Geometrie des Flußlaufes und der Vorländer und berücksichtigt die physikalischen Prozesse des Wellenablaufes. Mit diesem deterministischen Modell ist eine Grundlage für umfangreiche Szenarienrechnungen zur Erstellung einer Datenbasis geschaffen, die die weite Spanne theoretisch möglicher Hochwasserereignisse abdeckt. Mit dieser Datenbasis können dann künstliche neuronale Netze trainiert werden, die auch im Bereich extremer Hochwasserereignisse zuverlässige Prognosen liefern. In dieser Arbeit werden mit Multilayer-Feedforward-Netzen und selbstorganisierenden Merkmalskarten zwei Netztypen als Vertreter überwacht und unüberwacht lernender neuronaler Netze auf ihre diesbezügliche Eignung untersucht und beurteilt. Desweiteren wurde die Methodik auf die Einbeziehung von Merkmalen für die Niederschlags-Abfluß-Prozesse im unbeobachteten Zwischengebiet zur Berücksichtigung lateraler Zuflüsse entlang der modellierten Fließstrecken erweitert. Die Datenbasis wurde hierfür mit einem Niederschlags-Abfluß-Modell erstellt. Ein Hauptschwerpunkt liegt in der Überführung der Eingangsdaten in charakteristische Merkmale zur Abbildung der Zielgrößen, in diesem Falle des Durchflusses und Wasserstandes am Zielpegel. So dienen die deterministischen Modelle nicht nur zur Erstellung einer verläßlichen Datenbasis für das Training der Netze, sondern ermöglichen – sowohl für die Niederschlags-Abfluß-Prozesse, als auch für die hydrodynamischen Prozesse – Analysen betreffs der Sensitivität der Modellergebnisse infolge von Änderungen der Inputdaten. Mit Hilfe dieser Analysen werden wichtige Informationen zur Findung der relevanten Merkmale erlangt. Ein Schlüssel für die erfolgreiche Eingliederung der Niederschlags-Abfluß-Prozesse in das Prognosenetz ist die Einführung eines einzigen Zustandsmerkmals, welches die gesamte meteorologische Vorgeschichte des Ereignisses zur Charakterisierung des Gebietszustandes vereinigt. Die entwickelte Methodik wurde anhand des Einzugsgebietes der Freiberger Mulde erfolgreich getestet.

Die Kartographie ist eine Wissenschaft, die in ihrem Charakter starke interdisziplinäre Züge aufweist. Sie zeigt sich in den verschiedensten Facetten und wird darum in den unterschiedlichsten Wissenschaften angewandt. Markantester Charakter ist, schon per Definition, die Modellierung von geowissenschaftlichen Ereignissen und Sachverhalten. „A unique facility for the creation and manipulation of visual or virtual representations of geospace – maps – to permit the exploration, analysis, understanding and communication of information about that space.“(ICA 2003) Aus dieser Definition wird die Charakteristik einer Kommunikationswissenschaft (Brassel) deutlich. Gerade seit dem Paradigmenwechsel der 1970er Jahre fließen zahlreiche weitere Aspekte wie Informatik, Semiotik und Psychologie in das Verständnis von Kartographie ein. Dadurch wird die Karte nicht mehr als reines graphisches Mittel verstanden, sondern als Träger und Übermittler von Informationen verstanden. Der Kartennutzer und dessen Verständnis von Karten rücken dabei immer weiter in den Vordergrund und werden „Ziel“ der kartographischen Verarbeitung. Aus diesem Verständnis heraus, möchte ich in der folgenden Arbeit einen relativ neuen Einfluss und Aspekt der Kartographie vorstellen. Es handelt sich um das Modell der Self-Organizing Maps (SOM), welches erstmalig Anfang der 1980er Jahre von Teuvo Kohonen vorgestellt wurde und deshalb auch, von einigen Autoren, als Kohonenmaps bezeichnet wird. Dem Typus nach, handelt es sich dabei um künstliche neuronale Netze, welche dem Nervensystem des menschlichen Gehirns nachempfunden sind und damit allgemein als eine Art selbständiger, maschineller Lernvorgang angesehen werden können. Im Speziellen sind Self-Organizing Maps ein unüberwachtes Lernverfahren, das in der Lage ist völlig unbekannte Eingabewerte zu erkennen und zu verarbeiten. Durch diese Eigenschaft eignen sie sich als optimales Werkzeug für Data Mining sowie zur Visualisierung von hochdimensionalen Daten. Eine Vielzahl von Wissenschaftlern hat diesen Vorteil bereits erkannt und das Modell in ihre Arbeit einbezogen oder auf dessen Verwendbarkeit analysiert. Deshalb möchte in dieser Arbeit, einige dieser Verwendungsmöglichkeiten und den daraus resultierenden Vorteil für die Kartographie aufzeigen.

The optimization of the spinning process and adjustment of the machine settings involve “Trial and Error” method resulting in the wasting of production time and material. This situation becomes worse in the spinning mills where the speed and material changes are frequent. This research includes the use of artificial neural networks to provide the thinking ability to the spinning machines to improve the yarn spinning process. Draw frame, being the central part of the spinning preparation chain and last machine to rectify the variations in the fed slivers is the main focus of the research work. Artificial neural network have been applied to the leveling action point at auto-leveler draw frame and search range of leveling action point has been considerably reduced. Moreover, the sliver and yarn characteristics have been predicted on the basis of draw frame settings using the artificial neural networks. The results of present research work can help the spinning industry in the direction of limiting of “Trial and Error” method, reduction of waste and cutting down the time losses associated with the optimizing of machines. As a vision for the future research work the concept of intelligent spinning machines has also been proposed. / Die Optimierung des Spinnprozesses und die Maschineneinstellung erfolgen häufig mittels „Trial und Error“-Methoden, die mit einem hohen Aufwand an Produktionszeit und Material einhergehen. Diese Situation ist für Spinnereien, in denen häufige Wechsel des eingesetzten Materials oder der Produktionsgeschwindigkeit nötig sind, besonders ungünstig. Die vorliegende Arbeit zeigt das Potenzial Neuronaler Netze, um die Spinnmaschine zum „Denken“ zu befähigen und damit die Garnherstellung effektiver zu machen. Die Strecke ist der zentrale Teil der Spinnereivorbereitungskette und bietet die letzte Möglichkeit, Inhomogenitäten im Faserband zu beseitigen. Der Fokus der Arbeit richtet sich deshalb auf diese Maschine. Künstlich Neuronale Netze werden an der Strecke zur Bestimmung des Regeleinsatzpunktes genutzt, womit eine beträchtliche Reduzierung des Aufwands für die korrekte Festlegung des Regeleinsatzpunkts erreicht wird. Darüber hinaus können mit Hilfe der Neuronalen Netze die Band- und Garneigenschaften auf Basis der Streckeneinstellungen vorausbestimmt werden. Die Resultate der vorliegenden Arbeit machen „Trial und Error“-Methoden überflüssig, reduzieren den Ausschuss und verringern die Zeitverluste bei der Maschinenoptimierung. Als Zukunftsvision wird eine Konzeption für intelligente Spinnmaschinen vorgestellt.

The optimization of the spinning process and adjustment of the machine settings involve “Trial and Error” method resulting in the wasting of production time and material. This situation becomes worse in the spinning mills where the speed and material changes are frequent. This research includes the use of artificial neural networks to provide the thinking ability to the spinning machines to improve the yarn spinning process. Draw frame, being the central part of the spinning preparation chain and last machine to rectify the variations in the fed slivers is the main focus of the research work. Artificial neural network have been applied to the leveling action point at auto-leveler draw frame and search range of leveling action point has been considerably reduced. Moreover, the sliver and yarn characteristics have been predicted on the basis of draw frame settings using the artificial neural networks. The results of present research work can help the spinning industry in the direction of limiting of “Trial and Error” method, reduction of waste and cutting down the time losses associated with the optimizing of machines. As a vision for the future research work the concept of intelligent spinning machines has also been proposed. / Die Optimierung des Spinnprozesses und die Maschineneinstellung erfolgen häufig mittels „Trial und Error“-Methoden, die mit einem hohen Aufwand an Produktionszeit und Material einhergehen. Diese Situation ist für Spinnereien, in denen häufige Wechsel des eingesetzten Materials oder der Produktionsgeschwindigkeit nötig sind, besonders ungünstig. Die vorliegende Arbeit zeigt das Potenzial Neuronaler Netze, um die Spinnmaschine zum „Denken“ zu befähigen und damit die Garnherstellung effektiver zu machen. Die Strecke ist der zentrale Teil der Spinnereivorbereitungskette und bietet die letzte Möglichkeit, Inhomogenitäten im Faserband zu beseitigen. Der Fokus der Arbeit richtet sich deshalb auf diese Maschine. Künstlich Neuronale Netze werden an der Strecke zur Bestimmung des Regeleinsatzpunktes genutzt, womit eine beträchtliche Reduzierung des Aufwands für die korrekte Festlegung des Regeleinsatzpunkts erreicht wird. Darüber hinaus können mit Hilfe der Neuronalen Netze die Band- und Garneigenschaften auf Basis der Streckeneinstellungen vorausbestimmt werden. Die Resultate der vorliegenden Arbeit machen „Trial und Error“-Methoden überflüssig, reduzieren den Ausschuss und verringern die Zeitverluste bei der Maschinenoptimierung. Als Zukunftsvision wird eine Konzeption für intelligente Spinnmaschinen vorgestellt.

Die Kartographie ist eine Wissenschaft, die in ihrem Charakter starke interdisziplinäre Züge aufweist. Sie zeigt sich in den verschiedensten Facetten und wird darum in den unterschiedlichsten Wissenschaften angewandt. Markantester Charakter ist, schon per Definition, die Modellierung von geowissenschaftlichen Ereignissen und Sachverhalten. „A unique facility for the creation and manipulation of visual or virtual representations of geospace – maps – to permit the exploration, analysis, understanding and communication of information about that space.“(ICA 2003) Aus dieser Definition wird die Charakteristik einer Kommunikationswissenschaft (Brassel) deutlich. Gerade seit dem Paradigmenwechsel der 1970er Jahre fließen zahlreiche weitere Aspekte wie Informatik, Semiotik und Psychologie in das Verständnis von Kartographie ein. Dadurch wird die Karte nicht mehr als reines graphisches Mittel verstanden, sondern als Träger und Übermittler von Informationen verstanden. Der Kartennutzer und dessen Verständnis von Karten rücken dabei immer weiter in den Vordergrund und werden „Ziel“ der kartographischen Verarbeitung. Aus diesem Verständnis heraus, möchte ich in der folgenden Arbeit einen relativ neuen Einfluss und Aspekt der Kartographie vorstellen. Es handelt sich um das Modell der Self-Organizing Maps (SOM), welches erstmalig Anfang der 1980er Jahre von Teuvo Kohonen vorgestellt wurde und deshalb auch, von einigen Autoren, als Kohonenmaps bezeichnet wird. Dem Typus nach, handelt es sich dabei um künstliche neuronale Netze, welche dem Nervensystem des menschlichen Gehirns nachempfunden sind und damit allgemein als eine Art selbständiger, maschineller Lernvorgang angesehen werden können. Im Speziellen sind Self-Organizing Maps ein unüberwachtes Lernverfahren, das in der Lage ist völlig unbekannte Eingabewerte zu erkennen und zu verarbeiten. Durch diese Eigenschaft eignen sie sich als optimales Werkzeug für Data Mining sowie zur Visualisierung von hochdimensionalen Daten. Eine Vielzahl von Wissenschaftlern hat diesen Vorteil bereits erkannt und das Modell in ihre Arbeit einbezogen oder auf dessen Verwendbarkeit analysiert. Deshalb möchte in dieser Arbeit, einige dieser Verwendungsmöglichkeiten und den daraus resultierenden Vorteil für die Kartographie aufzeigen.:1.) Einleitung ...........................................................................................2 2.) Aufbau und Funktionsweise von SOM ............................................ 5 2.1.) Was sind Self-Organizing Maps? ................................................5 2.2.) Funktionsweise ............................................................................7 2.3.) Visualisierung des trainierten Kohonen-Netz .......................... 11 2.4.) Software ..................................................................................... 12 3. Möglichkeiten für die Kartographie................................................ 14 3.1 Geowissenschaftliches Data Mining ........................................... 15 3.2 Visualisierung von Daten............................................................. 17 4. explorative Datenanalyse geographischer Daten .......................... 19 4.1 SOM als Geovisualisierung .......................................................... 19 4.1.1 U-Matrix-Darstellung .............................................................22 4.1.2 Projektionen (Netzdarstellungen) ........................................26 4.1.3 2D & 3D-Plots .........................................................................28 4.1.4 Komponentenebenen ...........................................................29 4.2 Geo-SOM & andere Möglichkeiten zur Verarbeitung von geowissenschaftlichen Daten ................................................... 32 4.2.1 Hierarchische SOMs ...............................................................33 4.2.2 Geo-enforced SOM ................................................................34 4.2.3 Geo-SOM ................................................................................35 4.3 SOM & GIS .................................................................................... 38 5. Datenverarbeitende Anwendungen ............................................... 40 5.1 Klassifizierung von Fernerkundungsdaten................................. 40 5.2 Kantendetektion in Satellitenbildern......................................... 43 5.3 Auswertung von Zeitreihen & Monitoring................................. 47 5.4 Klassifikation von SAR-Daten...................................................... 49 5.5 Generalisierung............................................................................ 50 5.6 Problem des Handlungsreisenden (Travelling Salesman Problem)..................................................................................... 52 6. SOM als Kartenmetapher zur Visualisierung nicht-geographischer Daten .............................................................................................. 54 7. Zusammenfassung............................................................................ 62 X. Quellenverzeichnis ........................................................................... 63 X.I Literaturnachweise ....................................................................... 63 X.II Lehrinhalte aus dem Internet ..................................................... 69 X.III Softwarelösungen ...................................................................... 69

Aus den Mängeln bisher verwendeter Modelle zur Abbildung des Wellenablaufes zu Prognosezwecken im Hochwasserfall wird in dieser Arbeit eine Methodik entwickelt, die die Schnelligkeit und Robustheit künstlicher neuronaler Netze mit der Zuverlässigkeit hydrodynamisch-numerischer Modellierung verbindet. Ein eindimensionales hydrodynamisches Modell beinhaltet die genaue Kenntnis der Geometrie des Flußlaufes und der Vorländer und berücksichtigt die physikalischen Prozesse des Wellenablaufes. Mit diesem deterministischen Modell ist eine Grundlage für umfangreiche Szenarienrechnungen zur Erstellung einer Datenbasis geschaffen, die die weite Spanne theoretisch möglicher Hochwasserereignisse abdeckt. Mit dieser Datenbasis können dann künstliche neuronale Netze trainiert werden, die auch im Bereich extremer Hochwasserereignisse zuverlässige Prognosen liefern. In dieser Arbeit werden mit Multilayer-Feedforward-Netzen und selbstorganisierenden Merkmalskarten zwei Netztypen als Vertreter überwacht und unüberwacht lernender neuronaler Netze auf ihre diesbezügliche Eignung untersucht und beurteilt. Desweiteren wurde die Methodik auf die Einbeziehung von Merkmalen für die Niederschlags-Abfluß-Prozesse im unbeobachteten Zwischengebiet zur Berücksichtigung lateraler Zuflüsse entlang der modellierten Fließstrecken erweitert. Die Datenbasis wurde hierfür mit einem Niederschlags-Abfluß-Modell erstellt. Ein Hauptschwerpunkt liegt in der Überführung der Eingangsdaten in charakteristische Merkmale zur Abbildung der Zielgrößen, in diesem Falle des Durchflusses und Wasserstandes am Zielpegel. So dienen die deterministischen Modelle nicht nur zur Erstellung einer verläßlichen Datenbasis für das Training der Netze, sondern ermöglichen – sowohl für die Niederschlags-Abfluß-Prozesse, als auch für die hydrodynamischen Prozesse – Analysen betreffs der Sensitivität der Modellergebnisse infolge von Änderungen der Inputdaten. Mit Hilfe dieser Analysen werden wichtige Informationen zur Findung der relevanten Merkmale erlangt. Ein Schlüssel für die erfolgreiche Eingliederung der Niederschlags-Abfluß-Prozesse in das Prognosenetz ist die Einführung eines einzigen Zustandsmerkmals, welches die gesamte meteorologische Vorgeschichte des Ereignisses zur Charakterisierung des Gebietszustandes vereinigt. Die entwickelte Methodik wurde anhand des Einzugsgebietes der Freiberger Mulde erfolgreich getestet.