Return to search

Künstliche neuronale Netze zur Verarbeitung natürlicher Sprache

An der Verarbeitung natürlicher Sprache durch computerbasierte Systeme wurde immer aktiv entwickelt und geforscht, um Aufgaben in den am weitesten verbreiteten Sprachen zu lösen. In dieser Arbeit werden verschiedene Ansätze zur Lösung von Problemen in diesem Bereich mittels künstlicher neuronaler Netze beschrieben. Dabei konzentriert sich diese Arbeit hauptsächlich auf modernere Architekturen wie Transformatoren oder BERT. Ziel dabei ist es, diese besser zu verstehen und herauszufinden, welche Vorteile sie gegenüber herkömmlichen künstlichen neuronalen Netzwerken haben. Anschließend wird dieses erlangte Wissen an einer Aufgabe aus dem Bereich der Verarbeitung natürlicher Sprache getestet, in welcher mittels einer sogenannten Named Entity Recognition (NER) spezielle Informationen aus Texten extrahiert werden.:1 Einleitung
1.1 Verarbeitung natürlicher Sprache (NLP)
1.2 Neuronale Netze
1.2.1 Biologischer Hintergrund
1.3 Aufbau der Arbeit
2 Grundlagen
2.1 Künstliche neuronale Netze
2.1.1 Arten des Lernens
2.1.2 Aktivierungsfunktionen
2.1.3 Verlustfunktionen
2.1.4 Optimierer
2.1.5 Über- und Unteranpassung
2.1.6 Explodierender und verschwindender Gradient
2.1.7 Optimierungsverfahren
3 Netzwerkarchitekturen zur Verarbeitung natürlicher Sprache
3.1 Rekurrente neuronale Netze (RNN)
3.1.1 Langes Kurzzeitgedächtnis (LSTM)
3.2 Autoencoder
3.3 Transformator
3.3.1 Worteinbettungen
3.3.2 Positionscodierung
3.3.3 Encoderblock
3.3.4 Decoderblock
3.3.5 Grenzen Transformatorarchitektur
3.4 Bidirektionale Encoder-Darstellungen von Transformatoren (BERT)
3.4.1 Vortraining
3.4.2 Feinabstimmung
4 Praktischer Teil und Ergebnisse
4.1 Aufgabe
4.2 Verwendete Bibliotheken, Programmiersprachen und Software
4.2.1 Python
4.2.2 NumPy
4.2.3 pandas
4.2.4 scikit-learn
4.2.5 Tensorflow
4.2.6 Keras
4.2.7 ktrain
4.2.8 Data Version Control (dvc)
4.2.9 FastAPI
4.2.10 Docker
4.2.11 Amazon Web Services
4.3 Daten
4.4 Netzwerkarchitektur
4.5 Training
4.6 Auswertung
4.7 Implementierung
5 Schlussbemerkungen
5.1 Zusammenfassung und Ausblick

Identiferoai:union.ndltd.org:DRESDEN/oai:qucosa:de:qucosa:74486
Date21 April 2021
CreatorsDittrich, Felix
ContributorsHochschule für Technik, Wirtschaft und Kultur (FH) Leipzig
Source SetsHochschulschriftenserver (HSSS) der SLUB Dresden
LanguageGerman
Detected LanguageGerman
Typeinfo:eu-repo/semantics/acceptedVersion, doc-type:bachelorThesis, info:eu-repo/semantics/bachelorThesis, doc-type:Text
Rightsinfo:eu-repo/semantics/openAccess

Page generated in 0.0016 seconds