An der Verarbeitung natürlicher Sprache durch computerbasierte Systeme wurde immer aktiv entwickelt und geforscht, um Aufgaben in den am weitesten verbreiteten Sprachen zu lösen. In dieser Arbeit werden verschiedene Ansätze zur Lösung von Problemen in diesem Bereich mittels künstlicher neuronaler Netze beschrieben. Dabei konzentriert sich diese Arbeit hauptsächlich auf modernere Architekturen wie Transformatoren oder BERT. Ziel dabei ist es, diese besser zu verstehen und herauszufinden, welche Vorteile sie gegenüber herkömmlichen künstlichen neuronalen Netzwerken haben. Anschließend wird dieses erlangte Wissen an einer Aufgabe aus dem Bereich der Verarbeitung natürlicher Sprache getestet, in welcher mittels einer sogenannten Named Entity Recognition (NER) spezielle Informationen aus Texten extrahiert werden.:1 Einleitung
1.1 Verarbeitung natürlicher Sprache (NLP)
1.2 Neuronale Netze
1.2.1 Biologischer Hintergrund
1.3 Aufbau der Arbeit
2 Grundlagen
2.1 Künstliche neuronale Netze
2.1.1 Arten des Lernens
2.1.2 Aktivierungsfunktionen
2.1.3 Verlustfunktionen
2.1.4 Optimierer
2.1.5 Über- und Unteranpassung
2.1.6 Explodierender und verschwindender Gradient
2.1.7 Optimierungsverfahren
3 Netzwerkarchitekturen zur Verarbeitung natürlicher Sprache
3.1 Rekurrente neuronale Netze (RNN)
3.1.1 Langes Kurzzeitgedächtnis (LSTM)
3.2 Autoencoder
3.3 Transformator
3.3.1 Worteinbettungen
3.3.2 Positionscodierung
3.3.3 Encoderblock
3.3.4 Decoderblock
3.3.5 Grenzen Transformatorarchitektur
3.4 Bidirektionale Encoder-Darstellungen von Transformatoren (BERT)
3.4.1 Vortraining
3.4.2 Feinabstimmung
4 Praktischer Teil und Ergebnisse
4.1 Aufgabe
4.2 Verwendete Bibliotheken, Programmiersprachen und Software
4.2.1 Python
4.2.2 NumPy
4.2.3 pandas
4.2.4 scikit-learn
4.2.5 Tensorflow
4.2.6 Keras
4.2.7 ktrain
4.2.8 Data Version Control (dvc)
4.2.9 FastAPI
4.2.10 Docker
4.2.11 Amazon Web Services
4.3 Daten
4.4 Netzwerkarchitektur
4.5 Training
4.6 Auswertung
4.7 Implementierung
5 Schlussbemerkungen
5.1 Zusammenfassung und Ausblick
| Identifer | oai:union.ndltd.org:DRESDEN/oai:qucosa:de:qucosa:74486 |
| Date | 21 April 2021 |
| Creators | Dittrich, Felix |
| Contributors | Hochschule für Technik, Wirtschaft und Kultur (FH) Leipzig |
| Source Sets | Hochschulschriftenserver (HSSS) der SLUB Dresden |
| Language | German |
| Detected Language | German |
| Type | info:eu-repo/semantics/acceptedVersion, doc-type:bachelorThesis, info:eu-repo/semantics/bachelorThesis, doc-type:Text |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.002 seconds