Back to search

National and Kapodistrian University of Athens

DistilBERT-EL-KLD: Knowledge Distillation and Greek Language Modeling

Abstract

dc:description

Σκοπός της εν λόγω διπλωματικής εργασίας είναι η ανάπτυξη, εκπαίδευση και αξιολόγηση ενός μοντέλου DistilBERT, εξειδικευμένου αποκλειστικά στην Ελληνική γλώσσα. Μετά από εμβριθή ανασκόπηση του θεωρητικού υποβάθρου (κλασική μηχανική μάθηση, βαθιά μάθηση και νευρωνικά δίκτυα) με σκοπό να καταστεί αντιληπτή η αρχιτεκτονική των νευρωνικών δικτύων της οικογένειας των δικτύων μετασχηματιστών (Transformers) και συγκεκριμένα των μοντέλων BERT και DistilBERT, περιγράφεται αναλυτικά η διαδικασία ανάπτυξης και προεκπαίδευσης του μοντέλου σε μεγάλα σώματα ελληνικών κειμένων (OSCAR, Wikipedia, Europarl) μέσω της διαδικασίας Απόσταξης Γνώσης, καθώς και της περαιτέρω εκπαίδευσης σε διεργασίες φυσικής γλώσσας, όπως η Αναγνώριση Επώνυμων Οντοτήτων (NER), η αυτοματοποιημένη Αναγνώριση Μερών του Λόγου (PoS Tagging), καθώς και η διαδικασία Διεξαγωγής Συμπερασμάτων σε Φυσική Γλώσσα (NLI). Η τεχνική της απόσταξης γνώσης, η οποία αποτελεί μία μορφή συμπίεσης των παραμέτρων ενός νευρωνικού δικτύου, φαίνεται να συμβάλλει καταλυτικά στη δημιουργία μοντέλων βαθιάς μάθησης, τα οποία αν και, συγκρινόμενα με συγγενικά μοντέλα, είναι κατά πολύ ταχύτερα και πιο οικονομικά από υπολογιστική άποψη, δεν παρουσιάζουν μεγάλες απώλειες όσον αφορά την ακρίβεια σε διεργασίες Επεξεργασίας Φυσικής Γλώσσας. Το μοντέλο που αναπτύχθηκε στα πλαίσια αυτής της διπλωματικής εργασίας (DistilBERT-EL-KLD), το οποίο αποτελεί συμπιεσμένη μορφή του GREEK-BERT, έχει τη δυνατότητα να παράγει αποτελέσματα απολύτως συγκρίσιμα με αυτά του προκατόχου του.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Κουρσάρης Αθανάσιος
  • Koursaris Athanasios

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:3398449

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Κουρσάρης Αθανάσιος; Koursaris Athanasios. DistilBERT-EL-KLD: Knowledge Distillation and Greek Language Modeling. 2024. https://pergamos.lib.uoa.gr/uoa/dl/object/3398449