Back to search

National and Kapodistrian University of Athens

Efficient incremental NLP task learning through collective weight factorization

Abstract

dc:description

Η αρχιτεκτονική μετατροπέων έχει οδηγήσει σε πολλές καινοτομίες στο πεδίο της επεξεργασίας φυσικής γλώσσας, πετυχαίνοντας υψηλά επίπεδα απόδοσης σε πολλές δοκιμασίες ενώ ταυτόχρονα τα αποτελέσματα βελτιώνονται συνεχώς και στο πεδίο της υπολογιστικής όρασης. Ωστόσο το τεράστιο μέγεθος των τελευταίων μοντέλων σε συνδυασμό με την τυπική τεχνική της εκπαίδευσης ενός ολόκληρου μοντέλου για κάθε νέα δοκιμασία καθιστούν τη χρήση τέτοιων αρχιτεκτονικών πολύ απαιτητική σε ό,τι αφορά τη μνήμη και την υπολογιστική ισχύ. Σε αυτή την εργασία παρουσιάζουμε μια τεχνική για συνεχή εκμάθηση νέων δυνατοτήτων μέσω παραγοντοποίησης βαρών του μηχανισμού αυτό­προσοχής. Αρχικά κατασκευάζουμε έναν τανυστή υψηλής τάξης συλλέγοντας τα αντίστοιχα βάρη των επιπέδων του μηχανισμού τον οποίο αποσυνθέτουμε χρησιμοποιώντας αποσύνθεση κατά Tucker. Ο τανυστής­πυρήνας της αποσύνθεσης είναι κοινός για τις δοκιμασίες ενώ οι παράγοντες τις αποσύνθεσης εκπαιδεύονται ξεχωριστά για κάθε δοκιμασία. Η μέθοδος μας απαιτεί την εκπαίδευση και αποθήκευση του 1% των παραμέτρων του αρχικού δικτύου για κάθε δοκιμασία, δεν χρειάζεται εκτενή αναζήτηση βέλτιστων παραμέτρων για να είναι αποδοτική ενώ αγγίζει την απόδοση του πλήρους μοντέλου μειώνοντας έτσι τις απαιτήσεις παραμέτρων κατά δύο τάξεις μεγέθους.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Παπαδόπουλος Χρήστος
  • Papadopoulos Christos

Subjects

dc:subject × 2

Rights

Language dc:language
Ελληνικά, English, Greek

Identifiers

dc:identifier.*
Identifier
uoadl:2958593

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Παπαδόπουλος Χρήστος; Papadopoulos Christos. Efficient incremental NLP task learning through collective weight factorization. 2021. https://pergamos.lib.uoa.gr/uoa/dl/object/2958593