National and Kapodistrian University of Athens
Efficient incremental NLP task learning through collective weight factorization
Abstract
dc:descriptionΗ αρχιτεκτονική μετατροπέων έχει οδηγήσει σε πολλές καινοτομίες στο πεδίο της επεξεργασίας φυσικής γλώσσας, πετυχαίνοντας υψηλά επίπεδα απόδοσης σε πολλές δοκιμασίες ενώ ταυτόχρονα τα αποτελέσματα βελτιώνονται συνεχώς και στο πεδίο της υπολογιστικής όρασης. Ωστόσο το τεράστιο μέγεθος των τελευταίων μοντέλων σε συνδυασμό με την τυπική τεχνική της εκπαίδευσης ενός ολόκληρου μοντέλου για κάθε νέα δοκιμασία καθιστούν τη χρήση τέτοιων αρχιτεκτονικών πολύ απαιτητική σε ό,τι αφορά τη μνήμη και την υπολογιστική ισχύ. Σε αυτή την εργασία παρουσιάζουμε μια τεχνική για συνεχή εκμάθηση νέων δυνατοτήτων μέσω παραγοντοποίησης βαρών του μηχανισμού αυτόπροσοχής. Αρχικά κατασκευάζουμε έναν τανυστή υψηλής τάξης συλλέγοντας τα αντίστοιχα βάρη των επιπέδων του μηχανισμού τον οποίο αποσυνθέτουμε χρησιμοποιώντας αποσύνθεση κατά Tucker. Ο τανυστήςπυρήνας της αποσύνθεσης είναι κοινός για τις δοκιμασίες ενώ οι παράγοντες τις αποσύνθεσης εκπαιδεύονται ξεχωριστά για κάθε δοκιμασία. Η μέθοδος μας απαιτεί την εκπαίδευση και αποθήκευση του 1% των παραμέτρων του αρχικού δικτύου για κάθε δοκιμασία, δεν χρειάζεται εκτενή αναζήτηση βέλτιστων παραμέτρων για να είναι αποδοτική ενώ αγγίζει την απόδοση του πλήρους μοντέλου μειώνοντας έτσι τις απαιτήσεις παραμέτρων κατά δύο τάξεις μεγέθους.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Παπαδόπουλος Χρήστος
- Papadopoulos Christos
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, English, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:2958593