{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2958593"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2958593","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Efficient incremental NLP task learning through collective weight factorization","abstract":"Η αρχιτεκτονική μετατροπέων έχει οδηγήσει σε πολλές καινοτομίες στο πεδίο της επεξεργασίας φυσικής γλώσσας, πετυχαίνοντας υψηλά επίπεδα απόδοσης σε πολλές δοκιμασίες ενώ ταυτόχρονα τα αποτελέσματα βελτιώνονται συνεχώς και στο πεδίο της υπολογιστικής όρασης. Ωστόσο το τεράστιο μέγεθος των τελευταίων μοντέλων σε συνδυασμό με την τυπική τεχνική της εκπαίδευσης ενός ολόκληρου μοντέλου για κάθε νέα δοκιμασία καθιστούν τη χρήση τέτοιων αρχιτεκτονικών πολύ απαιτητική σε ό,τι αφορά τη μνήμη και την υπολογιστική ισχύ. Σε αυτή την εργασία παρουσιάζουμε μια τεχνική για συνεχή εκμάθηση νέων δυνατοτήτων μέσω παραγοντοποίησης βαρών του μηχανισμού αυτό­προσοχής. Αρχικά κατασκευάζουμε έναν τανυστή υψηλής τάξης συλλέγοντας τα αντίστοιχα βάρη των επιπέδων του μηχανισμού τον οποίο αποσυνθέτουμε χρησιμοποιώντας αποσύνθεση κατά Tucker. Ο τανυστής­πυρήνας της αποσύνθεσης είναι κοινός για τις δοκιμασίες ενώ οι παράγοντες τις αποσύνθεσης εκπαιδεύονται ξεχωριστά για κάθε δοκιμασία. Η μέθοδος μας απαιτεί την εκπαίδευση και αποθήκευση του 1% των παραμέτρων του αρχικού δικτύου για κάθε δοκιμασία, δεν χρειάζεται εκτενή αναζήτηση βέλτιστων παραμέτρων για να είναι αποδοτική ενώ αγγίζει την απόδοση του πλήρους μοντέλου μειώνοντας έτσι τις απαιτήσεις παραμέτρων κατά δύο τάξεις μεγέθους.","abstract_html":"Η αρχιτεκτονική μετατροπέων έχει οδηγήσει σε πολλές καινοτομίες στο πεδίο της επεξεργασίας φυσικής γλώσσας, πετυχαίνοντας υψηλά επίπεδα απόδοσης σε πολλές δοκιμασίες ενώ ταυτόχρονα τα αποτελέσματα βελτιώνονται συνεχώς και στο πεδίο της υπολογιστικής όρασης. Ωστόσο το τεράστιο μέγεθος των τελευταίων μοντέλων σε συνδυασμό με την τυπική τεχνική της εκπαίδευσης ενός ολόκληρου μοντέλου για κάθε νέα δοκιμασία καθιστούν τη χρήση τέτοιων αρχιτεκτονικών πολύ απαιτητική σε ό,τι αφορά τη μνήμη και την υπολογιστική ισχύ. Σε αυτή την εργασία παρουσιάζουμε μια τεχνική για συνεχή εκμάθηση νέων δυνατοτήτων μέσω παραγοντοποίησης βαρών του μηχανισμού αυτό­προσοχής. Αρχικά κατασκευάζουμε έναν τανυστή υψηλής τάξης συλλέγοντας τα αντίστοιχα βάρη των επιπέδων του μηχανισμού τον οποίο αποσυνθέτουμε χρησιμοποιώντας αποσύνθεση κατά Tucker. Ο τανυστής­πυρήνας της αποσύνθεσης είναι κοινός για τις δοκιμασίες ενώ οι παράγοντες τις αποσύνθεσης εκπαιδεύονται ξεχωριστά για κάθε δοκιμασία. Η μέθοδος μας απαιτεί την εκπαίδευση και αποθήκευση του 1% των παραμέτρων του αρχικού δικτύου για κάθε δοκιμασία, δεν χρειάζεται εκτενή αναζήτηση βέλτιστων παραμέτρων για να είναι αποδοτική ενώ αγγίζει την απόδοση του πλήρους μοντέλου μειώνοντας έτσι τις απαιτήσεις παραμέτρων κατά δύο τάξεις μεγέθους.","abstract_has_math":false,"creators":["Παπαδόπουλος Χρήστος","Papadopoulos Christos"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2021,"date_issued":"2021","date_published":"2021","updated_at":"2026-11-19T05:43:34Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2958593"],"render_values":[{"text":"uoadl:2958593","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2958593","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2958593","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2958593","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Παπαδόπουλος Χρήστος","Papadopoulos Christos"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2021"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2958593","https://pergamos.lib.uoa.gr/uoa/dl/object/2958593"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η αρχιτεκτονική μετατροπέων έχει οδηγήσει σε πολλές καινοτομίες στο πεδίο της επεξεργασίας φυσικής γλώσσας, πετυχαίνοντας υψηλά επίπεδα απόδοσης σε πολλές δοκιμασίες ενώ ταυτόχρονα τα αποτελέσματα βελτιώνονται συνεχώς και στο πεδίο της υπολογιστικής όρασης. Ωστόσο το τεράστιο μέγεθος των τελευταίων μοντέλων σε συνδυασμό με την τυπική τεχνική της εκπαίδευσης ενός ολόκληρου μοντέλου για κάθε νέα δοκιμασία καθιστούν τη χρήση τέτοιων αρχιτεκτονικών πολύ απαιτητική σε ό,τι αφορά τη μνήμη και την υπολογιστική ισχύ. Σε αυτή την εργασία παρουσιάζουμε μια τεχνική για συνεχή εκμάθηση νέων δυνατοτήτων μέσω παραγοντοποίησης βαρών του μηχανισμού αυτό­προσοχής. Αρχικά κατασκευάζουμε έναν τανυστή υψηλής τάξης συλλέγοντας τα αντίστοιχα βάρη των επιπέδων του μηχανισμού τον οποίο αποσυνθέτουμε χρησιμοποιώντας αποσύνθεση κατά Tucker. Ο τανυστής­πυρήνας της αποσύνθεσης είναι κοινός για τις δοκιμασίες ενώ οι παράγοντες τις αποσύνθεσης εκπαιδεύονται ξεχωριστά για κάθε δοκιμασία. Η μέθοδος μας απαιτεί την εκπαίδευση και αποθήκευση του 1% των παραμέτρων του αρχικού δικτύου για κάθε δοκιμασία, δεν χρειάζεται εκτενή αναζήτηση βέλτιστων παραμέτρων για να είναι αποδοτική ενώ αγγίζει την απόδοση του πλήρους μοντέλου μειώνοντας έτσι τις απαιτήσεις παραμέτρων κατά δύο τάξεις μεγέθους.","The transformer architecture has led to breakthroughs in the field of NLP, achieving state of the art performance in various tasks and consistently improving in the computer vision domain as well. However, the sheer size of some of the latest models along with the standard technique of fine tuning the same model separately for each task make the effective use of such architectures very demanding in terms of both memory and computing power. In this work we propose a technique for incremental task learning through collective weight factorization of the self­attention module. We group the weight matrices of the self­attention layers in a high order tensor before factorizing it using tucker decomposition. The tucker core is shared among tasks with the factors being the only trainable component. Our method requires training and saving at most 1% of the initial model parameters for each task, does not need extensive architecture search to be effective and matches the original fine­tuned model in terms of performance, effectively dropping the parameter requirements by two orders of magnitude"]},{"key":"dc:title","label":"Title","values":["Efficient incremental NLP task learning through collective weight factorization"]}]}],"canonical_facts":{"dc:creator":["Παπαδόπουλος Χρήστος","Papadopoulos Christos"],"dc:date":["2021"],"dc:description":["Η αρχιτεκτονική μετατροπέων έχει οδηγήσει σε πολλές καινοτομίες στο πεδίο της επεξεργασίας φυσικής γλώσσας, πετυχαίνοντας υψηλά επίπεδα απόδοσης σε πολλές δοκιμασίες ενώ ταυτόχρονα τα αποτελέσματα βελτιώνονται συνεχώς και στο πεδίο της υπολογιστικής όρασης. Ωστόσο το τεράστιο μέγεθος των τελευταίων μοντέλων σε συνδυασμό με την τυπική τεχνική της εκπαίδευσης ενός ολόκληρου μοντέλου για κάθε νέα δοκιμασία καθιστούν τη χρήση τέτοιων αρχιτεκτονικών πολύ απαιτητική σε ό,τι αφορά τη μνήμη και την υπολογιστική ισχύ. Σε αυτή την εργασία παρουσιάζουμε μια τεχνική για συνεχή εκμάθηση νέων δυνατοτήτων μέσω παραγοντοποίησης βαρών του μηχανισμού αυτό­προσοχής. Αρχικά κατασκευάζουμε έναν τανυστή υψηλής τάξης συλλέγοντας τα αντίστοιχα βάρη των επιπέδων του μηχανισμού τον οποίο αποσυνθέτουμε χρησιμοποιώντας αποσύνθεση κατά Tucker. Ο τανυστής­πυρήνας της αποσύνθεσης είναι κοινός για τις δοκιμασίες ενώ οι παράγοντες τις αποσύνθεσης εκπαιδεύονται ξεχωριστά για κάθε δοκιμασία. Η μέθοδος μας απαιτεί την εκπαίδευση και αποθήκευση του 1% των παραμέτρων του αρχικού δικτύου για κάθε δοκιμασία, δεν χρειάζεται εκτενή αναζήτηση βέλτιστων παραμέτρων για να είναι αποδοτική ενώ αγγίζει την απόδοση του πλήρους μοντέλου μειώνοντας έτσι τις απαιτήσεις παραμέτρων κατά δύο τάξεις μεγέθους.","The transformer architecture has led to breakthroughs in the field of NLP, achieving state of the art performance in various tasks and consistently improving in the computer vision domain as well. However, the sheer size of some of the latest models along with the standard technique of fine tuning the same model separately for each task make the effective use of such architectures very demanding in terms of both memory and computing power. In this work we propose a technique for incremental task learning through collective weight factorization of the self­attention module. We group the weight matrices of the self­attention layers in a high order tensor before factorizing it using tucker decomposition. The tucker core is shared among tasks with the factors being the only trainable component. Our method requires training and saving at most 1% of the initial model parameters for each task, does not need extensive architecture search to be effective and matches the original fine­tuned model in terms of performance, effectively dropping the parameter requirements by two orders of magnitude"],"dc:identifier":["uoadl:2958593","https://pergamos.lib.uoa.gr/uoa/dl/object/2958593"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Efficient incremental NLP task learning through collective weight factorization"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:43:34Z"}