National and Kapodistrian University of Athens
Modalities Fusion Utilizing Transformer Translation for Sentiment Analysis
Abstract
dc:descriptionΑυτή η διατριβή διερευνά τη συγχώνευση της τροπικότητας που βασίζεται σε Transformers για ταξινόμηση πολυτροπικού συναισθήματος ομιλίας. Πιο συγκεκριμένα, χρησιμοποιούμε το μοντέλο βαθιάς μάθησης Transformer για τη συγχώνευση τροπικότητας μέσω μιας διαδικασίας ανάλογης με μια μετάφραση κωδικοποιητή- αποκωδικοποιητή(encoder-decoder) μεταξύ κάθε τροπικότητας. Ερευνούμε και υλοποιούμε δύο αρχιτεκτονικές μοντέλων, τον Transformer Ιεραρχικής Μετάφρασης και τον Transformer Μονής Μετάφρασης. Και τα δύο μοντέλα λειτουργούν από άκρο σε άκρο, συγχωνεύοντας τις τροπικότητας μέσω μιας διαδικασίας που μοιάζει με μετάφραση, η οποία δημιουργεί μια αναπαράσταση συγχωνευμένων τροπικοτήτων και τελικά προβλέπει το συναίσθημα του ομιλητή. Εκπαιδεύουμε τα δύο μοντέλα που αναπτύξαμε χρησιμοποιώντας το σέτ δεδομένων CMU-MOSEI που χρησιμοποιείται για πολυτροπική ανάλυση συναισθήματος. Το CMU- MOSEI είναι ένα σετ δεδομένων τριών τροπικοτήτων εισόδου την κειμενική, ακουστική και οπτική τροπικότητα καθώς και ένα συναίσθημα εξόδου. Χρησιμοποιούμε την κοινή σε παρόμοιες ερευνητικές εργασίες προ-επεξεργασία και ευθυγράμμιση των δεδομένων του CMU-MOSEI και τον προεπιλεγμένο διαχωρισμό εκπαίδευσης-δοκιμής για αξιόπιστα και αναπαράξιμα αποτελέσματα. Τέλος, υπερ-παραμετροποιούμε τα δύο μοντέλα μας στο σύνολο των δεδομένων επικύρωσης. Το πρώτο μας μοντέλο, το Transformer Ιεραρχικής Μετάφρασης, εκτελεί τη συγχώνευση τροπικότητας μέσω της μετάφρασης του κωδικοποιητή-αποκωδικοποιητή Transformer. Η συνεισφορά μας είναι ότι εφαρμόζουμε την μετάφραση συγχώνευσης απευθείας στα χαρακτηριστικά κάθε ακολουθίας εισόδου της τροπικότητας. Ως αποτέλεσμα, το μοντέλο επιτυγχάνει παρόμοια αποτελέσματα με άλλα μοντέλα τελευταίας τεχνολογίας, ενώ επιτυγχάνει ταχύτερη εκπαίδευση και πρόβλεψη σε σύγκριση με αρχιτεκτονικές που βασίζονται σε RNN. Το δεύτερο μοντέλο μας, το Transformer Μονής Μετάφρασης, λειτουργεί παρόμοια, αλλά οι δύο τροπικότητες στόχοι της μετάφρασης συνενώνονται και επεξεργάζονται μαζί ώστε να έχουμε ένα μικρότερο μοντέλο. Αποδεικνύουμε ότι το Transformer Μονής Μετάφρασης έχει επιδόσεις σχεδόν πανομοιότυπες με το Transformer Ιεραρχικής Μετάφρασης καθώς και άλλα μοντέλα τελευταίας τεχνολογίας. Ταυτόχρονα, δεν απαιτεί ξεχωριστές υπο-μονάδες για τη συγχώνευση τροπικότητας, αντίθετα με τη συνήθη προσέγγιση στα περισσότερα μοντέλα ταξινόμησης πολυτροπικού συναισθήματος. Τέλος, συγκρίνουμε εκτενώς τα υπολογιστικά κέρδη των δύο μοντέλων μας με ένα μοντέλο συγχώνευσης τροπικότητας που βασίζεται επίσης σε μετάφραση που ακολουθεί RNN αρχιτεκτονική που ονομάζεται MCTN. Αυτή η σύγκριση μας δείχνει ότι στα μοντέλα μας πετυχαίνουμε 470% μικρότερο χρόνο πρόβλεψης και 77% μικρότερη ταχύτητα εκπαίδευσης ανά εποχή.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Μάλλιος Νικόλαος
- Mallios Nikolaos
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:3359436