National and Kapodistrian University of Athens
Image Informed Neural Machine Translation
Abstract
dc:descriptionΗ μηχανική μετάφραση μέσω χρήσης νευρωνικών δικτύων αποτελεί ένα από τα πιο σημαντικά προβλήματα της Επεργασίας Φυσικής Γλώσσας. Σύνθετες αρχιτεκτονικές έχουν επιτύχει σημαντικές επιδόσεις χρησιμοποιώντας αποκλειστικά κείμενο ως δεδομένα. Η αφθονία δεδομένων και η εύκολη προσβασιμότητά τους έχουν αυξήσει την ανάγκη εκμετάλλευσής τους προκειμένου να επιτευχθούν καλύτερα και πιο φυσικά αποτελέσματα. Η Πολυτροπική Μηχανική Μετάφραση χρησιμοποιεί επιπρόσθετα δεδομένα όπως εικόνες και ομιλία, για να υποστηρίξει και να ενισχύσει την μετάφρασης, υποθέτοντας ότι περιέχουν εναλλακτικές αναπαραστάσεις των δεδομένων εισόδου. Εστιάζουμε τη συγκεκριμένη εργασία στη διερεύνηση παραλλαγών του ίδιου συστήματος για την ενσωμάτωση οπτικών χαρακτηριστικών σε ένα νευρωνικό δίκτυο για μετάφραση. Για το σκοπό αυτό, χρησιμοποιούμε την αρχιτεκτονική Transformer η οποία αποτελεί το state-of-the-art. Για την μετάφραση χρησιμοποιούμε τρεις διαφορετικές γλώσσες-στόχους: Γαλλικά, Γερμανικά και Τσέχικα, χρησιμοποιώντας τα Αγγλικά ως την γλώσσα προέλευσης. Χρησιμοποιούμε το σύνολο δεδομένων Multi30K, ένα πολυγλωσσικό σύνολο μεγάλης κλίμακας που διατίθεται στο κοινό για την εφαρμογή σε προβήματα μηχανικής μάθησης. Αξιολογούμε τα αποτελέσματα σε τρία διαφορετικά σύνολα δεδομένων και υπολογίζουμε και συγκρίνουμε τα συστήματα μέσω των μετρικών BLEU, METEOR και TER. Εξετάζουμε περαιτέρω εάν χρησιμοποιούνται τα χαρακτηριστικά των εικόνων αντικαθιστώντας λέξεις που αποτελούν χρώματα με μια μάσκα. Τα εξεταζόμενα συστήματα φαίνεται να συμπεριφέρονται παρόμοια με μικρές διαφορές στην απόδοσή τους, με τα συστήματα που χρησιμοποιούν τις εικόνες να δίνουν πιο φυσικές μεταφράσεις σε πολλές περιπτώσεις. Η έρευνα των μεταφρασμένων αποτελεσμάτων αποκάλυψε αρκετά ασυνεπή μέρη και προκαταλήψεις στα δεδομένων. Τα αποτελέσματα της εφαρμογής μάσκας δείχνουν ότι είναι πολύ πιθανό τα συστήματα να χρησιμοποιούν πράγματι τα πρόσθετα στοιχεία που προέρχονται από εικόνες ειδικά όταν το κείμενο δεν είναι αρκετό, ενώ το μοντέλο που βασίζεται εξ ολοκλήρου σε κείμενο κάνει προβλέψεις με βάση τις προκαταλήψεις κατά τη διάρκεια της εκπαίδευσης.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Νικολαΐδου Κωνσταντίνα
- Nikolaidou Konstantina
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, English, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:2922357