{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2922357"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2922357","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Image Informed Neural Machine Translation","abstract":"Η μηχανική μετάφραση μέσω χρήσης νευρωνικών δικτύων αποτελεί ένα από τα πιο σημαντικά προβλήματα της Επεργασίας Φυσικής Γλώσσας. Σύνθετες αρχιτεκτονικές έχουν επιτύχει σημαντικές επιδόσεις χρησιμοποιώντας αποκλειστικά κείμενο ως δεδομένα. Η αφθονία δεδομένων και η εύκολη προσβασιμότητά τους έχουν αυξήσει την ανάγκη εκμετάλλευσής τους προκειμένου να επιτευχθούν καλύτερα και πιο φυσικά αποτελέσματα. Η Πολυτροπική Μηχανική Μετάφραση χρησιμοποιεί επιπρόσθετα δεδομένα όπως εικόνες και ομιλία, για να υποστηρίξει και να ενισχύσει την μετάφρασης, υποθέτοντας ότι περιέχουν εναλλακτικές αναπαραστάσεις των δεδομένων εισόδου. Εστιάζουμε τη συγκεκριμένη εργασία στη διερεύνηση παραλλαγών του ίδιου συστήματος για την ενσωμάτωση οπτικών χαρακτηριστικών σε ένα νευρωνικό δίκτυο για μετάφραση. Για το σκοπό αυτό, χρησιμοποιούμε την αρχιτεκτονική Transformer η οποία αποτελεί το state-of-the-art. Για την μετάφραση χρησιμοποιούμε τρεις διαφορετικές γλώσσες-στόχους: Γαλλικά, Γερμανικά και Τσέχικα, χρησιμοποιώντας τα Αγγλικά ως την γλώσσα προέλευσης. Χρησιμοποιούμε το σύνολο δεδομένων Multi30K, ένα πολυγλωσσικό σύνολο μεγάλης κλίμακας που διατίθεται στο κοινό για την εφαρμογή σε προβήματα μηχανικής μάθησης. Αξιολογούμε τα αποτελέσματα σε τρία διαφορετικά σύνολα δεδομένων και υπολογίζουμε και συγκρίνουμε τα συστήματα μέσω των μετρικών BLEU, METEOR και TER. Εξετάζουμε περαιτέρω εάν χρησιμοποιούνται τα χαρακτηριστικά των εικόνων αντικαθιστώντας λέξεις που αποτελούν χρώματα με μια μάσκα. Τα εξεταζόμενα συστήματα φαίνεται να συμπεριφέρονται παρόμοια με μικρές διαφορές στην απόδοσή τους, με τα συστήματα που χρησιμοποιούν τις εικόνες να δίνουν πιο φυσικές μεταφράσεις σε πολλές περιπτώσεις. Η έρευνα των μεταφρασμένων αποτελεσμάτων αποκάλυψε αρκετά ασυνεπή μέρη και προκαταλήψεις στα δεδομένων. Τα αποτελέσματα της εφαρμογής μάσκας δείχνουν ότι είναι πολύ πιθανό τα συστήματα να χρησιμοποιούν πράγματι τα πρόσθετα στοιχεία που προέρχονται από εικόνες ειδικά όταν το κείμενο δεν είναι αρκετό, ενώ το μοντέλο που βασίζεται εξ ολοκλήρου σε κείμενο κάνει προβλέψεις με βάση τις προκαταλήψεις κατά τη διάρκεια της εκπαίδευσης.","abstract_html":"Η μηχανική μετάφραση μέσω χρήσης νευρωνικών δικτύων αποτελεί ένα από τα πιο σημαντικά προβλήματα της Επεργασίας Φυσικής Γλώσσας. Σύνθετες αρχιτεκτονικές έχουν επιτύχει σημαντικές επιδόσεις χρησιμοποιώντας αποκλειστικά κείμενο ως δεδομένα. Η αφθονία δεδομένων και η εύκολη προσβασιμότητά τους έχουν αυξήσει την ανάγκη εκμετάλλευσής τους προκειμένου να επιτευχθούν καλύτερα και πιο φυσικά αποτελέσματα. Η Πολυτροπική Μηχανική Μετάφραση χρησιμοποιεί επιπρόσθετα δεδομένα όπως εικόνες και ομιλία, για να υποστηρίξει και να ενισχύσει την μετάφρασης, υποθέτοντας ότι περιέχουν εναλλακτικές αναπαραστάσεις των δεδομένων εισόδου. Εστιάζουμε τη συγκεκριμένη εργασία στη διερεύνηση παραλλαγών του ίδιου συστήματος για την ενσωμάτωση οπτικών χαρακτηριστικών σε ένα νευρωνικό δίκτυο για μετάφραση. Για το σκοπό αυτό, χρησιμοποιούμε την αρχιτεκτονική Transformer η οποία αποτελεί το state-of-the-art. Για την μετάφραση χρησιμοποιούμε τρεις διαφορετικές γλώσσες-στόχους: Γαλλικά, Γερμανικά και Τσέχικα, χρησιμοποιώντας τα Αγγλικά ως την γλώσσα προέλευσης. Χρησιμοποιούμε το σύνολο δεδομένων Multi30K, ένα πολυγλωσσικό σύνολο μεγάλης κλίμακας που διατίθεται στο κοινό για την εφαρμογή σε προβήματα μηχανικής μάθησης. Αξιολογούμε τα αποτελέσματα σε τρία διαφορετικά σύνολα δεδομένων και υπολογίζουμε και συγκρίνουμε τα συστήματα μέσω των μετρικών BLEU, METEOR και TER. Εξετάζουμε περαιτέρω εάν χρησιμοποιούνται τα χαρακτηριστικά των εικόνων αντικαθιστώντας λέξεις που αποτελούν χρώματα με μια μάσκα. Τα εξεταζόμενα συστήματα φαίνεται να συμπεριφέρονται παρόμοια με μικρές διαφορές στην απόδοσή τους, με τα συστήματα που χρησιμοποιούν τις εικόνες να δίνουν πιο φυσικές μεταφράσεις σε πολλές περιπτώσεις. Η έρευνα των μεταφρασμένων αποτελεσμάτων αποκάλυψε αρκετά ασυνεπή μέρη και προκαταλήψεις στα δεδομένων. Τα αποτελέσματα της εφαρμογής μάσκας δείχνουν ότι είναι πολύ πιθανό τα συστήματα να χρησιμοποιούν πράγματι τα πρόσθετα στοιχεία που προέρχονται από εικόνες ειδικά όταν το κείμενο δεν είναι αρκετό, ενώ το μοντέλο που βασίζεται εξ ολοκλήρου σε κείμενο κάνει προβλέψεις με βάση τις προκαταλήψεις κατά τη διάρκεια της εκπαίδευσης.","abstract_has_math":false,"creators":["Νικολαΐδου Κωνσταντίνα","Nikolaidou Konstantina"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2020,"date_issued":"2020","date_published":"2020","updated_at":"2026-11-19T05:39:35Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2922357"],"render_values":[{"text":"uoadl:2922357","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2922357","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2922357","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2922357","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Νικολαΐδου Κωνσταντίνα","Nikolaidou Konstantina"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2020"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2922357","https://pergamos.lib.uoa.gr/uoa/dl/object/2922357"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η μηχανική μετάφραση μέσω χρήσης νευρωνικών δικτύων αποτελεί ένα από τα πιο σημαντικά προβλήματα της Επεργασίας Φυσικής Γλώσσας. Σύνθετες αρχιτεκτονικές έχουν επιτύχει σημαντικές επιδόσεις χρησιμοποιώντας αποκλειστικά κείμενο ως δεδομένα. Η αφθονία δεδομένων και η εύκολη προσβασιμότητά τους έχουν αυξήσει την ανάγκη εκμετάλλευσής τους προκειμένου να επιτευχθούν καλύτερα και πιο φυσικά αποτελέσματα. Η Πολυτροπική Μηχανική Μετάφραση χρησιμοποιεί επιπρόσθετα δεδομένα όπως εικόνες και ομιλία, για να υποστηρίξει και να ενισχύσει την μετάφρασης, υποθέτοντας ότι περιέχουν εναλλακτικές αναπαραστάσεις των δεδομένων εισόδου. Εστιάζουμε τη συγκεκριμένη εργασία στη διερεύνηση παραλλαγών του ίδιου συστήματος για την ενσωμάτωση οπτικών χαρακτηριστικών σε ένα νευρωνικό δίκτυο για μετάφραση. Για το σκοπό αυτό, χρησιμοποιούμε την αρχιτεκτονική Transformer η οποία αποτελεί το state-of-the-art. Για την μετάφραση χρησιμοποιούμε τρεις διαφορετικές γλώσσες-στόχους: Γαλλικά, Γερμανικά και Τσέχικα, χρησιμοποιώντας τα Αγγλικά ως την γλώσσα προέλευσης. Χρησιμοποιούμε το σύνολο δεδομένων Multi30K, ένα πολυγλωσσικό σύνολο μεγάλης κλίμακας που διατίθεται στο κοινό για την εφαρμογή σε προβήματα μηχανικής μάθησης. Αξιολογούμε τα αποτελέσματα σε τρία διαφορετικά σύνολα δεδομένων και υπολογίζουμε και συγκρίνουμε τα συστήματα μέσω των μετρικών BLEU, METEOR και TER. Εξετάζουμε περαιτέρω εάν χρησιμοποιούνται τα χαρακτηριστικά των εικόνων αντικαθιστώντας λέξεις που αποτελούν χρώματα με μια μάσκα. Τα εξεταζόμενα συστήματα φαίνεται να συμπεριφέρονται παρόμοια με μικρές διαφορές στην απόδοσή τους, με τα συστήματα που χρησιμοποιούν τις εικόνες να δίνουν πιο φυσικές μεταφράσεις σε πολλές περιπτώσεις. Η έρευνα των μεταφρασμένων αποτελεσμάτων αποκάλυψε αρκετά ασυνεπή μέρη και προκαταλήψεις στα δεδομένων. Τα αποτελέσματα της εφαρμογής μάσκας δείχνουν ότι είναι πολύ πιθανό τα συστήματα να χρησιμοποιούν πράγματι τα πρόσθετα στοιχεία που προέρχονται από εικόνες ειδικά όταν το κείμενο δεν είναι αρκετό, ενώ το μοντέλο που βασίζεται εξ ολοκλήρου σε κείμενο κάνει προβλέψεις με βάση τις προκαταλήψεις κατά τη διάρκεια της εκπαίδευσης.","Neural Machine Translation is one of the most important tasks in Natural Language Processing. Complex architectures have achieved incredible performances using solely text as input data. The vast amount of data and their accessibility has increased the need in exploiting them in order to achieve better and more human-like results. Multimodal Machine Translation uses additional modalities like images and speech in order to ground and enhance the task of translation assuming that they contain alternative representations of the input data. We focus our work in investigating several variations of the same system to integrate visual features in a neural machine translation system. To this end, we use the state-of-the-art Transformer architecture. We are performing the task for three different target languages: French, German and Czech, using English as our source language. We use the Multi30Kdataset, a large-scale multilingual multimodal dataset publicly available for the task of multimodal machine translation and cross-lingual captioning. We evaluate the results on three different test sets and compute and compare the systems through the BLEU, METEOR and TER scores. We further investigate whether the additional modalities are used by masking color words in the source sets. The examined systems seem to perform similarly with small differences in their performance, with the multimodal ones giving more natural translations in many cases. Investigation on the predicted texts revealed several inconsistent parts and biases in the dataset. Results of the mask predictions show that it is very likely that systems indeed use the additional modalities when text is not sufficient, while the text model outputs predictions based on training biases."]},{"key":"dc:title","label":"Title","values":["Image Informed Neural Machine Translation"]}]}],"canonical_facts":{"dc:creator":["Νικολαΐδου Κωνσταντίνα","Nikolaidou Konstantina"],"dc:date":["2020"],"dc:description":["Η μηχανική μετάφραση μέσω χρήσης νευρωνικών δικτύων αποτελεί ένα από τα πιο σημαντικά προβλήματα της Επεργασίας Φυσικής Γλώσσας. Σύνθετες αρχιτεκτονικές έχουν επιτύχει σημαντικές επιδόσεις χρησιμοποιώντας αποκλειστικά κείμενο ως δεδομένα. Η αφθονία δεδομένων και η εύκολη προσβασιμότητά τους έχουν αυξήσει την ανάγκη εκμετάλλευσής τους προκειμένου να επιτευχθούν καλύτερα και πιο φυσικά αποτελέσματα. Η Πολυτροπική Μηχανική Μετάφραση χρησιμοποιεί επιπρόσθετα δεδομένα όπως εικόνες και ομιλία, για να υποστηρίξει και να ενισχύσει την μετάφρασης, υποθέτοντας ότι περιέχουν εναλλακτικές αναπαραστάσεις των δεδομένων εισόδου. Εστιάζουμε τη συγκεκριμένη εργασία στη διερεύνηση παραλλαγών του ίδιου συστήματος για την ενσωμάτωση οπτικών χαρακτηριστικών σε ένα νευρωνικό δίκτυο για μετάφραση. Για το σκοπό αυτό, χρησιμοποιούμε την αρχιτεκτονική Transformer η οποία αποτελεί το state-of-the-art. Για την μετάφραση χρησιμοποιούμε τρεις διαφορετικές γλώσσες-στόχους: Γαλλικά, Γερμανικά και Τσέχικα, χρησιμοποιώντας τα Αγγλικά ως την γλώσσα προέλευσης. Χρησιμοποιούμε το σύνολο δεδομένων Multi30K, ένα πολυγλωσσικό σύνολο μεγάλης κλίμακας που διατίθεται στο κοινό για την εφαρμογή σε προβήματα μηχανικής μάθησης. Αξιολογούμε τα αποτελέσματα σε τρία διαφορετικά σύνολα δεδομένων και υπολογίζουμε και συγκρίνουμε τα συστήματα μέσω των μετρικών BLEU, METEOR και TER. Εξετάζουμε περαιτέρω εάν χρησιμοποιούνται τα χαρακτηριστικά των εικόνων αντικαθιστώντας λέξεις που αποτελούν χρώματα με μια μάσκα. Τα εξεταζόμενα συστήματα φαίνεται να συμπεριφέρονται παρόμοια με μικρές διαφορές στην απόδοσή τους, με τα συστήματα που χρησιμοποιούν τις εικόνες να δίνουν πιο φυσικές μεταφράσεις σε πολλές περιπτώσεις. Η έρευνα των μεταφρασμένων αποτελεσμάτων αποκάλυψε αρκετά ασυνεπή μέρη και προκαταλήψεις στα δεδομένων. Τα αποτελέσματα της εφαρμογής μάσκας δείχνουν ότι είναι πολύ πιθανό τα συστήματα να χρησιμοποιούν πράγματι τα πρόσθετα στοιχεία που προέρχονται από εικόνες ειδικά όταν το κείμενο δεν είναι αρκετό, ενώ το μοντέλο που βασίζεται εξ ολοκλήρου σε κείμενο κάνει προβλέψεις με βάση τις προκαταλήψεις κατά τη διάρκεια της εκπαίδευσης.","Neural Machine Translation is one of the most important tasks in Natural Language Processing. Complex architectures have achieved incredible performances using solely text as input data. The vast amount of data and their accessibility has increased the need in exploiting them in order to achieve better and more human-like results. Multimodal Machine Translation uses additional modalities like images and speech in order to ground and enhance the task of translation assuming that they contain alternative representations of the input data. We focus our work in investigating several variations of the same system to integrate visual features in a neural machine translation system. To this end, we use the state-of-the-art Transformer architecture. We are performing the task for three different target languages: French, German and Czech, using English as our source language. We use the Multi30Kdataset, a large-scale multilingual multimodal dataset publicly available for the task of multimodal machine translation and cross-lingual captioning. We evaluate the results on three different test sets and compute and compare the systems through the BLEU, METEOR and TER scores. We further investigate whether the additional modalities are used by masking color words in the source sets. The examined systems seem to perform similarly with small differences in their performance, with the multimodal ones giving more natural translations in many cases. Investigation on the predicted texts revealed several inconsistent parts and biases in the dataset. Results of the mask predictions show that it is very likely that systems indeed use the additional modalities when text is not sufficient, while the text model outputs predictions based on training biases."],"dc:identifier":["uoadl:2922357","https://pergamos.lib.uoa.gr/uoa/dl/object/2922357"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Image Informed Neural Machine Translation"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:39:35Z"}