{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5314782"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5314782","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Creating the Greek Multi30K: A Methodological Framework for Translation System Selection and Evaluation","abstract":"Η ραγδαία ανάπτυξη της Μηχανικής Μετάφρασης (MT) και των Μεγάλων Γλωσσικών Μοντέλων (LLM) έχει προωθήσει σημαντικά την πολυγλωσσική επικοινωνία. Ακολουθώντας τις βασικές αρχές αξιολόγησης της ποιότητας της μετάφρασης, η παρούσα διατριβή αξιολογεί τα πιο σύγχρονα συστήματα αυτόματης μετάφρασης (MT) και τα μοντέλα LLM τελευταίας τεχνολογίας. Αρχικά, παρέχουμε μια επισκόπηση της ιστορικής εξέλιξης των προσεγγίσεων MT, από τα συστήματα που βασίζονται σε κανόνες και στατιστικά συστήματα έως τα νευρωνικά μοντέλα, παράλληλα με τα συστήματα τελευταίας τεχνολογίας. Τα πειράματα επικεντρώνονται σε δύο σύνολα δεδομένων/ dataset, το Multi30K και το ELRA-W0301. Το σύνολο δεδομένων Multi30K είναι αυτό που χρησιμοποιείται για τις εργασίες της μετάφρασης και της αξιολόγησης. Αφού βρήκαμε το καλύτερο σύστημα μετάφρασης, μέσω διεξοδικής εξέτασης, το σύστημα Multi30K μεταφράζεται για πρώτη φορά στην ελληνική γλώσσα. Το σύνολο δεδομένων ELRA-W0301 χρησιμοποιείται ως βάση για τη δημιουργία ενός μικρού πολυτροπικού συνόλου δεδομένων. Επιπλέον, αναλύεται μια σειρά μοντέλων, που περιλαμβάνει τόσο παραδοσιακά συστήματα MT (DeepL, Google Translate) όσο και προηγμένα LLM (GPT-4, Claude 3.7 Sonnet, Llama-Krikri, DeepSeek, Aya Expanse 8B και Gemma 3 27B). Στρατηγικές prompt engineering, όπως no prompting, zero-shot prompting, few-shot prompting και post-editing, εφαρμόζονται συστηματικά για την αξιολόγηση της απόδοσης της μετάφρασης. Η αξιολόγηση βασίζεται σε ευρέως χρησιμοποιούμενες μετρήσεις (BLEU, METEOR, chrF, TER, COMET), που συμπληρώνονται από στατιστική ανάλυση (παραμετρικές και μη παραμετρικές δοκιμές, συμπεριλαμβανομένων των paired t-tests, one way ANOVA, repeated measures ANOVA και Wilcoxon test) για την εξασφάλιση αξιόπιστων συγκρίσεων. Τα αποτελέσματα δείχνουν ότι, ενώ τα παραδοσιακά εργαλεία MT, όπως το Google Translate, επωφελούνται σημαντικά από τo Post-Editing(PE), τα LLMs παρουσιάζουν ανταγωνιστική απόδοση υπό κατάλληλες στρατηγικές προτροπής. Στατιστικά στοιχεία επιβεβαιώνουν ότι η μηχανική προτροπής και οι υβριδικές προσεγγίσεις, όπως η αυτόματη μετάφραση ακολουθούμενη από Post-Editing(PE), βελτιώνουν σταθερά την ποιότητα της μετάφρασης. Η παρούσα διατριβή επιθυμεί να συμβάλει στην αξιολόγηση των πολυγλωσσικών και πολυτροπικών συστημάτων μετάφρασης, προσφέροντας μια μεθοδολογία προς αναπαραγωγή, εμπειρικά σημεία αναφοράς και πληροφορίες σχετικά με την αλληλεπίδραση μεταξύ μοντέλων MT, LLMs και τεχνικών προτροπής. Επίσης, παρέχει στην ελληνική κοινότητα της Επεξεργασίας Φυσικής Γλώσσας ένα χρήσιμο εργαλείο όπως το ελληνικό Multi30K για περαιτέρω χρήση σε αντίστοιχα ερευνητικά πεδία.","abstract_html":"Η ραγδαία ανάπτυξη της Μηχανικής Μετάφρασης (MT) και των Μεγάλων Γλωσσικών Μοντέλων (LLM) έχει προωθήσει σημαντικά την πολυγλωσσική επικοινωνία. Ακολουθώντας τις βασικές αρχές αξιολόγησης της ποιότητας της μετάφρασης, η παρούσα διατριβή αξιολογεί τα πιο σύγχρονα συστήματα αυτόματης μετάφρασης (MT) και τα μοντέλα LLM τελευταίας τεχνολογίας. Αρχικά, παρέχουμε μια επισκόπηση της ιστορικής εξέλιξης των προσεγγίσεων MT, από τα συστήματα που βασίζονται σε κανόνες και στατιστικά συστήματα έως τα νευρωνικά μοντέλα, παράλληλα με τα συστήματα τελευταίας τεχνολογίας. Τα πειράματα επικεντρώνονται σε δύο σύνολα δεδομένων/ dataset, το Multi30K και το ELRA-W0301. Το σύνολο δεδομένων Multi30K είναι αυτό που χρησιμοποιείται για τις εργασίες της μετάφρασης και της αξιολόγησης. Αφού βρήκαμε το καλύτερο σύστημα μετάφρασης, μέσω διεξοδικής εξέτασης, το σύστημα Multi30K μεταφράζεται για πρώτη φορά στην ελληνική γλώσσα. Το σύνολο δεδομένων ELRA-W0301 χρησιμοποιείται ως βάση για τη δημιουργία ενός μικρού πολυτροπικού συνόλου δεδομένων. Επιπλέον, αναλύεται μια σειρά μοντέλων, που περιλαμβάνει τόσο παραδοσιακά συστήματα MT (DeepL, Google Translate) όσο και προηγμένα LLM (GPT-4, Claude 3.7 Sonnet, Llama-Krikri, DeepSeek, Aya Expanse 8B και Gemma 3 27B). Στρατηγικές prompt engineering, όπως no prompting, zero-shot prompting, few-shot prompting και post-editing, εφαρμόζονται συστηματικά για την αξιολόγηση της απόδοσης της μετάφρασης. Η αξιολόγηση βασίζεται σε ευρέως χρησιμοποιούμενες μετρήσεις (BLEU, METEOR, chrF, TER, COMET), που συμπληρώνονται από στατιστική ανάλυση (παραμετρικές και μη παραμετρικές δοκιμές, συμπεριλαμβανομένων των paired t-tests, one way ANOVA, repeated measures ANOVA και Wilcoxon test) για την εξασφάλιση αξιόπιστων συγκρίσεων. Τα αποτελέσματα δείχνουν ότι, ενώ τα παραδοσιακά εργαλεία MT, όπως το Google Translate, επωφελούνται σημαντικά από τo Post-Editing(PE), τα LLMs παρουσιάζουν ανταγωνιστική απόδοση υπό κατάλληλες στρατηγικές προτροπής. Στατιστικά στοιχεία επιβεβαιώνουν ότι η μηχανική προτροπής και οι υβριδικές προσεγγίσεις, όπως η αυτόματη μετάφραση ακολουθούμενη από Post-Editing(PE), βελτιώνουν σταθερά την ποιότητα της μετάφρασης. Η παρούσα διατριβή επιθυμεί να συμβάλει στην αξιολόγηση των πολυγλωσσικών και πολυτροπικών συστημάτων μετάφρασης, προσφέροντας μια μεθοδολογία προς αναπαραγωγή, εμπειρικά σημεία αναφοράς και πληροφορίες σχετικά με την αλληλεπίδραση μεταξύ μοντέλων MT, LLMs και τεχνικών προτροπής. Επίσης, παρέχει στην ελληνική κοινότητα της Επεξεργασίας Φυσικής Γλώσσας ένα χρήσιμο εργαλείο όπως το ελληνικό Multi30K για περαιτέρω χρήση σε αντίστοιχα ερευνητικά πεδία.","abstract_has_math":false,"creators":["Αποστολοπούλου Νίκη","Apostolopoulou Niki"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2025,"date_issued":"2025","date_published":"2025","updated_at":"2026-11-19T06:40:58Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5314782"],"render_values":[{"text":"uoadl:5314782","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5314782","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5314782","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5314782","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Αποστολοπούλου Νίκη","Apostolopoulou Niki"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2025"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5314782","https://pergamos.lib.uoa.gr/uoa/dl/object/5314782"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η ραγδαία ανάπτυξη της Μηχανικής Μετάφρασης (MT) και των Μεγάλων Γλωσσικών Μοντέλων (LLM) έχει προωθήσει σημαντικά την πολυγλωσσική επικοινωνία. Ακολουθώντας τις βασικές αρχές αξιολόγησης της ποιότητας της μετάφρασης, η παρούσα διατριβή αξιολογεί τα πιο σύγχρονα συστήματα αυτόματης μετάφρασης (MT) και τα μοντέλα LLM τελευταίας τεχνολογίας. Αρχικά, παρέχουμε μια επισκόπηση της ιστορικής εξέλιξης των προσεγγίσεων MT, από τα συστήματα που βασίζονται σε κανόνες και στατιστικά συστήματα έως τα νευρωνικά μοντέλα, παράλληλα με τα συστήματα τελευταίας τεχνολογίας. Τα πειράματα επικεντρώνονται σε δύο σύνολα δεδομένων/ dataset, το Multi30K και το ELRA-W0301. Το σύνολο δεδομένων Multi30K είναι αυτό που χρησιμοποιείται για τις εργασίες της μετάφρασης και της αξιολόγησης. Αφού βρήκαμε το καλύτερο σύστημα μετάφρασης, μέσω διεξοδικής εξέτασης, το σύστημα Multi30K μεταφράζεται για πρώτη φορά στην ελληνική γλώσσα. Το σύνολο δεδομένων ELRA-W0301 χρησιμοποιείται ως βάση για τη δημιουργία ενός μικρού πολυτροπικού συνόλου δεδομένων. Επιπλέον, αναλύεται μια σειρά μοντέλων, που περιλαμβάνει τόσο παραδοσιακά συστήματα MT (DeepL, Google Translate) όσο και προηγμένα LLM (GPT-4, Claude 3.7 Sonnet, Llama-Krikri, DeepSeek, Aya Expanse 8B και Gemma 3 27B). Στρατηγικές prompt engineering, όπως no prompting, zero-shot prompting, few-shot prompting και post-editing, εφαρμόζονται συστηματικά για την αξιολόγηση της απόδοσης της μετάφρασης. Η αξιολόγηση βασίζεται σε ευρέως χρησιμοποιούμενες μετρήσεις (BLEU, METEOR, chrF, TER, COMET), που συμπληρώνονται από στατιστική ανάλυση (παραμετρικές και μη παραμετρικές δοκιμές, συμπεριλαμβανομένων των paired t-tests, one way ANOVA, repeated measures ANOVA και Wilcoxon test) για την εξασφάλιση αξιόπιστων συγκρίσεων. Τα αποτελέσματα δείχνουν ότι, ενώ τα παραδοσιακά εργαλεία MT, όπως το Google Translate, επωφελούνται σημαντικά από τo Post-Editing(PE), τα LLMs παρουσιάζουν ανταγωνιστική απόδοση υπό κατάλληλες στρατηγικές προτροπής. Στατιστικά στοιχεία επιβεβαιώνουν ότι η μηχανική προτροπής και οι υβριδικές προσεγγίσεις, όπως η αυτόματη μετάφραση ακολουθούμενη από Post-Editing(PE), βελτιώνουν σταθερά την ποιότητα της μετάφρασης. Η παρούσα διατριβή επιθυμεί να συμβάλει στην αξιολόγηση των πολυγλωσσικών και πολυτροπικών συστημάτων μετάφρασης, προσφέροντας μια μεθοδολογία προς αναπαραγωγή, εμπειρικά σημεία αναφοράς και πληροφορίες σχετικά με την αλληλεπίδραση μεταξύ μοντέλων MT, LLMs και τεχνικών προτροπής. Επίσης, παρέχει στην ελληνική κοινότητα της Επεξεργασίας Φυσικής Γλώσσας ένα χρήσιμο εργαλείο όπως το ελληνικό Multi30K για περαιτέρω χρήση σε αντίστοιχα ερευνητικά πεδία.","The rapid development of machine translation (MT) and large language models (LLMs) has significantly advanced multilingual communication. Following the basics of the evaluation of translation quality, this thesis assesses state-of-the-art MT systems and LLMs. We first provide an overview of the historical evolution of MT approaches, from rule-based and statistical systems to neural models, alongside current state-of-the-art systems. Regarding the experimental setup it focuses on two datasets, Multi30K and ELRA-W0301. The Multi30K dataset is the one used for translation and evaluation tasks. After finding the best translation system, through thorough examination and evaluation, the Multi30K system is being translated in Greek language for the first time. The ELRA-W0301dataset is used as the basis for the creation of a small multimodal dataset. Moreover, a range of models is analyzed, encompassing both traditional MT systems (DeepL, Google Translate) and advanced LLMs (GPT-4, Claude 3.7 Sonnet, Llama-Krikri, DeepSeek, Aya Expanse 8B, and Gemma 3). Prompt engineering strategies, like no prompting, zero-shot prompting, few-shot prompting, and post-editing, are systematically applied to assess translation performance. Evaluation relies on widely used metrics (BLEU, METEOR, chrF, TER, COMET), complemented by statistical analysis (parametric and non-parametric tests, including paired t-tests, one way ANOVA, repeated measures ANOVA and Wilcoxon tests) to ensure robust comparisons. Results demonstrate that while traditional MT tools such as Google Translate benefit significantly from post-editing, LLMs exhibit competitive performance under appropriate prompting strategies. Statistical evidence confirms that prompt engineering and hybrid approaches, like automatic translation followed by post-editing, consistently advance the translation’s quality. This thesis wants to contribute to the evaluation of multilingual and multimodal translation systems by offering a reproducible methodology, empirical benchmarks, and insights into the interplay between MT models, LLMs, and prompting techniques. Also providing the Greek community of Natural Language Processing with a useful tool like the Greek Multi30K for further usage in corresponding research fields."]},{"key":"dc:title","label":"Title","values":["Creating the Greek Multi30K: A Methodological Framework for Translation System Selection and Evaluation"]}]}],"canonical_facts":{"dc:creator":["Αποστολοπούλου Νίκη","Apostolopoulou Niki"],"dc:date":["2025"],"dc:description":["Η ραγδαία ανάπτυξη της Μηχανικής Μετάφρασης (MT) και των Μεγάλων Γλωσσικών Μοντέλων (LLM) έχει προωθήσει σημαντικά την πολυγλωσσική επικοινωνία. Ακολουθώντας τις βασικές αρχές αξιολόγησης της ποιότητας της μετάφρασης, η παρούσα διατριβή αξιολογεί τα πιο σύγχρονα συστήματα αυτόματης μετάφρασης (MT) και τα μοντέλα LLM τελευταίας τεχνολογίας. Αρχικά, παρέχουμε μια επισκόπηση της ιστορικής εξέλιξης των προσεγγίσεων MT, από τα συστήματα που βασίζονται σε κανόνες και στατιστικά συστήματα έως τα νευρωνικά μοντέλα, παράλληλα με τα συστήματα τελευταίας τεχνολογίας. Τα πειράματα επικεντρώνονται σε δύο σύνολα δεδομένων/ dataset, το Multi30K και το ELRA-W0301. Το σύνολο δεδομένων Multi30K είναι αυτό που χρησιμοποιείται για τις εργασίες της μετάφρασης και της αξιολόγησης. Αφού βρήκαμε το καλύτερο σύστημα μετάφρασης, μέσω διεξοδικής εξέτασης, το σύστημα Multi30K μεταφράζεται για πρώτη φορά στην ελληνική γλώσσα. Το σύνολο δεδομένων ELRA-W0301 χρησιμοποιείται ως βάση για τη δημιουργία ενός μικρού πολυτροπικού συνόλου δεδομένων. Επιπλέον, αναλύεται μια σειρά μοντέλων, που περιλαμβάνει τόσο παραδοσιακά συστήματα MT (DeepL, Google Translate) όσο και προηγμένα LLM (GPT-4, Claude 3.7 Sonnet, Llama-Krikri, DeepSeek, Aya Expanse 8B και Gemma 3 27B). Στρατηγικές prompt engineering, όπως no prompting, zero-shot prompting, few-shot prompting και post-editing, εφαρμόζονται συστηματικά για την αξιολόγηση της απόδοσης της μετάφρασης. Η αξιολόγηση βασίζεται σε ευρέως χρησιμοποιούμενες μετρήσεις (BLEU, METEOR, chrF, TER, COMET), που συμπληρώνονται από στατιστική ανάλυση (παραμετρικές και μη παραμετρικές δοκιμές, συμπεριλαμβανομένων των paired t-tests, one way ANOVA, repeated measures ANOVA και Wilcoxon test) για την εξασφάλιση αξιόπιστων συγκρίσεων. Τα αποτελέσματα δείχνουν ότι, ενώ τα παραδοσιακά εργαλεία MT, όπως το Google Translate, επωφελούνται σημαντικά από τo Post-Editing(PE), τα LLMs παρουσιάζουν ανταγωνιστική απόδοση υπό κατάλληλες στρατηγικές προτροπής. Στατιστικά στοιχεία επιβεβαιώνουν ότι η μηχανική προτροπής και οι υβριδικές προσεγγίσεις, όπως η αυτόματη μετάφραση ακολουθούμενη από Post-Editing(PE), βελτιώνουν σταθερά την ποιότητα της μετάφρασης. Η παρούσα διατριβή επιθυμεί να συμβάλει στην αξιολόγηση των πολυγλωσσικών και πολυτροπικών συστημάτων μετάφρασης, προσφέροντας μια μεθοδολογία προς αναπαραγωγή, εμπειρικά σημεία αναφοράς και πληροφορίες σχετικά με την αλληλεπίδραση μεταξύ μοντέλων MT, LLMs και τεχνικών προτροπής. Επίσης, παρέχει στην ελληνική κοινότητα της Επεξεργασίας Φυσικής Γλώσσας ένα χρήσιμο εργαλείο όπως το ελληνικό Multi30K για περαιτέρω χρήση σε αντίστοιχα ερευνητικά πεδία.","The rapid development of machine translation (MT) and large language models (LLMs) has significantly advanced multilingual communication. Following the basics of the evaluation of translation quality, this thesis assesses state-of-the-art MT systems and LLMs. We first provide an overview of the historical evolution of MT approaches, from rule-based and statistical systems to neural models, alongside current state-of-the-art systems. Regarding the experimental setup it focuses on two datasets, Multi30K and ELRA-W0301. The Multi30K dataset is the one used for translation and evaluation tasks. After finding the best translation system, through thorough examination and evaluation, the Multi30K system is being translated in Greek language for the first time. The ELRA-W0301dataset is used as the basis for the creation of a small multimodal dataset. Moreover, a range of models is analyzed, encompassing both traditional MT systems (DeepL, Google Translate) and advanced LLMs (GPT-4, Claude 3.7 Sonnet, Llama-Krikri, DeepSeek, Aya Expanse 8B, and Gemma 3). Prompt engineering strategies, like no prompting, zero-shot prompting, few-shot prompting, and post-editing, are systematically applied to assess translation performance. Evaluation relies on widely used metrics (BLEU, METEOR, chrF, TER, COMET), complemented by statistical analysis (parametric and non-parametric tests, including paired t-tests, one way ANOVA, repeated measures ANOVA and Wilcoxon tests) to ensure robust comparisons. Results demonstrate that while traditional MT tools such as Google Translate benefit significantly from post-editing, LLMs exhibit competitive performance under appropriate prompting strategies. Statistical evidence confirms that prompt engineering and hybrid approaches, like automatic translation followed by post-editing, consistently advance the translation’s quality. This thesis wants to contribute to the evaluation of multilingual and multimodal translation systems by offering a reproducible methodology, empirical benchmarks, and insights into the interplay between MT models, LLMs, and prompting techniques. Also providing the Greek community of Natural Language Processing with a useful tool like the Greek Multi30K for further usage in corresponding research fields."],"dc:identifier":["uoadl:5314782","https://pergamos.lib.uoa.gr/uoa/dl/object/5314782"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Creating the Greek Multi30K: A Methodological Framework for Translation System Selection and Evaluation"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:40:58Z"}