Back to search

National and Kapodistrian University of Athens

Creating the Greek Multi30K: A Methodological Framework for Translation System Selection and Evaluation

Abstract

dc:description

Η ραγδαία ανάπτυξη της Μηχανικής Μετάφρασης (MT) και των Μεγάλων Γλωσσικών Μοντέλων (LLM) έχει προωθήσει σημαντικά την πολυγλωσσική επικοινωνία. Ακολουθώντας τις βασικές αρχές αξιολόγησης της ποιότητας της μετάφρασης, η παρούσα διατριβή αξιολογεί τα πιο σύγχρονα συστήματα αυτόματης μετάφρασης (MT) και τα μοντέλα LLM τελευταίας τεχνολογίας. Αρχικά, παρέχουμε μια επισκόπηση της ιστορικής εξέλιξης των προσεγγίσεων MT, από τα συστήματα που βασίζονται σε κανόνες και στατιστικά συστήματα έως τα νευρωνικά μοντέλα, παράλληλα με τα συστήματα τελευταίας τεχνολογίας. Τα πειράματα επικεντρώνονται σε δύο σύνολα δεδομένων/ dataset, το Multi30K και το ELRA-W0301. Το σύνολο δεδομένων Multi30K είναι αυτό που χρησιμοποιείται για τις εργασίες της μετάφρασης και της αξιολόγησης. Αφού βρήκαμε το καλύτερο σύστημα μετάφρασης, μέσω διεξοδικής εξέτασης, το σύστημα Multi30K μεταφράζεται για πρώτη φορά στην ελληνική γλώσσα. Το σύνολο δεδομένων ELRA-W0301 χρησιμοποιείται ως βάση για τη δημιουργία ενός μικρού πολυτροπικού συνόλου δεδομένων. Επιπλέον, αναλύεται μια σειρά μοντέλων, που περιλαμβάνει τόσο παραδοσιακά συστήματα MT (DeepL, Google Translate) όσο και προηγμένα LLM (GPT-4, Claude 3.7 Sonnet, Llama-Krikri, DeepSeek, Aya Expanse 8B και Gemma 3 27B). Στρατηγικές prompt engineering, όπως no prompting, zero-shot prompting, few-shot prompting και post-editing, εφαρμόζονται συστηματικά για την αξιολόγηση της απόδοσης της μετάφρασης. Η αξιολόγηση βασίζεται σε ευρέως χρησιμοποιούμενες μετρήσεις (BLEU, METEOR, chrF, TER, COMET), που συμπληρώνονται από στατιστική ανάλυση (παραμετρικές και μη παραμετρικές δοκιμές, συμπεριλαμβανομένων των paired t-tests, one way ANOVA, repeated measures ANOVA και Wilcoxon test) για την εξασφάλιση αξιόπιστων συγκρίσεων. Τα αποτελέσματα δείχνουν ότι, ενώ τα παραδοσιακά εργαλεία MT, όπως το Google Translate, επωφελούνται σημαντικά από τo Post-Editing(PE), τα LLMs παρουσιάζουν ανταγωνιστική απόδοση υπό κατάλληλες στρατηγικές προτροπής. Στατιστικά στοιχεία επιβεβαιώνουν ότι η μηχανική προτροπής και οι υβριδικές προσεγγίσεις, όπως η αυτόματη μετάφραση ακολουθούμενη από Post-Editing(PE), βελτιώνουν σταθερά την ποιότητα της μετάφρασης. Η παρούσα διατριβή επιθυμεί να συμβάλει στην αξιολόγηση των πολυγλωσσικών και πολυτροπικών συστημάτων μετάφρασης, προσφέροντας μια μεθοδολογία προς αναπαραγωγή, εμπειρικά σημεία αναφοράς και πληροφορίες σχετικά με την αλληλεπίδραση μεταξύ μοντέλων MT, LLMs και τεχνικών προτροπής. Επίσης, παρέχει στην ελληνική κοινότητα της Επεξεργασίας Φυσικής Γλώσσας ένα χρήσιμο εργαλείο όπως το ελληνικό Multi30K για περαιτέρω χρήση σε αντίστοιχα ερευνητικά πεδία.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Αποστολοπούλου Νίκη
  • Apostolopoulou Niki

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5314782

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Αποστολοπούλου Νίκη; Apostolopoulou Niki. Creating the Greek Multi30K: A Methodological Framework for Translation System Selection and Evaluation. 2025. https://pergamos.lib.uoa.gr/uoa/dl/object/5314782