National and Kapodistrian University of Athens
A First Study of Generative CommonSense Reasoning in Greek
Abstract
dc:descriptionΗ ελεγχόμενη παραγωγή κειμένου και η παραγωγική συλλογιστική κοινής λογικής (commonsense reasoning) αποτελούν διαχρονικά προκλήσεις στον τομέα της Επεξεργασίας Φυσικής Γλώσσας (Natural Language Processing), ιδίως για γλώσσες χαμηλών πόρων, όπως η ελληνική. Η παρούσα διπλωματική εργασία διερευνά την απόδοση ελληνικών γλωσσικών μοντέλων σε μια μεταφρασμένη, ελληνική εκδοχή του benchmark CommonGen, το οποίο αξιολογεί την ικανότητά τους να παράγουν εύγλωττες και σημασιολογικά συνεκτικές προτάσεις βάσει ενός δεδομένου συνόλου εννοιών (concept set). Χρησιμοποιώντας την ελληνική έκδοση του dataset CommonGen, η μελέτη αυτή αξιολογεί διάφορες διαμορφώσεις (configurations) των μοντέλων KriKri και Meltemi, συμπεριλαμβανομένων πλήρους ακρίβειας και quantized παραλλαγών, καθώς και εκδόσεων που έχουν υποστεί προσαρμογή παραμέτρων (finetuning) μέσω QLoRA. Τα πειράματα περιλάμβαναν διαφορετικές στρατηγικές prompting και αποκωδικοποίησης. Η αξιολόγηση συνδυάζει αυτόματες μετρικές, όπως BLEU-4 και CIDEr, με ανθρώπινη αξιολόγηση που μετρά τη γραμματική ορθότητα, τη λογική συνοχή και την κάλυψη των concept sets. Τα αποτελέσματα δείχνουν ότι τα ελληνικά LLMs, και ιδίως το KriKri, είναι απολύτως ικανά να ανταποκριθούν σε εργασίες παραγωγικής συλλογιστικής κοινής λογικής, με τον συνδυασμό few-shot prompting και ντετερμινιστικής αποκωδικοποίησης (greedy ή beam search) να παράγει τα αποτελέσματα υψηλότερης ποιότητας. Η ανθρώπινη αξιολόγηση για την πλειονότητα των πειραμάτων κατέγραψε γενικά υψηλές βαθμολογίες, αν και εξακολουθούν να εντοπίζονται λεπτές διαφοροποιήσεις μεταξύ των πειραμάτων. Οι αυτόματες μετρικές αξιολόγησης αποδείχθηκαν χρήσιμες, αλλά περιορισμένες ως προς την αποτύπωση της συνολικής ποιότητας των παραγόμενων κειμένων, καθώς σε ορισμένες περιπτώσεις υποβαθμολογούν σημασιολογικά έγκυρες αλλά λεξιλογικά ποικίλες παραγωγές, ενώ αντίθετα μπορεί να επιβραβεύουν επαναληπτικές ή υπερβολικά συντηρητικές εξόδους απλώς και μόνο λόγω μεγαλύτερης ομοιότητας με το κείμενο αναφοράς. Η μελέτη αναδεικνύει επίσης την επιρροή του finetuning μέσω QLoRA στην εκτέλεση του task. Συνολικά, τα ευρήματα τεκμηριώνουν τη καταλληλότητα των ελληνικών LLM για εργασίες ελεγχόμενης παραγωγής κειμένου και υπογραμμίζουν την ανάγκη επανεξέτασης του τρόπου με τον οποίο σχεδιάζονται και εφαρμόζονται οι αυτόματες μετρικές αξιολόγησης αναφοράς στο πλαίσιο της ελληνικής παραγωγής φυσικής γλώσσας. Η παρούσα εργασία προσφέρει το πρώτο benchmark τύπου CommonGen για την ελληνική γλώσσα και παρέχει χρήσιμα συμπεράσματα που μπορούν να καθοδηγήσουν μελλοντική έρευνα σχετικά με την αποδοτικότητα των μοντέλων, τις στρατηγικές prompting και τη μεθοδολογία αξιολόγησης στην ελληνική NLP.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Σταμόπουλος Αριστοτέλης
- Stamopoulos Aristotelis
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5324346