National and Kapodistrian University of Athens
Hallucination Detection in Large Language Models: A Task-Specific Approach on the HaluEval Benchmark
Abstract
dc:descriptionΤα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models) έχουν επιδείξει εξαιρετικές επιδόσεις σε ένα ευρύ φάσμα εργασιών Επεξεργασίας Φυσικής Γλώσσας, συμβάλλοντας σημαντικά στην πρόοδο του πεδίου τα τελευταία χρόνια. Ωστόσο, ένα από τα πιο σημαντικά μειονεκτήματά τους είναι η τάση να παράγουν ανακριβείς ή ψευδείς πληροφορίες με απόλυτο και πειστικό ύφος — ένα φαινόμενο που είναι ευρέως γνωστό στη διεθνή βιβλιογραφία ως «παραισθήσεις». Τα πλαστά αυτά στοιχεία, αν και συχνά πειστικά από γλωσσολογική άποψη, απειλούν τα θεμέλια της αυτόματης παραγωγής λόγου — την αξιοπιστία και την αλήθεια. Η παρούσα διπλωματική εργασία προσεγγίζει την ανίχνευση παραισθήσεων ως ένα πρόβλημα δυαδικής ταξινόμησης κειμένου, εφαρμόζοντας fine-tuning σε μοντέλα της αρχιτεκτονικής BERT και στις πιο διαδεδομένες παραλλαγές του (RoBERTa και DeBERTa) με δύο διαφορετικές μεθόδους προσαρμογής: την πλήρη προεκπαίδευση (full fine-tuning) και την Low-Rank Adaptation (LoRA). Τα πειράματα πραγματοποιήθηκαν στο σύνολο δεδομένων HaluEval, το οποίο περιλαμβάνει τέσσερις αντιπροσωπευτικές εργασίες όπου οι παραισθήσεις εμφανίζονται συχνότερα — γενικά ερωτήματα, ερωταποκρίσεις (QA), διαλόγους και περιλήψεις. Τα αποτελέσματα δείχνουν ότι, σε όλες τις επιμέρους εργασίες του HaluEval, οι ταξινομητές που εκπαιδεύτηκαν επιτυγχάνουν μέση ακρίβεια 88%–91%, ανάλογα με το μοντέλο και τη μέθοδο εκπαίδευσης, φτάνοντας έως και ~98% στις εργασίες ερωταποκρίσεων και περίληψης, ενώ κυμαίνονται μεταξύ 78%–84% στους διαλόγους και στα γενικά ερωτήματα. Οι παρατηρούμενες διαφορές στις επιδόσεις υποδεικνύουν ότι η ανίχνευση παραισθήσεων εξαρτάται σε μεγάλο βαθμό από τα χαρακτηριστικά της εκάστοτε εργασίας, με υψηλότερα επίπεδα συμφραστικής θεμελίωσης (contextual grounding) να οδηγούν σε σημαντικά βελτιωμένη ακρίβεια ανίχνευσης. Η μέθοδος LoRA επιτυγχάνει σχεδόν ισάξια απόδοση με το πλήρες fine-tuning, μειώνοντας όμως δραστικά το υπολογιστικό κόστος. Τέλος, οι οπτικοποιήσεις των attention αναδεικνύουν σαφείς διαφορές μεταξύ πραγματικών και κατασκευασμένων εξόδων: οι ορθές προβλέψεις εστιάζουν σε σημασιολογικά τεκμηριωμένες λέξεις, ενώ οι παραισθητικές εστιάζουν σε μη τεκμηριωμένες ή ψευδείς πληροφορίες, προσφέροντας ερμηνευτικά στοιχεία για τον τρόπο λήψης αποφάσεων του μοντέλου.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Τσενεκίδου Σοφία
- Tsenekidou Sofia
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, English, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:5423200