Back to search

National and Kapodistrian University of Athens

Hallucination Detection in Large Language Models: A Task-Specific Approach on the HaluEval Benchmark

Abstract

dc:description

Τα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models) έχουν επιδείξει εξαιρετικές επιδόσεις σε ένα ευρύ φάσμα εργασιών Επεξεργασίας Φυσικής Γλώσσας, συμβάλλοντας σημαντικά στην πρόοδο του πεδίου τα τελευταία χρόνια. Ωστόσο, ένα από τα πιο σημαντικά μειονεκτήματά τους είναι η τάση να παράγουν ανακριβείς ή ψευδείς πληροφορίες με απόλυτο και πειστικό ύφος — ένα φαινόμενο που είναι ευρέως γνωστό στη διεθνή βιβλιογραφία ως «παραισθήσεις». Τα πλαστά αυτά στοιχεία, αν και συχνά πειστικά από γλωσσολογική άποψη, απειλούν τα θεμέλια της αυτόματης παραγωγής λόγου — την αξιοπιστία και την αλήθεια. Η παρούσα διπλωματική εργασία προσεγγίζει την ανίχνευση παραισθήσεων ως ένα πρόβλημα δυαδικής ταξινόμησης κειμένου, εφαρμόζοντας fine-tuning σε μοντέλα της αρχιτεκτονικής BERT και στις πιο διαδεδομένες παραλλαγές του (RoBERTa και DeBERTa) με δύο διαφορετικές μεθόδους προσαρμογής: την πλήρη προεκπαίδευση (full fine-tuning) και την Low-Rank Adaptation (LoRA). Τα πειράματα πραγματοποιήθηκαν στο σύνολο δεδομένων HaluEval, το οποίο περιλαμβάνει τέσσερις αντιπροσωπευτικές εργασίες όπου οι παραισθήσεις εμφανίζονται συχνότερα — γενικά ερωτήματα, ερωταποκρίσεις (QA), διαλόγους και περιλήψεις. Τα αποτελέσματα δείχνουν ότι, σε όλες τις επιμέρους εργασίες του HaluEval, οι ταξινομητές που εκπαιδεύτηκαν επιτυγχάνουν μέση ακρίβεια 88%–91%, ανάλογα με το μοντέλο και τη μέθοδο εκπαίδευσης, φτάνοντας έως και ~98% στις εργασίες ερωταποκρίσεων και περίληψης, ενώ κυμαίνονται μεταξύ 78%–84% στους διαλόγους και στα γενικά ερωτήματα. Οι παρατηρούμενες διαφορές στις επιδόσεις υποδεικνύουν ότι η ανίχνευση παραισθήσεων εξαρτάται σε μεγάλο βαθμό από τα χαρακτηριστικά της εκάστοτε εργασίας, με υψηλότερα επίπεδα συμφραστικής θεμελίωσης (contextual grounding) να οδηγούν σε σημαντικά βελτιωμένη ακρίβεια ανίχνευσης. Η μέθοδος LoRA επιτυγχάνει σχεδόν ισάξια απόδοση με το πλήρες fine-tuning, μειώνοντας όμως δραστικά το υπολογιστικό κόστος. Τέλος, οι οπτικοποιήσεις των attention αναδεικνύουν σαφείς διαφορές μεταξύ πραγματικών και κατασκευασμένων εξόδων: οι ορθές προβλέψεις εστιάζουν σε σημασιολογικά τεκμηριωμένες λέξεις, ενώ οι παραισθητικές εστιάζουν σε μη τεκμηριωμένες ή ψευδείς πληροφορίες, προσφέροντας ερμηνευτικά στοιχεία για τον τρόπο λήψης αποφάσεων του μοντέλου.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Τσενεκίδου Σοφία
  • Tsenekidou Sofia

Subjects

dc:subject × 2

Rights

Language dc:language
Ελληνικά, English, Greek

Identifiers

dc:identifier.*
Identifier
uoadl:5423200

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Τσενεκίδου Σοφία; Tsenekidou Sofia. Hallucination Detection in Large Language Models: A Task-Specific Approach on the HaluEval Benchmark. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5423200