{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5423200"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5423200","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Hallucination Detection in Large Language Models: A Task-Specific Approach on the HaluEval Benchmark","abstract":"Τα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models) έχουν επιδείξει εξαιρετικές επιδόσεις σε ένα ευρύ φάσμα εργασιών Επεξεργασίας Φυσικής Γλώσσας, συμβάλλοντας σημαντικά στην πρόοδο του πεδίου τα τελευταία χρόνια. Ωστόσο, ένα από τα πιο σημαντικά μειονεκτήματά τους είναι η τάση να παράγουν ανακριβείς ή ψευδείς πληροφορίες με απόλυτο και πειστικό ύφος — ένα φαινόμενο που είναι ευρέως γνωστό στη διεθνή βιβλιογραφία ως «παραισθήσεις». Τα πλαστά αυτά στοιχεία, αν και συχνά πειστικά από γλωσσολογική άποψη, απειλούν τα θεμέλια της αυτόματης παραγωγής λόγου — την αξιοπιστία και την αλήθεια. Η παρούσα διπλωματική εργασία προσεγγίζει την ανίχνευση παραισθήσεων ως ένα πρόβλημα δυαδικής ταξινόμησης κειμένου, εφαρμόζοντας fine-tuning σε μοντέλα της αρχιτεκτονικής BERT και στις πιο διαδεδομένες παραλλαγές του (RoBERTa και DeBERTa) με δύο διαφορετικές μεθόδους προσαρμογής: την πλήρη προεκπαίδευση (full fine-tuning) και την Low-Rank Adaptation (LoRA). Τα πειράματα πραγματοποιήθηκαν στο σύνολο δεδομένων HaluEval, το οποίο περιλαμβάνει τέσσερις αντιπροσωπευτικές εργασίες όπου οι παραισθήσεις εμφανίζονται συχνότερα — γενικά ερωτήματα, ερωταποκρίσεις (QA), διαλόγους και περιλήψεις. Τα αποτελέσματα δείχνουν ότι, σε όλες τις επιμέρους εργασίες του HaluEval, οι ταξινομητές που εκπαιδεύτηκαν επιτυγχάνουν μέση ακρίβεια 88%–91%, ανάλογα με το μοντέλο και τη μέθοδο εκπαίδευσης, φτάνοντας έως και ~98% στις εργασίες ερωταποκρίσεων και περίληψης, ενώ κυμαίνονται μεταξύ 78%–84% στους διαλόγους και στα γενικά ερωτήματα. Οι παρατηρούμενες διαφορές στις επιδόσεις υποδεικνύουν ότι η ανίχνευση παραισθήσεων εξαρτάται σε μεγάλο βαθμό από τα χαρακτηριστικά της εκάστοτε εργασίας, με υψηλότερα επίπεδα συμφραστικής θεμελίωσης (contextual grounding) να οδηγούν σε σημαντικά βελτιωμένη ακρίβεια ανίχνευσης. Η μέθοδος LoRA επιτυγχάνει σχεδόν ισάξια απόδοση με το πλήρες fine-tuning, μειώνοντας όμως δραστικά το υπολογιστικό κόστος. Τέλος, οι οπτικοποιήσεις των attention αναδεικνύουν σαφείς διαφορές μεταξύ πραγματικών και κατασκευασμένων εξόδων: οι ορθές προβλέψεις εστιάζουν σε σημασιολογικά τεκμηριωμένες λέξεις, ενώ οι παραισθητικές εστιάζουν σε μη τεκμηριωμένες ή ψευδείς πληροφορίες, προσφέροντας ερμηνευτικά στοιχεία για τον τρόπο λήψης αποφάσεων του μοντέλου.","abstract_html":"Τα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models) έχουν επιδείξει εξαιρετικές επιδόσεις σε ένα ευρύ φάσμα εργασιών Επεξεργασίας Φυσικής Γλώσσας, συμβάλλοντας σημαντικά στην πρόοδο του πεδίου τα τελευταία χρόνια. Ωστόσο, ένα από τα πιο σημαντικά μειονεκτήματά τους είναι η τάση να παράγουν ανακριβείς ή ψευδείς πληροφορίες με απόλυτο και πειστικό ύφος — ένα φαινόμενο που είναι ευρέως γνωστό στη διεθνή βιβλιογραφία ως «παραισθήσεις». Τα πλαστά αυτά στοιχεία, αν και συχνά πειστικά από γλωσσολογική άποψη, απειλούν τα θεμέλια της αυτόματης παραγωγής λόγου — την αξιοπιστία και την αλήθεια. Η παρούσα διπλωματική εργασία προσεγγίζει την ανίχνευση παραισθήσεων ως ένα πρόβλημα δυαδικής ταξινόμησης κειμένου, εφαρμόζοντας fine-tuning σε μοντέλα της αρχιτεκτονικής BERT και στις πιο διαδεδομένες παραλλαγές του (RoBERTa και DeBERTa) με δύο διαφορετικές μεθόδους προσαρμογής: την πλήρη προεκπαίδευση (full fine-tuning) και την Low-Rank Adaptation (LoRA). Τα πειράματα πραγματοποιήθηκαν στο σύνολο δεδομένων HaluEval, το οποίο περιλαμβάνει τέσσερις αντιπροσωπευτικές εργασίες όπου οι παραισθήσεις εμφανίζονται συχνότερα — γενικά ερωτήματα, ερωταποκρίσεις (QA), διαλόγους και περιλήψεις. Τα αποτελέσματα δείχνουν ότι, σε όλες τις επιμέρους εργασίες του HaluEval, οι ταξινομητές που εκπαιδεύτηκαν επιτυγχάνουν μέση ακρίβεια 88%–91%, ανάλογα με το μοντέλο και τη μέθοδο εκπαίδευσης, φτάνοντας έως και ~98% στις εργασίες ερωταποκρίσεων και περίληψης, ενώ κυμαίνονται μεταξύ 78%–84% στους διαλόγους και στα γενικά ερωτήματα. Οι παρατηρούμενες διαφορές στις επιδόσεις υποδεικνύουν ότι η ανίχνευση παραισθήσεων εξαρτάται σε μεγάλο βαθμό από τα χαρακτηριστικά της εκάστοτε εργασίας, με υψηλότερα επίπεδα συμφραστικής θεμελίωσης (contextual grounding) να οδηγούν σε σημαντικά βελτιωμένη ακρίβεια ανίχνευσης. Η μέθοδος LoRA επιτυγχάνει σχεδόν ισάξια απόδοση με το πλήρες fine-tuning, μειώνοντας όμως δραστικά το υπολογιστικό κόστος. Τέλος, οι οπτικοποιήσεις των attention αναδεικνύουν σαφείς διαφορές μεταξύ πραγματικών και κατασκευασμένων εξόδων: οι ορθές προβλέψεις εστιάζουν σε σημασιολογικά τεκμηριωμένες λέξεις, ενώ οι παραισθητικές εστιάζουν σε μη τεκμηριωμένες ή ψευδείς πληροφορίες, προσφέροντας ερμηνευτικά στοιχεία για τον τρόπο λήψης αποφάσεων του μοντέλου.","abstract_has_math":false,"creators":["Τσενεκίδου Σοφία","Tsenekidou Sofia"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:20:14Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5423200"],"render_values":[{"text":"uoadl:5423200","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5423200","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5423200","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5423200","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Τσενεκίδου Σοφία","Tsenekidou Sofia"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5423200","https://pergamos.lib.uoa.gr/uoa/dl/object/5423200"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models) έχουν επιδείξει εξαιρετικές επιδόσεις σε ένα ευρύ φάσμα εργασιών Επεξεργασίας Φυσικής Γλώσσας, συμβάλλοντας σημαντικά στην πρόοδο του πεδίου τα τελευταία χρόνια. Ωστόσο, ένα από τα πιο σημαντικά μειονεκτήματά τους είναι η τάση να παράγουν ανακριβείς ή ψευδείς πληροφορίες με απόλυτο και πειστικό ύφος — ένα φαινόμενο που είναι ευρέως γνωστό στη διεθνή βιβλιογραφία ως «παραισθήσεις». Τα πλαστά αυτά στοιχεία, αν και συχνά πειστικά από γλωσσολογική άποψη, απειλούν τα θεμέλια της αυτόματης παραγωγής λόγου — την αξιοπιστία και την αλήθεια. Η παρούσα διπλωματική εργασία προσεγγίζει την ανίχνευση παραισθήσεων ως ένα πρόβλημα δυαδικής ταξινόμησης κειμένου, εφαρμόζοντας fine-tuning σε μοντέλα της αρχιτεκτονικής BERT και στις πιο διαδεδομένες παραλλαγές του (RoBERTa και DeBERTa) με δύο διαφορετικές μεθόδους προσαρμογής: την πλήρη προεκπαίδευση (full fine-tuning) και την Low-Rank Adaptation (LoRA). Τα πειράματα πραγματοποιήθηκαν στο σύνολο δεδομένων HaluEval, το οποίο περιλαμβάνει τέσσερις αντιπροσωπευτικές εργασίες όπου οι παραισθήσεις εμφανίζονται συχνότερα — γενικά ερωτήματα, ερωταποκρίσεις (QA), διαλόγους και περιλήψεις. Τα αποτελέσματα δείχνουν ότι, σε όλες τις επιμέρους εργασίες του HaluEval, οι ταξινομητές που εκπαιδεύτηκαν επιτυγχάνουν μέση ακρίβεια 88%–91%, ανάλογα με το μοντέλο και τη μέθοδο εκπαίδευσης, φτάνοντας έως και ~98% στις εργασίες ερωταποκρίσεων και περίληψης, ενώ κυμαίνονται μεταξύ 78%–84% στους διαλόγους και στα γενικά ερωτήματα. Οι παρατηρούμενες διαφορές στις επιδόσεις υποδεικνύουν ότι η ανίχνευση παραισθήσεων εξαρτάται σε μεγάλο βαθμό από τα χαρακτηριστικά της εκάστοτε εργασίας, με υψηλότερα επίπεδα συμφραστικής θεμελίωσης (contextual grounding) να οδηγούν σε σημαντικά βελτιωμένη ακρίβεια ανίχνευσης. Η μέθοδος LoRA επιτυγχάνει σχεδόν ισάξια απόδοση με το πλήρες fine-tuning, μειώνοντας όμως δραστικά το υπολογιστικό κόστος. Τέλος, οι οπτικοποιήσεις των attention αναδεικνύουν σαφείς διαφορές μεταξύ πραγματικών και κατασκευασμένων εξόδων: οι ορθές προβλέψεις εστιάζουν σε σημασιολογικά τεκμηριωμένες λέξεις, ενώ οι παραισθητικές εστιάζουν σε μη τεκμηριωμένες ή ψευδείς πληροφορίες, προσφέροντας ερμηνευτικά στοιχεία για τον τρόπο λήψης αποφάσεων του μοντέλου.","Large Language Models (LLMs) have demonstrated exceptional performance across a wide range of natural language processing tasks, significantly advancing the field in recent years. However, one of their most prominent limitations is their tendency to produce inaccurate or false information with a confident tone—a phenomenon commonly referred to as hallucination. These fabricated elements, though often linguistically plausible, threaten the very foundations of reliability and truthfulness in natural language generation. This thesis approaches hallucination detection as a binary sequence classification task, fine-tuning BERT and its most widely used variants (RoBERTa and DeBERTa) under two adaptation strategies: full fine-tuning and Low-Rank Adaptation (LoRA). Experiments are conducted on the HaluEval benchmark across four representative tasks where hallucinations frequently occur—general queries, question answering (QA), dialogue, and summarization. Results demonstrate that, across all HaluEval tasks, the fine-tuned classifiers achieve an average of 88%–91% accuracy, depending on the model and adaptation method, peaking at ~98% on QA and summarization and ranging from 78%–84% on dialogue and general queries. The observed performance differences suggest that hallucination detection is strongly dependent on task characteristics, with higher levels of contextual grounding leading to substantially improved detection accuracy. LoRA attains nearly identical performance to full fine-tuning while drastically reducing computational cost. Finally, attention visualizations provide qualitative insight into the model’s behavior, revealing distinct attention patterns between factual and hallucinated outputs and offering interpretable evidence of the decision process."]},{"key":"dc:title","label":"Title","values":["Hallucination Detection in Large Language Models: A Task-Specific Approach on the HaluEval Benchmark"]}]}],"canonical_facts":{"dc:creator":["Τσενεκίδου Σοφία","Tsenekidou Sofia"],"dc:date":["2026"],"dc:description":["Τα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models) έχουν επιδείξει εξαιρετικές επιδόσεις σε ένα ευρύ φάσμα εργασιών Επεξεργασίας Φυσικής Γλώσσας, συμβάλλοντας σημαντικά στην πρόοδο του πεδίου τα τελευταία χρόνια. Ωστόσο, ένα από τα πιο σημαντικά μειονεκτήματά τους είναι η τάση να παράγουν ανακριβείς ή ψευδείς πληροφορίες με απόλυτο και πειστικό ύφος — ένα φαινόμενο που είναι ευρέως γνωστό στη διεθνή βιβλιογραφία ως «παραισθήσεις». Τα πλαστά αυτά στοιχεία, αν και συχνά πειστικά από γλωσσολογική άποψη, απειλούν τα θεμέλια της αυτόματης παραγωγής λόγου — την αξιοπιστία και την αλήθεια. Η παρούσα διπλωματική εργασία προσεγγίζει την ανίχνευση παραισθήσεων ως ένα πρόβλημα δυαδικής ταξινόμησης κειμένου, εφαρμόζοντας fine-tuning σε μοντέλα της αρχιτεκτονικής BERT και στις πιο διαδεδομένες παραλλαγές του (RoBERTa και DeBERTa) με δύο διαφορετικές μεθόδους προσαρμογής: την πλήρη προεκπαίδευση (full fine-tuning) και την Low-Rank Adaptation (LoRA). Τα πειράματα πραγματοποιήθηκαν στο σύνολο δεδομένων HaluEval, το οποίο περιλαμβάνει τέσσερις αντιπροσωπευτικές εργασίες όπου οι παραισθήσεις εμφανίζονται συχνότερα — γενικά ερωτήματα, ερωταποκρίσεις (QA), διαλόγους και περιλήψεις. Τα αποτελέσματα δείχνουν ότι, σε όλες τις επιμέρους εργασίες του HaluEval, οι ταξινομητές που εκπαιδεύτηκαν επιτυγχάνουν μέση ακρίβεια 88%–91%, ανάλογα με το μοντέλο και τη μέθοδο εκπαίδευσης, φτάνοντας έως και ~98% στις εργασίες ερωταποκρίσεων και περίληψης, ενώ κυμαίνονται μεταξύ 78%–84% στους διαλόγους και στα γενικά ερωτήματα. Οι παρατηρούμενες διαφορές στις επιδόσεις υποδεικνύουν ότι η ανίχνευση παραισθήσεων εξαρτάται σε μεγάλο βαθμό από τα χαρακτηριστικά της εκάστοτε εργασίας, με υψηλότερα επίπεδα συμφραστικής θεμελίωσης (contextual grounding) να οδηγούν σε σημαντικά βελτιωμένη ακρίβεια ανίχνευσης. Η μέθοδος LoRA επιτυγχάνει σχεδόν ισάξια απόδοση με το πλήρες fine-tuning, μειώνοντας όμως δραστικά το υπολογιστικό κόστος. Τέλος, οι οπτικοποιήσεις των attention αναδεικνύουν σαφείς διαφορές μεταξύ πραγματικών και κατασκευασμένων εξόδων: οι ορθές προβλέψεις εστιάζουν σε σημασιολογικά τεκμηριωμένες λέξεις, ενώ οι παραισθητικές εστιάζουν σε μη τεκμηριωμένες ή ψευδείς πληροφορίες, προσφέροντας ερμηνευτικά στοιχεία για τον τρόπο λήψης αποφάσεων του μοντέλου.","Large Language Models (LLMs) have demonstrated exceptional performance across a wide range of natural language processing tasks, significantly advancing the field in recent years. However, one of their most prominent limitations is their tendency to produce inaccurate or false information with a confident tone—a phenomenon commonly referred to as hallucination. These fabricated elements, though often linguistically plausible, threaten the very foundations of reliability and truthfulness in natural language generation. This thesis approaches hallucination detection as a binary sequence classification task, fine-tuning BERT and its most widely used variants (RoBERTa and DeBERTa) under two adaptation strategies: full fine-tuning and Low-Rank Adaptation (LoRA). Experiments are conducted on the HaluEval benchmark across four representative tasks where hallucinations frequently occur—general queries, question answering (QA), dialogue, and summarization. Results demonstrate that, across all HaluEval tasks, the fine-tuned classifiers achieve an average of 88%–91% accuracy, depending on the model and adaptation method, peaking at ~98% on QA and summarization and ranging from 78%–84% on dialogue and general queries. The observed performance differences suggest that hallucination detection is strongly dependent on task characteristics, with higher levels of contextual grounding leading to substantially improved detection accuracy. LoRA attains nearly identical performance to full fine-tuning while drastically reducing computational cost. Finally, attention visualizations provide qualitative insight into the model’s behavior, revealing distinct attention patterns between factual and hallucinated outputs and offering interpretable evidence of the decision process."],"dc:identifier":["uoadl:5423200","https://pergamos.lib.uoa.gr/uoa/dl/object/5423200"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Hallucination Detection in Large Language Models: A Task-Specific Approach on the HaluEval Benchmark"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:20:14Z"}