{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5450173"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5450173","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Evaluating Conversational RAG Systems for Grounded Question Answering over Literary Fiction: From Naïve RAG to Contextual Enrichment","abstract":"Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) αποτελούν σήμερα τη βάση της πλειονότητας των διαλογικών εφαρμογών και εφαρμογών απάντησης ερωτήσεων (QA). Ωστόσο, παραμένουν επιρρεπή σε ψευδαισθήσεις, δηλαδή στην παραγωγή εξόδων που, παρά το γεγονός ότι ακούγονται σίγουρες και ευφράδεις, είναι συχνά εσφαλμένες. Αυτός ο κίνδυνος είναι ιδιαίτερα κρίσιμος σε εφαρμογές QA, όπου μια εύλογη αλλά κατασκευασμένη απάντηση μπορεί να είναι δυσδιάκριτη από μια σωστή. Η Επαυξημένη Παραγωγή μέσω Ανάκτησης (RAG) μετριάζει αυτόν τον κίνδυνο βασίζοντας την παραγωγή κειμένου σε ένα εξωτερικό σώμα εγγράφων και περικλείει ένα εύρος τεχνικών των οποίων η χρήση εξαρτάται από τον σκοπό και τον τομέα της εφαρμογής RAG. Σε σύγκριση με τον ανοιχτό τομέα ή τομείς όπως η υγεία και το δίκαιο, η λογοτεχνία παραμένει ανεπαρκώς μελετημένη, παρά τις δικές της ιδιαίτερες προκλήσεις: τα μυθιστορήματα είναι εκτενή έργα με σύνθετη αφηγηματική δομή, μεταφορική γλώσσα και σχέσεις χαρακτήρων που απαιτούν συλλογισμό πέρα από την επιφανειακή ανάκτηση γεγονότων. Η παρούσα εργασία αξιολογεί συστηματικά πώς οι αποφάσεις σχεδιασμού RAG επηρεάζουν τη θεμελίωση, τις ψευδαισθήσεις και την ποιότητα των απαντήσεων σε διαλογική λογοτεχνική QA. Παρουσιάζονται τρία ανθρωπογενή σύνολα δεδομένων: ένα αγγλικό σύνολο δεδομένων ενός διαλογικού γύρου (91 ερωτήσεις), ένα αγγλικό σύνολο δεδομένων περισσότερων γύρων (40 ερωτήσεις) και ένα ελληνικό σύνολο δεδομένων ενός γύρου (35 ερωτήσεις). Αυτά καλύπτουν δύο αγγλικά γοτθικά μυθιστορήματα και δύο ελληνικά μυθιστορήματα μαζί με συσχετιζόμενα δευτερεύοντα κριτικά δοκίμια και είναι δομημένα γύρω από μια τυπολογία ερωτήσεων πέντε τύπων (γεγονός, επεξήγηση, πολυπαραγραφική, ερμηνευτική, μη απαντήσιμη) σχεδιασμένη ώστε να αντικατοπτρίζει τον τρόπο με τον οποίο οι αναγνώστες πραγματικά προσεγγίζουν τα λογοτεχνικά κείμενα. Ένα εύρος διαφορετικών τεχνικών, συμπεριλαμβανομένων LLM baseline κλειστού- και ανοιχτού-βιβλίου, απλοϊκού RAG και συμφραστικής ανάκτησης (όπου μια τοποθετική περιγραφή παραγόμενη από LLM προτάσσεται σε κάθε τμήμα πριν από το indexing), αξιολογείται και στα τρία σύνολα δεδομένων μέσω ενός συνδυασμού ποσοτικών μετρικών και μιας χειροκίνητης ποιοτικής ανάλυσης σφαλμάτων, υποστηριζόμενης από μια ταξινομία σφαλμάτων που αναπτύχθηκε για την καταγραφή αστοχιών ειδικών στη λογοτεχνική RAG. Τα αποτελέσματα δείχνουν ότι η συμφραστική ανάκτηση είναι η πιο αποδοτική μέθοδος για τους περισσότερους τύπους ερωτήσεων στην αγγλική QA ενός διαλογικού γύρου (single-turn) και προσεγγίζει την ποιότητα απάντησης της παραγωγής ανοιχτού-βιβλίου με περίπου 42 φορές λιγότερα tokens ανά ερώτημαꞏ η εξαίρεση αφορά τις ερμηνευτικές ερωτήσεις (βασισμένες σε δευτερεύουσες κριτικές πηγές), όπου απλούστερες στρατηγικές ανάκτησης αποδεικνύονται πιο αποτελεσματικές. Στον διάλογο περισσότερων γύρων (multi-turn), η συμφραστική ανάκτηση βελτιώνει σημαντικά την ποιότητα ανάκτησης σε σχέση με το απλοϊκό RAG, ωστόσο αυτή η βελτίωση δεν μεταφράζεται σταθερά σε σημαντικά καλύτερες απαντήσεις, κάτι που υποδεικνύει μια πιο σύνθετη σχέση μεταξύ ποιότητας ανάκτησης και παραγωγής σε αυτό το πλαίσιο. Για τα ελληνικά, η συμφραστική ανάκτηση διατηρεί ένα μεγάλο υπολογιστικό πλεονέκτημα έναντι της παραγωγής ανοιχτού-βιβλίου (περίπου 17 φορές λιγότερα tokens ανά ερώτημα), αλλά με σημαντικό κόστος στην ποιότητα των απαντήσεων. Εδώ, το κύριο σημείο συμφόρησης είναι πιθανότατα οι δυνατότητες των πολυγλωσσικών embedding μοντέλων για γλώσσες χαμηλών πόρων και όχι η ίδια η μέθοδος της συμφραστικής ανάκτησης. Επιπλέον, η ποιοτική ανάλυση αποκαλύπτει ότι ορισμένοι τύποι σφαλμάτων, όπως το abstention failure (αδυναμία αποχής από απάντηση), παραμένουν ακόμη και στις πιο αποδοτικές διαμορφώσεις, υποδεικνύοντας γόνιμες κατευθύνσεις για μελλοντική έρευνα. Συνολικά, η παρούσα εργασία αποτελεί ένα πρώτο βήμα προς την κατανόηση των απαιτήσεων που θέτει η λογοτεχνία στα συστήματα RAG και στο πού αυτά τα συστήματα εξακολουθούν να σφάλλουν. Πέρα από τα πειραματικά της ευρήματα, τα σύνολα δεδομένων και η ταξινομία σφαλμάτων που αναπτύχθηκαν προορίζονται ως πόροι για μελλοντική έρευνα στη λογοτεχνική QA, με στόχο την ανάπτυξη πιο αξιόπιστων και ευαίσθητων στη λογοτεχνία εφαρμογών RAG.","abstract_html":"Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) αποτελούν σήμερα τη βάση της πλειονότητας των διαλογικών εφαρμογών και εφαρμογών απάντησης ερωτήσεων (QA). Ωστόσο, παραμένουν επιρρεπή σε ψευδαισθήσεις, δηλαδή στην παραγωγή εξόδων που, παρά το γεγονός ότι ακούγονται σίγουρες και ευφράδεις, είναι συχνά εσφαλμένες. Αυτός ο κίνδυνος είναι ιδιαίτερα κρίσιμος σε εφαρμογές QA, όπου μια εύλογη αλλά κατασκευασμένη απάντηση μπορεί να είναι δυσδιάκριτη από μια σωστή. Η Επαυξημένη Παραγωγή μέσω Ανάκτησης (RAG) μετριάζει αυτόν τον κίνδυνο βασίζοντας την παραγωγή κειμένου σε ένα εξωτερικό σώμα εγγράφων και περικλείει ένα εύρος τεχνικών των οποίων η χρήση εξαρτάται από τον σκοπό και τον τομέα της εφαρμογής RAG. Σε σύγκριση με τον ανοιχτό τομέα ή τομείς όπως η υγεία και το δίκαιο, η λογοτεχνία παραμένει ανεπαρκώς μελετημένη, παρά τις δικές της ιδιαίτερες προκλήσεις: τα μυθιστορήματα είναι εκτενή έργα με σύνθετη αφηγηματική δομή, μεταφορική γλώσσα και σχέσεις χαρακτήρων που απαιτούν συλλογισμό πέρα από την επιφανειακή ανάκτηση γεγονότων. Η παρούσα εργασία αξιολογεί συστηματικά πώς οι αποφάσεις σχεδιασμού RAG επηρεάζουν τη θεμελίωση, τις ψευδαισθήσεις και την ποιότητα των απαντήσεων σε διαλογική λογοτεχνική QA. Παρουσιάζονται τρία ανθρωπογενή σύνολα δεδομένων: ένα αγγλικό σύνολο δεδομένων ενός διαλογικού γύρου (91 ερωτήσεις), ένα αγγλικό σύνολο δεδομένων περισσότερων γύρων (40 ερωτήσεις) και ένα ελληνικό σύνολο δεδομένων ενός γύρου (35 ερωτήσεις). Αυτά καλύπτουν δύο αγγλικά γοτθικά μυθιστορήματα και δύο ελληνικά μυθιστορήματα μαζί με συσχετιζόμενα δευτερεύοντα κριτικά δοκίμια και είναι δομημένα γύρω από μια τυπολογία ερωτήσεων πέντε τύπων (γεγονός, επεξήγηση, πολυπαραγραφική, ερμηνευτική, μη απαντήσιμη) σχεδιασμένη ώστε να αντικατοπτρίζει τον τρόπο με τον οποίο οι αναγνώστες πραγματικά προσεγγίζουν τα λογοτεχνικά κείμενα. Ένα εύρος διαφορετικών τεχνικών, συμπεριλαμβανομένων LLM baseline κλειστού- και ανοιχτού-βιβλίου, απλοϊκού RAG και συμφραστικής ανάκτησης (όπου μια τοποθετική περιγραφή παραγόμενη από LLM προτάσσεται σε κάθε τμήμα πριν από το indexing), αξιολογείται και στα τρία σύνολα δεδομένων μέσω ενός συνδυασμού ποσοτικών μετρικών και μιας χειροκίνητης ποιοτικής ανάλυσης σφαλμάτων, υποστηριζόμενης από μια ταξινομία σφαλμάτων που αναπτύχθηκε για την καταγραφή αστοχιών ειδικών στη λογοτεχνική RAG. Τα αποτελέσματα δείχνουν ότι η συμφραστική ανάκτηση είναι η πιο αποδοτική μέθοδος για τους περισσότερους τύπους ερωτήσεων στην αγγλική QA ενός διαλογικού γύρου (single-turn) και προσεγγίζει την ποιότητα απάντησης της παραγωγής ανοιχτού-βιβλίου με περίπου 42 φορές λιγότερα tokens ανά ερώτημαꞏ η εξαίρεση αφορά τις ερμηνευτικές ερωτήσεις (βασισμένες σε δευτερεύουσες κριτικές πηγές), όπου απλούστερες στρατηγικές ανάκτησης αποδεικνύονται πιο αποτελεσματικές. Στον διάλογο περισσότερων γύρων (multi-turn), η συμφραστική ανάκτηση βελτιώνει σημαντικά την ποιότητα ανάκτησης σε σχέση με το απλοϊκό RAG, ωστόσο αυτή η βελτίωση δεν μεταφράζεται σταθερά σε σημαντικά καλύτερες απαντήσεις, κάτι που υποδεικνύει μια πιο σύνθετη σχέση μεταξύ ποιότητας ανάκτησης και παραγωγής σε αυτό το πλαίσιο. Για τα ελληνικά, η συμφραστική ανάκτηση διατηρεί ένα μεγάλο υπολογιστικό πλεονέκτημα έναντι της παραγωγής ανοιχτού-βιβλίου (περίπου 17 φορές λιγότερα tokens ανά ερώτημα), αλλά με σημαντικό κόστος στην ποιότητα των απαντήσεων. Εδώ, το κύριο σημείο συμφόρησης είναι πιθανότατα οι δυνατότητες των πολυγλωσσικών embedding μοντέλων για γλώσσες χαμηλών πόρων και όχι η ίδια η μέθοδος της συμφραστικής ανάκτησης. Επιπλέον, η ποιοτική ανάλυση αποκαλύπτει ότι ορισμένοι τύποι σφαλμάτων, όπως το abstention failure (αδυναμία αποχής από απάντηση), παραμένουν ακόμη και στις πιο αποδοτικές διαμορφώσεις, υποδεικνύοντας γόνιμες κατευθύνσεις για μελλοντική έρευνα. Συνολικά, η παρούσα εργασία αποτελεί ένα πρώτο βήμα προς την κατανόηση των απαιτήσεων που θέτει η λογοτεχνία στα συστήματα RAG και στο πού αυτά τα συστήματα εξακολουθούν να σφάλλουν. Πέρα από τα πειραματικά της ευρήματα, τα σύνολα δεδομένων και η ταξινομία σφαλμάτων που αναπτύχθηκαν προορίζονται ως πόροι για μελλοντική έρευνα στη λογοτεχνική QA, με στόχο την ανάπτυξη πιο αξιόπιστων και ευαίσθητων στη λογοτεχνία εφαρμογών RAG.","abstract_has_math":false,"creators":["ΓΚΑΤΖΕΛΑΚΗ ΔΗΜΗΤΡΑ","GKATZELAKI DIMITRA"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:20:46Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5450173"],"render_values":[{"text":"uoadl:5450173","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5450173","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5450173","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5450173","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΓΚΑΤΖΕΛΑΚΗ ΔΗΜΗΤΡΑ","GKATZELAKI DIMITRA"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5450173","https://pergamos.lib.uoa.gr/uoa/dl/object/5450173"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) αποτελούν σήμερα τη βάση της πλειονότητας των διαλογικών εφαρμογών και εφαρμογών απάντησης ερωτήσεων (QA). Ωστόσο, παραμένουν επιρρεπή σε ψευδαισθήσεις, δηλαδή στην παραγωγή εξόδων που, παρά το γεγονός ότι ακούγονται σίγουρες και ευφράδεις, είναι συχνά εσφαλμένες. Αυτός ο κίνδυνος είναι ιδιαίτερα κρίσιμος σε εφαρμογές QA, όπου μια εύλογη αλλά κατασκευασμένη απάντηση μπορεί να είναι δυσδιάκριτη από μια σωστή. Η Επαυξημένη Παραγωγή μέσω Ανάκτησης (RAG) μετριάζει αυτόν τον κίνδυνο βασίζοντας την παραγωγή κειμένου σε ένα εξωτερικό σώμα εγγράφων και περικλείει ένα εύρος τεχνικών των οποίων η χρήση εξαρτάται από τον σκοπό και τον τομέα της εφαρμογής RAG. Σε σύγκριση με τον ανοιχτό τομέα ή τομείς όπως η υγεία και το δίκαιο, η λογοτεχνία παραμένει ανεπαρκώς μελετημένη, παρά τις δικές της ιδιαίτερες προκλήσεις: τα μυθιστορήματα είναι εκτενή έργα με σύνθετη αφηγηματική δομή, μεταφορική γλώσσα και σχέσεις χαρακτήρων που απαιτούν συλλογισμό πέρα από την επιφανειακή ανάκτηση γεγονότων. Η παρούσα εργασία αξιολογεί συστηματικά πώς οι αποφάσεις σχεδιασμού RAG επηρεάζουν τη θεμελίωση, τις ψευδαισθήσεις και την ποιότητα των απαντήσεων σε διαλογική λογοτεχνική QA. Παρουσιάζονται τρία ανθρωπογενή σύνολα δεδομένων: ένα αγγλικό σύνολο δεδομένων ενός διαλογικού γύρου (91 ερωτήσεις), ένα αγγλικό σύνολο δεδομένων περισσότερων γύρων (40 ερωτήσεις) και ένα ελληνικό σύνολο δεδομένων ενός γύρου (35 ερωτήσεις). Αυτά καλύπτουν δύο αγγλικά γοτθικά μυθιστορήματα και δύο ελληνικά μυθιστορήματα μαζί με συσχετιζόμενα δευτερεύοντα κριτικά δοκίμια και είναι δομημένα γύρω από μια τυπολογία ερωτήσεων πέντε τύπων (γεγονός, επεξήγηση, πολυπαραγραφική, ερμηνευτική, μη απαντήσιμη) σχεδιασμένη ώστε να αντικατοπτρίζει τον τρόπο με τον οποίο οι αναγνώστες πραγματικά προσεγγίζουν τα λογοτεχνικά κείμενα. Ένα εύρος διαφορετικών τεχνικών, συμπεριλαμβανομένων LLM baseline κλειστού- και ανοιχτού-βιβλίου, απλοϊκού RAG και συμφραστικής ανάκτησης (όπου μια τοποθετική περιγραφή παραγόμενη από LLM προτάσσεται σε κάθε τμήμα πριν από το indexing), αξιολογείται και στα τρία σύνολα δεδομένων μέσω ενός συνδυασμού ποσοτικών μετρικών και μιας χειροκίνητης ποιοτικής ανάλυσης σφαλμάτων, υποστηριζόμενης από μια ταξινομία σφαλμάτων που αναπτύχθηκε για την καταγραφή αστοχιών ειδικών στη λογοτεχνική RAG. Τα αποτελέσματα δείχνουν ότι η συμφραστική ανάκτηση είναι η πιο αποδοτική μέθοδος για τους περισσότερους τύπους ερωτήσεων στην αγγλική QA ενός διαλογικού γύρου (single-turn) και προσεγγίζει την ποιότητα απάντησης της παραγωγής ανοιχτού-βιβλίου με περίπου 42 φορές λιγότερα tokens ανά ερώτημαꞏ η εξαίρεση αφορά τις ερμηνευτικές ερωτήσεις (βασισμένες σε δευτερεύουσες κριτικές πηγές), όπου απλούστερες στρατηγικές ανάκτησης αποδεικνύονται πιο αποτελεσματικές. Στον διάλογο περισσότερων γύρων (multi-turn), η συμφραστική ανάκτηση βελτιώνει σημαντικά την ποιότητα ανάκτησης σε σχέση με το απλοϊκό RAG, ωστόσο αυτή η βελτίωση δεν μεταφράζεται σταθερά σε σημαντικά καλύτερες απαντήσεις, κάτι που υποδεικνύει μια πιο σύνθετη σχέση μεταξύ ποιότητας ανάκτησης και παραγωγής σε αυτό το πλαίσιο. Για τα ελληνικά, η συμφραστική ανάκτηση διατηρεί ένα μεγάλο υπολογιστικό πλεονέκτημα έναντι της παραγωγής ανοιχτού-βιβλίου (περίπου 17 φορές λιγότερα tokens ανά ερώτημα), αλλά με σημαντικό κόστος στην ποιότητα των απαντήσεων. Εδώ, το κύριο σημείο συμφόρησης είναι πιθανότατα οι δυνατότητες των πολυγλωσσικών embedding μοντέλων για γλώσσες χαμηλών πόρων και όχι η ίδια η μέθοδος της συμφραστικής ανάκτησης. Επιπλέον, η ποιοτική ανάλυση αποκαλύπτει ότι ορισμένοι τύποι σφαλμάτων, όπως το abstention failure (αδυναμία αποχής από απάντηση), παραμένουν ακόμη και στις πιο αποδοτικές διαμορφώσεις, υποδεικνύοντας γόνιμες κατευθύνσεις για μελλοντική έρευνα. Συνολικά, η παρούσα εργασία αποτελεί ένα πρώτο βήμα προς την κατανόηση των απαιτήσεων που θέτει η λογοτεχνία στα συστήματα RAG και στο πού αυτά τα συστήματα εξακολουθούν να σφάλλουν. Πέρα από τα πειραματικά της ευρήματα, τα σύνολα δεδομένων και η ταξινομία σφαλμάτων που αναπτύχθηκαν προορίζονται ως πόροι για μελλοντική έρευνα στη λογοτεχνική QA, με στόχο την ανάπτυξη πιο αξιόπιστων και ευαίσθητων στη λογοτεχνία εφαρμογών RAG.","Large Language Models (LLMs) are nowadays the basis of the majority of conversational and question-answering (QA) applications. However, they remain prone to hallucination, that is, producing outputs that, despite sounding confident and fluent, are often factually wrong. This risk is particularly critical in QA applications, where a plausible but fabricated answer may be indistinguishable from a correct one. Retrieval-Augmented Generation (RAG) alleviates this risk by grounding generation in an external document corpus and encompasses a range of techniques whose use often depends on the purpose and domain of the RAG application. Compared to open domain or domains such as healthcare and law, literary fiction remains understudied despite posing its own challenges: novels are long-form works with complex narrative structure, figurative language and character relationships that require reasoning beyond surface-level factual retrieval. This thesis systematically evaluates how RAG design decisions affect grounding, hallucination and answer quality in conversational literary QA. Three human-crafted datasets are introduced: an English single-turn dataset (91 questions), an English multi-turn dataset (40 questions) and a Greek single-turn dataset (35 questions). These span two English Gothic novels and two Greek novels along with associated secondary critical essays and are structured around a five-type question typology (fact, explanation, multi-passage, interpretation, unanswerable) designed to reflect how readers genuinely engage with literary texts. A range of pipeline variants, including closed-book and open-book LLM baselines, naïve RAG and contextual retrieval (where an LLM-generated situating description is prepended to each chunk before indexing), is evaluated across all three datasets using a combination of quantitative metrics and a manual qualitative error analysis, supported by an error taxonomy developed to capture failure modes in literary RAG. Results show that contextual retrieval is the strongest-performing method for most question types in English single-turn QA and approaches open-book generation’s answer quality at approximately 42 times fewer tokens per query; the exception lies with interpretation questions (grounded in secondary critical sources), where simpler retrieval strategies are more effective. In multi-turn dialogue, contextual retrieval significantly improves retrieval quality over naïve RAG, however this improvement does not consistently translate into significantly better answers, which points to a more complex relationship between retrieval and generation quality in this setting. For Greek, contextual retrieval maintains a large computational advantage over open-book generation (approx. 17 times fewer tokens per query), but at a substantial cost to answer quality. Here, the primary bottleneck is likely the capabilities of multilingual embedding models for lower-resource languages rather than the contextual retrieval method itself. Further, qualitative analysis reveals that certain error types, such as abstention failure, persist even in the strongest-performing configurations, pointing to fruitful directions for future work. Overall, this thesis takes a first step towards understanding the demands literary fiction places on RAG systems and what those systems still get wrong. Beyond its experimental findings, the datasets and error taxonomy developed are intended as resources for future research in literary QA, so as to develop more reliable and literature-aware RAG applications."]},{"key":"dc:title","label":"Title","values":["Evaluating Conversational RAG Systems for Grounded Question Answering over Literary Fiction: From Naïve RAG to Contextual Enrichment"]}]}],"canonical_facts":{"dc:creator":["ΓΚΑΤΖΕΛΑΚΗ ΔΗΜΗΤΡΑ","GKATZELAKI DIMITRA"],"dc:date":["2026"],"dc:description":["Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) αποτελούν σήμερα τη βάση της πλειονότητας των διαλογικών εφαρμογών και εφαρμογών απάντησης ερωτήσεων (QA). Ωστόσο, παραμένουν επιρρεπή σε ψευδαισθήσεις, δηλαδή στην παραγωγή εξόδων που, παρά το γεγονός ότι ακούγονται σίγουρες και ευφράδεις, είναι συχνά εσφαλμένες. Αυτός ο κίνδυνος είναι ιδιαίτερα κρίσιμος σε εφαρμογές QA, όπου μια εύλογη αλλά κατασκευασμένη απάντηση μπορεί να είναι δυσδιάκριτη από μια σωστή. Η Επαυξημένη Παραγωγή μέσω Ανάκτησης (RAG) μετριάζει αυτόν τον κίνδυνο βασίζοντας την παραγωγή κειμένου σε ένα εξωτερικό σώμα εγγράφων και περικλείει ένα εύρος τεχνικών των οποίων η χρήση εξαρτάται από τον σκοπό και τον τομέα της εφαρμογής RAG. Σε σύγκριση με τον ανοιχτό τομέα ή τομείς όπως η υγεία και το δίκαιο, η λογοτεχνία παραμένει ανεπαρκώς μελετημένη, παρά τις δικές της ιδιαίτερες προκλήσεις: τα μυθιστορήματα είναι εκτενή έργα με σύνθετη αφηγηματική δομή, μεταφορική γλώσσα και σχέσεις χαρακτήρων που απαιτούν συλλογισμό πέρα από την επιφανειακή ανάκτηση γεγονότων. Η παρούσα εργασία αξιολογεί συστηματικά πώς οι αποφάσεις σχεδιασμού RAG επηρεάζουν τη θεμελίωση, τις ψευδαισθήσεις και την ποιότητα των απαντήσεων σε διαλογική λογοτεχνική QA. Παρουσιάζονται τρία ανθρωπογενή σύνολα δεδομένων: ένα αγγλικό σύνολο δεδομένων ενός διαλογικού γύρου (91 ερωτήσεις), ένα αγγλικό σύνολο δεδομένων περισσότερων γύρων (40 ερωτήσεις) και ένα ελληνικό σύνολο δεδομένων ενός γύρου (35 ερωτήσεις). Αυτά καλύπτουν δύο αγγλικά γοτθικά μυθιστορήματα και δύο ελληνικά μυθιστορήματα μαζί με συσχετιζόμενα δευτερεύοντα κριτικά δοκίμια και είναι δομημένα γύρω από μια τυπολογία ερωτήσεων πέντε τύπων (γεγονός, επεξήγηση, πολυπαραγραφική, ερμηνευτική, μη απαντήσιμη) σχεδιασμένη ώστε να αντικατοπτρίζει τον τρόπο με τον οποίο οι αναγνώστες πραγματικά προσεγγίζουν τα λογοτεχνικά κείμενα. Ένα εύρος διαφορετικών τεχνικών, συμπεριλαμβανομένων LLM baseline κλειστού- και ανοιχτού-βιβλίου, απλοϊκού RAG και συμφραστικής ανάκτησης (όπου μια τοποθετική περιγραφή παραγόμενη από LLM προτάσσεται σε κάθε τμήμα πριν από το indexing), αξιολογείται και στα τρία σύνολα δεδομένων μέσω ενός συνδυασμού ποσοτικών μετρικών και μιας χειροκίνητης ποιοτικής ανάλυσης σφαλμάτων, υποστηριζόμενης από μια ταξινομία σφαλμάτων που αναπτύχθηκε για την καταγραφή αστοχιών ειδικών στη λογοτεχνική RAG. Τα αποτελέσματα δείχνουν ότι η συμφραστική ανάκτηση είναι η πιο αποδοτική μέθοδος για τους περισσότερους τύπους ερωτήσεων στην αγγλική QA ενός διαλογικού γύρου (single-turn) και προσεγγίζει την ποιότητα απάντησης της παραγωγής ανοιχτού-βιβλίου με περίπου 42 φορές λιγότερα tokens ανά ερώτημαꞏ η εξαίρεση αφορά τις ερμηνευτικές ερωτήσεις (βασισμένες σε δευτερεύουσες κριτικές πηγές), όπου απλούστερες στρατηγικές ανάκτησης αποδεικνύονται πιο αποτελεσματικές. Στον διάλογο περισσότερων γύρων (multi-turn), η συμφραστική ανάκτηση βελτιώνει σημαντικά την ποιότητα ανάκτησης σε σχέση με το απλοϊκό RAG, ωστόσο αυτή η βελτίωση δεν μεταφράζεται σταθερά σε σημαντικά καλύτερες απαντήσεις, κάτι που υποδεικνύει μια πιο σύνθετη σχέση μεταξύ ποιότητας ανάκτησης και παραγωγής σε αυτό το πλαίσιο. Για τα ελληνικά, η συμφραστική ανάκτηση διατηρεί ένα μεγάλο υπολογιστικό πλεονέκτημα έναντι της παραγωγής ανοιχτού-βιβλίου (περίπου 17 φορές λιγότερα tokens ανά ερώτημα), αλλά με σημαντικό κόστος στην ποιότητα των απαντήσεων. Εδώ, το κύριο σημείο συμφόρησης είναι πιθανότατα οι δυνατότητες των πολυγλωσσικών embedding μοντέλων για γλώσσες χαμηλών πόρων και όχι η ίδια η μέθοδος της συμφραστικής ανάκτησης. Επιπλέον, η ποιοτική ανάλυση αποκαλύπτει ότι ορισμένοι τύποι σφαλμάτων, όπως το abstention failure (αδυναμία αποχής από απάντηση), παραμένουν ακόμη και στις πιο αποδοτικές διαμορφώσεις, υποδεικνύοντας γόνιμες κατευθύνσεις για μελλοντική έρευνα. Συνολικά, η παρούσα εργασία αποτελεί ένα πρώτο βήμα προς την κατανόηση των απαιτήσεων που θέτει η λογοτεχνία στα συστήματα RAG και στο πού αυτά τα συστήματα εξακολουθούν να σφάλλουν. Πέρα από τα πειραματικά της ευρήματα, τα σύνολα δεδομένων και η ταξινομία σφαλμάτων που αναπτύχθηκαν προορίζονται ως πόροι για μελλοντική έρευνα στη λογοτεχνική QA, με στόχο την ανάπτυξη πιο αξιόπιστων και ευαίσθητων στη λογοτεχνία εφαρμογών RAG.","Large Language Models (LLMs) are nowadays the basis of the majority of conversational and question-answering (QA) applications. However, they remain prone to hallucination, that is, producing outputs that, despite sounding confident and fluent, are often factually wrong. This risk is particularly critical in QA applications, where a plausible but fabricated answer may be indistinguishable from a correct one. Retrieval-Augmented Generation (RAG) alleviates this risk by grounding generation in an external document corpus and encompasses a range of techniques whose use often depends on the purpose and domain of the RAG application. Compared to open domain or domains such as healthcare and law, literary fiction remains understudied despite posing its own challenges: novels are long-form works with complex narrative structure, figurative language and character relationships that require reasoning beyond surface-level factual retrieval. This thesis systematically evaluates how RAG design decisions affect grounding, hallucination and answer quality in conversational literary QA. Three human-crafted datasets are introduced: an English single-turn dataset (91 questions), an English multi-turn dataset (40 questions) and a Greek single-turn dataset (35 questions). These span two English Gothic novels and two Greek novels along with associated secondary critical essays and are structured around a five-type question typology (fact, explanation, multi-passage, interpretation, unanswerable) designed to reflect how readers genuinely engage with literary texts. A range of pipeline variants, including closed-book and open-book LLM baselines, naïve RAG and contextual retrieval (where an LLM-generated situating description is prepended to each chunk before indexing), is evaluated across all three datasets using a combination of quantitative metrics and a manual qualitative error analysis, supported by an error taxonomy developed to capture failure modes in literary RAG. Results show that contextual retrieval is the strongest-performing method for most question types in English single-turn QA and approaches open-book generation’s answer quality at approximately 42 times fewer tokens per query; the exception lies with interpretation questions (grounded in secondary critical sources), where simpler retrieval strategies are more effective. In multi-turn dialogue, contextual retrieval significantly improves retrieval quality over naïve RAG, however this improvement does not consistently translate into significantly better answers, which points to a more complex relationship between retrieval and generation quality in this setting. For Greek, contextual retrieval maintains a large computational advantage over open-book generation (approx. 17 times fewer tokens per query), but at a substantial cost to answer quality. Here, the primary bottleneck is likely the capabilities of multilingual embedding models for lower-resource languages rather than the contextual retrieval method itself. Further, qualitative analysis reveals that certain error types, such as abstention failure, persist even in the strongest-performing configurations, pointing to fruitful directions for future work. Overall, this thesis takes a first step towards understanding the demands literary fiction places on RAG systems and what those systems still get wrong. Beyond its experimental findings, the datasets and error taxonomy developed are intended as resources for future research in literary QA, so as to develop more reliable and literature-aware RAG applications."],"dc:identifier":["uoadl:5450173","https://pergamos.lib.uoa.gr/uoa/dl/object/5450173"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Evaluating Conversational RAG Systems for Grounded Question Answering over Literary Fiction: From Naïve RAG to Contextual Enrichment"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:20:46Z"}