Back to search

National and Kapodistrian University of Athens

Evaluating Conversational RAG Systems for Grounded Question Answering over Literary Fiction: From Naïve RAG to Contextual Enrichment

Abstract

dc:description

Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) αποτελούν σήμερα τη βάση της πλειονότητας των διαλογικών εφαρμογών και εφαρμογών απάντησης ερωτήσεων (QA). Ωστόσο, παραμένουν επιρρεπή σε ψευδαισθήσεις, δηλαδή στην παραγωγή εξόδων που, παρά το γεγονός ότι ακούγονται σίγουρες και ευφράδεις, είναι συχνά εσφαλμένες. Αυτός ο κίνδυνος είναι ιδιαίτερα κρίσιμος σε εφαρμογές QA, όπου μια εύλογη αλλά κατασκευασμένη απάντηση μπορεί να είναι δυσδιάκριτη από μια σωστή. Η Επαυξημένη Παραγωγή μέσω Ανάκτησης (RAG) μετριάζει αυτόν τον κίνδυνο βασίζοντας την παραγωγή κειμένου σε ένα εξωτερικό σώμα εγγράφων και περικλείει ένα εύρος τεχνικών των οποίων η χρήση εξαρτάται από τον σκοπό και τον τομέα της εφαρμογής RAG. Σε σύγκριση με τον ανοιχτό τομέα ή τομείς όπως η υγεία και το δίκαιο, η λογοτεχνία παραμένει ανεπαρκώς μελετημένη, παρά τις δικές της ιδιαίτερες προκλήσεις: τα μυθιστορήματα είναι εκτενή έργα με σύνθετη αφηγηματική δομή, μεταφορική γλώσσα και σχέσεις χαρακτήρων που απαιτούν συλλογισμό πέρα από την επιφανειακή ανάκτηση γεγονότων. Η παρούσα εργασία αξιολογεί συστηματικά πώς οι αποφάσεις σχεδιασμού RAG επηρεάζουν τη θεμελίωση, τις ψευδαισθήσεις και την ποιότητα των απαντήσεων σε διαλογική λογοτεχνική QA. Παρουσιάζονται τρία ανθρωπογενή σύνολα δεδομένων: ένα αγγλικό σύνολο δεδομένων ενός διαλογικού γύρου (91 ερωτήσεις), ένα αγγλικό σύνολο δεδομένων περισσότερων γύρων (40 ερωτήσεις) και ένα ελληνικό σύνολο δεδομένων ενός γύρου (35 ερωτήσεις). Αυτά καλύπτουν δύο αγγλικά γοτθικά μυθιστορήματα και δύο ελληνικά μυθιστορήματα μαζί με συσχετιζόμενα δευτερεύοντα κριτικά δοκίμια και είναι δομημένα γύρω από μια τυπολογία ερωτήσεων πέντε τύπων (γεγονός, επεξήγηση, πολυπαραγραφική, ερμηνευτική, μη απαντήσιμη) σχεδιασμένη ώστε να αντικατοπτρίζει τον τρόπο με τον οποίο οι αναγνώστες πραγματικά προσεγγίζουν τα λογοτεχνικά κείμενα. Ένα εύρος διαφορετικών τεχνικών, συμπεριλαμβανομένων LLM baseline κλειστού- και ανοιχτού-βιβλίου, απλοϊκού RAG και συμφραστικής ανάκτησης (όπου μια τοποθετική περιγραφή παραγόμενη από LLM προτάσσεται σε κάθε τμήμα πριν από το indexing), αξιολογείται και στα τρία σύνολα δεδομένων μέσω ενός συνδυασμού ποσοτικών μετρικών και μιας χειροκίνητης ποιοτικής ανάλυσης σφαλμάτων, υποστηριζόμενης από μια ταξινομία σφαλμάτων που αναπτύχθηκε για την καταγραφή αστοχιών ειδικών στη λογοτεχνική RAG. Τα αποτελέσματα δείχνουν ότι η συμφραστική ανάκτηση είναι η πιο αποδοτική μέθοδος για τους περισσότερους τύπους ερωτήσεων στην αγγλική QA ενός διαλογικού γύρου (single-turn) και προσεγγίζει την ποιότητα απάντησης της παραγωγής ανοιχτού-βιβλίου με περίπου 42 φορές λιγότερα tokens ανά ερώτημαꞏ η εξαίρεση αφορά τις ερμηνευτικές ερωτήσεις (βασισμένες σε δευτερεύουσες κριτικές πηγές), όπου απλούστερες στρατηγικές ανάκτησης αποδεικνύονται πιο αποτελεσματικές. Στον διάλογο περισσότερων γύρων (multi-turn), η συμφραστική ανάκτηση βελτιώνει σημαντικά την ποιότητα ανάκτησης σε σχέση με το απλοϊκό RAG, ωστόσο αυτή η βελτίωση δεν μεταφράζεται σταθερά σε σημαντικά καλύτερες απαντήσεις, κάτι που υποδεικνύει μια πιο σύνθετη σχέση μεταξύ ποιότητας ανάκτησης και παραγωγής σε αυτό το πλαίσιο. Για τα ελληνικά, η συμφραστική ανάκτηση διατηρεί ένα μεγάλο υπολογιστικό πλεονέκτημα έναντι της παραγωγής ανοιχτού-βιβλίου (περίπου 17 φορές λιγότερα tokens ανά ερώτημα), αλλά με σημαντικό κόστος στην ποιότητα των απαντήσεων. Εδώ, το κύριο σημείο συμφόρησης είναι πιθανότατα οι δυνατότητες των πολυγλωσσικών embedding μοντέλων για γλώσσες χαμηλών πόρων και όχι η ίδια η μέθοδος της συμφραστικής ανάκτησης. Επιπλέον, η ποιοτική ανάλυση αποκαλύπτει ότι ορισμένοι τύποι σφαλμάτων, όπως το abstention failure (αδυναμία αποχής από απάντηση), παραμένουν ακόμη και στις πιο αποδοτικές διαμορφώσεις, υποδεικνύοντας γόνιμες κατευθύνσεις για μελλοντική έρευνα. Συνολικά, η παρούσα εργασία αποτελεί ένα πρώτο βήμα προς την κατανόηση των απαιτήσεων που θέτει η λογοτεχνία στα συστήματα RAG και στο πού αυτά τα συστήματα εξακολουθούν να σφάλλουν. Πέρα από τα πειραματικά της ευρήματα, τα σύνολα δεδομένων και η ταξινομία σφαλμάτων που αναπτύχθηκαν προορίζονται ως πόροι για μελλοντική έρευνα στη λογοτεχνική QA, με στόχο την ανάπτυξη πιο αξιόπιστων και ευαίσθητων στη λογοτεχνία εφαρμογών RAG.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • ΓΚΑΤΖΕΛΑΚΗ ΔΗΜΗΤΡΑ
  • GKATZELAKI DIMITRA

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5450173

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

ΓΚΑΤΖΕΛΑΚΗ ΔΗΜΗΤΡΑ; GKATZELAKI DIMITRA. Evaluating Conversational RAG Systems for Grounded Question Answering over Literary Fiction: From Naïve RAG to Contextual Enrichment. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5450173