Back to search

National and Kapodistrian University of Athens

A Controlled Agentic Pipeline for RAG-based Question Answering over Greek Administrative Documents

Abstract

dc:description

Σκοπός της παρούσας διπλωματικής εργασίας είναι να εξετάσει κατά πόσο τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) μπορούν να απαντούν αποτελεσματικά και αξιόπιστα σε ερωτήσεις φυσικής γλώσσας, αντλώντας πληροφορίες από ένα σύνολο 5.000 ελληνικών διοικητικών αποφάσεων της Διαύγειας που αφορούν το Ινστιτούτο Επεξεργασίας Λόγου «ΑΘΗΝΑ» για την περίοδο 2021–2026, με τη χρήση της τεχνικής Retrieval - Augmented Generation (RAG). Οι διοικητικές αποφάσεις που συλλέχθηκαν, υποβλήθηκαν σε προεπεξεργασία και έλεγχο ποιότητας και το τελικό σύνολο χρησιμοποιήθηκε για τη δημιουργία σημασιολογικών ευρετηρίων (semantic indexes) πάνω στα οποία συγκρίθηκαν τρεις στρατηγικές ανάκτησης: MiniLM, BGE-M3 και ο συνδυασμός τους (Ensemble). Οι διοικητικές αποφάσεις συλλέχθηκαν από το διαδίκτυο και σε πρώτη φάση συγκεντρώθηκαν σε μορφή PDF κατανεμημένες σε φακέλους ανά κατηγορία, όπως ακριβώς αυτές εξάχθηκαν από την πλατφόρμα. Οι τίτλοι των εγγράφων αποτελούν και τον Αριθμό Διαδικτυακής Ανάρτησης (ΑΔΑ), ένα χαρακτηριστικό πολύ σημαντικό, το οποίο θα αποτελέσει και μέσο ταυτοποίησης των εγγράφων αργότερα μέσα στο σύστημα. Έπειτα, από τα URL της Διαύγειας, συλλέγονται τα metadata και με αυτό τον τρόπο κατεβαίνουν τα PDFs. Στη συνέχεια χρησιμοποιείται το pikepdf για τη δομική επιδιόρθωση τους και PyMuPDF για την εξαγωγή κειμένου ανά σελίδα. Το εξαγόμενο κείμενο σε συνδυασμό με τα metadata αποθηκεύτηκαν σε ένα JSONL με ένα JSON ανά γραμμή που ισούται με ένα έγγραφο. Όταν η κανονική εξαγωγή κειμένου δεν ήταν εφικτή απρόσκοπτα, τότε εφαρμόστηκε κανονικοποίηση Unicode και όπου κρίθηκε απολύτως απαραίτητο Tesseract Optical Character Recognition (OCR). Το corpus το οποίο χρησιμοποιείται ως retrieved context και έχει χρησιμοποιηθεί για την αξιολόγηση τόσο των retriever όσο και των μοντέλων, αποθηκεύεται ως final_dataset.jsonl. Επιπλέον, η αξιολόγηση πραγματοποιήθηκε σε δύο σκέλη. Στο πρώτο αξιολογήθηκε η ανάκτηση ανεξάρτητα από την παραγωγή των απαντήσεων. Για την αξιολόγηση των στρατηγικών ανάκτησης δημιουργήθηκε ένα σύνολο ερωτήσεων με σκοπό την εξέταση της ανάκτησης των σωστών εγγράφων για την απάντηση τους. Αξιολογήθηκαν μεταξύ τους τα δύο embedding μοντέλα MiniLM και BGE-M3 και με την εφαρμογή Weighted Reciprocal Rank Fusion (WRRF) και ο συνδυασμός των στρατηγικών ανάκτησης, Ensemble. Τα δύο μοντέλα δεν δημιουργούν ένα τρίτο καθώς συνδυάζονται, αλλά δημιουργούν έναν συνδυασμό της κατάταξης των απαντήσεων που επιστρέφουν το καθένα. Η αξιολόγηση των στρατηγικών πραγματοποιήθηκε σε ένα σώμα 100 ερωτήσεων που εξήχθη από τις 5000 αποφάσεις. Το μοντέλο BGE-M3 είχε την καλύτερη επίδοση, για αυτό και χρησιμοποιήθηκε ως σταθερή στρατηγική στο δεύτερο σκέλος. Εκεί αξιολογήθηκαν τέσσερα γλωσσικά μοντέλα (Qwen3 14B, GPT-4.1 Mini, Gemini 2.5 Flash και Claude Haiku 4.5) μέσω του πλαισίου DeepEval και ενός συστήματος μετρικών που αναπτύχθηκε για τις ανάγκες της εργασίας, τόσο σε ερωτήσεις με διαθέσιμη απάντηση όσο και σε ερωτήσεις που το σώμα εγγράφων δεν μπορεί να απαντήσει. Για την αξιολόγηση ολόκληρου του συστήματος χρησιμοποιήθηκαν οι μετρικές του DeepEval Faithfulness, Answer Relevancy, Context Precision και Context Recall για τις απαντήσιμες ερωτήσεις, που ήταν οι 39 από τις 50. Από την άλλη για τις μη απαντήσιμες ερωτήσεις χρησιμοποιήθηκαν οι μετρικές Faithfulness, Answer Relevancy, Refusal Accuracy και Hallucination Rate, οι οποίες βασίζονται άμεσα ή έμμεσα στο DeepEval framework. Συμπληρωματικά με τις παραπάνω μετρικές που αξιολογούν την σημασιολογική ικανότητα του μοντέλου, δημιουργήθηκαν και μετρικές που αξιολογούν πιο αυστηρά και ντετερμινιστικά τα μοντέλο. Οι μετρικές αυτές είναι: Answer Exactness, Number Accuracy, Source Accuracy και Source Rank. Κανένα μοντέλο δεν υπερείχε των υπολοίπων σε όλες τις μετρικές. Επιπλέον, το μοντέλο Llama 3.2 3B δεν απέδωσε καθόλου σε καμία μετρική. Η αρχιτεκτονική του ελεγχόμενου agentic pipeline, στο οποίο το RAG λειτουργεί ως μηχανισμός πρόσβασης στη γνώση, επιτρέπει την ανεξάρτητη αξιολόγηση κάθε επιμέρους τμήματός του, και τα αποτελέσματα δείχνουν ότι η προετοιμασία των εγγράφων, η αναπαράστασή τους με διανύσματα, η στρατηγική ανάκτησης και η συμπεριφορά του γλωσσικού μοντέλου επηρεάζουν συνολικά την τελική απάντηση.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • ΜΑΝΙΑΤΗ ΕΥΓΕΝΙΑ
  • MANIATI EVGENIA

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5453096

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

ΜΑΝΙΑΤΗ ΕΥΓΕΝΙΑ; MANIATI EVGENIA. A Controlled Agentic Pipeline for RAG-based Question Answering over Greek Administrative Documents. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5453096