{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5453096"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5453096","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"A Controlled Agentic Pipeline for RAG-based Question Answering over Greek Administrative Documents","abstract":"Σκοπός της παρούσας διπλωματικής εργασίας είναι να εξετάσει κατά πόσο τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) μπορούν να απαντούν αποτελεσματικά και αξιόπιστα σε ερωτήσεις φυσικής γλώσσας, αντλώντας πληροφορίες από ένα σύνολο 5.000 ελληνικών διοικητικών αποφάσεων της Διαύγειας που αφορούν το Ινστιτούτο Επεξεργασίας Λόγου «ΑΘΗΝΑ» για την περίοδο 2021–2026, με τη χρήση της τεχνικής Retrieval - Augmented Generation (RAG). Οι διοικητικές αποφάσεις που συλλέχθηκαν, υποβλήθηκαν σε προεπεξεργασία και έλεγχο ποιότητας και το τελικό σύνολο χρησιμοποιήθηκε για τη δημιουργία σημασιολογικών ευρετηρίων (semantic indexes) πάνω στα οποία συγκρίθηκαν τρεις στρατηγικές ανάκτησης: MiniLM, BGE-M3 και ο συνδυασμός τους (Ensemble). Οι διοικητικές αποφάσεις συλλέχθηκαν από το διαδίκτυο και σε πρώτη φάση συγκεντρώθηκαν σε μορφή PDF κατανεμημένες σε φακέλους ανά κατηγορία, όπως ακριβώς αυτές εξάχθηκαν από την πλατφόρμα. Οι τίτλοι των εγγράφων αποτελούν και τον Αριθμό Διαδικτυακής Ανάρτησης (ΑΔΑ), ένα χαρακτηριστικό πολύ σημαντικό, το οποίο θα αποτελέσει και μέσο ταυτοποίησης των εγγράφων αργότερα μέσα στο σύστημα. Έπειτα, από τα URL της Διαύγειας, συλλέγονται τα metadata και με αυτό τον τρόπο κατεβαίνουν τα PDFs. Στη συνέχεια χρησιμοποιείται το pikepdf για τη δομική επιδιόρθωση τους και PyMuPDF για την εξαγωγή κειμένου ανά σελίδα. Το εξαγόμενο κείμενο σε συνδυασμό με τα metadata αποθηκεύτηκαν σε ένα JSONL με ένα JSON ανά γραμμή που ισούται με ένα έγγραφο. Όταν η κανονική εξαγωγή κειμένου δεν ήταν εφικτή απρόσκοπτα, τότε εφαρμόστηκε κανονικοποίηση Unicode και όπου κρίθηκε απολύτως απαραίτητο Tesseract Optical Character Recognition (OCR). Το corpus το οποίο χρησιμοποιείται ως retrieved context και έχει χρησιμοποιηθεί για την αξιολόγηση τόσο των retriever όσο και των μοντέλων, αποθηκεύεται ως final_dataset.jsonl. Επιπλέον, η αξιολόγηση πραγματοποιήθηκε σε δύο σκέλη. Στο πρώτο αξιολογήθηκε η ανάκτηση ανεξάρτητα από την παραγωγή των απαντήσεων. Για την αξιολόγηση των στρατηγικών ανάκτησης δημιουργήθηκε ένα σύνολο ερωτήσεων με σκοπό την εξέταση της ανάκτησης των σωστών εγγράφων για την απάντηση τους. Αξιολογήθηκαν μεταξύ τους τα δύο embedding μοντέλα MiniLM και BGE-M3 και με την εφαρμογή Weighted Reciprocal Rank Fusion (WRRF) και ο συνδυασμός των στρατηγικών ανάκτησης, Ensemble. Τα δύο μοντέλα δεν δημιουργούν ένα τρίτο καθώς συνδυάζονται, αλλά δημιουργούν έναν συνδυασμό της κατάταξης των απαντήσεων που επιστρέφουν το καθένα. Η αξιολόγηση των στρατηγικών πραγματοποιήθηκε σε ένα σώμα 100 ερωτήσεων που εξήχθη από τις 5000 αποφάσεις. Το μοντέλο BGE-M3 είχε την καλύτερη επίδοση, για αυτό και χρησιμοποιήθηκε ως σταθερή στρατηγική στο δεύτερο σκέλος. Εκεί αξιολογήθηκαν τέσσερα γλωσσικά μοντέλα (Qwen3 14B, GPT-4.1 Mini, Gemini 2.5 Flash και Claude Haiku 4.5) μέσω του πλαισίου DeepEval και ενός συστήματος μετρικών που αναπτύχθηκε για τις ανάγκες της εργασίας, τόσο σε ερωτήσεις με διαθέσιμη απάντηση όσο και σε ερωτήσεις που το σώμα εγγράφων δεν μπορεί να απαντήσει. Για την αξιολόγηση ολόκληρου του συστήματος χρησιμοποιήθηκαν οι μετρικές του DeepEval Faithfulness, Answer Relevancy, Context Precision και Context Recall για τις απαντήσιμες ερωτήσεις, που ήταν οι 39 από τις 50. Από την άλλη για τις μη απαντήσιμες ερωτήσεις χρησιμοποιήθηκαν οι μετρικές Faithfulness, Answer Relevancy, Refusal Accuracy και Hallucination Rate, οι οποίες βασίζονται άμεσα ή έμμεσα στο DeepEval framework. Συμπληρωματικά με τις παραπάνω μετρικές που αξιολογούν την σημασιολογική ικανότητα του μοντέλου, δημιουργήθηκαν και μετρικές που αξιολογούν πιο αυστηρά και ντετερμινιστικά τα μοντέλο. Οι μετρικές αυτές είναι: Answer Exactness, Number Accuracy, Source Accuracy και Source Rank. Κανένα μοντέλο δεν υπερείχε των υπολοίπων σε όλες τις μετρικές. Επιπλέον, το μοντέλο Llama 3.2 3B δεν απέδωσε καθόλου σε καμία μετρική. Η αρχιτεκτονική του ελεγχόμενου agentic pipeline, στο οποίο το RAG λειτουργεί ως μηχανισμός πρόσβασης στη γνώση, επιτρέπει την ανεξάρτητη αξιολόγηση κάθε επιμέρους τμήματός του, και τα αποτελέσματα δείχνουν ότι η προετοιμασία των εγγράφων, η αναπαράστασή τους με διανύσματα, η στρατηγική ανάκτησης και η συμπεριφορά του γλωσσικού μοντέλου επηρεάζουν συνολικά την τελική απάντηση.","abstract_html":"Σκοπός της παρούσας διπλωματικής εργασίας είναι να εξετάσει κατά πόσο τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) μπορούν να απαντούν αποτελεσματικά και αξιόπιστα σε ερωτήσεις φυσικής γλώσσας, αντλώντας πληροφορίες από ένα σύνολο 5.000 ελληνικών διοικητικών αποφάσεων της Διαύγειας που αφορούν το Ινστιτούτο Επεξεργασίας Λόγου «ΑΘΗΝΑ» για την περίοδο 2021–2026, με τη χρήση της τεχνικής Retrieval - Augmented Generation (RAG). Οι διοικητικές αποφάσεις που συλλέχθηκαν, υποβλήθηκαν σε προεπεξεργασία και έλεγχο ποιότητας και το τελικό σύνολο χρησιμοποιήθηκε για τη δημιουργία σημασιολογικών ευρετηρίων (semantic indexes) πάνω στα οποία συγκρίθηκαν τρεις στρατηγικές ανάκτησης: MiniLM, BGE-M3 και ο συνδυασμός τους (Ensemble). Οι διοικητικές αποφάσεις συλλέχθηκαν από το διαδίκτυο και σε πρώτη φάση συγκεντρώθηκαν σε μορφή PDF κατανεμημένες σε φακέλους ανά κατηγορία, όπως ακριβώς αυτές εξάχθηκαν από την πλατφόρμα. Οι τίτλοι των εγγράφων αποτελούν και τον Αριθμό Διαδικτυακής Ανάρτησης (ΑΔΑ), ένα χαρακτηριστικό πολύ σημαντικό, το οποίο θα αποτελέσει και μέσο ταυτοποίησης των εγγράφων αργότερα μέσα στο σύστημα. Έπειτα, από τα URL της Διαύγειας, συλλέγονται τα metadata και με αυτό τον τρόπο κατεβαίνουν τα PDFs. Στη συνέχεια χρησιμοποιείται το pikepdf για τη δομική επιδιόρθωση τους και PyMuPDF για την εξαγωγή κειμένου ανά σελίδα. Το εξαγόμενο κείμενο σε συνδυασμό με τα metadata αποθηκεύτηκαν σε ένα JSONL με ένα JSON ανά γραμμή που ισούται με ένα έγγραφο. Όταν η κανονική εξαγωγή κειμένου δεν ήταν εφικτή απρόσκοπτα, τότε εφαρμόστηκε κανονικοποίηση Unicode και όπου κρίθηκε απολύτως απαραίτητο Tesseract Optical Character Recognition (OCR). Το corpus το οποίο χρησιμοποιείται ως retrieved context και έχει χρησιμοποιηθεί για την αξιολόγηση τόσο των retriever όσο και των μοντέλων, αποθηκεύεται ως final_dataset.jsonl. Επιπλέον, η αξιολόγηση πραγματοποιήθηκε σε δύο σκέλη. Στο πρώτο αξιολογήθηκε η ανάκτηση ανεξάρτητα από την παραγωγή των απαντήσεων. Για την αξιολόγηση των στρατηγικών ανάκτησης δημιουργήθηκε ένα σύνολο ερωτήσεων με σκοπό την εξέταση της ανάκτησης των σωστών εγγράφων για την απάντηση τους. Αξιολογήθηκαν μεταξύ τους τα δύο embedding μοντέλα MiniLM και BGE-M3 και με την εφαρμογή Weighted Reciprocal Rank Fusion (WRRF) και ο συνδυασμός των στρατηγικών ανάκτησης, Ensemble. Τα δύο μοντέλα δεν δημιουργούν ένα τρίτο καθώς συνδυάζονται, αλλά δημιουργούν έναν συνδυασμό της κατάταξης των απαντήσεων που επιστρέφουν το καθένα. Η αξιολόγηση των στρατηγικών πραγματοποιήθηκε σε ένα σώμα 100 ερωτήσεων που εξήχθη από τις 5000 αποφάσεις. Το μοντέλο BGE-M3 είχε την καλύτερη επίδοση, για αυτό και χρησιμοποιήθηκε ως σταθερή στρατηγική στο δεύτερο σκέλος. Εκεί αξιολογήθηκαν τέσσερα γλωσσικά μοντέλα (Qwen3 14B, GPT-4.1 Mini, Gemini 2.5 Flash και Claude Haiku 4.5) μέσω του πλαισίου DeepEval και ενός συστήματος μετρικών που αναπτύχθηκε για τις ανάγκες της εργασίας, τόσο σε ερωτήσεις με διαθέσιμη απάντηση όσο και σε ερωτήσεις που το σώμα εγγράφων δεν μπορεί να απαντήσει. Για την αξιολόγηση ολόκληρου του συστήματος χρησιμοποιήθηκαν οι μετρικές του DeepEval Faithfulness, Answer Relevancy, Context Precision και Context Recall για τις απαντήσιμες ερωτήσεις, που ήταν οι 39 από τις 50. Από την άλλη για τις μη απαντήσιμες ερωτήσεις χρησιμοποιήθηκαν οι μετρικές Faithfulness, Answer Relevancy, Refusal Accuracy και Hallucination Rate, οι οποίες βασίζονται άμεσα ή έμμεσα στο DeepEval framework. Συμπληρωματικά με τις παραπάνω μετρικές που αξιολογούν την σημασιολογική ικανότητα του μοντέλου, δημιουργήθηκαν και μετρικές που αξιολογούν πιο αυστηρά και ντετερμινιστικά τα μοντέλο. Οι μετρικές αυτές είναι: Answer Exactness, Number Accuracy, Source Accuracy και Source Rank. Κανένα μοντέλο δεν υπερείχε των υπολοίπων σε όλες τις μετρικές. Επιπλέον, το μοντέλο Llama 3.2 3B δεν απέδωσε καθόλου σε καμία μετρική. Η αρχιτεκτονική του ελεγχόμενου agentic pipeline, στο οποίο το RAG λειτουργεί ως μηχανισμός πρόσβασης στη γνώση, επιτρέπει την ανεξάρτητη αξιολόγηση κάθε επιμέρους τμήματός του, και τα αποτελέσματα δείχνουν ότι η προετοιμασία των εγγράφων, η αναπαράστασή τους με διανύσματα, η στρατηγική ανάκτησης και η συμπεριφορά του γλωσσικού μοντέλου επηρεάζουν συνολικά την τελική απάντηση.","abstract_has_math":false,"creators":["ΜΑΝΙΑΤΗ ΕΥΓΕΝΙΑ","MANIATI EVGENIA"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:20:52Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5453096"],"render_values":[{"text":"uoadl:5453096","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5453096","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5453096","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5453096","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΜΑΝΙΑΤΗ ΕΥΓΕΝΙΑ","MANIATI EVGENIA"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5453096","https://pergamos.lib.uoa.gr/uoa/dl/object/5453096"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Σκοπός της παρούσας διπλωματικής εργασίας είναι να εξετάσει κατά πόσο τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) μπορούν να απαντούν αποτελεσματικά και αξιόπιστα σε ερωτήσεις φυσικής γλώσσας, αντλώντας πληροφορίες από ένα σύνολο 5.000 ελληνικών διοικητικών αποφάσεων της Διαύγειας που αφορούν το Ινστιτούτο Επεξεργασίας Λόγου «ΑΘΗΝΑ» για την περίοδο 2021–2026, με τη χρήση της τεχνικής Retrieval - Augmented Generation (RAG). Οι διοικητικές αποφάσεις που συλλέχθηκαν, υποβλήθηκαν σε προεπεξεργασία και έλεγχο ποιότητας και το τελικό σύνολο χρησιμοποιήθηκε για τη δημιουργία σημασιολογικών ευρετηρίων (semantic indexes) πάνω στα οποία συγκρίθηκαν τρεις στρατηγικές ανάκτησης: MiniLM, BGE-M3 και ο συνδυασμός τους (Ensemble). Οι διοικητικές αποφάσεις συλλέχθηκαν από το διαδίκτυο και σε πρώτη φάση συγκεντρώθηκαν σε μορφή PDF κατανεμημένες σε φακέλους ανά κατηγορία, όπως ακριβώς αυτές εξάχθηκαν από την πλατφόρμα. Οι τίτλοι των εγγράφων αποτελούν και τον Αριθμό Διαδικτυακής Ανάρτησης (ΑΔΑ), ένα χαρακτηριστικό πολύ σημαντικό, το οποίο θα αποτελέσει και μέσο ταυτοποίησης των εγγράφων αργότερα μέσα στο σύστημα. Έπειτα, από τα URL της Διαύγειας, συλλέγονται τα metadata και με αυτό τον τρόπο κατεβαίνουν τα PDFs. Στη συνέχεια χρησιμοποιείται το pikepdf για τη δομική επιδιόρθωση τους και PyMuPDF για την εξαγωγή κειμένου ανά σελίδα. Το εξαγόμενο κείμενο σε συνδυασμό με τα metadata αποθηκεύτηκαν σε ένα JSONL με ένα JSON ανά γραμμή που ισούται με ένα έγγραφο. Όταν η κανονική εξαγωγή κειμένου δεν ήταν εφικτή απρόσκοπτα, τότε εφαρμόστηκε κανονικοποίηση Unicode και όπου κρίθηκε απολύτως απαραίτητο Tesseract Optical Character Recognition (OCR). Το corpus το οποίο χρησιμοποιείται ως retrieved context και έχει χρησιμοποιηθεί για την αξιολόγηση τόσο των retriever όσο και των μοντέλων, αποθηκεύεται ως final_dataset.jsonl. Επιπλέον, η αξιολόγηση πραγματοποιήθηκε σε δύο σκέλη. Στο πρώτο αξιολογήθηκε η ανάκτηση ανεξάρτητα από την παραγωγή των απαντήσεων. Για την αξιολόγηση των στρατηγικών ανάκτησης δημιουργήθηκε ένα σύνολο ερωτήσεων με σκοπό την εξέταση της ανάκτησης των σωστών εγγράφων για την απάντηση τους. Αξιολογήθηκαν μεταξύ τους τα δύο embedding μοντέλα MiniLM και BGE-M3 και με την εφαρμογή Weighted Reciprocal Rank Fusion (WRRF) και ο συνδυασμός των στρατηγικών ανάκτησης, Ensemble. Τα δύο μοντέλα δεν δημιουργούν ένα τρίτο καθώς συνδυάζονται, αλλά δημιουργούν έναν συνδυασμό της κατάταξης των απαντήσεων που επιστρέφουν το καθένα. Η αξιολόγηση των στρατηγικών πραγματοποιήθηκε σε ένα σώμα 100 ερωτήσεων που εξήχθη από τις 5000 αποφάσεις. Το μοντέλο BGE-M3 είχε την καλύτερη επίδοση, για αυτό και χρησιμοποιήθηκε ως σταθερή στρατηγική στο δεύτερο σκέλος. Εκεί αξιολογήθηκαν τέσσερα γλωσσικά μοντέλα (Qwen3 14B, GPT-4.1 Mini, Gemini 2.5 Flash και Claude Haiku 4.5) μέσω του πλαισίου DeepEval και ενός συστήματος μετρικών που αναπτύχθηκε για τις ανάγκες της εργασίας, τόσο σε ερωτήσεις με διαθέσιμη απάντηση όσο και σε ερωτήσεις που το σώμα εγγράφων δεν μπορεί να απαντήσει. Για την αξιολόγηση ολόκληρου του συστήματος χρησιμοποιήθηκαν οι μετρικές του DeepEval Faithfulness, Answer Relevancy, Context Precision και Context Recall για τις απαντήσιμες ερωτήσεις, που ήταν οι 39 από τις 50. Από την άλλη για τις μη απαντήσιμες ερωτήσεις χρησιμοποιήθηκαν οι μετρικές Faithfulness, Answer Relevancy, Refusal Accuracy και Hallucination Rate, οι οποίες βασίζονται άμεσα ή έμμεσα στο DeepEval framework. Συμπληρωματικά με τις παραπάνω μετρικές που αξιολογούν την σημασιολογική ικανότητα του μοντέλου, δημιουργήθηκαν και μετρικές που αξιολογούν πιο αυστηρά και ντετερμινιστικά τα μοντέλο. Οι μετρικές αυτές είναι: Answer Exactness, Number Accuracy, Source Accuracy και Source Rank. Κανένα μοντέλο δεν υπερείχε των υπολοίπων σε όλες τις μετρικές. Επιπλέον, το μοντέλο Llama 3.2 3B δεν απέδωσε καθόλου σε καμία μετρική. Η αρχιτεκτονική του ελεγχόμενου agentic pipeline, στο οποίο το RAG λειτουργεί ως μηχανισμός πρόσβασης στη γνώση, επιτρέπει την ανεξάρτητη αξιολόγηση κάθε επιμέρους τμήματός του, και τα αποτελέσματα δείχνουν ότι η προετοιμασία των εγγράφων, η αναπαράστασή τους με διανύσματα, η στρατηγική ανάκτησης και η συμπεριφορά του γλωσσικού μοντέλου επηρεάζουν συνολικά την τελική απάντηση.","This thesis investigates how effectively Large Language Models (LLMs) can answer natural-language questions reliably by drawing information from a corpus of 5,000 Greek administrative decisions from ATHENA Research Center published on the Diavgeia platform between 2021 and 2026, using the Retrieval-Augmented Generation (RAG) technique. The documents went through preprocessing and quality control, and the final dataset was used to build semantic indexes, on which three retrieval strategies were compared: MiniLM, BGE-M3, and an ensemble combining the two. The evaluation was carried out in two stages. In the first, retrieval was assessed independently of answer generation, and BGE-M3 achieved the best performance, so it was kept fixed for the second stage. There, four language models (Qwen3 14B, GPT-4.1 Mini, Gemini 2.5 Flash, and Claude Haiku 4.5) were evaluated using the DeepEval framework together with a set of custom metrics developed for this work, on answerable as well as unanswerable questions. No model outperformed the others across all metrics. The proposed system is implemented as a controlled agentic pipeline in which RAG is used as the knowledge-access mechanism for document-based question answering. The system presented here allows each of its components to be evaluated independently, and the results show that document preparation, vector representation, retrieval strategy, and generator behaviour jointly affect the final answer."]},{"key":"dc:title","label":"Title","values":["A Controlled Agentic Pipeline for RAG-based Question Answering over Greek Administrative Documents"]}]}],"canonical_facts":{"dc:creator":["ΜΑΝΙΑΤΗ ΕΥΓΕΝΙΑ","MANIATI EVGENIA"],"dc:date":["2026"],"dc:description":["Σκοπός της παρούσας διπλωματικής εργασίας είναι να εξετάσει κατά πόσο τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) μπορούν να απαντούν αποτελεσματικά και αξιόπιστα σε ερωτήσεις φυσικής γλώσσας, αντλώντας πληροφορίες από ένα σύνολο 5.000 ελληνικών διοικητικών αποφάσεων της Διαύγειας που αφορούν το Ινστιτούτο Επεξεργασίας Λόγου «ΑΘΗΝΑ» για την περίοδο 2021–2026, με τη χρήση της τεχνικής Retrieval - Augmented Generation (RAG). Οι διοικητικές αποφάσεις που συλλέχθηκαν, υποβλήθηκαν σε προεπεξεργασία και έλεγχο ποιότητας και το τελικό σύνολο χρησιμοποιήθηκε για τη δημιουργία σημασιολογικών ευρετηρίων (semantic indexes) πάνω στα οποία συγκρίθηκαν τρεις στρατηγικές ανάκτησης: MiniLM, BGE-M3 και ο συνδυασμός τους (Ensemble). Οι διοικητικές αποφάσεις συλλέχθηκαν από το διαδίκτυο και σε πρώτη φάση συγκεντρώθηκαν σε μορφή PDF κατανεμημένες σε φακέλους ανά κατηγορία, όπως ακριβώς αυτές εξάχθηκαν από την πλατφόρμα. Οι τίτλοι των εγγράφων αποτελούν και τον Αριθμό Διαδικτυακής Ανάρτησης (ΑΔΑ), ένα χαρακτηριστικό πολύ σημαντικό, το οποίο θα αποτελέσει και μέσο ταυτοποίησης των εγγράφων αργότερα μέσα στο σύστημα. Έπειτα, από τα URL της Διαύγειας, συλλέγονται τα metadata και με αυτό τον τρόπο κατεβαίνουν τα PDFs. Στη συνέχεια χρησιμοποιείται το pikepdf για τη δομική επιδιόρθωση τους και PyMuPDF για την εξαγωγή κειμένου ανά σελίδα. Το εξαγόμενο κείμενο σε συνδυασμό με τα metadata αποθηκεύτηκαν σε ένα JSONL με ένα JSON ανά γραμμή που ισούται με ένα έγγραφο. Όταν η κανονική εξαγωγή κειμένου δεν ήταν εφικτή απρόσκοπτα, τότε εφαρμόστηκε κανονικοποίηση Unicode και όπου κρίθηκε απολύτως απαραίτητο Tesseract Optical Character Recognition (OCR). Το corpus το οποίο χρησιμοποιείται ως retrieved context και έχει χρησιμοποιηθεί για την αξιολόγηση τόσο των retriever όσο και των μοντέλων, αποθηκεύεται ως final_dataset.jsonl. Επιπλέον, η αξιολόγηση πραγματοποιήθηκε σε δύο σκέλη. Στο πρώτο αξιολογήθηκε η ανάκτηση ανεξάρτητα από την παραγωγή των απαντήσεων. Για την αξιολόγηση των στρατηγικών ανάκτησης δημιουργήθηκε ένα σύνολο ερωτήσεων με σκοπό την εξέταση της ανάκτησης των σωστών εγγράφων για την απάντηση τους. Αξιολογήθηκαν μεταξύ τους τα δύο embedding μοντέλα MiniLM και BGE-M3 και με την εφαρμογή Weighted Reciprocal Rank Fusion (WRRF) και ο συνδυασμός των στρατηγικών ανάκτησης, Ensemble. Τα δύο μοντέλα δεν δημιουργούν ένα τρίτο καθώς συνδυάζονται, αλλά δημιουργούν έναν συνδυασμό της κατάταξης των απαντήσεων που επιστρέφουν το καθένα. Η αξιολόγηση των στρατηγικών πραγματοποιήθηκε σε ένα σώμα 100 ερωτήσεων που εξήχθη από τις 5000 αποφάσεις. Το μοντέλο BGE-M3 είχε την καλύτερη επίδοση, για αυτό και χρησιμοποιήθηκε ως σταθερή στρατηγική στο δεύτερο σκέλος. Εκεί αξιολογήθηκαν τέσσερα γλωσσικά μοντέλα (Qwen3 14B, GPT-4.1 Mini, Gemini 2.5 Flash και Claude Haiku 4.5) μέσω του πλαισίου DeepEval και ενός συστήματος μετρικών που αναπτύχθηκε για τις ανάγκες της εργασίας, τόσο σε ερωτήσεις με διαθέσιμη απάντηση όσο και σε ερωτήσεις που το σώμα εγγράφων δεν μπορεί να απαντήσει. Για την αξιολόγηση ολόκληρου του συστήματος χρησιμοποιήθηκαν οι μετρικές του DeepEval Faithfulness, Answer Relevancy, Context Precision και Context Recall για τις απαντήσιμες ερωτήσεις, που ήταν οι 39 από τις 50. Από την άλλη για τις μη απαντήσιμες ερωτήσεις χρησιμοποιήθηκαν οι μετρικές Faithfulness, Answer Relevancy, Refusal Accuracy και Hallucination Rate, οι οποίες βασίζονται άμεσα ή έμμεσα στο DeepEval framework. Συμπληρωματικά με τις παραπάνω μετρικές που αξιολογούν την σημασιολογική ικανότητα του μοντέλου, δημιουργήθηκαν και μετρικές που αξιολογούν πιο αυστηρά και ντετερμινιστικά τα μοντέλο. Οι μετρικές αυτές είναι: Answer Exactness, Number Accuracy, Source Accuracy και Source Rank. Κανένα μοντέλο δεν υπερείχε των υπολοίπων σε όλες τις μετρικές. Επιπλέον, το μοντέλο Llama 3.2 3B δεν απέδωσε καθόλου σε καμία μετρική. Η αρχιτεκτονική του ελεγχόμενου agentic pipeline, στο οποίο το RAG λειτουργεί ως μηχανισμός πρόσβασης στη γνώση, επιτρέπει την ανεξάρτητη αξιολόγηση κάθε επιμέρους τμήματός του, και τα αποτελέσματα δείχνουν ότι η προετοιμασία των εγγράφων, η αναπαράστασή τους με διανύσματα, η στρατηγική ανάκτησης και η συμπεριφορά του γλωσσικού μοντέλου επηρεάζουν συνολικά την τελική απάντηση.","This thesis investigates how effectively Large Language Models (LLMs) can answer natural-language questions reliably by drawing information from a corpus of 5,000 Greek administrative decisions from ATHENA Research Center published on the Diavgeia platform between 2021 and 2026, using the Retrieval-Augmented Generation (RAG) technique. The documents went through preprocessing and quality control, and the final dataset was used to build semantic indexes, on which three retrieval strategies were compared: MiniLM, BGE-M3, and an ensemble combining the two. The evaluation was carried out in two stages. In the first, retrieval was assessed independently of answer generation, and BGE-M3 achieved the best performance, so it was kept fixed for the second stage. There, four language models (Qwen3 14B, GPT-4.1 Mini, Gemini 2.5 Flash, and Claude Haiku 4.5) were evaluated using the DeepEval framework together with a set of custom metrics developed for this work, on answerable as well as unanswerable questions. No model outperformed the others across all metrics. The proposed system is implemented as a controlled agentic pipeline in which RAG is used as the knowledge-access mechanism for document-based question answering. The system presented here allows each of its components to be evaluated independently, and the results show that document preparation, vector representation, retrieval strategy, and generator behaviour jointly affect the final answer."],"dc:identifier":["uoadl:5453096","https://pergamos.lib.uoa.gr/uoa/dl/object/5453096"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["A Controlled Agentic Pipeline for RAG-based Question Answering over Greek Administrative Documents"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:20:52Z"}