{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5451005"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5451005","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Advanced Retrieval-Augmented Generation: Optimization and Evaluation","abstract":"Η παρούσα διπλωματική εργασία έχει ως αντικείμενο την σχεδίαση, βελτιστοποίηση και αξιολόγηση ενός προηγμένου συστήματος Retrieval-Augmented Generation (RAG). Ο βασικός στόχος είναι η αξιολόγηση ικανότητας της απόδοσης σε μια σειρά εξειδικευμένων επιστημονικών κειμένων και ο περιορισμός των ψευδαισθήσεων (hallucinations) των Μεγάλων Γλωσσικών Μοντέλων (LLMs). Κατά την πειραματική διαδικασία υιοθετήθηκε μια αρθρωτή αρχιτεκτονική RAG, με τον διαχωρισμό της διαδικασίας ανάκτησης από την παραγωγή κειμένου. Αξιολογήθηκαν δύο μοντέλα retrieval (Gemma-300m έναντι Jina-v3) και δύο μοντέλα generation (Mistral-7B έναντι Llama-3-8B). Παράλληλα, εξετάστηκαν τεχνικές βελτιστοποίησης, όπως είναι η σημασιολογική τμηματοποίηση (semantic chunking), η επανακατάταξη μέσω cross-encoder και τα Hypothetical Document Embeddings (HyDE). Η απόδοση μετρήθηκε με την χρήση μετρικών λεξιλογικής και σημασιολογικής ομοιότητας (Exact Match, Token F1, BERTScore) και μέσω του πλαισίου αξιολόγησης RAGAS. Τα κύρια βήματα που ακολουθήθηκαν ξεκίνησαν με την βαθμονόμηση του συστήματος στο σύνολο δεδομένων SQuAD 2.0 για την εγκαθίδρυση ελέγχων αρνητικής απόρριψης. Έπειτα, ενσωματώθηκαν και αξιολογήθηκαν σταδιακά οι τεχνικές βελτιστοποίησης μέσω μελετών αφαίρεσης. Τέλος, το βελτιστοποιημένο σύστημα υποβλήθηκε σε πολλαπλούς ελέγχους και αξιολογήθηκε σε περιβάλλοντα μηδενικής μάθησης (zero-shot) στα επιστημονικά σύνολα δεδομένων SciQ, SciFact και HotpotQA. Τα κύρια αποτελέσματα έδειξαν ότι η βέλτιστη διαμόρφωση (Gemma-300m, Llama-3-8B, σημασιολογική τμηματοποίηση και επανακατάταξη top-3) αύξησε την ακρίβεια εξαγωγής και μείωσε την υπολογιστική καθυστέρηση κατά 42%, ενώ αντίθετα η τεχνική HyDE απορρίφθηκε ως μη αποδοτική. Η βελτιστοποιημένη αρχιτεκτονική έδειξε σχετικά υψηλή προσαρμοστικότητα στην εξαγωγή επιστημονικών γεγονότων (SciQ) και στην επαλήθευση ισχυρισμών (SciFact). Ωστόσο, παρατηρήθηκαν δομικοί περιορισμοί του cross-encoder στον πιο σύνθετο συλλογισμό πολλαπλών αλμάτων (HotpotQA).","abstract_html":"Η παρούσα διπλωματική εργασία έχει ως αντικείμενο την σχεδίαση, βελτιστοποίηση και αξιολόγηση ενός προηγμένου συστήματος Retrieval-Augmented Generation (RAG). Ο βασικός στόχος είναι η αξιολόγηση ικανότητας της απόδοσης σε μια σειρά εξειδικευμένων επιστημονικών κειμένων και ο περιορισμός των ψευδαισθήσεων (hallucinations) των Μεγάλων Γλωσσικών Μοντέλων (LLMs). Κατά την πειραματική διαδικασία υιοθετήθηκε μια αρθρωτή αρχιτεκτονική RAG, με τον διαχωρισμό της διαδικασίας ανάκτησης από την παραγωγή κειμένου. Αξιολογήθηκαν δύο μοντέλα retrieval (Gemma-300m έναντι Jina-v3) και δύο μοντέλα generation (Mistral-7B έναντι Llama-3-8B). Παράλληλα, εξετάστηκαν τεχνικές βελτιστοποίησης, όπως είναι η σημασιολογική τμηματοποίηση (semantic chunking), η επανακατάταξη μέσω cross-encoder και τα Hypothetical Document Embeddings (HyDE). Η απόδοση μετρήθηκε με την χρήση μετρικών λεξιλογικής και σημασιολογικής ομοιότητας (Exact Match, Token F1, BERTScore) και μέσω του πλαισίου αξιολόγησης RAGAS. Τα κύρια βήματα που ακολουθήθηκαν ξεκίνησαν με την βαθμονόμηση του συστήματος στο σύνολο δεδομένων SQuAD 2.0 για την εγκαθίδρυση ελέγχων αρνητικής απόρριψης. Έπειτα, ενσωματώθηκαν και αξιολογήθηκαν σταδιακά οι τεχνικές βελτιστοποίησης μέσω μελετών αφαίρεσης. Τέλος, το βελτιστοποιημένο σύστημα υποβλήθηκε σε πολλαπλούς ελέγχους και αξιολογήθηκε σε περιβάλλοντα μηδενικής μάθησης (zero-shot) στα επιστημονικά σύνολα δεδομένων SciQ, SciFact και HotpotQA. Τα κύρια αποτελέσματα έδειξαν ότι η βέλτιστη διαμόρφωση (Gemma-300m, Llama-3-8B, σημασιολογική τμηματοποίηση και επανακατάταξη top-3) αύξησε την ακρίβεια εξαγωγής και μείωσε την υπολογιστική καθυστέρηση κατά 42%, ενώ αντίθετα η τεχνική HyDE απορρίφθηκε ως μη αποδοτική. Η βελτιστοποιημένη αρχιτεκτονική έδειξε σχετικά υψηλή προσαρμοστικότητα στην εξαγωγή επιστημονικών γεγονότων (SciQ) και στην επαλήθευση ισχυρισμών (SciFact). Ωστόσο, παρατηρήθηκαν δομικοί περιορισμοί του cross-encoder στον πιο σύνθετο συλλογισμό πολλαπλών αλμάτων (HotpotQA).","abstract_has_math":false,"creators":["ΚΑΡΑΜΠΑΣΗΣ ΗΛΙΑΣ ΣΤΥΛΙΑΝΟΣ","KARAMPASIS ILIAS STYLIANOS"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:20:47Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5451005"],"render_values":[{"text":"uoadl:5451005","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5451005","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5451005","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5451005","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΚΑΡΑΜΠΑΣΗΣ ΗΛΙΑΣ ΣΤΥΛΙΑΝΟΣ","KARAMPASIS ILIAS STYLIANOS"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5451005","https://pergamos.lib.uoa.gr/uoa/dl/object/5451005"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η παρούσα διπλωματική εργασία έχει ως αντικείμενο την σχεδίαση, βελτιστοποίηση και αξιολόγηση ενός προηγμένου συστήματος Retrieval-Augmented Generation (RAG). Ο βασικός στόχος είναι η αξιολόγηση ικανότητας της απόδοσης σε μια σειρά εξειδικευμένων επιστημονικών κειμένων και ο περιορισμός των ψευδαισθήσεων (hallucinations) των Μεγάλων Γλωσσικών Μοντέλων (LLMs). Κατά την πειραματική διαδικασία υιοθετήθηκε μια αρθρωτή αρχιτεκτονική RAG, με τον διαχωρισμό της διαδικασίας ανάκτησης από την παραγωγή κειμένου. Αξιολογήθηκαν δύο μοντέλα retrieval (Gemma-300m έναντι Jina-v3) και δύο μοντέλα generation (Mistral-7B έναντι Llama-3-8B). Παράλληλα, εξετάστηκαν τεχνικές βελτιστοποίησης, όπως είναι η σημασιολογική τμηματοποίηση (semantic chunking), η επανακατάταξη μέσω cross-encoder και τα Hypothetical Document Embeddings (HyDE). Η απόδοση μετρήθηκε με την χρήση μετρικών λεξιλογικής και σημασιολογικής ομοιότητας (Exact Match, Token F1, BERTScore) και μέσω του πλαισίου αξιολόγησης RAGAS. Τα κύρια βήματα που ακολουθήθηκαν ξεκίνησαν με την βαθμονόμηση του συστήματος στο σύνολο δεδομένων SQuAD 2.0 για την εγκαθίδρυση ελέγχων αρνητικής απόρριψης. Έπειτα, ενσωματώθηκαν και αξιολογήθηκαν σταδιακά οι τεχνικές βελτιστοποίησης μέσω μελετών αφαίρεσης. Τέλος, το βελτιστοποιημένο σύστημα υποβλήθηκε σε πολλαπλούς ελέγχους και αξιολογήθηκε σε περιβάλλοντα μηδενικής μάθησης (zero-shot) στα επιστημονικά σύνολα δεδομένων SciQ, SciFact και HotpotQA. Τα κύρια αποτελέσματα έδειξαν ότι η βέλτιστη διαμόρφωση (Gemma-300m, Llama-3-8B, σημασιολογική τμηματοποίηση και επανακατάταξη top-3) αύξησε την ακρίβεια εξαγωγής και μείωσε την υπολογιστική καθυστέρηση κατά 42%, ενώ αντίθετα η τεχνική HyDE απορρίφθηκε ως μη αποδοτική. Η βελτιστοποιημένη αρχιτεκτονική έδειξε σχετικά υψηλή προσαρμοστικότητα στην εξαγωγή επιστημονικών γεγονότων (SciQ) και στην επαλήθευση ισχυρισμών (SciFact). Ωστόσο, παρατηρήθηκαν δομικοί περιορισμοί του cross-encoder στον πιο σύνθετο συλλογισμό πολλαπλών αλμάτων (HotpotQA).","This thesis explores the design, optimization, and evaluation of an advanced Retrieval-Augmented Generation (RAG) system. The main goal is to evaluate performance in out-of-domain scientific literature and to reduce factual hallucinations that are commonly produced by Large Language Models (LLMs). During the experimental process, a modular RAG architecture was implemented to decouple the retrieval and generation phases. Two retrieval models (Gemma-300m vs. Jina-v3) and two generation models (Mistral-7B vs. Llama-3-8B) were comparatively evaluated. Additionally, advanced optimization techniques, which include dynamic semantic chunking, cross-encoder re-ranking and Hypothetical Document Embeddings (HyDE) were examined. The system’s performance was quantified with the use of lexical and semantic metrics (Exact Match, Token F1, BERTScore) alongside the reference-free RAGAS evaluation framework. The steps began with the baseline calibration of the system on the SQuAD 2.0 dataset to establish its negative rejection capabilities. Then, various optimization techniques were sequentially integrated and evaluated via ablation studies. Lastly, the optimized pipeline underwent adversarial stress testing and was benchmarked under zero-shot conditions across specialized scientific datasets (SciQ, SciFact, HotpotQA). The main results showed that the optimal configuration (Gemma-300m, Meta-Llama-3-8B-Instruct, semantic chunking, and a top-3 cross-encoder) substantially improved extraction accuracy while also reducing generation latency by 42%. On the contrary, the HyDE technique was rejected due to overall performance degradation. The optimized architecture exhibited a relatively good adaptability in scientific fact extraction (SciQ) and claim verification (SciFact). However, structural filtering limitations of the cross-encoder bottlenecked the performance in complex multi-hop reasoning tasks (HotpotQA)."]},{"key":"dc:title","label":"Title","values":["Advanced Retrieval-Augmented Generation: Optimization and Evaluation"]}]}],"canonical_facts":{"dc:creator":["ΚΑΡΑΜΠΑΣΗΣ ΗΛΙΑΣ ΣΤΥΛΙΑΝΟΣ","KARAMPASIS ILIAS STYLIANOS"],"dc:date":["2026"],"dc:description":["Η παρούσα διπλωματική εργασία έχει ως αντικείμενο την σχεδίαση, βελτιστοποίηση και αξιολόγηση ενός προηγμένου συστήματος Retrieval-Augmented Generation (RAG). Ο βασικός στόχος είναι η αξιολόγηση ικανότητας της απόδοσης σε μια σειρά εξειδικευμένων επιστημονικών κειμένων και ο περιορισμός των ψευδαισθήσεων (hallucinations) των Μεγάλων Γλωσσικών Μοντέλων (LLMs). Κατά την πειραματική διαδικασία υιοθετήθηκε μια αρθρωτή αρχιτεκτονική RAG, με τον διαχωρισμό της διαδικασίας ανάκτησης από την παραγωγή κειμένου. Αξιολογήθηκαν δύο μοντέλα retrieval (Gemma-300m έναντι Jina-v3) και δύο μοντέλα generation (Mistral-7B έναντι Llama-3-8B). Παράλληλα, εξετάστηκαν τεχνικές βελτιστοποίησης, όπως είναι η σημασιολογική τμηματοποίηση (semantic chunking), η επανακατάταξη μέσω cross-encoder και τα Hypothetical Document Embeddings (HyDE). Η απόδοση μετρήθηκε με την χρήση μετρικών λεξιλογικής και σημασιολογικής ομοιότητας (Exact Match, Token F1, BERTScore) και μέσω του πλαισίου αξιολόγησης RAGAS. Τα κύρια βήματα που ακολουθήθηκαν ξεκίνησαν με την βαθμονόμηση του συστήματος στο σύνολο δεδομένων SQuAD 2.0 για την εγκαθίδρυση ελέγχων αρνητικής απόρριψης. Έπειτα, ενσωματώθηκαν και αξιολογήθηκαν σταδιακά οι τεχνικές βελτιστοποίησης μέσω μελετών αφαίρεσης. Τέλος, το βελτιστοποιημένο σύστημα υποβλήθηκε σε πολλαπλούς ελέγχους και αξιολογήθηκε σε περιβάλλοντα μηδενικής μάθησης (zero-shot) στα επιστημονικά σύνολα δεδομένων SciQ, SciFact και HotpotQA. Τα κύρια αποτελέσματα έδειξαν ότι η βέλτιστη διαμόρφωση (Gemma-300m, Llama-3-8B, σημασιολογική τμηματοποίηση και επανακατάταξη top-3) αύξησε την ακρίβεια εξαγωγής και μείωσε την υπολογιστική καθυστέρηση κατά 42%, ενώ αντίθετα η τεχνική HyDE απορρίφθηκε ως μη αποδοτική. Η βελτιστοποιημένη αρχιτεκτονική έδειξε σχετικά υψηλή προσαρμοστικότητα στην εξαγωγή επιστημονικών γεγονότων (SciQ) και στην επαλήθευση ισχυρισμών (SciFact). Ωστόσο, παρατηρήθηκαν δομικοί περιορισμοί του cross-encoder στον πιο σύνθετο συλλογισμό πολλαπλών αλμάτων (HotpotQA).","This thesis explores the design, optimization, and evaluation of an advanced Retrieval-Augmented Generation (RAG) system. The main goal is to evaluate performance in out-of-domain scientific literature and to reduce factual hallucinations that are commonly produced by Large Language Models (LLMs). During the experimental process, a modular RAG architecture was implemented to decouple the retrieval and generation phases. Two retrieval models (Gemma-300m vs. Jina-v3) and two generation models (Mistral-7B vs. Llama-3-8B) were comparatively evaluated. Additionally, advanced optimization techniques, which include dynamic semantic chunking, cross-encoder re-ranking and Hypothetical Document Embeddings (HyDE) were examined. The system’s performance was quantified with the use of lexical and semantic metrics (Exact Match, Token F1, BERTScore) alongside the reference-free RAGAS evaluation framework. The steps began with the baseline calibration of the system on the SQuAD 2.0 dataset to establish its negative rejection capabilities. Then, various optimization techniques were sequentially integrated and evaluated via ablation studies. Lastly, the optimized pipeline underwent adversarial stress testing and was benchmarked under zero-shot conditions across specialized scientific datasets (SciQ, SciFact, HotpotQA). The main results showed that the optimal configuration (Gemma-300m, Meta-Llama-3-8B-Instruct, semantic chunking, and a top-3 cross-encoder) substantially improved extraction accuracy while also reducing generation latency by 42%. On the contrary, the HyDE technique was rejected due to overall performance degradation. The optimized architecture exhibited a relatively good adaptability in scientific fact extraction (SciQ) and claim verification (SciFact). However, structural filtering limitations of the cross-encoder bottlenecked the performance in complex multi-hop reasoning tasks (HotpotQA)."],"dc:identifier":["uoadl:5451005","https://pergamos.lib.uoa.gr/uoa/dl/object/5451005"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Advanced Retrieval-Augmented Generation: Optimization and Evaluation"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:20:47Z"}