Back to search

National and Kapodistrian University of Athens

Advanced Retrieval-Augmented Generation: Optimization and Evaluation

Abstract

dc:description

Η παρούσα διπλωματική εργασία έχει ως αντικείμενο την σχεδίαση, βελτιστοποίηση και αξιολόγηση ενός προηγμένου συστήματος Retrieval-Augmented Generation (RAG). Ο βασικός στόχος είναι η αξιολόγηση ικανότητας της απόδοσης σε μια σειρά εξειδικευμένων επιστημονικών κειμένων και ο περιορισμός των ψευδαισθήσεων (hallucinations) των Μεγάλων Γλωσσικών Μοντέλων (LLMs). Κατά την πειραματική διαδικασία υιοθετήθηκε μια αρθρωτή αρχιτεκτονική RAG, με τον διαχωρισμό της διαδικασίας ανάκτησης από την παραγωγή κειμένου. Αξιολογήθηκαν δύο μοντέλα retrieval (Gemma-300m έναντι Jina-v3) και δύο μοντέλα generation (Mistral-7B έναντι Llama-3-8B). Παράλληλα, εξετάστηκαν τεχνικές βελτιστοποίησης, όπως είναι η σημασιολογική τμηματοποίηση (semantic chunking), η επανακατάταξη μέσω cross-encoder και τα Hypothetical Document Embeddings (HyDE). Η απόδοση μετρήθηκε με την χρήση μετρικών λεξιλογικής και σημασιολογικής ομοιότητας (Exact Match, Token F1, BERTScore) και μέσω του πλαισίου αξιολόγησης RAGAS. Τα κύρια βήματα που ακολουθήθηκαν ξεκίνησαν με την βαθμονόμηση του συστήματος στο σύνολο δεδομένων SQuAD 2.0 για την εγκαθίδρυση ελέγχων αρνητικής απόρριψης. Έπειτα, ενσωματώθηκαν και αξιολογήθηκαν σταδιακά οι τεχνικές βελτιστοποίησης μέσω μελετών αφαίρεσης. Τέλος, το βελτιστοποιημένο σύστημα υποβλήθηκε σε πολλαπλούς ελέγχους και αξιολογήθηκε σε περιβάλλοντα μηδενικής μάθησης (zero-shot) στα επιστημονικά σύνολα δεδομένων SciQ, SciFact και HotpotQA. Τα κύρια αποτελέσματα έδειξαν ότι η βέλτιστη διαμόρφωση (Gemma-300m, Llama-3-8B, σημασιολογική τμηματοποίηση και επανακατάταξη top-3) αύξησε την ακρίβεια εξαγωγής και μείωσε την υπολογιστική καθυστέρηση κατά 42%, ενώ αντίθετα η τεχνική HyDE απορρίφθηκε ως μη αποδοτική. Η βελτιστοποιημένη αρχιτεκτονική έδειξε σχετικά υψηλή προσαρμοστικότητα στην εξαγωγή επιστημονικών γεγονότων (SciQ) και στην επαλήθευση ισχυρισμών (SciFact). Ωστόσο, παρατηρήθηκαν δομικοί περιορισμοί του cross-encoder στον πιο σύνθετο συλλογισμό πολλαπλών αλμάτων (HotpotQA).

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • ΚΑΡΑΜΠΑΣΗΣ ΗΛΙΑΣ ΣΤΥΛΙΑΝΟΣ
  • KARAMPASIS ILIAS STYLIANOS

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5451005

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

ΚΑΡΑΜΠΑΣΗΣ ΗΛΙΑΣ ΣΤΥΛΙΑΝΟΣ; KARAMPASIS ILIAS STYLIANOS. Advanced Retrieval-Augmented Generation: Optimization and Evaluation. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5451005