National and Kapodistrian University of Athens
Advanced Retrieval-Augmented Generation: Optimization and Evaluation
Abstract
dc:descriptionΗ παρούσα διπλωματική εργασία έχει ως αντικείμενο την σχεδίαση, βελτιστοποίηση και αξιολόγηση ενός προηγμένου συστήματος Retrieval-Augmented Generation (RAG). Ο βασικός στόχος είναι η αξιολόγηση ικανότητας της απόδοσης σε μια σειρά εξειδικευμένων επιστημονικών κειμένων και ο περιορισμός των ψευδαισθήσεων (hallucinations) των Μεγάλων Γλωσσικών Μοντέλων (LLMs). Κατά την πειραματική διαδικασία υιοθετήθηκε μια αρθρωτή αρχιτεκτονική RAG, με τον διαχωρισμό της διαδικασίας ανάκτησης από την παραγωγή κειμένου. Αξιολογήθηκαν δύο μοντέλα retrieval (Gemma-300m έναντι Jina-v3) και δύο μοντέλα generation (Mistral-7B έναντι Llama-3-8B). Παράλληλα, εξετάστηκαν τεχνικές βελτιστοποίησης, όπως είναι η σημασιολογική τμηματοποίηση (semantic chunking), η επανακατάταξη μέσω cross-encoder και τα Hypothetical Document Embeddings (HyDE). Η απόδοση μετρήθηκε με την χρήση μετρικών λεξιλογικής και σημασιολογικής ομοιότητας (Exact Match, Token F1, BERTScore) και μέσω του πλαισίου αξιολόγησης RAGAS. Τα κύρια βήματα που ακολουθήθηκαν ξεκίνησαν με την βαθμονόμηση του συστήματος στο σύνολο δεδομένων SQuAD 2.0 για την εγκαθίδρυση ελέγχων αρνητικής απόρριψης. Έπειτα, ενσωματώθηκαν και αξιολογήθηκαν σταδιακά οι τεχνικές βελτιστοποίησης μέσω μελετών αφαίρεσης. Τέλος, το βελτιστοποιημένο σύστημα υποβλήθηκε σε πολλαπλούς ελέγχους και αξιολογήθηκε σε περιβάλλοντα μηδενικής μάθησης (zero-shot) στα επιστημονικά σύνολα δεδομένων SciQ, SciFact και HotpotQA. Τα κύρια αποτελέσματα έδειξαν ότι η βέλτιστη διαμόρφωση (Gemma-300m, Llama-3-8B, σημασιολογική τμηματοποίηση και επανακατάταξη top-3) αύξησε την ακρίβεια εξαγωγής και μείωσε την υπολογιστική καθυστέρηση κατά 42%, ενώ αντίθετα η τεχνική HyDE απορρίφθηκε ως μη αποδοτική. Η βελτιστοποιημένη αρχιτεκτονική έδειξε σχετικά υψηλή προσαρμοστικότητα στην εξαγωγή επιστημονικών γεγονότων (SciQ) και στην επαλήθευση ισχυρισμών (SciFact). Ωστόσο, παρατηρήθηκαν δομικοί περιορισμοί του cross-encoder στον πιο σύνθετο συλλογισμό πολλαπλών αλμάτων (HotpotQA).
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- ΚΑΡΑΜΠΑΣΗΣ ΗΛΙΑΣ ΣΤΥΛΙΑΝΟΣ
- KARAMPASIS ILIAS STYLIANOS
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5451005