{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3471407"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3471407","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Efficient and Interactive Evaluation of Large Language Models","abstract":"Η αξιολόγηση μεγάλων γλωσσικών μοντέλων (LLM) είναι υπολογιστικά δαπανηρή και συχνά αποτυγχάνει να καταγράψει τις λεπτές διαφορές απόδοσης. Η παρούσα διατριβή αντιμετωπίζει δύο βασικές προκλήσεις στην αξιολόγηση LLM - αποδοτική εκτίμηση της ακρίβειας σε στατικούς δείκτες αναφοράς και διαδραστική αξιολόγηση για εις βάθος ανάλυση σε σύνθετες εργασίες. Για την πρώτη πρόκληση, αναπτύσσουμε μεθόδους για την εκτίμηση της ακρίβειας ενός LLM σε πολυτομεακούς δείκτες αναφοράς χωρίς εξαντλητική αξιολόγηση κάθε περίπτωσης, αξιοποιώντας την ενσωμάτωση ερωτήσεων, τις ιστορικές αποκρίσεις του μοντέλου και την πιθανολογική μοντελοποίηση, προσεγγίζοντας έτσι αποτελεσματικά την ακρίβεια και μειώνοντας παράλληλα την υπολογιστική επιβάρυνση για κλιμακούμενες αξιολογήσεις. Η δεύτερη πρόκληση αφορά πολύπλοκες εργασίες όπου οι δυαδικές μετρήσεις επιτυχίας/αποτυχίας δεν επαρκούν- για την αντιμετώπισή της, προτείνουμε ένα διαδραστικό πλαίσιο αξιολόγησης που βελτιώνει τις απαντήσεις του μοντέλου μέσω καθοδηγούμενης ανατροφοδότησης, επιτρέποντας μια πιο λεπτομερή αξιολόγηση των επιδόσεων. Αυτή η αλληλεπίδραση ενισχύει την ανάλυση της αξιολόγησης και αποκαλύπτει λεπτομερείς γνώσεις σχετικά με τα δυνατά σημεία, τις αδυναμίες και τις συμπεριφορές συλλογισμού του μοντέλου, με μια ολοκληρωμένη έκθεση που συνθέτει αυτές τις γνώσεις σε μια διαφοροποιημένη προοπτική για τις δυνατότητες του μοντέλου. Με την αντιμετώπιση τόσο της αποδοτικής εκτίμησης ακρίβειας όσο και της διαδραστικής αξιολόγησης ικανοτήτων, η παρούσα διατριβή συμβάλλει σε κλιμακούμενες και διορατικές μεθοδολογίες για την προώθηση της αξιολόγησης LLM.","abstract_html":"Η αξιολόγηση μεγάλων γλωσσικών μοντέλων (LLM) είναι υπολογιστικά δαπανηρή και συχνά αποτυγχάνει να καταγράψει τις λεπτές διαφορές απόδοσης. Η παρούσα διατριβή αντιμετωπίζει δύο βασικές προκλήσεις στην αξιολόγηση LLM - αποδοτική εκτίμηση της ακρίβειας σε στατικούς δείκτες αναφοράς και διαδραστική αξιολόγηση για εις βάθος ανάλυση σε σύνθετες εργασίες. Για την πρώτη πρόκληση, αναπτύσσουμε μεθόδους για την εκτίμηση της ακρίβειας ενός LLM σε πολυτομεακούς δείκτες αναφοράς χωρίς εξαντλητική αξιολόγηση κάθε περίπτωσης, αξιοποιώντας την ενσωμάτωση ερωτήσεων, τις ιστορικές αποκρίσεις του μοντέλου και την πιθανολογική μοντελοποίηση, προσεγγίζοντας έτσι αποτελεσματικά την ακρίβεια και μειώνοντας παράλληλα την υπολογιστική επιβάρυνση για κλιμακούμενες αξιολογήσεις. Η δεύτερη πρόκληση αφορά πολύπλοκες εργασίες όπου οι δυαδικές μετρήσεις επιτυχίας/αποτυχίας δεν επαρκούν- για την αντιμετώπισή της, προτείνουμε ένα διαδραστικό πλαίσιο αξιολόγησης που βελτιώνει τις απαντήσεις του μοντέλου μέσω καθοδηγούμενης ανατροφοδότησης, επιτρέποντας μια πιο λεπτομερή αξιολόγηση των επιδόσεων. Αυτή η αλληλεπίδραση ενισχύει την ανάλυση της αξιολόγησης και αποκαλύπτει λεπτομερείς γνώσεις σχετικά με τα δυνατά σημεία, τις αδυναμίες και τις συμπεριφορές συλλογισμού του μοντέλου, με μια ολοκληρωμένη έκθεση που συνθέτει αυτές τις γνώσεις σε μια διαφοροποιημένη προοπτική για τις δυνατότητες του μοντέλου. Με την αντιμετώπιση τόσο της αποδοτικής εκτίμησης ακρίβειας όσο και της διαδραστικής αξιολόγησης ικανοτήτων, η παρούσα διατριβή συμβάλλει σε κλιμακούμενες και διορατικές μεθοδολογίες για την προώθηση της αξιολόγησης LLM.","abstract_has_math":false,"creators":["Ροντογιάννης Δημήτριος","Rontogiannis Dimitrios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2025,"date_issued":"2025","date_published":"2025","updated_at":"2026-11-19T06:32:05Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3471407"],"render_values":[{"text":"uoadl:3471407","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3471407","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3471407","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3471407","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Ροντογιάννης Δημήτριος","Rontogiannis Dimitrios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2025"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3471407","https://pergamos.lib.uoa.gr/uoa/dl/object/3471407"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η αξιολόγηση μεγάλων γλωσσικών μοντέλων (LLM) είναι υπολογιστικά δαπανηρή και συχνά αποτυγχάνει να καταγράψει τις λεπτές διαφορές απόδοσης. Η παρούσα διατριβή αντιμετωπίζει δύο βασικές προκλήσεις στην αξιολόγηση LLM - αποδοτική εκτίμηση της ακρίβειας σε στατικούς δείκτες αναφοράς και διαδραστική αξιολόγηση για εις βάθος ανάλυση σε σύνθετες εργασίες. Για την πρώτη πρόκληση, αναπτύσσουμε μεθόδους για την εκτίμηση της ακρίβειας ενός LLM σε πολυτομεακούς δείκτες αναφοράς χωρίς εξαντλητική αξιολόγηση κάθε περίπτωσης, αξιοποιώντας την ενσωμάτωση ερωτήσεων, τις ιστορικές αποκρίσεις του μοντέλου και την πιθανολογική μοντελοποίηση, προσεγγίζοντας έτσι αποτελεσματικά την ακρίβεια και μειώνοντας παράλληλα την υπολογιστική επιβάρυνση για κλιμακούμενες αξιολογήσεις. Η δεύτερη πρόκληση αφορά πολύπλοκες εργασίες όπου οι δυαδικές μετρήσεις επιτυχίας/αποτυχίας δεν επαρκούν- για την αντιμετώπισή της, προτείνουμε ένα διαδραστικό πλαίσιο αξιολόγησης που βελτιώνει τις απαντήσεις του μοντέλου μέσω καθοδηγούμενης ανατροφοδότησης, επιτρέποντας μια πιο λεπτομερή αξιολόγηση των επιδόσεων. Αυτή η αλληλεπίδραση ενισχύει την ανάλυση της αξιολόγησης και αποκαλύπτει λεπτομερείς γνώσεις σχετικά με τα δυνατά σημεία, τις αδυναμίες και τις συμπεριφορές συλλογισμού του μοντέλου, με μια ολοκληρωμένη έκθεση που συνθέτει αυτές τις γνώσεις σε μια διαφοροποιημένη προοπτική για τις δυνατότητες του μοντέλου. Με την αντιμετώπιση τόσο της αποδοτικής εκτίμησης ακρίβειας όσο και της διαδραστικής αξιολόγησης ικανοτήτων, η παρούσα διατριβή συμβάλλει σε κλιμακούμενες και διορατικές μεθοδολογίες για την προώθηση της αξιολόγησης LLM.","Evaluating large language models (LLMs) comprehensively is computationally expensive and often fails to capture subtle performance differences. This thesis addresses two key challenges in LLM evaluation—cost-effective accuracy estimation on static benchmarks and interactive evaluation for in-depth analysis on complex tasks. For the first challenge, we develop methods to estimate an LLM’s accuracy across multi-domain benchmarks without exhaustively evaluating every instance by leveraging question embeddings, historical model responses, and probabilistic modeling, thereby efficiently approximating accuracy while reducing computational overhead for scalable assessments. The second challenge involves complex tasks where binary pass/fail metrics are insufficient; to tackle this, we propose an interactive evaluation framework that refines model responses through guided feedback, allowing for a more detailed assessment of performance. This interaction enhances evaluation granularity and reveals detailed insights into the model’s strengths, weaknesses, and reasoning behaviors, with a comprehensive report synthesizing these insights into a nuanced perspective on model capabilities. By addressing both cost-efficient accuracy estimation and interactive capability assessment, this thesis contributes scalable and insightful methodologies for advancing LLM evaluation."]},{"key":"dc:title","label":"Title","values":["Efficient and Interactive Evaluation of Large Language Models"]}]}],"canonical_facts":{"dc:creator":["Ροντογιάννης Δημήτριος","Rontogiannis Dimitrios"],"dc:date":["2025"],"dc:description":["Η αξιολόγηση μεγάλων γλωσσικών μοντέλων (LLM) είναι υπολογιστικά δαπανηρή και συχνά αποτυγχάνει να καταγράψει τις λεπτές διαφορές απόδοσης. Η παρούσα διατριβή αντιμετωπίζει δύο βασικές προκλήσεις στην αξιολόγηση LLM - αποδοτική εκτίμηση της ακρίβειας σε στατικούς δείκτες αναφοράς και διαδραστική αξιολόγηση για εις βάθος ανάλυση σε σύνθετες εργασίες. Για την πρώτη πρόκληση, αναπτύσσουμε μεθόδους για την εκτίμηση της ακρίβειας ενός LLM σε πολυτομεακούς δείκτες αναφοράς χωρίς εξαντλητική αξιολόγηση κάθε περίπτωσης, αξιοποιώντας την ενσωμάτωση ερωτήσεων, τις ιστορικές αποκρίσεις του μοντέλου και την πιθανολογική μοντελοποίηση, προσεγγίζοντας έτσι αποτελεσματικά την ακρίβεια και μειώνοντας παράλληλα την υπολογιστική επιβάρυνση για κλιμακούμενες αξιολογήσεις. Η δεύτερη πρόκληση αφορά πολύπλοκες εργασίες όπου οι δυαδικές μετρήσεις επιτυχίας/αποτυχίας δεν επαρκούν- για την αντιμετώπισή της, προτείνουμε ένα διαδραστικό πλαίσιο αξιολόγησης που βελτιώνει τις απαντήσεις του μοντέλου μέσω καθοδηγούμενης ανατροφοδότησης, επιτρέποντας μια πιο λεπτομερή αξιολόγηση των επιδόσεων. Αυτή η αλληλεπίδραση ενισχύει την ανάλυση της αξιολόγησης και αποκαλύπτει λεπτομερείς γνώσεις σχετικά με τα δυνατά σημεία, τις αδυναμίες και τις συμπεριφορές συλλογισμού του μοντέλου, με μια ολοκληρωμένη έκθεση που συνθέτει αυτές τις γνώσεις σε μια διαφοροποιημένη προοπτική για τις δυνατότητες του μοντέλου. Με την αντιμετώπιση τόσο της αποδοτικής εκτίμησης ακρίβειας όσο και της διαδραστικής αξιολόγησης ικανοτήτων, η παρούσα διατριβή συμβάλλει σε κλιμακούμενες και διορατικές μεθοδολογίες για την προώθηση της αξιολόγησης LLM.","Evaluating large language models (LLMs) comprehensively is computationally expensive and often fails to capture subtle performance differences. This thesis addresses two key challenges in LLM evaluation—cost-effective accuracy estimation on static benchmarks and interactive evaluation for in-depth analysis on complex tasks. For the first challenge, we develop methods to estimate an LLM’s accuracy across multi-domain benchmarks without exhaustively evaluating every instance by leveraging question embeddings, historical model responses, and probabilistic modeling, thereby efficiently approximating accuracy while reducing computational overhead for scalable assessments. The second challenge involves complex tasks where binary pass/fail metrics are insufficient; to tackle this, we propose an interactive evaluation framework that refines model responses through guided feedback, allowing for a more detailed assessment of performance. This interaction enhances evaluation granularity and reveals detailed insights into the model’s strengths, weaknesses, and reasoning behaviors, with a comprehensive report synthesizing these insights into a nuanced perspective on model capabilities. By addressing both cost-efficient accuracy estimation and interactive capability assessment, this thesis contributes scalable and insightful methodologies for advancing LLM evaluation."],"dc:identifier":["uoadl:3471407","https://pergamos.lib.uoa.gr/uoa/dl/object/3471407"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Efficient and Interactive Evaluation of Large Language Models"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:32:05Z"}