Back to search

National and Kapodistrian University of Athens

Efficient and Interactive Evaluation of Large Language Models

Abstract

dc:description

Η αξιολόγηση μεγάλων γλωσσικών μοντέλων (LLM) είναι υπολογιστικά δαπανηρή και συχνά αποτυγχάνει να καταγράψει τις λεπτές διαφορές απόδοσης. Η παρούσα διατριβή αντιμετωπίζει δύο βασικές προκλήσεις στην αξιολόγηση LLM - αποδοτική εκτίμηση της ακρίβειας σε στατικούς δείκτες αναφοράς και διαδραστική αξιολόγηση για εις βάθος ανάλυση σε σύνθετες εργασίες. Για την πρώτη πρόκληση, αναπτύσσουμε μεθόδους για την εκτίμηση της ακρίβειας ενός LLM σε πολυτομεακούς δείκτες αναφοράς χωρίς εξαντλητική αξιολόγηση κάθε περίπτωσης, αξιοποιώντας την ενσωμάτωση ερωτήσεων, τις ιστορικές αποκρίσεις του μοντέλου και την πιθανολογική μοντελοποίηση, προσεγγίζοντας έτσι αποτελεσματικά την ακρίβεια και μειώνοντας παράλληλα την υπολογιστική επιβάρυνση για κλιμακούμενες αξιολογήσεις. Η δεύτερη πρόκληση αφορά πολύπλοκες εργασίες όπου οι δυαδικές μετρήσεις επιτυχίας/αποτυχίας δεν επαρκούν- για την αντιμετώπισή της, προτείνουμε ένα διαδραστικό πλαίσιο αξιολόγησης που βελτιώνει τις απαντήσεις του μοντέλου μέσω καθοδηγούμενης ανατροφοδότησης, επιτρέποντας μια πιο λεπτομερή αξιολόγηση των επιδόσεων. Αυτή η αλληλεπίδραση ενισχύει την ανάλυση της αξιολόγησης και αποκαλύπτει λεπτομερείς γνώσεις σχετικά με τα δυνατά σημεία, τις αδυναμίες και τις συμπεριφορές συλλογισμού του μοντέλου, με μια ολοκληρωμένη έκθεση που συνθέτει αυτές τις γνώσεις σε μια διαφοροποιημένη προοπτική για τις δυνατότητες του μοντέλου. Με την αντιμετώπιση τόσο της αποδοτικής εκτίμησης ακρίβειας όσο και της διαδραστικής αξιολόγησης ικανοτήτων, η παρούσα διατριβή συμβάλλει σε κλιμακούμενες και διορατικές μεθοδολογίες για την προώθηση της αξιολόγησης LLM.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Ροντογιάννης Δημήτριος
  • Rontogiannis Dimitrios

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:3471407

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Ροντογιάννης Δημήτριος; Rontogiannis Dimitrios. Efficient and Interactive Evaluation of Large Language Models. 2025. https://pergamos.lib.uoa.gr/uoa/dl/object/3471407