National and Kapodistrian University of Athens
Efficient and Interactive Evaluation of Large Language Models
Abstract
dc:descriptionΗ αξιολόγηση μεγάλων γλωσσικών μοντέλων (LLM) είναι υπολογιστικά δαπανηρή και συχνά αποτυγχάνει να καταγράψει τις λεπτές διαφορές απόδοσης. Η παρούσα διατριβή αντιμετωπίζει δύο βασικές προκλήσεις στην αξιολόγηση LLM - αποδοτική εκτίμηση της ακρίβειας σε στατικούς δείκτες αναφοράς και διαδραστική αξιολόγηση για εις βάθος ανάλυση σε σύνθετες εργασίες. Για την πρώτη πρόκληση, αναπτύσσουμε μεθόδους για την εκτίμηση της ακρίβειας ενός LLM σε πολυτομεακούς δείκτες αναφοράς χωρίς εξαντλητική αξιολόγηση κάθε περίπτωσης, αξιοποιώντας την ενσωμάτωση ερωτήσεων, τις ιστορικές αποκρίσεις του μοντέλου και την πιθανολογική μοντελοποίηση, προσεγγίζοντας έτσι αποτελεσματικά την ακρίβεια και μειώνοντας παράλληλα την υπολογιστική επιβάρυνση για κλιμακούμενες αξιολογήσεις. Η δεύτερη πρόκληση αφορά πολύπλοκες εργασίες όπου οι δυαδικές μετρήσεις επιτυχίας/αποτυχίας δεν επαρκούν- για την αντιμετώπισή της, προτείνουμε ένα διαδραστικό πλαίσιο αξιολόγησης που βελτιώνει τις απαντήσεις του μοντέλου μέσω καθοδηγούμενης ανατροφοδότησης, επιτρέποντας μια πιο λεπτομερή αξιολόγηση των επιδόσεων. Αυτή η αλληλεπίδραση ενισχύει την ανάλυση της αξιολόγησης και αποκαλύπτει λεπτομερείς γνώσεις σχετικά με τα δυνατά σημεία, τις αδυναμίες και τις συμπεριφορές συλλογισμού του μοντέλου, με μια ολοκληρωμένη έκθεση που συνθέτει αυτές τις γνώσεις σε μια διαφοροποιημένη προοπτική για τις δυνατότητες του μοντέλου. Με την αντιμετώπιση τόσο της αποδοτικής εκτίμησης ακρίβειας όσο και της διαδραστικής αξιολόγησης ικανοτήτων, η παρούσα διατριβή συμβάλλει σε κλιμακούμενες και διορατικές μεθοδολογίες για την προώθηση της αξιολόγησης LLM.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Ροντογιάννης Δημήτριος
- Rontogiannis Dimitrios
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:3471407