Back to search

National and Kapodistrian University of Athens

Modular LLM Pipeline for Task-Oriented Customer Service Dialogue

Abstract

dc:description

Τα συστήματα διαλόγου συγκεκριμένης εργασίας (Task-Oriented Dialogue, TOD) αποτελούν θεμέλιο λίθο της σύγχρονης αυτοματοποίησης στην εξυπηρέτηση πελατών, υποσχόμενα να διαχειρίζονται στόχους χρηστών, όπως η αναζήτηση, η κράτηση και η αίτηση πληροφοριών, μέσω φυσικής συνομιλίας. Η πρόσφατη άνοδος των Μεγάλων Γλωσσικών Μοντέλων (LLMs) που έχουν προσαρμοστεί ώστε να ακολουθούν οδηγίες, έχει επαναφέρει στο προσκήνιο ένα θεμελιώδες ερώτημα σχεδιασμού: θα πρέπει ένα μοναδικό LLM γενικού σκοπού να αναλαμβάνει ολόκληρο τον κύκλο του διαλόγου, ή θα πρέπει οι αρμοδιότητες ενός πράκτορα διαλόγου να διαμοιράζονται σε μια αρχιτεκτονική από μικρότερα, εξειδικευμένα κατά ρόλο υποσυστήματα; Η υπάρχουσα βιβλιογραφία εξερευνά και τις δυο περιπτώσεις, αλλά σπάνια τις συγκρίνει άμεσα μέσα σε ένα πλαίσιο με κοινό σύνολο δεδομένων, διαδικασία αξιολόγησης και οικογένειες μοντέλων, αφήνοντας έτσι την άμεση σύγκριση ανάμεσα στην αρχιτεκτονική απλότητα και την αρχιτεκτονική αποσύνθεση να μην έχει συγκεντρωθεί ποτέ σε μία ενιαία ελεγχόμενη μελέτη. Στην παρούσα διπλωματική εργασία, εισάγουμε μια συγκριτική μελέτη τριών αρχιτεκτονικών διαλόγου συγκεκριμένης εργασίας για την εξυπηρέτηση πελατών στους τομείς ξενοδοχείων και εστιατορίων, η οποία αξιολογείται πάνω στο MultiWOZ 2.2. Η πρώτη αρχιτεκτονική βασίζεται σε ένα μοναδικό LLM που εκτελεί την παρακολούθηση της κατάστασης διαλόγου, την αναζήτηση στη βάση δεδομένων και την παραγωγή απάντησης μέσα σε ένα prompt. Η δεύτερη είναι μια zero-shot αρχιτεκτονική που διαχωρίζει την παρακολούθηση κατάστασης διαλόγου από την παραγωγή απάντησης, συνδεδεμένες μεταξύ τους μέσω μιας ντετερμινιστικής αναζήτησης βάσης δεδομένων, ελέγχου πολιτικής και μιας δικλείδας ασφαλείας. Η τρίτη εφαρμόζει εξειδικευμένο κατά ρόλο fine-tuning με LoRA στα δύο LLM-based στοιχεία της αρχιτεκτονικής (DST και ResponseGen), εκπαιδεύοντας μικρά open-source μοντέλα για τον ρόλο που τους έχει ανατεθεί μέσω QLoRA. Και οι τρεις αρχιτεκτονικές αξιολογούνται με βάση το MultiWOZ, αναφέροντας τόσο μετρικές κατάστασης διαλόγου (Joint Goal Accuracy, Slot F1) όσο και μετρικές end-to-end (Inform, Success, BLEU, Combined), και επιπλέον μετρικές όπως hallucination, policy violations, system correctness, latency και cost. Τα ευρήματά μας δείχνουν ότι α) η αρχιτεκτονική αποσύνθεση δεν είναι καθολικά ωφέλιμη: βοηθά σημαντικά τα ασθενέστερα μοντέλα, αλλά μπορεί να βλάψει τα ισχυρότερα open-source μοντέλα που ήδη συντονίζουν αξιόπιστα όλες τις αρμοδιότητες και β) το εξειδικευμένο κατά ρόλο fine-tuning με LoRA φέρνει την παρακολούθηση κατάστασης διαλόγου των μικρών open-source μοντέλων κοντά στο επίπεδο πολύ μεγαλύτερων εμπορικών APIs, καθιστώντας τα μια οικονομικά αποδοτική, γρήγορη και ανταγωνιστική εναλλακτική. Τα αποτελέσματα αυτά δείχνουν ότι η αρχιτεκτονική αποσύνθεση και το εξειδικευμένο κατά ρόλο fine-tuning αποτελούν αποτελεσματικά εργαλεία, αλλά μόνο υπό τις κατάλληλες συνθήκες, για την κατασκευή αξιόπιστων συστημάτων διαλόγου εξυπηρέτησης πελατών βασισμένων σε LLM.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • ΞΥΔΙΑΣ ΓΕΩΡΓΙΟΣ
  • XYDIAS GEORGIOS

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5416018

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

ΞΥΔΙΑΣ ΓΕΩΡΓΙΟΣ; XYDIAS GEORGIOS. Modular LLM Pipeline for Task-Oriented Customer Service Dialogue. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5416018