National and Kapodistrian University of Athens
Design and Intent Evaluation of an Agentic Telecom Customer Service Chatbot
Abstract
dc:descriptionΗ αυξανόμενη υιοθέτηση των Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ) έχει οδηγήσει σε σημαντική πρόοδο στην τεχνητή νοημοσύνη συνομιλίας, ιδιαίτερα στον τομέα της εξυπηρέτησης πελατών. Ωστόσο, οι συμβατικές αρχιτεκτονικές chatbot βασίζονται σε γραμμικές ροές επεξεργασίας, στις οποίες η σειρά των λειτουργιών καθορίζεται εκ των προτέρων. Τέτοιοι σχεδιασμοί περιορίζουν την ικανότητα διαχείρισης αιτημάτων που απαιτούν πολλαπλά βήματα, τη διατήρηση του πλαισίου κατά τη διάρκεια μιας συνομιλίας και την ελεγχόμενη αξιοποίηση εξωτερικής γνώσης. Η δυσκολία αυτή είναι ιδιαίτερα έντονη στις τηλεπικοινωνίες, όπου οι αλληλεπιδράσεις απαιτούν εξειδικευμένη γνώση και ακολουθούν ροές εργασιών που διαφέρουν ουσιωδώς μεταξύ ερωτημάτων χρέωσης, αναφορών βλαβών και αιτημάτων για επικοινωνία με εκπρόσωπο. Η παρούσα διπλωματική εργασία παρουσιάζει τον σχεδιασμό, την υλοποίηση και την αξιολόγηση ενός πρακτορικού chatbot (agentic chatbot) για την εξυπηρέτηση πελατών στον τομέα των τηλεπικοινωνιών, αναπτυγμένου με το πλαίσιο LangGraph. Το σύστημα δομείται ως κατευθυνόμενος γράφος καταστάσεων, στον οποίο κάθε συνιστώσα λειτουργεί επί μιας κοινής κατάστασης διαλόγου. Η πρόθεση του χρήστη προσδιορίζεται από έναν μηχανισμό δρομολόγησης δύο σταδίων: ένας κανόνας βασισμένος σε λέξεις-κλειδιά ανακατευθύνει τα ρητά αιτήματα για επικοινωνία με εκπρόσωπο απευθείας στη ροή μεταβίβασης σε ανθρώπινο χειριστή, ενώ κάθε άλλο μήνυμα ταξινομείται από ένα Μεγάλο Γλωσσικό Μοντέλο, το οποίο το εξετάζει μαζί με το συνομιλιακό του πλαίσιο και επιλέγει μεταξύ ενός συνόλου εξειδικευμένων ροών εργασίας. Δύο από αυτές διαθέτουν εργαλεία που μπορούν να καλέσουν, τα οποία παρέχουν πρόσβαση σε δεδομένα χρέωσης και σε μια ευρετηριασμένη βάση γνώσης, και εκτελούν έναν επαναληπτικό κύκλο συλλογισμού και δράσης, που εκφράζεται ως ρητές μεταβάσεις εντός του γράφου. Μια κεντρική σχεδιαστική επιλογή διακρίνει την αρχιτεκτονική αυτή από τα συμβατικά συστήματα Παραγωγής Επαυξημένης με Ανάκτηση (Retrieval-Augmented Generation). Αντί η ανάκτηση να εκτελείται ως σταθερό στάδιο, το σύστημα την παρέχει στο μοντέλο ως εργαλείο που μπορεί να καλέσει, διατυπώνοντας τα δικά του ερωτήματα αναζήτησης και επαναλαμβάνοντας την αναζήτηση όταν τα αρχικά αποτελέσματα κρίνονται ανεπαρκή. Ο μηχανισμός δρομολόγησης αξιολογείται σε ένα επισημειωμένο σύνολο δοκιμών που καλύπτει όλες τις κατηγορίες προθέσεων σε διάφορα επίπεδα δυσκολίας. Ταξινομεί χωρίς κανένα σφάλμα κάθε κατηγορία εντός του πεδίου εφαρμογής του συστήματος, ενώ η εναπομένουσα απόκλιση εντοπίζεται σε ένα μόνο όριο: μεταξύ μηνυμάτων εκτός πεδίου και μηνυμάτων συνομιλιακού χαρακτήρα που απευθύνονται στον ίδιο τον βοηθό. Η απόκλιση αυτή αποδεικνύεται ότι οφείλεται σε ασάφεια του σχήματος κατηγοριών και όχι σε αδυναμία του ταξινομητή.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Χαμηλάκη Μαρία
- Chamilaki Maria
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5448889