{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5448889"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5448889","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Design and Intent Evaluation of an Agentic Telecom Customer Service Chatbot","abstract":"Η αυξανόμενη υιοθέτηση των Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ) έχει οδηγήσει σε σημαντική πρόοδο στην τεχνητή νοημοσύνη συνομιλίας, ιδιαίτερα στον τομέα της εξυπηρέτησης πελατών. Ωστόσο, οι συμβατικές αρχιτεκτονικές chatbot βασίζονται σε γραμμικές ροές επεξεργασίας, στις οποίες η σειρά των λειτουργιών καθορίζεται εκ των προτέρων. Τέτοιοι σχεδιασμοί περιορίζουν την ικανότητα διαχείρισης αιτημάτων που απαιτούν πολλαπλά βήματα, τη διατήρηση του πλαισίου κατά τη διάρκεια μιας συνομιλίας και την ελεγχόμενη αξιοποίηση εξωτερικής γνώσης. Η δυσκολία αυτή είναι ιδιαίτερα έντονη στις τηλεπικοινωνίες, όπου οι αλληλεπιδράσεις απαιτούν εξειδικευμένη γνώση και ακολουθούν ροές εργασιών που διαφέρουν ουσιωδώς μεταξύ ερωτημάτων χρέωσης, αναφορών βλαβών και αιτημάτων για επικοινωνία με εκπρόσωπο. Η παρούσα διπλωματική εργασία παρουσιάζει τον σχεδιασμό, την υλοποίηση και την αξιολόγηση ενός πρακτορικού chatbot (agentic chatbot) για την εξυπηρέτηση πελατών στον τομέα των τηλεπικοινωνιών, αναπτυγμένου με το πλαίσιο LangGraph. Το σύστημα δομείται ως κατευθυνόμενος γράφος καταστάσεων, στον οποίο κάθε συνιστώσα λειτουργεί επί μιας κοινής κατάστασης διαλόγου. Η πρόθεση του χρήστη προσδιορίζεται από έναν μηχανισμό δρομολόγησης δύο σταδίων: ένας κανόνας βασισμένος σε λέξεις-κλειδιά ανακατευθύνει τα ρητά αιτήματα για επικοινωνία με εκπρόσωπο απευθείας στη ροή μεταβίβασης σε ανθρώπινο χειριστή, ενώ κάθε άλλο μήνυμα ταξινομείται από ένα Μεγάλο Γλωσσικό Μοντέλο, το οποίο το εξετάζει μαζί με το συνομιλιακό του πλαίσιο και επιλέγει μεταξύ ενός συνόλου εξειδικευμένων ροών εργασίας. Δύο από αυτές διαθέτουν εργαλεία που μπορούν να καλέσουν, τα οποία παρέχουν πρόσβαση σε δεδομένα χρέωσης και σε μια ευρετηριασμένη βάση γνώσης, και εκτελούν έναν επαναληπτικό κύκλο συλλογισμού και δράσης, που εκφράζεται ως ρητές μεταβάσεις εντός του γράφου. Μια κεντρική σχεδιαστική επιλογή διακρίνει την αρχιτεκτονική αυτή από τα συμβατικά συστήματα Παραγωγής Επαυξημένης με Ανάκτηση (Retrieval-Augmented Generation). Αντί η ανάκτηση να εκτελείται ως σταθερό στάδιο, το σύστημα την παρέχει στο μοντέλο ως εργαλείο που μπορεί να καλέσει, διατυπώνοντας τα δικά του ερωτήματα αναζήτησης και επαναλαμβάνοντας την αναζήτηση όταν τα αρχικά αποτελέσματα κρίνονται ανεπαρκή. Ο μηχανισμός δρομολόγησης αξιολογείται σε ένα επισημειωμένο σύνολο δοκιμών που καλύπτει όλες τις κατηγορίες προθέσεων σε διάφορα επίπεδα δυσκολίας. Ταξινομεί χωρίς κανένα σφάλμα κάθε κατηγορία εντός του πεδίου εφαρμογής του συστήματος, ενώ η εναπομένουσα απόκλιση εντοπίζεται σε ένα μόνο όριο: μεταξύ μηνυμάτων εκτός πεδίου και μηνυμάτων συνομιλιακού χαρακτήρα που απευθύνονται στον ίδιο τον βοηθό. Η απόκλιση αυτή αποδεικνύεται ότι οφείλεται σε ασάφεια του σχήματος κατηγοριών και όχι σε αδυναμία του ταξινομητή.","abstract_html":"Η αυξανόμενη υιοθέτηση των Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ) έχει οδηγήσει σε σημαντική πρόοδο στην τεχνητή νοημοσύνη συνομιλίας, ιδιαίτερα στον τομέα της εξυπηρέτησης πελατών. Ωστόσο, οι συμβατικές αρχιτεκτονικές chatbot βασίζονται σε γραμμικές ροές επεξεργασίας, στις οποίες η σειρά των λειτουργιών καθορίζεται εκ των προτέρων. Τέτοιοι σχεδιασμοί περιορίζουν την ικανότητα διαχείρισης αιτημάτων που απαιτούν πολλαπλά βήματα, τη διατήρηση του πλαισίου κατά τη διάρκεια μιας συνομιλίας και την ελεγχόμενη αξιοποίηση εξωτερικής γνώσης. Η δυσκολία αυτή είναι ιδιαίτερα έντονη στις τηλεπικοινωνίες, όπου οι αλληλεπιδράσεις απαιτούν εξειδικευμένη γνώση και ακολουθούν ροές εργασιών που διαφέρουν ουσιωδώς μεταξύ ερωτημάτων χρέωσης, αναφορών βλαβών και αιτημάτων για επικοινωνία με εκπρόσωπο. Η παρούσα διπλωματική εργασία παρουσιάζει τον σχεδιασμό, την υλοποίηση και την αξιολόγηση ενός πρακτορικού chatbot (agentic chatbot) για την εξυπηρέτηση πελατών στον τομέα των τηλεπικοινωνιών, αναπτυγμένου με το πλαίσιο LangGraph. Το σύστημα δομείται ως κατευθυνόμενος γράφος καταστάσεων, στον οποίο κάθε συνιστώσα λειτουργεί επί μιας κοινής κατάστασης διαλόγου. Η πρόθεση του χρήστη προσδιορίζεται από έναν μηχανισμό δρομολόγησης δύο σταδίων: ένας κανόνας βασισμένος σε λέξεις-κλειδιά ανακατευθύνει τα ρητά αιτήματα για επικοινωνία με εκπρόσωπο απευθείας στη ροή μεταβίβασης σε ανθρώπινο χειριστή, ενώ κάθε άλλο μήνυμα ταξινομείται από ένα Μεγάλο Γλωσσικό Μοντέλο, το οποίο το εξετάζει μαζί με το συνομιλιακό του πλαίσιο και επιλέγει μεταξύ ενός συνόλου εξειδικευμένων ροών εργασίας. Δύο από αυτές διαθέτουν εργαλεία που μπορούν να καλέσουν, τα οποία παρέχουν πρόσβαση σε δεδομένα χρέωσης και σε μια ευρετηριασμένη βάση γνώσης, και εκτελούν έναν επαναληπτικό κύκλο συλλογισμού και δράσης, που εκφράζεται ως ρητές μεταβάσεις εντός του γράφου. Μια κεντρική σχεδιαστική επιλογή διακρίνει την αρχιτεκτονική αυτή από τα συμβατικά συστήματα Παραγωγής Επαυξημένης με Ανάκτηση (Retrieval-Augmented Generation). Αντί η ανάκτηση να εκτελείται ως σταθερό στάδιο, το σύστημα την παρέχει στο μοντέλο ως εργαλείο που μπορεί να καλέσει, διατυπώνοντας τα δικά του ερωτήματα αναζήτησης και επαναλαμβάνοντας την αναζήτηση όταν τα αρχικά αποτελέσματα κρίνονται ανεπαρκή. Ο μηχανισμός δρομολόγησης αξιολογείται σε ένα επισημειωμένο σύνολο δοκιμών που καλύπτει όλες τις κατηγορίες προθέσεων σε διάφορα επίπεδα δυσκολίας. Ταξινομεί χωρίς κανένα σφάλμα κάθε κατηγορία εντός του πεδίου εφαρμογής του συστήματος, ενώ η εναπομένουσα απόκλιση εντοπίζεται σε ένα μόνο όριο: μεταξύ μηνυμάτων εκτός πεδίου και μηνυμάτων συνομιλιακού χαρακτήρα που απευθύνονται στον ίδιο τον βοηθό. Η απόκλιση αυτή αποδεικνύεται ότι οφείλεται σε ασάφεια του σχήματος κατηγοριών και όχι σε αδυναμία του ταξινομητή.","abstract_has_math":false,"creators":["Χαμηλάκη Μαρία","Chamilaki Maria"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:20:42Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5448889"],"render_values":[{"text":"uoadl:5448889","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5448889","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5448889","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5448889","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Χαμηλάκη Μαρία","Chamilaki Maria"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5448889","https://pergamos.lib.uoa.gr/uoa/dl/object/5448889"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η αυξανόμενη υιοθέτηση των Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ) έχει οδηγήσει σε σημαντική πρόοδο στην τεχνητή νοημοσύνη συνομιλίας, ιδιαίτερα στον τομέα της εξυπηρέτησης πελατών. Ωστόσο, οι συμβατικές αρχιτεκτονικές chatbot βασίζονται σε γραμμικές ροές επεξεργασίας, στις οποίες η σειρά των λειτουργιών καθορίζεται εκ των προτέρων. Τέτοιοι σχεδιασμοί περιορίζουν την ικανότητα διαχείρισης αιτημάτων που απαιτούν πολλαπλά βήματα, τη διατήρηση του πλαισίου κατά τη διάρκεια μιας συνομιλίας και την ελεγχόμενη αξιοποίηση εξωτερικής γνώσης. Η δυσκολία αυτή είναι ιδιαίτερα έντονη στις τηλεπικοινωνίες, όπου οι αλληλεπιδράσεις απαιτούν εξειδικευμένη γνώση και ακολουθούν ροές εργασιών που διαφέρουν ουσιωδώς μεταξύ ερωτημάτων χρέωσης, αναφορών βλαβών και αιτημάτων για επικοινωνία με εκπρόσωπο. Η παρούσα διπλωματική εργασία παρουσιάζει τον σχεδιασμό, την υλοποίηση και την αξιολόγηση ενός πρακτορικού chatbot (agentic chatbot) για την εξυπηρέτηση πελατών στον τομέα των τηλεπικοινωνιών, αναπτυγμένου με το πλαίσιο LangGraph. Το σύστημα δομείται ως κατευθυνόμενος γράφος καταστάσεων, στον οποίο κάθε συνιστώσα λειτουργεί επί μιας κοινής κατάστασης διαλόγου. Η πρόθεση του χρήστη προσδιορίζεται από έναν μηχανισμό δρομολόγησης δύο σταδίων: ένας κανόνας βασισμένος σε λέξεις-κλειδιά ανακατευθύνει τα ρητά αιτήματα για επικοινωνία με εκπρόσωπο απευθείας στη ροή μεταβίβασης σε ανθρώπινο χειριστή, ενώ κάθε άλλο μήνυμα ταξινομείται από ένα Μεγάλο Γλωσσικό Μοντέλο, το οποίο το εξετάζει μαζί με το συνομιλιακό του πλαίσιο και επιλέγει μεταξύ ενός συνόλου εξειδικευμένων ροών εργασίας. Δύο από αυτές διαθέτουν εργαλεία που μπορούν να καλέσουν, τα οποία παρέχουν πρόσβαση σε δεδομένα χρέωσης και σε μια ευρετηριασμένη βάση γνώσης, και εκτελούν έναν επαναληπτικό κύκλο συλλογισμού και δράσης, που εκφράζεται ως ρητές μεταβάσεις εντός του γράφου. Μια κεντρική σχεδιαστική επιλογή διακρίνει την αρχιτεκτονική αυτή από τα συμβατικά συστήματα Παραγωγής Επαυξημένης με Ανάκτηση (Retrieval-Augmented Generation). Αντί η ανάκτηση να εκτελείται ως σταθερό στάδιο, το σύστημα την παρέχει στο μοντέλο ως εργαλείο που μπορεί να καλέσει, διατυπώνοντας τα δικά του ερωτήματα αναζήτησης και επαναλαμβάνοντας την αναζήτηση όταν τα αρχικά αποτελέσματα κρίνονται ανεπαρκή. Ο μηχανισμός δρομολόγησης αξιολογείται σε ένα επισημειωμένο σύνολο δοκιμών που καλύπτει όλες τις κατηγορίες προθέσεων σε διάφορα επίπεδα δυσκολίας. Ταξινομεί χωρίς κανένα σφάλμα κάθε κατηγορία εντός του πεδίου εφαρμογής του συστήματος, ενώ η εναπομένουσα απόκλιση εντοπίζεται σε ένα μόνο όριο: μεταξύ μηνυμάτων εκτός πεδίου και μηνυμάτων συνομιλιακού χαρακτήρα που απευθύνονται στον ίδιο τον βοηθό. Η απόκλιση αυτή αποδεικνύεται ότι οφείλεται σε ασάφεια του σχήματος κατηγοριών και όχι σε αδυναμία του ταξινομητή.","The increasing adoption of Large Language Models (LLMs) has produced significant advances in conversational artificial intelligence, particularly in customer service. Conventional chatbot architectures rely on linear pipelines in which the sequence of operations is fixed in advance. Such designs limit the ability to handle requests requiring several steps, to maintain context across a conversation, and to consult external knowledge in a controlled manner. The difficulty is pronounced in telecommunications, where interactions draw on specialized knowledge and follow workflows that differ substantially between billing enquiries, fault reports, and requests for a human representative. This thesis presents the design, implementation, and evaluation of an agentic chatbot for telecommunications customer service, developed with the LangGraph framework. The system is structured as a directed state graph in which each component operates over a shared dialogue state. Intent is determined by a two-stage router: a rule-based override sends explicit requests for a human agent directly to escalation, and every other message is classified by a large language model, which examines it together with its conversational context and selects among a set of specialist workflows. Two of these workflows are equipped with callable tools, providing access to billing records and to an indexed knowledge base, and execute an iterative cycle of reasoning and action expressed as explicit transitions within the graph. A central design decision distinguishes this architecture from conventional retrieval-augmented systems. Rather than executing retrieval as a fixed stage, the system exposes it to the model as a tool the model may invoke, formulating its own queries and searching again where initial results prove insufficient. The router is evaluated against an annotated test set spanning the full taxonomy at several levels of difficulty. It assigns every in-scope category without error, with the residual disagreement falling on a single boundary between out-of-scope messages and conversational messages addressed to the assistant. This disagreement is shown to reflect an ambiguity in the taxonomy rather than a deficiency in the classifier."]},{"key":"dc:title","label":"Title","values":["Design and Intent Evaluation of an Agentic Telecom Customer Service Chatbot"]}]}],"canonical_facts":{"dc:creator":["Χαμηλάκη Μαρία","Chamilaki Maria"],"dc:date":["2026"],"dc:description":["Η αυξανόμενη υιοθέτηση των Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ) έχει οδηγήσει σε σημαντική πρόοδο στην τεχνητή νοημοσύνη συνομιλίας, ιδιαίτερα στον τομέα της εξυπηρέτησης πελατών. Ωστόσο, οι συμβατικές αρχιτεκτονικές chatbot βασίζονται σε γραμμικές ροές επεξεργασίας, στις οποίες η σειρά των λειτουργιών καθορίζεται εκ των προτέρων. Τέτοιοι σχεδιασμοί περιορίζουν την ικανότητα διαχείρισης αιτημάτων που απαιτούν πολλαπλά βήματα, τη διατήρηση του πλαισίου κατά τη διάρκεια μιας συνομιλίας και την ελεγχόμενη αξιοποίηση εξωτερικής γνώσης. Η δυσκολία αυτή είναι ιδιαίτερα έντονη στις τηλεπικοινωνίες, όπου οι αλληλεπιδράσεις απαιτούν εξειδικευμένη γνώση και ακολουθούν ροές εργασιών που διαφέρουν ουσιωδώς μεταξύ ερωτημάτων χρέωσης, αναφορών βλαβών και αιτημάτων για επικοινωνία με εκπρόσωπο. Η παρούσα διπλωματική εργασία παρουσιάζει τον σχεδιασμό, την υλοποίηση και την αξιολόγηση ενός πρακτορικού chatbot (agentic chatbot) για την εξυπηρέτηση πελατών στον τομέα των τηλεπικοινωνιών, αναπτυγμένου με το πλαίσιο LangGraph. Το σύστημα δομείται ως κατευθυνόμενος γράφος καταστάσεων, στον οποίο κάθε συνιστώσα λειτουργεί επί μιας κοινής κατάστασης διαλόγου. Η πρόθεση του χρήστη προσδιορίζεται από έναν μηχανισμό δρομολόγησης δύο σταδίων: ένας κανόνας βασισμένος σε λέξεις-κλειδιά ανακατευθύνει τα ρητά αιτήματα για επικοινωνία με εκπρόσωπο απευθείας στη ροή μεταβίβασης σε ανθρώπινο χειριστή, ενώ κάθε άλλο μήνυμα ταξινομείται από ένα Μεγάλο Γλωσσικό Μοντέλο, το οποίο το εξετάζει μαζί με το συνομιλιακό του πλαίσιο και επιλέγει μεταξύ ενός συνόλου εξειδικευμένων ροών εργασίας. Δύο από αυτές διαθέτουν εργαλεία που μπορούν να καλέσουν, τα οποία παρέχουν πρόσβαση σε δεδομένα χρέωσης και σε μια ευρετηριασμένη βάση γνώσης, και εκτελούν έναν επαναληπτικό κύκλο συλλογισμού και δράσης, που εκφράζεται ως ρητές μεταβάσεις εντός του γράφου. Μια κεντρική σχεδιαστική επιλογή διακρίνει την αρχιτεκτονική αυτή από τα συμβατικά συστήματα Παραγωγής Επαυξημένης με Ανάκτηση (Retrieval-Augmented Generation). Αντί η ανάκτηση να εκτελείται ως σταθερό στάδιο, το σύστημα την παρέχει στο μοντέλο ως εργαλείο που μπορεί να καλέσει, διατυπώνοντας τα δικά του ερωτήματα αναζήτησης και επαναλαμβάνοντας την αναζήτηση όταν τα αρχικά αποτελέσματα κρίνονται ανεπαρκή. Ο μηχανισμός δρομολόγησης αξιολογείται σε ένα επισημειωμένο σύνολο δοκιμών που καλύπτει όλες τις κατηγορίες προθέσεων σε διάφορα επίπεδα δυσκολίας. Ταξινομεί χωρίς κανένα σφάλμα κάθε κατηγορία εντός του πεδίου εφαρμογής του συστήματος, ενώ η εναπομένουσα απόκλιση εντοπίζεται σε ένα μόνο όριο: μεταξύ μηνυμάτων εκτός πεδίου και μηνυμάτων συνομιλιακού χαρακτήρα που απευθύνονται στον ίδιο τον βοηθό. Η απόκλιση αυτή αποδεικνύεται ότι οφείλεται σε ασάφεια του σχήματος κατηγοριών και όχι σε αδυναμία του ταξινομητή.","The increasing adoption of Large Language Models (LLMs) has produced significant advances in conversational artificial intelligence, particularly in customer service. Conventional chatbot architectures rely on linear pipelines in which the sequence of operations is fixed in advance. Such designs limit the ability to handle requests requiring several steps, to maintain context across a conversation, and to consult external knowledge in a controlled manner. The difficulty is pronounced in telecommunications, where interactions draw on specialized knowledge and follow workflows that differ substantially between billing enquiries, fault reports, and requests for a human representative. This thesis presents the design, implementation, and evaluation of an agentic chatbot for telecommunications customer service, developed with the LangGraph framework. The system is structured as a directed state graph in which each component operates over a shared dialogue state. Intent is determined by a two-stage router: a rule-based override sends explicit requests for a human agent directly to escalation, and every other message is classified by a large language model, which examines it together with its conversational context and selects among a set of specialist workflows. Two of these workflows are equipped with callable tools, providing access to billing records and to an indexed knowledge base, and execute an iterative cycle of reasoning and action expressed as explicit transitions within the graph. A central design decision distinguishes this architecture from conventional retrieval-augmented systems. Rather than executing retrieval as a fixed stage, the system exposes it to the model as a tool the model may invoke, formulating its own queries and searching again where initial results prove insufficient. The router is evaluated against an annotated test set spanning the full taxonomy at several levels of difficulty. It assigns every in-scope category without error, with the residual disagreement falling on a single boundary between out-of-scope messages and conversational messages addressed to the assistant. This disagreement is shown to reflect an ambiguity in the taxonomy rather than a deficiency in the classifier."],"dc:identifier":["uoadl:5448889","https://pergamos.lib.uoa.gr/uoa/dl/object/5448889"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Design and Intent Evaluation of an Agentic Telecom Customer Service Chatbot"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:20:42Z"}