{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5416018"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5416018","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Modular LLM Pipeline for Task-Oriented Customer Service Dialogue","abstract":"Τα συστήματα διαλόγου συγκεκριμένης εργασίας (Task-Oriented Dialogue, TOD) αποτελούν θεμέλιο λίθο της σύγχρονης αυτοματοποίησης στην εξυπηρέτηση πελατών, υποσχόμενα να διαχειρίζονται στόχους χρηστών, όπως η αναζήτηση, η κράτηση και η αίτηση πληροφοριών, μέσω φυσικής συνομιλίας. Η πρόσφατη άνοδος των Μεγάλων Γλωσσικών Μοντέλων (LLMs) που έχουν προσαρμοστεί ώστε να ακολουθούν οδηγίες, έχει επαναφέρει στο προσκήνιο ένα θεμελιώδες ερώτημα σχεδιασμού: θα πρέπει ένα μοναδικό LLM γενικού σκοπού να αναλαμβάνει ολόκληρο τον κύκλο του διαλόγου, ή θα πρέπει οι αρμοδιότητες ενός πράκτορα διαλόγου να διαμοιράζονται σε μια αρχιτεκτονική από μικρότερα, εξειδικευμένα κατά ρόλο υποσυστήματα; Η υπάρχουσα βιβλιογραφία εξερευνά και τις δυο περιπτώσεις, αλλά σπάνια τις συγκρίνει άμεσα μέσα σε ένα πλαίσιο με κοινό σύνολο δεδομένων, διαδικασία αξιολόγησης και οικογένειες μοντέλων, αφήνοντας έτσι την άμεση σύγκριση ανάμεσα στην αρχιτεκτονική απλότητα και την αρχιτεκτονική αποσύνθεση να μην έχει συγκεντρωθεί ποτέ σε μία ενιαία ελεγχόμενη μελέτη. Στην παρούσα διπλωματική εργασία, εισάγουμε μια συγκριτική μελέτη τριών αρχιτεκτονικών διαλόγου συγκεκριμένης εργασίας για την εξυπηρέτηση πελατών στους τομείς ξενοδοχείων και εστιατορίων, η οποία αξιολογείται πάνω στο MultiWOZ 2.2. Η πρώτη αρχιτεκτονική βασίζεται σε ένα μοναδικό LLM που εκτελεί την παρακολούθηση της κατάστασης διαλόγου, την αναζήτηση στη βάση δεδομένων και την παραγωγή απάντησης μέσα σε ένα prompt. Η δεύτερη είναι μια zero-shot αρχιτεκτονική που διαχωρίζει την παρακολούθηση κατάστασης διαλόγου από την παραγωγή απάντησης, συνδεδεμένες μεταξύ τους μέσω μιας ντετερμινιστικής αναζήτησης βάσης δεδομένων, ελέγχου πολιτικής και μιας δικλείδας ασφαλείας. Η τρίτη εφαρμόζει εξειδικευμένο κατά ρόλο fine-tuning με LoRA στα δύο LLM-based στοιχεία της αρχιτεκτονικής (DST και ResponseGen), εκπαιδεύοντας μικρά open-source μοντέλα για τον ρόλο που τους έχει ανατεθεί μέσω QLoRA. Και οι τρεις αρχιτεκτονικές αξιολογούνται με βάση το MultiWOZ, αναφέροντας τόσο μετρικές κατάστασης διαλόγου (Joint Goal Accuracy, Slot F1) όσο και μετρικές end-to-end (Inform, Success, BLEU, Combined), και επιπλέον μετρικές όπως hallucination, policy violations, system correctness, latency και cost. Τα ευρήματά μας δείχνουν ότι α) η αρχιτεκτονική αποσύνθεση δεν είναι καθολικά ωφέλιμη: βοηθά σημαντικά τα ασθενέστερα μοντέλα, αλλά μπορεί να βλάψει τα ισχυρότερα open-source μοντέλα που ήδη συντονίζουν αξιόπιστα όλες τις αρμοδιότητες και β) το εξειδικευμένο κατά ρόλο fine-tuning με LoRA φέρνει την παρακολούθηση κατάστασης διαλόγου των μικρών open-source μοντέλων κοντά στο επίπεδο πολύ μεγαλύτερων εμπορικών APIs, καθιστώντας τα μια οικονομικά αποδοτική, γρήγορη και ανταγωνιστική εναλλακτική. Τα αποτελέσματα αυτά δείχνουν ότι η αρχιτεκτονική αποσύνθεση και το εξειδικευμένο κατά ρόλο fine-tuning αποτελούν αποτελεσματικά εργαλεία, αλλά μόνο υπό τις κατάλληλες συνθήκες, για την κατασκευή αξιόπιστων συστημάτων διαλόγου εξυπηρέτησης πελατών βασισμένων σε LLM.","abstract_html":"Τα συστήματα διαλόγου συγκεκριμένης εργασίας (Task-Oriented Dialogue, TOD) αποτελούν θεμέλιο λίθο της σύγχρονης αυτοματοποίησης στην εξυπηρέτηση πελατών, υποσχόμενα να διαχειρίζονται στόχους χρηστών, όπως η αναζήτηση, η κράτηση και η αίτηση πληροφοριών, μέσω φυσικής συνομιλίας. Η πρόσφατη άνοδος των Μεγάλων Γλωσσικών Μοντέλων (LLMs) που έχουν προσαρμοστεί ώστε να ακολουθούν οδηγίες, έχει επαναφέρει στο προσκήνιο ένα θεμελιώδες ερώτημα σχεδιασμού: θα πρέπει ένα μοναδικό LLM γενικού σκοπού να αναλαμβάνει ολόκληρο τον κύκλο του διαλόγου, ή θα πρέπει οι αρμοδιότητες ενός πράκτορα διαλόγου να διαμοιράζονται σε μια αρχιτεκτονική από μικρότερα, εξειδικευμένα κατά ρόλο υποσυστήματα; Η υπάρχουσα βιβλιογραφία εξερευνά και τις δυο περιπτώσεις, αλλά σπάνια τις συγκρίνει άμεσα μέσα σε ένα πλαίσιο με κοινό σύνολο δεδομένων, διαδικασία αξιολόγησης και οικογένειες μοντέλων, αφήνοντας έτσι την άμεση σύγκριση ανάμεσα στην αρχιτεκτονική απλότητα και την αρχιτεκτονική αποσύνθεση να μην έχει συγκεντρωθεί ποτέ σε μία ενιαία ελεγχόμενη μελέτη. Στην παρούσα διπλωματική εργασία, εισάγουμε μια συγκριτική μελέτη τριών αρχιτεκτονικών διαλόγου συγκεκριμένης εργασίας για την εξυπηρέτηση πελατών στους τομείς ξενοδοχείων και εστιατορίων, η οποία αξιολογείται πάνω στο MultiWOZ 2.2. Η πρώτη αρχιτεκτονική βασίζεται σε ένα μοναδικό LLM που εκτελεί την παρακολούθηση της κατάστασης διαλόγου, την αναζήτηση στη βάση δεδομένων και την παραγωγή απάντησης μέσα σε ένα prompt. Η δεύτερη είναι μια zero-shot αρχιτεκτονική που διαχωρίζει την παρακολούθηση κατάστασης διαλόγου από την παραγωγή απάντησης, συνδεδεμένες μεταξύ τους μέσω μιας ντετερμινιστικής αναζήτησης βάσης δεδομένων, ελέγχου πολιτικής και μιας δικλείδας ασφαλείας. Η τρίτη εφαρμόζει εξειδικευμένο κατά ρόλο fine-tuning με LoRA στα δύο LLM-based στοιχεία της αρχιτεκτονικής (DST και ResponseGen), εκπαιδεύοντας μικρά open-source μοντέλα για τον ρόλο που τους έχει ανατεθεί μέσω QLoRA. Και οι τρεις αρχιτεκτονικές αξιολογούνται με βάση το MultiWOZ, αναφέροντας τόσο μετρικές κατάστασης διαλόγου (Joint Goal Accuracy, Slot F1) όσο και μετρικές end-to-end (Inform, Success, BLEU, Combined), και επιπλέον μετρικές όπως hallucination, policy violations, system correctness, latency και cost. Τα ευρήματά μας δείχνουν ότι α) η αρχιτεκτονική αποσύνθεση δεν είναι καθολικά ωφέλιμη: βοηθά σημαντικά τα ασθενέστερα μοντέλα, αλλά μπορεί να βλάψει τα ισχυρότερα open-source μοντέλα που ήδη συντονίζουν αξιόπιστα όλες τις αρμοδιότητες και β) το εξειδικευμένο κατά ρόλο fine-tuning με LoRA φέρνει την παρακολούθηση κατάστασης διαλόγου των μικρών open-source μοντέλων κοντά στο επίπεδο πολύ μεγαλύτερων εμπορικών APIs, καθιστώντας τα μια οικονομικά αποδοτική, γρήγορη και ανταγωνιστική εναλλακτική. Τα αποτελέσματα αυτά δείχνουν ότι η αρχιτεκτονική αποσύνθεση και το εξειδικευμένο κατά ρόλο fine-tuning αποτελούν αποτελεσματικά εργαλεία, αλλά μόνο υπό τις κατάλληλες συνθήκες, για την κατασκευή αξιόπιστων συστημάτων διαλόγου εξυπηρέτησης πελατών βασισμένων σε LLM.","abstract_has_math":false,"creators":["ΞΥΔΙΑΣ ΓΕΩΡΓΙΟΣ","XYDIAS GEORGIOS"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:19:59Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5416018"],"render_values":[{"text":"uoadl:5416018","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5416018","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5416018","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5416018","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΞΥΔΙΑΣ ΓΕΩΡΓΙΟΣ","XYDIAS GEORGIOS"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5416018","https://pergamos.lib.uoa.gr/uoa/dl/object/5416018"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα συστήματα διαλόγου συγκεκριμένης εργασίας (Task-Oriented Dialogue, TOD) αποτελούν θεμέλιο λίθο της σύγχρονης αυτοματοποίησης στην εξυπηρέτηση πελατών, υποσχόμενα να διαχειρίζονται στόχους χρηστών, όπως η αναζήτηση, η κράτηση και η αίτηση πληροφοριών, μέσω φυσικής συνομιλίας. Η πρόσφατη άνοδος των Μεγάλων Γλωσσικών Μοντέλων (LLMs) που έχουν προσαρμοστεί ώστε να ακολουθούν οδηγίες, έχει επαναφέρει στο προσκήνιο ένα θεμελιώδες ερώτημα σχεδιασμού: θα πρέπει ένα μοναδικό LLM γενικού σκοπού να αναλαμβάνει ολόκληρο τον κύκλο του διαλόγου, ή θα πρέπει οι αρμοδιότητες ενός πράκτορα διαλόγου να διαμοιράζονται σε μια αρχιτεκτονική από μικρότερα, εξειδικευμένα κατά ρόλο υποσυστήματα; Η υπάρχουσα βιβλιογραφία εξερευνά και τις δυο περιπτώσεις, αλλά σπάνια τις συγκρίνει άμεσα μέσα σε ένα πλαίσιο με κοινό σύνολο δεδομένων, διαδικασία αξιολόγησης και οικογένειες μοντέλων, αφήνοντας έτσι την άμεση σύγκριση ανάμεσα στην αρχιτεκτονική απλότητα και την αρχιτεκτονική αποσύνθεση να μην έχει συγκεντρωθεί ποτέ σε μία ενιαία ελεγχόμενη μελέτη. Στην παρούσα διπλωματική εργασία, εισάγουμε μια συγκριτική μελέτη τριών αρχιτεκτονικών διαλόγου συγκεκριμένης εργασίας για την εξυπηρέτηση πελατών στους τομείς ξενοδοχείων και εστιατορίων, η οποία αξιολογείται πάνω στο MultiWOZ 2.2. Η πρώτη αρχιτεκτονική βασίζεται σε ένα μοναδικό LLM που εκτελεί την παρακολούθηση της κατάστασης διαλόγου, την αναζήτηση στη βάση δεδομένων και την παραγωγή απάντησης μέσα σε ένα prompt. Η δεύτερη είναι μια zero-shot αρχιτεκτονική που διαχωρίζει την παρακολούθηση κατάστασης διαλόγου από την παραγωγή απάντησης, συνδεδεμένες μεταξύ τους μέσω μιας ντετερμινιστικής αναζήτησης βάσης δεδομένων, ελέγχου πολιτικής και μιας δικλείδας ασφαλείας. Η τρίτη εφαρμόζει εξειδικευμένο κατά ρόλο fine-tuning με LoRA στα δύο LLM-based στοιχεία της αρχιτεκτονικής (DST και ResponseGen), εκπαιδεύοντας μικρά open-source μοντέλα για τον ρόλο που τους έχει ανατεθεί μέσω QLoRA. Και οι τρεις αρχιτεκτονικές αξιολογούνται με βάση το MultiWOZ, αναφέροντας τόσο μετρικές κατάστασης διαλόγου (Joint Goal Accuracy, Slot F1) όσο και μετρικές end-to-end (Inform, Success, BLEU, Combined), και επιπλέον μετρικές όπως hallucination, policy violations, system correctness, latency και cost. Τα ευρήματά μας δείχνουν ότι α) η αρχιτεκτονική αποσύνθεση δεν είναι καθολικά ωφέλιμη: βοηθά σημαντικά τα ασθενέστερα μοντέλα, αλλά μπορεί να βλάψει τα ισχυρότερα open-source μοντέλα που ήδη συντονίζουν αξιόπιστα όλες τις αρμοδιότητες και β) το εξειδικευμένο κατά ρόλο fine-tuning με LoRA φέρνει την παρακολούθηση κατάστασης διαλόγου των μικρών open-source μοντέλων κοντά στο επίπεδο πολύ μεγαλύτερων εμπορικών APIs, καθιστώντας τα μια οικονομικά αποδοτική, γρήγορη και ανταγωνιστική εναλλακτική. Τα αποτελέσματα αυτά δείχνουν ότι η αρχιτεκτονική αποσύνθεση και το εξειδικευμένο κατά ρόλο fine-tuning αποτελούν αποτελεσματικά εργαλεία, αλλά μόνο υπό τις κατάλληλες συνθήκες, για την κατασκευή αξιόπιστων συστημάτων διαλόγου εξυπηρέτησης πελατών βασισμένων σε LLM.","Task-oriented dialogue (TOD) systems are a cornerstone of modern customer-service automation, promising to handle structured user goals such as searching, booking, and information requests through natural conversation. The recent rise of instruction-tuned Large Language Models (LLMs) has reopened a fundamental design question: should a single general-purpose LLM handle the entire turn, or should the responsibilities of a dialogue agent be split into a modular pipeline of smaller, role-specific components? Existing work explores both ends of this spectrum, but rarely compares them head-to-head under a setup that uses the same dataset, the same evaluation procedure, and the same model families across architectures, leaving the practical trade-offs between architectural simplicity and architectural decomposition never brought together under a single controlled comparison. In this work, we introduce a controlled comparative study of three task-oriented dialogue architectures for hotel and restaurant customer service, evaluated on the MultiWOZ 2.2 benchmark. The first architecture is a single-LLM baseline that performs dialogue state tracking, database lookup, and response generation in one prompt. The second is a zero-shot modular pipeline that separates the dialogue state tracker from the response generator, connected by a deterministic database lookup and a policy gate, with a lightweight guardrail on the generated response. The third applies role-specific LoRA fine-tuning to the two LLM-based modules of the pipeline (the dialogue state tracker, DST, and the response generator, ResponseGen) by training small open-source models for their assigned role via QLoRA. All three architectures are evaluated with the standardized MultiWOZ evaluator, reporting both dialogue-state metrics (Joint Goal Accuracy, Slot F1) and end-to-end metrics (Inform, Success, BLEU, Combined), complemented by a custom set of operational metrics covering hallucination, policy violations, system correctness, latency, and cost. Our findings show that a) architectural decomposition is not universally beneficial: it substantially helps weaker models that struggle to manage every responsibility in a single prompt, but it can hurt the strongest open-source models that already coordinate all responsibilities reliably, and b) role-specific LoRA fine-tuning lifts dialogue-state tracking of small open-source models close to the level of much larger commercial APIs, making them cost-efficient, fast, and competitive alternative for slot tracking. These results show that architectural decomposition and role-specific fine-tuning are effective tools, but only under the right conditions, for building reliable LLM-based customer-service dialogue systems."]},{"key":"dc:title","label":"Title","values":["Modular LLM Pipeline for Task-Oriented Customer Service Dialogue"]}]}],"canonical_facts":{"dc:creator":["ΞΥΔΙΑΣ ΓΕΩΡΓΙΟΣ","XYDIAS GEORGIOS"],"dc:date":["2026"],"dc:description":["Τα συστήματα διαλόγου συγκεκριμένης εργασίας (Task-Oriented Dialogue, TOD) αποτελούν θεμέλιο λίθο της σύγχρονης αυτοματοποίησης στην εξυπηρέτηση πελατών, υποσχόμενα να διαχειρίζονται στόχους χρηστών, όπως η αναζήτηση, η κράτηση και η αίτηση πληροφοριών, μέσω φυσικής συνομιλίας. Η πρόσφατη άνοδος των Μεγάλων Γλωσσικών Μοντέλων (LLMs) που έχουν προσαρμοστεί ώστε να ακολουθούν οδηγίες, έχει επαναφέρει στο προσκήνιο ένα θεμελιώδες ερώτημα σχεδιασμού: θα πρέπει ένα μοναδικό LLM γενικού σκοπού να αναλαμβάνει ολόκληρο τον κύκλο του διαλόγου, ή θα πρέπει οι αρμοδιότητες ενός πράκτορα διαλόγου να διαμοιράζονται σε μια αρχιτεκτονική από μικρότερα, εξειδικευμένα κατά ρόλο υποσυστήματα; Η υπάρχουσα βιβλιογραφία εξερευνά και τις δυο περιπτώσεις, αλλά σπάνια τις συγκρίνει άμεσα μέσα σε ένα πλαίσιο με κοινό σύνολο δεδομένων, διαδικασία αξιολόγησης και οικογένειες μοντέλων, αφήνοντας έτσι την άμεση σύγκριση ανάμεσα στην αρχιτεκτονική απλότητα και την αρχιτεκτονική αποσύνθεση να μην έχει συγκεντρωθεί ποτέ σε μία ενιαία ελεγχόμενη μελέτη. Στην παρούσα διπλωματική εργασία, εισάγουμε μια συγκριτική μελέτη τριών αρχιτεκτονικών διαλόγου συγκεκριμένης εργασίας για την εξυπηρέτηση πελατών στους τομείς ξενοδοχείων και εστιατορίων, η οποία αξιολογείται πάνω στο MultiWOZ 2.2. Η πρώτη αρχιτεκτονική βασίζεται σε ένα μοναδικό LLM που εκτελεί την παρακολούθηση της κατάστασης διαλόγου, την αναζήτηση στη βάση δεδομένων και την παραγωγή απάντησης μέσα σε ένα prompt. Η δεύτερη είναι μια zero-shot αρχιτεκτονική που διαχωρίζει την παρακολούθηση κατάστασης διαλόγου από την παραγωγή απάντησης, συνδεδεμένες μεταξύ τους μέσω μιας ντετερμινιστικής αναζήτησης βάσης δεδομένων, ελέγχου πολιτικής και μιας δικλείδας ασφαλείας. Η τρίτη εφαρμόζει εξειδικευμένο κατά ρόλο fine-tuning με LoRA στα δύο LLM-based στοιχεία της αρχιτεκτονικής (DST και ResponseGen), εκπαιδεύοντας μικρά open-source μοντέλα για τον ρόλο που τους έχει ανατεθεί μέσω QLoRA. Και οι τρεις αρχιτεκτονικές αξιολογούνται με βάση το MultiWOZ, αναφέροντας τόσο μετρικές κατάστασης διαλόγου (Joint Goal Accuracy, Slot F1) όσο και μετρικές end-to-end (Inform, Success, BLEU, Combined), και επιπλέον μετρικές όπως hallucination, policy violations, system correctness, latency και cost. Τα ευρήματά μας δείχνουν ότι α) η αρχιτεκτονική αποσύνθεση δεν είναι καθολικά ωφέλιμη: βοηθά σημαντικά τα ασθενέστερα μοντέλα, αλλά μπορεί να βλάψει τα ισχυρότερα open-source μοντέλα που ήδη συντονίζουν αξιόπιστα όλες τις αρμοδιότητες και β) το εξειδικευμένο κατά ρόλο fine-tuning με LoRA φέρνει την παρακολούθηση κατάστασης διαλόγου των μικρών open-source μοντέλων κοντά στο επίπεδο πολύ μεγαλύτερων εμπορικών APIs, καθιστώντας τα μια οικονομικά αποδοτική, γρήγορη και ανταγωνιστική εναλλακτική. Τα αποτελέσματα αυτά δείχνουν ότι η αρχιτεκτονική αποσύνθεση και το εξειδικευμένο κατά ρόλο fine-tuning αποτελούν αποτελεσματικά εργαλεία, αλλά μόνο υπό τις κατάλληλες συνθήκες, για την κατασκευή αξιόπιστων συστημάτων διαλόγου εξυπηρέτησης πελατών βασισμένων σε LLM.","Task-oriented dialogue (TOD) systems are a cornerstone of modern customer-service automation, promising to handle structured user goals such as searching, booking, and information requests through natural conversation. The recent rise of instruction-tuned Large Language Models (LLMs) has reopened a fundamental design question: should a single general-purpose LLM handle the entire turn, or should the responsibilities of a dialogue agent be split into a modular pipeline of smaller, role-specific components? Existing work explores both ends of this spectrum, but rarely compares them head-to-head under a setup that uses the same dataset, the same evaluation procedure, and the same model families across architectures, leaving the practical trade-offs between architectural simplicity and architectural decomposition never brought together under a single controlled comparison. In this work, we introduce a controlled comparative study of three task-oriented dialogue architectures for hotel and restaurant customer service, evaluated on the MultiWOZ 2.2 benchmark. The first architecture is a single-LLM baseline that performs dialogue state tracking, database lookup, and response generation in one prompt. The second is a zero-shot modular pipeline that separates the dialogue state tracker from the response generator, connected by a deterministic database lookup and a policy gate, with a lightweight guardrail on the generated response. The third applies role-specific LoRA fine-tuning to the two LLM-based modules of the pipeline (the dialogue state tracker, DST, and the response generator, ResponseGen) by training small open-source models for their assigned role via QLoRA. All three architectures are evaluated with the standardized MultiWOZ evaluator, reporting both dialogue-state metrics (Joint Goal Accuracy, Slot F1) and end-to-end metrics (Inform, Success, BLEU, Combined), complemented by a custom set of operational metrics covering hallucination, policy violations, system correctness, latency, and cost. Our findings show that a) architectural decomposition is not universally beneficial: it substantially helps weaker models that struggle to manage every responsibility in a single prompt, but it can hurt the strongest open-source models that already coordinate all responsibilities reliably, and b) role-specific LoRA fine-tuning lifts dialogue-state tracking of small open-source models close to the level of much larger commercial APIs, making them cost-efficient, fast, and competitive alternative for slot tracking. These results show that architectural decomposition and role-specific fine-tuning are effective tools, but only under the right conditions, for building reliable LLM-based customer-service dialogue systems."],"dc:identifier":["uoadl:5416018","https://pergamos.lib.uoa.gr/uoa/dl/object/5416018"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Modular LLM Pipeline for Task-Oriented Customer Service Dialogue"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:19:59Z"}