{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3440487"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3440487","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Developing a Question Answering (QA) Subsystem for Dialogue Systems. Case Study: Theano, a Greek-speaking Conversational Agent for COVID-19","abstract":"Οι μέθοδοι που βασίζονται στην απλή ανάκτηση (retrieval-based) στα διαλογικά συστήματα περιορίζονται από ένα πεπερασμένο σύνολο προκαθορισμένων απαντήσεων, αφήνοντας συχνά αναπάντητα τα ερωτήματα των χρηστών. Στην παρούσα διπλωματική εργασία, αναπτύσσουμε ένα υποσύστημα αυτόματης απάντησης ερωτήσεων (Question Answering - QA) με σκοπό να ενισχύσουμε την ικανότητα ενός διαλογικού συστήματος κλειστού γνωστικού πεδίου να χειρίζεται ερωτήσεις χρηστών που είναι εκτός κάλυψης εντός μίας διαλογικής στροφής (dialogue turn). Η μελέτη περίπτωσής μας επικεντρώνεται στη Theano, έναν ελληνικό διαλογικό βοηθό που σχεδιάστηκε για την πανδημία του COVID-19. Δημιουργούμε μια συλλογή από μη δομημένα κειμενικά δεδομένα που συλλέγονται από αξιόπιστες διαδικτυακές πηγές σχετικές με τον COVID-19 και χτίζουμε ένα σύστημα QA ανοιχτού τύπου (open-book) που βασίζεται στην αρχιτεκτονική retrieve-then-read. Πειραματιζόμαστε με δύο κύριες προσεγγίσεις: (1) μια μέθοδο εξαγωγής απάντησης (Extractive QA), όπου οι απαντήσεις είναι ακριβή αποσπάσματα από τα ανακτηθέντα κείμενα και (2) μία μέθοδο βασισμένη στο πλαίσιο Retrieval-Augmented Generation (RAG), όπου το σύστημα συνθέτει πληροφορίες από πολλαπλά κείμενα για να παράγει απαντήσεις. Για να προσαρμόσουμε το σύστημα QA στο συγκεκριμένο πεδίο γνώσης και την ελληνική γλώσσα, δημιουργούμε σύνολα δεδομένων (datasets) εξειδικευμένα για το συγκεκριμένο πεδίο γνώσης χρησιμοποιώντας μηχανική μετάφραση και συλλέγοντας ζεύγη ερωτήσεων-απαντήσεων από τον ιστό. Πειραματιζόμαστε με διάφορα προεκπαιδευμένα γλωσσικά μοντέλα (PLMs), συμπεριλαμβανομένων μοντέλων που ομοιάζουν στην αρχιτεκτονική BERT, και ενός Μεγάλου Γλωσσικού Μοντέλου (LLM) που ακολουθεί οδηγίες, ως την βάση των μερών του συστήματος. Αφού βελτιστοποιήσουμε τα μέρη του συστήματος μέσω αξιολογήσεων εντός και εκτός γνωστικού πεδίου σε datasets αξιολόγησης, καθώς και μέσω μιας αξιολόγησης πάνω σε πραγματικές ερωτήσεις χρηστών, διεξάγουμε μια έρευνα για να συλλέξουμε ανθρώπινη ανατροφοδότηση για την αξιολόγηση των απαντήσεων του συστήματος. Τα αποτελέσματά μας δείχνουν ότι η μέθοδος RAG υπερτερεί σημαντικά της μεθόδου εξαγωγής απαντήσεων στην παροχή πλήρων, ακριβών και χρήσιμων απαντήσεων σε ανεπίλυτα ερωτήματα χρηστών, ενώ παράλληλα συναγωνίζεται την επίδοση της βασικής μεθόδου επιλογής απάντησης (response selection) που βασίζεται στην ανάκτηση προκαθορισμένων απαντήσεων για το χειρισμό συχνών ερωτήσεων (FAQs).","abstract_html":"Οι μέθοδοι που βασίζονται στην απλή ανάκτηση (retrieval-based) στα διαλογικά συστήματα περιορίζονται από ένα πεπερασμένο σύνολο προκαθορισμένων απαντήσεων, αφήνοντας συχνά αναπάντητα τα ερωτήματα των χρηστών. Στην παρούσα διπλωματική εργασία, αναπτύσσουμε ένα υποσύστημα αυτόματης απάντησης ερωτήσεων (Question Answering - QA) με σκοπό να ενισχύσουμε την ικανότητα ενός διαλογικού συστήματος κλειστού γνωστικού πεδίου να χειρίζεται ερωτήσεις χρηστών που είναι εκτός κάλυψης εντός μίας διαλογικής στροφής (dialogue turn). Η μελέτη περίπτωσής μας επικεντρώνεται στη Theano, έναν ελληνικό διαλογικό βοηθό που σχεδιάστηκε για την πανδημία του COVID-19. Δημιουργούμε μια συλλογή από μη δομημένα κειμενικά δεδομένα που συλλέγονται από αξιόπιστες διαδικτυακές πηγές σχετικές με τον COVID-19 και χτίζουμε ένα σύστημα QA ανοιχτού τύπου (open-book) που βασίζεται στην αρχιτεκτονική retrieve-then-read. Πειραματιζόμαστε με δύο κύριες προσεγγίσεις: (1) μια μέθοδο εξαγωγής απάντησης (Extractive QA), όπου οι απαντήσεις είναι ακριβή αποσπάσματα από τα ανακτηθέντα κείμενα και (2) μία μέθοδο βασισμένη στο πλαίσιο Retrieval-Augmented Generation (RAG), όπου το σύστημα συνθέτει πληροφορίες από πολλαπλά κείμενα για να παράγει απαντήσεις. Για να προσαρμόσουμε το σύστημα QA στο συγκεκριμένο πεδίο γνώσης και την ελληνική γλώσσα, δημιουργούμε σύνολα δεδομένων (datasets) εξειδικευμένα για το συγκεκριμένο πεδίο γνώσης χρησιμοποιώντας μηχανική μετάφραση και συλλέγοντας ζεύγη ερωτήσεων-απαντήσεων από τον ιστό. Πειραματιζόμαστε με διάφορα προεκπαιδευμένα γλωσσικά μοντέλα (PLMs), συμπεριλαμβανομένων μοντέλων που ομοιάζουν στην αρχιτεκτονική BERT, και ενός Μεγάλου Γλωσσικού Μοντέλου (LLM) που ακολουθεί οδηγίες, ως την βάση των μερών του συστήματος. Αφού βελτιστοποιήσουμε τα μέρη του συστήματος μέσω αξιολογήσεων εντός και εκτός γνωστικού πεδίου σε datasets αξιολόγησης, καθώς και μέσω μιας αξιολόγησης πάνω σε πραγματικές ερωτήσεις χρηστών, διεξάγουμε μια έρευνα για να συλλέξουμε ανθρώπινη ανατροφοδότηση για την αξιολόγηση των απαντήσεων του συστήματος. Τα αποτελέσματά μας δείχνουν ότι η μέθοδος RAG υπερτερεί σημαντικά της μεθόδου εξαγωγής απαντήσεων στην παροχή πλήρων, ακριβών και χρήσιμων απαντήσεων σε ανεπίλυτα ερωτήματα χρηστών, ενώ παράλληλα συναγωνίζεται την επίδοση της βασικής μεθόδου επιλογής απάντησης (response selection) που βασίζεται στην ανάκτηση προκαθορισμένων απαντήσεων για το χειρισμό συχνών ερωτήσεων (FAQs).","abstract_has_math":false,"creators":["Γριζιώτης Παναγιώτης","Griziotis Panagiotis"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2024,"date_issued":"2024","date_published":"2024","updated_at":"2026-11-19T06:31:10Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3440487"],"render_values":[{"text":"uoadl:3440487","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3440487","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3440487","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3440487","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Γριζιώτης Παναγιώτης","Griziotis Panagiotis"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2024"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3440487","https://pergamos.lib.uoa.gr/uoa/dl/object/3440487"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Οι μέθοδοι που βασίζονται στην απλή ανάκτηση (retrieval-based) στα διαλογικά συστήματα περιορίζονται από ένα πεπερασμένο σύνολο προκαθορισμένων απαντήσεων, αφήνοντας συχνά αναπάντητα τα ερωτήματα των χρηστών. Στην παρούσα διπλωματική εργασία, αναπτύσσουμε ένα υποσύστημα αυτόματης απάντησης ερωτήσεων (Question Answering - QA) με σκοπό να ενισχύσουμε την ικανότητα ενός διαλογικού συστήματος κλειστού γνωστικού πεδίου να χειρίζεται ερωτήσεις χρηστών που είναι εκτός κάλυψης εντός μίας διαλογικής στροφής (dialogue turn). Η μελέτη περίπτωσής μας επικεντρώνεται στη Theano, έναν ελληνικό διαλογικό βοηθό που σχεδιάστηκε για την πανδημία του COVID-19. Δημιουργούμε μια συλλογή από μη δομημένα κειμενικά δεδομένα που συλλέγονται από αξιόπιστες διαδικτυακές πηγές σχετικές με τον COVID-19 και χτίζουμε ένα σύστημα QA ανοιχτού τύπου (open-book) που βασίζεται στην αρχιτεκτονική retrieve-then-read. Πειραματιζόμαστε με δύο κύριες προσεγγίσεις: (1) μια μέθοδο εξαγωγής απάντησης (Extractive QA), όπου οι απαντήσεις είναι ακριβή αποσπάσματα από τα ανακτηθέντα κείμενα και (2) μία μέθοδο βασισμένη στο πλαίσιο Retrieval-Augmented Generation (RAG), όπου το σύστημα συνθέτει πληροφορίες από πολλαπλά κείμενα για να παράγει απαντήσεις. Για να προσαρμόσουμε το σύστημα QA στο συγκεκριμένο πεδίο γνώσης και την ελληνική γλώσσα, δημιουργούμε σύνολα δεδομένων (datasets) εξειδικευμένα για το συγκεκριμένο πεδίο γνώσης χρησιμοποιώντας μηχανική μετάφραση και συλλέγοντας ζεύγη ερωτήσεων-απαντήσεων από τον ιστό. Πειραματιζόμαστε με διάφορα προεκπαιδευμένα γλωσσικά μοντέλα (PLMs), συμπεριλαμβανομένων μοντέλων που ομοιάζουν στην αρχιτεκτονική BERT, και ενός Μεγάλου Γλωσσικού Μοντέλου (LLM) που ακολουθεί οδηγίες, ως την βάση των μερών του συστήματος. Αφού βελτιστοποιήσουμε τα μέρη του συστήματος μέσω αξιολογήσεων εντός και εκτός γνωστικού πεδίου σε datasets αξιολόγησης, καθώς και μέσω μιας αξιολόγησης πάνω σε πραγματικές ερωτήσεις χρηστών, διεξάγουμε μια έρευνα για να συλλέξουμε ανθρώπινη ανατροφοδότηση για την αξιολόγηση των απαντήσεων του συστήματος. Τα αποτελέσματά μας δείχνουν ότι η μέθοδος RAG υπερτερεί σημαντικά της μεθόδου εξαγωγής απαντήσεων στην παροχή πλήρων, ακριβών και χρήσιμων απαντήσεων σε ανεπίλυτα ερωτήματα χρηστών, ενώ παράλληλα συναγωνίζεται την επίδοση της βασικής μεθόδου επιλογής απάντησης (response selection) που βασίζεται στην ανάκτηση προκαθορισμένων απαντήσεων για το χειρισμό συχνών ερωτήσεων (FAQs).","Basic retrieval-based methods in dialogue systems are restricted by a finite set of predefined responses, often leaving user questions unanswered. In this work, we develop a single-turn Question Answering (QA) subsystem to enhance a closed-domain dialogue system's ability to handle out-of-coverage user questions. Our case study focuses on Theano, a Greek conversational agent designed for the COVID-19 pandemic. We create a document collection from unstructured text data gathered from reliable COVID-19-related web sources and build an open-book QA system based on the retrieve-then-read architecture. We experiment with two main approaches: (1) an Extractive QA method, where answers are exact snippets extracted from retrieved text documents, and (2) a method based on the Retrieval-Augmented Generation (RAG) framework, where the system synthesizes information from multiple text documents to generate answers. To adapt the QA system to the specific knowledge domain and the Greek language, we create domain-specific datasets using machine translation and collecting question-answer pairs from the web. We experiment with various pre-trained language models (PLMs), including BERT-like models and an instruction-following Large Language Model (LLM), to serve as the backbone of the system's components. After optimizing the components through in-domain and out-of-domain evaluations on test datasets along with an evaluation on real user questions, we conduct a survey to collect human feedback for assessing the system's responses. Our results show that the RAG method significantly outperforms the extractive approach in delivering complete, factually accurate, and useful responses to unresolved user questions, while also matching the performance of the basic response selection method that relies on the retrieval of predefined responses for handling FAQs."]},{"key":"dc:title","label":"Title","values":["Developing a Question Answering (QA) Subsystem for Dialogue Systems. Case Study: Theano, a Greek-speaking Conversational Agent for COVID-19"]}]}],"canonical_facts":{"dc:creator":["Γριζιώτης Παναγιώτης","Griziotis Panagiotis"],"dc:date":["2024"],"dc:description":["Οι μέθοδοι που βασίζονται στην απλή ανάκτηση (retrieval-based) στα διαλογικά συστήματα περιορίζονται από ένα πεπερασμένο σύνολο προκαθορισμένων απαντήσεων, αφήνοντας συχνά αναπάντητα τα ερωτήματα των χρηστών. Στην παρούσα διπλωματική εργασία, αναπτύσσουμε ένα υποσύστημα αυτόματης απάντησης ερωτήσεων (Question Answering - QA) με σκοπό να ενισχύσουμε την ικανότητα ενός διαλογικού συστήματος κλειστού γνωστικού πεδίου να χειρίζεται ερωτήσεις χρηστών που είναι εκτός κάλυψης εντός μίας διαλογικής στροφής (dialogue turn). Η μελέτη περίπτωσής μας επικεντρώνεται στη Theano, έναν ελληνικό διαλογικό βοηθό που σχεδιάστηκε για την πανδημία του COVID-19. Δημιουργούμε μια συλλογή από μη δομημένα κειμενικά δεδομένα που συλλέγονται από αξιόπιστες διαδικτυακές πηγές σχετικές με τον COVID-19 και χτίζουμε ένα σύστημα QA ανοιχτού τύπου (open-book) που βασίζεται στην αρχιτεκτονική retrieve-then-read. Πειραματιζόμαστε με δύο κύριες προσεγγίσεις: (1) μια μέθοδο εξαγωγής απάντησης (Extractive QA), όπου οι απαντήσεις είναι ακριβή αποσπάσματα από τα ανακτηθέντα κείμενα και (2) μία μέθοδο βασισμένη στο πλαίσιο Retrieval-Augmented Generation (RAG), όπου το σύστημα συνθέτει πληροφορίες από πολλαπλά κείμενα για να παράγει απαντήσεις. Για να προσαρμόσουμε το σύστημα QA στο συγκεκριμένο πεδίο γνώσης και την ελληνική γλώσσα, δημιουργούμε σύνολα δεδομένων (datasets) εξειδικευμένα για το συγκεκριμένο πεδίο γνώσης χρησιμοποιώντας μηχανική μετάφραση και συλλέγοντας ζεύγη ερωτήσεων-απαντήσεων από τον ιστό. Πειραματιζόμαστε με διάφορα προεκπαιδευμένα γλωσσικά μοντέλα (PLMs), συμπεριλαμβανομένων μοντέλων που ομοιάζουν στην αρχιτεκτονική BERT, και ενός Μεγάλου Γλωσσικού Μοντέλου (LLM) που ακολουθεί οδηγίες, ως την βάση των μερών του συστήματος. Αφού βελτιστοποιήσουμε τα μέρη του συστήματος μέσω αξιολογήσεων εντός και εκτός γνωστικού πεδίου σε datasets αξιολόγησης, καθώς και μέσω μιας αξιολόγησης πάνω σε πραγματικές ερωτήσεις χρηστών, διεξάγουμε μια έρευνα για να συλλέξουμε ανθρώπινη ανατροφοδότηση για την αξιολόγηση των απαντήσεων του συστήματος. Τα αποτελέσματά μας δείχνουν ότι η μέθοδος RAG υπερτερεί σημαντικά της μεθόδου εξαγωγής απαντήσεων στην παροχή πλήρων, ακριβών και χρήσιμων απαντήσεων σε ανεπίλυτα ερωτήματα χρηστών, ενώ παράλληλα συναγωνίζεται την επίδοση της βασικής μεθόδου επιλογής απάντησης (response selection) που βασίζεται στην ανάκτηση προκαθορισμένων απαντήσεων για το χειρισμό συχνών ερωτήσεων (FAQs).","Basic retrieval-based methods in dialogue systems are restricted by a finite set of predefined responses, often leaving user questions unanswered. In this work, we develop a single-turn Question Answering (QA) subsystem to enhance a closed-domain dialogue system's ability to handle out-of-coverage user questions. Our case study focuses on Theano, a Greek conversational agent designed for the COVID-19 pandemic. We create a document collection from unstructured text data gathered from reliable COVID-19-related web sources and build an open-book QA system based on the retrieve-then-read architecture. We experiment with two main approaches: (1) an Extractive QA method, where answers are exact snippets extracted from retrieved text documents, and (2) a method based on the Retrieval-Augmented Generation (RAG) framework, where the system synthesizes information from multiple text documents to generate answers. To adapt the QA system to the specific knowledge domain and the Greek language, we create domain-specific datasets using machine translation and collecting question-answer pairs from the web. We experiment with various pre-trained language models (PLMs), including BERT-like models and an instruction-following Large Language Model (LLM), to serve as the backbone of the system's components. After optimizing the components through in-domain and out-of-domain evaluations on test datasets along with an evaluation on real user questions, we conduct a survey to collect human feedback for assessing the system's responses. Our results show that the RAG method significantly outperforms the extractive approach in delivering complete, factually accurate, and useful responses to unresolved user questions, while also matching the performance of the basic response selection method that relies on the retrieval of predefined responses for handling FAQs."],"dc:identifier":["uoadl:3440487","https://pergamos.lib.uoa.gr/uoa/dl/object/3440487"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Developing a Question Answering (QA) Subsystem for Dialogue Systems. Case Study: Theano, a Greek-speaking Conversational Agent for COVID-19"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:31:10Z"}