National and Kapodistrian University of Athens
Developing a Question Answering (QA) Subsystem for Dialogue Systems. Case Study: Theano, a Greek-speaking Conversational Agent for COVID-19
Abstract
dc:descriptionΟι μέθοδοι που βασίζονται στην απλή ανάκτηση (retrieval-based) στα διαλογικά συστήματα περιορίζονται από ένα πεπερασμένο σύνολο προκαθορισμένων απαντήσεων, αφήνοντας συχνά αναπάντητα τα ερωτήματα των χρηστών. Στην παρούσα διπλωματική εργασία, αναπτύσσουμε ένα υποσύστημα αυτόματης απάντησης ερωτήσεων (Question Answering - QA) με σκοπό να ενισχύσουμε την ικανότητα ενός διαλογικού συστήματος κλειστού γνωστικού πεδίου να χειρίζεται ερωτήσεις χρηστών που είναι εκτός κάλυψης εντός μίας διαλογικής στροφής (dialogue turn). Η μελέτη περίπτωσής μας επικεντρώνεται στη Theano, έναν ελληνικό διαλογικό βοηθό που σχεδιάστηκε για την πανδημία του COVID-19. Δημιουργούμε μια συλλογή από μη δομημένα κειμενικά δεδομένα που συλλέγονται από αξιόπιστες διαδικτυακές πηγές σχετικές με τον COVID-19 και χτίζουμε ένα σύστημα QA ανοιχτού τύπου (open-book) που βασίζεται στην αρχιτεκτονική retrieve-then-read. Πειραματιζόμαστε με δύο κύριες προσεγγίσεις: (1) μια μέθοδο εξαγωγής απάντησης (Extractive QA), όπου οι απαντήσεις είναι ακριβή αποσπάσματα από τα ανακτηθέντα κείμενα και (2) μία μέθοδο βασισμένη στο πλαίσιο Retrieval-Augmented Generation (RAG), όπου το σύστημα συνθέτει πληροφορίες από πολλαπλά κείμενα για να παράγει απαντήσεις. Για να προσαρμόσουμε το σύστημα QA στο συγκεκριμένο πεδίο γνώσης και την ελληνική γλώσσα, δημιουργούμε σύνολα δεδομένων (datasets) εξειδικευμένα για το συγκεκριμένο πεδίο γνώσης χρησιμοποιώντας μηχανική μετάφραση και συλλέγοντας ζεύγη ερωτήσεων-απαντήσεων από τον ιστό. Πειραματιζόμαστε με διάφορα προεκπαιδευμένα γλωσσικά μοντέλα (PLMs), συμπεριλαμβανομένων μοντέλων που ομοιάζουν στην αρχιτεκτονική BERT, και ενός Μεγάλου Γλωσσικού Μοντέλου (LLM) που ακολουθεί οδηγίες, ως την βάση των μερών του συστήματος. Αφού βελτιστοποιήσουμε τα μέρη του συστήματος μέσω αξιολογήσεων εντός και εκτός γνωστικού πεδίου σε datasets αξιολόγησης, καθώς και μέσω μιας αξιολόγησης πάνω σε πραγματικές ερωτήσεις χρηστών, διεξάγουμε μια έρευνα για να συλλέξουμε ανθρώπινη ανατροφοδότηση για την αξιολόγηση των απαντήσεων του συστήματος. Τα αποτελέσματά μας δείχνουν ότι η μέθοδος RAG υπερτερεί σημαντικά της μεθόδου εξαγωγής απαντήσεων στην παροχή πλήρων, ακριβών και χρήσιμων απαντήσεων σε ανεπίλυτα ερωτήματα χρηστών, ενώ παράλληλα συναγωνίζεται την επίδοση της βασικής μεθόδου επιλογής απάντησης (response selection) που βασίζεται στην ανάκτηση προκαθορισμένων απαντήσεων για το χειρισμό συχνών ερωτήσεων (FAQs).
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Γριζιώτης Παναγιώτης
- Griziotis Panagiotis
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, English, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:3440487