Back to search

National and Kapodistrian University of Athens

A Voice Assistant for cooking based on a natural language to SPARQL transformation pipeline using Rasa

Abstract

dc:description

Οι φωνητικοί βοηθοί είναι συστήματα που μπορούν να αλληλεπιδρούν με τον άνθρωπο με εκφωνούμενη φυσική γλώσσα και αποτελούν ένα ενδιαφέρον και ταχέως αναπτυσσόμενο πεδίο της Τεχνητής Νοημοσύνης και της Επεξεργασίας Φυσικής Γλώσσας. Κατατάσσονται κυρίως σε δύο κατηγορίες με βάση τη λειτουργία τους, τα συστήματα που προσανατολίζονται στη συνομιλία και αυτά που έχουν ως στόχο τη διεκπεραίωση εργασιών. Στην παρούσα διπλωματική εργασία παρουσιάζουμε τον σχεδιασμό και την ανάπτυξη του SousChef, ενός ολοκληρωμένου φωνητικού βοηθού για μαγειρική. Ο στόχος του συστήματος είναι να βοηθήσει τον χρήστη στην εκτέλεση μιας συνταγής, απαντώντας σε σχετικές ερωτήσεις. Στη βάση του συστήματος βρίσκεται ένας μηχανισμός που μετατρέπει τις ερωτήσεις φυσικής γλώσσας σε ερωτήματα SPARQL, χρησιμοποιώντας το λογισμικό Rasa. Για το σκοπό αυτό, έχει δημιουργηθεί μια οντολογία συνταγών και επίσης έχει εκπαιδευτεί ένα μοντέλο αναγνώρισης ονομαστικών οντοτήτων (NER). Τα δεδομένα εκπαίδευσης του μοντέλου αποτελούνται από ένα σύνολο ελληνικών συνταγών επισημειωμένων με οντότητες σχετικές με τη συνταγή. Για την εκπαίδευση του μοντέλου χρησιμοποιείται το τμήμα του Rasa που αφορά στην κατανόηση φυσικής γλώσσας, βάση του οποίου αποτελεί η αρχιτεκτονική DIET. Στη συνέχεια, για την εκπαίδευση ολόκληρου του διαλόγικού συστήματος χρησιμοποιείται το όλο Rasa Stack, με δεδομένα εκπαίδευσης ένα σύνολο ερωτήσεων που σχετίζονται με την παρασκευή μιας συνταγής. Το μοντέλο δεν εκπαιδεύεται από την αρχή, αλλά γίνεται fine-tuning του ήδη εκπαιδευμένου μοντέλου ταξινόμησης. Έτσι, όταν ο βοηθός λαμβάνει μια διεύθυνση URL από τον χρήστη, εξάγει από τον κώδικα HTML το κείμενο που περιλαμβάνει τη συνταγή και το τροφοδοτεί στο μοντέλο NER. Οι οντότητες που εξάγονται γεμίζουν δυναμικά την οντολογία, η οποία στη συνέχεια είναι έτοιμη για αναζήτηση. Κάθε φορά που ο χρήστης θέτει μια ερώτηση, ανάλογα με την πρόθεση και τις οντότητες που βρέθηκαν σε αυτήν, εκτελείται ένα ερώτημα SPARQL στη συμπληρωμένη οντολογία. Το αποτέλεσμα του ερωτήματος μετατρέπεται σε απάντηση, η οποία αποστέλλεται πίσω στον χρήστη. Προκειμένου να μετατρέψουμε το σύστημα σε φωνητικό βοηθό, χρησιμοποιούμε ένα λογισμικό που το συνδέει με τα API της Google για αναγνώριση και σύνθεση φωνής. Ο φωνητικός βοηθός μπορεί να χρησιμοποιηθεί μέσω μιας διαδικτυακής εφαρμογής που καταγράφει την ομιλία και την αποστέλλει στην προγραμματιστική διεπαφή μετατροπής φωνής σε κειμένο. Στη συνέχεια, το παραγώμενο κείμενο αποστέλλεται στο Rasa και επιστρέφεται μια απάντηση. Μέσω της προγραμματιστικής διεπαφής σύνθεσης ομιλίας, αυτή μετατρέπεται σε ομιλία και μεταδίδεται πίσω στον χρήστη. Τέλος, πραγματοποιήσαμε μια αναλυτική αξιολόγηση του βοηθού, χρησιμοποιώντας τόσο αυτόματες μεθόδους όσο και αξιολογήσεις από χρήστες. Τα συνολικά αποτελέσματα δείχνουν ότι το σύστημά μας είναι ικανό να διεξάγει έναν αποτελεσματικό διάλογο που ως επι το πλείστον επιστρέφει τις κατάλληλες απαντήσεις στον χρήστη.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Τσίλη Ελένη
  • Tsili Eleni

Subjects

dc:subject × 2

Rights

Language dc:language
Ελληνικά, English, Greek

Identifiers

dc:identifier.*
Identifier
uoadl:3392219

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Τσίλη Ελένη; Tsili Eleni. A Voice Assistant for cooking based on a natural language to SPARQL transformation pipeline using Rasa. 2024. https://pergamos.lib.uoa.gr/uoa/dl/object/3392219