National and Kapodistrian University of Athens
Comparison and Analysis of Value Linking in Text-to-SQL systems
Abstract
dc:descriptionΤα συστήματα μετατροπής κειμένου σε SQL αντιπροσωπεύουν ένα σημαντικό βήμα προόδου στην προσβασιμότητα των δεδομένων, υποσχόμενα να δώσουν στους χρήστες τη δυνατότητα να υποβάλλουν ερωτήματα σε σύνθετες βάσεις δεδομένων χρησιμοποιώντας φυσική γλώσσα. Ωστόσο, κάτω από την επιφάνεια των εντυπωσιακών εξελίξεων στη δημιουργία ορθής σύνταξης SQL, κρύβεται ένα κρίσιμο και συχνά παραμελημένο τρωτό σημείο: το value linking. Πρόκειται για την πρόκληση της ορθής συσχέτισης της αναφοράς ενός χρήστη σε μια τιμή, όπως ``NYC", με την αντίστοιχη καταχώρισή στη βάση δεδομένων, η οποία μπορεί να είναι ``New York City". Μια αποτυχία σε αυτό το στάδιο μπορεί να καταστήσει άχρηστο ένα κατά τα άλλα τέλειο ερώτημα. Παρά τη σημασία του, η απόδοση και η αποτελεσματικότητα των μηχανισμών value linking παραμένουν σε μεγάλο βαθμό ανεξερεύνητες, καθιστώντας μια τέτοια μελέτη ένα πολύτιμο εργαλείο για την κατανόηση των περιορισμών των υφιστάμενων συστημάτων και των προκλήσεων του μέλλοντος. Στην παρούσα διπλωματική, παρουσιάζουμε την πρώτη συστηματική μελέτη του value linking. Προτείνουμε μια ολοκληρωμένη ταξινόμηση για να αναλύσουμε το πρόβλημα στα βασικά του βήματα και τις σχεδιαστικές επιλογές του κάθε βήματος, και παρουσιάζουμε το VLD-Bench, ένα νέο, απαιτητικό benchmark σχεδιασμένο για να αξιολογεί συστήματα έναντι 18 τύπων γλωσσικών παραλλαγών του πραγματικού κόσμου. Τα ευρήματά μας δείχνουν ότι: α) τα τρέχοντα συστήματα είναι εξαιρετικά εύθραυστα, υφιστάμενα πτώση έως και 64\% στην μετρική εκτέλεσης από άκρο σε άκρο (end-to-end) όταν αντιμετωπίζουν ρεαλιστικές αποκλίσεις τιμών· β) οι αρχιτεκτονικές επιλογές δημιουργούν σαφείς συμβιβασμούς (trade-offs) μεταξύ ακρίβειας, χρόνου απόκρισης και ανθεκτικότητας στις γλωσσικές παραλλαγές· γ) η μεγιστοποίηση του recall αναδεικνύεται σημαντικότερη από την ακρίβεια (precision), καθώς τα συστήματα πολλαπλών σταδίων μπορούν να φιλτράρουν αποτελεσματικά τα λανθασμένα value links, καθιστώντας ένα πλήρες σύνολο υποψηφίων πιο πολύτιμο από ένα ακριβές αλλά ελλιπές σύνολο· και τέλος, δ) αυτή η πτώση στην απόδοση είναι άμεσο αποτέλεσμα των αποτυχιών του value linking κατά τον χειρισμό παραλλαγών του πραγματικού κόσμου, καθώς η ακρίβεια του συστήματος αποκαθίσταται πλήρως όταν παρέχονται τέλεια value links, γεγονός που αποδεικνύει την κρίσιμη επίδραση αυτού του στοιχείου στη συνολική αξιοπιστία του συστήματος.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- ΚΟΥΚΟΥΒΙΝΗΣ ΑΠΟΣΤΟΛΟΣ
- KOUKOUVINIS APOSTOLOS
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5318134