{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5318134"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5318134","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Comparison and Analysis of Value Linking in Text-to-SQL systems","abstract":"Τα συστήματα μετατροπής κειμένου σε SQL αντιπροσωπεύουν ένα σημαντικό βήμα προόδου στην προσβασιμότητα των δεδομένων, υποσχόμενα να δώσουν στους χρήστες τη δυνατότητα να υποβάλλουν ερωτήματα σε σύνθετες βάσεις δεδομένων χρησιμοποιώντας φυσική γλώσσα. Ωστόσο, κάτω από την επιφάνεια των εντυπωσιακών εξελίξεων στη δημιουργία ορθής σύνταξης SQL, κρύβεται ένα κρίσιμο και συχνά παραμελημένο τρωτό σημείο: το value linking. Πρόκειται για την πρόκληση της ορθής συσχέτισης της αναφοράς ενός χρήστη σε μια τιμή, όπως ``NYC\", με την αντίστοιχη καταχώρισή στη βάση δεδομένων, η οποία μπορεί να είναι ``New York City\". Μια αποτυχία σε αυτό το στάδιο μπορεί να καταστήσει άχρηστο ένα κατά τα άλλα τέλειο ερώτημα. Παρά τη σημασία του, η απόδοση και η αποτελεσματικότητα των μηχανισμών value linking παραμένουν σε μεγάλο βαθμό ανεξερεύνητες, καθιστώντας μια τέτοια μελέτη ένα πολύτιμο εργαλείο για την κατανόηση των περιορισμών των υφιστάμενων συστημάτων και των προκλήσεων του μέλλοντος. Στην παρούσα διπλωματική, παρουσιάζουμε την πρώτη συστηματική μελέτη του value linking. Προτείνουμε μια ολοκληρωμένη ταξινόμηση για να αναλύσουμε το πρόβλημα στα βασικά του βήματα και τις σχεδιαστικές επιλογές του κάθε βήματος, και παρουσιάζουμε το VLD-Bench, ένα νέο, απαιτητικό benchmark σχεδιασμένο για να αξιολογεί συστήματα έναντι 18 τύπων γλωσσικών παραλλαγών του πραγματικού κόσμου. Τα ευρήματά μας δείχνουν ότι: α) τα τρέχοντα συστήματα είναι εξαιρετικά εύθραυστα, υφιστάμενα πτώση έως και 64\\% στην μετρική εκτέλεσης από άκρο σε άκρο (end-to-end) όταν αντιμετωπίζουν ρεαλιστικές αποκλίσεις τιμών· β) οι αρχιτεκτονικές επιλογές δημιουργούν σαφείς συμβιβασμούς (trade-offs) μεταξύ ακρίβειας, χρόνου απόκρισης και ανθεκτικότητας στις γλωσσικές παραλλαγές· γ) η μεγιστοποίηση του recall αναδεικνύεται σημαντικότερη από την ακρίβεια (precision), καθώς τα συστήματα πολλαπλών σταδίων μπορούν να φιλτράρουν αποτελεσματικά τα λανθασμένα value links, καθιστώντας ένα πλήρες σύνολο υποψηφίων πιο πολύτιμο από ένα ακριβές αλλά ελλιπές σύνολο· και τέλος, δ) αυτή η πτώση στην απόδοση είναι άμεσο αποτέλεσμα των αποτυχιών του value linking κατά τον χειρισμό παραλλαγών του πραγματικού κόσμου, καθώς η ακρίβεια του συστήματος αποκαθίσταται πλήρως όταν παρέχονται τέλεια value links, γεγονός που αποδεικνύει την κρίσιμη επίδραση αυτού του στοιχείου στη συνολική αξιοπιστία του συστήματος.","abstract_html":"Τα συστήματα μετατροπής κειμένου σε SQL αντιπροσωπεύουν ένα σημαντικό βήμα προόδου στην προσβασιμότητα των δεδομένων, υποσχόμενα να δώσουν στους χρήστες τη δυνατότητα να υποβάλλουν ερωτήματα σε σύνθετες βάσεις δεδομένων χρησιμοποιώντας φυσική γλώσσα. Ωστόσο, κάτω από την επιφάνεια των εντυπωσιακών εξελίξεων στη δημιουργία ορθής σύνταξης SQL, κρύβεται ένα κρίσιμο και συχνά παραμελημένο τρωτό σημείο: το value linking. Πρόκειται για την πρόκληση της ορθής συσχέτισης της αναφοράς ενός χρήστη σε μια τιμή, όπως ``NYC&quot;, με την αντίστοιχη καταχώρισή στη βάση δεδομένων, η οποία μπορεί να είναι ``New York City&quot;. Μια αποτυχία σε αυτό το στάδιο μπορεί να καταστήσει άχρηστο ένα κατά τα άλλα τέλειο ερώτημα. Παρά τη σημασία του, η απόδοση και η αποτελεσματικότητα των μηχανισμών value linking παραμένουν σε μεγάλο βαθμό ανεξερεύνητες, καθιστώντας μια τέτοια μελέτη ένα πολύτιμο εργαλείο για την κατανόηση των περιορισμών των υφιστάμενων συστημάτων και των προκλήσεων του μέλλοντος. Στην παρούσα διπλωματική, παρουσιάζουμε την πρώτη συστηματική μελέτη του value linking. Προτείνουμε μια ολοκληρωμένη ταξινόμηση για να αναλύσουμε το πρόβλημα στα βασικά του βήματα και τις σχεδιαστικές επιλογές του κάθε βήματος, και παρουσιάζουμε το VLD-Bench, ένα νέο, απαιτητικό benchmark σχεδιασμένο για να αξιολογεί συστήματα έναντι 18 τύπων γλωσσικών παραλλαγών του πραγματικού κόσμου. Τα ευρήματά μας δείχνουν ότι: α) τα τρέχοντα συστήματα είναι εξαιρετικά εύθραυστα, υφιστάμενα πτώση έως και 64\\% στην μετρική εκτέλεσης από άκρο σε άκρο (end-to-end) όταν αντιμετωπίζουν ρεαλιστικές αποκλίσεις τιμών· β) οι αρχιτεκτονικές επιλογές δημιουργούν σαφείς συμβιβασμούς (trade-offs) μεταξύ ακρίβειας, χρόνου απόκρισης και ανθεκτικότητας στις γλωσσικές παραλλαγές· γ) η μεγιστοποίηση του recall αναδεικνύεται σημαντικότερη από την ακρίβεια (precision), καθώς τα συστήματα πολλαπλών σταδίων μπορούν να φιλτράρουν αποτελεσματικά τα λανθασμένα value links, καθιστώντας ένα πλήρες σύνολο υποψηφίων πιο πολύτιμο από ένα ακριβές αλλά ελλιπές σύνολο· και τέλος, δ) αυτή η πτώση στην απόδοση είναι άμεσο αποτέλεσμα των αποτυχιών του value linking κατά τον χειρισμό παραλλαγών του πραγματικού κόσμου, καθώς η ακρίβεια του συστήματος αποκαθίσταται πλήρως όταν παρέχονται τέλεια value links, γεγονός που αποδεικνύει την κρίσιμη επίδραση αυτού του στοιχείου στη συνολική αξιοπιστία του συστήματος.","abstract_has_math":false,"creators":["ΚΟΥΚΟΥΒΙΝΗΣ ΑΠΟΣΤΟΛΟΣ","KOUKOUVINIS APOSTOLOS"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2025,"date_issued":"2025","date_published":"2025","updated_at":"2026-11-19T06:41:22Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5318134"],"render_values":[{"text":"uoadl:5318134","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5318134","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5318134","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5318134","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΚΟΥΚΟΥΒΙΝΗΣ ΑΠΟΣΤΟΛΟΣ","KOUKOUVINIS APOSTOLOS"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2025"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5318134","https://pergamos.lib.uoa.gr/uoa/dl/object/5318134"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα συστήματα μετατροπής κειμένου σε SQL αντιπροσωπεύουν ένα σημαντικό βήμα προόδου στην προσβασιμότητα των δεδομένων, υποσχόμενα να δώσουν στους χρήστες τη δυνατότητα να υποβάλλουν ερωτήματα σε σύνθετες βάσεις δεδομένων χρησιμοποιώντας φυσική γλώσσα. Ωστόσο, κάτω από την επιφάνεια των εντυπωσιακών εξελίξεων στη δημιουργία ορθής σύνταξης SQL, κρύβεται ένα κρίσιμο και συχνά παραμελημένο τρωτό σημείο: το value linking. Πρόκειται για την πρόκληση της ορθής συσχέτισης της αναφοράς ενός χρήστη σε μια τιμή, όπως ``NYC\", με την αντίστοιχη καταχώρισή στη βάση δεδομένων, η οποία μπορεί να είναι ``New York City\". Μια αποτυχία σε αυτό το στάδιο μπορεί να καταστήσει άχρηστο ένα κατά τα άλλα τέλειο ερώτημα. Παρά τη σημασία του, η απόδοση και η αποτελεσματικότητα των μηχανισμών value linking παραμένουν σε μεγάλο βαθμό ανεξερεύνητες, καθιστώντας μια τέτοια μελέτη ένα πολύτιμο εργαλείο για την κατανόηση των περιορισμών των υφιστάμενων συστημάτων και των προκλήσεων του μέλλοντος. Στην παρούσα διπλωματική, παρουσιάζουμε την πρώτη συστηματική μελέτη του value linking. Προτείνουμε μια ολοκληρωμένη ταξινόμηση για να αναλύσουμε το πρόβλημα στα βασικά του βήματα και τις σχεδιαστικές επιλογές του κάθε βήματος, και παρουσιάζουμε το VLD-Bench, ένα νέο, απαιτητικό benchmark σχεδιασμένο για να αξιολογεί συστήματα έναντι 18 τύπων γλωσσικών παραλλαγών του πραγματικού κόσμου. Τα ευρήματά μας δείχνουν ότι: α) τα τρέχοντα συστήματα είναι εξαιρετικά εύθραυστα, υφιστάμενα πτώση έως και 64\\% στην μετρική εκτέλεσης από άκρο σε άκρο (end-to-end) όταν αντιμετωπίζουν ρεαλιστικές αποκλίσεις τιμών· β) οι αρχιτεκτονικές επιλογές δημιουργούν σαφείς συμβιβασμούς (trade-offs) μεταξύ ακρίβειας, χρόνου απόκρισης και ανθεκτικότητας στις γλωσσικές παραλλαγές· γ) η μεγιστοποίηση του recall αναδεικνύεται σημαντικότερη από την ακρίβεια (precision), καθώς τα συστήματα πολλαπλών σταδίων μπορούν να φιλτράρουν αποτελεσματικά τα λανθασμένα value links, καθιστώντας ένα πλήρες σύνολο υποψηφίων πιο πολύτιμο από ένα ακριβές αλλά ελλιπές σύνολο· και τέλος, δ) αυτή η πτώση στην απόδοση είναι άμεσο αποτέλεσμα των αποτυχιών του value linking κατά τον χειρισμό παραλλαγών του πραγματικού κόσμου, καθώς η ακρίβεια του συστήματος αποκαθίσταται πλήρως όταν παρέχονται τέλεια value links, γεγονός που αποδεικνύει την κρίσιμη επίδραση αυτού του στοιχείου στη συνολική αξιοπιστία του συστήματος.","Text-to-SQL systems represent a major leap forward in data accessibility, promising to empower users to query complex databases using natural language. However, beneath the surface of impressive advancements in generating correct SQL syntax, lies a critical and often-overlooked vulnerability: value linking. This is the challenge of correctly associating a user's mention to a value, like ``NYC\", with its corresponding database entry, which might be ``New York City.\" A failure at this stage can render an otherwise perfect query useless. Despite its importance, the performance and comparative effectiveness of value linking mechanisms remain largely unexplored, making such a study an invaluable tool for understanding the limitations of current systems and the challenges that lie ahead. In this thesis, we introduce the first systematic study of value linking. We propose a comprehensive taxonomy to deconstruct the problem into its core steps and design choices, and introduce VLD-Bench, a new, challenging benchmark designed to test systems against 18 types of real-world linguistic variations. Our findings show that a) current systems are extremely brittle, suffering up to a 64\\% drop in end-to-end execution accuracy when faced with realistic value discrepancies; b) architectural choices create clear trade-offs between accuracy, latency, and robustness; c) maximizing recall is paramount, as multi-stage systems can effectively filter false value links, making a comprehensive set of candidates more valuable than a precise but incomplete one; and finally, d) this performance drop is a direct result of value linking failures when handling real-world variations, as system accuracy is fully restored when provided with perfect value links, demonstrating this component's critical impact on end-to-end reliability."]},{"key":"dc:title","label":"Title","values":["Comparison and Analysis of Value Linking in Text-to-SQL systems"]}]}],"canonical_facts":{"dc:creator":["ΚΟΥΚΟΥΒΙΝΗΣ ΑΠΟΣΤΟΛΟΣ","KOUKOUVINIS APOSTOLOS"],"dc:date":["2025"],"dc:description":["Τα συστήματα μετατροπής κειμένου σε SQL αντιπροσωπεύουν ένα σημαντικό βήμα προόδου στην προσβασιμότητα των δεδομένων, υποσχόμενα να δώσουν στους χρήστες τη δυνατότητα να υποβάλλουν ερωτήματα σε σύνθετες βάσεις δεδομένων χρησιμοποιώντας φυσική γλώσσα. Ωστόσο, κάτω από την επιφάνεια των εντυπωσιακών εξελίξεων στη δημιουργία ορθής σύνταξης SQL, κρύβεται ένα κρίσιμο και συχνά παραμελημένο τρωτό σημείο: το value linking. Πρόκειται για την πρόκληση της ορθής συσχέτισης της αναφοράς ενός χρήστη σε μια τιμή, όπως ``NYC\", με την αντίστοιχη καταχώρισή στη βάση δεδομένων, η οποία μπορεί να είναι ``New York City\". Μια αποτυχία σε αυτό το στάδιο μπορεί να καταστήσει άχρηστο ένα κατά τα άλλα τέλειο ερώτημα. Παρά τη σημασία του, η απόδοση και η αποτελεσματικότητα των μηχανισμών value linking παραμένουν σε μεγάλο βαθμό ανεξερεύνητες, καθιστώντας μια τέτοια μελέτη ένα πολύτιμο εργαλείο για την κατανόηση των περιορισμών των υφιστάμενων συστημάτων και των προκλήσεων του μέλλοντος. Στην παρούσα διπλωματική, παρουσιάζουμε την πρώτη συστηματική μελέτη του value linking. Προτείνουμε μια ολοκληρωμένη ταξινόμηση για να αναλύσουμε το πρόβλημα στα βασικά του βήματα και τις σχεδιαστικές επιλογές του κάθε βήματος, και παρουσιάζουμε το VLD-Bench, ένα νέο, απαιτητικό benchmark σχεδιασμένο για να αξιολογεί συστήματα έναντι 18 τύπων γλωσσικών παραλλαγών του πραγματικού κόσμου. Τα ευρήματά μας δείχνουν ότι: α) τα τρέχοντα συστήματα είναι εξαιρετικά εύθραυστα, υφιστάμενα πτώση έως και 64\\% στην μετρική εκτέλεσης από άκρο σε άκρο (end-to-end) όταν αντιμετωπίζουν ρεαλιστικές αποκλίσεις τιμών· β) οι αρχιτεκτονικές επιλογές δημιουργούν σαφείς συμβιβασμούς (trade-offs) μεταξύ ακρίβειας, χρόνου απόκρισης και ανθεκτικότητας στις γλωσσικές παραλλαγές· γ) η μεγιστοποίηση του recall αναδεικνύεται σημαντικότερη από την ακρίβεια (precision), καθώς τα συστήματα πολλαπλών σταδίων μπορούν να φιλτράρουν αποτελεσματικά τα λανθασμένα value links, καθιστώντας ένα πλήρες σύνολο υποψηφίων πιο πολύτιμο από ένα ακριβές αλλά ελλιπές σύνολο· και τέλος, δ) αυτή η πτώση στην απόδοση είναι άμεσο αποτέλεσμα των αποτυχιών του value linking κατά τον χειρισμό παραλλαγών του πραγματικού κόσμου, καθώς η ακρίβεια του συστήματος αποκαθίσταται πλήρως όταν παρέχονται τέλεια value links, γεγονός που αποδεικνύει την κρίσιμη επίδραση αυτού του στοιχείου στη συνολική αξιοπιστία του συστήματος.","Text-to-SQL systems represent a major leap forward in data accessibility, promising to empower users to query complex databases using natural language. However, beneath the surface of impressive advancements in generating correct SQL syntax, lies a critical and often-overlooked vulnerability: value linking. This is the challenge of correctly associating a user's mention to a value, like ``NYC\", with its corresponding database entry, which might be ``New York City.\" A failure at this stage can render an otherwise perfect query useless. Despite its importance, the performance and comparative effectiveness of value linking mechanisms remain largely unexplored, making such a study an invaluable tool for understanding the limitations of current systems and the challenges that lie ahead. In this thesis, we introduce the first systematic study of value linking. We propose a comprehensive taxonomy to deconstruct the problem into its core steps and design choices, and introduce VLD-Bench, a new, challenging benchmark designed to test systems against 18 types of real-world linguistic variations. Our findings show that a) current systems are extremely brittle, suffering up to a 64\\% drop in end-to-end execution accuracy when faced with realistic value discrepancies; b) architectural choices create clear trade-offs between accuracy, latency, and robustness; c) maximizing recall is paramount, as multi-stage systems can effectively filter false value links, making a comprehensive set of candidates more valuable than a precise but incomplete one; and finally, d) this performance drop is a direct result of value linking failures when handling real-world variations, as system accuracy is fully restored when provided with perfect value links, demonstrating this component's critical impact on end-to-end reliability."],"dc:identifier":["uoadl:5318134","https://pergamos.lib.uoa.gr/uoa/dl/object/5318134"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Comparison and Analysis of Value Linking in Text-to-SQL systems"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:41:22Z"}