{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3463272"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3463272","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Evaluating the capabilities of LLMs in geospatial question answering and geospatial reasoning","abstract":"Στην παρούσα εργασία επιχειρήθηκε η εξέταση διαφόρων Μεγάλων Γλωσσικών Μοντέ- λων αναφορικά με την ικανότητά τους να απαντούν σωστά ερωτήσεις γεωγραφικού και χωρικού χαρακτήρα (geospatial questions). Για τα πλαίσια της παραπάνω αξιολόγησης χρησιμοποιήθηκε το dataset, GeoQuestions1089, που εμπεριέχει ερωτήσεις γεω-χωρικού χαρακτήρα, τις αντίστοιχες απαντήσεις μαζί με τις SPARQL ή GeoSPARQL εντολές. Στην περίπτωση που οι απαντήσεις ταυτίζονται ή είναι παρόμοιες, τότε η απάντηση που πήραμε από το LLM χαρακτηρίζεται ως (κυρίως) σωστή. Διαφορετικά, αν υπάρχουν ορισμένα κοινά σημεία, τότε η απάντηση του γλωσσικού μο- ντέλου θεωρείται μερικώς σωστή. Αντιθέτως, αν δεν υπάρχει σχεδόν κανένα κοινό σημείο μεταξύ των δύο στοιχείων, η απάντηση του LLM θα ερμηνευθεί ως λανθασμένη. Η δεύτερη πτυχή της εργασίας αφορά την ικανότητα των γλωσσικών μοντέλων να αντι- λαμβάνονται, επεξεργάζονται χωρική πληροφορία και να συμπεραίνουν τις σχέσεις αντι- κειμένων στον χώρο των δύο διαστάσεων. Συγκεκριμένα, δοθέντος κάποιων γράφων και δίνοντας στα μοντέλα την χωρική σχέση μεταξύ κάποιων από των κόμβων τους ως εντολή εισόδου, ρωτάμε το μοντέλο να συμπεράνει κάποιες άλλες σχέσεις. Μετά την επιτυχημένη εξαγωγή της χρήσιμης πληροφορίας από τα περιεχόμενα του δείκτη GeoQuestions1089 και την διαγραφή των ερωτήσεων που έχουν ως απάντηση πολύγονα, χωρίσαμε όλες τις ερωτήσεις στις κατηγορίες Δυαδικές, Περιγραφικές και Ποσοτικές. Ο λόγος που έγινε αυτή η διαφοροποίηση είναι λόγο του ότι η κάθε κατηγορία ερωτήσεων αξιολογείται με διαφορετικό τρόπο. Τα αποτελέσματα έδειξαν ότι τα μοντέλα είναι καλά στο να αξιολογούν σωστά την πρώτη και τρίτη κατηγορία ερωτήσεων που θεωρούνται πιο εύκολες αλλά δυσκολεύονται στην δεύτερη. Συγκεκριμένα, τα μεγάλα μοντέλα μπορούν να βρουν και ερωτήσεις της δεύτε- ρης κατηγορίας αλλά όχι πάντα με επιτυχία. Τα μικρά μοντέλα δυσκολεύονται περισσότερο στην δεύτερη κατηγορία των ερωτήσεων και είναι πιο ασταθή, δηλαδή μπορούν να απα- ντήσουν διαφορετικά στην ίδια ερώτηση.","abstract_html":"Στην παρούσα εργασία επιχειρήθηκε η εξέταση διαφόρων Μεγάλων Γλωσσικών Μοντέ- λων αναφορικά με την ικανότητά τους να απαντούν σωστά ερωτήσεις γεωγραφικού και χωρικού χαρακτήρα (geospatial questions). Για τα πλαίσια της παραπάνω αξιολόγησης χρησιμοποιήθηκε το dataset, GeoQuestions1089, που εμπεριέχει ερωτήσεις γεω-χωρικού χαρακτήρα, τις αντίστοιχες απαντήσεις μαζί με τις SPARQL ή GeoSPARQL εντολές. Στην περίπτωση που οι απαντήσεις ταυτίζονται ή είναι παρόμοιες, τότε η απάντηση που πήραμε από το LLM χαρακτηρίζεται ως (κυρίως) σωστή. Διαφορετικά, αν υπάρχουν ορισμένα κοινά σημεία, τότε η απάντηση του γλωσσικού μο- ντέλου θεωρείται μερικώς σωστή. Αντιθέτως, αν δεν υπάρχει σχεδόν κανένα κοινό σημείο μεταξύ των δύο στοιχείων, η απάντηση του LLM θα ερμηνευθεί ως λανθασμένη. Η δεύτερη πτυχή της εργασίας αφορά την ικανότητα των γλωσσικών μοντέλων να αντι- λαμβάνονται, επεξεργάζονται χωρική πληροφορία και να συμπεραίνουν τις σχέσεις αντι- κειμένων στον χώρο των δύο διαστάσεων. Συγκεκριμένα, δοθέντος κάποιων γράφων και δίνοντας στα μοντέλα την χωρική σχέση μεταξύ κάποιων από των κόμβων τους ως εντολή εισόδου, ρωτάμε το μοντέλο να συμπεράνει κάποιες άλλες σχέσεις. Μετά την επιτυχημένη εξαγωγή της χρήσιμης πληροφορίας από τα περιεχόμενα του δείκτη GeoQuestions1089 και την διαγραφή των ερωτήσεων που έχουν ως απάντηση πολύγονα, χωρίσαμε όλες τις ερωτήσεις στις κατηγορίες Δυαδικές, Περιγραφικές και Ποσοτικές. Ο λόγος που έγινε αυτή η διαφοροποίηση είναι λόγο του ότι η κάθε κατηγορία ερωτήσεων αξιολογείται με διαφορετικό τρόπο. Τα αποτελέσματα έδειξαν ότι τα μοντέλα είναι καλά στο να αξιολογούν σωστά την πρώτη και τρίτη κατηγορία ερωτήσεων που θεωρούνται πιο εύκολες αλλά δυσκολεύονται στην δεύτερη. Συγκεκριμένα, τα μεγάλα μοντέλα μπορούν να βρουν και ερωτήσεις της δεύτε- ρης κατηγορίας αλλά όχι πάντα με επιτυχία. Τα μικρά μοντέλα δυσκολεύονται περισσότερο στην δεύτερη κατηγορία των ερωτήσεων και είναι πιο ασταθή, δηλαδή μπορούν να απα- ντήσουν διαφορετικά στην ίδια ερώτηση.","abstract_has_math":false,"creators":["Καραγιάννης Ευάγγελος-Εμμανουήλ","Karagiannis Evangelos-Emmanouil"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2025,"date_issued":"2025","date_published":"2025","updated_at":"2026-11-19T06:31:54Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3463272"],"render_values":[{"text":"uoadl:3463272","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3463272","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3463272","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3463272","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Καραγιάννης Ευάγγελος-Εμμανουήλ","Karagiannis Evangelos-Emmanouil"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2025"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3463272","https://pergamos.lib.uoa.gr/uoa/dl/object/3463272"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Στην παρούσα εργασία επιχειρήθηκε η εξέταση διαφόρων Μεγάλων Γλωσσικών Μοντέ- λων αναφορικά με την ικανότητά τους να απαντούν σωστά ερωτήσεις γεωγραφικού και χωρικού χαρακτήρα (geospatial questions). Για τα πλαίσια της παραπάνω αξιολόγησης χρησιμοποιήθηκε το dataset, GeoQuestions1089, που εμπεριέχει ερωτήσεις γεω-χωρικού χαρακτήρα, τις αντίστοιχες απαντήσεις μαζί με τις SPARQL ή GeoSPARQL εντολές. Στην περίπτωση που οι απαντήσεις ταυτίζονται ή είναι παρόμοιες, τότε η απάντηση που πήραμε από το LLM χαρακτηρίζεται ως (κυρίως) σωστή. Διαφορετικά, αν υπάρχουν ορισμένα κοινά σημεία, τότε η απάντηση του γλωσσικού μο- ντέλου θεωρείται μερικώς σωστή. Αντιθέτως, αν δεν υπάρχει σχεδόν κανένα κοινό σημείο μεταξύ των δύο στοιχείων, η απάντηση του LLM θα ερμηνευθεί ως λανθασμένη. Η δεύτερη πτυχή της εργασίας αφορά την ικανότητα των γλωσσικών μοντέλων να αντι- λαμβάνονται, επεξεργάζονται χωρική πληροφορία και να συμπεραίνουν τις σχέσεις αντι- κειμένων στον χώρο των δύο διαστάσεων. Συγκεκριμένα, δοθέντος κάποιων γράφων και δίνοντας στα μοντέλα την χωρική σχέση μεταξύ κάποιων από των κόμβων τους ως εντολή εισόδου, ρωτάμε το μοντέλο να συμπεράνει κάποιες άλλες σχέσεις. Μετά την επιτυχημένη εξαγωγή της χρήσιμης πληροφορίας από τα περιεχόμενα του δείκτη GeoQuestions1089 και την διαγραφή των ερωτήσεων που έχουν ως απάντηση πολύγονα, χωρίσαμε όλες τις ερωτήσεις στις κατηγορίες Δυαδικές, Περιγραφικές και Ποσοτικές. Ο λόγος που έγινε αυτή η διαφοροποίηση είναι λόγο του ότι η κάθε κατηγορία ερωτήσεων αξιολογείται με διαφορετικό τρόπο. Τα αποτελέσματα έδειξαν ότι τα μοντέλα είναι καλά στο να αξιολογούν σωστά την πρώτη και τρίτη κατηγορία ερωτήσεων που θεωρούνται πιο εύκολες αλλά δυσκολεύονται στην δεύτερη. Συγκεκριμένα, τα μεγάλα μοντέλα μπορούν να βρουν και ερωτήσεις της δεύτε- ρης κατηγορίας αλλά όχι πάντα με επιτυχία. Τα μικρά μοντέλα δυσκολεύονται περισσότερο στην δεύτερη κατηγορία των ερωτήσεων και είναι πιο ασταθή, δηλαδή μπορούν να απα- ντήσουν διαφορετικά στην ίδια ερώτηση.","In this thesis, we aim to evaluate LLMs in terms of their ability to correctly answer geospatial questions. For the purposes of the aforementioned evaluation, we used the GeoQuestions1089 benchmark, which includes geospatial questions along with their respective answers and SPARQL or GeoSPARQL queries. In the case where the answers are close to identical, we classify the LLM’s answer as (mostly) correct. If the answers are not identical but share some common elements, we consider them partially correct. Conversely, if they share no common elements, the LLM’s answer is classified as incorrect. The second aspect of this assignment relates to the ability of LLMs to understand and process spatial information, as well as to deduce relationships between objects in two dimensional space. More specifically, given certain graphs and providing the models with the spatial relations between some of their nodes as input, we investigate whether the models can infer other relationships. After extracting the useful information from GeoQuestions1089 and removing the questions containing polygons, we categorize the remaining questions into Binary, Descriptive, and Quantitative types. This categorization is necessary because each question type requires a different evaluation methodology. The results showed that the models perform well in correctly evaluating the first and third categories of questions, which are considered easier, but struggle with the second category. Specifically, large models are capable of addressing questions from the second category but not always successfully. Smaller models have greater difficulty with the second category of questions and are more inconsistent, meaning they may provide different answers to the same question."]},{"key":"dc:title","label":"Title","values":["Evaluating the capabilities of LLMs in geospatial question answering and geospatial reasoning"]}]}],"canonical_facts":{"dc:creator":["Καραγιάννης Ευάγγελος-Εμμανουήλ","Karagiannis Evangelos-Emmanouil"],"dc:date":["2025"],"dc:description":["Στην παρούσα εργασία επιχειρήθηκε η εξέταση διαφόρων Μεγάλων Γλωσσικών Μοντέ- λων αναφορικά με την ικανότητά τους να απαντούν σωστά ερωτήσεις γεωγραφικού και χωρικού χαρακτήρα (geospatial questions). Για τα πλαίσια της παραπάνω αξιολόγησης χρησιμοποιήθηκε το dataset, GeoQuestions1089, που εμπεριέχει ερωτήσεις γεω-χωρικού χαρακτήρα, τις αντίστοιχες απαντήσεις μαζί με τις SPARQL ή GeoSPARQL εντολές. Στην περίπτωση που οι απαντήσεις ταυτίζονται ή είναι παρόμοιες, τότε η απάντηση που πήραμε από το LLM χαρακτηρίζεται ως (κυρίως) σωστή. Διαφορετικά, αν υπάρχουν ορισμένα κοινά σημεία, τότε η απάντηση του γλωσσικού μο- ντέλου θεωρείται μερικώς σωστή. Αντιθέτως, αν δεν υπάρχει σχεδόν κανένα κοινό σημείο μεταξύ των δύο στοιχείων, η απάντηση του LLM θα ερμηνευθεί ως λανθασμένη. Η δεύτερη πτυχή της εργασίας αφορά την ικανότητα των γλωσσικών μοντέλων να αντι- λαμβάνονται, επεξεργάζονται χωρική πληροφορία και να συμπεραίνουν τις σχέσεις αντι- κειμένων στον χώρο των δύο διαστάσεων. Συγκεκριμένα, δοθέντος κάποιων γράφων και δίνοντας στα μοντέλα την χωρική σχέση μεταξύ κάποιων από των κόμβων τους ως εντολή εισόδου, ρωτάμε το μοντέλο να συμπεράνει κάποιες άλλες σχέσεις. Μετά την επιτυχημένη εξαγωγή της χρήσιμης πληροφορίας από τα περιεχόμενα του δείκτη GeoQuestions1089 και την διαγραφή των ερωτήσεων που έχουν ως απάντηση πολύγονα, χωρίσαμε όλες τις ερωτήσεις στις κατηγορίες Δυαδικές, Περιγραφικές και Ποσοτικές. Ο λόγος που έγινε αυτή η διαφοροποίηση είναι λόγο του ότι η κάθε κατηγορία ερωτήσεων αξιολογείται με διαφορετικό τρόπο. Τα αποτελέσματα έδειξαν ότι τα μοντέλα είναι καλά στο να αξιολογούν σωστά την πρώτη και τρίτη κατηγορία ερωτήσεων που θεωρούνται πιο εύκολες αλλά δυσκολεύονται στην δεύτερη. Συγκεκριμένα, τα μεγάλα μοντέλα μπορούν να βρουν και ερωτήσεις της δεύτε- ρης κατηγορίας αλλά όχι πάντα με επιτυχία. Τα μικρά μοντέλα δυσκολεύονται περισσότερο στην δεύτερη κατηγορία των ερωτήσεων και είναι πιο ασταθή, δηλαδή μπορούν να απα- ντήσουν διαφορετικά στην ίδια ερώτηση.","In this thesis, we aim to evaluate LLMs in terms of their ability to correctly answer geospatial questions. For the purposes of the aforementioned evaluation, we used the GeoQuestions1089 benchmark, which includes geospatial questions along with their respective answers and SPARQL or GeoSPARQL queries. In the case where the answers are close to identical, we classify the LLM’s answer as (mostly) correct. If the answers are not identical but share some common elements, we consider them partially correct. Conversely, if they share no common elements, the LLM’s answer is classified as incorrect. The second aspect of this assignment relates to the ability of LLMs to understand and process spatial information, as well as to deduce relationships between objects in two dimensional space. More specifically, given certain graphs and providing the models with the spatial relations between some of their nodes as input, we investigate whether the models can infer other relationships. After extracting the useful information from GeoQuestions1089 and removing the questions containing polygons, we categorize the remaining questions into Binary, Descriptive, and Quantitative types. This categorization is necessary because each question type requires a different evaluation methodology. The results showed that the models perform well in correctly evaluating the first and third categories of questions, which are considered easier, but struggle with the second category. Specifically, large models are capable of addressing questions from the second category but not always successfully. Smaller models have greater difficulty with the second category of questions and are more inconsistent, meaning they may provide different answers to the same question."],"dc:identifier":["uoadl:3463272","https://pergamos.lib.uoa.gr/uoa/dl/object/3463272"],"dc:language":["Ελληνικά","Greek"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Evaluating the capabilities of LLMs in geospatial question answering and geospatial reasoning"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:31:54Z"}