Back to search

National and Kapodistrian University of Athens

Evaluating the capabilities of LLMs in geospatial question answering and geospatial reasoning

Abstract

dc:description

Στην παρούσα εργασία επιχειρήθηκε η εξέταση διαφόρων Μεγάλων Γλωσσικών Μοντέ- λων αναφορικά με την ικανότητά τους να απαντούν σωστά ερωτήσεις γεωγραφικού και χωρικού χαρακτήρα (geospatial questions). Για τα πλαίσια της παραπάνω αξιολόγησης χρησιμοποιήθηκε το dataset, GeoQuestions1089, που εμπεριέχει ερωτήσεις γεω-χωρικού χαρακτήρα, τις αντίστοιχες απαντήσεις μαζί με τις SPARQL ή GeoSPARQL εντολές. Στην περίπτωση που οι απαντήσεις ταυτίζονται ή είναι παρόμοιες, τότε η απάντηση που πήραμε από το LLM χαρακτηρίζεται ως (κυρίως) σωστή. Διαφορετικά, αν υπάρχουν ορισμένα κοινά σημεία, τότε η απάντηση του γλωσσικού μο- ντέλου θεωρείται μερικώς σωστή. Αντιθέτως, αν δεν υπάρχει σχεδόν κανένα κοινό σημείο μεταξύ των δύο στοιχείων, η απάντηση του LLM θα ερμηνευθεί ως λανθασμένη. Η δεύτερη πτυχή της εργασίας αφορά την ικανότητα των γλωσσικών μοντέλων να αντι- λαμβάνονται, επεξεργάζονται χωρική πληροφορία και να συμπεραίνουν τις σχέσεις αντι- κειμένων στον χώρο των δύο διαστάσεων. Συγκεκριμένα, δοθέντος κάποιων γράφων και δίνοντας στα μοντέλα την χωρική σχέση μεταξύ κάποιων από των κόμβων τους ως εντολή εισόδου, ρωτάμε το μοντέλο να συμπεράνει κάποιες άλλες σχέσεις. Μετά την επιτυχημένη εξαγωγή της χρήσιμης πληροφορίας από τα περιεχόμενα του δείκτη GeoQuestions1089 και την διαγραφή των ερωτήσεων που έχουν ως απάντηση πολύγονα, χωρίσαμε όλες τις ερωτήσεις στις κατηγορίες Δυαδικές, Περιγραφικές και Ποσοτικές. Ο λόγος που έγινε αυτή η διαφοροποίηση είναι λόγο του ότι η κάθε κατηγορία ερωτήσεων αξιολογείται με διαφορετικό τρόπο. Τα αποτελέσματα έδειξαν ότι τα μοντέλα είναι καλά στο να αξιολογούν σωστά την πρώτη και τρίτη κατηγορία ερωτήσεων που θεωρούνται πιο εύκολες αλλά δυσκολεύονται στην δεύτερη. Συγκεκριμένα, τα μεγάλα μοντέλα μπορούν να βρουν και ερωτήσεις της δεύτε- ρης κατηγορίας αλλά όχι πάντα με επιτυχία. Τα μικρά μοντέλα δυσκολεύονται περισσότερο στην δεύτερη κατηγορία των ερωτήσεων και είναι πιο ασταθή, δηλαδή μπορούν να απα- ντήσουν διαφορετικά στην ίδια ερώτηση.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Καραγιάννης Ευάγγελος-Εμμανουήλ
  • Karagiannis Evangelos-Emmanouil

Subjects

dc:subject × 2

Rights

Language dc:language
Ελληνικά, Greek

Identifiers

dc:identifier.*
Identifier
uoadl:3463272

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Καραγιάννης Ευάγγελος-Εμμανουήλ; Karagiannis Evangelos-Emmanouil. Evaluating the capabilities of LLMs in geospatial question answering and geospatial reasoning. 2025. https://pergamos.lib.uoa.gr/uoa/dl/object/3463272