{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3481508"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3481508","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Evaluating the Spatial Reasoning Capabilities of Open Weight LLMs","abstract":"Ο χωρικός συλλογισμός αποτελεί ένα σημαντικό στοιχείο του κοινού λογικού συλλογισμού, το οποίο αποτελεί αναπόσπαστο μέρος ενός επιτυχημένου ευφυούς συστήματος. Σε αυτή τη μελέτη, θα ερευνήσουμε τη συμπεριφορά ορισμένων μεγάλων γλωσσικών μοντέλων ανοιχτού βάρους (Open-Weights LLMs), δοκιμάζοντας τις ικανότητες χωρικής συλλογιστικής τους. Η ανάλυση αποτελείται από τρεις βασικές κατηγορίες της χωρικής συλλογιστικής, κάθε μία από τις οποίες περιλαμβάνει έναν διαφορετικό τρόπο δοκιμής των ικανοτήτων τους. Στο πρώτο μέρος, διερευνούμε τις ικανότητες των LLMs να κατανοούν ερωτήματα που αφορούν τις κατευθύνσεις (Directional Relations), προσπαθώντας πρώτα να παρέχουμε μια θεωρητική ανάλυση και μοντελοποίηση αυτών. Πιο συγκεκριμένα, για τα πειράματα, έχουμε χρησιμοποιήσει δύο σύνολα δεδομένων, τα οποία αποτελούνται από ερωτήσεις, με τις οποίες προσπαθούμε να προσδιορίσουμε το επίπεδο κατανόησης των μοντέλων ως προς τις κατευθύνσεις. Επιπλέον, συγκρίνουμε τους Πίνακες μεταβατικότητας (Transitivity Tables) που δημιουργήθηκαν από τα μοντέλα με τους πραγματικούς. Στο δεύτερο μέρος, διερευνούμε την ικανότητα των LLMs να συλλογίζονται για Τοπολογικές Συσχετίσεις (Topological Relations), χρησιμοποιώντας τη μεθοδολογία RCC-8. Έχουμε υλοποιήσει 4 διαφορετικά πειράματα, καθένα από τα οποία έχει ένα διαφορετικό σύνολο ερωτήσεων, τα οποία δοκιμάζουν μια διαφορετική πτυχή αυτού του θέματος. Τέλος, δημιουργήσαμε ένα σύνολο δεδομένων με ερωτήσεις, προκειμένου να ελέγξουμε την ικανότητα συλλογισμού, σχετικά με τις Συσχετίσεις Αποστάσεων (Distance Relations), μια ιδιαίτερη πτυχή του Χωρικού Συλλογισμού.","abstract_html":"Ο χωρικός συλλογισμός αποτελεί ένα σημαντικό στοιχείο του κοινού λογικού συλλογισμού, το οποίο αποτελεί αναπόσπαστο μέρος ενός επιτυχημένου ευφυούς συστήματος. Σε αυτή τη μελέτη, θα ερευνήσουμε τη συμπεριφορά ορισμένων μεγάλων γλωσσικών μοντέλων ανοιχτού βάρους (Open-Weights LLMs), δοκιμάζοντας τις ικανότητες χωρικής συλλογιστικής τους. Η ανάλυση αποτελείται από τρεις βασικές κατηγορίες της χωρικής συλλογιστικής, κάθε μία από τις οποίες περιλαμβάνει έναν διαφορετικό τρόπο δοκιμής των ικανοτήτων τους. Στο πρώτο μέρος, διερευνούμε τις ικανότητες των LLMs να κατανοούν ερωτήματα που αφορούν τις κατευθύνσεις (Directional Relations), προσπαθώντας πρώτα να παρέχουμε μια θεωρητική ανάλυση και μοντελοποίηση αυτών. Πιο συγκεκριμένα, για τα πειράματα, έχουμε χρησιμοποιήσει δύο σύνολα δεδομένων, τα οποία αποτελούνται από ερωτήσεις, με τις οποίες προσπαθούμε να προσδιορίσουμε το επίπεδο κατανόησης των μοντέλων ως προς τις κατευθύνσεις. Επιπλέον, συγκρίνουμε τους Πίνακες μεταβατικότητας (Transitivity Tables) που δημιουργήθηκαν από τα μοντέλα με τους πραγματικούς. Στο δεύτερο μέρος, διερευνούμε την ικανότητα των LLMs να συλλογίζονται για Τοπολογικές Συσχετίσεις (Topological Relations), χρησιμοποιώντας τη μεθοδολογία RCC-8. Έχουμε υλοποιήσει 4 διαφορετικά πειράματα, καθένα από τα οποία έχει ένα διαφορετικό σύνολο ερωτήσεων, τα οποία δοκιμάζουν μια διαφορετική πτυχή αυτού του θέματος. Τέλος, δημιουργήσαμε ένα σύνολο δεδομένων με ερωτήσεις, προκειμένου να ελέγξουμε την ικανότητα συλλογισμού, σχετικά με τις Συσχετίσεις Αποστάσεων (Distance Relations), μια ιδιαίτερη πτυχή του Χωρικού Συλλογισμού.","abstract_has_math":false,"creators":["Γαρδελάκος Ειρηναίος-Οδυσσέας","Gardelakos Eirinaios-Odysseas"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2025,"date_issued":"2025","date_published":"2025","updated_at":"2026-11-19T06:32:36Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3481508"],"render_values":[{"text":"uoadl:3481508","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3481508","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3481508","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3481508","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Γαρδελάκος Ειρηναίος-Οδυσσέας","Gardelakos Eirinaios-Odysseas"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2025"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3481508","https://pergamos.lib.uoa.gr/uoa/dl/object/3481508"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Ο χωρικός συλλογισμός αποτελεί ένα σημαντικό στοιχείο του κοινού λογικού συλλογισμού, το οποίο αποτελεί αναπόσπαστο μέρος ενός επιτυχημένου ευφυούς συστήματος. Σε αυτή τη μελέτη, θα ερευνήσουμε τη συμπεριφορά ορισμένων μεγάλων γλωσσικών μοντέλων ανοιχτού βάρους (Open-Weights LLMs), δοκιμάζοντας τις ικανότητες χωρικής συλλογιστικής τους. Η ανάλυση αποτελείται από τρεις βασικές κατηγορίες της χωρικής συλλογιστικής, κάθε μία από τις οποίες περιλαμβάνει έναν διαφορετικό τρόπο δοκιμής των ικανοτήτων τους. Στο πρώτο μέρος, διερευνούμε τις ικανότητες των LLMs να κατανοούν ερωτήματα που αφορούν τις κατευθύνσεις (Directional Relations), προσπαθώντας πρώτα να παρέχουμε μια θεωρητική ανάλυση και μοντελοποίηση αυτών. Πιο συγκεκριμένα, για τα πειράματα, έχουμε χρησιμοποιήσει δύο σύνολα δεδομένων, τα οποία αποτελούνται από ερωτήσεις, με τις οποίες προσπαθούμε να προσδιορίσουμε το επίπεδο κατανόησης των μοντέλων ως προς τις κατευθύνσεις. Επιπλέον, συγκρίνουμε τους Πίνακες μεταβατικότητας (Transitivity Tables) που δημιουργήθηκαν από τα μοντέλα με τους πραγματικούς. Στο δεύτερο μέρος, διερευνούμε την ικανότητα των LLMs να συλλογίζονται για Τοπολογικές Συσχετίσεις (Topological Relations), χρησιμοποιώντας τη μεθοδολογία RCC-8. Έχουμε υλοποιήσει 4 διαφορετικά πειράματα, καθένα από τα οποία έχει ένα διαφορετικό σύνολο ερωτήσεων, τα οποία δοκιμάζουν μια διαφορετική πτυχή αυτού του θέματος. Τέλος, δημιουργήσαμε ένα σύνολο δεδομένων με ερωτήσεις, προκειμένου να ελέγξουμε την ικανότητα συλλογισμού, σχετικά με τις Συσχετίσεις Αποστάσεων (Distance Relations), μια ιδιαίτερη πτυχή του Χωρικού Συλλογισμού.","Qualitative Spatial Reasoning is an important part of the commonsense reasoning, which is a crucial part of a successful intelligent system. In this study, we will investigate the behavior of some Open-Weights Large Language models, by testing their spatial reasoning capabilities. The analysis consists of three main aspects of spatial reasoning, each containing a different testing methodology. In the first part, we are investigating the capabilities of LLMs to understand questions regarding Cardinal Directions, by first trying to provide a modeling of Cardinal Directions. We have used two datasets of questions, which are trying to determine the level of understanding of Cardinal Directions. Moreover, we are comparing the Transitivity Tables created by the models and the actual. In the second part, we are investigating the ability of LLMs to reason about Topological Relation, using the RCC-8 methodology. We have implemented 4 different experiments, each one having a different set of questions, each one testing a different aspect of this topic. Finally, we have created a dataset of questions, in order to test the ability of reasoning Distance Relations, a peculiar aspect of Cardinal Directions."]},{"key":"dc:title","label":"Title","values":["Evaluating the Spatial Reasoning Capabilities of Open Weight LLMs"]}]}],"canonical_facts":{"dc:creator":["Γαρδελάκος Ειρηναίος-Οδυσσέας","Gardelakos Eirinaios-Odysseas"],"dc:date":["2025"],"dc:description":["Ο χωρικός συλλογισμός αποτελεί ένα σημαντικό στοιχείο του κοινού λογικού συλλογισμού, το οποίο αποτελεί αναπόσπαστο μέρος ενός επιτυχημένου ευφυούς συστήματος. Σε αυτή τη μελέτη, θα ερευνήσουμε τη συμπεριφορά ορισμένων μεγάλων γλωσσικών μοντέλων ανοιχτού βάρους (Open-Weights LLMs), δοκιμάζοντας τις ικανότητες χωρικής συλλογιστικής τους. Η ανάλυση αποτελείται από τρεις βασικές κατηγορίες της χωρικής συλλογιστικής, κάθε μία από τις οποίες περιλαμβάνει έναν διαφορετικό τρόπο δοκιμής των ικανοτήτων τους. Στο πρώτο μέρος, διερευνούμε τις ικανότητες των LLMs να κατανοούν ερωτήματα που αφορούν τις κατευθύνσεις (Directional Relations), προσπαθώντας πρώτα να παρέχουμε μια θεωρητική ανάλυση και μοντελοποίηση αυτών. Πιο συγκεκριμένα, για τα πειράματα, έχουμε χρησιμοποιήσει δύο σύνολα δεδομένων, τα οποία αποτελούνται από ερωτήσεις, με τις οποίες προσπαθούμε να προσδιορίσουμε το επίπεδο κατανόησης των μοντέλων ως προς τις κατευθύνσεις. Επιπλέον, συγκρίνουμε τους Πίνακες μεταβατικότητας (Transitivity Tables) που δημιουργήθηκαν από τα μοντέλα με τους πραγματικούς. Στο δεύτερο μέρος, διερευνούμε την ικανότητα των LLMs να συλλογίζονται για Τοπολογικές Συσχετίσεις (Topological Relations), χρησιμοποιώντας τη μεθοδολογία RCC-8. Έχουμε υλοποιήσει 4 διαφορετικά πειράματα, καθένα από τα οποία έχει ένα διαφορετικό σύνολο ερωτήσεων, τα οποία δοκιμάζουν μια διαφορετική πτυχή αυτού του θέματος. Τέλος, δημιουργήσαμε ένα σύνολο δεδομένων με ερωτήσεις, προκειμένου να ελέγξουμε την ικανότητα συλλογισμού, σχετικά με τις Συσχετίσεις Αποστάσεων (Distance Relations), μια ιδιαίτερη πτυχή του Χωρικού Συλλογισμού.","Qualitative Spatial Reasoning is an important part of the commonsense reasoning, which is a crucial part of a successful intelligent system. In this study, we will investigate the behavior of some Open-Weights Large Language models, by testing their spatial reasoning capabilities. The analysis consists of three main aspects of spatial reasoning, each containing a different testing methodology. In the first part, we are investigating the capabilities of LLMs to understand questions regarding Cardinal Directions, by first trying to provide a modeling of Cardinal Directions. We have used two datasets of questions, which are trying to determine the level of understanding of Cardinal Directions. Moreover, we are comparing the Transitivity Tables created by the models and the actual. In the second part, we are investigating the ability of LLMs to reason about Topological Relation, using the RCC-8 methodology. We have implemented 4 different experiments, each one having a different set of questions, each one testing a different aspect of this topic. Finally, we have created a dataset of questions, in order to test the ability of reasoning Distance Relations, a peculiar aspect of Cardinal Directions."],"dc:identifier":["uoadl:3481508","https://pergamos.lib.uoa.gr/uoa/dl/object/3481508"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Evaluating the Spatial Reasoning Capabilities of Open Weight LLMs"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:32:36Z"}