Back to search

National and Kapodistrian University of Athens

Evaluating the Spatial Reasoning Capabilities of Open Weight LLMs

Abstract

dc:description

Ο χωρικός συλλογισμός αποτελεί ένα σημαντικό στοιχείο του κοινού λογικού συλλογισμού, το οποίο αποτελεί αναπόσπαστο μέρος ενός επιτυχημένου ευφυούς συστήματος. Σε αυτή τη μελέτη, θα ερευνήσουμε τη συμπεριφορά ορισμένων μεγάλων γλωσσικών μοντέλων ανοιχτού βάρους (Open-Weights LLMs), δοκιμάζοντας τις ικανότητες χωρικής συλλογιστικής τους. Η ανάλυση αποτελείται από τρεις βασικές κατηγορίες της χωρικής συλλογιστικής, κάθε μία από τις οποίες περιλαμβάνει έναν διαφορετικό τρόπο δοκιμής των ικανοτήτων τους. Στο πρώτο μέρος, διερευνούμε τις ικανότητες των LLMs να κατανοούν ερωτήματα που αφορούν τις κατευθύνσεις (Directional Relations), προσπαθώντας πρώτα να παρέχουμε μια θεωρητική ανάλυση και μοντελοποίηση αυτών. Πιο συγκεκριμένα, για τα πειράματα, έχουμε χρησιμοποιήσει δύο σύνολα δεδομένων, τα οποία αποτελούνται από ερωτήσεις, με τις οποίες προσπαθούμε να προσδιορίσουμε το επίπεδο κατανόησης των μοντέλων ως προς τις κατευθύνσεις. Επιπλέον, συγκρίνουμε τους Πίνακες μεταβατικότητας (Transitivity Tables) που δημιουργήθηκαν από τα μοντέλα με τους πραγματικούς. Στο δεύτερο μέρος, διερευνούμε την ικανότητα των LLMs να συλλογίζονται για Τοπολογικές Συσχετίσεις (Topological Relations), χρησιμοποιώντας τη μεθοδολογία RCC-8. Έχουμε υλοποιήσει 4 διαφορετικά πειράματα, καθένα από τα οποία έχει ένα διαφορετικό σύνολο ερωτήσεων, τα οποία δοκιμάζουν μια διαφορετική πτυχή αυτού του θέματος. Τέλος, δημιουργήσαμε ένα σύνολο δεδομένων με ερωτήσεις, προκειμένου να ελέγξουμε την ικανότητα συλλογισμού, σχετικά με τις Συσχετίσεις Αποστάσεων (Distance Relations), μια ιδιαίτερη πτυχή του Χωρικού Συλλογισμού.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Γαρδελάκος Ειρηναίος-Οδυσσέας
  • Gardelakos Eirinaios-Odysseas

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:3481508

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Γαρδελάκος Ειρηναίος-Οδυσσέας; Gardelakos Eirinaios-Odysseas. Evaluating the Spatial Reasoning Capabilities of Open Weight LLMs. 2025. https://pergamos.lib.uoa.gr/uoa/dl/object/3481508