National and Kapodistrian University of Athens
Evaluating the Spatial Reasoning Capabilities of Open Weight LLMs
Abstract
dc:descriptionΟ χωρικός συλλογισμός αποτελεί ένα σημαντικό στοιχείο του κοινού λογικού συλλογισμού, το οποίο αποτελεί αναπόσπαστο μέρος ενός επιτυχημένου ευφυούς συστήματος. Σε αυτή τη μελέτη, θα ερευνήσουμε τη συμπεριφορά ορισμένων μεγάλων γλωσσικών μοντέλων ανοιχτού βάρους (Open-Weights LLMs), δοκιμάζοντας τις ικανότητες χωρικής συλλογιστικής τους. Η ανάλυση αποτελείται από τρεις βασικές κατηγορίες της χωρικής συλλογιστικής, κάθε μία από τις οποίες περιλαμβάνει έναν διαφορετικό τρόπο δοκιμής των ικανοτήτων τους. Στο πρώτο μέρος, διερευνούμε τις ικανότητες των LLMs να κατανοούν ερωτήματα που αφορούν τις κατευθύνσεις (Directional Relations), προσπαθώντας πρώτα να παρέχουμε μια θεωρητική ανάλυση και μοντελοποίηση αυτών. Πιο συγκεκριμένα, για τα πειράματα, έχουμε χρησιμοποιήσει δύο σύνολα δεδομένων, τα οποία αποτελούνται από ερωτήσεις, με τις οποίες προσπαθούμε να προσδιορίσουμε το επίπεδο κατανόησης των μοντέλων ως προς τις κατευθύνσεις. Επιπλέον, συγκρίνουμε τους Πίνακες μεταβατικότητας (Transitivity Tables) που δημιουργήθηκαν από τα μοντέλα με τους πραγματικούς. Στο δεύτερο μέρος, διερευνούμε την ικανότητα των LLMs να συλλογίζονται για Τοπολογικές Συσχετίσεις (Topological Relations), χρησιμοποιώντας τη μεθοδολογία RCC-8. Έχουμε υλοποιήσει 4 διαφορετικά πειράματα, καθένα από τα οποία έχει ένα διαφορετικό σύνολο ερωτήσεων, τα οποία δοκιμάζουν μια διαφορετική πτυχή αυτού του θέματος. Τέλος, δημιουργήσαμε ένα σύνολο δεδομένων με ερωτήσεις, προκειμένου να ελέγξουμε την ικανότητα συλλογισμού, σχετικά με τις Συσχετίσεις Αποστάσεων (Distance Relations), μια ιδιαίτερη πτυχή του Χωρικού Συλλογισμού.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Γαρδελάκος Ειρηναίος-Οδυσσέας
- Gardelakos Eirinaios-Odysseas
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:3481508