Back to search

National and Kapodistrian University of Athens

Evaluating Spatial Reasoning Capabilities of LRMs Using the RCC-8 Calculus

Abstract

dc:description

Η Ποιοτική Χωρική Συλλογιστική (Qualitative Spatial Reasoning – QSR) αποτελεί βασικό συστατικό της συλλογιστικής κοινής λογικής, επιτρέποντας στα συστήματα να αναπαριστούν και να συμπεραίνουν χωρικές σχέσεις με τρόπο παρόμοιο με αυτόν του ανθρώπου. Παρότι πρόσφατες μελέτες έχουν διερευνήσει τις ικανότητες χωρικής συλλογιστικής των μεγάλων γλωσσικών μοντέλων (Large Language Models – LLMs), έχει δοθεί λιγότερη προσοχή στις δυνατότητες των Μεγάλων Μοντέλων Συλλογιστικής (Large Reasoning Models – LRMs) για το ίδιο έργο. Στην παρούσα μελέτη, εξετάζουμε τις ικανότητες συλλογιστικής των LRMs σε εργασίες ποιοτικής χωρικής συλλογιστικής, καθώς και την αναπαραγωγιμότητα των απαντήσεων που παρέχουν. Ως θεωρητικό πλαίσιο χρησιμοποιούμε το λογισμό RCC-8 και διεξάγουμε πειράματα με 7 μεγάλα μοντέλα συλλογιστικής: τα OpenAI o1, o3 και o4-mini, το deepseek-r1, το grok-3-mini, το claude-3.7-sonnet με εκτεταμένη λειτουργία συλλογισμού, και το gemini-2.5-flash. Πραγματοποιούμε δύο πειράματα. Στο πρώτο, ελέγχουμε τον βαθμό στον οποίο τα LRMs μπορούν να ανασυνθέσουν τον Πίνακα Σύνθεσης (Composition Table) του λογισμού RCC-8, παρέχοντας πλήρες πλαίσιο σχετικά με τον λογισμό και το πρόβλημα. Το πείραμα εκτελείται με τις προεπιλεγμένες παραμέτρους, αλλά και με καθορισμένη τιμή «seed» όπου αυτό είναι εφικτό, προκειμένου να μελετηθεί η αναπαραγωγιμότητα των αποτελεσμάτων. Στο δεύτερο πείραμα, επαναλαμβάνουμε τη διαδικασία χωρίς να παρέχουμε καμία πληροφορία για τον λογισμό RCC-8 και με όλες τις ονομασίες των σχέσεων καλυμμένες. Το καλύτερο αποτέλεσμα επιτυγχάνεται από το μοντέλο o3 της OpenAI, το οποίο σημείωσε την υψηλότερη επίδοση σε όλα τα πειράματα. Αντίθετα, τα μοντέλα με τη χειρότερη απόδοση είναι το gemini-2.5-flash στο πείραμα με πλήρες πλαίσιο και το claude-3.7-sonnet στο ανώνυμο πείραμα.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Κυριακόπουλος Βασίλειος
  • Kyriakopoulos Vasileios

Subjects

dc:subject × 2

Rights

Language dc:language
Ελληνικά, English, Greek

Identifiers

dc:identifier.*
Identifier
uoadl:5324880

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Κυριακόπουλος Βασίλειος; Kyriakopoulos Vasileios. Evaluating Spatial Reasoning Capabilities of LRMs Using the RCC-8 Calculus. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5324880