{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5324880"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5324880","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Evaluating Spatial Reasoning Capabilities of LRMs Using the RCC-8 Calculus","abstract":"Η Ποιοτική Χωρική Συλλογιστική (Qualitative Spatial Reasoning – QSR) αποτελεί βασικό συστατικό της συλλογιστικής κοινής λογικής, επιτρέποντας στα συστήματα να αναπαριστούν και να συμπεραίνουν χωρικές σχέσεις με τρόπο παρόμοιο με αυτόν του ανθρώπου. Παρότι πρόσφατες μελέτες έχουν διερευνήσει τις ικανότητες χωρικής συλλογιστικής των μεγάλων γλωσσικών μοντέλων (Large Language Models – LLMs), έχει δοθεί λιγότερη προσοχή στις δυνατότητες των Μεγάλων Μοντέλων Συλλογιστικής (Large Reasoning Models – LRMs) για το ίδιο έργο. Στην παρούσα μελέτη, εξετάζουμε τις ικανότητες συλλογιστικής των LRMs σε εργασίες ποιοτικής χωρικής συλλογιστικής, καθώς και την αναπαραγωγιμότητα των απαντήσεων που παρέχουν. Ως θεωρητικό πλαίσιο χρησιμοποιούμε το λογισμό RCC-8 και διεξάγουμε πειράματα με 7 μεγάλα μοντέλα συλλογιστικής: τα OpenAI o1, o3 και o4-mini, το deepseek-r1, το grok-3-mini, το claude-3.7-sonnet με εκτεταμένη λειτουργία συλλογισμού, και το gemini-2.5-flash. Πραγματοποιούμε δύο πειράματα. Στο πρώτο, ελέγχουμε τον βαθμό στον οποίο τα LRMs μπορούν να ανασυνθέσουν τον Πίνακα Σύνθεσης (Composition Table) του λογισμού RCC-8, παρέχοντας πλήρες πλαίσιο σχετικά με τον λογισμό και το πρόβλημα. Το πείραμα εκτελείται με τις προεπιλεγμένες παραμέτρους, αλλά και με καθορισμένη τιμή «seed» όπου αυτό είναι εφικτό, προκειμένου να μελετηθεί η αναπαραγωγιμότητα των αποτελεσμάτων. Στο δεύτερο πείραμα, επαναλαμβάνουμε τη διαδικασία χωρίς να παρέχουμε καμία πληροφορία για τον λογισμό RCC-8 και με όλες τις ονομασίες των σχέσεων καλυμμένες. Το καλύτερο αποτέλεσμα επιτυγχάνεται από το μοντέλο o3 της OpenAI, το οποίο σημείωσε την υψηλότερη επίδοση σε όλα τα πειράματα. Αντίθετα, τα μοντέλα με τη χειρότερη απόδοση είναι το gemini-2.5-flash στο πείραμα με πλήρες πλαίσιο και το claude-3.7-sonnet στο ανώνυμο πείραμα.","abstract_html":"Η Ποιοτική Χωρική Συλλογιστική (Qualitative Spatial Reasoning – QSR) αποτελεί βασικό συστατικό της συλλογιστικής κοινής λογικής, επιτρέποντας στα συστήματα να αναπαριστούν και να συμπεραίνουν χωρικές σχέσεις με τρόπο παρόμοιο με αυτόν του ανθρώπου. Παρότι πρόσφατες μελέτες έχουν διερευνήσει τις ικανότητες χωρικής συλλογιστικής των μεγάλων γλωσσικών μοντέλων (Large Language Models – LLMs), έχει δοθεί λιγότερη προσοχή στις δυνατότητες των Μεγάλων Μοντέλων Συλλογιστικής (Large Reasoning Models – LRMs) για το ίδιο έργο. Στην παρούσα μελέτη, εξετάζουμε τις ικανότητες συλλογιστικής των LRMs σε εργασίες ποιοτικής χωρικής συλλογιστικής, καθώς και την αναπαραγωγιμότητα των απαντήσεων που παρέχουν. Ως θεωρητικό πλαίσιο χρησιμοποιούμε το λογισμό RCC-8 και διεξάγουμε πειράματα με 7 μεγάλα μοντέλα συλλογιστικής: τα OpenAI o1, o3 και o4-mini, το deepseek-r1, το grok-3-mini, το claude-3.7-sonnet με εκτεταμένη λειτουργία συλλογισμού, και το gemini-2.5-flash. Πραγματοποιούμε δύο πειράματα. Στο πρώτο, ελέγχουμε τον βαθμό στον οποίο τα LRMs μπορούν να ανασυνθέσουν τον Πίνακα Σύνθεσης (Composition Table) του λογισμού RCC-8, παρέχοντας πλήρες πλαίσιο σχετικά με τον λογισμό και το πρόβλημα. Το πείραμα εκτελείται με τις προεπιλεγμένες παραμέτρους, αλλά και με καθορισμένη τιμή «seed» όπου αυτό είναι εφικτό, προκειμένου να μελετηθεί η αναπαραγωγιμότητα των αποτελεσμάτων. Στο δεύτερο πείραμα, επαναλαμβάνουμε τη διαδικασία χωρίς να παρέχουμε καμία πληροφορία για τον λογισμό RCC-8 και με όλες τις ονομασίες των σχέσεων καλυμμένες. Το καλύτερο αποτέλεσμα επιτυγχάνεται από το μοντέλο o3 της OpenAI, το οποίο σημείωσε την υψηλότερη επίδοση σε όλα τα πειράματα. Αντίθετα, τα μοντέλα με τη χειρότερη απόδοση είναι το gemini-2.5-flash στο πείραμα με πλήρες πλαίσιο και το claude-3.7-sonnet στο ανώνυμο πείραμα.","abstract_has_math":false,"creators":["Κυριακόπουλος Βασίλειος","Kyriakopoulos Vasileios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:17:45Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5324880"],"render_values":[{"text":"uoadl:5324880","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5324880","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5324880","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5324880","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Κυριακόπουλος Βασίλειος","Kyriakopoulos Vasileios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5324880","https://pergamos.lib.uoa.gr/uoa/dl/object/5324880"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η Ποιοτική Χωρική Συλλογιστική (Qualitative Spatial Reasoning – QSR) αποτελεί βασικό συστατικό της συλλογιστικής κοινής λογικής, επιτρέποντας στα συστήματα να αναπαριστούν και να συμπεραίνουν χωρικές σχέσεις με τρόπο παρόμοιο με αυτόν του ανθρώπου. Παρότι πρόσφατες μελέτες έχουν διερευνήσει τις ικανότητες χωρικής συλλογιστικής των μεγάλων γλωσσικών μοντέλων (Large Language Models – LLMs), έχει δοθεί λιγότερη προσοχή στις δυνατότητες των Μεγάλων Μοντέλων Συλλογιστικής (Large Reasoning Models – LRMs) για το ίδιο έργο. Στην παρούσα μελέτη, εξετάζουμε τις ικανότητες συλλογιστικής των LRMs σε εργασίες ποιοτικής χωρικής συλλογιστικής, καθώς και την αναπαραγωγιμότητα των απαντήσεων που παρέχουν. Ως θεωρητικό πλαίσιο χρησιμοποιούμε το λογισμό RCC-8 και διεξάγουμε πειράματα με 7 μεγάλα μοντέλα συλλογιστικής: τα OpenAI o1, o3 και o4-mini, το deepseek-r1, το grok-3-mini, το claude-3.7-sonnet με εκτεταμένη λειτουργία συλλογισμού, και το gemini-2.5-flash. Πραγματοποιούμε δύο πειράματα. Στο πρώτο, ελέγχουμε τον βαθμό στον οποίο τα LRMs μπορούν να ανασυνθέσουν τον Πίνακα Σύνθεσης (Composition Table) του λογισμού RCC-8, παρέχοντας πλήρες πλαίσιο σχετικά με τον λογισμό και το πρόβλημα. Το πείραμα εκτελείται με τις προεπιλεγμένες παραμέτρους, αλλά και με καθορισμένη τιμή «seed» όπου αυτό είναι εφικτό, προκειμένου να μελετηθεί η αναπαραγωγιμότητα των αποτελεσμάτων. Στο δεύτερο πείραμα, επαναλαμβάνουμε τη διαδικασία χωρίς να παρέχουμε καμία πληροφορία για τον λογισμό RCC-8 και με όλες τις ονομασίες των σχέσεων καλυμμένες. Το καλύτερο αποτέλεσμα επιτυγχάνεται από το μοντέλο o3 της OpenAI, το οποίο σημείωσε την υψηλότερη επίδοση σε όλα τα πειράματα. Αντίθετα, τα μοντέλα με τη χειρότερη απόδοση είναι το gemini-2.5-flash στο πείραμα με πλήρες πλαίσιο και το claude-3.7-sonnet στο ανώνυμο πείραμα.","Qualitative Spatial Reasoning (QSR) is a key component of commonsense reasoning, enabling systems to represent and infer spatial relationships in a human-like manner. While recent work has explored the spatial reasoning abilities of large language models (LLMs), less attention has been given to the potential of Large Reasoning Models (LRMs) for this task. In this study, we investigate the reasoning capabilities of LRMs on qualitative spatial reasoning tasks and also study the reproducibility of the answers given by the LRMs. We use the RCC-8 calculus as our framework and 7 large reasoning models (OpenAI models o1, o3, and o4-mini, deepseek-r1, grok-3-mini, claude-3.7-sonnet with extended thinking mode and gemini-2.5-flash) for our experiments. We perform 2 experiments. In the first one we test how well the LRMs reconstruct the Composition Table of the RCC-8 calculus by giving full context about the RCC-8 calculus and the problem. We run this experiment with default parameters and also with fixed seed parameter wherever applicable in order to study the reproducibility of the results. In the second experiment, we do the same as in the previous one, but without giving any context about the RCC-8 calculus and also with all the relationship names disquised. The best performing model is OpenAI's o3 which had the best score in all experiments, and the worst models are gemini-2.5-flash which had the worst score on the full-context experiment and claude-3.7-sonnet which had the worst score in the anonymized experiment."]},{"key":"dc:title","label":"Title","values":["Evaluating Spatial Reasoning Capabilities of LRMs Using the RCC-8 Calculus"]}]}],"canonical_facts":{"dc:creator":["Κυριακόπουλος Βασίλειος","Kyriakopoulos Vasileios"],"dc:date":["2026"],"dc:description":["Η Ποιοτική Χωρική Συλλογιστική (Qualitative Spatial Reasoning – QSR) αποτελεί βασικό συστατικό της συλλογιστικής κοινής λογικής, επιτρέποντας στα συστήματα να αναπαριστούν και να συμπεραίνουν χωρικές σχέσεις με τρόπο παρόμοιο με αυτόν του ανθρώπου. Παρότι πρόσφατες μελέτες έχουν διερευνήσει τις ικανότητες χωρικής συλλογιστικής των μεγάλων γλωσσικών μοντέλων (Large Language Models – LLMs), έχει δοθεί λιγότερη προσοχή στις δυνατότητες των Μεγάλων Μοντέλων Συλλογιστικής (Large Reasoning Models – LRMs) για το ίδιο έργο. Στην παρούσα μελέτη, εξετάζουμε τις ικανότητες συλλογιστικής των LRMs σε εργασίες ποιοτικής χωρικής συλλογιστικής, καθώς και την αναπαραγωγιμότητα των απαντήσεων που παρέχουν. Ως θεωρητικό πλαίσιο χρησιμοποιούμε το λογισμό RCC-8 και διεξάγουμε πειράματα με 7 μεγάλα μοντέλα συλλογιστικής: τα OpenAI o1, o3 και o4-mini, το deepseek-r1, το grok-3-mini, το claude-3.7-sonnet με εκτεταμένη λειτουργία συλλογισμού, και το gemini-2.5-flash. Πραγματοποιούμε δύο πειράματα. Στο πρώτο, ελέγχουμε τον βαθμό στον οποίο τα LRMs μπορούν να ανασυνθέσουν τον Πίνακα Σύνθεσης (Composition Table) του λογισμού RCC-8, παρέχοντας πλήρες πλαίσιο σχετικά με τον λογισμό και το πρόβλημα. Το πείραμα εκτελείται με τις προεπιλεγμένες παραμέτρους, αλλά και με καθορισμένη τιμή «seed» όπου αυτό είναι εφικτό, προκειμένου να μελετηθεί η αναπαραγωγιμότητα των αποτελεσμάτων. Στο δεύτερο πείραμα, επαναλαμβάνουμε τη διαδικασία χωρίς να παρέχουμε καμία πληροφορία για τον λογισμό RCC-8 και με όλες τις ονομασίες των σχέσεων καλυμμένες. Το καλύτερο αποτέλεσμα επιτυγχάνεται από το μοντέλο o3 της OpenAI, το οποίο σημείωσε την υψηλότερη επίδοση σε όλα τα πειράματα. Αντίθετα, τα μοντέλα με τη χειρότερη απόδοση είναι το gemini-2.5-flash στο πείραμα με πλήρες πλαίσιο και το claude-3.7-sonnet στο ανώνυμο πείραμα.","Qualitative Spatial Reasoning (QSR) is a key component of commonsense reasoning, enabling systems to represent and infer spatial relationships in a human-like manner. While recent work has explored the spatial reasoning abilities of large language models (LLMs), less attention has been given to the potential of Large Reasoning Models (LRMs) for this task. In this study, we investigate the reasoning capabilities of LRMs on qualitative spatial reasoning tasks and also study the reproducibility of the answers given by the LRMs. We use the RCC-8 calculus as our framework and 7 large reasoning models (OpenAI models o1, o3, and o4-mini, deepseek-r1, grok-3-mini, claude-3.7-sonnet with extended thinking mode and gemini-2.5-flash) for our experiments. We perform 2 experiments. In the first one we test how well the LRMs reconstruct the Composition Table of the RCC-8 calculus by giving full context about the RCC-8 calculus and the problem. We run this experiment with default parameters and also with fixed seed parameter wherever applicable in order to study the reproducibility of the results. In the second experiment, we do the same as in the previous one, but without giving any context about the RCC-8 calculus and also with all the relationship names disquised. The best performing model is OpenAI's o3 which had the best score in all experiments, and the worst models are gemini-2.5-flash which had the worst score on the full-context experiment and claude-3.7-sonnet which had the worst score in the anonymized experiment."],"dc:identifier":["uoadl:5324880","https://pergamos.lib.uoa.gr/uoa/dl/object/5324880"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Evaluating Spatial Reasoning Capabilities of LRMs Using the RCC-8 Calculus"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:17:45Z"}