Back to search

National and Kapodistrian University of Athens

Modeling Multispectral and SAR Imagery in Geospatial Location Representations Through Multimodal Contrastive Learning

Abstract

dc:description

Η ανάγκη παρατήρησης της Γης έχει διαχρονικά συμβάλει στην ενίσχυση της κατανόησής μας για το σύστημα στο οποίο ζούμε, αξιοποιώντας παρατηρήσεις για την παρακολούθηση και την πρόβλεψη συγκεκριμένων πτυχών της συμπεριφοράς του. Τα τελευταία χρόνια, η συνεχώς αυξανόμενη διαθεσιμότητα γεωχωρικών δεδομένων μάς έχει εξοπλίσει με τεράστιο όγκο πληροφοριών, ακόμη και σε πραγματικό χρόνο. Ωστόσο, δεν έχουμε ακόμη αξιοποιήσει πλήρως τα οφέλη αυτής της πληθώρας δεδομένων, κυρίως λόγω υπολογιστικών περιορισμών που προκύπτουν από την εξαιρετικά υψηλή διαστατικότητά τους. Για την αντιμετώπιση αυτής της πρόκλησης, πρόσφατη βιβλιογραφία προτείνει την κωδικοποίηση αυτής της πληροφορίας σε χαμηλής διάστασης αναπαραστάσεις γεωγραφικής τοποθεσίας, οι οποίες αποτυπώνουν ουσιαστικά χωρικά πρότυπα, διατηρώντας παράλληλα την υπολογιστική αποδοτικότητα. Οι αναπαραστάσεις αυτές επιτρέπουν την πιο αποτελεσματική επεξεργασία και σύγκριση γεωχωρικών δεδομένων μεγάλης κλίμακας σε διαφορετικά προβλήματα. Ωστόσο, τα σύγχρονα μοντέλα γεωχωρικής αναπαράστασης βασίζονται συνήθως σε μία μόνο πηγή πληροφορίας, όπως η οπτική δορυφορική απεικόνιση, γεγονός που περιορίζει την ικανότητά τους να αποτυπώσουν το πλήρες πλαίσιο μιας περιοχής ενδιαφέροντος. Η παρούσα διπλωματική εργασία διερευνά κατά πόσο οι αναπαραστάσεις γεωγραφικών τοποθεσιών μπορούν να ωφεληθούν από την ενσωμάτωση πολλαπλών πηγών γεωχωρικής πληροφορίας χωρίς την επανεκπαίδευση των θεμελιωδών μοντέλων. Συγκεκριμένα, εξετάζουμε ένα post-hoc multimodal alignment framework, το οποίο συνδυάζει προεκπαιδευμένες αναπαραστάσεις από το SatCLIP, έναν σύγχρονο κωδικοποιητή γεωγραφικών τοποθεσιών, με αναπαραστάσεις που εξάγονται από οπτικές δορυφορικές εικόνες και εικόνες δορυφορικού ραντάρ συνθετικού ανοίγματος (Synthetic Aperture Radar – SAR). Στόχος είναι να διερευνηθεί εάν η ευθυγράμμιση αυτών των συμπληρωματικών τύπων δεδομένων σε έναν κοινό διανυσματικό χώρο μπορεί να βελτιώσει την αναπαράσταση γεωγραφικών τοποθεσιών και να ενισχύσει την απόδοση σε μεταγενέστερες εργασίες (downstream tasks). Για την επίτευξη αυτού του στόχου, εικόνες από τους δορυφόρους Sentinel-1, Sentinel-2 και τον συνδυασμό τους κωδικοποιούνται αρχικά χρησιμοποιώντας παγωμένα προεκπαιδευμένα μοντέλα ResNet-18. Οι γεωγραφικές συντεταγμένες που αντιστοιχούν στις συγκεκριμένες δορυφορικές εικόνες κωδικοποιούνται μέσω του παγωμένου κωδικοποιητή τοποθεσίας του SatCLIP. Στη συνέχεια, εκπαιδεύονται ελαφριά νευρωνικά δίκτυα (Multilayer Perceptrons – MLPs) ώστε να ευθυγραμμίσουν τις αναπαραστάσεις εικόνας και τοποθεσίας μέσω multimodal contrastive learning, ενθαρρύνοντας τις αναπαραστάσεις που σχετίζονται με την ίδια γεωγραφική περιοχή να γίνουν παρόμοιες, ενώ παράλληλα διαχωρίζονται από εκείνες που αντιστοιχούν σε άσχετες τοποθεσίες. Οι προκύπτουσες ευθυγραμμισμένες αναπαραστάσεις αξιολογούνται μέσω γραμμικής διερεύνησης (linear probing) σε διάφορα προβλήματα ταξινόμησης οικοσυστημάτων από το σύνολο δεδομένων BigEarthNet. Τα πειραματικά αποτελέσματα δείχνουν ότι η ευθυγράμμιση πολλαπλών αναπαραστάσεων δορυφορικών εικόνων με προεκπαιδευμένες αναπαραστάσεις τοποθεσίας από το SatCLIP οδηγεί σε βελτιωμένη απόδοση, επιτυγχάνοντας μέση αύξηση 1,7% στο macro F1-score στα αξιολογούμενα προβλήματα ταξινόμησης.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • ΧΡΙΣΤΟΦΗΣ ΔΗΜΗΤΡΙΟΣ
  • CHRISTOFIS DIMITRIOS

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5416070

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

ΧΡΙΣΤΟΦΗΣ ΔΗΜΗΤΡΙΟΣ; CHRISTOFIS DIMITRIOS. Modeling Multispectral and SAR Imagery in Geospatial Location Representations Through Multimodal Contrastive Learning. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5416070