{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5322358"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5322358","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Σημασιολογική Επαύξηση Οπτικοακουστικών Αρχείων: Η περίπτωση των συμπληρωματικών σχέσεων","abstract":"Η παρούσα εργασία μελετά τη σημασιολογική συμπληρωματικότητα εικόνας και γλώσσας σε πολυμεσικά δεδομένα, και στοχεύει στην ανάπτυξη ενός υπολογιστικού μοντέλου για την αναγνώριση διαφορετικών τύπων συμπληρωματικότητας. Στο επίκεντρό της βρίσκεται το θεωρητικό πλαίσιο περιγραφής σημασιολογικών σχέσεων μεταξύ διαφορετικών τροπικοτήτων, COSMOROE. Το πλαίσιο αυτό ορίζει τρεις θεμελιώδεις σχέσεις: Την Ανεξαρτησία (Independence), την Ισοδυναμία (Equivalence) και την Συμπληρωματικότητα (Complementarity). Με την έρευνα αυτή εστιάζουμε στην τελευταία, με βασικό στόχο την αυτόματη ταξινόμηση παραδειγμάτων συμπληρωματικότητας σε 3 υποκατηγορίες της (Exophora, Agent-Object, Apposition). Για τις ανάγκες ανάλυσης αξιοποιούνται δύο σώματα πολυτροπικών δεδομένων επισημειωμένων με σημασιολογικές σχέσεις COSMOROE, απόρροια ανάλυσης διαφορετικών πολυμεσικών πηγών (γελοιογραφίες, ταξιδιωτικές τηλεοπτικές εκπομπές). Τα αρχεία αυτά περιέχουν επισημειωμένη πληροφορία δύο ειδών, α) στοιχεία που αφορούν τα χρονικά όρια και τον τύπο των διαφορετικών τροπικοτήτων (π.χ. γλώσσα, χειρονομίες, εικόνα) και β) στοιχεία που αναφέρονται στις σχέσεις COSMOROE. Τα δεδομένα έτυχαν επεξεργασίας με γνώμονα αρχικά την απομόνωση των παραδειγμάτων συμπληρωματικότητας και έπειτα την ενσωμάτωσή τους σε ένα ενιαίο σετ εκπαίδευσης (training set) για μοντέλα μηχανικής μάθησης. Πραγματοποιήθηκε ακολούθως μία στατιστική ανάλυση του συνόλου εκπαίδευσης, προκειμένου να εντοπιστούν μοτίβα που διευκολύνουν τον εντοπισμό της κάθε σχέσης. Για την επιλογή του καταλληλότερου μοντέλου, ελήφθησαν υπόψιν το μέγεθος και η δομή του dataset, το είδος των διαθέσιμων δεδομένων καθώς και η ανάγκη σύγκρισης επιδόσεων μεταξύ διαφορετικών προσεγγίσεων. Στη συνέχεια, εκπαιδεύτηκαν μοντέλα πολλαπλής ταξινόμησης (multi-class classification), με κύριο ζητούμενο τη διάκριση ανάμεσα στις 3 περιπτώσεις συμπληρωματικότητας (Exophora, Agent-Object και Apposition). Σε δεύτερο χρόνο πραγματοποιήθηκε και δυαδική ταξινόμηση (binary classification) στο υποσύνολο της κάθε σχέσης, με στόχο τη διάκριση σε αναγκαία (essential) ή μη αναγκαία (non-essential) συμπληρωματικότητα. Μετά την εκπαίδευση, ακολούθησε μελέτη ablation προκειμένου να διαπιστωθούν οι παράγοντες με την μεγαλύτερη συμβολή ως προς τις επιτυχείς εκτιμήσεις του κάθε μοντέλου. Για την πολλαπλή ταξινόμηση και την κατηγοριοποίηση των παραδειγμάτων σε 3 σχέσεις συμπληρωματικότητας, τα αποτελέσματα ήταν καλύτερα συγκριτικά με την δυαδική ταξινόμηση που ακολούθησε για την διάκριση μεταξύ αναγκαίας και μη αναγκαίας συμπληρωματικότητας.","abstract_html":"Η παρούσα εργασία μελετά τη σημασιολογική συμπληρωματικότητα εικόνας και γλώσσας σε πολυμεσικά δεδομένα, και στοχεύει στην ανάπτυξη ενός υπολογιστικού μοντέλου για την αναγνώριση διαφορετικών τύπων συμπληρωματικότητας. Στο επίκεντρό της βρίσκεται το θεωρητικό πλαίσιο περιγραφής σημασιολογικών σχέσεων μεταξύ διαφορετικών τροπικοτήτων, COSMOROE. Το πλαίσιο αυτό ορίζει τρεις θεμελιώδεις σχέσεις: Την Ανεξαρτησία (Independence), την Ισοδυναμία (Equivalence) και την Συμπληρωματικότητα (Complementarity). Με την έρευνα αυτή εστιάζουμε στην τελευταία, με βασικό στόχο την αυτόματη ταξινόμηση παραδειγμάτων συμπληρωματικότητας σε 3 υποκατηγορίες της (Exophora, Agent-Object, Apposition). Για τις ανάγκες ανάλυσης αξιοποιούνται δύο σώματα πολυτροπικών δεδομένων επισημειωμένων με σημασιολογικές σχέσεις COSMOROE, απόρροια ανάλυσης διαφορετικών πολυμεσικών πηγών (γελοιογραφίες, ταξιδιωτικές τηλεοπτικές εκπομπές). Τα αρχεία αυτά περιέχουν επισημειωμένη πληροφορία δύο ειδών, α) στοιχεία που αφορούν τα χρονικά όρια και τον τύπο των διαφορετικών τροπικοτήτων (π.χ. γλώσσα, χειρονομίες, εικόνα) και β) στοιχεία που αναφέρονται στις σχέσεις COSMOROE. Τα δεδομένα έτυχαν επεξεργασίας με γνώμονα αρχικά την απομόνωση των παραδειγμάτων συμπληρωματικότητας και έπειτα την ενσωμάτωσή τους σε ένα ενιαίο σετ εκπαίδευσης (training set) για μοντέλα μηχανικής μάθησης. Πραγματοποιήθηκε ακολούθως μία στατιστική ανάλυση του συνόλου εκπαίδευσης, προκειμένου να εντοπιστούν μοτίβα που διευκολύνουν τον εντοπισμό της κάθε σχέσης. Για την επιλογή του καταλληλότερου μοντέλου, ελήφθησαν υπόψιν το μέγεθος και η δομή του dataset, το είδος των διαθέσιμων δεδομένων καθώς και η ανάγκη σύγκρισης επιδόσεων μεταξύ διαφορετικών προσεγγίσεων. Στη συνέχεια, εκπαιδεύτηκαν μοντέλα πολλαπλής ταξινόμησης (multi-class classification), με κύριο ζητούμενο τη διάκριση ανάμεσα στις 3 περιπτώσεις συμπληρωματικότητας (Exophora, Agent-Object και Apposition). Σε δεύτερο χρόνο πραγματοποιήθηκε και δυαδική ταξινόμηση (binary classification) στο υποσύνολο της κάθε σχέσης, με στόχο τη διάκριση σε αναγκαία (essential) ή μη αναγκαία (non-essential) συμπληρωματικότητα. Μετά την εκπαίδευση, ακολούθησε μελέτη ablation προκειμένου να διαπιστωθούν οι παράγοντες με την μεγαλύτερη συμβολή ως προς τις επιτυχείς εκτιμήσεις του κάθε μοντέλου. Για την πολλαπλή ταξινόμηση και την κατηγοριοποίηση των παραδειγμάτων σε 3 σχέσεις συμπληρωματικότητας, τα αποτελέσματα ήταν καλύτερα συγκριτικά με την δυαδική ταξινόμηση που ακολούθησε για την διάκριση μεταξύ αναγκαίας και μη αναγκαίας συμπληρωματικότητας.","abstract_has_math":false,"creators":["Καπερνάρος Ελευθέριος","Kapernaros Eleftherios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T06:41:36Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5322358"],"render_values":[{"text":"uoadl:5322358","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5322358","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5322358","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5322358","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Καπερνάρος Ελευθέριος","Kapernaros Eleftherios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5322358","https://pergamos.lib.uoa.gr/uoa/dl/object/5322358"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η παρούσα εργασία μελετά τη σημασιολογική συμπληρωματικότητα εικόνας και γλώσσας σε πολυμεσικά δεδομένα, και στοχεύει στην ανάπτυξη ενός υπολογιστικού μοντέλου για την αναγνώριση διαφορετικών τύπων συμπληρωματικότητας. Στο επίκεντρό της βρίσκεται το θεωρητικό πλαίσιο περιγραφής σημασιολογικών σχέσεων μεταξύ διαφορετικών τροπικοτήτων, COSMOROE. Το πλαίσιο αυτό ορίζει τρεις θεμελιώδεις σχέσεις: Την Ανεξαρτησία (Independence), την Ισοδυναμία (Equivalence) και την Συμπληρωματικότητα (Complementarity). Με την έρευνα αυτή εστιάζουμε στην τελευταία, με βασικό στόχο την αυτόματη ταξινόμηση παραδειγμάτων συμπληρωματικότητας σε 3 υποκατηγορίες της (Exophora, Agent-Object, Apposition). Για τις ανάγκες ανάλυσης αξιοποιούνται δύο σώματα πολυτροπικών δεδομένων επισημειωμένων με σημασιολογικές σχέσεις COSMOROE, απόρροια ανάλυσης διαφορετικών πολυμεσικών πηγών (γελοιογραφίες, ταξιδιωτικές τηλεοπτικές εκπομπές). Τα αρχεία αυτά περιέχουν επισημειωμένη πληροφορία δύο ειδών, α) στοιχεία που αφορούν τα χρονικά όρια και τον τύπο των διαφορετικών τροπικοτήτων (π.χ. γλώσσα, χειρονομίες, εικόνα) και β) στοιχεία που αναφέρονται στις σχέσεις COSMOROE. Τα δεδομένα έτυχαν επεξεργασίας με γνώμονα αρχικά την απομόνωση των παραδειγμάτων συμπληρωματικότητας και έπειτα την ενσωμάτωσή τους σε ένα ενιαίο σετ εκπαίδευσης (training set) για μοντέλα μηχανικής μάθησης. Πραγματοποιήθηκε ακολούθως μία στατιστική ανάλυση του συνόλου εκπαίδευσης, προκειμένου να εντοπιστούν μοτίβα που διευκολύνουν τον εντοπισμό της κάθε σχέσης. Για την επιλογή του καταλληλότερου μοντέλου, ελήφθησαν υπόψιν το μέγεθος και η δομή του dataset, το είδος των διαθέσιμων δεδομένων καθώς και η ανάγκη σύγκρισης επιδόσεων μεταξύ διαφορετικών προσεγγίσεων. Στη συνέχεια, εκπαιδεύτηκαν μοντέλα πολλαπλής ταξινόμησης (multi-class classification), με κύριο ζητούμενο τη διάκριση ανάμεσα στις 3 περιπτώσεις συμπληρωματικότητας (Exophora, Agent-Object και Apposition). Σε δεύτερο χρόνο πραγματοποιήθηκε και δυαδική ταξινόμηση (binary classification) στο υποσύνολο της κάθε σχέσης, με στόχο τη διάκριση σε αναγκαία (essential) ή μη αναγκαία (non-essential) συμπληρωματικότητα. Μετά την εκπαίδευση, ακολούθησε μελέτη ablation προκειμένου να διαπιστωθούν οι παράγοντες με την μεγαλύτερη συμβολή ως προς τις επιτυχείς εκτιμήσεις του κάθε μοντέλου. Για την πολλαπλή ταξινόμηση και την κατηγοριοποίηση των παραδειγμάτων σε 3 σχέσεις συμπληρωματικότητας, τα αποτελέσματα ήταν καλύτερα συγκριτικά με την δυαδική ταξινόμηση που ακολούθησε για την διάκριση μεταξύ αναγκαίας και μη αναγκαίας συμπληρωματικότητας.","The present work investigates the semantic complementarity between image and language in multimodal data and aims to develop a computational model capable of recognizing different types of complementarity. At the core of this study lies COSMOROE, a theoretical framework for describing semantic relations across different modalities. COSMOROE defines three fundamental relations: Independence, Equivalence, and Complementarity. This work focuses on the latter, with the primary objective of automatically classifying instances of Complementarity into three subcategories: Exophora, Agent–Object, and Apposition. The study draws on two corpora of multimodal data annotated with COSMOROE semantic relations, derived from the analysis of various multimedia sources, such as caricatures and TV travel series. These datasets contain two types of annotated information: (a) tracks specifying the temporal boundaries and modality types (e.g., language, gestures, image), and (b) tracks describing COSMOROE relations. The data were initially processed to isolate examples of complementarity and were subsequently integrated into a unified training set for machine learning models. A statistical analysis of the training set was then conducted to identify patterns that facilitate the detection of each relation. Model selection was based on the size and structure of the dataset, the nature of the available data, and the need to compare the performance of different approaches. Following this, multi-class classification models were trained to distinguish among the three complementarity subtypes (Exophora, Agent–Object, Apposition). In a second phase, binary classification was performed on the subset of each relation to distinguish between essential and non-essential complementarity. After model training, an ablation study was conducted to determine the factors contributing most to each model’s predictive performance. For the multi-class classification task, the results were comparatively stronger than those obtained in the binary classification task, which aimed to differentiate between essential and non essential complementarity."]},{"key":"dc:title","label":"Title","values":["Σημασιολογική Επαύξηση Οπτικοακουστικών Αρχείων: Η περίπτωση των συμπληρωματικών σχέσεων"]}]}],"canonical_facts":{"dc:creator":["Καπερνάρος Ελευθέριος","Kapernaros Eleftherios"],"dc:date":["2026"],"dc:description":["Η παρούσα εργασία μελετά τη σημασιολογική συμπληρωματικότητα εικόνας και γλώσσας σε πολυμεσικά δεδομένα, και στοχεύει στην ανάπτυξη ενός υπολογιστικού μοντέλου για την αναγνώριση διαφορετικών τύπων συμπληρωματικότητας. Στο επίκεντρό της βρίσκεται το θεωρητικό πλαίσιο περιγραφής σημασιολογικών σχέσεων μεταξύ διαφορετικών τροπικοτήτων, COSMOROE. Το πλαίσιο αυτό ορίζει τρεις θεμελιώδεις σχέσεις: Την Ανεξαρτησία (Independence), την Ισοδυναμία (Equivalence) και την Συμπληρωματικότητα (Complementarity). Με την έρευνα αυτή εστιάζουμε στην τελευταία, με βασικό στόχο την αυτόματη ταξινόμηση παραδειγμάτων συμπληρωματικότητας σε 3 υποκατηγορίες της (Exophora, Agent-Object, Apposition). Για τις ανάγκες ανάλυσης αξιοποιούνται δύο σώματα πολυτροπικών δεδομένων επισημειωμένων με σημασιολογικές σχέσεις COSMOROE, απόρροια ανάλυσης διαφορετικών πολυμεσικών πηγών (γελοιογραφίες, ταξιδιωτικές τηλεοπτικές εκπομπές). Τα αρχεία αυτά περιέχουν επισημειωμένη πληροφορία δύο ειδών, α) στοιχεία που αφορούν τα χρονικά όρια και τον τύπο των διαφορετικών τροπικοτήτων (π.χ. γλώσσα, χειρονομίες, εικόνα) και β) στοιχεία που αναφέρονται στις σχέσεις COSMOROE. Τα δεδομένα έτυχαν επεξεργασίας με γνώμονα αρχικά την απομόνωση των παραδειγμάτων συμπληρωματικότητας και έπειτα την ενσωμάτωσή τους σε ένα ενιαίο σετ εκπαίδευσης (training set) για μοντέλα μηχανικής μάθησης. Πραγματοποιήθηκε ακολούθως μία στατιστική ανάλυση του συνόλου εκπαίδευσης, προκειμένου να εντοπιστούν μοτίβα που διευκολύνουν τον εντοπισμό της κάθε σχέσης. Για την επιλογή του καταλληλότερου μοντέλου, ελήφθησαν υπόψιν το μέγεθος και η δομή του dataset, το είδος των διαθέσιμων δεδομένων καθώς και η ανάγκη σύγκρισης επιδόσεων μεταξύ διαφορετικών προσεγγίσεων. Στη συνέχεια, εκπαιδεύτηκαν μοντέλα πολλαπλής ταξινόμησης (multi-class classification), με κύριο ζητούμενο τη διάκριση ανάμεσα στις 3 περιπτώσεις συμπληρωματικότητας (Exophora, Agent-Object και Apposition). Σε δεύτερο χρόνο πραγματοποιήθηκε και δυαδική ταξινόμηση (binary classification) στο υποσύνολο της κάθε σχέσης, με στόχο τη διάκριση σε αναγκαία (essential) ή μη αναγκαία (non-essential) συμπληρωματικότητα. Μετά την εκπαίδευση, ακολούθησε μελέτη ablation προκειμένου να διαπιστωθούν οι παράγοντες με την μεγαλύτερη συμβολή ως προς τις επιτυχείς εκτιμήσεις του κάθε μοντέλου. Για την πολλαπλή ταξινόμηση και την κατηγοριοποίηση των παραδειγμάτων σε 3 σχέσεις συμπληρωματικότητας, τα αποτελέσματα ήταν καλύτερα συγκριτικά με την δυαδική ταξινόμηση που ακολούθησε για την διάκριση μεταξύ αναγκαίας και μη αναγκαίας συμπληρωματικότητας.","The present work investigates the semantic complementarity between image and language in multimodal data and aims to develop a computational model capable of recognizing different types of complementarity. At the core of this study lies COSMOROE, a theoretical framework for describing semantic relations across different modalities. COSMOROE defines three fundamental relations: Independence, Equivalence, and Complementarity. This work focuses on the latter, with the primary objective of automatically classifying instances of Complementarity into three subcategories: Exophora, Agent–Object, and Apposition. The study draws on two corpora of multimodal data annotated with COSMOROE semantic relations, derived from the analysis of various multimedia sources, such as caricatures and TV travel series. These datasets contain two types of annotated information: (a) tracks specifying the temporal boundaries and modality types (e.g., language, gestures, image), and (b) tracks describing COSMOROE relations. The data were initially processed to isolate examples of complementarity and were subsequently integrated into a unified training set for machine learning models. A statistical analysis of the training set was then conducted to identify patterns that facilitate the detection of each relation. Model selection was based on the size and structure of the dataset, the nature of the available data, and the need to compare the performance of different approaches. Following this, multi-class classification models were trained to distinguish among the three complementarity subtypes (Exophora, Agent–Object, Apposition). In a second phase, binary classification was performed on the subset of each relation to distinguish between essential and non-essential complementarity. After model training, an ablation study was conducted to determine the factors contributing most to each model’s predictive performance. For the multi-class classification task, the results were comparatively stronger than those obtained in the binary classification task, which aimed to differentiate between essential and non essential complementarity."],"dc:identifier":["uoadl:5322358","https://pergamos.lib.uoa.gr/uoa/dl/object/5322358"],"dc:language":["Ελληνικά","Greek"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Σημασιολογική Επαύξηση Οπτικοακουστικών Αρχείων: Η περίπτωση των συμπληρωματικών σχέσεων"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:41:36Z"}