National and Kapodistrian University of Athens
Σημασιολογική Επαύξηση Οπτικοακουστικών Αρχείων: Η περίπτωση των συμπληρωματικών σχέσεων
Abstract
dc:descriptionΗ παρούσα εργασία μελετά τη σημασιολογική συμπληρωματικότητα εικόνας και γλώσσας σε πολυμεσικά δεδομένα, και στοχεύει στην ανάπτυξη ενός υπολογιστικού μοντέλου για την αναγνώριση διαφορετικών τύπων συμπληρωματικότητας. Στο επίκεντρό της βρίσκεται το θεωρητικό πλαίσιο περιγραφής σημασιολογικών σχέσεων μεταξύ διαφορετικών τροπικοτήτων, COSMOROE. Το πλαίσιο αυτό ορίζει τρεις θεμελιώδεις σχέσεις: Την Ανεξαρτησία (Independence), την Ισοδυναμία (Equivalence) και την Συμπληρωματικότητα (Complementarity). Με την έρευνα αυτή εστιάζουμε στην τελευταία, με βασικό στόχο την αυτόματη ταξινόμηση παραδειγμάτων συμπληρωματικότητας σε 3 υποκατηγορίες της (Exophora, Agent-Object, Apposition). Για τις ανάγκες ανάλυσης αξιοποιούνται δύο σώματα πολυτροπικών δεδομένων επισημειωμένων με σημασιολογικές σχέσεις COSMOROE, απόρροια ανάλυσης διαφορετικών πολυμεσικών πηγών (γελοιογραφίες, ταξιδιωτικές τηλεοπτικές εκπομπές). Τα αρχεία αυτά περιέχουν επισημειωμένη πληροφορία δύο ειδών, α) στοιχεία που αφορούν τα χρονικά όρια και τον τύπο των διαφορετικών τροπικοτήτων (π.χ. γλώσσα, χειρονομίες, εικόνα) και β) στοιχεία που αναφέρονται στις σχέσεις COSMOROE. Τα δεδομένα έτυχαν επεξεργασίας με γνώμονα αρχικά την απομόνωση των παραδειγμάτων συμπληρωματικότητας και έπειτα την ενσωμάτωσή τους σε ένα ενιαίο σετ εκπαίδευσης (training set) για μοντέλα μηχανικής μάθησης. Πραγματοποιήθηκε ακολούθως μία στατιστική ανάλυση του συνόλου εκπαίδευσης, προκειμένου να εντοπιστούν μοτίβα που διευκολύνουν τον εντοπισμό της κάθε σχέσης. Για την επιλογή του καταλληλότερου μοντέλου, ελήφθησαν υπόψιν το μέγεθος και η δομή του dataset, το είδος των διαθέσιμων δεδομένων καθώς και η ανάγκη σύγκρισης επιδόσεων μεταξύ διαφορετικών προσεγγίσεων. Στη συνέχεια, εκπαιδεύτηκαν μοντέλα πολλαπλής ταξινόμησης (multi-class classification), με κύριο ζητούμενο τη διάκριση ανάμεσα στις 3 περιπτώσεις συμπληρωματικότητας (Exophora, Agent-Object και Apposition). Σε δεύτερο χρόνο πραγματοποιήθηκε και δυαδική ταξινόμηση (binary classification) στο υποσύνολο της κάθε σχέσης, με στόχο τη διάκριση σε αναγκαία (essential) ή μη αναγκαία (non-essential) συμπληρωματικότητα. Μετά την εκπαίδευση, ακολούθησε μελέτη ablation προκειμένου να διαπιστωθούν οι παράγοντες με την μεγαλύτερη συμβολή ως προς τις επιτυχείς εκτιμήσεις του κάθε μοντέλου. Για την πολλαπλή ταξινόμηση και την κατηγοριοποίηση των παραδειγμάτων σε 3 σχέσεις συμπληρωματικότητας, τα αποτελέσματα ήταν καλύτερα συγκριτικά με την δυαδική ταξινόμηση που ακολούθησε για την διάκριση μεταξύ αναγκαίας και μη αναγκαίας συμπληρωματικότητας.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Καπερνάρος Ελευθέριος
- Kapernaros Eleftherios
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:5322358