Back to search

National and Kapodistrian University of Athens

On visual explanation of supervised and self-supervised learning

Abstract

dc:description

Τα τελευταία χρόνια, η ταχεία ανάπτυξη των Νευρωνικών Δικτύων Βάθους έχει επιφέρει αξιοσημείωτα επιτεύγματα σε πολλές εργασίες Όρασης Υπολογιστών. Η αυξανόμενη πολυπλοκότητα των μοντέλων, ο μεγάλος όγκος δεδομένων καθώς και η επίβλεψη κατά τη διάρκεια της εκπαίδευσης των μοντέλων είναι οι κύριες αιτίες πίσω από αυτήν την επιτυχία. Ως εναλλακτική λύση για την επιβλεπόμενη εκμάθηση αναπαράστασης, προτάθηκαν μέθοδοι αυτοεπίβλεψης για να απαλλαγούμε από τα υψηλά κόστη που απαιτούνται για την παραγωγή προσεκτικά επισημασμένων δεδομένων. Αναμφίβολα, όσο πιο πολύπλοκα γίνονται τα μοντέλα, τόσο μεγαλύτερη είναι η ανάγκη κατανόησης των προβλέψεών τους. Ο πρωταρχικός στόχος αυτής της διατριβής είναι η ερμηνεία τόσο των επιβλεπόμενων όσο και των αυτοεπιβλεπόμεων μοντέλων, που βασίζονται σε αρχιτεκτονικές είτε συνελικτικών είτε οπτικών transformers δικτύων . Ποικιλία μεθόδων οπτικοποίησης χρησιμοποιείται, η οποία είναι βασισμένη σε χάρτες ενεργοποίησης κλάσεων και μηχανισμούς προσοχής. Δοθείσας μίας εικόνας εισόδου, αυτές οι μέθοδοι μας παρέχουν με ένα χάρτη σημαντικότητας που χρησιμοποιείται για την ερμηνεία της πρόβλεψης του δικτύου. Αυτός ο χάρτης υποδεικνύει τις περιοχές της εικόνας στις οποίες το μοντέλο δίνει τη μεγαλύτερη προσοχή. Οι μέθοδοι που χρησιμοποιούμε αξιολογούνται τόσο ποιοτικά όσο και ποσοτικά. Προτείνουμε περαιτέρω νέες εναλλακτικές ή συμπληρωματικές μεθόδους οπτικοποίησης, οι οποίες υποδεικνύουν πού μπορούν να κρυφτούν σημαντικές πληροφορίες μέσα στο δίκτυο και πώς μπορούν να αποκαλυφθούν. Οι νέες μέθοδοι βελτιώνουν περαιτέρω τα ποσοτικά αποτελέσματα. Η μελέτη μας υπογραμμίζει τη σημασία της ερμηνευσιμότητας, δείχνει ορισμένες κοινές ιδιότητες και διαφορές στον τρόπο με τον οποίο τα επιβλεπόμενα και αυτοεπιβλεπόμενα μοντέλα κάνουν τις προβλέψεις τους και παρέχει πολύτιμες πληροφορίες τόσο για τα μοντέλα όσο και για τις μεθόδους οπτικοποίησης. Χάρης των γνώσεων που αποκομίσαμε από τη μελέτη πάνω στην ερμηνευσιμότητα, βελτιώνουμε περαιτέρω την αυτοεπιβλεπόμενη μάθηση, ιδίως χρησιμοποιώντας τη μοντελοποίηση κάλυψης εικόνας. Εδώ, υποδεικνύουμε τις περιοχές μιας εικόνας που είναι πιο σημαντικό να αποκρύπτονται από ένα δίκτυο μαθητή και ορίζουμε μια πιο αποδοτική μέθοδο αυτοεπίβλεψης που βασίζεται στη μοντελοποίηση κάλυψης εικόνας. Με βάση αυτό, προτείνουμε νέες στρατηγικές κάλυψης που επιτυγχάνουν υψηλότερα k-NN και liner probing αποτελέσματα και επιτάχυνση στη διαδικασία εκμάθησης σε εργασίες που ακολουθούν. Λαμβάνοντας υπόψη την πρόκληση υπολογιστικού κόστους που αντιμετωπίζουν αυτές οι μέθοδοι, διεξάγουμε πειράματα σε διαφορετικές κλίμακες ενός συνόλου δεδομένων και αριθμού εποχών εκπαίδευσης και δείχνουμε το αντίκτυπό τους στα αποτελέσματα. Εδώ, εξηγούμε περαιτέρω οπτικά την επιρροή κάθε στρατηγικής κάλυψης και κλίμακας ενός συνόλου δεδομένων χρησιμοποιώντας μεθόδους ερμηνείας κατά τη διαδικασία μάθησης και αξιολόγησης. Τέλος, εισάγουμε μια νέα συνάρτηση απώλειας που βασίζεται στην αντιθετική μάθηση και επιτυγχάνουμε βελτιώσεις σε σχέση με τη βασική συνάρτηση όταν χρησιμοποιείται με διαφορετικές στρατηγικές κάλυψης.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Ρέππας Δημήτριος
  • Reppas Dimitrios

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:3256221

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Ρέππας Δημήτριος; Reppas Dimitrios. On visual explanation of supervised and self-supervised learning. 2022. https://pergamos.lib.uoa.gr/uoa/dl/object/3256221