{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3256221"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3256221","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"On visual explanation of supervised and self-supervised learning","abstract":"Τα τελευταία χρόνια, η ταχεία ανάπτυξη των Νευρωνικών Δικτύων Βάθους έχει επιφέρει αξιοσημείωτα επιτεύγματα σε πολλές εργασίες Όρασης Υπολογιστών. Η αυξανόμενη πολυπλοκότητα των μοντέλων, ο μεγάλος όγκος δεδομένων καθώς και η επίβλεψη κατά τη διάρκεια της εκπαίδευσης των μοντέλων είναι οι κύριες αιτίες πίσω από αυτήν την επιτυχία. Ως εναλλακτική λύση για την επιβλεπόμενη εκμάθηση αναπαράστασης, προτάθηκαν μέθοδοι αυτοεπίβλεψης για να απαλλαγούμε από τα υψηλά κόστη που απαιτούνται για την παραγωγή προσεκτικά επισημασμένων δεδομένων. Αναμφίβολα, όσο πιο πολύπλοκα γίνονται τα μοντέλα, τόσο μεγαλύτερη είναι η ανάγκη κατανόησης των προβλέψεών τους. Ο πρωταρχικός στόχος αυτής της διατριβής είναι η ερμηνεία τόσο των επιβλεπόμενων όσο και των αυτοεπιβλεπόμεων μοντέλων, που βασίζονται σε αρχιτεκτονικές είτε συνελικτικών είτε οπτικών transformers δικτύων . Ποικιλία μεθόδων οπτικοποίησης χρησιμοποιείται, η οποία είναι βασισμένη σε χάρτες ενεργοποίησης κλάσεων και μηχανισμούς προσοχής. Δοθείσας μίας εικόνας εισόδου, αυτές οι μέθοδοι μας παρέχουν με ένα χάρτη σημαντικότητας που χρησιμοποιείται για την ερμηνεία της πρόβλεψης του δικτύου. Αυτός ο χάρτης υποδεικνύει τις περιοχές της εικόνας στις οποίες το μοντέλο δίνει τη μεγαλύτερη προσοχή. Οι μέθοδοι που χρησιμοποιούμε αξιολογούνται τόσο ποιοτικά όσο και ποσοτικά. Προτείνουμε περαιτέρω νέες εναλλακτικές ή συμπληρωματικές μεθόδους οπτικοποίησης, οι οποίες υποδεικνύουν πού μπορούν να κρυφτούν σημαντικές πληροφορίες μέσα στο δίκτυο και πώς μπορούν να αποκαλυφθούν. Οι νέες μέθοδοι βελτιώνουν περαιτέρω τα ποσοτικά αποτελέσματα. Η μελέτη μας υπογραμμίζει τη σημασία της ερμηνευσιμότητας, δείχνει ορισμένες κοινές ιδιότητες και διαφορές στον τρόπο με τον οποίο τα επιβλεπόμενα και αυτοεπιβλεπόμενα μοντέλα κάνουν τις προβλέψεις τους και παρέχει πολύτιμες πληροφορίες τόσο για τα μοντέλα όσο και για τις μεθόδους οπτικοποίησης. Χάρης των γνώσεων που αποκομίσαμε από τη μελέτη πάνω στην ερμηνευσιμότητα, βελτιώνουμε περαιτέρω την αυτοεπιβλεπόμενη μάθηση, ιδίως χρησιμοποιώντας τη μοντελοποίηση κάλυψης εικόνας. Εδώ, υποδεικνύουμε τις περιοχές μιας εικόνας που είναι πιο σημαντικό να αποκρύπτονται από ένα δίκτυο μαθητή και ορίζουμε μια πιο αποδοτική μέθοδο αυτοεπίβλεψης που βασίζεται στη μοντελοποίηση κάλυψης εικόνας. Με βάση αυτό, προτείνουμε νέες στρατηγικές κάλυψης που επιτυγχάνουν υψηλότερα k-NN και liner probing αποτελέσματα και επιτάχυνση στη διαδικασία εκμάθησης σε εργασίες που ακολουθούν. Λαμβάνοντας υπόψη την πρόκληση υπολογιστικού κόστους που αντιμετωπίζουν αυτές οι μέθοδοι, διεξάγουμε πειράματα σε διαφορετικές κλίμακες ενός συνόλου δεδομένων και αριθμού εποχών εκπαίδευσης και δείχνουμε το αντίκτυπό τους στα αποτελέσματα. Εδώ, εξηγούμε περαιτέρω οπτικά την επιρροή κάθε στρατηγικής κάλυψης και κλίμακας ενός συνόλου δεδομένων χρησιμοποιώντας μεθόδους ερμηνείας κατά τη διαδικασία μάθησης και αξιολόγησης. Τέλος, εισάγουμε μια νέα συνάρτηση απώλειας που βασίζεται στην αντιθετική μάθηση και επιτυγχάνουμε βελτιώσεις σε σχέση με τη βασική συνάρτηση όταν χρησιμοποιείται με διαφορετικές στρατηγικές κάλυψης.","abstract_html":"Τα τελευταία χρόνια, η ταχεία ανάπτυξη των Νευρωνικών Δικτύων Βάθους έχει επιφέρει αξιοσημείωτα επιτεύγματα σε πολλές εργασίες Όρασης Υπολογιστών. Η αυξανόμενη πολυπλοκότητα των μοντέλων, ο μεγάλος όγκος δεδομένων καθώς και η επίβλεψη κατά τη διάρκεια της εκπαίδευσης των μοντέλων είναι οι κύριες αιτίες πίσω από αυτήν την επιτυχία. Ως εναλλακτική λύση για την επιβλεπόμενη εκμάθηση αναπαράστασης, προτάθηκαν μέθοδοι αυτοεπίβλεψης για να απαλλαγούμε από τα υψηλά κόστη που απαιτούνται για την παραγωγή προσεκτικά επισημασμένων δεδομένων. Αναμφίβολα, όσο πιο πολύπλοκα γίνονται τα μοντέλα, τόσο μεγαλύτερη είναι η ανάγκη κατανόησης των προβλέψεών τους. Ο πρωταρχικός στόχος αυτής της διατριβής είναι η ερμηνεία τόσο των επιβλεπόμενων όσο και των αυτοεπιβλεπόμεων μοντέλων, που βασίζονται σε αρχιτεκτονικές είτε συνελικτικών είτε οπτικών transformers δικτύων . Ποικιλία μεθόδων οπτικοποίησης χρησιμοποιείται, η οποία είναι βασισμένη σε χάρτες ενεργοποίησης κλάσεων και μηχανισμούς προσοχής. Δοθείσας μίας εικόνας εισόδου, αυτές οι μέθοδοι μας παρέχουν με ένα χάρτη σημαντικότητας που χρησιμοποιείται για την ερμηνεία της πρόβλεψης του δικτύου. Αυτός ο χάρτης υποδεικνύει τις περιοχές της εικόνας στις οποίες το μοντέλο δίνει τη μεγαλύτερη προσοχή. Οι μέθοδοι που χρησιμοποιούμε αξιολογούνται τόσο ποιοτικά όσο και ποσοτικά. Προτείνουμε περαιτέρω νέες εναλλακτικές ή συμπληρωματικές μεθόδους οπτικοποίησης, οι οποίες υποδεικνύουν πού μπορούν να κρυφτούν σημαντικές πληροφορίες μέσα στο δίκτυο και πώς μπορούν να αποκαλυφθούν. Οι νέες μέθοδοι βελτιώνουν περαιτέρω τα ποσοτικά αποτελέσματα. Η μελέτη μας υπογραμμίζει τη σημασία της ερμηνευσιμότητας, δείχνει ορισμένες κοινές ιδιότητες και διαφορές στον τρόπο με τον οποίο τα επιβλεπόμενα και αυτοεπιβλεπόμενα μοντέλα κάνουν τις προβλέψεις τους και παρέχει πολύτιμες πληροφορίες τόσο για τα μοντέλα όσο και για τις μεθόδους οπτικοποίησης. Χάρης των γνώσεων που αποκομίσαμε από τη μελέτη πάνω στην ερμηνευσιμότητα, βελτιώνουμε περαιτέρω την αυτοεπιβλεπόμενη μάθηση, ιδίως χρησιμοποιώντας τη μοντελοποίηση κάλυψης εικόνας. Εδώ, υποδεικνύουμε τις περιοχές μιας εικόνας που είναι πιο σημαντικό να αποκρύπτονται από ένα δίκτυο μαθητή και ορίζουμε μια πιο αποδοτική μέθοδο αυτοεπίβλεψης που βασίζεται στη μοντελοποίηση κάλυψης εικόνας. Με βάση αυτό, προτείνουμε νέες στρατηγικές κάλυψης που επιτυγχάνουν υψηλότερα k-NN και liner probing αποτελέσματα και επιτάχυνση στη διαδικασία εκμάθησης σε εργασίες που ακολουθούν. Λαμβάνοντας υπόψη την πρόκληση υπολογιστικού κόστους που αντιμετωπίζουν αυτές οι μέθοδοι, διεξάγουμε πειράματα σε διαφορετικές κλίμακες ενός συνόλου δεδομένων και αριθμού εποχών εκπαίδευσης και δείχνουμε το αντίκτυπό τους στα αποτελέσματα. Εδώ, εξηγούμε περαιτέρω οπτικά την επιρροή κάθε στρατηγικής κάλυψης και κλίμακας ενός συνόλου δεδομένων χρησιμοποιώντας μεθόδους ερμηνείας κατά τη διαδικασία μάθησης και αξιολόγησης. Τέλος, εισάγουμε μια νέα συνάρτηση απώλειας που βασίζεται στην αντιθετική μάθηση και επιτυγχάνουμε βελτιώσεις σε σχέση με τη βασική συνάρτηση όταν χρησιμοποιείται με διαφορετικές στρατηγικές κάλυψης.","abstract_has_math":false,"creators":["Ρέππας Δημήτριος","Reppas Dimitrios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2022,"date_issued":"2022","date_published":"2022","updated_at":"2026-11-19T06:20:31Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3256221"],"render_values":[{"text":"uoadl:3256221","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3256221","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3256221","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3256221","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Ρέππας Δημήτριος","Reppas Dimitrios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2022"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3256221","https://pergamos.lib.uoa.gr/uoa/dl/object/3256221"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα τελευταία χρόνια, η ταχεία ανάπτυξη των Νευρωνικών Δικτύων Βάθους έχει επιφέρει αξιοσημείωτα επιτεύγματα σε πολλές εργασίες Όρασης Υπολογιστών. Η αυξανόμενη πολυπλοκότητα των μοντέλων, ο μεγάλος όγκος δεδομένων καθώς και η επίβλεψη κατά τη διάρκεια της εκπαίδευσης των μοντέλων είναι οι κύριες αιτίες πίσω από αυτήν την επιτυχία. Ως εναλλακτική λύση για την επιβλεπόμενη εκμάθηση αναπαράστασης, προτάθηκαν μέθοδοι αυτοεπίβλεψης για να απαλλαγούμε από τα υψηλά κόστη που απαιτούνται για την παραγωγή προσεκτικά επισημασμένων δεδομένων. Αναμφίβολα, όσο πιο πολύπλοκα γίνονται τα μοντέλα, τόσο μεγαλύτερη είναι η ανάγκη κατανόησης των προβλέψεών τους. Ο πρωταρχικός στόχος αυτής της διατριβής είναι η ερμηνεία τόσο των επιβλεπόμενων όσο και των αυτοεπιβλεπόμεων μοντέλων, που βασίζονται σε αρχιτεκτονικές είτε συνελικτικών είτε οπτικών transformers δικτύων . Ποικιλία μεθόδων οπτικοποίησης χρησιμοποιείται, η οποία είναι βασισμένη σε χάρτες ενεργοποίησης κλάσεων και μηχανισμούς προσοχής. Δοθείσας μίας εικόνας εισόδου, αυτές οι μέθοδοι μας παρέχουν με ένα χάρτη σημαντικότητας που χρησιμοποιείται για την ερμηνεία της πρόβλεψης του δικτύου. Αυτός ο χάρτης υποδεικνύει τις περιοχές της εικόνας στις οποίες το μοντέλο δίνει τη μεγαλύτερη προσοχή. Οι μέθοδοι που χρησιμοποιούμε αξιολογούνται τόσο ποιοτικά όσο και ποσοτικά. Προτείνουμε περαιτέρω νέες εναλλακτικές ή συμπληρωματικές μεθόδους οπτικοποίησης, οι οποίες υποδεικνύουν πού μπορούν να κρυφτούν σημαντικές πληροφορίες μέσα στο δίκτυο και πώς μπορούν να αποκαλυφθούν. Οι νέες μέθοδοι βελτιώνουν περαιτέρω τα ποσοτικά αποτελέσματα. Η μελέτη μας υπογραμμίζει τη σημασία της ερμηνευσιμότητας, δείχνει ορισμένες κοινές ιδιότητες και διαφορές στον τρόπο με τον οποίο τα επιβλεπόμενα και αυτοεπιβλεπόμενα μοντέλα κάνουν τις προβλέψεις τους και παρέχει πολύτιμες πληροφορίες τόσο για τα μοντέλα όσο και για τις μεθόδους οπτικοποίησης. Χάρης των γνώσεων που αποκομίσαμε από τη μελέτη πάνω στην ερμηνευσιμότητα, βελτιώνουμε περαιτέρω την αυτοεπιβλεπόμενη μάθηση, ιδίως χρησιμοποιώντας τη μοντελοποίηση κάλυψης εικόνας. Εδώ, υποδεικνύουμε τις περιοχές μιας εικόνας που είναι πιο σημαντικό να αποκρύπτονται από ένα δίκτυο μαθητή και ορίζουμε μια πιο αποδοτική μέθοδο αυτοεπίβλεψης που βασίζεται στη μοντελοποίηση κάλυψης εικόνας. Με βάση αυτό, προτείνουμε νέες στρατηγικές κάλυψης που επιτυγχάνουν υψηλότερα k-NN και liner probing αποτελέσματα και επιτάχυνση στη διαδικασία εκμάθησης σε εργασίες που ακολουθούν. Λαμβάνοντας υπόψη την πρόκληση υπολογιστικού κόστους που αντιμετωπίζουν αυτές οι μέθοδοι, διεξάγουμε πειράματα σε διαφορετικές κλίμακες ενός συνόλου δεδομένων και αριθμού εποχών εκπαίδευσης και δείχνουμε το αντίκτυπό τους στα αποτελέσματα. Εδώ, εξηγούμε περαιτέρω οπτικά την επιρροή κάθε στρατηγικής κάλυψης και κλίμακας ενός συνόλου δεδομένων χρησιμοποιώντας μεθόδους ερμηνείας κατά τη διαδικασία μάθησης και αξιολόγησης. Τέλος, εισάγουμε μια νέα συνάρτηση απώλειας που βασίζεται στην αντιθετική μάθηση και επιτυγχάνουμε βελτιώσεις σε σχέση με τη βασική συνάρτηση όταν χρησιμοποιείται με διαφορετικές στρατηγικές κάλυψης.","In recent years, the rapid development of Deep Neural Networks (DNN) has led to a remarkable performance in many Computer Vision tasks. The increasing complexity of the models, the computational power, the amount available of data and the supervision during the training process are the main causes behind this success. As an alternative to supervised representation learning, self-supervised methods are becoming popular in dispensing the need for carefully labelled datasets. Undoubtedly, the more complex the models get, the greater is the need for understanding their predictions. The primary objective of this thesis is to interpret both supervised and self-supervised models, using either convolutional neural networks or visual transformers as a backbone. Variations of visualization methods are used, based on class activation maps (CAM) and attention mechanisms. Given an input image, these methods provide us with a saliency map that is used to interpret the network prediction. This map indicates the regions of the image that the model pays the most attention to. We evaluate these methods qualitatively and quantitatively. We further propose new alternative or complementary visualization methods, which show where important information can be hidden inside the network and how to reveal it. These new methods further improve the quantitative results. Our study highlights the importance of interpretability, shows some common properties and differences in the way supervised and self-supervised models make their predictions and provides valuable information on both the models and the visualization methods. Thanks to the knowledge we gain from the interpretability study, we further improve self-supervised learning, in particular using mask image modeling (MIM). Here, we indicate the regions of an image that are most important to be hidden from a student network and define a more challenging MIM-based self-supervision pre-text task. Based on this, we propose new masking strategies that achieve higher k-NN, linear probing scores and acceleration in the learning process of downstream tasks. Considering the computational efficiency challenge these methods face, we conduct experiments on different scales of a dataset and number of training epochs and show their impact on the scores. Here, we further visually explain the influence of each masking strategy and scale of a dataset by using interpretability methods during the learning and evaluation process. Finally, we introduce a new loss function based on contrastive learning and achieve improvements over the baseline when used with different masking strategies."]},{"key":"dc:title","label":"Title","values":["On visual explanation of supervised and self-supervised learning"]}]}],"canonical_facts":{"dc:creator":["Ρέππας Δημήτριος","Reppas Dimitrios"],"dc:date":["2022"],"dc:description":["Τα τελευταία χρόνια, η ταχεία ανάπτυξη των Νευρωνικών Δικτύων Βάθους έχει επιφέρει αξιοσημείωτα επιτεύγματα σε πολλές εργασίες Όρασης Υπολογιστών. Η αυξανόμενη πολυπλοκότητα των μοντέλων, ο μεγάλος όγκος δεδομένων καθώς και η επίβλεψη κατά τη διάρκεια της εκπαίδευσης των μοντέλων είναι οι κύριες αιτίες πίσω από αυτήν την επιτυχία. Ως εναλλακτική λύση για την επιβλεπόμενη εκμάθηση αναπαράστασης, προτάθηκαν μέθοδοι αυτοεπίβλεψης για να απαλλαγούμε από τα υψηλά κόστη που απαιτούνται για την παραγωγή προσεκτικά επισημασμένων δεδομένων. Αναμφίβολα, όσο πιο πολύπλοκα γίνονται τα μοντέλα, τόσο μεγαλύτερη είναι η ανάγκη κατανόησης των προβλέψεών τους. Ο πρωταρχικός στόχος αυτής της διατριβής είναι η ερμηνεία τόσο των επιβλεπόμενων όσο και των αυτοεπιβλεπόμεων μοντέλων, που βασίζονται σε αρχιτεκτονικές είτε συνελικτικών είτε οπτικών transformers δικτύων . Ποικιλία μεθόδων οπτικοποίησης χρησιμοποιείται, η οποία είναι βασισμένη σε χάρτες ενεργοποίησης κλάσεων και μηχανισμούς προσοχής. Δοθείσας μίας εικόνας εισόδου, αυτές οι μέθοδοι μας παρέχουν με ένα χάρτη σημαντικότητας που χρησιμοποιείται για την ερμηνεία της πρόβλεψης του δικτύου. Αυτός ο χάρτης υποδεικνύει τις περιοχές της εικόνας στις οποίες το μοντέλο δίνει τη μεγαλύτερη προσοχή. Οι μέθοδοι που χρησιμοποιούμε αξιολογούνται τόσο ποιοτικά όσο και ποσοτικά. Προτείνουμε περαιτέρω νέες εναλλακτικές ή συμπληρωματικές μεθόδους οπτικοποίησης, οι οποίες υποδεικνύουν πού μπορούν να κρυφτούν σημαντικές πληροφορίες μέσα στο δίκτυο και πώς μπορούν να αποκαλυφθούν. Οι νέες μέθοδοι βελτιώνουν περαιτέρω τα ποσοτικά αποτελέσματα. Η μελέτη μας υπογραμμίζει τη σημασία της ερμηνευσιμότητας, δείχνει ορισμένες κοινές ιδιότητες και διαφορές στον τρόπο με τον οποίο τα επιβλεπόμενα και αυτοεπιβλεπόμενα μοντέλα κάνουν τις προβλέψεις τους και παρέχει πολύτιμες πληροφορίες τόσο για τα μοντέλα όσο και για τις μεθόδους οπτικοποίησης. Χάρης των γνώσεων που αποκομίσαμε από τη μελέτη πάνω στην ερμηνευσιμότητα, βελτιώνουμε περαιτέρω την αυτοεπιβλεπόμενη μάθηση, ιδίως χρησιμοποιώντας τη μοντελοποίηση κάλυψης εικόνας. Εδώ, υποδεικνύουμε τις περιοχές μιας εικόνας που είναι πιο σημαντικό να αποκρύπτονται από ένα δίκτυο μαθητή και ορίζουμε μια πιο αποδοτική μέθοδο αυτοεπίβλεψης που βασίζεται στη μοντελοποίηση κάλυψης εικόνας. Με βάση αυτό, προτείνουμε νέες στρατηγικές κάλυψης που επιτυγχάνουν υψηλότερα k-NN και liner probing αποτελέσματα και επιτάχυνση στη διαδικασία εκμάθησης σε εργασίες που ακολουθούν. Λαμβάνοντας υπόψη την πρόκληση υπολογιστικού κόστους που αντιμετωπίζουν αυτές οι μέθοδοι, διεξάγουμε πειράματα σε διαφορετικές κλίμακες ενός συνόλου δεδομένων και αριθμού εποχών εκπαίδευσης και δείχνουμε το αντίκτυπό τους στα αποτελέσματα. Εδώ, εξηγούμε περαιτέρω οπτικά την επιρροή κάθε στρατηγικής κάλυψης και κλίμακας ενός συνόλου δεδομένων χρησιμοποιώντας μεθόδους ερμηνείας κατά τη διαδικασία μάθησης και αξιολόγησης. Τέλος, εισάγουμε μια νέα συνάρτηση απώλειας που βασίζεται στην αντιθετική μάθηση και επιτυγχάνουμε βελτιώσεις σε σχέση με τη βασική συνάρτηση όταν χρησιμοποιείται με διαφορετικές στρατηγικές κάλυψης.","In recent years, the rapid development of Deep Neural Networks (DNN) has led to a remarkable performance in many Computer Vision tasks. The increasing complexity of the models, the computational power, the amount available of data and the supervision during the training process are the main causes behind this success. As an alternative to supervised representation learning, self-supervised methods are becoming popular in dispensing the need for carefully labelled datasets. Undoubtedly, the more complex the models get, the greater is the need for understanding their predictions. The primary objective of this thesis is to interpret both supervised and self-supervised models, using either convolutional neural networks or visual transformers as a backbone. Variations of visualization methods are used, based on class activation maps (CAM) and attention mechanisms. Given an input image, these methods provide us with a saliency map that is used to interpret the network prediction. This map indicates the regions of the image that the model pays the most attention to. We evaluate these methods qualitatively and quantitatively. We further propose new alternative or complementary visualization methods, which show where important information can be hidden inside the network and how to reveal it. These new methods further improve the quantitative results. Our study highlights the importance of interpretability, shows some common properties and differences in the way supervised and self-supervised models make their predictions and provides valuable information on both the models and the visualization methods. Thanks to the knowledge we gain from the interpretability study, we further improve self-supervised learning, in particular using mask image modeling (MIM). Here, we indicate the regions of an image that are most important to be hidden from a student network and define a more challenging MIM-based self-supervision pre-text task. Based on this, we propose new masking strategies that achieve higher k-NN, linear probing scores and acceleration in the learning process of downstream tasks. Considering the computational efficiency challenge these methods face, we conduct experiments on different scales of a dataset and number of training epochs and show their impact on the scores. Here, we further visually explain the influence of each masking strategy and scale of a dataset by using interpretability methods during the learning and evaluation process. Finally, we introduce a new loss function based on contrastive learning and achieve improvements over the baseline when used with different masking strategies."],"dc:identifier":["uoadl:3256221","https://pergamos.lib.uoa.gr/uoa/dl/object/3256221"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["On visual explanation of supervised and self-supervised learning"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:20:31Z"}