{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2958160"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2958160","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Επαναληπτικός καθαρισμός προβλέψεων για ημι-επιβλεπόμενη μάθηση","abstract":"Τα βαθιά νευρωνικά δίκτυα έχουν γίνει το de facto μοντέλο για εφαρμογές όρασης υπολογιστών. Η επιτυχία τους οφείλεται εν μέρει στη δυνάτοτητα κλιμάκωσης τους, δηλαδή στην εμπειρική παρατήρηση ότι εκπαιδεύοντας τα σε μεγαλύτερα σύνολα δεδομένων παράγουν καλύτερη απόδοση. Τα βαθιά δίκτυα επιτυγχάνουν συχνά ισχυρή απόδοση μέσω επιβλεπόμενης μάθησης, η οποία απαιτεί ένα σύνολο δεδομένων με ετικέτες. Το όφελος στην απόδοση που αποδίδεται στη χρήση ενός μεγαλύτερου συνόλου δεδομένων μπορεί να έχει σημαντικό κόστος καθώς η εμβάπτιση δεδομένων συχνά απαιτεί ανθρώπινη εργασία. Αυτό το κόστος μπορεί να είναι ιδιαίτερα μεγάλο όταν πρέπει να γίνει εμβάπτιση από κάποιον ειδικό. Μια ισχυρή προσέγγιση για την εκπαίδευση μοντέλων σε μεγάλο αριθμό δε-δομένων χωρίς να απαιτείται μεγάλη ποσότητα ετικετών είναι η ημι-επιβλεπόμενη μάθηση. Η ημι-επιβλεπόμενη μάθηση μετριάζει την απαίτηση για δεδομένα με ετικέτες παρέχοντας ένα μέσο αξιοποίησης δεδομένων χωρίς εμβάπτιση. Δεδομένου ότι τα δεδομένα χωρίς εμβάπτιση μπορούν να ληφθούν με την ελάχιστη δυνατή ανθρώπινη εργασία, κάθε αύξηση της απόδοσης που παρέχεται από την ημι-επιβλεπόμενη μάθηση έρχεται συχνά με χαμηλό κόστος. Αυτό οδήγησε σε μια πληθώρα μεθόδων ημι-επιβλεπόμενης μάθησης που έχουν σχεδιαστεί για βαθιά δίκτυα. Σε αυτή τη διατριβή, προτείνουμε δύο μεθόδους που συνδυάζουν επιτυχημένες ιδέες σε προβλήματα που σχετίζονται με το ζητούμενο που εξηγήθηκε προηγουμένως. Συγκεκριμένα, προτείνουμε το CleanMatchκαι το WeightMatch, δύο νέες ημι-επιβλεπόμενες μεθόδους μάθησης που ενοποιούν κυρίαρχες προσεγγίσεις και προτείνουν λύση στους περιορισμούς τους. Το CleanMatch αποτελείται από δύο στάδια: (1) επαναληπτική επιλογή των πιο σίγουρων ψευδο-ετικετών που παρέχονται από ένα συνδυασμό κανονικοποίησης συνέπειας και ψευδο-εμβάπτισης(consistency regularization and pseudo-labeling) ακολουθώντας το FixMatch και (2) αύξηση του σετ ετικετών με τα επιλεγμένα παραδείγματα του πρώτου σταδίου και ημι-επιβλεπόμενη εκπαίδευση με βάση το FixMatch στο επαυξημένο σύνολο δεδομένων. Το WeightMatch υπολογίζει ένα βάρος που αντικατοπτρίζει την εμπιστοσύνη κάθε παραδείγματος, αναγκάζοντας το μοντέλο να βασίζεται περισσότερο στα πιο σίγουρα από αυτά κατά τη διάρκεια της εκπαίδευσης. Οι μέθοδοι μας επιτυγχάνουν την καλύτερη απόδοση σε πολλά σύνολα δεδομένων. Επιτυγχάνουν σημαντικές βελτιώσεις στην ακρίβεια στα CIFAR-10, SVHN και CIFAR-100 σε σενάρια με λιγοστές ετικέτες.","abstract_html":"Τα βαθιά νευρωνικά δίκτυα έχουν γίνει το de facto μοντέλο για εφαρμογές όρασης υπολογιστών. Η επιτυχία τους οφείλεται εν μέρει στη δυνάτοτητα κλιμάκωσης τους, δηλαδή στην εμπειρική παρατήρηση ότι εκπαιδεύοντας τα σε μεγαλύτερα σύνολα δεδομένων παράγουν καλύτερη απόδοση. Τα βαθιά δίκτυα επιτυγχάνουν συχνά ισχυρή απόδοση μέσω επιβλεπόμενης μάθησης, η οποία απαιτεί ένα σύνολο δεδομένων με ετικέτες. Το όφελος στην απόδοση που αποδίδεται στη χρήση ενός μεγαλύτερου συνόλου δεδομένων μπορεί να έχει σημαντικό κόστος καθώς η εμβάπτιση δεδομένων συχνά απαιτεί ανθρώπινη εργασία. Αυτό το κόστος μπορεί να είναι ιδιαίτερα μεγάλο όταν πρέπει να γίνει εμβάπτιση από κάποιον ειδικό. Μια ισχυρή προσέγγιση για την εκπαίδευση μοντέλων σε μεγάλο αριθμό δε-δομένων χωρίς να απαιτείται μεγάλη ποσότητα ετικετών είναι η ημι-επιβλεπόμενη μάθηση. Η ημι-επιβλεπόμενη μάθηση μετριάζει την απαίτηση για δεδομένα με ετικέτες παρέχοντας ένα μέσο αξιοποίησης δεδομένων χωρίς εμβάπτιση. Δεδομένου ότι τα δεδομένα χωρίς εμβάπτιση μπορούν να ληφθούν με την ελάχιστη δυνατή ανθρώπινη εργασία, κάθε αύξηση της απόδοσης που παρέχεται από την ημι-επιβλεπόμενη μάθηση έρχεται συχνά με χαμηλό κόστος. Αυτό οδήγησε σε μια πληθώρα μεθόδων ημι-επιβλεπόμενης μάθησης που έχουν σχεδιαστεί για βαθιά δίκτυα. Σε αυτή τη διατριβή, προτείνουμε δύο μεθόδους που συνδυάζουν επιτυχημένες ιδέες σε προβλήματα που σχετίζονται με το ζητούμενο που εξηγήθηκε προηγουμένως. Συγκεκριμένα, προτείνουμε το CleanMatchκαι το WeightMatch, δύο νέες ημι-επιβλεπόμενες μεθόδους μάθησης που ενοποιούν κυρίαρχες προσεγγίσεις και προτείνουν λύση στους περιορισμούς τους. Το CleanMatch αποτελείται από δύο στάδια: (1) επαναληπτική επιλογή των πιο σίγουρων ψευδο-ετικετών που παρέχονται από ένα συνδυασμό κανονικοποίησης συνέπειας και ψευδο-εμβάπτισης(consistency regularization and pseudo-labeling) ακολουθώντας το FixMatch και (2) αύξηση του σετ ετικετών με τα επιλεγμένα παραδείγματα του πρώτου σταδίου και ημι-επιβλεπόμενη εκπαίδευση με βάση το FixMatch στο επαυξημένο σύνολο δεδομένων. Το WeightMatch υπολογίζει ένα βάρος που αντικατοπτρίζει την εμπιστοσύνη κάθε παραδείγματος, αναγκάζοντας το μοντέλο να βασίζεται περισσότερο στα πιο σίγουρα από αυτά κατά τη διάρκεια της εκπαίδευσης. Οι μέθοδοι μας επιτυγχάνουν την καλύτερη απόδοση σε πολλά σύνολα δεδομένων. Επιτυγχάνουν σημαντικές βελτιώσεις στην ακρίβεια στα CIFAR-10, SVHN και CIFAR-100 σε σενάρια με λιγοστές ετικέτες.","abstract_has_math":false,"creators":["Μπέλλος Φίλιππος","Bellos Filippos"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2021,"date_issued":"2021","date_published":"2021","updated_at":"2026-11-19T05:43:33Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2958160"],"render_values":[{"text":"uoadl:2958160","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2958160","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2958160","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2958160","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Μπέλλος Φίλιππος","Bellos Filippos"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2021"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2958160","https://pergamos.lib.uoa.gr/uoa/dl/object/2958160"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα βαθιά νευρωνικά δίκτυα έχουν γίνει το de facto μοντέλο για εφαρμογές όρασης υπολογιστών. Η επιτυχία τους οφείλεται εν μέρει στη δυνάτοτητα κλιμάκωσης τους, δηλαδή στην εμπειρική παρατήρηση ότι εκπαιδεύοντας τα σε μεγαλύτερα σύνολα δεδομένων παράγουν καλύτερη απόδοση. Τα βαθιά δίκτυα επιτυγχάνουν συχνά ισχυρή απόδοση μέσω επιβλεπόμενης μάθησης, η οποία απαιτεί ένα σύνολο δεδομένων με ετικέτες. Το όφελος στην απόδοση που αποδίδεται στη χρήση ενός μεγαλύτερου συνόλου δεδομένων μπορεί να έχει σημαντικό κόστος καθώς η εμβάπτιση δεδομένων συχνά απαιτεί ανθρώπινη εργασία. Αυτό το κόστος μπορεί να είναι ιδιαίτερα μεγάλο όταν πρέπει να γίνει εμβάπτιση από κάποιον ειδικό. Μια ισχυρή προσέγγιση για την εκπαίδευση μοντέλων σε μεγάλο αριθμό δε-δομένων χωρίς να απαιτείται μεγάλη ποσότητα ετικετών είναι η ημι-επιβλεπόμενη μάθηση. Η ημι-επιβλεπόμενη μάθηση μετριάζει την απαίτηση για δεδομένα με ετικέτες παρέχοντας ένα μέσο αξιοποίησης δεδομένων χωρίς εμβάπτιση. Δεδομένου ότι τα δεδομένα χωρίς εμβάπτιση μπορούν να ληφθούν με την ελάχιστη δυνατή ανθρώπινη εργασία, κάθε αύξηση της απόδοσης που παρέχεται από την ημι-επιβλεπόμενη μάθηση έρχεται συχνά με χαμηλό κόστος. Αυτό οδήγησε σε μια πληθώρα μεθόδων ημι-επιβλεπόμενης μάθησης που έχουν σχεδιαστεί για βαθιά δίκτυα. Σε αυτή τη διατριβή, προτείνουμε δύο μεθόδους που συνδυάζουν επιτυχημένες ιδέες σε προβλήματα που σχετίζονται με το ζητούμενο που εξηγήθηκε προηγουμένως. Συγκεκριμένα, προτείνουμε το CleanMatchκαι το WeightMatch, δύο νέες ημι-επιβλεπόμενες μεθόδους μάθησης που ενοποιούν κυρίαρχες προσεγγίσεις και προτείνουν λύση στους περιορισμούς τους. Το CleanMatch αποτελείται από δύο στάδια: (1) επαναληπτική επιλογή των πιο σίγουρων ψευδο-ετικετών που παρέχονται από ένα συνδυασμό κανονικοποίησης συνέπειας και ψευδο-εμβάπτισης(consistency regularization and pseudo-labeling) ακολουθώντας το FixMatch και (2) αύξηση του σετ ετικετών με τα επιλεγμένα παραδείγματα του πρώτου σταδίου και ημι-επιβλεπόμενη εκπαίδευση με βάση το FixMatch στο επαυξημένο σύνολο δεδομένων. Το WeightMatch υπολογίζει ένα βάρος που αντικατοπτρίζει την εμπιστοσύνη κάθε παραδείγματος, αναγκάζοντας το μοντέλο να βασίζεται περισσότερο στα πιο σίγουρα από αυτά κατά τη διάρκεια της εκπαίδευσης. Οι μέθοδοι μας επιτυγχάνουν την καλύτερη απόδοση σε πολλά σύνολα δεδομένων. Επιτυγχάνουν σημαντικές βελτιώσεις στην ακρίβεια στα CIFAR-10, SVHN και CIFAR-100 σε σενάρια με λιγοστές ετικέτες.","Deep neural networks have become the de facto model for computer vision applications. Their success is partially attributable to their scalability, i.e., the empirical observation that training them on larger datasets produces better performance. Deep networks often achieve their strong performance through supervised learning, which requires a labeled dataset. The performance benefit conferred by the use of a larger dataset can therefore come at a significant cost since labeling data often requires human labor. This cost can be particularly extreme when labeling must be done by an expert. A powerful approach for training models on a large amount of data without requiring a large amount of labels is semi-supervised learning (SSL). SSL mitigates the requirement for labeled data by providing a means of leveraging unlabeled data. Since unlabeled data can often be obtained with minimal human labor, any performance boost conferred by SSL often comes with low cost. This has led to a plethora of SSL methods that are designed for deep networks. In this thesis, we propose two methods that combine successful ideas in problems related to our task at hand. In particular, we propose CleanMatch and WeightMatch, two new semi-supervised learning methods that unify dominant approaches and address their limitations. CleanMatch consists of two stages: (1) iterative selection of the most confident pseudo-labels provided by a combination of consistency regularization and pseudo-labeling following FixMatch and (2) augmentation of the labeled set with the selected examples of the first stage and semi-supervised training based on FixMatch on the augmented dataset. WeightMatch estimates a weight reflecting the confidence of each labeled example, forcing the model to rely more on the confident ones during training. Our methods improve the state-of-the-art by a large margin on CIFAR-10, SVHN and CIFAR-100, especially on few label settings."]},{"key":"dc:title","label":"Title","values":["Επαναληπτικός καθαρισμός προβλέψεων για ημι-επιβλεπόμενη μάθηση"]}]}],"canonical_facts":{"dc:creator":["Μπέλλος Φίλιππος","Bellos Filippos"],"dc:date":["2021"],"dc:description":["Τα βαθιά νευρωνικά δίκτυα έχουν γίνει το de facto μοντέλο για εφαρμογές όρασης υπολογιστών. Η επιτυχία τους οφείλεται εν μέρει στη δυνάτοτητα κλιμάκωσης τους, δηλαδή στην εμπειρική παρατήρηση ότι εκπαιδεύοντας τα σε μεγαλύτερα σύνολα δεδομένων παράγουν καλύτερη απόδοση. Τα βαθιά δίκτυα επιτυγχάνουν συχνά ισχυρή απόδοση μέσω επιβλεπόμενης μάθησης, η οποία απαιτεί ένα σύνολο δεδομένων με ετικέτες. Το όφελος στην απόδοση που αποδίδεται στη χρήση ενός μεγαλύτερου συνόλου δεδομένων μπορεί να έχει σημαντικό κόστος καθώς η εμβάπτιση δεδομένων συχνά απαιτεί ανθρώπινη εργασία. Αυτό το κόστος μπορεί να είναι ιδιαίτερα μεγάλο όταν πρέπει να γίνει εμβάπτιση από κάποιον ειδικό. Μια ισχυρή προσέγγιση για την εκπαίδευση μοντέλων σε μεγάλο αριθμό δε-δομένων χωρίς να απαιτείται μεγάλη ποσότητα ετικετών είναι η ημι-επιβλεπόμενη μάθηση. Η ημι-επιβλεπόμενη μάθηση μετριάζει την απαίτηση για δεδομένα με ετικέτες παρέχοντας ένα μέσο αξιοποίησης δεδομένων χωρίς εμβάπτιση. Δεδομένου ότι τα δεδομένα χωρίς εμβάπτιση μπορούν να ληφθούν με την ελάχιστη δυνατή ανθρώπινη εργασία, κάθε αύξηση της απόδοσης που παρέχεται από την ημι-επιβλεπόμενη μάθηση έρχεται συχνά με χαμηλό κόστος. Αυτό οδήγησε σε μια πληθώρα μεθόδων ημι-επιβλεπόμενης μάθησης που έχουν σχεδιαστεί για βαθιά δίκτυα. Σε αυτή τη διατριβή, προτείνουμε δύο μεθόδους που συνδυάζουν επιτυχημένες ιδέες σε προβλήματα που σχετίζονται με το ζητούμενο που εξηγήθηκε προηγουμένως. Συγκεκριμένα, προτείνουμε το CleanMatchκαι το WeightMatch, δύο νέες ημι-επιβλεπόμενες μεθόδους μάθησης που ενοποιούν κυρίαρχες προσεγγίσεις και προτείνουν λύση στους περιορισμούς τους. Το CleanMatch αποτελείται από δύο στάδια: (1) επαναληπτική επιλογή των πιο σίγουρων ψευδο-ετικετών που παρέχονται από ένα συνδυασμό κανονικοποίησης συνέπειας και ψευδο-εμβάπτισης(consistency regularization and pseudo-labeling) ακολουθώντας το FixMatch και (2) αύξηση του σετ ετικετών με τα επιλεγμένα παραδείγματα του πρώτου σταδίου και ημι-επιβλεπόμενη εκπαίδευση με βάση το FixMatch στο επαυξημένο σύνολο δεδομένων. Το WeightMatch υπολογίζει ένα βάρος που αντικατοπτρίζει την εμπιστοσύνη κάθε παραδείγματος, αναγκάζοντας το μοντέλο να βασίζεται περισσότερο στα πιο σίγουρα από αυτά κατά τη διάρκεια της εκπαίδευσης. Οι μέθοδοι μας επιτυγχάνουν την καλύτερη απόδοση σε πολλά σύνολα δεδομένων. Επιτυγχάνουν σημαντικές βελτιώσεις στην ακρίβεια στα CIFAR-10, SVHN και CIFAR-100 σε σενάρια με λιγοστές ετικέτες.","Deep neural networks have become the de facto model for computer vision applications. Their success is partially attributable to their scalability, i.e., the empirical observation that training them on larger datasets produces better performance. Deep networks often achieve their strong performance through supervised learning, which requires a labeled dataset. The performance benefit conferred by the use of a larger dataset can therefore come at a significant cost since labeling data often requires human labor. This cost can be particularly extreme when labeling must be done by an expert. A powerful approach for training models on a large amount of data without requiring a large amount of labels is semi-supervised learning (SSL). SSL mitigates the requirement for labeled data by providing a means of leveraging unlabeled data. Since unlabeled data can often be obtained with minimal human labor, any performance boost conferred by SSL often comes with low cost. This has led to a plethora of SSL methods that are designed for deep networks. In this thesis, we propose two methods that combine successful ideas in problems related to our task at hand. In particular, we propose CleanMatch and WeightMatch, two new semi-supervised learning methods that unify dominant approaches and address their limitations. CleanMatch consists of two stages: (1) iterative selection of the most confident pseudo-labels provided by a combination of consistency regularization and pseudo-labeling following FixMatch and (2) augmentation of the labeled set with the selected examples of the first stage and semi-supervised training based on FixMatch on the augmented dataset. WeightMatch estimates a weight reflecting the confidence of each labeled example, forcing the model to rely more on the confident ones during training. Our methods improve the state-of-the-art by a large margin on CIFAR-10, SVHN and CIFAR-100, especially on few label settings."],"dc:identifier":["uoadl:2958160","https://pergamos.lib.uoa.gr/uoa/dl/object/2958160"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Επαναληπτικός καθαρισμός προβλέψεων για ημι-επιβλεπόμενη μάθηση"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:43:33Z"}