Back to search

National and Kapodistrian University of Athens

From Deterministic to Uncertainty-Aware Neural Networks: A From-Scratch Study on MNIST and Fashion-MNIST

Abstract

dc:description

Η παρούσα διπλωματική εργασία μελετά τα νευρωνικά δίκτυα ως εργαλεία ντετερμι- νιστικής πρόβλεψης και εξετάζει την ποσοτικοποίηση της αβεβαιότητας προκειμένου να βελτιωθεί η προβλεπτική τους απόδοση. Ο στόχος δεν είναι η επίτευξη state-of-the-art επί- δοσης, αλλά η κατασκευή ενός διαφανούς πειραματικού πλαισίου μέσα στο οποίο μπορούν να εξεταστούν προσεκτικά η μαθηματική δομή, η διαδικασία εκπαίδευσης και η αξιοπιστία των προβλέψεων ενός νευρωνικού δικτύου. Ξεκινώντας από την επιβλεπόμενη μάθηση, την ελαχιστοποίηση εμπειρικού κινδύνου, τη softmax ταξινόμηση, τη συνάρτηση κόστους cross-entropy και τον αλγόριθμο backpropagation, η εργασία αναπτύσσει και υλοποιεί πολυεπίπεδα perceptrons από το μηδέν σε NumPy, χωρίς χρήση πλαισίων αυτόματης δια- φοροποίησης. Η πειραματική μελέτη ξεκινά με ντετερμινιστικά πλήρως συνδεδεμένα νευρωνικά δί- κτυα στο MNIST. Συγκρίνονται τρεις αρχιτεκτονικές multilayer perceptron αυξανόμε- νου βάθους, χρησιμοποιώντας κοινό πρωτόκολλο προεπεξεργασίας, βελτιστοποίησης, επι- κύρωσης και τελικής αξιολόγησης. Παρότι τα βαθύτερα μοντέλα πετυχαίνουν ελαφρώς υψηλότερη ακρίβεια, το MLP με δύο κρυφά επίπεδα προσφέρει την καλύτερη συνολική σταθμισμένη επίδοση λαμβάνοντας υπόψη απλότητα, προβλεπτική επίδοση, σταθερότητα και βαθμονόμηση. Για τον λόγο αυτό χρησιμοποιείται ως το βασικό ντετερμινιστικό μο- ντέλο αναφοράς στη συνέχεια της εργασίας. Στο δεύτερο μέρος, η ανάλυση επεκτείνεται από τη ντετερμινιστική πρόβλεψη στην πρόβλεψη υπό συνεκτίμηση της αβεβαιότητας. Μελετώνται τρεις μέθοδοι: Monte Carlo Dropout, Deep Ensembles και Bayesian Neural Networks. Οι μέθοδοι αξιολογούνται τόσο στο MNIST όσο και στο Fashion-MNIST με βάση την ακρίβεια, την αρνητική λο- γαριθμοπιθανοφάνεια, το αναμενόμενο σφάλμα βαθμονόμησης, τα διαγράμματα αξιοπιστίας και επιπλέον διαγνωστικές αναλύσεις αβεβαιότητας. Τα αποτελέσματα δείχνουν ότι η ακρί- βεια από μόνη της δεν αρκεί για την πλήρη αξιολόγηση ενός μοντέλου. Στο MNIST, όλα τα μοντέλα επιτυγχάνουν παρόμοια υψηλή ακρίβεια, ενώ οι διαφορές εμφανίζονται κυρίως στις πιθανοτικές μετρικές. Στο Fashion-MNIST, όπου το πρόβλημα ταξινόμησης είναι δυσκολότερο, οι διαφορές στη βαθμονόμηση γίνονται πιο εμφανείς. Συνολικά, τα Deep Ensembles πετυχαίνουν την ισχυρότερη προβλεπτική επίδοση και την καλύτερη αρνητική λογαριθμοπιθανοφάνεια στα βασικά πειράματα. Το Monte Carlo Dropout αποτελεί μια απλούστερη μέθοδο ποσοτικοποίησης αβεβαιότητας που βελτιώνει σημαντικά τη βαθμονόμηση, ιδιαίτερα στο Fashion-MNIST. Τα Bayesian Neural Networks προσφέρουν την πιο καθαρή πιθανοτική ερμηνεία της αβεβαιότητας των παραμέτρων, αν και η προσεγγιστική υλοποίησή τους δεν ξεπερνά τις ensemble-based μεθόδους ως προς τη συνολική προβλεπτική επίδοση. Πρόσθετες αναλύσεις, όπως η selective classification, το temperature scaling και η αξιολόγηση υπο συνθήκες εκτός κατανομής, δείχνουν ότι οι εκτιμήσεις αβεβαιότητας παρέχουν χρήσιμη πληροφορία για την αξιοπιστία των προ- βλέψεων. Το βασικό συμπέρασμα είναι ότι ο λόγος που οι μέθοδοι αβεβαιότητας είναι πολύτιμες δεν είναι επειδή βελτιώνουν πάντα την ακρίβεια, αλλά κυρίως επειδή παρέχουν πλουσιότερη πληροφορία για την εμπιστοσύνη, τη βαθμονόμηση, την αξιοπιστία και τη συμπεριφορά του μοντέλου υπό μετατόπιση κατανομής.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • ΛΕΥΚΑΚΗΣ ΧΡΙΣΤΟΔΟΥΛΟΣ
  • LEVKAKIS CHRISTODOULOS

Subjects

dc:subject × 2

Rights

Language dc:language
Ελληνικά, English, Greek

Identifiers

dc:identifier.*
Identifier
uoadl:5411174

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

ΛΕΥΚΑΚΗΣ ΧΡΙΣΤΟΔΟΥΛΟΣ; LEVKAKIS CHRISTODOULOS. From Deterministic to Uncertainty-Aware Neural Networks: A From-Scratch Study on MNIST and Fashion-MNIST. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5411174