{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5411174"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5411174","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"From Deterministic to Uncertainty-Aware Neural Networks: A From-Scratch Study on MNIST and Fashion-MNIST","abstract":"Η παρούσα διπλωματική εργασία μελετά τα νευρωνικά δίκτυα ως εργαλεία ντετερμι- νιστικής πρόβλεψης και εξετάζει την ποσοτικοποίηση της αβεβαιότητας προκειμένου να βελτιωθεί η προβλεπτική τους απόδοση. Ο στόχος δεν είναι η επίτευξη state-of-the-art επί- δοσης, αλλά η κατασκευή ενός διαφανούς πειραματικού πλαισίου μέσα στο οποίο μπορούν να εξεταστούν προσεκτικά η μαθηματική δομή, η διαδικασία εκπαίδευσης και η αξιοπιστία των προβλέψεων ενός νευρωνικού δικτύου. Ξεκινώντας από την επιβλεπόμενη μάθηση, την ελαχιστοποίηση εμπειρικού κινδύνου, τη softmax ταξινόμηση, τη συνάρτηση κόστους cross-entropy και τον αλγόριθμο backpropagation, η εργασία αναπτύσσει και υλοποιεί πολυεπίπεδα perceptrons από το μηδέν σε NumPy, χωρίς χρήση πλαισίων αυτόματης δια- φοροποίησης. Η πειραματική μελέτη ξεκινά με ντετερμινιστικά πλήρως συνδεδεμένα νευρωνικά δί- κτυα στο MNIST. Συγκρίνονται τρεις αρχιτεκτονικές multilayer perceptron αυξανόμε- νου βάθους, χρησιμοποιώντας κοινό πρωτόκολλο προεπεξεργασίας, βελτιστοποίησης, επι- κύρωσης και τελικής αξιολόγησης. Παρότι τα βαθύτερα μοντέλα πετυχαίνουν ελαφρώς υψηλότερη ακρίβεια, το MLP με δύο κρυφά επίπεδα προσφέρει την καλύτερη συνολική σταθμισμένη επίδοση λαμβάνοντας υπόψη απλότητα, προβλεπτική επίδοση, σταθερότητα και βαθμονόμηση. Για τον λόγο αυτό χρησιμοποιείται ως το βασικό ντετερμινιστικό μο- ντέλο αναφοράς στη συνέχεια της εργασίας. Στο δεύτερο μέρος, η ανάλυση επεκτείνεται από τη ντετερμινιστική πρόβλεψη στην πρόβλεψη υπό συνεκτίμηση της αβεβαιότητας. Μελετώνται τρεις μέθοδοι: Monte Carlo Dropout, Deep Ensembles και Bayesian Neural Networks. Οι μέθοδοι αξιολογούνται τόσο στο MNIST όσο και στο Fashion-MNIST με βάση την ακρίβεια, την αρνητική λο- γαριθμοπιθανοφάνεια, το αναμενόμενο σφάλμα βαθμονόμησης, τα διαγράμματα αξιοπιστίας και επιπλέον διαγνωστικές αναλύσεις αβεβαιότητας. Τα αποτελέσματα δείχνουν ότι η ακρί- βεια από μόνη της δεν αρκεί για την πλήρη αξιολόγηση ενός μοντέλου. Στο MNIST, όλα τα μοντέλα επιτυγχάνουν παρόμοια υψηλή ακρίβεια, ενώ οι διαφορές εμφανίζονται κυρίως στις πιθανοτικές μετρικές. Στο Fashion-MNIST, όπου το πρόβλημα ταξινόμησης είναι δυσκολότερο, οι διαφορές στη βαθμονόμηση γίνονται πιο εμφανείς. Συνολικά, τα Deep Ensembles πετυχαίνουν την ισχυρότερη προβλεπτική επίδοση και την καλύτερη αρνητική λογαριθμοπιθανοφάνεια στα βασικά πειράματα. Το Monte Carlo Dropout αποτελεί μια απλούστερη μέθοδο ποσοτικοποίησης αβεβαιότητας που βελτιώνει σημαντικά τη βαθμονόμηση, ιδιαίτερα στο Fashion-MNIST. Τα Bayesian Neural Networks προσφέρουν την πιο καθαρή πιθανοτική ερμηνεία της αβεβαιότητας των παραμέτρων, αν και η προσεγγιστική υλοποίησή τους δεν ξεπερνά τις ensemble-based μεθόδους ως προς τη συνολική προβλεπτική επίδοση. Πρόσθετες αναλύσεις, όπως η selective classification, το temperature scaling και η αξιολόγηση υπο συνθήκες εκτός κατανομής, δείχνουν ότι οι εκτιμήσεις αβεβαιότητας παρέχουν χρήσιμη πληροφορία για την αξιοπιστία των προ- βλέψεων. Το βασικό συμπέρασμα είναι ότι ο λόγος που οι μέθοδοι αβεβαιότητας είναι πολύτιμες δεν είναι επειδή βελτιώνουν πάντα την ακρίβεια, αλλά κυρίως επειδή παρέχουν πλουσιότερη πληροφορία για την εμπιστοσύνη, τη βαθμονόμηση, την αξιοπιστία και τη συμπεριφορά του μοντέλου υπό μετατόπιση κατανομής.","abstract_html":"Η παρούσα διπλωματική εργασία μελετά τα νευρωνικά δίκτυα ως εργαλεία ντετερμι- νιστικής πρόβλεψης και εξετάζει την ποσοτικοποίηση της αβεβαιότητας προκειμένου να βελτιωθεί η προβλεπτική τους απόδοση. Ο στόχος δεν είναι η επίτευξη state-of-the-art επί- δοσης, αλλά η κατασκευή ενός διαφανούς πειραματικού πλαισίου μέσα στο οποίο μπορούν να εξεταστούν προσεκτικά η μαθηματική δομή, η διαδικασία εκπαίδευσης και η αξιοπιστία των προβλέψεων ενός νευρωνικού δικτύου. Ξεκινώντας από την επιβλεπόμενη μάθηση, την ελαχιστοποίηση εμπειρικού κινδύνου, τη softmax ταξινόμηση, τη συνάρτηση κόστους cross-entropy και τον αλγόριθμο backpropagation, η εργασία αναπτύσσει και υλοποιεί πολυεπίπεδα perceptrons από το μηδέν σε NumPy, χωρίς χρήση πλαισίων αυτόματης δια- φοροποίησης. Η πειραματική μελέτη ξεκινά με ντετερμινιστικά πλήρως συνδεδεμένα νευρωνικά δί- κτυα στο MNIST. Συγκρίνονται τρεις αρχιτεκτονικές multilayer perceptron αυξανόμε- νου βάθους, χρησιμοποιώντας κοινό πρωτόκολλο προεπεξεργασίας, βελτιστοποίησης, επι- κύρωσης και τελικής αξιολόγησης. Παρότι τα βαθύτερα μοντέλα πετυχαίνουν ελαφρώς υψηλότερη ακρίβεια, το MLP με δύο κρυφά επίπεδα προσφέρει την καλύτερη συνολική σταθμισμένη επίδοση λαμβάνοντας υπόψη απλότητα, προβλεπτική επίδοση, σταθερότητα και βαθμονόμηση. Για τον λόγο αυτό χρησιμοποιείται ως το βασικό ντετερμινιστικό μο- ντέλο αναφοράς στη συνέχεια της εργασίας. Στο δεύτερο μέρος, η ανάλυση επεκτείνεται από τη ντετερμινιστική πρόβλεψη στην πρόβλεψη υπό συνεκτίμηση της αβεβαιότητας. Μελετώνται τρεις μέθοδοι: Monte Carlo Dropout, Deep Ensembles και Bayesian Neural Networks. Οι μέθοδοι αξιολογούνται τόσο στο MNIST όσο και στο Fashion-MNIST με βάση την ακρίβεια, την αρνητική λο- γαριθμοπιθανοφάνεια, το αναμενόμενο σφάλμα βαθμονόμησης, τα διαγράμματα αξιοπιστίας και επιπλέον διαγνωστικές αναλύσεις αβεβαιότητας. Τα αποτελέσματα δείχνουν ότι η ακρί- βεια από μόνη της δεν αρκεί για την πλήρη αξιολόγηση ενός μοντέλου. Στο MNIST, όλα τα μοντέλα επιτυγχάνουν παρόμοια υψηλή ακρίβεια, ενώ οι διαφορές εμφανίζονται κυρίως στις πιθανοτικές μετρικές. Στο Fashion-MNIST, όπου το πρόβλημα ταξινόμησης είναι δυσκολότερο, οι διαφορές στη βαθμονόμηση γίνονται πιο εμφανείς. Συνολικά, τα Deep Ensembles πετυχαίνουν την ισχυρότερη προβλεπτική επίδοση και την καλύτερη αρνητική λογαριθμοπιθανοφάνεια στα βασικά πειράματα. Το Monte Carlo Dropout αποτελεί μια απλούστερη μέθοδο ποσοτικοποίησης αβεβαιότητας που βελτιώνει σημαντικά τη βαθμονόμηση, ιδιαίτερα στο Fashion-MNIST. Τα Bayesian Neural Networks προσφέρουν την πιο καθαρή πιθανοτική ερμηνεία της αβεβαιότητας των παραμέτρων, αν και η προσεγγιστική υλοποίησή τους δεν ξεπερνά τις ensemble-based μεθόδους ως προς τη συνολική προβλεπτική επίδοση. Πρόσθετες αναλύσεις, όπως η selective classification, το temperature scaling και η αξιολόγηση υπο συνθήκες εκτός κατανομής, δείχνουν ότι οι εκτιμήσεις αβεβαιότητας παρέχουν χρήσιμη πληροφορία για την αξιοπιστία των προ- βλέψεων. Το βασικό συμπέρασμα είναι ότι ο λόγος που οι μέθοδοι αβεβαιότητας είναι πολύτιμες δεν είναι επειδή βελτιώνουν πάντα την ακρίβεια, αλλά κυρίως επειδή παρέχουν πλουσιότερη πληροφορία για την εμπιστοσύνη, τη βαθμονόμηση, την αξιοπιστία και τη συμπεριφορά του μοντέλου υπό μετατόπιση κατανομής.","abstract_has_math":false,"creators":["ΛΕΥΚΑΚΗΣ ΧΡΙΣΤΟΔΟΥΛΟΣ","LEVKAKIS CHRISTODOULOS"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:19:50Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5411174"],"render_values":[{"text":"uoadl:5411174","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5411174","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5411174","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5411174","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΛΕΥΚΑΚΗΣ ΧΡΙΣΤΟΔΟΥΛΟΣ","LEVKAKIS CHRISTODOULOS"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5411174","https://pergamos.lib.uoa.gr/uoa/dl/object/5411174"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η παρούσα διπλωματική εργασία μελετά τα νευρωνικά δίκτυα ως εργαλεία ντετερμι- νιστικής πρόβλεψης και εξετάζει την ποσοτικοποίηση της αβεβαιότητας προκειμένου να βελτιωθεί η προβλεπτική τους απόδοση. Ο στόχος δεν είναι η επίτευξη state-of-the-art επί- δοσης, αλλά η κατασκευή ενός διαφανούς πειραματικού πλαισίου μέσα στο οποίο μπορούν να εξεταστούν προσεκτικά η μαθηματική δομή, η διαδικασία εκπαίδευσης και η αξιοπιστία των προβλέψεων ενός νευρωνικού δικτύου. Ξεκινώντας από την επιβλεπόμενη μάθηση, την ελαχιστοποίηση εμπειρικού κινδύνου, τη softmax ταξινόμηση, τη συνάρτηση κόστους cross-entropy και τον αλγόριθμο backpropagation, η εργασία αναπτύσσει και υλοποιεί πολυεπίπεδα perceptrons από το μηδέν σε NumPy, χωρίς χρήση πλαισίων αυτόματης δια- φοροποίησης. Η πειραματική μελέτη ξεκινά με ντετερμινιστικά πλήρως συνδεδεμένα νευρωνικά δί- κτυα στο MNIST. Συγκρίνονται τρεις αρχιτεκτονικές multilayer perceptron αυξανόμε- νου βάθους, χρησιμοποιώντας κοινό πρωτόκολλο προεπεξεργασίας, βελτιστοποίησης, επι- κύρωσης και τελικής αξιολόγησης. Παρότι τα βαθύτερα μοντέλα πετυχαίνουν ελαφρώς υψηλότερη ακρίβεια, το MLP με δύο κρυφά επίπεδα προσφέρει την καλύτερη συνολική σταθμισμένη επίδοση λαμβάνοντας υπόψη απλότητα, προβλεπτική επίδοση, σταθερότητα και βαθμονόμηση. Για τον λόγο αυτό χρησιμοποιείται ως το βασικό ντετερμινιστικό μο- ντέλο αναφοράς στη συνέχεια της εργασίας. Στο δεύτερο μέρος, η ανάλυση επεκτείνεται από τη ντετερμινιστική πρόβλεψη στην πρόβλεψη υπό συνεκτίμηση της αβεβαιότητας. Μελετώνται τρεις μέθοδοι: Monte Carlo Dropout, Deep Ensembles και Bayesian Neural Networks. Οι μέθοδοι αξιολογούνται τόσο στο MNIST όσο και στο Fashion-MNIST με βάση την ακρίβεια, την αρνητική λο- γαριθμοπιθανοφάνεια, το αναμενόμενο σφάλμα βαθμονόμησης, τα διαγράμματα αξιοπιστίας και επιπλέον διαγνωστικές αναλύσεις αβεβαιότητας. Τα αποτελέσματα δείχνουν ότι η ακρί- βεια από μόνη της δεν αρκεί για την πλήρη αξιολόγηση ενός μοντέλου. Στο MNIST, όλα τα μοντέλα επιτυγχάνουν παρόμοια υψηλή ακρίβεια, ενώ οι διαφορές εμφανίζονται κυρίως στις πιθανοτικές μετρικές. Στο Fashion-MNIST, όπου το πρόβλημα ταξινόμησης είναι δυσκολότερο, οι διαφορές στη βαθμονόμηση γίνονται πιο εμφανείς. Συνολικά, τα Deep Ensembles πετυχαίνουν την ισχυρότερη προβλεπτική επίδοση και την καλύτερη αρνητική λογαριθμοπιθανοφάνεια στα βασικά πειράματα. Το Monte Carlo Dropout αποτελεί μια απλούστερη μέθοδο ποσοτικοποίησης αβεβαιότητας που βελτιώνει σημαντικά τη βαθμονόμηση, ιδιαίτερα στο Fashion-MNIST. Τα Bayesian Neural Networks προσφέρουν την πιο καθαρή πιθανοτική ερμηνεία της αβεβαιότητας των παραμέτρων, αν και η προσεγγιστική υλοποίησή τους δεν ξεπερνά τις ensemble-based μεθόδους ως προς τη συνολική προβλεπτική επίδοση. Πρόσθετες αναλύσεις, όπως η selective classification, το temperature scaling και η αξιολόγηση υπο συνθήκες εκτός κατανομής, δείχνουν ότι οι εκτιμήσεις αβεβαιότητας παρέχουν χρήσιμη πληροφορία για την αξιοπιστία των προ- βλέψεων. Το βασικό συμπέρασμα είναι ότι ο λόγος που οι μέθοδοι αβεβαιότητας είναι πολύτιμες δεν είναι επειδή βελτιώνουν πάντα την ακρίβεια, αλλά κυρίως επειδή παρέχουν πλουσιότερη πληροφορία για την εμπιστοσύνη, τη βαθμονόμηση, την αξιοπιστία και τη συμπεριφορά του μοντέλου υπό μετατόπιση κατανομής.","This thesis studies neural networks as tools for deterministic prediction and incorpo- rates uncertainty quantification to enhance their predictive performance. The aim is not to pursue state-of-the-art performance, but to build a transparent experimental framework in which the mathematical structure, training procedure, and reliability of neural-network predictions can be examined carefully. Starting from supervised learn- ing, empirical risk minimization, softmax classification, cross-entropy loss, and back- propagation, the thesis develops and implements multilayer perceptrons from scratch using NumPy, without relying on automatic differentiation frameworks. The empirical study begins with deterministic fully connected neural networks on MNIST. Three multilayer perceptron architectures of increasing depth are compared under a common preprocessing, optimization, validation, and testing protocol. Al- though the deeper models achieve slightly higher accuracy, the two-hidden-layer MLP provides the best overall compromise between simplicity, predictive performance, sta- bility, and calibration. It is therefore adopted as the principal deterministic baseline for the remainder of the thesis. The second part of the work extends the analysis from deterministic prediction to uncertainty-aware prediction. Three methods are considered: Monte Carlo Dropout, Deep Ensembles, and Bayesian Neural Networks. These methods are evaluated on both MNIST and Fashion-MNIST using accuracy, negative log-likelihood, expected calibration error, reliability diagrams, and additional uncertainty diagnostics. The results show that accuracy alone is not sufficient to characterize model quality. On MNIST, all models achieve similarly high accuracy, while differences appear mainly in probabilistic metrics. On Fashion-MNIST, where the classification task is more difficult, calibration differences become more pronounced. Overall, Deep Ensembles achieve the strongest predictive performance and the best negative log-likelihood across the main experiments. Monte Carlo Dropout provides a simpler uncertainty-aware alternative that substantially improves calibration, espe- cially on Fashion-MNIST. Bayesian Neural Networks offer the clearest probabilistic interpretation of parameter uncertainty, although their approximate variational imple- mentation does not outperform the ensemble-based methods in aggregate predictive performance. Additional analyses, including selective classification, temperature scal- ing, and out-of-distribution evaluation, further show that uncertainty estimates pro- vide useful information about prediction reliability. The central conclusion is that uncertainty-aware methods are valuable not necessarily because they always improve accuracy, but because they provide richer information about confidence, calibration, reliability, and distribution shift."]},{"key":"dc:title","label":"Title","values":["From Deterministic to Uncertainty-Aware Neural Networks: A From-Scratch Study on MNIST and Fashion-MNIST"]}]}],"canonical_facts":{"dc:creator":["ΛΕΥΚΑΚΗΣ ΧΡΙΣΤΟΔΟΥΛΟΣ","LEVKAKIS CHRISTODOULOS"],"dc:date":["2026"],"dc:description":["Η παρούσα διπλωματική εργασία μελετά τα νευρωνικά δίκτυα ως εργαλεία ντετερμι- νιστικής πρόβλεψης και εξετάζει την ποσοτικοποίηση της αβεβαιότητας προκειμένου να βελτιωθεί η προβλεπτική τους απόδοση. Ο στόχος δεν είναι η επίτευξη state-of-the-art επί- δοσης, αλλά η κατασκευή ενός διαφανούς πειραματικού πλαισίου μέσα στο οποίο μπορούν να εξεταστούν προσεκτικά η μαθηματική δομή, η διαδικασία εκπαίδευσης και η αξιοπιστία των προβλέψεων ενός νευρωνικού δικτύου. Ξεκινώντας από την επιβλεπόμενη μάθηση, την ελαχιστοποίηση εμπειρικού κινδύνου, τη softmax ταξινόμηση, τη συνάρτηση κόστους cross-entropy και τον αλγόριθμο backpropagation, η εργασία αναπτύσσει και υλοποιεί πολυεπίπεδα perceptrons από το μηδέν σε NumPy, χωρίς χρήση πλαισίων αυτόματης δια- φοροποίησης. Η πειραματική μελέτη ξεκινά με ντετερμινιστικά πλήρως συνδεδεμένα νευρωνικά δί- κτυα στο MNIST. Συγκρίνονται τρεις αρχιτεκτονικές multilayer perceptron αυξανόμε- νου βάθους, χρησιμοποιώντας κοινό πρωτόκολλο προεπεξεργασίας, βελτιστοποίησης, επι- κύρωσης και τελικής αξιολόγησης. Παρότι τα βαθύτερα μοντέλα πετυχαίνουν ελαφρώς υψηλότερη ακρίβεια, το MLP με δύο κρυφά επίπεδα προσφέρει την καλύτερη συνολική σταθμισμένη επίδοση λαμβάνοντας υπόψη απλότητα, προβλεπτική επίδοση, σταθερότητα και βαθμονόμηση. Για τον λόγο αυτό χρησιμοποιείται ως το βασικό ντετερμινιστικό μο- ντέλο αναφοράς στη συνέχεια της εργασίας. Στο δεύτερο μέρος, η ανάλυση επεκτείνεται από τη ντετερμινιστική πρόβλεψη στην πρόβλεψη υπό συνεκτίμηση της αβεβαιότητας. Μελετώνται τρεις μέθοδοι: Monte Carlo Dropout, Deep Ensembles και Bayesian Neural Networks. Οι μέθοδοι αξιολογούνται τόσο στο MNIST όσο και στο Fashion-MNIST με βάση την ακρίβεια, την αρνητική λο- γαριθμοπιθανοφάνεια, το αναμενόμενο σφάλμα βαθμονόμησης, τα διαγράμματα αξιοπιστίας και επιπλέον διαγνωστικές αναλύσεις αβεβαιότητας. Τα αποτελέσματα δείχνουν ότι η ακρί- βεια από μόνη της δεν αρκεί για την πλήρη αξιολόγηση ενός μοντέλου. Στο MNIST, όλα τα μοντέλα επιτυγχάνουν παρόμοια υψηλή ακρίβεια, ενώ οι διαφορές εμφανίζονται κυρίως στις πιθανοτικές μετρικές. Στο Fashion-MNIST, όπου το πρόβλημα ταξινόμησης είναι δυσκολότερο, οι διαφορές στη βαθμονόμηση γίνονται πιο εμφανείς. Συνολικά, τα Deep Ensembles πετυχαίνουν την ισχυρότερη προβλεπτική επίδοση και την καλύτερη αρνητική λογαριθμοπιθανοφάνεια στα βασικά πειράματα. Το Monte Carlo Dropout αποτελεί μια απλούστερη μέθοδο ποσοτικοποίησης αβεβαιότητας που βελτιώνει σημαντικά τη βαθμονόμηση, ιδιαίτερα στο Fashion-MNIST. Τα Bayesian Neural Networks προσφέρουν την πιο καθαρή πιθανοτική ερμηνεία της αβεβαιότητας των παραμέτρων, αν και η προσεγγιστική υλοποίησή τους δεν ξεπερνά τις ensemble-based μεθόδους ως προς τη συνολική προβλεπτική επίδοση. Πρόσθετες αναλύσεις, όπως η selective classification, το temperature scaling και η αξιολόγηση υπο συνθήκες εκτός κατανομής, δείχνουν ότι οι εκτιμήσεις αβεβαιότητας παρέχουν χρήσιμη πληροφορία για την αξιοπιστία των προ- βλέψεων. Το βασικό συμπέρασμα είναι ότι ο λόγος που οι μέθοδοι αβεβαιότητας είναι πολύτιμες δεν είναι επειδή βελτιώνουν πάντα την ακρίβεια, αλλά κυρίως επειδή παρέχουν πλουσιότερη πληροφορία για την εμπιστοσύνη, τη βαθμονόμηση, την αξιοπιστία και τη συμπεριφορά του μοντέλου υπό μετατόπιση κατανομής.","This thesis studies neural networks as tools for deterministic prediction and incorpo- rates uncertainty quantification to enhance their predictive performance. The aim is not to pursue state-of-the-art performance, but to build a transparent experimental framework in which the mathematical structure, training procedure, and reliability of neural-network predictions can be examined carefully. Starting from supervised learn- ing, empirical risk minimization, softmax classification, cross-entropy loss, and back- propagation, the thesis develops and implements multilayer perceptrons from scratch using NumPy, without relying on automatic differentiation frameworks. The empirical study begins with deterministic fully connected neural networks on MNIST. Three multilayer perceptron architectures of increasing depth are compared under a common preprocessing, optimization, validation, and testing protocol. Al- though the deeper models achieve slightly higher accuracy, the two-hidden-layer MLP provides the best overall compromise between simplicity, predictive performance, sta- bility, and calibration. It is therefore adopted as the principal deterministic baseline for the remainder of the thesis. The second part of the work extends the analysis from deterministic prediction to uncertainty-aware prediction. Three methods are considered: Monte Carlo Dropout, Deep Ensembles, and Bayesian Neural Networks. These methods are evaluated on both MNIST and Fashion-MNIST using accuracy, negative log-likelihood, expected calibration error, reliability diagrams, and additional uncertainty diagnostics. The results show that accuracy alone is not sufficient to characterize model quality. On MNIST, all models achieve similarly high accuracy, while differences appear mainly in probabilistic metrics. On Fashion-MNIST, where the classification task is more difficult, calibration differences become more pronounced. Overall, Deep Ensembles achieve the strongest predictive performance and the best negative log-likelihood across the main experiments. Monte Carlo Dropout provides a simpler uncertainty-aware alternative that substantially improves calibration, espe- cially on Fashion-MNIST. Bayesian Neural Networks offer the clearest probabilistic interpretation of parameter uncertainty, although their approximate variational imple- mentation does not outperform the ensemble-based methods in aggregate predictive performance. Additional analyses, including selective classification, temperature scal- ing, and out-of-distribution evaluation, further show that uncertainty estimates pro- vide useful information about prediction reliability. The central conclusion is that uncertainty-aware methods are valuable not necessarily because they always improve accuracy, but because they provide richer information about confidence, calibration, reliability, and distribution shift."],"dc:identifier":["uoadl:5411174","https://pergamos.lib.uoa.gr/uoa/dl/object/5411174"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["From Deterministic to Uncertainty-Aware Neural Networks: A From-Scratch Study on MNIST and Fashion-MNIST"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:19:50Z"}