Η παρούσα διατριβή ασχολείται με την μελέτη και την εκπαίδευση Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ) με μεθόδους Βελτιστοποίησης και τις εφαρμογές αυτών. Η παρουσίαση των επιμέρους θεμάτων και αποτελεσμάτων της διατριβής αυτής οργανώνεται ως εξής : Στο κεφάλαιο 1 παρέχουμε τους βασικούς ορισμούς και περιγράφουμε τη δομή και τη λειτουργία των ΤΝΔ. Στη συνέχεια, παρουσιάζουμε μια συντομή ιστορική αναδρομή, αναφέρουμε μερικά από τα πλεονεκτήματα της χρήσης των ΤΝΔ και συνοψίζουμε τους κύριους τομείς όπου τα ΤΝΔ εφαρμόζονται. Τέλος, περιγράφουμε τις βασικές κατηγορίες μεθόδων εκπαίδευσης. Το κεφάλαιο 2 αφιερώνεται στη μαθηματική θεμελίωση της εκπαίδευσης ΤΝΔ. Περιγράφουμε τη γνωστή μέθοδο της οπισθοδρομικής διάδοσης του σφάλματος (Backpropagation) και δίνουμε αποδείξεις σύγκλισης για μια κλάση μεθόδων εκπαίδευσης που χρησιμοποιούν μονοδιάστατες ελαχιστοποιήσεις. Στο τέλος του κεφαλαίου παρουσιάζουμε κάποια θεωρητικά αποτελέσματα σχετικά με την ικανότητα των ΤΝΔ να προσεγγίζουν άγνωστες συναρτήσεις. Στο κεφάλαιο 3 προτείνουμε μια νέα κλάση μεθόδων εκπαίδευσης ΤΝΔ και αποδεικνύουμε ότι αυτές έχουν την ιδιότητα της ευρείας σύγκλισης , δηλαδή συγκλίνουν σε ένα ελάχιστο της αντικειμενικής συνάρτησης σχεδόν από οποιαδήποτε αρχική συνθήκη. Τα αποτελέσματα μας δείχνουν ότι η προτεινόμενη τεχνική μπορεί να βελτιώσει οποιαδήποτε μέθοδο της κλάσης της οπισθοδρομικής διάδοσης του σφάλματος. Στο επόμενο κεφάλαιο παρουσιάζουμε τη γνωστή μέθοδο Quick-Prop και μελετάμε τις ιδιότητες σύγκλισής της. Με βάση το θεωρητικό αποτέλεσμα που προκύπτει, κατασκευάζουμε μια νέα τροποποίηση της μεθόδου Quick-Prop, που έχει την ιδιότητα της ευρείας σύγκλισης και βελτιώνει σημαντικά την κλασίκη Quick-Prop μέθοδο. Στα επόμενα δύο κεφάλαια μελετάμε την εκπαίδευση ΤΝΔ με μεθόδους ολικής Βελτιστοποίησης. Πιο συγκεκριμένα, στο Κεφάλαιο 5 προτείνουμε και μελετάμε διεξοδικά μια νέα κλάση μεθόδων που είναι ικανές να εκπαιδεύσουν ΤΝΔ με περιορισμένα ακέραια βάρη. Στη συνέχεια, επεκτείνουμε τις μεθόδους αυτές έτσι ώστε να υλοποιούνται σε παράλληλους υπολογιστές και να εκπαιδεύουν ΤΝΔ με χρήση συναρτήσεων κατωφλιών. Το κεφάλαιο 6 πραγματεύεται την εφαρμογή γνωστών μεθόδων όπως οι Γενετικοί Αλγόριθμοι, η μέθοδος της προσομοιωμένης ανόπτησης ( Simulated Annealing ) και η μέθοδος βελτιστοποίησης με σμήνος σωματιδίων (Particle Swarm Optimization) στην εκπαίδευση ΤΝΔ. Επίσης, παρουσιάζουμε νέους μετασχηματισμούς της αντικειμενικής συνάρτησης με σκοπό την σταδιακή εξάλειψη των τοπικών ελαχίστων της. Στο κεφάλαιο 7 κάνουμε μια σύντομη ανασκόπηση της στοχαστικής μεθόδου της πιο απότομης κλίσης (stochastic gradient descent) για την εκπαίδευση ΤΝΔ ανά πρότυπο εισόδου και προτείνουμε μια νέα τέτοια μέθοδο . Η νέα μέθοδος συγκρίνεται με άλλες γνωστές μεθόδους και τα πειράματά μας δείχνουν ότι υπερτερεί. Η παρουσίαση του ερευνητικού έργου για αυτή τη διατριβή ολοκληρώνεται με το Κεφάλαιο 8, όπου προτείνουμε και μελετάμε εκτενώς μη μονότονες μεθόδους εκπαίδευσης ΤΝΔ. Η τεχνική που προτείνουμε μπορεί να εφαρμοστεί σε κάθε μέθοδο της κλάσης της οπισθοδρομικής διάδοσης του σφάλματος με αποτέλεσμα η τροποποιημένη μέθοδος να έχει την ικανότητα , πολλές φορές, να αποφεύγει τοπικά ελάχιστα της αντικειμενικής συνάρτησης. Η παρουσίαση της διατριβής ολοκληρώνεται με το κεφάλαιο 9 και δύο Παραρτήματα. Το Κεφάλαιο 9 περιέχει τα γενικά συμπεράσματα της διατριβής. Στο παράρτημα Α παρουσιάζουμε συνοπτικά μερικά από τα προβλήματα εκπαίδευσης που εξετάσαμε στα προηγούμενα κεφάλαια και τέλος στο Παράρτημα Β δίνουμε την απόδειξη της μεθόδου της οπισθοδρομικής διάδοσης του σφάλματος. / -

Σε αυτή την εργασία, μελετάμε την κλάση των Υψηλής Τάξης Νευρωνικών Δικτύων και ειδικότερα των Πι—Σίγμα Νευρωνικών Δικτύων. Η απόδοση των Πι—Σίγμα Νευρωνικών Δικτύων αξιολογείται με την εφαρμογή τους σε διάφορα πολύ γνωστά χαρακτηριστικά προβλήματα εκπαίδευσης νευρωνικών δικτύων. Στα πειράματα που πραγματοποιήθηκαν, για την εκπαίδευση των Πι—Σίγμα Νευρωνικών Δικτύων υλοποιήθηκαν και εφαρμόστηκαν Σειριακοί και Παράλληλοι/Κατανεμημένοι Εξελικτικοί Αλγόριθμοι. Πιο συγκεκριμένα χρησιμοποιήθηκαν οι σειριακές καθώς και οι παράλληλες/κατανεμημένες εκδοχές των Διαφοροεξελικτικών Αλγόριθμων. Η προτεινόμενη μεθοδολογία βασίστηκε σε αυτές τις εκδοχές και εφαρμόστηκε για την εκπαίδευση των Πι—Σίγμα δικτύων χρησιμοποιώντας συναρτήσεις ενεργοποίησης «κατώφλια». Επιπρόσθετα, όλα τα βάρη και οι μεροληψίες των δικτύων περιορίστηκαν σε ένα μικρό εύρος ακέραιων αριθμών, στο διάστημα [-32, 32]. Συνεπώς, τα εκπαιδευμένα Πι—Σίγμα νευρωνικά δίκτυα μπορούν να αναπαρασταθούν με ακεραίους των 6-bits. Αυτής της μορφής τα δίκτυα είναι πιο κατάλληλα για την εφαρμογή τους σε «υλικό» (hardware), από νευρωνικά δίκτυα με πραγματικά βάρη. Τα πειραματικά αποτελέσματα μας δείχνουν ότι η διαδικασία εκπαίδευσης είναι γρήγορη, σταθερή και αξιόπιστη. Ακόμα η εφαρμογή των παράλληλων/κατανεμημένων Εξελικτικών Αλγορίθμων για την εκπαίδευση των Πι—Σίγμα δικτύων μας επιδεικνύει αρκετά καλές ικανότητες γενίκευσης των εκπαιδευμένων δικτύων καθώς και προσφέρει επιτάχυνση στην διαδικασία εκπαίδευσης τους. / In this contribution, we study the class of Higher-Order Neural Networks and especially the Pi-Sigma Networks. The performance of Pi-Sigma Networks is evaluated through several well known neural network training benchmarks. In the experiments reported here, Evolutionary Algorithms and Parallel/Distributed Evolutionary Algorithms are implemented for Pi-Sigma neural networks training. More specifically the serial as well as a parallel/distributed version of the Differential Evolution have been employed. The proposed approach is applied to train Pi-Sigma networks using threshold activation functions. Moreover, the weights and biases were confined to a narrow band of integers, constrained in the range [-32, 32]. Thus the trained Pi-Sigma neural networks can be represented by just 6 bits. Such networks are better suited for hardware implementation than the real weight ones. Experimental results suggest that this training process is fast, stable and reliable and the trained Pi-Sigma networks, with both serial and parallel/distributed algorithms, exhibited good generalization capabilities. Furthermore, the usage of a distributed version of the Differential Evolution, has demonstrated a speedup of the training process.