Η παρούσα διατριβή πραγματεύεται την αναγνώριση ομιλητή σε πραγματικές συνθήκες. Τα κύρια σημεία της εργασίας είναι: (1) αξιολόγηση διαφόρων προσεγγίσεων εξαγωγής χαρακτηριστικών παραμέτρων ομιλίας, (2) μείωση της ισχύος της περιβαλλοντικής επίδρασης στην απόδοση της αναγνώρισης ομιλητή, και (3) μελέτη τεχνικών κατηγοριοποίησης, εναλλακτικών προς τις υπάρχουσες. Συγκεκριμένα, στο (1), προτείνεται μια νέα δομή εξαγωγής παραμέτρων ομιλίας βασισμένη σε πακέτα κυματομορφών, κατάλληλα σχεδιασμένη για αναγνώριση ομιλητή. Εξάγεται με ένα αντικειμενικό τρόπο σε σχέση με την απόδοση αναγνώρισης ομιλητή, σε αντίθεση με την MFCC προσέγγιση, που βασίζεται στην προσέγγιση της αντίληψης της ανθρώπινης ακοής. Έπειτα, στο (2), δίνεται μια δομή για την εξαγωγή παραμέτρων βασισμένη στα MFCC, ανεκτική στο θόρυβο, για την βελτίωση της απόδοσης της αναγνώρισης ομιλητή σε πραγματικό περιβάλλον. Συνοπτικά, μια τεχνική μείωσης του θορύβου βασισμένη σε μοντέλο προσαρμοσμένη στο πρόβλημα της επιβεβαίωσης ομιλητή ενσωματώνεται απευθείας στη δομή υπολογισμού των MFCC. Αυτή η προσέγγιση επέδειξε σημαντικό πλεονέκτημα σε πραγματικό και ταχέως μεταβαλλόμενο περιβάλλον. Τέλος, στο (3), εισάγονται δύο νέοι κατηγοριοποιητές που αναφέρονται ως Locally Recurrent Probabilistic Neural Network (LR PNN), και Generalized Locally Recurrent Probabilistic Neural Network (GLR PNN). Είναι υβρίδια μεταξύ των Recurrent Neural Network (RNN) και Probabilistic Neural Network (PNN) και συνδυάζουν τα πλεονεκτήματα των γεννετικών και διαφορικών προσσεγγίσεων κατηγοριοποίησης. Επιπλέον, τα νέα αυτά νευρωνικά δίκτυα είναι ευαίσθητα σε παροδικές και ειδικές συσχετίσεις μεταξύ διαδοχικών εισόδων, και έτσι, είναι κατάλληλα για να αξιοποιήσουν την συσχέτιση παραμέτρων ομιλίας μεταξύ πλαισίων ομιλίας. Κατά την εξαγωγή των πειραμάτων, διαφάνηκε ότι οι αρχιτεκτονικές LR PNN και GLR PNN παρέχουν καλύτερη απόδοση, σε σχέση με τα αυθεντικά PNN. / This dissertation dials with speaker recognition in real-world conditions. The main accent falls on: (1) evaluation of various speech feature extraction approaches, (2) reduction of the impact of environmental interferences on the speaker recognition performance, and (3) studying alternative to the present state-of-the-art classification techniques. Specifically, within (1), a novel wavelet packet-based speech features extraction scheme fine-tuned for speaker recognition is proposed. It is derived in an objective manner with respect to the speaker recognition performance, in contrast to the state-of-the-art MFCC scheme, which is based on approximation of human auditory perception. Next, within (2), an advanced noise-robust feature extraction scheme based on MFCC is offered for improving the speaker recognition performance in real-world environments. In brief, a model-based noise reduction technique adapted for the specifics of the speaker verification task is incorporated directly into the MFCC computation scheme. This approach demonstrated significant advantage in real-world fast-varying environments. Finally, within (3), two novel classifiers referred to as Locally Recurrent Probabilistic Neural Network (LR PNN), and Generalized Locally Recurrent Probabilistic Neural Network (GLR PNN) are introduced. They are hybrids between Recurrent Neural Network (RNN) and Probabilistic Neural Network (PNN) and combine the virtues of the generative and discriminative classification approaches. Moreover, these novel neural networks are sensitive to temporal and special correlations among consecutive inputs, and therefore, are capable to exploit the inter-frame correlations among speech features derived for successive speech frames. In the experimentations, it was demonstrated that the LR PNN and GLR PNN architectures provide benefit in terms of performance, when compared to the original PNN.

Στην εργασία αυτή ασχολούμαστε με την αξιοποίηση των δεδομένων από διαφορετικά κοινωνικά δίκτυα (πιο συγκεκριμένα από Foursquare και Facebook) με σκοπό να ταυτοποιήσουμε τις ίδιες τοποθεσίες (ή αλλιώς σημεία ενδιαφέροντος) που έχουν εισαχθεί σε αυτά τα δίκτυα. Το πρόβλημα της ταυτοποίησης είναι σημαντικό να λυθεί διότι έτσι θα μπορούσε να αποκτηθεί μια καλύτερη εικόνα για τις αλληλεπιδράσεις των χρηστών με το φυσικό περιβάλλον με τη χρήση των μέσων κοινωνικής δικτύωσης (social data). Αυτό σημαίνει ταυτόχρονα και καλύτερη ανάλυση και αξιοποίηση αυτών δεδομένων, αφού θα έχουμε αναγνωρίσει μεγάλο μέρος των κοινών σημείων ενδιαφέροντος από ετερογενή σύνολα δεδομένων από τα μέσα κοινωνικής δικτύωσης. Μια λύση στο πρόβλημα είναι η χρήση των αλγορίθμων μηχανικής μάθησης, που θα αποφασίζουν αν ένα ζεύγος σημείων αντιπροσωπεύει το ίδιο σημείο ενδιαφέροντος. / In this paper we deal with the exploitation of data from different social networks (more specifically from Foursquare and Facebook) in order to identify the same locations (or landmarks ) introduced in these networks . The problem of identification is important to solve it so he could get a better picture of the user interactions with the natural environment through the use of social media (social data). This means simultaneously and better analysis and use of such data , since we recognize much of the common points of interest from heterogeneous datasets from social media . One solution to this problem is the use of machine learning algorithms , which will decide whether a pair of points represents the same point of interest .

Η παρούσα διπλωματική εργασία πραγματεύεται την χρήση τεχνητών νευρωνικών δικτύων για την δημιουργία ενός αξιόπιστου μοντέλου πρόβλεψης της μέγιστης ημερήσιας συγκέντρωσης του τροποσφαιρικού όζοντος σε αστικό περιβάλλον. Η ανάλυση και η πρόβλεψη των επιπέδων της ατμοσφαιρικής ρύπανσης, είναι σημαντικά θέματα της ατμοσφαιρικής και περιβαλλοντικής έρευνας, λόγω του αντίκτυπου που έχει η ατμοσφαιρική ρύπανση στην υγεία και την ποιότητα ζωής του ανθρώπου. Ένας από τους πιο σημαντικούς ρύπους είναι το τροποσφαιρικό όζον (O3), και ειδικότερα το όζον του κατώτερου οριακού στρώματος της ατμόσφαιρας (επιφανειακό ή surface ozone). Επομένως, η πρόβλεψη της μέγιστης συγκέντρωσης όζοντος στις πυκνοκατοικημένες αστικές περιοχές, είναι μεγάλης σπουδαιότητας για τον έλεγχο και τη βελτίωση της ποιότητας της ατμόσφαιρας. Μέχρι σήμερα, αν και διάφορα μοντέλα πρόβλεψης όζοντος έχουν ερευνηθεί, υπάρχει ακόμα η ανάγκη για ακριβέστερα μοντέλα, έτσι ώστε να αναπτυχθούν αποτελεσματικές στρατηγικές πρόληψης και ελέγχου σε περιπτώσεις που οι οριακές τιμές όζοντος ξεπερνιούνται πέρα από κάποιο συγκεκριμένο χρονικό διάστημα (επεισόδιο ρύπανσης). Χρησιμοποιήθηκαν χρονοσειρές συγκέντρωσης όζοντος και άλλων ρύπων που οδηγούν στην δημιουργία του, από το σταθμό της “Λυκόβρυσης” και του “Αμαρουσίου”, καθώς και μετεωρολογικά δεδομένα που σχετίζονται με την δημιουργία, καταστροφή και διασπορά ή διάχυση του όζοντος. Κατά τη βελτιστοποίηση του νευρωνικού δικτύου, δόθηκε έμφαση στην κατά το δυνατόν ακριβέστερη πρόγνωση των αυξημένων τιμών της συγκέντρωσης Ο3 (επεισόδια ρύπανσης για [Ο3] >=180 μg/m3), για τις οποίες απαιτείται η λήψη εκτάκτων μέτρων. Τα Τεχνητά Νευρωνικά Δίκτυα, όπως αποδείχθηκε, αποτελούν μια πολύ καλή εναλλακτική λύση ως προς τις παραδοσιακές στατιστικές τεχνικές, καθώς για την εκπαίδευσή τους χρησιμοποιούνται διαθέσιμα στοιχεία προηγούμενων μετρήσεων αλλά και λόγω της ικανότητάς τους να χειρίζονται δεδομένα με μη γραμμικές σχέσεις μεταξύ τους. Αρχικά δοκιμάστηκαν διαφορετικές αρχιτεκτονικές νευρωνικών δικτύων επιτρέπουν την κατηγοριοποίηση των πρότυπων δεδομένων εισόδου, όπως οι χάρτες Kohonen, τα δίκτυα επιβλεπόμενης κατηγοριοποίησης LVQ και τα στοχαστικά RBF δίκτυα με σκοπό το μοίρασμα των δεδομένων εισόδου σε κατηγορίες σύμφωνα με τα επίπεδα όζοντος. Στη συνέχεια ελέγχθηκε η δυνατότητα πρόβλεψης με την χρήση πολυστρωματικών αντιληπτήρων πρόσθιας τροφοδότησης (Multilayer Feed-Forward) και εποπτευόμενης μάθησης μέσω διόρθωσης σφάλματος με ανατροφοδότηση (Back Propagation), γνωστά ως ΜultiLayer Perceptrons ή MLPs που έδωσαν και τα καλύτερα αποτελέσματα. Η απόδοση ενός μοντέλου πρόβλεψης της συγκέντρωσης του όζοντος της χαμηλής τροπόσφαιρας μπορεί να κριθεί από το ποσοστό των επεισοδίων που θα προβλεφθούν σωστά από το μοντέλο, σε αντιδιαστολή με το ποσοστό των ψεύτικων-λανθασμένων συναγερμών (δηλ. προβλέψεις επεισοδίων ρύπανσης που δεν συνέβησαν στην πραγματικότητα). Ο δείκτης απόδοσης SI, είναι ο δείκτης υψηλότερης σπουδαιότητας καθώς αντιπροσωπεύσει την απόδοση στην πρόβλεψη των επεισοδίων αλλά και στην γενικότερη συμφωνία μεταξύ των προβλεφθέντων και παρατηρηθέντων δεδομένων. Στο σταθμό της “Λυκόβρυσης” ο δείκτης απόδοσης SI κυμάνθηκε από 0,943 έως 0,831 και ο λόγος των ψεύτικων συναγερμών FA από 0 έως 0,014 ενώ στο σταθμό του “Αμαρουσίου” ο δείκτης απόδοσης SI κυμάνθηκε από 0,777 έως 0,68 και ο λόγος των ψεύτικων συναγερμών FA από 0,211 έως 0,234. / This study deals with the use of artificial neural networks for ground-level ozone modeling in the Athens area. Forecasting next day’s maximum hourly ozone concentration is an important topic of air quality research nowadays. The continuing worldwide environmental problem suggests the need for more accurate forecasting models. Development of such models is a difficult task as the meteorological variables and the photochemical reactions involved in ozone formation are complex. Meteorological variables and concentrations of ozone and ozone precursors, from two monitoring stations “Lykovrisi” and “Marousi”, are used as inputs in order to obtain the best estimate of the next day’s maximum hourly ozone concentration. The violation of the European public information threshold (ozone episode), defined by control authorities, of 180 μg/m3 is successfully predicted in most cases. Neural networks seem to be very well situated since they allow for nonlinear relations among input variables. Several architectures of Neural Networks were tested but Multi-Layer Perceptrons (MLPs) came up with the best results. At “Lykovrisi” monitoring station the Success Index (SI) that is able to represent performance in forecasting exceedances as well as the overall goodness between predicted and measured data, varied from 0.943 to 0.831 and the fraction of False Alarms (FA) that represents predicted episodes that didn’t happen to the overall number of predicted episodes, varied from 0 to 0.014. At “Marousi” monitoring station the SI varied from 0.777 to 0.68 and the fraction of False Alarms (FA) from 0.211 to 0.234.

Τα τεχνητά νευρωνικά δίκτυα είναι μια μορφή τεχνητής νοημοσύνης, τα οποία αποτελούνται από ένα σύνολο απλών, διασυνδεδεμένων και προσαρμοστικών μονάδων, οι οποίες συνιστούν ένα παράλληλο πολύπλοκο υπολογιστικό μοντέλο. Μέχρι σήμερα έχουν εφαρμοστεί επιτυχημένα σε ένα ευρύ φάσμα περιοχών για την επίλυση προβλημάτων ταξινόμησης ή πρόβλεψης, όπως η βιολογία, η ιατρική, η γεολογία, η φυσική κ.ά. Σε αυτήν την εργασία θα ασχοληθούμε με την εκπαίδευση τεχνητών νευρωνικών δικτύων ανά πρότυπο εισόδου. Αυτή η προσέγγιση θεωρείται κατεξοχήν κατάλληλη για περιπτώσεις όπου η εκπαίδευση διαθέτει σημαντικό χρόνο και απαιτεί μεγάλο αποθηκευτικό χώρο, όπως συμβαίνει συχνά όταν έχουμε μεγάλα σύνολα προτύπων ή/και δίκτυα. Μέχρι σήμερα έχουν προταθεί πολλοί αλγόριθμοι εκπαίδευσης νευρωνικών δικτύων, καλύπτοντας ο ένας τα κενά του άλλου, σχεδιασμένοι ώστε να επιλύουν τα προβλήματα που παλιότερα ήταν δύσκολο να επιλυθούν. Στόχος της εργασίας είναι η εκτενής ανάλυση και αξιολόγηση των αλγορίθμων εκπαίδευσης καθώς και η ικανότητα γενίκευσης των εκπαιδευόμενων δικτύων σε μια ποικιλία προβλημάτων από τους τομείς τις ιατρικής και της βιοπληροφορικής. Επίσης επηρεασμένοι από τη δυνατότητα για την επίτευξη καλύτερης απόδοσης θα μελετήσουμε την συμβολή των νευρωνικών δικτύων στη μηχανική μάθηση. Συγκεκριμένα θα αποτιμήσουμε τη συνεισφορά των νευρωνικών δικτύων στη δημιουργία αξιόπιστων συστημάτων αποφάσεων χρησιμοποιώντας τεχνικές συνδυασμού ταξινομητών. Τέλος, θα μελετήσουμε τις δυνατότητες συνδυασμού τους με διάφορες άλλες κατηγορίες ταξινομητών μηχανικής μάθησης για την ανάπτυξη ισχυρότερων υβριδικών συστημάτων εξαγωγής πληροφορίας. / Literature review corroborates that artificial neural networks are being successfully applied in a variety of regression and classification problems. Due of their ability to exploit the tolerance for imprecision and uncertainty in real-world problems and their robustness and parallelism, artificial neural networks have been increasingly used in many applications. It is well-known that the procedure of training a neural network is highly consistent with unconstrained optimization theory and many attempts have been made to speed up this process. In particular, various algorithms motivated from numerical optimization theory have been applied for accelerating neural network training. Moreover, commonly known heuristics approaches such as momentum or variable learning rate lead to a significant improvement. In this work we compare the performance of classical gradient descent methods and examine the effect of incorporating into them a variable learning rate and an adaptive nonmonotone strategy. We perform a large scale study on the behavior of the presented algorithms and identify their possible advantages. Additionally, we propose two modifications of two well-known second order algorithms aiming to overcome the limitations of the original methods.

Στην εργασία αυτή, αναφερθήκαμε στους εξελικτικούς αλγορίθμους, στον διαφορο-εξελικτικό αλγόριθμο ενώ μελετήσαμε πιο αναλυτικά τον γενετικό αλγόριθμο (θεωρητική και μαθηματική μελέτη). Στην συνέχεια, αναλύθηκαν τα τεχνητά νευρωνικά δίκτυα, η δομή τους, το θεωρητικό τους υπόβαθρο και έγινε μια μαθηματική προσέγγισή τους. Το επόμενο αντικείμενο αυτής της εργασίας ήταν η μελέτη και ανάλυση των ασαφών γνωστικών απεικονίσεων (θεωρητικά, μαθηματικά, χρησιμότητά τους σε διάφορα προβλήματα). Στα επόμενα κεφάλαια γίνεται αναφορά σε συγκεκριμένα παραδείγματα εκπαίδευσης και βελτιστοποίησης του μοντέλου των ασαφών γνωστικών απεικονίσεων και των τεχνητών νευρωνικών δικτύων χρησιμοποιώντας τον γενετικό αλγόριθμο και εξελικτικές έννοιες. / In this work, we discussed the evolutionary algorithms, the differentiation evolutionary algorithm and studied in more detail the genetic algorithm (theoretical and mathematical study). Then analyzed the artificial neural networks, their structure, their theoretical background and became a mathematical approach. The next object of this work was the study and analysis of fuzzy cognitive representations (in theory, mathematics, useful in different problems). The following chapters refer to specific examples of training and optimization of fuzzy model of cognitive imaging and artificial neural networks using genetic algorithm and evolutionary concepts.

Το ολοένα και μεγαλύτερο πρόβλημα, της ολοκληρωτικής εξάντλησης των αποθεμάτων του πετρελαίου το οποίο παρουσιάζεται στην βιομηχανία τα τελευταία χρόνια όλο και περισσότερο, έχει σοβαρό αντίκτυπο όπως είναι λογικό και στα παράγωγα αυτού και στην βιομηχανία που τα χρησιμοποιεί σαν πρώτο υλικό. Πιο συγκεκριμένα, στα Δίκτυα Υψηλής Τάσης Εναλλασσόμενου Ρεύματος η μόνωση του εξοπλισμού και των εγκαταστάσεων υψηλής τάσης είναι απαραίτητη προκειμένου να διατηρηθεί η διαφορά δυναμικού μεταξύ των υπό υψηλή τάση αγώγιμων μερών, η μηχανική στήριξη των αγωγών, η ανταλλαγή θερμότητας, κ.ά. Στον τομέα των ηλεκτροτεχνικών υγρών που χρησιμοποιούνται για αυτό τον σκοπό, βασική μας μελέτη ήταν η αντικατάσταση των όποιων μονωτικών υγρών χρησιμοποιούνταν μέχρι τώρα (συνήθως ορυκτελαίων κ.ά.) με έλαια φυτικής προέλευσης τα οποία προφανώς δεν επηρεάζονται από την εξάντληση του πετρελαίου που προ αναφέραμε αλλά και παρουσιάζουν κάποια βασικά πλεονεκτήματα τα οποία παρουσιάζονται στην παρούσα εργασία. Βασική μας ενασχόληση ήταν να περιγραφεί η συμπεριφορά των μονωτικών υγρών μέσω του επιστημονικού κλάδου της αναγνώρισης προτύπων. Πιο συγκεκριμένα , μέσω πειραματικών διαδικασιών που πραγματοποιήθηκαν στο Εργαστήριο Υψηλής Τάσης , έγινε η διάσπαση των υγρών υπό την επίδραση Υψηλής Τάσης και στη συνέχεια η μάθηση και η Εκπαίδευση Τεχνητού Νευρωνικού Δικτύου. Τα τεχνητά νευρωνικά δίκτυα χρησιμοποιήθηκαν στην παρούσα διπλωματική εργασία καθώς μπορούν να περιγράψουν μη γραμμικές σχέσεις μεταξύ εισόδου και εξόδου κάτι το οποίο συμβαίνει στην διάσπαση υγρών διηλεκτρικών υπό υψηλή τάση καθώς και γενικεύοντας μπορούμε να μελετάμε την συμπεριφορά των υγρών υπό την έκθεση πολύ υψηλών τάσεων , όπου στο εργαστήριο θα είναι αδύνατη η εφαρμογή τους. Eκτενέστερα στο 1ο Κεφάλαιο , της διπλωματικής εργασίας ασχολούμαστε με τα μονωτικά υγρά και τις ιδιότητες αυτών. Η χρήση τους είναι απαραίτητη στους μετασχηματιστές ,πυκνωτές , καλώδια , μονωτήρες διέλευσης κ.α. Επίσης , όσον αφορά τα μονωτικά υγρά που χρησιμοποιούνται ευρέως,τα ορυκτέλαια, αναφέρονται οι φυσικές και χημικές ιδιότητες τους και αναλύονται οι ηλεκτρικές τους ιδιότητες. Επιπλέον αναλύονται και οι ιδιότητες των φυσικών εστέρων ως μονωτικό μέσο σε μετασχηματιστές ισχύος και η γενική συμπεριφορά των υγρών υπό την επίδραση υψηλού ηλεκτρικού πεδίου. Στο 2ο Κεφάλαιο αναλύουμε τα τεχνητά νευρωνικά δίκτυα. Η αναγνώριση προτύπων σαν επιστημονικός κλάδος και οι τεχνικές του, όπως αυτή των νευρωνικών δικτύων μας εισάγουν στην δημιουργία συστημάτων τα οποία μπορούμε να δημιουργήσουμε, να εκπαιδεύσουμε και στην συνέχεια ελέγχοντας την αξιοπιστία τους μέσω της στατιστικής, να εργαστούμε πάνω σε αυτά. Η απαρχή των τεχνητών νευρωνικών δικτύων, οι βιολογικοί νευρώνες δηλαδή του εγκεφάλου, είναι η βάση όλων των συστημάτων και εν συνεχεία αφού περιγράφεται η ιστορική αναδρομή των τεχνητών δικτύων αναλύουμε την φύση των δικτύων οπισθοδρόμησης (Back Propagation) όπου είναι και τα δίκτυα που χρησιμοποιήθηκαν στην παρούσα διπλωματική εργασία . Στο 3ο Κεφάλαιο εισάγουμε την δημιουργία τεχνητών νευρωνικών δικτύων στο περιβάλλον Μatlab. Αφού δημιουργήσαμε το κατάλληλο νευρωνικό δίκτυο, και το εκπαιδεύσαμε μελετήσαμε την καταλληλότητα του δικτύου και κατά πόσο αυτό θα μπορεί να μας δώσει αξιόπιστα αποτελέσματα προσομοιώνοντας την πειραματική διαδικασία του εργαστηρίου σε συνθήκες κατάλληλες και ακατάλληλες , εξετάζοντας δηλαδή τα πειραματικά δεδομένα με εισαγωγή στοιχείων κατάλληλα για το εργαστήριο, αλλά και στοιχείων που δεν είναι δυνατή η πραγματοποίηση τους στο εργαστήριο . Στο Κεφάλαιο Συμπεράσματα , εν τέλει αναλύουμε και συνοψίζουμε την καταλληλότητα του πειράματος που πραγματοποιήσαμε καθώς και κατά πόσο το νευρωνικό δίκτυο είναι αξιόπιστο, καθώς και οι λόγοι που το καθιστούν . / The growing problem of complete exhaustion of oil reserves, which occurred in the industry in recent years increasingly has a serious impact as is reasonable to derivatives and in industry as they are used as first material. More specifically, networks Ac high-voltage insulation of equipment and installations of high voltage is necessary in order to maintain the potential difference between the high voltage conductive parts, mechanical support of pipelines, heat exchange.In the volume of liquids used for this purpose, our main study was the replacement of any insulating liquids used so far with vegetable oils which apparently are not affected by the depletion of oil before mentioned but also show some key advantages that occur in this task. Our main preoccupation was to describe the behaviour of insulation liquids through the scientific branch of pattern recognition. More specifically, through experimental procedures carried out in high-voltage Laboratory, became the Division of fluid under the influence of high voltage and then learning and education of artificial Neural Network. Artificial neural networks used in the present study together can describe nonlinear relationships between input and output something that happens in breaking liquid dielectrics under high voltage and whilst generally applying to studying the behavior of liquids in the report very high voltages in the laboratory, where it will be impossible to implement them. Furthermore in 1st Chapter of study we occupate with insulating fluids and properties. Their use is indispensable to transformers, capacitors, cables, insulators, transit etc. Also as regards insulating liquids that are widely used, mineral oils, referred to the physical and chemical properties and the electrical properties. Additional analyses and properties of natural esters as insulating power and instrument transformers in the General behaviour of liquids under high electric field. In the 2nd Chapter analyze the artificial neural networks. The recognition of standards as a scientific discipline and techniques, such as neural networks we introduce in creating systems that we can create, to educate them and then checking the reliability of statistics, to work on them. The beginnings of artificial neural networks, biological neurons of the brain, is the basis of all systems and subsequently after describes the history of artificial networks analyse the nature of networks backwards (Back Propagation) and networks where they are used in this thesis. In the 3rd Chapter introduce the creation of artificial neural networks in Matlab environment. After you have created the appropriate neural network, and then by training have judged the appropriateness of the network and whether it can give reliable results by simulating the experimental procedure of laboratory conditions appropriate and inappropriate, considering that the experimental data with input suitable for laboratory but also items that cannot be made in the laboratory. In chapter Conclusions, ultimately analysing and concluding the suitability of the experiment held and whether the neural network is reliable, and the reasons that make it.

Τα πολυεπίπεδα νευρωνικά δίκτυα έχουν εφαρμοστεί στο παρελθόν με μεγάλη επιτυχία στην πρόβλεψη χρονοσειρών από το χώρο της οικονομίας. Στην πράξη όμως παρουσιάζουν διάφορα προβλήματα όπως: Εύρεση του βέλτιστου υποσυνόλου χαρακτηριστικών και χρησιμοποίησή τους σαν εισόδου. Εύρεση της βέλτιστης δομής (επίπεδα κρυφών νευρώνων, αριθμός κρυφών νευρώνων). Εύρεση των βέλτιστων τιμών των παραμέτρων του αλγορίθμου εκπαίδευσης των τεχνητών νευρωνικών δικτύων (παράμετρος μάθησης, παράμετρος ορμής κλπ.) Σκοπός της διπλωματικής αυτής εργασίας είναι η δημιουργίας μιας υβριδικής μεθόδου γενετικών αλγορίθμων και νευρωνικών δικτύων. Ο γενετικός αλγόριθμος θα είναι υπεύθυνος στην εύρεση του βέλτιστου συνδυασμού των παραπάνω προς αναζήτηση παραμέτρων του νευρωνικού δικτύου. Η υβριδική αυτή μέθοδος θα εφαρμοστεί στο πρόβλημα της πρόβλεψης του δείκτη ASE-20 του ελληνικού χρηματιστηρίου καθώς και στο πρόβλημα της πρόβλεψης της ισοτιμίας δολαρίου-Ευρώ. / In the present thesis we attempted to create a combination of genetic algorithms and neural networks. The proposed methodology was applied to the problem of predicting the exchange rate between EUR/USD and the Greek stock market ASE 20 index. The idea of combining these two techniques for the solving of the above mentioned problems emerged by their innate ability of finding solutions where traditional methods fail. On one hand, neural networks imitate the human brain procedures and on the other, genetic algorithms imitate the physical evolution process. In fact, both techniques copy some of nature’s functions. Artificial neural networks, through educating and generalizing manage to learn a problem and provide solutions to it. Genetic algorithms, through the evolution circle can overcome local minima or maxima and reach global ones. Due to their compact, parallel and distributed format and their ability of learning, neural networks make the solving of complicated problems possible, by dividing them in smaller projects, which are taken over by the neural networks according to their capabilities. Due to the advantages of neural networks and genetic algorithms we created a combination of them to predict the exchange rate between EUR/USD and the Greek stock market ASE 20 index.

Η συνεισφορά της παρούσας διατριβής επικεντρώνεται στην ανάπτυξη και στη Μαθηματική θεμελίωση νέων μεθόδων συζυγών κλίσεων για βελτιστοποίηση χωρίς περιορισμούς και στη μελέτη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων και εφαρμογών τους. Αναπτύσσουμε δύο νέες μεθόδους βελτιστοποίησης, οι οποίες ανήκουν στην κλάση των μεθόδων συζυγών κλίσεων. Οι νέες μέθοδοι βασίζονται σε νέες εξισώσεις της τέμνουσας με ισχυρά θεωρητικά πλεονεκτήματα, όπως η προσέγγιση με μεγαλύτερη ακρίβεια της επιφάνεια της αντικειμενικής συνάρτησης. Επιπλέον, μία σημαντική ιδιότητα και των δύο προτεινόμενων μεθόδων είναι ότι εγγυώνται επαρκή μείωση ανεξάρτητα από την ακρίβεια της γραμμικής αναζήτησης, αποφεύγοντας τις συχνά αναποτελεσματικές επανεκκινήσεις. Επίσης, αποδείξαμε την ολική σύγκλιση των προτεινόμενων μεθόδων για μη κυρτές συναρτήσεις. Με βάση τα αριθμητικά μας αποτελέσματα καταλήγουμε στο συμπέρασμα ότι οι νέες μέθοδοι έχουν πολύ καλή υπολογιστική αποτελεσματικότητα, όπως και καλή ταχύτητα επίλυσης των προβλημάτων, υπερτερώντας σημαντικά των κλασικών μεθόδων συζυγών κλίσεων. Το δεύτερο μέρος της διατριβής είναι αφιερωμένο στην ανάπτυξη και στη μελέτη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων. Προτείνουμε νέες μεθόδους, οι οποίες διατηρούν τα πλεονεκτήματα των κλασικών μεθόδων συζυγών κλίσεων και εξασφαλίζουν τη δημιουργία κατευθύνσεων μείωσης αποφεύγοντας τις συχνά αναποτελεσματικές επανεκκινήσεις. Επιπλέον, αποδείξαμε ότι οι προτεινόμενες μέθοδοι συγκλίνουν ολικά για μη κυρτές συναρτήσεις. Τα αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρήγορη, σταθερότερη και πιο αξιόπιστη σύγκλιση, υπερτερώντας των κλασικών μεθόδων εκπαίδευσης. Η παρουσίαση του ερευνητικού μέρους της διατριβής ολοκληρώνεται με μία νέα μέθοδο εκπαίδευσης νευρωνικών δικτύων, η οποία βασίζεται σε μία καμπυλόγραμμη αναζήτηση. Η μέθοδος χρησιμοποιεί τη BFGS ενημέρωση ελάχιστης μνήμης για τον υπολογισμό των κατευθύνσεων μείωσης, η οποία αντλεί πληροφορία από την ιδιοσύνθεση του προσεγγιστικού Eσσιανού πίνακα, αποφεύγοντας οποιαδήποτε αποθήκευση ή παραγοντοποίηση πίνακα, έτσι ώστε η μέθοδος να μπορεί να εφαρμοστεί για την εκπαίδευση νευρωνικών δικτύων μεγάλης κλίμακας. Ο αλγόριθμος εφαρμόζεται σε προβλήματα από το πεδίο της τεχνητής νοημοσύνης και της βιοπληροφορικής καταγράφοντας πολύ καλά αποτελέσματα. Επίσης, με σκοπό την αύξηση της ικανότητας γενίκευσης των εκπαιδευόμενων δικτύων διερευνήσαμε πειραματικά και αξιολογήσαμε την εφαρμογή τεχνικών μείωσης της διάστασης δεδομένων στην απόδοση της γενίκευσης των τεχνητών νευρωνικών δικτύων σε μεγάλης κλίμακας δεδομένα βιοϊατρικής. / The contribution of this thesis focuses on the development and the Mathematical foundation of new conjugate gradient methods for unconstrained optimization and on the study of new neural network training methods and their applications. We propose two new conjugate gradient methods for unconstrained optimization. The proposed methods are based on new secant equations with strong theoretical advantages i.e. they approximate the surface of the objective function with higher accuracy. Moreover, they have the attractive property of ensuring sufficient descent independent of the accuracy of the line search, avoiding thereby the usual inefficient restarts. Further, we have established the global convergence of the proposed methods for general functions under mild conditions. Based on our numerical results we conclude that our proposed methods outperform classical conjugate gradient methods in both efficiency and robustness. The second part of the thesis is devoted on the study and development of new neural network training algorithms. More specifically, we propose some new training methods which preserve the advantages of classical conjugate gradient methods while simultaneously ensure sufficient descent using any line search, avoiding thereby the usual inefficient restarts. Moreover, we have established the global convergence of our proposed methods for general functions. Encouraging numerical experiments on famous benchmarks verify that the presented methods provide fast, stable and reliable convergence, outperforming classical training methods. Finally, the presentation of the research work of this dissertation is fulfilled with the presentation of a new curvilinear algorithm for training large neural networks which is based on the analysis of the eigenstructure of the memoryless BFGS matrices. The proposed method preserves the strong convergence properties provided by the quasi-Newton direction while simultaneously it exploits the nonconvexity of the error surface through the computation of the negative curvature direction without using any storage and matrix factorization. Our numerical experiments have shown that the proposed method outperforms other popular training methods on famous benchmarks. Furthermore, for improving the generalization capability of trained ANNs, we explore the incorporation of several dimensionality reduction techniques as a pre-processing step. To this end, we have experimentally evaluated the application of dimensional reduction techniques for increasing the generalization capability of neural network in large biomedical datasets.

Η παρούσα διατριβή ασχολείται με την μελέτη και την εκπαίδευση Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ) με μεθόδους Βελτιστοποίησης και τις εφαρμογές αυτών. Η παρουσίαση των επιμέρους θεμάτων και αποτελεσμάτων της διατριβής αυτής οργανώνεται ως εξής : Στο κεφάλαιο 1 παρέχουμε τους βασικούς ορισμούς και περιγράφουμε τη δομή και τη λειτουργία των ΤΝΔ. Στη συνέχεια, παρουσιάζουμε μια συντομή ιστορική αναδρομή, αναφέρουμε μερικά από τα πλεονεκτήματα της χρήσης των ΤΝΔ και συνοψίζουμε τους κύριους τομείς όπου τα ΤΝΔ εφαρμόζονται. Τέλος, περιγράφουμε τις βασικές κατηγορίες μεθόδων εκπαίδευσης. Το κεφάλαιο 2 αφιερώνεται στη μαθηματική θεμελίωση της εκπαίδευσης ΤΝΔ. Περιγράφουμε τη γνωστή μέθοδο της οπισθοδρομικής διάδοσης του σφάλματος (Backpropagation) και δίνουμε αποδείξεις σύγκλισης για μια κλάση μεθόδων εκπαίδευσης που χρησιμοποιούν μονοδιάστατες ελαχιστοποιήσεις. Στο τέλος του κεφαλαίου παρουσιάζουμε κάποια θεωρητικά αποτελέσματα σχετικά με την ικανότητα των ΤΝΔ να προσεγγίζουν άγνωστες συναρτήσεις. Στο κεφάλαιο 3 προτείνουμε μια νέα κλάση μεθόδων εκπαίδευσης ΤΝΔ και αποδεικνύουμε ότι αυτές έχουν την ιδιότητα της ευρείας σύγκλισης , δηλαδή συγκλίνουν σε ένα ελάχιστο της αντικειμενικής συνάρτησης σχεδόν από οποιαδήποτε αρχική συνθήκη. Τα αποτελέσματα μας δείχνουν ότι η προτεινόμενη τεχνική μπορεί να βελτιώσει οποιαδήποτε μέθοδο της κλάσης της οπισθοδρομικής διάδοσης του σφάλματος. Στο επόμενο κεφάλαιο παρουσιάζουμε τη γνωστή μέθοδο Quick-Prop και μελετάμε τις ιδιότητες σύγκλισής της. Με βάση το θεωρητικό αποτέλεσμα που προκύπτει, κατασκευάζουμε μια νέα τροποποίηση της μεθόδου Quick-Prop, που έχει την ιδιότητα της ευρείας σύγκλισης και βελτιώνει σημαντικά την κλασίκη Quick-Prop μέθοδο. Στα επόμενα δύο κεφάλαια μελετάμε την εκπαίδευση ΤΝΔ με μεθόδους ολικής Βελτιστοποίησης. Πιο συγκεκριμένα, στο Κεφάλαιο 5 προτείνουμε και μελετάμε διεξοδικά μια νέα κλάση μεθόδων που είναι ικανές να εκπαιδεύσουν ΤΝΔ με περιορισμένα ακέραια βάρη. Στη συνέχεια, επεκτείνουμε τις μεθόδους αυτές έτσι ώστε να υλοποιούνται σε παράλληλους υπολογιστές και να εκπαιδεύουν ΤΝΔ με χρήση συναρτήσεων κατωφλιών. Το κεφάλαιο 6 πραγματεύεται την εφαρμογή γνωστών μεθόδων όπως οι Γενετικοί Αλγόριθμοι, η μέθοδος της προσομοιωμένης ανόπτησης ( Simulated Annealing ) και η μέθοδος βελτιστοποίησης με σμήνος σωματιδίων (Particle Swarm Optimization) στην εκπαίδευση ΤΝΔ. Επίσης, παρουσιάζουμε νέους μετασχηματισμούς της αντικειμενικής συνάρτησης με σκοπό την σταδιακή εξάλειψη των τοπικών ελαχίστων της. Στο κεφάλαιο 7 κάνουμε μια σύντομη ανασκόπηση της στοχαστικής μεθόδου της πιο απότομης κλίσης (stochastic gradient descent) για την εκπαίδευση ΤΝΔ ανά πρότυπο εισόδου και προτείνουμε μια νέα τέτοια μέθοδο . Η νέα μέθοδος συγκρίνεται με άλλες γνωστές μεθόδους και τα πειράματά μας δείχνουν ότι υπερτερεί. Η παρουσίαση του ερευνητικού έργου για αυτή τη διατριβή ολοκληρώνεται με το Κεφάλαιο 8, όπου προτείνουμε και μελετάμε εκτενώς μη μονότονες μεθόδους εκπαίδευσης ΤΝΔ. Η τεχνική που προτείνουμε μπορεί να εφαρμοστεί σε κάθε μέθοδο της κλάσης της οπισθοδρομικής διάδοσης του σφάλματος με αποτέλεσμα η τροποποιημένη μέθοδος να έχει την ικανότητα , πολλές φορές, να αποφεύγει τοπικά ελάχιστα της αντικειμενικής συνάρτησης. Η παρουσίαση της διατριβής ολοκληρώνεται με το κεφάλαιο 9 και δύο Παραρτήματα. Το Κεφάλαιο 9 περιέχει τα γενικά συμπεράσματα της διατριβής. Στο παράρτημα Α παρουσιάζουμε συνοπτικά μερικά από τα προβλήματα εκπαίδευσης που εξετάσαμε στα προηγούμενα κεφάλαια και τέλος στο Παράρτημα Β δίνουμε την απόδειξη της μεθόδου της οπισθοδρομικής διάδοσης του σφάλματος. / -

Σε αυτή την εργασία, μελετάμε την κλάση των Υψηλής Τάξης Νευρωνικών Δικτύων και ειδικότερα των Πι—Σίγμα Νευρωνικών Δικτύων. Η απόδοση των Πι—Σίγμα Νευρωνικών Δικτύων αξιολογείται με την εφαρμογή τους σε διάφορα πολύ γνωστά χαρακτηριστικά προβλήματα εκπαίδευσης νευρωνικών δικτύων. Στα πειράματα που πραγματοποιήθηκαν, για την εκπαίδευση των Πι—Σίγμα Νευρωνικών Δικτύων υλοποιήθηκαν και εφαρμόστηκαν Σειριακοί και Παράλληλοι/Κατανεμημένοι Εξελικτικοί Αλγόριθμοι. Πιο συγκεκριμένα χρησιμοποιήθηκαν οι σειριακές καθώς και οι παράλληλες/κατανεμημένες εκδοχές των Διαφοροεξελικτικών Αλγόριθμων. Η προτεινόμενη μεθοδολογία βασίστηκε σε αυτές τις εκδοχές και εφαρμόστηκε για την εκπαίδευση των Πι—Σίγμα δικτύων χρησιμοποιώντας συναρτήσεις ενεργοποίησης «κατώφλια». Επιπρόσθετα, όλα τα βάρη και οι μεροληψίες των δικτύων περιορίστηκαν σε ένα μικρό εύρος ακέραιων αριθμών, στο διάστημα [-32, 32]. Συνεπώς, τα εκπαιδευμένα Πι—Σίγμα νευρωνικά δίκτυα μπορούν να αναπαρασταθούν με ακεραίους των 6-bits. Αυτής της μορφής τα δίκτυα είναι πιο κατάλληλα για την εφαρμογή τους σε «υλικό» (hardware), από νευρωνικά δίκτυα με πραγματικά βάρη. Τα πειραματικά αποτελέσματα μας δείχνουν ότι η διαδικασία εκπαίδευσης είναι γρήγορη, σταθερή και αξιόπιστη. Ακόμα η εφαρμογή των παράλληλων/κατανεμημένων Εξελικτικών Αλγορίθμων για την εκπαίδευση των Πι—Σίγμα δικτύων μας επιδεικνύει αρκετά καλές ικανότητες γενίκευσης των εκπαιδευμένων δικτύων καθώς και προσφέρει επιτάχυνση στην διαδικασία εκπαίδευσης τους. / In this contribution, we study the class of Higher-Order Neural Networks and especially the Pi-Sigma Networks. The performance of Pi-Sigma Networks is evaluated through several well known neural network training benchmarks. In the experiments reported here, Evolutionary Algorithms and Parallel/Distributed Evolutionary Algorithms are implemented for Pi-Sigma neural networks training. More specifically the serial as well as a parallel/distributed version of the Differential Evolution have been employed. The proposed approach is applied to train Pi-Sigma networks using threshold activation functions. Moreover, the weights and biases were confined to a narrow band of integers, constrained in the range [-32, 32]. Thus the trained Pi-Sigma neural networks can be represented by just 6 bits. Such networks are better suited for hardware implementation than the real weight ones. Experimental results suggest that this training process is fast, stable and reliable and the trained Pi-Sigma networks, with both serial and parallel/distributed algorithms, exhibited good generalization capabilities. Furthermore, the usage of a distributed version of the Differential Evolution, has demonstrated a speedup of the training process.