Τα τεχνητά νευρωνικά δίκτυα είναι μια μορφή τεχνητής νοημοσύνης, τα οποία αποτελούνται από ένα σύνολο απλών, διασυνδεδεμένων και προσαρμοστικών μονάδων, οι οποίες συνιστούν ένα παράλληλο πολύπλοκο υπολογιστικό μοντέλο. Μέχρι σήμερα έχουν εφαρμοστεί επιτυχημένα σε ένα ευρύ φάσμα περιοχών για την επίλυση προβλημάτων ταξινόμησης ή πρόβλεψης, όπως η βιολογία, η ιατρική, η γεολογία, η φυσική κ.ά. Σε αυτήν την εργασία θα ασχοληθούμε με την εκπαίδευση τεχνητών νευρωνικών δικτύων ανά πρότυπο εισόδου. Αυτή η προσέγγιση θεωρείται κατεξοχήν κατάλληλη για περιπτώσεις όπου η εκπαίδευση διαθέτει σημαντικό χρόνο και απαιτεί μεγάλο αποθηκευτικό χώρο, όπως συμβαίνει συχνά όταν έχουμε μεγάλα σύνολα προτύπων ή/και δίκτυα. Μέχρι σήμερα έχουν προταθεί πολλοί αλγόριθμοι εκπαίδευσης νευρωνικών δικτύων, καλύπτοντας ο ένας τα κενά του άλλου, σχεδιασμένοι ώστε να επιλύουν τα προβλήματα που παλιότερα ήταν δύσκολο να επιλυθούν. Στόχος της εργασίας είναι η εκτενής ανάλυση και αξιολόγηση των αλγορίθμων εκπαίδευσης καθώς και η ικανότητα γενίκευσης των εκπαιδευόμενων δικτύων σε μια ποικιλία προβλημάτων από τους τομείς τις ιατρικής και της βιοπληροφορικής. Επίσης επηρεασμένοι από τη δυνατότητα για την επίτευξη καλύτερης απόδοσης θα μελετήσουμε την συμβολή των νευρωνικών δικτύων στη μηχανική μάθηση. Συγκεκριμένα θα αποτιμήσουμε τη συνεισφορά των νευρωνικών δικτύων στη δημιουργία αξιόπιστων συστημάτων αποφάσεων χρησιμοποιώντας τεχνικές συνδυασμού ταξινομητών. Τέλος, θα μελετήσουμε τις δυνατότητες συνδυασμού τους με διάφορες άλλες κατηγορίες ταξινομητών μηχανικής μάθησης για την ανάπτυξη ισχυρότερων υβριδικών συστημάτων εξαγωγής πληροφορίας. / Literature review corroborates that artificial neural networks are being successfully applied in a variety of regression and classification problems. Due of their ability to exploit the tolerance for imprecision and uncertainty in real-world problems and their robustness and parallelism, artificial neural networks have been increasingly used in many applications. It is well-known that the procedure of training a neural network is highly consistent with unconstrained optimization theory and many attempts have been made to speed up this process. In particular, various algorithms motivated from numerical optimization theory have been applied for accelerating neural network training. Moreover, commonly known heuristics approaches such as momentum or variable learning rate lead to a significant improvement. In this work we compare the performance of classical gradient descent methods and examine the effect of incorporating into them a variable learning rate and an adaptive nonmonotone strategy. We perform a large scale study on the behavior of the presented algorithms and identify their possible advantages. Additionally, we propose two modifications of two well-known second order algorithms aiming to overcome the limitations of the original methods.

Στην εργασία αυτή, αναφερθήκαμε στους εξελικτικούς αλγορίθμους, στον διαφορο-εξελικτικό αλγόριθμο ενώ μελετήσαμε πιο αναλυτικά τον γενετικό αλγόριθμο (θεωρητική και μαθηματική μελέτη). Στην συνέχεια, αναλύθηκαν τα τεχνητά νευρωνικά δίκτυα, η δομή τους, το θεωρητικό τους υπόβαθρο και έγινε μια μαθηματική προσέγγισή τους. Το επόμενο αντικείμενο αυτής της εργασίας ήταν η μελέτη και ανάλυση των ασαφών γνωστικών απεικονίσεων (θεωρητικά, μαθηματικά, χρησιμότητά τους σε διάφορα προβλήματα). Στα επόμενα κεφάλαια γίνεται αναφορά σε συγκεκριμένα παραδείγματα εκπαίδευσης και βελτιστοποίησης του μοντέλου των ασαφών γνωστικών απεικονίσεων και των τεχνητών νευρωνικών δικτύων χρησιμοποιώντας τον γενετικό αλγόριθμο και εξελικτικές έννοιες. / In this work, we discussed the evolutionary algorithms, the differentiation evolutionary algorithm and studied in more detail the genetic algorithm (theoretical and mathematical study). Then analyzed the artificial neural networks, their structure, their theoretical background and became a mathematical approach. The next object of this work was the study and analysis of fuzzy cognitive representations (in theory, mathematics, useful in different problems). The following chapters refer to specific examples of training and optimization of fuzzy model of cognitive imaging and artificial neural networks using genetic algorithm and evolutionary concepts.

Το ολοένα και μεγαλύτερο πρόβλημα, της ολοκληρωτικής εξάντλησης των αποθεμάτων του πετρελαίου το οποίο παρουσιάζεται στην βιομηχανία τα τελευταία χρόνια όλο και περισσότερο, έχει σοβαρό αντίκτυπο όπως είναι λογικό και στα παράγωγα αυτού και στην βιομηχανία που τα χρησιμοποιεί σαν πρώτο υλικό. Πιο συγκεκριμένα, στα Δίκτυα Υψηλής Τάσης Εναλλασσόμενου Ρεύματος η μόνωση του εξοπλισμού και των εγκαταστάσεων υψηλής τάσης είναι απαραίτητη προκειμένου να διατηρηθεί η διαφορά δυναμικού μεταξύ των υπό υψηλή τάση αγώγιμων μερών, η μηχανική στήριξη των αγωγών, η ανταλλαγή θερμότητας, κ.ά. Στον τομέα των ηλεκτροτεχνικών υγρών που χρησιμοποιούνται για αυτό τον σκοπό, βασική μας μελέτη ήταν η αντικατάσταση των όποιων μονωτικών υγρών χρησιμοποιούνταν μέχρι τώρα (συνήθως ορυκτελαίων κ.ά.) με έλαια φυτικής προέλευσης τα οποία προφανώς δεν επηρεάζονται από την εξάντληση του πετρελαίου που προ αναφέραμε αλλά και παρουσιάζουν κάποια βασικά πλεονεκτήματα τα οποία παρουσιάζονται στην παρούσα εργασία. Βασική μας ενασχόληση ήταν να περιγραφεί η συμπεριφορά των μονωτικών υγρών μέσω του επιστημονικού κλάδου της αναγνώρισης προτύπων. Πιο συγκεκριμένα , μέσω πειραματικών διαδικασιών που πραγματοποιήθηκαν στο Εργαστήριο Υψηλής Τάσης , έγινε η διάσπαση των υγρών υπό την επίδραση Υψηλής Τάσης και στη συνέχεια η μάθηση και η Εκπαίδευση Τεχνητού Νευρωνικού Δικτύου. Τα τεχνητά νευρωνικά δίκτυα χρησιμοποιήθηκαν στην παρούσα διπλωματική εργασία καθώς μπορούν να περιγράψουν μη γραμμικές σχέσεις μεταξύ εισόδου και εξόδου κάτι το οποίο συμβαίνει στην διάσπαση υγρών διηλεκτρικών υπό υψηλή τάση καθώς και γενικεύοντας μπορούμε να μελετάμε την συμπεριφορά των υγρών υπό την έκθεση πολύ υψηλών τάσεων , όπου στο εργαστήριο θα είναι αδύνατη η εφαρμογή τους. Eκτενέστερα στο 1ο Κεφάλαιο , της διπλωματικής εργασίας ασχολούμαστε με τα μονωτικά υγρά και τις ιδιότητες αυτών. Η χρήση τους είναι απαραίτητη στους μετασχηματιστές ,πυκνωτές , καλώδια , μονωτήρες διέλευσης κ.α. Επίσης , όσον αφορά τα μονωτικά υγρά που χρησιμοποιούνται ευρέως,τα ορυκτέλαια, αναφέρονται οι φυσικές και χημικές ιδιότητες τους και αναλύονται οι ηλεκτρικές τους ιδιότητες. Επιπλέον αναλύονται και οι ιδιότητες των φυσικών εστέρων ως μονωτικό μέσο σε μετασχηματιστές ισχύος και η γενική συμπεριφορά των υγρών υπό την επίδραση υψηλού ηλεκτρικού πεδίου. Στο 2ο Κεφάλαιο αναλύουμε τα τεχνητά νευρωνικά δίκτυα. Η αναγνώριση προτύπων σαν επιστημονικός κλάδος και οι τεχνικές του, όπως αυτή των νευρωνικών δικτύων μας εισάγουν στην δημιουργία συστημάτων τα οποία μπορούμε να δημιουργήσουμε, να εκπαιδεύσουμε και στην συνέχεια ελέγχοντας την αξιοπιστία τους μέσω της στατιστικής, να εργαστούμε πάνω σε αυτά. Η απαρχή των τεχνητών νευρωνικών δικτύων, οι βιολογικοί νευρώνες δηλαδή του εγκεφάλου, είναι η βάση όλων των συστημάτων και εν συνεχεία αφού περιγράφεται η ιστορική αναδρομή των τεχνητών δικτύων αναλύουμε την φύση των δικτύων οπισθοδρόμησης (Back Propagation) όπου είναι και τα δίκτυα που χρησιμοποιήθηκαν στην παρούσα διπλωματική εργασία . Στο 3ο Κεφάλαιο εισάγουμε την δημιουργία τεχνητών νευρωνικών δικτύων στο περιβάλλον Μatlab. Αφού δημιουργήσαμε το κατάλληλο νευρωνικό δίκτυο, και το εκπαιδεύσαμε μελετήσαμε την καταλληλότητα του δικτύου και κατά πόσο αυτό θα μπορεί να μας δώσει αξιόπιστα αποτελέσματα προσομοιώνοντας την πειραματική διαδικασία του εργαστηρίου σε συνθήκες κατάλληλες και ακατάλληλες , εξετάζοντας δηλαδή τα πειραματικά δεδομένα με εισαγωγή στοιχείων κατάλληλα για το εργαστήριο, αλλά και στοιχείων που δεν είναι δυνατή η πραγματοποίηση τους στο εργαστήριο . Στο Κεφάλαιο Συμπεράσματα , εν τέλει αναλύουμε και συνοψίζουμε την καταλληλότητα του πειράματος που πραγματοποιήσαμε καθώς και κατά πόσο το νευρωνικό δίκτυο είναι αξιόπιστο, καθώς και οι λόγοι που το καθιστούν . / The growing problem of complete exhaustion of oil reserves, which occurred in the industry in recent years increasingly has a serious impact as is reasonable to derivatives and in industry as they are used as first material. More specifically, networks Ac high-voltage insulation of equipment and installations of high voltage is necessary in order to maintain the potential difference between the high voltage conductive parts, mechanical support of pipelines, heat exchange.In the volume of liquids used for this purpose, our main study was the replacement of any insulating liquids used so far with vegetable oils which apparently are not affected by the depletion of oil before mentioned but also show some key advantages that occur in this task. Our main preoccupation was to describe the behaviour of insulation liquids through the scientific branch of pattern recognition. More specifically, through experimental procedures carried out in high-voltage Laboratory, became the Division of fluid under the influence of high voltage and then learning and education of artificial Neural Network. Artificial neural networks used in the present study together can describe nonlinear relationships between input and output something that happens in breaking liquid dielectrics under high voltage and whilst generally applying to studying the behavior of liquids in the report very high voltages in the laboratory, where it will be impossible to implement them. Furthermore in 1st Chapter of study we occupate with insulating fluids and properties. Their use is indispensable to transformers, capacitors, cables, insulators, transit etc. Also as regards insulating liquids that are widely used, mineral oils, referred to the physical and chemical properties and the electrical properties. Additional analyses and properties of natural esters as insulating power and instrument transformers in the General behaviour of liquids under high electric field. In the 2nd Chapter analyze the artificial neural networks. The recognition of standards as a scientific discipline and techniques, such as neural networks we introduce in creating systems that we can create, to educate them and then checking the reliability of statistics, to work on them. The beginnings of artificial neural networks, biological neurons of the brain, is the basis of all systems and subsequently after describes the history of artificial networks analyse the nature of networks backwards (Back Propagation) and networks where they are used in this thesis. In the 3rd Chapter introduce the creation of artificial neural networks in Matlab environment. After you have created the appropriate neural network, and then by training have judged the appropriateness of the network and whether it can give reliable results by simulating the experimental procedure of laboratory conditions appropriate and inappropriate, considering that the experimental data with input suitable for laboratory but also items that cannot be made in the laboratory. In chapter Conclusions, ultimately analysing and concluding the suitability of the experiment held and whether the neural network is reliable, and the reasons that make it.

Τα πολυεπίπεδα νευρωνικά δίκτυα έχουν εφαρμοστεί στο παρελθόν με μεγάλη επιτυχία στην πρόβλεψη χρονοσειρών από το χώρο της οικονομίας. Στην πράξη όμως παρουσιάζουν διάφορα προβλήματα όπως: Εύρεση του βέλτιστου υποσυνόλου χαρακτηριστικών και χρησιμοποίησή τους σαν εισόδου. Εύρεση της βέλτιστης δομής (επίπεδα κρυφών νευρώνων, αριθμός κρυφών νευρώνων). Εύρεση των βέλτιστων τιμών των παραμέτρων του αλγορίθμου εκπαίδευσης των τεχνητών νευρωνικών δικτύων (παράμετρος μάθησης, παράμετρος ορμής κλπ.) Σκοπός της διπλωματικής αυτής εργασίας είναι η δημιουργίας μιας υβριδικής μεθόδου γενετικών αλγορίθμων και νευρωνικών δικτύων. Ο γενετικός αλγόριθμος θα είναι υπεύθυνος στην εύρεση του βέλτιστου συνδυασμού των παραπάνω προς αναζήτηση παραμέτρων του νευρωνικού δικτύου. Η υβριδική αυτή μέθοδος θα εφαρμοστεί στο πρόβλημα της πρόβλεψης του δείκτη ASE-20 του ελληνικού χρηματιστηρίου καθώς και στο πρόβλημα της πρόβλεψης της ισοτιμίας δολαρίου-Ευρώ. / In the present thesis we attempted to create a combination of genetic algorithms and neural networks. The proposed methodology was applied to the problem of predicting the exchange rate between EUR/USD and the Greek stock market ASE 20 index. The idea of combining these two techniques for the solving of the above mentioned problems emerged by their innate ability of finding solutions where traditional methods fail. On one hand, neural networks imitate the human brain procedures and on the other, genetic algorithms imitate the physical evolution process. In fact, both techniques copy some of nature’s functions. Artificial neural networks, through educating and generalizing manage to learn a problem and provide solutions to it. Genetic algorithms, through the evolution circle can overcome local minima or maxima and reach global ones. Due to their compact, parallel and distributed format and their ability of learning, neural networks make the solving of complicated problems possible, by dividing them in smaller projects, which are taken over by the neural networks according to their capabilities. Due to the advantages of neural networks and genetic algorithms we created a combination of them to predict the exchange rate between EUR/USD and the Greek stock market ASE 20 index.

Η συνεισφορά της παρούσας διατριβής επικεντρώνεται στην ανάπτυξη και στη Μαθηματική θεμελίωση νέων μεθόδων συζυγών κλίσεων για βελτιστοποίηση χωρίς περιορισμούς και στη μελέτη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων και εφαρμογών τους. Αναπτύσσουμε δύο νέες μεθόδους βελτιστοποίησης, οι οποίες ανήκουν στην κλάση των μεθόδων συζυγών κλίσεων. Οι νέες μέθοδοι βασίζονται σε νέες εξισώσεις της τέμνουσας με ισχυρά θεωρητικά πλεονεκτήματα, όπως η προσέγγιση με μεγαλύτερη ακρίβεια της επιφάνεια της αντικειμενικής συνάρτησης. Επιπλέον, μία σημαντική ιδιότητα και των δύο προτεινόμενων μεθόδων είναι ότι εγγυώνται επαρκή μείωση ανεξάρτητα από την ακρίβεια της γραμμικής αναζήτησης, αποφεύγοντας τις συχνά αναποτελεσματικές επανεκκινήσεις. Επίσης, αποδείξαμε την ολική σύγκλιση των προτεινόμενων μεθόδων για μη κυρτές συναρτήσεις. Με βάση τα αριθμητικά μας αποτελέσματα καταλήγουμε στο συμπέρασμα ότι οι νέες μέθοδοι έχουν πολύ καλή υπολογιστική αποτελεσματικότητα, όπως και καλή ταχύτητα επίλυσης των προβλημάτων, υπερτερώντας σημαντικά των κλασικών μεθόδων συζυγών κλίσεων. Το δεύτερο μέρος της διατριβής είναι αφιερωμένο στην ανάπτυξη και στη μελέτη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων. Προτείνουμε νέες μεθόδους, οι οποίες διατηρούν τα πλεονεκτήματα των κλασικών μεθόδων συζυγών κλίσεων και εξασφαλίζουν τη δημιουργία κατευθύνσεων μείωσης αποφεύγοντας τις συχνά αναποτελεσματικές επανεκκινήσεις. Επιπλέον, αποδείξαμε ότι οι προτεινόμενες μέθοδοι συγκλίνουν ολικά για μη κυρτές συναρτήσεις. Τα αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρήγορη, σταθερότερη και πιο αξιόπιστη σύγκλιση, υπερτερώντας των κλασικών μεθόδων εκπαίδευσης. Η παρουσίαση του ερευνητικού μέρους της διατριβής ολοκληρώνεται με μία νέα μέθοδο εκπαίδευσης νευρωνικών δικτύων, η οποία βασίζεται σε μία καμπυλόγραμμη αναζήτηση. Η μέθοδος χρησιμοποιεί τη BFGS ενημέρωση ελάχιστης μνήμης για τον υπολογισμό των κατευθύνσεων μείωσης, η οποία αντλεί πληροφορία από την ιδιοσύνθεση του προσεγγιστικού Eσσιανού πίνακα, αποφεύγοντας οποιαδήποτε αποθήκευση ή παραγοντοποίηση πίνακα, έτσι ώστε η μέθοδος να μπορεί να εφαρμοστεί για την εκπαίδευση νευρωνικών δικτύων μεγάλης κλίμακας. Ο αλγόριθμος εφαρμόζεται σε προβλήματα από το πεδίο της τεχνητής νοημοσύνης και της βιοπληροφορικής καταγράφοντας πολύ καλά αποτελέσματα. Επίσης, με σκοπό την αύξηση της ικανότητας γενίκευσης των εκπαιδευόμενων δικτύων διερευνήσαμε πειραματικά και αξιολογήσαμε την εφαρμογή τεχνικών μείωσης της διάστασης δεδομένων στην απόδοση της γενίκευσης των τεχνητών νευρωνικών δικτύων σε μεγάλης κλίμακας δεδομένα βιοϊατρικής. / The contribution of this thesis focuses on the development and the Mathematical foundation of new conjugate gradient methods for unconstrained optimization and on the study of new neural network training methods and their applications. We propose two new conjugate gradient methods for unconstrained optimization. The proposed methods are based on new secant equations with strong theoretical advantages i.e. they approximate the surface of the objective function with higher accuracy. Moreover, they have the attractive property of ensuring sufficient descent independent of the accuracy of the line search, avoiding thereby the usual inefficient restarts. Further, we have established the global convergence of the proposed methods for general functions under mild conditions. Based on our numerical results we conclude that our proposed methods outperform classical conjugate gradient methods in both efficiency and robustness. The second part of the thesis is devoted on the study and development of new neural network training algorithms. More specifically, we propose some new training methods which preserve the advantages of classical conjugate gradient methods while simultaneously ensure sufficient descent using any line search, avoiding thereby the usual inefficient restarts. Moreover, we have established the global convergence of our proposed methods for general functions. Encouraging numerical experiments on famous benchmarks verify that the presented methods provide fast, stable and reliable convergence, outperforming classical training methods. Finally, the presentation of the research work of this dissertation is fulfilled with the presentation of a new curvilinear algorithm for training large neural networks which is based on the analysis of the eigenstructure of the memoryless BFGS matrices. The proposed method preserves the strong convergence properties provided by the quasi-Newton direction while simultaneously it exploits the nonconvexity of the error surface through the computation of the negative curvature direction without using any storage and matrix factorization. Our numerical experiments have shown that the proposed method outperforms other popular training methods on famous benchmarks. Furthermore, for improving the generalization capability of trained ANNs, we explore the incorporation of several dimensionality reduction techniques as a pre-processing step. To this end, we have experimentally evaluated the application of dimensional reduction techniques for increasing the generalization capability of neural network in large biomedical datasets.

Η παρούσα διατριβή ασχολείται με την μελέτη και την εκπαίδευση Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ) με μεθόδους Βελτιστοποίησης και τις εφαρμογές αυτών. Η παρουσίαση των επιμέρους θεμάτων και αποτελεσμάτων της διατριβής αυτής οργανώνεται ως εξής : Στο κεφάλαιο 1 παρέχουμε τους βασικούς ορισμούς και περιγράφουμε τη δομή και τη λειτουργία των ΤΝΔ. Στη συνέχεια, παρουσιάζουμε μια συντομή ιστορική αναδρομή, αναφέρουμε μερικά από τα πλεονεκτήματα της χρήσης των ΤΝΔ και συνοψίζουμε τους κύριους τομείς όπου τα ΤΝΔ εφαρμόζονται. Τέλος, περιγράφουμε τις βασικές κατηγορίες μεθόδων εκπαίδευσης. Το κεφάλαιο 2 αφιερώνεται στη μαθηματική θεμελίωση της εκπαίδευσης ΤΝΔ. Περιγράφουμε τη γνωστή μέθοδο της οπισθοδρομικής διάδοσης του σφάλματος (Backpropagation) και δίνουμε αποδείξεις σύγκλισης για μια κλάση μεθόδων εκπαίδευσης που χρησιμοποιούν μονοδιάστατες ελαχιστοποιήσεις. Στο τέλος του κεφαλαίου παρουσιάζουμε κάποια θεωρητικά αποτελέσματα σχετικά με την ικανότητα των ΤΝΔ να προσεγγίζουν άγνωστες συναρτήσεις. Στο κεφάλαιο 3 προτείνουμε μια νέα κλάση μεθόδων εκπαίδευσης ΤΝΔ και αποδεικνύουμε ότι αυτές έχουν την ιδιότητα της ευρείας σύγκλισης , δηλαδή συγκλίνουν σε ένα ελάχιστο της αντικειμενικής συνάρτησης σχεδόν από οποιαδήποτε αρχική συνθήκη. Τα αποτελέσματα μας δείχνουν ότι η προτεινόμενη τεχνική μπορεί να βελτιώσει οποιαδήποτε μέθοδο της κλάσης της οπισθοδρομικής διάδοσης του σφάλματος. Στο επόμενο κεφάλαιο παρουσιάζουμε τη γνωστή μέθοδο Quick-Prop και μελετάμε τις ιδιότητες σύγκλισής της. Με βάση το θεωρητικό αποτέλεσμα που προκύπτει, κατασκευάζουμε μια νέα τροποποίηση της μεθόδου Quick-Prop, που έχει την ιδιότητα της ευρείας σύγκλισης και βελτιώνει σημαντικά την κλασίκη Quick-Prop μέθοδο. Στα επόμενα δύο κεφάλαια μελετάμε την εκπαίδευση ΤΝΔ με μεθόδους ολικής Βελτιστοποίησης. Πιο συγκεκριμένα, στο Κεφάλαιο 5 προτείνουμε και μελετάμε διεξοδικά μια νέα κλάση μεθόδων που είναι ικανές να εκπαιδεύσουν ΤΝΔ με περιορισμένα ακέραια βάρη. Στη συνέχεια, επεκτείνουμε τις μεθόδους αυτές έτσι ώστε να υλοποιούνται σε παράλληλους υπολογιστές και να εκπαιδεύουν ΤΝΔ με χρήση συναρτήσεων κατωφλιών. Το κεφάλαιο 6 πραγματεύεται την εφαρμογή γνωστών μεθόδων όπως οι Γενετικοί Αλγόριθμοι, η μέθοδος της προσομοιωμένης ανόπτησης ( Simulated Annealing ) και η μέθοδος βελτιστοποίησης με σμήνος σωματιδίων (Particle Swarm Optimization) στην εκπαίδευση ΤΝΔ. Επίσης, παρουσιάζουμε νέους μετασχηματισμούς της αντικειμενικής συνάρτησης με σκοπό την σταδιακή εξάλειψη των τοπικών ελαχίστων της. Στο κεφάλαιο 7 κάνουμε μια σύντομη ανασκόπηση της στοχαστικής μεθόδου της πιο απότομης κλίσης (stochastic gradient descent) για την εκπαίδευση ΤΝΔ ανά πρότυπο εισόδου και προτείνουμε μια νέα τέτοια μέθοδο . Η νέα μέθοδος συγκρίνεται με άλλες γνωστές μεθόδους και τα πειράματά μας δείχνουν ότι υπερτερεί. Η παρουσίαση του ερευνητικού έργου για αυτή τη διατριβή ολοκληρώνεται με το Κεφάλαιο 8, όπου προτείνουμε και μελετάμε εκτενώς μη μονότονες μεθόδους εκπαίδευσης ΤΝΔ. Η τεχνική που προτείνουμε μπορεί να εφαρμοστεί σε κάθε μέθοδο της κλάσης της οπισθοδρομικής διάδοσης του σφάλματος με αποτέλεσμα η τροποποιημένη μέθοδος να έχει την ικανότητα , πολλές φορές, να αποφεύγει τοπικά ελάχιστα της αντικειμενικής συνάρτησης. Η παρουσίαση της διατριβής ολοκληρώνεται με το κεφάλαιο 9 και δύο Παραρτήματα. Το Κεφάλαιο 9 περιέχει τα γενικά συμπεράσματα της διατριβής. Στο παράρτημα Α παρουσιάζουμε συνοπτικά μερικά από τα προβλήματα εκπαίδευσης που εξετάσαμε στα προηγούμενα κεφάλαια και τέλος στο Παράρτημα Β δίνουμε την απόδειξη της μεθόδου της οπισθοδρομικής διάδοσης του σφάλματος. / -

Σε αυτή την εργασία, μελετάμε την κλάση των Υψηλής Τάξης Νευρωνικών Δικτύων και ειδικότερα των Πι—Σίγμα Νευρωνικών Δικτύων. Η απόδοση των Πι—Σίγμα Νευρωνικών Δικτύων αξιολογείται με την εφαρμογή τους σε διάφορα πολύ γνωστά χαρακτηριστικά προβλήματα εκπαίδευσης νευρωνικών δικτύων. Στα πειράματα που πραγματοποιήθηκαν, για την εκπαίδευση των Πι—Σίγμα Νευρωνικών Δικτύων υλοποιήθηκαν και εφαρμόστηκαν Σειριακοί και Παράλληλοι/Κατανεμημένοι Εξελικτικοί Αλγόριθμοι. Πιο συγκεκριμένα χρησιμοποιήθηκαν οι σειριακές καθώς και οι παράλληλες/κατανεμημένες εκδοχές των Διαφοροεξελικτικών Αλγόριθμων. Η προτεινόμενη μεθοδολογία βασίστηκε σε αυτές τις εκδοχές και εφαρμόστηκε για την εκπαίδευση των Πι—Σίγμα δικτύων χρησιμοποιώντας συναρτήσεις ενεργοποίησης «κατώφλια». Επιπρόσθετα, όλα τα βάρη και οι μεροληψίες των δικτύων περιορίστηκαν σε ένα μικρό εύρος ακέραιων αριθμών, στο διάστημα [-32, 32]. Συνεπώς, τα εκπαιδευμένα Πι—Σίγμα νευρωνικά δίκτυα μπορούν να αναπαρασταθούν με ακεραίους των 6-bits. Αυτής της μορφής τα δίκτυα είναι πιο κατάλληλα για την εφαρμογή τους σε «υλικό» (hardware), από νευρωνικά δίκτυα με πραγματικά βάρη. Τα πειραματικά αποτελέσματα μας δείχνουν ότι η διαδικασία εκπαίδευσης είναι γρήγορη, σταθερή και αξιόπιστη. Ακόμα η εφαρμογή των παράλληλων/κατανεμημένων Εξελικτικών Αλγορίθμων για την εκπαίδευση των Πι—Σίγμα δικτύων μας επιδεικνύει αρκετά καλές ικανότητες γενίκευσης των εκπαιδευμένων δικτύων καθώς και προσφέρει επιτάχυνση στην διαδικασία εκπαίδευσης τους. / In this contribution, we study the class of Higher-Order Neural Networks and especially the Pi-Sigma Networks. The performance of Pi-Sigma Networks is evaluated through several well known neural network training benchmarks. In the experiments reported here, Evolutionary Algorithms and Parallel/Distributed Evolutionary Algorithms are implemented for Pi-Sigma neural networks training. More specifically the serial as well as a parallel/distributed version of the Differential Evolution have been employed. The proposed approach is applied to train Pi-Sigma networks using threshold activation functions. Moreover, the weights and biases were confined to a narrow band of integers, constrained in the range [-32, 32]. Thus the trained Pi-Sigma neural networks can be represented by just 6 bits. Such networks are better suited for hardware implementation than the real weight ones. Experimental results suggest that this training process is fast, stable and reliable and the trained Pi-Sigma networks, with both serial and parallel/distributed algorithms, exhibited good generalization capabilities. Furthermore, the usage of a distributed version of the Differential Evolution, has demonstrated a speedup of the training process.

Σημαντική παράμετρος στο σχεδιασμό των σύγχρονων κτιρίων αποτελεί η ορθολογικότερη διαχείριση της ενέργειας. Η ορθολογικότερη διαχείριση ενέργειας επιτυγχάνεται με το σχεδιασμό κατάλληλων ενεργειακών συστημάτων. Για την αποτελεσματική σχεδίαση αυτών των συστημάτων λαμβάνονται υπόψιν τα μετεωρολογικά δεδομένα, όχι μόνο τα τρέχοντα αλλά και τα προγνωστικά. Τα αριθμητικά πρότυπα πρόγνωσης καιρού παρέχουν εκτιμήσεις των διαφόρων μετεωρολογικών παραμέτρων σε δεδομένα σημεία του χώρου κοντά στην επιφάνεια του εδάφους αλλά και σε διάφορα ύψη. Οι εκτιμήσεις αυτές αποκλίνουν αρκετά από τα πραγματικά δεδομένα γεγονός που παρέχει ένα σημαντικό περιθώριο βελτίωσης της πρόγνωσης. Στην εργασία αυτή προτείνεται μία μέθοδος βελτίωσης της πρόγνωσης μετεωρολογικών δεδομένων με στόχο την αξιοποίηση τους για βελτιστοποίηση της ενεργειακής κατανάλωσης κτιρίου. Η μέθοδος αναπτύχθηκε χρησιμοποιώντας μετρήσεις της ταχύτητας του ανέμου από το μετεωρολογικό σταθμό του Εργαστηρίου Φυσικής της Ατμόσφαιρας του Τμήματος Φυσικής του Πανεπιστημίου Πατρών (ΕΦΑΠ2), καθώς και προγνώσεις του ΕΦΑΠ2 μέσω του αριθμητικού προτύπου πρόγνωσης καιρού WRF (Weather Research and Forecasting model) στο πλησιέστερο δυνατό πλεγματικό σημείο. . Η μέθοδος που προτείνεται, αξιοποιεί τα τεχνητά νευρωνικά δίκτυα και όντας ανεξάρτητη της φύσης της εισόδου μπορεί να χρησιμοποιηθεί για τη βελτίωση της πρόγνωσης μετεωρολογικών παραμέτρων. Επιπλέον, μελετήθηκε η συνεισφορά της μεθόδου στον ακριβέστερο υπολογισμό της ροής αέρα, η οποία υπολογίζεται για ένα πειραματικό θάλαμο δοκιμών, ο οποίος έχει υιοθετηθεί από την Ευρωπαϊκή επιτροπή για την εναρμονισμένη μελέτη ενεργειακών συστημάτων κτιρίων υπό πραγματικές συνθήκες. / An important consideration in the design of modern buildings is the rational use of energy. The rational energy management is achieved by designing appropriate energy systems. For efficient design of these systems we should take into account the meteorological data, not only current but also predictive.Numerical weather prediction models provide estimates of various meteorological parameters to data points of space near the surface and at various heights. These estimates differ considerably from the actual data which provides a significant margin improvement of prognosis. In this work we propose a method of improving the prediction of meteorological data to exploit them to optimize energy consumption in building management systems. The method was developed using measurements of wind speed, from the meteorological station of the Laboratory of Atmospheric Physics of the Department of Physics of the University of Patras (LAPUP), and prognostications LAPUP through numerical weather prediction model WRF (Weather Research and Forecasting model) to the closest possible lattice point. The proposed method utilizes the artificial neural networks and being independent of the nature of the inputs it can be used to improve forecasting meteorological parameters. Furthermore, we studied the contribution of the method to accurately calculate the air flow of an experimental test chamber, which has been adopted by the European Committee for the study of building management systems under real conditions.

Η χρήση των δεδομένων Ραντάρ Συνθετικού Ανοίγματος (SAR) σε εφαρμογές απομακρυσμένης παρακολούθησης της Γης έχει ήδη αρχίσει να πρωταγωνιστεί τις τελευταίες δεκαετίες. Τα συστήματα SAR με δυνατότητες μεταξύ άλλων συνεχούς λειτουργίας παντός καιρού, ημέρα και νύχτα, προσφέροντας μεγάλη κάλυψη εδάφους και με δυνατότητα λήψης απεικονίσεων πολλαπλών πολώσεων, έχουν αποτελέσει πηγή πολύτιμων πληροφοριών τηλεπισκόπησης. Έτσι, η χρήση των SAR δεδομένων για την ταξινόμηση κάλυψης γης προσελκύει όλο και περισσότερο την προσοχή των ερευνητών και φαίνεται να είναι πολλά υποσχόμενη. Η παρούσα ειδική επιστημονική εργασία έχει στόχο τη μελέτη και ερμηνεία των δεδομένων SAR μέσω επιβλεπόμενης ταξινόμησης, με τη χρήση νευρωνικών δικτύων (Neural Networks). Αφού πρώτα γίνεται εκτενής αναφορά στη τεχνολογία και τα συστήματα SAR, παρουσιάζεται αναλυτικά η πειραματική διαδικασία ταξινόμησης τριών βασικών δομών κάλυψης γης. Τα δεδομένα προέρχονται από το Προηγμένο Ραντάρ Συνθετικού Ανοίγματος (ASAR) του δορυφόρου ENVISAT από τον Ευρωπαϊκό Οργανισμό Διαστήματος και αφορούν στην ευρύτερη περιοχή του Άμστερνταμ. Πριν την διεξαγωγή της ταξινόμησης, τα δεδομένα δέχθηκαν τις απαραίτητες διαδικασίες προ-επεξεργασίας (ραδιομετρική βαθμονόμηση, γεωαναφορά, φιλτράρισμα θορύβου, συμπροσαρμογή). Όσον αφορά τη διαδικασία της ταξινόμησης, εξετάζεται η συμπεριφορά του ταξινομητή του νευρωνικού δικτύου για μεταβολές ποικίλων παραμέτρων, όπως η επιλογή δεδομένων διαφόρων πολώσεων, το πλήθος των νευρώνων κ.α. και ήδη από τα πρώτα πειράματα λαμβάνονται ικανοποιητικά αποτελέσματα. Στη συνέχεια εφαρμόζονται τεχνικές σύνθεσης πληροφορίας (average rule, majority rule) βελτιώνοντας τις επιδόσεις ταξινόμησης. Τέλος, ένα σημαντικό βήμα που εφαρμόζεται στη διαδικασία ταξινόμησης αποτελεί η εξαγωγή χαρακτηριστικών υφής από τις μήτρες συνεμφάνισης φωτεινοτήτων (Gray Level Co-occurrence Matrix-GLCM) και μήκους διαδρομής φωτεινότητας (Gray Level Run Length Matrix-GLRLM). Η χρήση των χαρακτηριστικών αυτών βελτιστοποιεί το σύστημα ταξινόμησης, δίνοντας εξαιρετικά αποτελέσματα. / The use of Synthetic Aperture Radar (SAR) data in remote sensing applications has become a cutting edge technology during the past few decades. The SAR systems have several capabilities, like day & night and all weather operation and they offer large ground coverage with the ability of multi-polarized imagery; therefore, they have proved to be a valuable source of remote sensing data. As a result, the use of SAR data for land cover classification increasingly attracts the attention of researchers and seems to be highly promising. Goal of this master thesis is the study and interpretation of SAR data through supervised classification, with the use of Neural Networks method. First, there is an extensive presentation of SAR systems and technology and then follows the detailed presentation of the experimental classification process for three basic land cover structures. The available data are from the Advanced SAR (ASAR) radar of the ESA ENVISAT satellite and correspond to the Amsterdam city and suburbs. Prior to the classification process, the data have been appropriately pre-processed (radiometric calibration, geocoding, speckle filtering, co-registration). Regarding the classification process, the response of the neural network classifier with the variation of several parameters (e.g. data polarization and number of neurons) is studied and from the initial test already the results were quite satisfactory. Further on, ensemble classifying methods (average rule, majority rule) are applied to improve the classification performance. Finally, as an essential step applied in the classification process is the textural feature extraction from Gray Level Co-occurrence Matrix (GLCM) and Gray Level Run Length Matrix (GLRLM). The use of these texture features optimizes the classification system, resulting to an exceptional performance.

Ο μυελός των οστών επηρεάζεται από λεμφοϋπερπλαστικές διαταραχές, μεταστατική νόσο, αλλά και από διάφορες θεραπευτικές προσεγγίσεις. Η μαγνητική τομογραφία είναι η πιο κατάλληλη μέθοδος για την ανίχνευση των μεταστάσεων και την παρακολούθηση μετά τη θεραπεία. Τεχνικές ανάλυσης εικόνας χρησιμοποιούνται επιπλέον προκειμένου να αντλήσουμε πρόσθετες διαγνωστικές πληροφορίες. Η παρούσα μελέτη επικεντρώνεται στις πρώιμες αλλαγές που προκαλούνται στον οστικό μυελό μετά από ακτινοβόληση και συγκρίνει καθιερωμένες μεθόδους για την ταυτοποίηση και τον χαρακτηρισμό αυτών των βλαβών με τη χρήση ενός αυτοματοποιημένου συστήματος ταξινόμησης. ΜΕΘΟΔΟΙ: 36 ασθενείς με ιστολογικά επιβεβαιωμένη πρωτοπαθή κακοήθεια και οστικές μεταστάσεις συμπεριλήφθηκαν στη μελέτη. Όλοι οι ασθενείς υποβλήθηκαν σε ακττινοθεραπεία για την αντιμετώπιση οστικών μεταστάσεων στη σπονδυλική στήλη ή τη λεκάνη. Η μαγνητική τομογραφία πραγματοποιήθηκε ακριβώς πριν, 12 έως 18 ημέρες και 3 μήνες μετά την έναρξη της ακτινοθεραπείας. Ελήφθησαν εικόνες εντός, πλησίον και εκτός του πεδίου ακτινοβόλησης. Η ποιοτική αξιολόγηση πραγματοποιήθηκε ανεξάρτητα από δύο έμπειρους ακτινολόγους. Για την ποσοτική αξιολόγηση, συγκεκριμένες μετρήσεις επιλέχθηκαν και αξιολογήθηκαν με τη μέθοδο της περιοχής ενδιαφέροντος. Επιπλέον, χαρακτηριστικά υφής 1ης και 2ης τάξης εξήχθησαν και τοποθετήθηκαν σε ένα πιθανοτικό νευρωνικό δίκτυο, προκειμένου να δημιουργηθεί ένα σύστημα αυτόματης ταξινόμησης των βλαβών. ΑΠΟΤΕΛΕΣΜΑΤΑ: Σύμφωνα με την ποιοτική και ποσοτική αξιολόγηση, εντός του πεδίου ακτινοβολίας 22.22% και 33.33% των ασθενών αντίστοιχα παρουσίασε λιπώδη μεταστροφή του μυελού, 19.44% και 16.67% των ασθενών παρουσίασε αιμορραγία, ενώ 11.11% και 16.67% των ασθενών εμφάνισε οίδημα του οστικού μυελού. Παρακείμενα του πεδίου ακτινοβόλησης 11.11% και 19.44% των ασθενών παρουσίασε λιπώδη μεταστροφή, 8.33% παρουσίασε αιμορραγία, ενώ 2.78% και 8.33% έδειξε οίδημα του μυελού των οστών. Εκτός του πεδίου ακτινοβολίας 5.56% των ασθενών παρουσίασαν αλλαγές συμβατές με λιπώδη μεταστροφή, ενώ το υπόλοιπο 94.44% δεν έδειξε σημαντικές μεταβολές. Δεν υπήρξε στατιστικά σημαντική μεταβολή του δείκτη σκιαγραφικής ενίσχυσης μετά τη χορήγηση γαδολινίου. Με βάση την πολυπαραγοντική ανάλυση, καμία από τις παραμέτρους που μελετήθηκαν δεν φάνηκε να επηρεάζει στατιστικά σημαντικά την εμφάνιση οποιασδήποτε από τις μετακτινικές αλλοιώσεις. Η μέγιστη συνολική ακρίβεια ταξινόμησης του συστήματός μας, ως προς τη διάκριση μεταξύ προ και μετακτινικών εικόνων ήταν 93.02%, με χρήση του συστήματος ταξινόμησης LSFT - PNN και της μεθόδου ECV. Η ακρίβεια του συστήματος στη διάκριση μεταξύ των τριών κυρίων τύπων των μετακτινικών βλαβών ήταν 86.67% . ΣΥΜΠΕΡΑΣΜΑΤΑ: Η παρούσα μελέτη δείχνει ότι σημαντικό ποσοστό των ασθενών που υποβάλλονται σε ακτινοθεραπεία θα εμφανίσει τουλάχιστον μία από τις κοινές μετακτινικές μεταβολές του οστικού μυελού. Η λιπώδης μεταστροφή του μυελού είναι η πιο συχνά εμφανιζόμενη πρώιμη μεταβολή. Η ποιοτική ανάλυση των εικόνων μαγνητικής τομογραφίας υστερεί σε ευαισθησία σε σύγκριση με τις ποσοτικές μετρήσεις. Το βασζόμενο σε νευρικό δίκτυο προτεινόμενο σύστημα ταξινόμησης μπορεί να αποδειχθεί χρήσιμο εργαλείο για το χαρακτηρισμό αυτών των βλαβών. / Bone marrow can be affected by lymphoproliferative disorders and metastatic disease but also by several therapeutic approaches. MRI is the most suitable method for the detection of metastases and post-treatment follow-up. Image analysis techniques are now used to extract additional diagnostic information. This study focuses on the early radiation-induced changes that can be detected by MRI and compares the established methods for the identification and characterization of these lesions with an automated classification system. METHODS: 36 patients with histologically confirmed primary malignancy and associated bone metastases were included in the study. All patients underwent radiation therapy (RT) to treat bone metastases to the spinal column or the pelvis. Magnetic resonance imaging (MRI) was performed just before the start of RT, 12 to 18 days and up to 3 months after the start of RT. Images were obtained within, adjacent and outside the radiation field. Qualitative assessment was performed independently by two experienced radiologists. For quantitative assessment, specific measurements were selected and evaluated by the method of the region of interest (ROI). In addition, textural features of 1st and 2nd class were exported and inserted into a probabilistic neural network classifier, in order to create an automatic classification system for these lesions. RESULTS: Following qualitative and quantitative assessment, within the radiation field, 22.22% and 33.33% of patients respectively showed fatty conversion of the bone marrow, 19.44% and 16.67% of patients showed haemorrhage, while 11.11% and 16.67% of the patients demonstrated bone marrow oedema. Adjacent to the radiation field, 11.11% and 19.44% of patients showed fatty conversion, 8.33% showed haemorrhage, while 2.78% and 8.33% demonstrated bone marrow oedema. Outside of the radiation field, 5.56% of patients showed changes compatible with fatty conversion, while the remaining 94.44% showed no significant change. There was no statistically significant change of the enhancement index after gadolinium administration. In multivariate analysis, none of the studied parameters did not appear to affect significantly the appearance of any of the radiation-induced lesions. The largest overall classification accuracy of the system designed to distinguish between the pre- radiation and radiation-induced images was 93.02% using the LSFT-PNN classification system of multiple sequences and the ECV method. Discrimination accuracy of the classification system designed to distinguish between the three main types of post-radiation lesions was 86.67%. CONCLUSIONS: This study shows that a significant proportion of patients undergoing RT will experience at least one of the common radiation-induced bone marrow changes. Fatty marrow conversion is the most often featured change in the examined period. Qualitative analysis of the MRI images lacks sensitivity comparing to quantitative measurements. The proposed classification system, based on the neural network, can be used as a very helpful tool for the characterization of these lesions.