Σε αυτή την Διπλωματική εργασία μελετήσαμε με ποιο τρόπο μπορούν να εφαρμοστούν οι διάφορες τεχνικές Εξόρυξης Γνώσης (Data Mining) στην εκπαίδευση. Αυτός ο επιστημονικός τομέας o οποίος ερευνά και αναπτύσσει τεχνικές προκειμένου να ανακαλύψει γνώση από δεδομένα τα οποία προέρχονται από την εκπαίδευση ονομάζεται Εξόρυξη Γνώσης από Εκπαιδευτικά Δεδομένα (Educational Data Mining –EDM. Στην εργασία αυτή εκτός από την θεωρητική μελέτη των αλγορίθμων και των τεχνικών που διέπουν την εξόρυξη γνώσης από δεδομένα γενικά, έγινε και μια λεπτομερέστερη μελέτη και παρουσίαση της κατηγορίας των αλγορίθμων κατηγοριοποίησης (Classification), διότι αυτοί οι αλγόριθμοι χρησιμοποιήθηκαν στην φάση της υλοποίησης/αξιολόγησης. Στην συνέχεια η εργασία επικεντρώθηκε στον τρόπο με τον οποίο μπορούν να εφαρμοστούν αυτοί οι αλγόριθμοι σε εκπαιδευτικά δεδομένα, τι εφαρμογές έχουμε στην εκπαίδευση, ενώ αναφερόμαστε και σε μια πληθώρα ερευνών που έχουν πραγματοποιηθεί πάνω στο συγκεκριμένο αντικείμενο. Στην συνέχεια διερευνήσαμε την εφαρμογή τεχνικών κατηγοριοποίησης στην πρόγνωση της επίδοσης μαθητών Δευτεροβάθμιας Εκπαίδευσης στα μαθήματα της Γεωγραφίας Α’ και Β’ Γυμνασίου. Συγκεκριμένα υλοποιήσαμε και θα αξιολογήσαμε έξι αλγορίθμους οι οποίοι ανήκουν στην ομάδα των αλγορίθμων κατηγοριοποίησης(Classification) και είναι αντιπροσωπευτικοί των σημαντικότερων τεχνικών κατηγοριοποίησης. Από την οικογένεια των ταξινομητών με χρήση δένδρων απόφασης (Decision Tree Classifiers) υλοποιήσαμε τον J48, από τους αλγορίθμους κανόνων ταξινόμησης (Rule-based Classification ) τον Ripper, από τους αλγόριθμους στατιστικής κατηγοριοποίησης τον Naïve Bayes, από την μέθοδο των Κ πλησιέστερων γειτόνων (KNN) τον 3-ΝΝ, από την κατηγορία των τεχνητών νευρωνικών δικτύων τον Back Propagation και τέλος από τις μηχανές διανυσμάτων υποστήριξης (Support Vector Machines SVM) τον SMO (Sequental Minimal Optimazation). Όλες οι παραπάνω υλοποιήσεις και αξιολογήσεις έγιναν με το ελεύθερο λογισμικού Weka το οποίο είναι υλοποιημένο σε Java και το οποίο προσφέρει μια πληθώρα αλγορίθμων μηχανικής μάθησης για να κάνουμε εξόρυξη γνώσης. / In this work we will study the way the misc data mining techniques can be applied to the misc fields of the education. This new scientific field is commonly named Educational Data Mining. In this study we will study the theoretical analysis of the data mining techniques focussing to the classification techniques as those are the most commonly used for prediction purpose. We also intend to predict student performance in secondary education using data mining techniques. The data we collect are concerned the class of Geography and we apply to them six data mining models with the help of the open source machine learning software Weka. We use supervised machine learning algorithms from the Classification field (Decision Tree Classifiers, Rule-based Classification, Neural Networks, k-Nearest Neighbour Algorithm, Bayesian and Support Vector Machines). After we have evaluate the algorithms we build a java tool, that uses the 3-KNN algorithm, to help us predict the performance of a student at the end of the year.

Είναι ευρύτατα γνωστό ότι ο θόρυβος δημιουργείται από δονούμενες επιφάνειες. Για την αντιμετώπιση του θορύβου στην πηγή του, δηλαδή τη δονούμενη επιφάνεια, δύο κυρίως τρόποι έχουν αναπτυχθεί. Ο πρώτος τρόπος αφορά τη χρησιμοποίηση παθητικών μέσων, δηλαδή ηχομονωτικών υλικών που αποσβένουν συγκεκριμένες συχνότητες. Ο δεύτερος τρόπος αφορά τη χρήση ενεργητικών μέσων. Τα ενεργητικά μέσα είναι διατάξεις που αποτελούνται από ένα σύστημα ελέγχου και ένα σύνολο αισθητήρων και ενεργοποιητών. Η λειτουργία ενός τέτοιου Συστήματος Ενεργού Ελέγχου Δονήσεων (ΣΕΕΔ) βασίζεται στην καταγραφή μέσω των αισθητήρων του τρόπου δόνησης της επιφάνειας (πρωτεύον πεδίο δόνησης), την δημιουργία σημάτων ελέγχου από τον ελεγκτή (ίδιου πλάτους αλλά με διαφορά φάσης 180o) και την αποστολή τους στους ενεργοποιητές που θα δημιουργήσουν ένα δευτερεύον πεδίο δόνησης. Η υπέρθεση των δύο πεδίων έχει σαν αποτέλεσμα την δημιουργία ενός εναπομείναντος πεδίου με πλάτη δόνησης αισθητά χαμηλότερα από αυτά του πρωτεύοντος. Το αντικείμενο της παρούσας διατριβής είναι η ανάπτυξη ενός γενικευμένου ΣΕΕΔ, ο έλεγχος του οποίου βασίζεται σε εργαλεία Τεχνητής Νοημοσύνης όπως τα Τεχνητά Νευρωνικά Δίκτυα και οι Γενετικοί Αλγόριθμοι για την αναγνώριση του τρόπου δόνησης οποιασδήποτε επιφάνειας και το βέλτιστο έλεγχο της δόνησής της, χωρίς να απαιτείται καμία πρότερη γνώση της δυναμικής συμπεριφοράς της επιφάνειας. Επιπλέον, το υπό μελέτη ΣΕΕΔ είναι ικανό να ελέγχει τέσσερις συχνότητες αντί μιας που απαντάται συνήθως στην πλειονότητα των εφαρμογών. Ο σκοπός της διατριβής αυτής είναι η απόδειξη της αρχής λειτουργίας ενός τέτοιου συστήματος. Η προσέγγιση για την επίτευξη αυτού του στόχου περιλαμβάνει πειραματικές μετρήσεις ενός πρωτότυπου ΣΕΕΔ σε μία απλοποιημένη πειραματική διάταξη. Τα αποτελέσματα από την εφαρμογή του εν λόγω ΣΕΕΔ δείχνουν ότι παρά τους περιορισμούς που υπεισέρχονται λόγω των δυνατοτήτων του υλικού (hardware) του χρησιμοποιούμενου εξοπλισμού, το υπό μελέτη ΣΕΕΔ λειτουργεί επιτυχώς στη βασική αρχή του, ενώ έχει τις προϋποθέσεις και τη δυναμική για περαιτέρω βελτιστοποίηση και εξέλιξη σε ένα ευρύ φάσμα εφαρμογών. / It is generally approved that noise is created by vibrating surfaces. In order to tackle this phenomenon at its source, mainly two approaches have been followed. The first approach involves passive means, that is sound insulation materials that dampen certain frequencies. The second approach involves the use of active means. The active means are arrangements that consist of a control system and a set of sensors and actuators. The application of such an arrangement for vibration control is called Active Vibration Control (AVC) and is based on the sampling (by means of sensors) of the primary field of vibration of the surface, the creation of control signals by the controller (secondary field - of the same amplitude but with phase difference of 180o) and finally applying these control signals on the vibrating surface, by means of the actuators. The superimposing of the two vibration signals (primary and secondary) results to a residual field where the amplitudes of vibration are significantly lower than in the primary. The objective of the thesis at hand is to develop a Generic AVC with the controller developed using Artificial Intelligence tools such as the Artificial Neural Networks (ANNs) and Genetic Algorithms (GAs), in order to identify the vibration patterns of any surface and the optimal control of its vibration, without any prior knowledge of the dynamic behavior of the surface. Moreover, the developed AVC system will be able to identify and control four dominating frequencies instead of one that is usually the choice in the majority of similar applications. The scope of this work is the ‘Proof of Concept’ of the successful operation of such a generic AVC system. The approach to this end includes experimental testing of a prototype AVC system on a simplified experimental set-up. The results of the application of the developed AVC system, performed also by independent parties in the framework of a EC-funded Basic Research project, prove the successful operation of the developed AVCS, even within the limitation of the contemporary data acquisition platform (hardware and software) used, imposes limitations in the efficiency of the AVCS, and provide the basis for its further development and application in a multitude of problems.

Αντικείμενο της Διπλωματικής εργασίας είναι η μεταφορά ενός παιχνιδιού στρατηγικής, πού έχει αναπτυχθεί με γνώμονα τους κανόνες της Ενισχυτικής Μάθησης (Reinforcement Learning) & των Νευρωνικών δικτύων (Neural Networks), σε πλατφόρμα κινητού τηλεφώνου 6ης γενιάς & μέσω διαδικτύου με σκοπό την εκπαίδευσης του συστήματος από τον απλό χρήστη. Σκοπός της διπλωματικής εργασίας είναι η σχεδίαση, ανάπτυξη του συστήματος λογισμικού βασισμένου σε τεχνολογίες διαδικτύου & κινητής τηλεφωνίας. Η Παρούσα εργασία επικεντρώνεται σε τρεις τομείς: • Έρευνα υφιστάμενων mobile τεχνολογιών • Δυνατότητα επανασχεδιασμού εφαρμογής με χρήση τεχνολογιών mobile internet • Έλεγχος υφιστάμενης δυνατότητας επανασχεδίασης και επαναϋλοποίησης του παιχνιδιού με χρήση άλλων συστημάτων (πλατφόρμων) σε συνδυασμό με χρήση ενισχυτικής μάθησης. / In this paper we review our work on th acquisition of game-playing capabilitiew by a computer , when the only source of knowledge comes from extended self-play and sparsely dispersed human-expert play. We summarily present experiment that showhow a reinforcement learning backbone coupled with neural networks for approximation can indeed serve as amechanism of the acquisition oof game playing skill and we derive game interestingness measures that are inexpensive and strightforward to compute, yert also capture the relative quality of the game playing engine.

Η παρούσα διδακτορική διατριβή πραγματεύεται το θέμα της εκπαίδευσης εμπρόσθιων τροφοδοτούμενων τεχνητών νευρωνικών δικτύων και τις εφαρμογές τους. Η παρουσίαση των θεμάτων και των αποτελεσμάτων της διατριβής οργανώνεται ως εξής: Στο Κεφάλαιο 1 παρουσιάζονται τα τεχνητά νευρωνικά δίκτυα , τα οφέλη της χρήσης τους, η δομή και η λειτουργία τους. Πιο συγκεκριμένα, παρουσιάζεται πως από τους βιολογικούς νευρώνες μοντελοποιούνται οι τεχνητοί νευρώνες, που αποτελούν το θεμελιώδες στοιχείο των τεχνητών νευρωνικών δικτύων. Στη συνέχεια αναφέρονται οι βασικές αρχιτεκτονικές των εμπρόσθιων τροφοδοτούμενων τεχνητών νευρωνικών δικτύων. Το κεφάλαιο ολοκληρώνεται με μια ιστορική αναδρομή για τα τεχνητά νευρωνικά δίκτυα και με την παρουσίαση κάποιων εφαρμογών τους. Στο Κεφάλαιο 2 παρουσιάζονται μερικοί από τους υπάρχοντες αλγορίθμους εκπαίδευσης τεχνητών νευρωνικών δικτύων. Γίνεται μια περιληπτική αναφορά του προβλήματος της εκπαίδευσης των τεχνητών νευρωνικών δικτύων με επίβλεψη και δίνεται η μαθηματική μοντελοποίηση που αντιστοιχεί στην ελαχιστοποίηση του κόστους. Στην συνέχεια γίνεται μια περιληπτική αναφορά στις μεθόδους που βασίζονται στην κατεύθυνση της πιο απότομης καθόδου, στις μεθόδους δευτέρας τάξεως όπου απαιτείται ο υπολογισμός του Εσσιανού πίνακα της συνάρτησης κόστους, στις μεθόδους μεταβλητής μετρικής, και στις μεθόδους συζυγών κλίσεων. Κατόπιν, παρουσιάζεται ο χώρος των βαρών, η επιφάνεια σφάλματος και οι διάφορες τεχνικές αρχικοποίησης των βαρών των τεχνητών νευρωνικών δικτύων και περιγράφονται οι επιπτώσεις που έχουν στην εκπαίδευση τους. Στο Κεφάλαιο 3 παρουσιάζεται ένας νέος αλγόριθμος εκπαίδευσης τεχνητών νευρωνικών δικτύων βασισμένος στον αλγόριθμο της οπισθοδιάδοσης του σφάλματος και στην αυτόματη προσαρμογή του ρυθμού εκπαίδευσης χρησιμοποιώντας πληροφορία δυο σημείων. Η κατεύθυνση αναζήτησης του νέου αλγορίθμου είναι η κατεύθυνση της πιο απότομης καθόδου, αλλά για τον προσδιορισμό του ρυθμού εκπαίδευσης χρησιμοποιούνται προσεγγίσεις δυο σημείων της εξίσωσης χορδής των μεθόδων ψεύδο-Newton. Επιπλέον, παράγεται ένας νέος ρυθμός εκπαίδευσης προσεγγίζοντας την νέα εξίσωση χορδής, που προτάθηκε από τον Zhang, η οποία χρησιμοποιεί πληροφορία παραγώγων και συναρτησιακών τιμών. Στη συνέχεια, ένας κατάλληλος μηχανισμός επιλογής του ρυθμού εκπαίδευσης ενσωματώνεται στον αλγόριθμο εκπαίδευσης ώστε να επιλέγεται κάθε φορά ο κατάλληλος ρυθμός εκπαίδευσης. Τέλος, γίνεται μελέτη της σύγκλισης του αλγορίθμου εκπαίδευσης και παρουσιάζονται τα πειραματικά αποτελέσματα για διάφορα προβλήματα εκπαίδευσης. Στο Κεφάλαιο 4 παρουσιάζονται μερικοί αποτελεσματικοί αλγόριθμοι εκπαίδευσης οι οποίοι βασίζονται στις μεθόδους βελτιστοποίησης συζυγών κλίσεων. Στους υπάρχοντες αλγόριθμους εκπαίδευσης συζυγών κλίσεων προστίθεται ένας αλγόριθμος εκπαίδευσης που βασίζεται στη μέθοδο συζυγών κλίσεων του Perry. Επιπρόσθετα, προτείνονται νέοι αλγόριθμοι συζυγών κλίσεων που προκύπτουν από τις ίδιες αρχές που προέρχονται οι γνωστοί αλγόριθμοι συζυγών κλίσεων των Hestenes-Stiefel, Fletcher-Reeves, Polak-Ribiere και Perry, και ονομάζονται κλιμακωτοί αλγόριθμοι συζυγών κλίσεων. Αυτή η κατηγορία αλγορίθμων βασίζεται στην φασματική παράμετρο κλιμάκωσης του προτάθηκε από τους Barzilai και Borwein. Επιπλέον, ενσωματώνεται στους αλγόριθμους εκπαίδευσης συζυγών κλίσεων μια αποδοτική τεχνική γραμμικής αναζήτησης, που βασίζεται στις συνθήκες του Wolfe και στην διασφαλισμένη κυβική παρεμβολή. Ακόμη, η παράμετρος του αρχικού ρυθμού εκπαίδευσης προσαρμόζεται αυτόματα σε κάθε επανάληψη σύμφωνα με ένα κλειστό τύπο. Στη συνέχεια, εφαρμόζεται μια αποτελεσματική διαδικασία επανεκκίνησης, έτσι ώστε να βελτιωθούν περαιτέρω οι αλγόριθμοι εκπαίδευσης συζυγών κλίσεων και να αποδειχθεί η ολική τους σύγκλιση. Τέλος, παρουσιάζονται τα πειραματικά αποτελέσματα για διάφορα προβλήματα εκπαίδευσης. Στο τελευταίο Κεφάλαιο της παρούσας διδακτορικής διατριβής, απομονώνεται και τροποποιείται ο κλιμακωτός αλγόριθμος του Perry, που παρουσιάστηκε στο προηγούμενο κεφάλαιο. Πιο συγκεκριμένα, ενώ διατηρούνται τα κύρια χαρακτηριστικά του αλγορίθμου εκπαίδευσης, εφαρμόζεται μια διαφορετική τεχνική γραμμικής αναζήτησης η οποία βασίζεται στις μη μονότονες συνθήκες του Wolfe. Επίσης προτείνεται ένας νέος αρχικός ρυθμός εκπαίδευσης για χρήση με τον κλιμακωτό αλγόριθμο εκπαίδευσης συζυγών κλίσεων, ο οποίος φαίνεται να είναι αποδοτικότερος από τον αρχικό ρυθμό εκπαίδευσης που προτάθηκε από τον Shanno όταν χρησιμοποιείται σε συνδυασμό με την μη μονότονη τεχνική γραμμικής αναζήτησης. Στη συνέχεια παρουσιάζονται τα πειραματικά αποτελέσματα για διάφορα προβλήματα εκπαίδευσης. Τέλος, ως εφαρμογή εκπαιδεύεται ένα πολυεπίπεδο εμπρόσθια τροφοδοτούμενο τεχνητό νευρωνικό δίκτυο με τον προτεινόμενο αλγόριθμο για το πρόβλημα της ταξινόμησης καρκινικών κυττάρων του εγκεφάλου και συγκρίνεται η απόδοση του με την απόδοση ενός πιθανοτικού τεχνητού νευρωνικού δικτύου. Η διατριβή ολοκληρώνεται με το Παράρτημα Α’, όπου παρουσιάζονται τα προβλήματα εκπαίδευσης τεχνητών νευρωνικών δικτύων που χρησιμοποιήθηκαν για την αξιολόγηση των προτεινόμενων αλγορίθμων εκπαίδευσης. / In this dissertation the problem of the training of feedforward artificial neural networks and its applications are considered. The presentation of the topics and the results are organized as follows: In the first chapter, the artificial neural networks are introduced. Initially, the benefits of the use of artificial neural networks are presented. In the sequence, the structure and their functionality are presented. More specifically, the derivation of the artificial neurons from the biological ones is presented followed by the presentation of the architecture of the feedforward neural networks. The historical notes and the use of neural networks in real world problems are concluding the first chapter. In Chapter 2, the existing training algorithms for the feedforward neural networks are considered. First, a summary of the training problem and its mathematical formulation, that corresponds to the uncostrained minimization of a cost function, are given. In the sequence, training algorithms based on the steepest descent, Newton, variable metric and conjugate gradient methods are presented. Furthermore, the weight space, the error surface and the techniques of the initialization of the weights are described. Their influence in the training procedure is discussed. In Chapter 3, a new training algorithm for feedforward neural networks based on the backpropagation algorithm and the automatic two-point step size (learning rate) is presented. The algorithm uses the steepest descent search direction while the learning rate parameter is calculated by minimizing the standard secant equation. Furthermore, a new learning rate parameter is derived by minimizing the modified secant equation introduced by Zhang, that uses both gradient and function value information. In the sequece a switching mechanism is incorporated into the algorithm so that the appropriate stepsize to be chosen according to the status of the current iterative point. Finaly, the global convergence of the proposed algorithm is studied and the results of some numerical experiments are presented. In Chapter 4, some efficient training algorithms, based on conjugate gradient optimization methods, are presented. In addition to the existing conjugate gradient training algorithms, we introduce Perry's conjugate gradient method as a training algorithm. Furthermore, a new class of conjugate gradient methods is proposed, called self-scaled conjugate gradient methods, which are derived from the principles of Hestenes-Stiefel, Fletcher-Reeves, Polak-Ribiere and Perry's method. This class is based on the spectral scaling parameter. Furthermore, we incorporate to the conjugate gradient training algorithms an efficient line search technique based on the Wolfe conditions and on safeguarded cubic interpolation. In addition, the initial learning rate parameter, fed to the line search technique, was automatically adapted at each iteration by a closed formula. Finally, an efficient restarting procedure was employed in order to further improve the effectiveness of the conjugate gradient training algorithms and prove their global convergence. Experimental results show that, in general, the new class of methods can perform better with a much lower computational cost and better success performance. In the last chapter of this dissertation, the Perry's self-scaled conjugate gradient training algorithm that was presented in the previous chapter was isolated and modified. More specifically, the main characteristics of the training algorithm were maintained but in this case a different line search strategy based on the nonmonotone Wolfe conditions was utilized. Furthermore, a new initial learning rate parameter was introduced for use in conjunction with the self-scaled conjugate gradient training algorithm that seems to be more effective from the initial learning rate parameter, proposed by Shanno, when used with the nonmonotone line search technique. In the sequence the experimental results for differrent training problems are presented. Finally, a feedforward neural network with the proposed algorithm for the problem of brain astrocytomas grading was trained and compared the results with those achieved by a probabilistic neural network. The dissertation is concluded with the Appendix A', where the training problems used for the evaluation of the proposed training algorithms are presented.

Αντικείμενο της διατριβής ήταν η ανάπτυξη υπολογιστικών μεθόδων διάγνωσης και εκτίμησης της κατάστασης της υγείας του εμβρύου. Οι προτεινόμενες μεθοδολογίες αναλύουν και εξάγουν πληροφορίες από το σήμα της ΕΚΣ καθώς το συγκεκριμένο σήμα αποτελεί ένα από τα λιγοστά διαθέσιμα εργαλεία για την εκτίμηση της οξυγόνωσης του εμβρύου και της αξιολόγησης της κατάστασης της υγείας του κατά τη διάρκεια του τοκετού. Για την αξιολόγηση των μεθόδων εξετάστηκε η συσχέτιση της Εμβρυϊκής Καρδιακής Συχνότητας (ΕΚΣ) με βραχυπρόθεσμες αξιόπιστες ενδείξεις για την κατάσταση του εμβρύου και πιο συγκεκριμένα χρησιμοποιήθηκε η συσχέτιση της τιμής του pH του αίματος του εμβρύου η οποία αποτελεί μια έμμεση ένδειξη για την ανάπτυξη υποξίας κατά τη διάρκεια του τοκετού. Στα πλαίσια της διατριβής χρησιμοποιήθηκε για πρώτη φορά η μέθοδος της ανάλυσης σε ανεξάρτητες συνιστώσες για την εξαγωγή χαρακτηριστικών από το σήμα της ΕΚΣ. Επίσης προτάθηκαν και χρησιμοποιήθηκαν Κρυφά Μοντέλα Markov σε μια προσπάθεια να «συλληφθεί» η χρονική εξέλιξη του φαινομένου της μεταβολής της κατάστασης του εμβρύου. Επιπλέον προτάθηκαν νέα χαρακτηριστικά εξαγόμενα με τη χρήση του Διακριτού Μετασχηματισμού Κυματιδίου. Με χρήση μιας υβριδική μέθοδος, που βασίζεται στη χρήση εξελικτικής γραμματικής «κατασκευάστηκαν» νέα χαρακτηριστικά παραγόμενα από τα χαρακτηριστικά που είχαν ήδη εξαχθεί με συμβατικές μεθόδους. Επιπρόσθετα στα πλαίσια της διατριβής χρησιμοποιήθηκαν για πρώτη φορά (και η μόνη μέχρι στιγμής) μηχανές διανυσμάτων υποστήριξης για την ταξινόμηση και προτάθηκε και χρησιμοποιήθηκε για πρώτη φορά η μέθοδος βελτιστοποίησης με σμήνος σωματιδίων για τη ρύθμιση των παραμέτρων τους. Τέλος προτάθηκε και χρησιμοποιήθηκε για πρώτη φορά η μέθοδος βελτιστοποίησης με σμήνος σωματιδίων για την εκπαίδευση μιας νέας οικογένειας νευρωνικών δικτύων, των νευρωνικών δικτύων κυματιδίου. Μέσα από τα πειράματα τα οποία διεξήγαμε καταφέραμε να δείξουμε ότι τα δεδομένα της ΕΚΣ διαθέτουν σημαντική πληροφορία η οποία με τη χρήση κατάλληλων προηγμένων μεθόδων επεξεργασίας και ταξινόμησης μπορεί να συσχετιστεί με την τιμή του pH του εμβρύου, κάτι το οποίο θεωρούνταν ουτοπικό στη δεκαετία του 90. / This Dissertation dealt with the development of computational methods for the diagnosis and estimation of fetal condition. The proposed methods analyzed and extracted information from the Fetal Heart Rate (FHR) signal, since this is one of the few available tools for the estimation of fetal oxygenation and the assessment of fetal condition during labor. For the evaluation of the proposed methods the correlation of the FHR signal with short term indices were employed and to be more specific, its correlation with the pH values of fetal blood, which is an indirect sign of the development of fetal hypoxia during labor. In the context of this Dissertation, Independent Component Analysis (ICA) for feature extraction from the FHR signal was used for the first time. Moreover we used Hidden Markov Models in an attempt to “capture” the evolution in time of the fetal condition. Furthermore, new features based on the Discrete Wavelet Transform were proposed and used. Using a new hybrid method based on grammatical evolution new features were constructed based on already extracted features by conventional methods. Moreover, for the first (and only) time, Support Vector Machine (SVM) classifiers were employed in the field of FHR processing and the Particle Swarm Optimization (PSO) method was proposed for tuning their parameters. Finally, a new family of neural networks, the Wavelet Neural Networks (WNN) was proposed and used, trained using the PSO method. By conducting a number of experiments we managed to show that the FHR signal conveys valuable information, which by the use of advanced data processing and classification techniques can be associated with fetal pH, something which was not regarded feasible during the 90’s.

Η παρούσα διατριβή ασχολείται με τη μελέτη, την ανάπτυξη και τη θεμελίωση νέων μεθόδων Υπολογιστικής Νοημοσύνης και Ευφυούς Βελτιστοποίησης. Συνοπτικά οργανώνεται στα ακόλουθα τρία μέρη: Αρχικά παρουσιάζεται το πεδίο της Υπολογιστικής Νοημοσύνης και πραγματοποιείται μία σύντομη αναφορά στους τρεις κύριους κλάδους της, τον Εξελικτικό Υπολογισμό, τα Τεχνητά Νευρωνικά Δίκτυα και τα Ασαφή Συστήματα. Το επόμενο μέρος αφιερώνεται στην παρουσίαση νέων, καινοτόμων οικογενειών των αλγορίθμων Βελτιστοποίησης Σμήνους Σωματιδίων (ΒΣΣ) και των Διαφοροεξελικτικών Αλγόριθμων (ΔΕΑ), για την επίλυση αριθμητικών προβλημάτων βελτιστοποίησης χωρίς περιορισμούς, έχοντας είτε ένα, είτε πολλαπλούς ολικούς βελτιστοποιητές. Οι αλγόριθμοι ΒΣΣ και ΔΕΑ αποτελούν τις βασικές μεθοδολογίες της παρούσας διατριβής. Όλες οι οικογένειες μεθόδων που προτείνονται, βασίζονται σε παρατηρήσεις των κοινών δομικών χαρακτηριστικών των ΒΣΣ και ΔΕΑ, ενώ η κάθε προτεινόμενη οικογένεια τις αξιοποιεί με διαφορετικό τρόπο, δημιουργώντας νέες, αποδοτικές μεθόδους με αρκετά ενδιαφέρουσες ιδιότητες και δυναμική. Η παρουσίαση του ερευνητικού έργου της διατριβής ολοκληρώνεται με το τρίτο μέρος στο οποίο περιλαμβάνεται μελέτη και ανάπτυξη μεθόδων ολικής βελτιστοποίησης για την εκπαίδευση Τεχνητών Νευρωνικών Δικτύων Υψηλής Τάξης, σε σειριακά και παράλληλα ή / και κατανεμημένα υπολογιστικά συστήματα. Η διδακτορική διατριβή ολοκληρώνεται με βασικά συμπεράσματα και τη συνεισφορά της. / The main subject of the thesis at hand revolves mainly around the development and foundations of new methods of computational intelligence and intelligent optimization. The thesis is organized into the following three parts: Firstly, we briefly present an overview of the field of Computational Intelligence, by describing its main categories, the Evolutionary Computation, the Artificial Neural Networks and the Fuzzy Systems. In the second part, we provide a detailed description of the newly developed families of algorithms for solving unconstrained numerical optimization problems in continues spaces with at least one global optimum. The proposed families are based on two well-known and widely used algorithms, namely the Particle Swarm Optimization (PSO) and the Differential Evolution (DE) algorithm. Both DE and PSO are the basic components for almost all methodologies proposed in the thesis. The proposed methodologies are based on common observations of the dynamics, the structural and the spacial characteristics of DE and PSO algorithms. Four novel families are presented in this part which exploit the aforementioned characteristics of the DE and the PSO algorithms. The proposed methodologies are efficient methods with quite interesting properties and dynamics. The presentation and description of our research contribution ends with the third and last part of the thesis, which includes the study and the development of novel global optimization methodologies for training Higher order Artificial Neural Networks in serial and parallel / distributed computational environments. The thesis ends with a brief summary, conclusions and discussion of the contribution of this thesis.

Η βιομηχανία παραγωγής ρούχων, ακόμα και σήμερα, αποτελεί ένα βιομηχανικό κλάδο όπου η αυτοματοποίηση είναι εν μέρει σχεδόν ανύπαρκτη και εν γένει σε εμβρυικό στάδιο. Ένα μεγάλο τμήμα της γραμμής παραγωγής αποτελεί το τμήμα κατά το οποίο κομμάτια υφάσματος ράβονται σε μία ραπτομηχανή. Το στάδιο της ραφής, παρόλο που είναι το μεγαλύτερο σε χρονική διάρκεια και το σημαντικότερο στην τελική ποιότητα, παραμένει σχεδόν εξολοκλήρου μία χειρονακτική εργασία. Οι ιδιαιτερότητες των υφασμάτων όπως: η πολύ μικρή αντίστασή τους σε κάμψη, οι μεγάλες παραμορφώσεις τους, η απρόβλεπτη στατική/δυναμική συμπεριφορά τους, η ανισότροπη και μη-γραμμική φύση τους και η ανομοιογένειά τους είναι οι κύριοι παράγοντες των έντονων δυσκολιών κατά τον χειρισμό τους. Η ρομποτική ραφή είναι ένα σχετικά νέο ερευνητικό πεδίο αλλά και εξαιρετικά πολύπλοκο πρόβλημα, όπου ελάχιστοι ερευνητές έχουν προσπαθήσει να προσεγγίσουν. Αυτή τη στιγμή, από όσο είναι δυνατόν να είναι γνωστόν, μόνο τρία ερευνητικά κέντρα ασχολούνται, σε διεθνή επίπεδο, ενώ το ένα από αυτά είναι η Ομάδα Ρομποτικής του Πανεπιστημίου Πατρών. Στόχος της διατριβής είναι η ανάπτυξη ενός ευέλικτου συστήματος το οποίο ενσωματώνει όλα εκείνα τα ευφυή χαρακτηριστικά ώστε να συμβάλει στη ρομποτική αυτοματοποίηση της ραφής υφασμάτων. Η επίτευξη αυτού του στόχου στηρίζεται σε μεθόδους υπολογιστικής νοημοσύνης, σε τακτικές εμπνευσμένες από τον τρόπο εργασίας του ίδιου του ανθρώπου και στην ποιοτική διαχείριση της γνώσης/δεδομένων που εμπεριέχουν ασάφεια. Ταυτόχρονα, επιτυγχάνεται ο έλεγχος της ραφής χωρίς τη χρήση αναλυτικών μοντέλων τόσο των υφασμάτων όσο και της διαδικασίας. Ο συντονισμός όλων των προηγουμένων επιτυγχάνεται από ένα ευέλικτο ευφυές ιεραρχικό σύστημα ελέγχου της διαδικασίας της ραφής. Στην παρούσα διατριβή αναπτύχθηκε ένα σύνολο νέων μεθόδων για την αυτοματοποιημένη ραφή υφασμάτων με ένα βιομηχανικό ρομπότ εφοδιασμένο με έναν αισθητήρα δύναμης και μία κλασσικού τύπου ραπτομηχανή. Η πρωτότυπη προσέγγιση που αποτελεί το πλαίσιο της διατριβής αποτελείται από ένα ιεραρχικό σύστημα εκτιμήσεων, αποφάσεων και ελέγχου της διαδικασίας ραφής. Γίνεται μία συστηματική μελέτη, καταγραφή και αξιολόγηση όλων των χειρισμών του υφάσματος, πριν και κατά τη διάρκεια της ραφής, ως προς τις απαιτήσεις τους σε συστήματα αισθητήρων αλλά και στρατηγικών ελέγχου. Αναπτύσσεται μία πρωτότυπη βάση δεδομένων και ένα έμπειρο σύστημα που ενσωματώνουν όλη αυτή την προγενέστερη γνώση και εμπειρία. Παρουσιάζεται η ιδέα της εφαρμογής μεθόδων υπολογιστικής νοημοσύνης στο επιστημονικό πεδίο της ραφής υφασμάτων και εφαρμογής μεθόδων ευφυούς ελέγχου, για την τάνυση των υφασμάτων, βασισμένες σε νευρωνικά δίκτυα οι οποίες, για πρώτη φορά, χρησιμοποιούν ποιοτικές εκτιμήσεις των ιδιοτήτων και των χαρακτηριστικών των υφασμάτων. Έτσι, εισάγεται η έννοια των λεκτικών μεταβλητών για την ποιοτική περιγραφή των ιδιοτήτων των υφασμάτων. Στο πλαίσιο αυτό, εκφράζεται για πρώτη φορά, ποιοτικά σαν ποσοστό, η έννοια της “εκτατότητας” (extensibility) των υφασμάτων, που είναι μία βασική και καθοριστική ιδιότητά τους κατά την εργασία της ραφής τους. Επίσης περιγράφεται η ανάπτυξη μιας νέας μεθόδου αυτοματοποιημένου πειραματικού προσδιορισμού της “εκτατότητας” των υφασμάτων. Η πρωτότυπη αυτή προσέγγιση εφαρμόστηκε σε μονά και διπλά υφάσματα ενώ τα πειράματα εφελκυσμού ενσωματώθηκαν “έξυπνα” στην ίδια τη ραπτομηχανή και λίγο πριν τη διαδικασία της ραφής. Παρουσιάζεται ένα ασαφές σύστημα εξαγωγής της επιθυμητής τάνυσης, κατά τη ραφή του κάθε υφάσματος, το οποίο βασίζεται στην ποιοτική εκτίμηση της “εκτατότητας” του υφάσματος και διαμορφώθηκε από την εμπειρία του έμπειρου χειριστή και την ασαφή συνεπαγωγή που κάνει αυτός ανάμεσα στην “εκτατότητα” και την επιθυμητή τάνυση. Αναπτύχθηκε μία νέα μέθοδος ελέγχου της τάνυσης του υφάσματος κατά τη ραφή του. Σε αυτή χρησιμοποιήθηκε ένας νευρωνικός ελεγκτής ευθείας τροφοδότησης για τον έλεγχο του ρομποτικού άκρου εργασίας με σκοπό τη διατήρηση της τάνυσης του υφάσματος σύμφωνα με την εκάστοτε επιθυμητή. Επιπροσθέτως, παρουσιάζεται η επέκταση της προτεινόμενης προσέγγισης, του νευρωνικού ελέγχου της τάνυσης, η οποία έδειξε τη δυνατότητα γενίκευσής της και σε άλλες παραπλήσιες εργασίες. Επίσης, καταγράφονται τα νέα ερευνητικά πεδία που ανοίγουν στο χώρο της συνεργασίας ανθρώπου-ρομπότ για τον χειρισμό υπερ-εύκαμπτων και εύκαμπτων αντικειμένων. Τελικά, παρουσιάζεται μία συστηματική εργαστηριακή εκτέλεση ραφών, σε μία μεγάλη ποικιλία τόσο μονών όσο και διπλών υφασμάτων, με ρομπότ ενώ συγκρίθηκαν αυτές με ραφές από έμπειρους. Μέσα από τις πειραματικές ραφές αναδεικνύεται, η αναζητούμενη ευελιξία του συστήματος και η ικανοποιητική απόκρισή του σε μία μεγάλη ποικιλομορφία υφασμάτων. / The clothing industry, even today, is an industry where automation is partly almost nonexistent and generally in their infancy stages. A large part of the production line is the part in which pieces of fabrics are sewn using a sewing machine. The sewing process, while being the largest in duration and the most important to the final quality of the cloths, remains almost entirely one handiwork. The specifics of fabrics like: their very little bending resistance, their large deformations, their unpredictable static / dynamic behavior, their anisotropic and non-linear nature and heterogeneity are the main factors of acute difficulties in their handling. The robotized sewing of fabrics is a relatively new research field but it is also an extremely complex problem, where few researchers have tried to investigate it. Right now, as far as can be known, only three research centers in international level are involved this field, while one of them is the Robotics Group of the University of Patras. The aim of this thesis is to develop a flexible system which incorporates all those intelligent features in order to help automate robotic sewing of fabrics. This objective is based on computational intelligence methods, in approaches inspired by the way a human works and finally in the qualitative management of the knowledge/data that involve uncertainties. Simultaneously, the sewing control is achieved without using analytical models of both the fabrics and process. The coordination, of all of the previous mentioned, is achieved by a flexible hierarchical intelligent control system of the sewing process. This thesis developed a set of new set of methods for automated sewing of fabrics using an industrial robot, equipped with a force sensor, and a conventional sewing machine. The novel approach, which composes the main framework of this thesis, consists of a hierarchical system of estimations, decisions and process control of the sewing task. It is a systematic study, of recording and evaluating all the fabric handling tasks before and during the sewing process, according to the necessary requirements in sensor systems and control strategies. An original database and an expert system incorporating all this prior knowledge and experience is developed. The idea of applying methods of computational intelligence to the scientific field of sewing fabrics is presented. Also, the application of intelligent control methods, for stretching the fabrics during the sewing, which is based on neural networks while using qualitative assessment of the properties and characteristics of fabrics, is presented. Therefore, the concept of using linguistic variables for the qualitative description of the properties of fabrics, is introduced. In this context, it is the first time where the concept of the "extensibility" of a fabric is expressed quantitatively as a percentage. This is an essential and determining property of a fabric that should be taken into account during the sewing process. Also, the development of a new method for the automated experimental determination of "extensibility" of fabrics is described. This original approach has been applied to single and double layers of fabrics, while the tensile experiments are ‘intelligently’ incorporated into the same sewing machine and just before the sewing process. A fuzzy system for determining the desired tension for each of the fabrics is presented. This system is based on a qualitative assessment of "extensibility" of each fabric and it is initialized by the experience of the experts and the fuzzy implication they make between "extensibility" and desired tension. A new method to control the tension of the fabric during the sewing is developed. A feedforward neural controller, to control the robotic gripper to maintain the tension of the fabric according to the respective desired, has been used. Additionally, an expansion of the proposed approach is presented, for the case of the neuro-control of the tension, which showed the controller’s ability of generalization to other similar tasks. Also, new research areas that have been opened in the field of human-robot cooperation for handling non-rigid and very flexible objects are stated. Finally, there is presented a systematic experimental robotic execution of seams in a wide variety of both single and double layers of fabrics, while the, produced by the robot, seams are compared with the seams produced by the experts. Through experimental phase and the results of the stitched fabrics it is highlighted the desired flexibility of the system and its satisfactory response in a wide variety of fabrics.

Αντικείµενο της διατριβής είναι η ανάπτυξη νέων µεθοδολογιών εκµάθησης και σύγκλισης των Ασαφών Γνωστικών ∆ικτύων που προτείνονται για τη βελτίωση και προσαρµογή της συµπεριφοράς τους, καθώς και για την αύξηση της απόδοσής τους, αναδεικνύοντάς τα σε αποτελεσµατικά δυναµικά συστήµατα µοντελοποίησης. Τα νέα βελτιωµένα Ασαφή Γνωστικά ∆ίκτυα, µέσω της εκµάθησης και προσαρµογής των βαρών τους, έχουν χρησιµοποιηθεί στην ιατρική σε θέµατα διάγνωσης και υποστήριξης στη λήψη απόφασης, καθώς και σε µοντέλα βιοµηχανικών συστηµάτων που αφορούν τον έλεγχο διαδικασιών, µε πολύ ικανοποιητικά αποτελέσµατα. Στη διατριβή αυτή παρουσιάζονται, αξιολογούνται και εφαρµόζονται δύο νέοι αλγόριθµοι εκµάθησης χωρίς επίβλεψη των Ασαφών Γνωστικών ∆ικτύων, οι αλγόριθµοι Active Hebbian Learning (AHL) και Nonlinear Hebbian Learning (NHL), βασισµένοι στον κλασσικό αλγόριθµό εκµάθησης χωρίς επίβλεψη τύπου Hebb των νευρωνικών δικτύων, καθώς και µια νέα προσέγγιση εκµάθησης των Ασαφών Γνωστικών ∆ικτύων βασισµένη στους εξελικτικούς αλγορίθµους και πιο συγκεκριµένα στον αλγόριθµο Βελτιστοποίησης µε Σµήνος Σωµατιδίων και στον ∆ιαφοροεξελικτικό αλγόριθµο. Οι προτεινόµενοι αλγόριθµοι AHL και NHL στηρίζουν νέες µεθοδολογίες εκµάθησης για τα ΑΓ∆ που βελτιώνουν τη λειτουργία, και την αξιοπιστία τους, και που παρέχουν στους εµπειρογνώµονες του εκάστοτε προβλήµατος που αναπτύσσουν το ΑΓ∆, την εκµάθηση των παραµέτρων για τη ρύθµιση των αιτιατών διασυνδέσεων µεταξύ των κόµβων. Αυτοί οι τύποι εκµάθησης που συνοδεύονται από την σωστή γνώση του εκάστοτε προβλήµατος-συστήµατος, συµβάλλουν στην αύξηση της απόδοσης των ΑΓ∆ και διευρύνουν τη χρήση τους. Επιπρόσθετα µε τους αλγορίθµους εκµάθησης χωρίς επίβλεψη τύπου Hebb για τα ΑΓ∆, αναπτύσσονται και προτείνονται νέες τεχνικές εκµάθησης των ΑΓ∆ βασισµένες στους εξελικτικούς αλγορίθµους. Πιο συγκεκριµένα, προτείνεται µια νέα µεθοδολογία για την εφαρµογή του εξελικτικού αλγορίθµου Βελτιστοποίησης µε Σµήνος Σωµατιδίων στην εκµάθηση των Ασαφών Γνωστικών ∆ικτύων και πιο συγκεκριµένα στον καθορισµό των βέλτιστων περιοχών τιµών των βαρών των Ασαφών Γνωστικών ∆ικτύων. Με τη µεθοδο αυτή λαµβάνεται υπόψη η γνώση των εµπειρογνωµόνων για τον σχεδιασµό του µοντέλου µε τη µορφή περιορισµών στους κόµβους που µας ενδιαφέρουν οι τιµές των καταστάσεών τους, που έχουν οριστοί ως κόµβοι έξοδοι του συστήµατος, και για τα βάρη λαµβάνονται υπόψη οι περιοχές των ασαφών συνόλων που έχουν συµφωνήσει όλοι οι εµπειρογνώµονες. Έτσι θέτoντας περιορισµούς σε όλα τα βάρη και στους κόµβους εξόδου και καθορίζοντας µια κατάλληλη αντικειµενική συνάρτηση για το εκάστοτε πρόβληµα, προκύπτουν κατάλληλοι πίνακες βαρών (appropriate weight matrices) που µπορούν να οδηγήσουν το σύστηµα σε επιθυµητές περιοχές λειτουργίας και ταυτόχρονα να ικανοποιούν τις ειδικές συνθήκες- περιορισµούς του προβλήµατος. Οι δύο νέες µέθοδοι εκµάθησης χωρίς επίβλεψη που έχουν προταθεί για τα ΑΓ∆ χρησιµοποιούνται και εφαρµόζονται µε επιτυχία σε δυο πολύπλοκα προβλήµατα από το χώρο της ιατρικής, στο πρόβληµα λήψης απόφασης στην ακτινοθεραπεία και στο πρόβληµα κατηγοριοποίησης των καρκινικών όγκων της ουροδόχου κύστης σε πραγµατικές κλινικές περιπτώσεις. Επίσης όλοι οι προτεινόµενοι αλγόριθµοι εφαρµόζονται σε µοντέλα βιοµηχανικών συστηµάτων που αφορούν τον έλεγχο διαδικασιών µε πολύ ικανοποιητικά αποτελέσµατα. Οι αλγόριθµοι αυτοί, όπως προκύπτει από την εφαρµογή τους σε συγκεκριµένα προβλήµατα, βελτιώνουν το µοντέλο του ΑΓ∆, συµβάλλουν σε ευφυέστερα συστήµατα και διευρύνουν τη δυνατότητα εφαρµογής τους σε πραγµατικά και πολύπλοκα προβλήµατα. Η κύρια συνεισφορά αυτής της διατριβής είναι η ανάπτυξη νέων µεθοδολογιών εκµάθησης και σύγκλισης των Ασαφών Γνωστικών ∆ικτύων προτείνοντας δυο νέους αλγορίθµους µη επιβλεπόµενης µάθησης τύπου Hebb, τον αλγόριθµο Active Hebbian Learning και τον αλγόριθµο Nonlinear Hebbian Learning για την προσαρµογή των βαρών των διασυνδέσεων µεταξύ των κόµβων των Ασαφών Γνωστικών ∆ικτύων, καθώς και εξελικτικούς αλγορίθµους βελτιστοποιώντας συγκεκριµένες αντικειµενικές συναρτήσεις για κάθε εξεταζόµενο πρόβληµα. Τα νέα βελτιωµένα Ασαφή Γνωστικά ∆ίκτυα µέσω των αλγορίθµων προσαρµογής των βαρών τους έχουν χρησιµοποιηθεί για την ανάπτυξη ενός ∆ιεπίπεδου Ιεραρχικού Συστήµατος για την υποστήριξη λήψης απόφασης στην ακτινοθεραπεία, για την ανάπτυξη ενός διαγνωστικού εργαλείου για την κατηγοριοποίηση του βαθµού κακοήθειας των καρκινικών όγκων της ουροδόχου κύστης, καθώς και για την επίλυση βιοµηχανικών προβληµάτων για τον έλεγχο διαδικασιών. / The main contribution of this Dissertation is the development of new learning and convergence methodologies for Fuzzy Cognitive Maps that are proposed for the improvement and adaptation of their behaviour, as well as for the increase of their performance, electing them in effective dynamic systems of modelling. The new improved Fuzzy Cognitive Maps, via the learning and adaptation of their weights, have been used in medicine for diagnosis and decision-making, as well as to alleviate the problem of the potential uncontrollable convergence to undesired states in models of industrial process control systems, with very satisfactory results. In this Dissertation are presented, validated and implemented two new learning algorithms without supervision for Fuzzy Cognitive Maps, the algorithms Active Hebbian Learning (AHL) and Nonlinear Hebbian Learning (NHL), based on the classic unsupervised Hebb-type learning algorithm of neural networks, as well as a new approach of learning for Fuzzy Cognitive Maps based on the evolutionary algorithms and more specifically on the algorithm of Particles Swarm Optimization and on the Differential Evolution algorithm. The proposed algorithms AHL and NHL support new learning methodologies for FCMs that improve their operation, efficiency and reliability, and that provide in the experts of each problem that develop the FCM, the learning of parameters for the regulation (fine-tuning) of cause-effect relationships (weights) between the concepts. These types of learning that are accompanied with the right knowledge of each problem-system, contribute in the increase of performance of FCMs and extend their use. Additionally to the unsupervised learning algorithms of Hebb-type for the FCMs, are developed and proposed new learning techniques of FCMs based on the evolutionary algorithms. More specifically, it is proposed a new learning methodology for the application of evolutionary algorithm of Particle Swarm Optimisation in the adaptation of FCMs and more concretely in the determination of the optimal regions of weight values of FCMs. With this method it is taken into consideration the experts’ knowledge for the modelling with the form of restrictions in the concepts that interest us their values, and are defined as output concepts, and for weights are received the arithmetic values of the fuzzy regions that have agreed all the experts. Thus considering restrictions in all weights and in the output concepts and determining a suitable objective function for each problem, result appropriate weight matrices that can lead the system to desirable regions of operation and simultaneously satisfy specific conditions of problem. The first two proposed methods of unsupervised learning that have been suggested for the FCMs are used and applied with success in two complicated problems in medicine, in the problem of decision-making in the radiotherapy process and in the problem of tumor characterization for urinary bladder in real clinical cases. Also all the proposed algorithms are applied in models of industrial systems that concern the control of processes with very satisfactory results. These algorithms, as it results from their application in concrete problems, improve the model of FCMs, they contribute in more intelligent systems and they extend their possibility of application in real and complex problems. The main contribution of the present Dissertation is to develop new learning and convergence methodologies for Fuzzy Cognitive Maps proposing two new unsupervised learning algorithms, the algorithm Active Hebbian Learning and the algorithm Nonlinear Hebbian Learning for the adaptation of weights of the interconnections between the concepts of Fuzzy Cognitive Maps, as well as Evolutionary Algorithms optimizing concrete objective functions for each examined problem. New improved Fuzzy Cognitive Maps via the algorithms of weight adaptation have been used for the development of an Integrated Two-level hierarchical System for the support of decision-making in the radiotherapy, for the development of a new diagnostic tool for tumour characterization of urinary bladder, as well as for the solution of industrial process control problems.

Σκοπός της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη ενός ολοκληρωμένου συστήματος υποστήριξης της διάγνωσης (Decision Support System - DSS) με χρήση μεθόδων εξόρυξης δεδομένων για την ταξινόμηση επιχρισμάτων βιοψίας με λεπτή βελόνα (Fine Needle Aspiration - FNA). Δύο κατηγορίες επιλέχθηκαν για τα δείγματα FNA: καλοήθεια και κακοήθεια. Το σύστημα αυτό αποτελείται από τις ακόλουθες βαθμίδες: 1) συλλογής δεδομένων, 2) επιλογής δεδομένων, 3) εύρεσης κατάλληλων χαρακτηριστικών, 4) εφαρμογής ταξινόμησης με χρήση μεθόδων εξόρυξης δεδομένων. Επίσης, βασικός στόχος της παρούσας διδακτορικής διατριβής ήταν η βελτίωση της ορθής ταξινόμησης των ύποπτων επιχρισμάτων (suspicious), για τα οποία είναι γνωστή η αδυναμία της μεθόδου FNA να τα ταξινομήσει. Το σύστημα εκπαιδεύτηκε και ελέγχθηκε σε σχέση με το δείγμα για το οποίο είχαμε ιστολογικές επιβεβαιώσεις (ground truth). Για περιπτώσεις οι οποίες χαρακτηρίστηκαν ως μη κακοήθεις από την FNA, και για τις οποίες δεν είχαμε ιστολογικές επιβεβαιώσεις, το δείγμα προέκυψε από την συνεκτίμηση και άλλων κλινικών, εργαστηριακών και απεικονιστικών εξετάσεων. Στα πλαίσια της παρούσας διδακτορικής διατριβής συλλέχθηκαν εξετάσεις FNA θυρεοειδούς από το Εργαστήριο Παθολογοανατομίας του Α’ Τμήματος Παθολογίας της Ιατρικής Σχολής του Πανεπιστημίου Αθηνών. Δεδομένου ότι το εν λόγω εργαστήριο λειτουργεί και σαν κέντρο αναφοράς, σημαντικός αριθμός των δειγμάτων εστάλησαν εκεί και από άλλα Εργαστήρια Παθολογοανατομίας για επανέλεγχο. Το αρχειακό υλικό ήταν πολύ καλά ταξινομημένο σε χρονολογική σειρά αλλά ήταν σε έντυπη μορφή. Αρχικά πραγματοποιήθηκε η ανάλυση απαιτήσεων για τη δομή και το σχεδιασμό της βάσης δεδομένων. Με βάση τα στοιχεία από την τεκμηριωμένη διάγνωση σχεδιάστηκε και αναπτύχθηκε προηγμένο σύστημα για την κωδικοποίηση και αρχικοποίηση των δεδομένων. Με τη βοήθεια του σχεδιασμού και ανάλυσης απαιτήσεων αναπτύχθηκε και υλοποιήθηκε η βάση δεδομένων στην οποία αποθηκεύτηκαν τα δεδομένα προς επεξεργασία. Παράλληλα, με το σχεδιασμό της βάσης έγινε και η προεργασία για το σχεδιασμό και την ανάλυση απαιτήσεων του γραφικού περιβάλλοντος εισαγωγής στοιχείων. Λαμβάνοντας υπόψη ότι το σύστημα θα μπορούσε να χρησιμοποιηθεί και πέρα από τα πλαίσια της παρούσας διδακτορικής διατριβής λήφθηκε μέριμνα ώστε να παρέχεται ένα φιλικό και ευέλικτο προς το χρήστη περιβάλλον. Σύμφωνα με τη μεθοδολογία προσέγγισης η οποία ακολουθήθηκε προηγήθηκε στατιστική ανάλυση των 9.102 συλλεχθέντων δειγμάτων FNA ως προς τα κυτταρολογικά χαρακτηριστικά τους και τις διαγνώσεις. Οι κυτταρολογικές διαγνώσεις των συγκεκριμένων δειγμάτων συσχετίστηκαν με τις ιστολογικές διαγνώσεις, στοχεύοντας στον υπολογισμό της πιθανής επίδρασης και συμβολής κάθε κυτταρολογικού χαρακτηριστικού σε μια ορθή ή ψευδή κυτταρολογική διάγνωση, έτσι ώστε να προσδιοριστούν οι πιθανές πηγές λανθασμένης διάγνωσης. Τα δείγματα τα οποία περιείχαν μόνο αίμα ή πολύ λίγα θυλακειώδη κύτταρα χωρίς κολλοειδές θεωρήθηκαν ανεπαρκή για τη διάγνωση. Οι βιοψίες εκτελέσθηκαν είτε στο Α’ τμήμα του Πανεπιστημίου Αθηνών (οι περισσότερες από τις περιπτώσεις με ψηλαφητούς όζους) είτε αλλού (κυρίως κάτω από την καθοδήγηση του κέντρου αναφοράς). Τα δείγματα επιστρωμένα σε πλακάκια, στάλθηκαν στο κέντρο αναφοράς από διάφορα νοσοκομεία, με διαφορετικά πρωτόκολλα σχετικά με τα κριτήρια εκτέλεσης βιοψίας FNA σε θυρεοειδή. Μετεγχειρητικές ιστολογικές επαληθεύσεις ήταν διαθέσιμες για 266 ασθενείς (κακοήθειες και μη). Το χαμηλό ποσοστό ιστολογικών επαληθεύσεων οφείλεται στην ετερογενή προέλευση των ασθενών και στην έλλειψη ολοκληρωμένης παρακολούθησης και επανελέγχου των ασθενών. Για την αξιολόγηση των δεδομένων χρησιμοποιήθηκαν περιγραφικά στατιστικά μεγέθη όπως, μέση τιμή, τυπική απόκλιση, ποσοστά, μέγιστο και ελάχιστο. Έγιναν επίσης και χ2 δοκιμές επιπέδου σημαντικότητας διαφόρων παραμέτρων για να ελεγχθεί η πιθανή συσχέτιση ή η ανεξαρτησία. Για τη συσχέτιση των κυτταρολογικών και των ιστολογικών διαγνώσεων και την αξιολόγηση των εργαστηριακών ευρημάτων, πέραν των περιγραφικών στατιστικών μεγεθών χρησιμοποιήθηκαν και υπολογισμοί της ευαισθησίας, της ειδικότητας, της συνολικής ακρίβειας, της αρνητικής και θετικής αξίας πρόβλεψης (negative and positive predictive value). Προκειμένου να καθοριστεί εάν μια κατηγορία ασθενειών συσχετίζεται ή όχι με συγκεκριμένες κυτταρολογικές παραμέτρους εφαρμόστηκε μέθοδος ελέγχου στατιστικής σημαντικότητας σε επίπεδο 5% (p < 0,05). Η διαδικασία ακολουθήθηκε για κάθε κατηγορία ασθενειών ή συνδυασμό τους και για κάθε παράμετρο των κυτταρολογικών και αρχιτεκτονικών στοιχείων της κυτταρολογικής διάγνωσης. Τα αποτελέσματα της στατιστικής ανάλυσης επέτρεψαν το διαχωρισμό των δεδομένων σε καλοήθη, κακοήθη, νεοπλασματικά, ύποπτα για κακοήθεια και οριακά με χαρακτηριστικά γνωρίσματα μεταξύ ενός καλοήθους και ενός νεοπλασματικού. Στην συνέχεια αναπτύχθηκε σύστημα υποστήριξης της διάγνωσης χρησιμοποιώντας εξειδικευμένες μεθόδους εξόρυξης δεδομένων. Το σύστημα αποτελείται από τέσσερις βαθμίδες. Η πρώτη βαθμίδα αυτού του συστήματος είναι το περιβάλλον Συλλογής Δεδομένων στην οποία τα δεδομένα αποθηκεύονται στη βάση δεδομένων. Η Δεύτερη Βαθμίδα αυτού του συστήματος αφορά στην Επιλογή Δεδομένων. Σύμφωνα με την καταγραφή των απαιτήσεων, την εισαγωγή και τη ψηφιοποίηση των στοιχείων, δημιουργήθηκαν 111 χαρακτηριστικά για κάθε ασθενή (record). Τα περισσότερα χαρακτηριστικά είχαν τιμές δυαδικού τύπου, αποτυπώνοντας την ύπαρξη ή μη του κάθε χαρακτηριστικού, ενώ κάποιες άλλες είχαν τιμές τύπων αριθμών ή αλφαριθμητικών χαρακτήρων. Από τα 111 χαρακτηριστικά επιλέχθηκαν 60 χαρακτηριστικά τα οποία περιγράφουν τη δομή των επιχρισμάτων ενώ δημιουργήθηκαν άλλα 7 χαρακτηριστικά τα οποία αφορούσαν στην ομαδοποίηση άλλων χαρακτηριστικών. Η Τρίτη Βαθμίδα του συστήματος αφορά στην εύρεση των Κατάλληλων Χαρακτηριστικών. Λόγω του αρχικά υψηλού αριθμού χαρακτηριστικών παραμέτρων (67 ανά περίπτωση), ήταν απαραίτητο να εξαλειφθούν οι χαρακτηριστικές παράμετροι που συσχετίζονταν γραμμικά ή δεν είχαν καμία διαγνωστική πληροφορία. H μέθοδος επιλογής χαρακτηριστικών εφαρμόστηκε πριν από την ταξινόμηση, με γνώμονα την ανεύρεση ενός υποσυνόλου των χαρακτηριστικών παραμέτρων που βελτιστοποιούν σε ακρίβεια τη διαδικασία ταξινόμησης. Εφαρμόστηκε η τεχνική επιπλέουσας πρόσθιας ακολουθιακά μεταβαλλόμενης επιλογής (SFFS). Ο αριθμός των δειγμάτων που χρησιμοποιήθηκαν είναι 2.036 (1.886 καλοήθειες και 150 κακοήθειες). Εξ αυτών, όλες οι κακοήθειες είναι ιστολογικά επιβεβαιωμένες. Επίσης, 140 καλοήθειες είναι ιστολογικά επιβεβαιωμένες με επάρκεια υλικού. Οι υπόλοιπες 1.726 καλοήθειες είναι επιβεβαιωμένες με συνεκτίμηση κλινικών, εργαστηριακών και απεικονιστικών ιατρικών εξετάσεων (υπέρηχοι κ.λπ.). Από τα 2.036 δείγματα, το 25% χρησιμοποιήθηκε για την επιλογή χαρακτηριστικών παραμέτρων, δηλαδή 37 περιπτώσεις κακοήθειας (Malignant) και 472 περιπτώσεις καλοήθειας (Non Malignant). Από την εφαρμογή της τεχνικής (SFFS) επιλέχθηκαν τελικά 12 χαρακτηριστικά ως βέλτιστα για την ταξινόμηση των δεδομένων FNA σε καλοήθη και κακοήθη. Η Τέταρτη βαθμίδα επεξεργασίας είναι η Εφαρμογής Ταξινόμησης με χρήση Μεθόδων Εξόρυξης Δεδομένων ή Ταξινομητής. Για το σκοπό αυτό, επιλέχθηκε να εφαρμοστεί μια πληθώρα αξιόπιστων, καλά επιβεβαιωμένων και σύγχρονων μεθόδων εξόρυξης δεδομένων. Το σύστημα εκπαιδεύτηκε και ελέγχθηκε σε σχέση με το δείγμα για το οποίο είχαμε ιστολογικές επιβεβαιώσεις (ground truth). Η ανεξάρτητη εφαρμογή τεσσάρων αξιόπιστων μεθόδων, Δέντρων Αποφάσεων (Decision Trees), Τεχνιτών Νευρωνικών Δικτύων (Artificial Neural Network), Μηχανών Στήριξης Διανυσμάτων (Support Vector Machine), και Κ - κοντινότερου γείτονα (k-NN), έδωσε αποτελέσματα συγκρίσιμα με αυτά της FNA μεθόδου. Περαιτέρω βελτίωση των αποτελεσμάτων επιτεύχθηκε με την εφαρμογή της μεθόδου πλειοψηφικού κανόνα (Majority Vote - CMV) συνδυάζοντας τα αποτελέσματα από την εφαρμογή των τριών καλύτερων αλγορίθμων, ήτοι των Νευρωνικών Δικτύων, Μηχανών Στήριξης Διανυσμάτων και Κ - κοντινότερου γείτονα. Η τροποποιημένη μέθοδος τεχνητών αυτοάνοσων συστημάτων (Artificial Immune Systems – AIS) χρησιμοποιήθηκε για πρώτη φορά στην ταξινόμηση και παρουσίασε ιδιαίτερα βελτιωμένα αποτελέσματα στην ταξινόμηση των επιχρισμάτων τα οποία χαρακτηρίζονται ύποπτα (suspicious) από τους ειδικούς και αποτελούν το αδύναμο σημείο της μεθόδου FNA. Αυτές οι περιπτώσεις υπόνοιας αποτελούν ένα πολύ δύσκολο κομμάτι για τη διάκριση μεταξύ των καλοηθειών και των κακοηθειών, ακόμα και για τους πλέον ειδικούς. Επειδή όλα τα περιστατικά που χαρακτηρίζονται από την βιοψία FNA ως υπόνοιες αντιμετωπίζονται κλινικά σαν κακοήθειες, η εφαρμογή των αλγοριθμικών μεθόδων βελτιώνει αισθητά τη διαχείριση αυτών των περιπτώσεων μειώνοντας τον αριθμό των άσκοπων χειρουργικών επεμβάσεων θυρεοειδεκτομών. / The Aim of present thesis is the development of an integrated system for supporting diagnosis (Decision Support System - DSS) using for categorizing FNA biopsy smears. Two categories were selected for the FNA smears: malignant and nonmalignant. The system is constituted by the following stages of 1) data collection, 2) data selection 3) choice of suitable clinical and cytological features, 4) application of data mining method for the categorization of FNA biopsy smears. Furthermore a fundamental objective of the doctoral thesis was the improvement of suspect smears (suspicious) categorization, for the latter FNA Biopsy has a known restriction. The system had been trained and checked in relation to the sample that histologic evaluation existed (ground truth). For smears that characterized as nonmalignant by FNA and histological data we’re not available, complementary clinical, laboratory and imaging evaluations took into account in order to create the sample. Τhe smears that were available in this thesis, were collected from FNA biopsies in Pathologoanatomy Laboratory, A’ Pathology Department, Medical School of Athens University. Given that the above referred laboratory is a reference center, an important number of FNA smears were sent to it from other laboratories for cross check. The examination files were sorted in chronological order, but there were in paper forms. The requirements for the formation and the design of database system were collected. Based on the material of the diagnosis an improved system was designed and developed for data initialization and coding. The database was developed based on the design and analysis of requirements; in this database data were stored for further investigation. Analysis of the graphical user interface design was performed in parallel to the database design. Taking into account that the system might be used after the completion of thesis, the graphical user interface was designed in order to be user friendly and flexible environment. According to the methodological approach that was followed, the various cytological characteristic of 9102 FNA smears aspired among 2000-2004 was analyzed statistically. The cytological reports cross correlated with histological diagnoses, aiming to calculate the effect or contribution of each cytological characteristic to a false or true cytological diagnosis and to find the possible sources of erroneous diagnosis. The smears that have blood or a few follicular cells without colloid were characterized as insufficient for further diagnosis. The aspiration was performed either in Α’ department of Athens University (most of the cases with palpable nodules) or elsewhere (mainly under guidance of the reference center). The acquired smears being send to the reference center from various hospitals with different protocols concerning criteria to perform a thyroid FNA. Histological reports were available for 266 patients. The small number of histological verifications was due to the heterogeneity and the lack of patients files. For evaluating of data, descriptive statistic values were used like mean, standard deviation, percentage, maximum and minimum. In addition to that χ2 tests of significance were performed in order to check possible correlation or independence. For correlating cytological and histological diagnosis and evaluating laboratory findings, apart from the descriptive statistic parameters also calculated sensitivity, specificity, total accuracy, negative predictive value and positive predictive value. Method of statistical significance in the level of 5% (p < 0,05) was applied in order to specify if a disease was correlated to a cytological parameter. Those checks were performed for each disease category in correlation to any cytological parameter. Statistical analysis divided the smears into nonmalignant, malignant, neoplasms, suspicious for malignancy and borderline. A diagnosis support system was implemented using data mining methods. The system is consisted of four stages. The First stage of the system is the Data Collection environment, which stores the data to the database. The Second stage of this system concerns the Selection of Data. User requirements concluded that 111 characteristics are needed to describe each patient (record). Most of them have binary values, presenting existence and not existence, other have alphanumeric and number values. Among them 60 were selected and 7 more are produced from grouping other characteristics. The final analysis reveals that 67 characteristics of the smears are capable for describing the structure of smears in general. The Third stage of system concerns the Selection of Best Characteristics. Due to the high number of attributes (67 per case), it was essential to eliminate the characteristics that are connected linearly or do not bring diagnostics information. The choice of characteristics applied before the classification, having the aim of discovering a subset of characteristics that optimizes the process of classification. The technique of Sequential Float Forward Search (SFFS) was applied. The number of patients that used was 2,036 (1886 non malignancies and 150 malignancies). Among them all malignancies were histologically confirmed. In addition to that 140 no malignancies were histologically confirmed in correlation to evaluation of clinics, laboratorial and medical image actions (ultrasounds etc.). Among 2.036 smears the 25% used for characteristics selection, 37 smears of Malignant and smears of Non Malignant. The Sequential Float Forward Search (SFFS) Technique, choose the best 12 elements that they reveal high performance to FNA data categorization. The Fourth stage is the Application of Classification using Data Mining Methods or in other words data mining method. For this aim a set of reliable, well confirmed but also modern methods applied. In addition to that the system was trained and was checked using the sample with histological verifications (ground truth). The independent application of four reliable methods, Decision Trees, Artificial Neural Network, Support Vector Machine, and k-NN, resulting to comparable outcomes concerning those of FNA. However, further improvement was achieved with the application of Majority (Majority Vote - CMV) using of previous results of three algorithms Artificial Neural Network, Support Vector Machine, and k-NN. The modified Artificial Immune System (AIS) was applied for first time. AIS presents particularly improved results for the categorization of smears, which are characterised “suspicious” by the experts and is a known weakness of FNA method. These cases constitute a very difficult part for the discrimination among non-malignant and malignant, even for a specialist. Since all these cases are faced clinically using FNA as malignancies, the application of an improved algorithmic method improves accordingly the management of these cases by decreasing the number of useless surgical thyroid operations.

Η αυτόματη επεξεργασία εικόνων του ενδομητρίου αποτελεί ένα δύσκολο και πολυδιάστατο πρόβλημα, το οποίο έχει απασχολήσει πλήθος ερευνητών και για το οποίο έχει αναπτυχθεί μεγάλος αριθμός τεχνικών. Στην παρούσα διατριβή, παρουσιάζεται μια μεθοδολογική προσέγγιση, η οποία βασίζεται στη χρήση αλγορίθμων ψηφιακής επεξεργασίας και ανάλυσης εικόνων, για την αυτόματη εκτίμηση χαρακτηριστικών που περιγράφουν την αγγείωση και την υφή εικόνων του ενδομητρίου. Αφορμή της μελέτης αποτελεί ο ρόλος που διαπιστώνεται ότι διαδραματίζει η μεταβολή των τιμών των εν λόγω χαρακτηριστικών στην έγκαιρη διάγνωση των παθήσεων του ενδομητρίου. Στα πλαίσια της διατριβής, υλοποιήθηκε κατάλληλη μεθοδολογία για τον υπολογισμό ενός συνόλου χαρακτηριστικών τόσο για υστεροσκοπικές εικόνες, όσο και για ιστολογικές εικόνες του ενδομητρίου. Ιδιαίτερη βαρύτητα δόθηκε στην προ – επεξεργασία των εικόνων προκειμένου να προκύψει βελτίωση της ποιότητας καθώς και ενίσχυση της αντίθεσης αυτών. Στη συνέχεια, ανιχνεύτηκαν τα σημεία που αποτελούν τους κεντρικούς άξονες των υπό εξέταση αγγείων με χρήση διαφορικού λογισμού για τις υστεροσκοπικές εικόνες και υπολογίστηκε ένα σύνολο χαρακτηριστικών μεγεθών που περιγράφουν την αγγείωση και την υφή των εικόνων τόσο για τις υστεροσκοπικές όσο και για τις ιστολογικές εικόνες. Τέλος, εφαρμόστηκαν κατάλληλοι αλγόριθμοι με σκοπό την κατηγοριοποίηση των υστεροσκοπικών και των ιστολογικών εικόνων και συγκεκριμένα τον διαχωρισμό των παθολογικών και των φυσιολογικών εικόνων του ενδομητρίου. Παράλληλα, χρησιμοποιήθηκε η ROC ανάλυση στην απεικόνιση και ανάλυση της συμπεριφοράς των εν λόγω κατηγοριοποιητών. / Automatic analysis of the endometrial images is a difficult and multidimensional problem. For this reason, the number of papers and techniques regarding this issue is numerous. In this Thesis, a methodology is presented, based on advance image processing techniques in order to automatically estimate texture and vessel’s features in endometrial images. Motivation for the Thesis is the fact that the variation of the measurements of the specific features plays significant role in the seasonable diagnosis of endometrial disorders. Throughout this Thesis, an appropriate methodology is developed in order to estimate the features for the hysteroscopical and histological images of the endometrium. An important step is the pre – processing of the images in order to enhance the image quality and the image contrast. Then, the pixels that constitute the centerlines of vessels are detected by using differential calculus for the hysteroscopical images, only. Furthermore, the texture and vessel’s features in hysteroscopical and histological images are estimated. Finally, appropriate algorithms are applied in order to classify the hysteroscopical and histological images and distinguish pathological and normal endometrial images. ROC analysis is used in order to evaluate the discrimination power of the features that were estimated.