Δύσκολα προβλήματα ταξινόμησης από τον χώρο της Βιοπληροφορικής όπως η πρόβλεψη των microRNA γονιδιών και η πρόβλεψη των πρωτεϊνικών αλληλεπιδράσεων (Protein- Protein Interactions) απαιτούν ισχυρούς ταξινομητές οι οποίοι θα πρέπει να έχουν καλή ακρίβεια ταξινόμησης, να χειρίζονται ελλιπείς τιμές, να είναι ερμηνεύσιμοι, και να μην πάσχουν από το πρόβλημα ανισορροπίας κλάσεων. Ένας ευρέως χρησιμοποιούμενος ταξινομητής είναι τα νευρωνικά δίκτυα, τα οποία ωστόσο χρειάζονται προσδιορισμό της αρχιτεκτονικής τους και των λοιπών παραμέτρων τους, ενώ και οι αλγόριθμοι εκμάθησής τους συνήθως συγκλίνουν σε τοπικά ελάχιστα. Για τους λόγους αυτούς, προτείνεται μία πολυκριτηριακή εξελικτική μέθοδος η οποία βασίζεται στους εξελικτικούς αλγορίθμους ώστε να βελτιστοποιήσει πολλά από τα προαναφερθέντα κριτήρια απόδοσης των νευρωνικών δικτύων, να βρει επίσης την βέλτιση αρχιτεκτονική καθώς και ένα ολικό ελάχιστο για τα συναπτικά τους βάρη. Στην συνέχεια, από τον πληθυσμό που προκύπτει χρησιμοποιούμε το σύνολό του ώστε να επιτύχουμε την ταξινόμηση. / Hard classification problems of the area of Bioinformatics, like microRNA prediction and PPI prediction, demand powerful classifiers which must have good prediction accuracy, handle missing values, be interpretable, and not suffer from the class imbalance problem. One wide used classifier is neural networks, which need definition of their architecture and their other parameters, while their training algorithms usually converge to local minima. For those reasons, we suggest a multi-objective evolutionary method, which is based to evolutionary algorithms in order to optimise many of the aforementioned criteria of the performance of a neural network, and also find the optimised architecture and a global minimum for its weights. Then, from the ensuing population, we use it as an ensemble classifier in order to perform the classification.

Η παρούσα διπλωματική εργασία ασχολείται με ένα σημαντικό ερευνητικό πρόβλημα του πεδίου της υπολογιστικής όρασης το οποίο είναι η Αναγνώριση Προτύπων (pattern recognition) μέσα από εικόνες. Πιο συγκεκριμένα, θα μελετήσουμε τον σχεδιασμό και την υλοποίηση ενός συστήματος αναγνώρισης αντικειμένων από ψηφιακές εικόνες καθώς και την ταξινόμησή τους σε κατηγορίες (image classification). / This thesis deals with an important research problem field of computer vision which is pattern recognition through images. In particular, we will study the design and implementation of a system to recognize objects from digital images and their classification in categories (image classification).

Η τεχνητή νοημοσύνη στη βιοπληροφορική θεωρείται ένα πολύ σημαντικό βήμα αναφορικά με την κατηγοριοποίηση των ασθενειών, ακόμα και τη θεραπεία αυτών. Μέσω των νευρωνικών δικτύων τεχνητής νοημοσύνης μπορούμε να επεξεργαστούμε ιατρική πληροφορία και να κατηγοριοποιήσουμε μοτίβα καίριας σημασίας όσον αφορά την ιατρική διάγνωση. Βέβαια, καθώς στη λήψη αποφάσεων πάντα εισχωρεί ο παράγοντας της αβεβαιότητας, μία από τις πιο κατάλληλες προσεγγίσεις, η οποία προσομοιώνει τον τρόπο που κάθε άνθρωπος λαμβάνει αποφάσεις, είναι η ασαφής λογική. Συνδιάζοντας την ασαφή λογική με τη γνώση ειδικών μπορούμε να μοντελοποιήσουμε σύνθετα φαινόμενα και να αποφανθούμε για τη φύση αυτών. Σε αυτή τη διπλωματική εργασία υλοποιείται ένα ασαφές έξυπνο σύστημα που έχει ως σκοπό να μοντελοποιήσει πέντα καρδιολογικής φύσεως ασθένειες, χρησιμοποιώντας υλικό το οποίο προέρχεται από τη γνώση ειδικών στον τομέα της καρδιολογίας: στεφανιαία νόσος, υπέρταση, κολπική μαρμαρυγή, καρδιακή ανεπάρκεια, διαβήτης. Επιπλέον, το σύστημα, σε συνεργασία με το αρμόδιο ιατρικό προσωπικό, παραμετροποιήθηκε και στη συνέχεια έγινε προσπάθεια βελτιστοποίησής του μέσω της ενσωμάτωσης νευρωνικών δικτύων. Η αποδοτικότητά του αξιολογήθηκε ευνοϊκά μέσα από μία ομάδα ιατρών, δίνοντας ελπίδες για μία νέα εποχή στον τρόπο διεξαγωγής ιατρικής διάγνωσης. Το συγκεκριμένο σύστημα θα αποτελέσει τμήμα του Cardiosmart365, ενός ολοκληρωμένου συστήματος για τη δια βίου παρακολούθηση ασθενών με καρδιολογικά προβλήματα, την έγκαιρη διάγνωση και τη βέλτιστη διαχείριση περιπτώσεων εκτάκτου ανάγκης. Σε αυτό το έξυπνο ασαφές σύστημα προσαρτάται η γνώση που προκύπτει μέσα από τα νευρωνικά δίκτυα, με την οποία και επιτυγχάνεται αυτόματα η βελτιστοποίησή του. / Arti cial intelligence (AI) in bioinformatics is considered to be a great step towards disease classi cation, or even disease treatment. AI gives the opportunity through arti cial neural networks (ANNs) to process medical information and classify pat- terns, something of great importance, as far as medical diagnosis is conserned. How- ever, since there is always the factor of uncertainty in decision making, fuzzy logic is considered to be one of the most suitable approximations, since it deals with reason- ing that is approximate rather than xed and exact, thus closer to human reasoning. Therefore, based on human expert knowledge they are capable of modeling complex phenomena. In this diploma thesis, we implement a fuzzy expert system, consisting of ve subsystems, concerning ve cariological diseases, incorporating expert knowledge on this particular eld: coronary artery disease, hypertension, atrial brillation, heart failure, and diabetes. Moreover, the parameters were con gured, in cooperation with experts on the eld, and optimization e orts were made through the integration of neural networks. Evaluated by a group of doctors, the e ciency was rated as satisfactory, giving hope for a new era in the way medical diagnosis is conducted. This system will be a part of Cardiosmart365, an integrated system for lifelong cardiologic patient monitoring, early detection of emergency, and optimal process management of the emergency incident. In the fuzzy expert system implemented, knowledge through neural networks is incorporated, thus achieving automatic opti- mization.

Υπό το φάσμα της νέας, ανερχόμενης κοινωνίας της πληροφορίας, η σύγκλιση των υπολογιστών με τις τηλεπικοινωνίες έχει οδηγήσει στην συνεχώς αυξανόμενη παραγωγή και αποθήκευση τεράστιου όγκου δεδομένων σχεδόν για οποιονδήποτε τομέα της ανθρώπινης ενασχόλησης. Αν, λοιπόν, τα δεδομένα αποτελούν τα καταγεγραμμένα γεγονότα της ανθρώπινης ενασχόλησης, οι πληροφορίες αποτελούν τους κανόνες, που τα διέπουν. Και η κοινωνία στηρίζεται και αναζητά διακαώς νέες πληροφορίες. Το μόνο που απομένει, είναι η ανακάλυψη τους. Ο τομέας, που ασχολείται με την συστηματική ανάλυση των δεδομένων με σκοπό την εξαγωγή χρήσιμης γνώσης ονομάζεται μηχανική μάθηση. Υπό αυτό, λοιπόν, το πρίσμα, η παρούσα διπλωματική πραγματεύεται την μηχανική μάθηση ως μια ελπίδα των επιστημόνων να αποσαφηνίσουν τις δομές που διέπουν τα δεδομένα και να ανακαλύψουν και να κατανοήσουν τους κανόνες, που “κινούν” τον φυσικό κόσμο. Αρχικά, πραγματοποιείται μια πρώτη περιγραφή της μηχανικής μάθησης ως ένα από τα βασικότερα δομικά στοιχεία της τεχνητής νοημοσύνης, παρουσιάζοντας ταυτόχρονα μια πληθώρα προβλημάτων, στα οποία μπορεί να βρει λύση, ενώ γίνεται και μια σύντομη ιστορική αναδρομή της πορείας και των κομβικών της σημείων. Ακολούθως, πραγματοποιείται μια όσο το δυνατόν πιο εμπεριστατωμένη περιγραφή, μέσω χρήσης εκτεταμένης βιβλιογραφίας, σχεδιαγραμμάτων και λειτουργικών παραδειγμάτων των βασικότερων κλάδων της, όπως είναι η επιβλεπόμενη μάθηση (δέντρα αποφάσεων, νευρωνικά δίκτυα), η μη-επιβλεπόμενη μάθηση (συσταδοποίηση δεδομένων), καθώς και πιο εξειδικευμένων μορφών της, όπως είναι η ημί-επιβλεπόμενη μηχανική μάθηση και οι γενετικοί αλγόριθμοι. Επιπρόσθετα, σχεδιάζεται και υλοποιείται ένας νέος πιθανοτικός αλγόριθμος συσταδοποίησης (clustering) δεδομένων, ο οποίος ουσιαστικά αποτελεί ένα υβρίδιο ενός ιεραρχικού αλγορίθμου ομαδοποίησης και ενός αλγορίθμου διαμέρισης. Ο αλγόριθμος δοκιμάστηκε σε ένα πλήθος διαφορετικών συνόλων, πετυχαίνοντας αρκετά ενθαρρυντικά αποτελέσματα, συγκριτικά με άλλους γνωστούς αλγορίθμους, όπως είναι ο k-means και ο single-linkage. Πιο συγκεκριμένα, ο αλγόριθμος κατασκευάζει συστάδες δεδομένων, με μεγαλύτερη ομοιογένεια κατά πλειοψηφία σε σχέση με τους παραπάνω, ενώ το σημαντικότερο πλεονέκτημά του είναι ότι δεν χρειάζεται κάποια αντίστοιχη παράμετρο k για να λειτουργήσει. Τέλος, γίνονται προτάσεις τόσο για περαιτέρω βελτίωση του παραπάνω αλγορίθμου, όσο και για την ανάπτυξη νέων τεχνικών και μεθόδων, εναρμονισμένων με τις σύγχρονες τάσεις της αγοράς και προσανατολισμένων προς τις απαιτητικές ανάγκες της νέας, αναδυόμενης κοινωνίας της πληροφορίας. / In the spectrum of a new and emerging information society, the convergence of computers and telecommunication has led to a continuously increasing production and storage of huge amounts of data for almost any field of human engagement. So, if the data are recorded facts of human involvement, then information are the rules that govern them. And society depends on and looking earnestly for new information. All that remains is their discovery. The field of computer science, which deals with the systematic analysis of data in order to extract useful information, is called machine learning. In this light, therefore, this thesis discusses the machine learning as a hope of scientists to elucidate the structures that govern the data and discover and understand the rules that "move" the natural world. Firstly, a general description of machine learning, as one of the main components of artificial intelligence, is discussed, while presenting a variety of problems that machine learning can find solutions, as well as a brief historical overview of its progress. Secondly, a more detailed description of machine learning is presented by using extensive literature, diagrams, drawings and working examples of its major research areas, as is the supervised learning (decision trees, neural networks), the unsupervised learning (clustering algorithms) and more specialized forms, as is the semi-supervised machine learning and genetic algorithms. In addition to the above, it is planned and implemented a new probabilistic clustering algorithm, which is a hybrid of a hierarchical clustering algorithm and a partitioning algorithm. The algorithm was tested on a plurality of different datasets, achieving sufficiently encouraging results, as compared to other known algorithms, such as k-means and single-linkage. More specifically, the algorithm constructs data blocks, with greater homogeneity by majority with respect to the above, while the most important advantage is that it needs no corresponding parameter k to operate. Finally, suggestions are made in order to further improve the above algorithm, as well as to develop new techniques and methods in keeping with the current market trends, oriented to the demanding needs of this new, emerging information society.

The advent of efficient genome sequencing tools and high-throughput experimental biotechnology has lead to an enormous progress in life sciences. Among the most important innovations is the microarray technology. It allows to quantify the expression of thousands of genes simultaneously by measuring the hybridization from a tissue of interest to probes on a small glass or plastic slide. Before launching into microarray research it is important to recall that the characteristics of this data include a fair amount of noise and an atypical dimensionality (which makes difficult the use of classic statistics tools – experimental samples in the order of dozens and measured parameters in thousands or tens of thousands). Therefore, the main goal of this thesis is the development of adequate computational methods and algorithms, capable of extracting valuable biological knowledge from this type of data. Applications of microarray technology as a tool for gene expression analysis range from the assignment of functional categories for genes of unknown biological function (based on the analysis of genes with already established biological role), to precise and early diagnosis of different tumor malignancies. However, the main goal of computational analysis of gene expression data is the extraction of regulatory knowledge at genetic level that may be used to provide a broader understanding on the functioning of complex cellular systems. In this direction, revealing the structures of regulatory networks based of gene expression data becomes a pivotal task. The thesis contributes with a framework for the discovery of biological functional category of genes based on the synergy of ICA and a dynamic SOM-based clustering algorithm, that accurately finds groups of co-regulated genes, while identifying interesting regulatory signals within the data with the help of ICA decomposition. We also pursue the task of molecular characterization of different tumor types using gene expression profiling, by providing a novel method for tissue samples classification, based on an ensemble of classifiers sequentially trained on reweighted versions of the data. The algorithm, known as boosting, is adapted to peculiarities of gene expression data and employed in conjunction with SVMs. Additionally, the novel concept of finding predictive genes whose signatures are significant for phenotype discrimination is treated. Finally, the thesis presents a method developed for reverse-engineering gene regulatory networks based on recurrent neuro-fuzzy networks, which exploits the advantages of fuzzy-based models, in terms of results interpretability, and those of neural systems, in terms of computational power and time series prediction capabilities. / H έλευση ικανών υπολογιστικών εργαλείων για την μελέτη της γενομικής ακολουθίας και της ερευνητικής βιοτεχνολογίας υψηλής ανάλυσης, οδήγησε σε μια τεράστια πρόοδο στις επιστήμες ζωής. Μεταξύ των πιο σημαντικών καινοτομιών είναι η τεχνολογία μικροσυστοιχιών. H τεχνολογία αυτή επιτρέπει την ποσοτικοποίηση της έκφρασης χιλιάδων γονιδίων ταυτόχρονα, μετρώντας τον υβριδισμό από έναν ιστό ενδιαφέροντος έως σε δείγματα σε μικρό γυαλί η σε πλαστικά τσιπ. Πριν ξεκινήσουμε την έρευνα πάνω στις μικροσυστοιχίες είναι σημαντικό να θυμόμαστε ότι τα χαρακτηριστικά των δεδομένων αυτής περιλαμβάνουν αρκετό ποσό θορύβου και ένα μη τυπικό αριθμό διαστάσεων (το οποίο καθιστά δύσκολη την χρήση κλασσικών στατιστικών μεθόδων – μέγεθος δείγματος σε δωδεκάδες και μέγεθος χαρακτηριστικών σε χιλιάδες η δεκάδες η εκατοντάδες). Επομένως, ο κύριος στόχος αυτής της διδακτορικής εργασίας είναι η ανάπτυξη ικανών υπολογιστικών μεθόδων και αλγόριθμων έτσι ώστε να εξάγουν πολύτιμη βιολογική γνώση από τον συγκεκριμένο τύπο δεδομένων. Εφαρμογές της τεχνολογίας μικροσυστοιχιών σαν ένα εργαλείο για την ανάλυση έκφρασης γονιδίων ξεκινούν από την εύρεση και απόδοση λειτουργικών κατηγοριών για γονίδια άγνωστης βιολογικής λειτουργικότητας (βασισμένη στην ανάλυση των γονιδίων ήδη εδραιωμένου βιολογικού ρόλου) έως την ακριβή και πρώιμη διάγνωση διαφορετικών κακοήθων όγκων. Όμως ο κύριος στόχος της υπολογιστικής ανάλυσης της έκφρασης γονιδίων είναι η εξαγωγή ρυθμιζόμενης γνώσης στο γενετικό επίπεδο το οποίο μπορεί να χρησιμοποιηθεί ώστε να παρέχει μία ευρύτερη κατανόηση της λειτουργίας πολύπλοκων κυτταρικών συστημάτων. Σε αυτή την κατεύθυνση, το να αναδεικνύεις τις δομές ρυθμιστικών δικτύων βασισμένων στην έκφραση γονιδίων γίνεται καίριο έργο. Η διδακτορική διατριβή συνεισφέρει στο πλαίσιο για την ανακάλυψη βιολογικά λειτουργικών κατηγοριών γονιδίων βασισμένη στην συνεργία της ΙCA και της δυναμικού βασισμένου στη SOM ομαδοποίηση αλγορίθμου η οποία με ακρίβεια βρίσκει ομάδες γονιδίων που συν-ρυθμίζονται ενώ παράλληλα αναγνωρίζει ενδιαφέροντα ρυθμιστικά σήματα μέσα στα δεδομένα με τη βοήθεια της ΙCA αποδόμησης. Eπίσης, προσανατολιζόμαστε στην εύρεση του μοριακού χαρακτηρισμού διαφορετικών τύπων όγκων χρησιμοποιώντας το προφίλ της γονιδιακής έκφρασης, βασισμένο σε ένα σύνολο κατηγοριοποιητών οι οποίοι εκπαιδεύτηκαν σειριακά σε επανασταθμισμένες παραλλαγές των δεδομένων. Ο αλγόριθμος, γνωστός και σαν boosting, έχει προσαρμοστεί στις ιδιαιτερότητες των δεδομένων έκφρασης γονιδίου και εφαρμόζεται σε συνδυασμό με τα SVMs. Επιπλέον, εξετάζεται η πρωτοποριακή τεχνική της εύρεσης προβλέψιμων τιμών των οποίων οι υπογραφές είναι σημαντικές για τον χαρακτηρισμό φαινότυπου. Τελικά, η παρούσα διδακτορική διατριβή παρουσιάζει μια μέθοδο που αναπτύχθηκε για αντίστροφα μηχανικά ελεγχόμενα από γονίδια νευρωνικά δίκτυα βασισμένα σε αναδρομικά νευρωνικά δίκτυα τύπου fuzzy, τα οποία αξιοποιούν τα πλεονεκτήματα των μοντέλων τύπου fuzzy σε βάση επεξηγηματικότητας αποτελεσμάτων, και αυτών των νευρωνικών δικτύων σε βάση υπολογιστικής δύναμης και ικανότητας πρόβλεψης χρονοσειρών.

This thesis is centered around the development and application of computationally effective solutions based on artificial neural networks (ANN) for biomedical signal analysis and data mining in medical records. The ultimate goal of this work in the field of Biomedical Engineering is to provide the clinician with the best possible information needed to make an accurate diagnosis (in our case of myocardial ischemia) and to propose advanced mathematical models for recovering the complex dependencies between the variables of a physical process from a set of perturbed observations. After describing some of the types of ANN mainly used in this work, we start designing a model for pattern classification, by constructing several local models, for neighborhoods of the state space. For this task, we use the novel k-windows clustering algorithm, to automatically detect neighborhoods in the state space. This algorithm, with a slight modification (unsupervised k-windows algorithm) has the ability to endogenously determine the number of clusters present in the data set during the clustering process. We used this method together with the other 2 mentioned below (NetSOM and sNet-SOM) for the problem of ischemia detection. Next, we propose the utilization of a statistically extracted distance measure in the context of Generalized Radial Basis Function (GRBF) networks. The main properties of the GRBF networks are retained in a new metric space, called Statistical Distance Metric (SDM). The regularization potential of these networks can be realized with this type of distance. Furthermore, the recent engineering of neural networks offers effective solutions for learning smooth functionals that lie on high dimensional spaces.We tested this solution with an application from bioinformatics, one example from data mining of commercial databases and finally with some examples using medical databases from a Machine Learning Repository. We continue by establishing the network self-organizing map (NetSOM) model, which attempts to generalize the regularization and ordering potential of the basic SOM from the space of vectors to the space of approximating functions. It becomes a device for the ordering of local experts (i.e. independent neural networks) over its lattice of neurons and for their selection and coordination. Finally, an alternative to NetSOM is proposed, which uses unsupervised ordering based on Self-organizing maps (SOM) for the "simple" regions and for the "difficult" ones a two-stage learning process. There are two differences resulted from the comparison with the previous model (NetSOM), one is that we replaced a fixed-size of the SOM with a dinamically expanded map and second, the supervised learning was based this time on Radial Basis Functions (RBF) Networks and Support Vector Machines (SVM). There are two fields in which this tool (called sNet-SOM) was used, namely: ischemia detection and Data Mining. / Η παρούσα διδακτορική διατριβή είναι επικεντρωμένη γύρω από την ανάπτυξη και εφαρμογή, με χαμηλές υπολογιστικές απαιτήσεις, βασισμένες σε Τεχνητά Νευρωνικά Δίκτυα, για την Ανάλυση Βιοϊατρικών σημάτων και Data Mining σε Ιατρικά Δεδομένα. Απώτερος σκοπός της παρούσης διατριβής στον τομέα της Βιοϊατρικής Τεχνολογίας είναι να παρέχει στους ιατρούς με την καλύτερη δυνατή πληροφόρηση για να κάνουν μια ακριβή διάγνωση (στην περίπτωση του ισχαιμικού μυοκαρδίου) και να προτείνει αναπτυγμένα μαθηματικά μοντέλα για να ανακάμψει πολύπλοκες εξαρτήσεις μεταξύ τον μεταβλητών μιας φυσικής διεργασίας από ένα σύνολο διαφορετικών παρατηρήσεων. Μετά την περιγραφή μερικών από τους βασικούς τύπους τεχνητών Νευρωνικών Δικτύων που χρησιμοποιούνται στην παρούσα διατριβή, εμείς αρχίσαμε να σχεδιάζουμε ένα μοντέλο για ταξινόμηση προτύπων κατασκευάζοντας πολλά τοπικά μοντέλα γειτονικά με τον παρόντα χώρο. Για αυτό το σκοπό εμείς χρησιμοποιούμε το αλγόριθμο για clustering k-windows για να ανιχνεύει αυτόματα γειτονιές στον παρόντα χώρο. Αυτός ο αλγόριθμος με μια ελαφριά τροποποίηση έχει την ικανότητα να καθορίζει ενδογενώς την παρουσία του αριθμού τον clusters στο σύνολο τον δεδομένων κατά την διάρκεια της διαδικασίας του clustering. Όταν η διαδικασία του clustering ολοκληρώνεται ένα εκπαιδευμένο Εμπροσθοτροφοδοτούμενο Νευρωνικό Δίκτυο δρα ως ο τοπικός προβλέπτης για κάθε cluster. Εν συνεχεία, προτείνουμε τη χρήση εξαγόμενης στατιστικής μετρητικής απόστασης, μέσα στο γενικότερο πλαίσιο των δικτύων ( GRBF). Οι κύριες λειτουργίες των GRBF (Generalized Radial Basis Functions) δικτύων διατηρούνται στο καινούργιο μετρητικό χώρο. Η δυναμική κανονικοποίηση αυτών των δικτύων μπορεί να πραγματοποιηθεί με αυτό τον τύπο αποστάσεων. Επιπλέον η πρόσφατη τεχνολογία των ΝΝ (Neural Networks) προσφέρει αποτελεσματικές λύσεις για τη μάθηση ομαλών συναρτήσεων που βρίσκεται σε υψηλούς διαστατικούς χώρους. Δοκιμάσαμε αυτή τη λύση σε εφαρμογή βιοπληροφορικής, μία από εμπορικές βάσεις δεδομένων και τέλος με μερικά παραδείγματα χρησιμοποιώντας βάσεις δεδομένων από το UCI (University of California at Irvine) από το ιατρικό πεδίο. Συνεχίζοντας, καθιδρύουμε το δίκτυο NetSOM (network Self-Οrganizing Map), που προσπαθεί να γενικεύσει (generalize) την κανονικοποίηση (regularization) και να δώσει δυναμικές εντολές (ordering) του βασικού SOM από το διανυσματικό χώρο στο χώρο των προσεγγιστικών συναρτήσεων. Αποτελεί μια εντολοδόχο διαδικασία για τους τοπικούς ειδικούς πάνω από το πλέγμα των νευρώνων και για την επιλογή και το συντονισμό τους. Τέλος, αναλύεται μια εναλλακτική λύση του NetSOM, που χρησιμοποιεί μη εκπαιδευμένες εντολές βασισμένες στο SOMs για τις “απλές ” περιοχές και για τις “δύσκολες ” μια διαδικασία μάθησης 2-επιπέδων. Υπάρχουν 2 διαφορές στα αποτελέσματα από την σύγκριση με το προηγούμενο μοντέλο (NetSOM), η πρώτη είναι ότι αντικαταστήσαμε (we replaced) a fixed-size των SOM με ένα πιο δυναμικό ταίριασμα (mapping) και η δεύτερη, η εκπαιδευόμενη εκμάθηση βασίστηκε αυτή τη φορά στην RBF και στις μηχανές υποστήριξης διανυσμάτων (SVM). Αυτό το εργαλείο χρησιμοποιήθηκε στην αναγνώριση των ισχαιμιών και εξόρυξη δεδομένων από βάσεις δεδομένων.

Στην εργασία αυτή παρουσιάζεται η χρήση τεχνολογίας Έμπειρων Συστημάτων για την πρόβλεψη της επιτυχίας ενός μαθητή Τ.Ε.Ε. στις εισαγωγικές πανελλαδικές εξετάσεις στα Α.Τ.Ε.Ι. και η απόδοσή της συγκρίνεται με αυτή της Ανάλυσης Λογιστικής Παλλινδρόμησης και των Νευρωνικών Δικτύων. Είναι σημαντικό για τους καθηγητές, αλλά και τη διοίκηση του σχολείου, να είναι σε θέση να εντοπίζουν τους μαθητές με υψηλή πιθανότητα αποτυχίας ή χαμηλής απόδοσης ώστε να τους βοηθήσουν κατάλληλα. Για το σκοπό της παρούσας εργασίας αναπτύσσεται Έμπειρο Σύστημα βασισμένο σε κανόνες, το οποίο υλοποιείται σε δυο εκδοχές: η πρώτη χρησιμοποιεί τους συντελεστές βεβαιότητας του MYCIN και η δεύτερη μια γενικευμένη εκδοχή της σχέσης των συντελεστών αβεβαιότητας του MYCIN με τη βοήθεια αριθμητικών βαρών για κάθε συντελεστή βεβαιότητας (PASS). Ο σχεδιασμός του έμπειρου συστήματος σε κάθε περίπτωση, η ανάλυση Λογιστικής Παλινδρόμησης και η ανάπτυξη Νευρωνικού Δικτύου βασίζονται στην ανάλυση δημογραφικών και εκπαιδευτικών δεδομένων των μαθητών, κυρίως όμως στην ανάλυση δεδομένων της απόδοσής τους κατά τις σπουδές τους (Φύλο, Ηλικία, Ειδικότητα, Βαθμός Α (ο Γενικός Βαθμός της Α’ Τάξης), Βαθμός Β (Γενικός Βαθμός της Β’ τάξης) και Βαθμός ΑΓ (ο Μέσος Όρος των βαθμών στα τρία εξεταζόμενα μαθήματα κατά το Α’ τετράμηνο σπουδών). Με δεδομένο το ότι η πρόβλεψη της επιτυχίας ή μη ενός μαθητή στις εισαγωγικές εξετάσεις εμπεριέχει ένα μεγάλο βαθμό αβεβαιότητας, η αβεβαιότητα αυτή έχει καθοριστικό ρόλο στη σχεδίαση του έμπειρου συστήματος σε κάθε εκδοχή του. Το Έμπειρο Σύστημα PASS, η Ανάλυση Λογιστικής Παλινδρόμησης και τα Νευρωνικά Δίκτυα έχουν περίπου την ίδια ακρίβεια στην πρόβλεψή τους ενώ το MYCIN μικρότερη. Το MYCIN εμφανίζει την υψηλότερη ευαισθησία. Το Έμπειρο Σύστημα PASS, η Ανάλυση Λογιστικής Παλινδρόμησης και τα Νευρωνικά Δίκτυα έχουν περίπου την ίδια ειδικότητα, με το PASS να έχει ελαφρώς υψηλότερη τιμή ενώ το MYCIN έχει την χαμηλότερη τιμή. / In this paper, the use of the technology of the Expert Systems is presented in order to predict how certain is that a student of a specific type of high school in Greece will pass the national exams for entering a higher education institute, and the results are compared with that of Logistic Regression Analysis and Neural Networks. Predictions are based on various types of student’s student (sex, subject of studies, general degree of class A, general degree of class B, mean degree of the three basic lessons of class C). The aim is to use the predictions to provide suitable support to the students during their studies towards the national exams. The expert system is a rule-based system that uses a type of certainty factors and is developed based on two versions. The first one uses the MYCIN certainty factors combination to produce the final prediction based on rules with the same conclusion. The second one (PASS) introduces a parameterized linear formula for combining the certainty factors of two rules with the same conclusion. The values of the parameters (weights) are determined via training, before the system is used. Experimental results show that the accuracy of the predictions of the expert system PASS is comparable to that of Logistic Regression Analysis and Neural Networks approach. The accuracy of the predictions of the expert system MYCIN is lower than the accuracy of the other methods. The sensitivity of the MYCIN results is the highest and the specificity is the lowest. The specificity of the PASS, Logistic Regression Analysis and Neural Networks results are similar with the one of the PASS Expert System to be higher.

Η παρούσα διατριβή ασχολείται με τη μελέτη και την ανάπτυξη μοντέλων ταξινόμησης τα οποία βασίζονται στα Πιθανοτικά Νευρωνικά Δίκτυα (ΠΝΔ). Τα προτεινόμενα μοντέλα αναπτύχθηκαν ενσωματώνοντας στατιστικές μεθόδους αλλά και μεθόδους από διάφορα πεδία της Υπολογιστικής Νοημοσύνης (ΥΝ). Συγκεκριμένα, χρησιμοποιήθηκαν οι Διαφοροεξελικτικοί αλγόριθμοι βελτιστοποίησης και η Βελτιστοποίηση με Σμήνος Σωματιδίων (ΒΣΣ) για την αναζήτηση βέλτιστων τιμών των παραμέτρων των ΠΝΔ. Επιπλέον, ενσωματώθηκε η τεχνική bagging για την ανάπτυξη συστάδας μοντέλων ταξινόμησης. Μια άλλη προσέγγιση ήταν η ανάπτυξη ενός Μπεϋζιανού μοντέλου για την εκτίμηση των παραμέτρων του ΠΝΔ χρησιμοποιώντας τον δειγματολήπτη Gibbs. Επίσης, ενσωματώθηκε μια Ασαφή Συνάρτηση Συμμετοχής για την καλύτερη στάθμιση των τεχνητών νευρώνων του ΠΝΔ καθώς και ένα νέο σχήμα διάσπασης του συνόλου εκπαίδευσης σε προβλήματα ταξινόμησης πολλαπλών κλάσεων όταν ο ταξινομητής μπορεί να επιτύχει ταξινόμηση δύο κλάσεων.Τα προτεινόμενα μοντέλα ταξινόμησης εφαρμόστηκαν σε μια σειρά από πραγματικά προβλήματα από διάφορες επιστημονικές περιοχές με ενθαρρυντικά αποτελέσματα. / The present thesis is dealing with the study and the development of classification models that are based on Probabilistic Neural Networks (PNN). The proposed models were developed by the incorporation of statistical methods as well as methods from several fields of Computational Intelligence (CI) into PNNs. In particular, the Differential Evolutionary optimization algorithms and Particle Swarm Optimization algorithms are employed for the search of promising values of PNNs’ parameters. Moreover, the bagging technique was incorporated for the development of an ensemble of classification models. Another approach was the construction of a Bayesian model for the estimation of PNN’s parameters utilizing the Gibbs sampler. Furthermore, a Fuzzy Membership Function was incorporated to achieve an improved weighting of PNN’s neurons. A new decomposition scheme is proposed for multi-class classification problems when a two-class classifier is employed. The proposed classification models were applied to a series of real-world problems from several scientific areas with encouraging results.

Στα πλαίσια της διατριβής, πραγματοποιήθηκε μελέτη και ανάλυση σημάτων πηγών ακουστικής εκπομπής, προτάθηκαν νέες ολοκληρωμένες μεθοδολογίες βασισμένες σε συμβατικές αλλά και προχωρημένες τεχνικές επεξεργασίας και ανάλυσης δεδομένων για την εξαγωγή εκείνων των χαρακτηριστικών που διαχωρίζουν τα σήματα ακουστικής εκπομπής από τον περιβάλλοντα θόρυβο. Εξετάσθηκαν ποια χαρακτηριστικά γνωρίσματα (παράμετροι) περιέχουν σημαντικό τμήμα της “πληροφορίας” έτσι ώστε στη συνέχεια χρησιμοποιώντας προχωρημένες μεθόδους αναγνώρισης προτύπων να επιτευχθεί ανίχνευση και χαρακτηρισμός ρωγμοειδών αστοχιών σε θορυβώδεις συνθήκες αλλά και σε σύνθετες κατασκευές. Συνοπτικά στην παρούσα διατριβή προτάθηκε και αξιολογήθηκε μια νέα μέθοδος για την εκτίμηση της βέλτιστης τοποθέτησης αισθητήρων. Προτάθηκαν δύο μέθοδοι για τον εντοπισμό θέσης πηγής ακουστικής εκπομπής. Πραγματοποιήθηκε για πρώτη φορά εξαγωγή ενενήντα παραμέτρων, εκ’ των οποίων οι εξήντα επτά προσδιορίστηκαν μετά από επεξεργασία του σήματος στο πεδίο του χρόνου ενώ οι υπόλοιπες είκοσι τρεις με επεξεργασία του σήματος στο πεδίο της συχνότητας. H μείωση του αριθμού των παραμέτρων, χωρίς όμως να μειώνεται ταυτόχρονα και η αξιοπιστία του ταξινομητή, αποτελεί ένα μεγάλος μέρος έρευνας που πραγματοποιήθηκε στα πλαίσια εκπόνησης της παρούσας διατριβής. Προτάθηκαν και αξιολογήθηκαν τέσσερις μέθοδοι επιλογής παραμέτρων. Για πρώτη φορά κατασκευάστηκαν και αξιολογήθηκαν ολοκληρωμένα συστήματα ανίχνευσης αστοχιών τα οποία έχουν την δυνατότητα να ανιχνεύουν τη δημιουργία ρωγμών λόγω καταπόνησης σε καιρικές συνθήκες βροχής. Στο τελευταίο μέρος της διατριβής κατασκευάστηκε και αξιολογήθηκε ένα καινοτόμο σύστημα χαρακτηρισμού ρωγμοειδών γεγονότων για τις ενισχύσεις πλοίων, υπό προσομοιωμένες συνθήκες λειτουργίας του πλοίου. / The present PhD thesis dealt with the following subjects: best sensors position, source location, features extraction and features selection, crack detection on raining conditions, crack characterization in ship structures. A new method, for the estimation of the best sensors position that used for accurate acoustic emission source location on empty spherical surfaces, is presented. Two acoustic emission source location methods are presented and evaluated. In this thesis, an extensive set of ninety features (forty-one novel features) are extracted from acoustic emission signals, sixty-seven in the time domain and twenty-three by processing the signal in the frequency domain. The features are estimated for two time-frames the first has 1msec duration (typically the signal does not contain all the reflections from the material edges) and the second has 32msec of the normalized signal, which is not separated by its reflections, in small structures. To achieve robust performance both in accuracy and computational complexity of any classification method, it is necessary to pick up the most relevant features. Four features selection methods are proposed and evaluated. In outside constructions (e.g bridges, tanks, ships etc) real-life noises reduce significantly the capability of location and characterization acoustic emission sources. Among the most important types of noise is the rain, producing signal similar to crack. A completed system of detection crack on condition of rain is estimated. An efficient system for automatic and real-time characterization of crack events using a robust set of features to monitor crack events in ship structures is presented. In normal operation of ship, real-life noises (e.g engines, sea waves, weather conditions etc) reduce significantly the capability of location and characterization of crack events.

Στην εργασία που ακολουθεί, ασχολούμαστε με την εφαρμογή μεθόδων Τεχνητής Νοημοσύνης σε ένα πραγματικό πρόβλημα, που αναφέρεται στην διάγνωση του βαθμού ασφαλισιμότητας ενός πελάτη μιας ασφαλιστικής εταιρείας. Η ανάγκη για την εφαρμογή αυτή προέκυψε από το γεγονός ότι πολλές φορές ο εμπειρογνώμονας της εταιρείας δεν είναι διαθέσιμος, αλλά και όταν είναι, χρειάζεται ένα συμβουλευτικό πρόγραμμα. Πιο συγκεκριμένα, για τη λύση του προβλήματος χρησιμοποιούνται: α) ένα ασαφές έμπειρο σύστημα υλοποιημένο με τη βοήθεια του εργαλείου FuzzyCLIPS, β) ένα έμπειρο σύστημα που χρησιμοποιεί κανόνες με συντελεστές βεβαιότητας τύπου MYCIN, γ) ένα έμπειρο σύστημα που χρησιμοποιεί κανόνες με συντελεστές βεβαιότητας τύπου weighted, υλοποιημένα και τα δύο με βάση το εργαλείο CLIPS και δ) ένα νευρωνικό δίκτυο υλοποιημένο με βάση το εργαλείο WEKA. Στο τέλος συγκρίνουμε τα παραπάνω συστήματα με βάση κάποιες μετρικές. Πριν να ξεκινήσουμε την ανάλυση του προβλήματός μας και των υλοποιήσεων των παραπάνω συστημάτων, αναλύουμε λίγο παραπάνω τους όρους και τα εργαλεία που ήδη αναφέραμε, δίνοντας περισσότερες πληροφορίες για την προέλευση τους, τα χαρακτηριστικά τους, τη χρησιμότητά τους, κτλ. Έτσι, αρχικά δίνουμε περισσότερα στοιχεία για τον τομέα της Τεχνητής Νοημοσύνης και πώς αυτός έχει εξελιχτεί στις τελευταίες δεκαετίες, και αναλύουμε τη συσχέτιση των Έμπειρων Συστημάτων με την Τεχνητή Νοημοσύνη, τα χαρακτηριστικά τους, τη δομή τους, τα πλεονεκτήματα και μειονεκτήματά τους. Στη συνέχεια, αναλύουμε τα τρία εργαλεία που θα χρησιμοποιήσουμε και τις δυνατότητες αυτών. Κι αφού δώσουμε περισσότερες πληροφορίες για το πρόβλημα της ‘Ασφαλισιμότητας’ και τον τρόπο που το αντιμετωπίζουμε, γίνεται παρουσίαση των παραπάνω ευφυών συστημάτων και των αποτελεσμάτων τους σε συγκεκριμένο σύνολο δεδομένων. Τέλος, προχωράμε σε σύγκριση και σχολιασμό των τιμών των μετρικών που προέκυψαν από τις προηγούμενες εφαρμογές, και εξαγωγή των συμπερασμάτων της σύγκρισης. / In the work that follows, we deal with the application of methods of Artificial Intelligence in a real problem, that is concerned with the diagnosis of degree of ‘how safe is to insure a customer’ in an insurance company. The need for this application resulted from the fact that many times over, the expert of the insurance company may not be available, but also when he is, he could use an advisory program. To be more exact, for the solution of the problem described above we use: a) a fuzzy expert system (in our case we use FuzzyCLIPS), b) an expert system that use rules with certainty factors as in the MYCIN tool, c) an expert system that uses rules with certainty factors as in the Weighted tool, both programmed using the CLIPS expert systems tool d) a neural network through WEKA neural network producer tool. Finally, we compare the above mentioned systems by calculating a set of metrics to conclude which method produces the most accurate results. Before analysing our problem and running the systems mentioned above, we analyze fatherly the terms and the tools that we use, providing more information on their characteristics, usefulness, etc. Thus, initially we give more information about Artificial Intelligence and how it has developed in the last decades, and we analyze the cross-correlation of Expert Systems with Artificial Intelligence, their characteristics, their structure, their advantages and disadvantages. After that, we analyze the three tools that we will use, and their possibilities, advantages and disadvantages. After giving more information on the problem of ‘how safe is to insure a customer’ and the way we deal with it, we present the above expert systems and their results in a specific dataset. Finally, we compare the metrics that were calculated from the previous applications, and comment on the conclusions of this comparison.