This thesis is concerned with one important question in artificial neural networks, that is, how biologically inspired connectivity of a network affects its associative memory performance. In recent years, research on the mammalian cerebral cortex, which has the main responsibility for the associative memory function in the brains, suggests that the connectivity of this cortical network is far from fully connected, which is commonly assumed in traditional associative memory models. It is found to be a sparse network with interesting connectivity characteristics such as the “small world network” characteristics, represented by short Mean Path Length, high Clustering Coefficient, and high Global and Local Efficiency. Most of the networks in this thesis are therefore sparsely connected. There is, however, no conclusive evidence of how these different connectivity characteristics affect the associative memory performance of a network. This thesis addresses this question using networks with different types of connectivity, which are inspired from biological evidences. The findings of this programme are unexpected and important. Results show that the performance of a non-spiking associative memory model is found to be predicted by its linear correlation with the Clustering Coefficient of the network, regardless of the detailed connectivity patterns. This is particularly important because the Clustering Coefficient is a static measure of one aspect of connectivity, whilst the associative memory performance reflects the result of a complex dynamic process. On the other hand, this research reveals that improvements in the performance of a network do not necessarily directly rely on an increase in the network’s wiring cost. Therefore it is possible to construct networks with high associative memory performance but relatively low wiring cost. Particularly, Gaussian distributed connectivity in a network is found to achieve the best performance with the lowest wiring cost, in all examined connectivity models. Our results from this programme also suggest that a modular network with an appropriate configuration of Gaussian distributed connectivity, both internal to each module and across modules, can perform nearly as well as the Gaussian distributed non-modular network. Finally, a comparison between non-spiking and spiking associative memory models suggests that in terms of associative memory performance, the implication of connectivity seems to transcend the details of the actual neural models, that is, whether they are spiking or non-spiking neurons.

This thesis describes a novel approach to the evolution of Modular Artificial Neural Networks. Standard Evolutionary Algorithms, used in this application include: Genetic Algorithms, Evolutionary Strategies, Evolutionary Programming and Genetic Programming; however, these often fail in the evolution of complex systems, particularly when such systems involve multi-domain sensory information which interacts in complex ways with system outputs. The aim in this work is to produce an evolutionary method that allows the structure of the network to evolve from simple to complex as it interacts with a dynamic environment. This new algorithm is therefore based on Incremental Evolution. A simulated model of a legged robot was used as a test-bed for the approach. The algorithm starts with a simple robotic body plan. This then grows incrementally in complexity along with its controlling neural network and the environment it reacts with. The network grows by adding modules to its structure - so the technique may also be termed a Growth Algorithm. Experiments are presented showing the successful evolution of multi-legged gaits and a simple vision system. These are then integrated together to form a complete robotic system. The possibility of the evolution of complex systems is one advantage of the algorithm and it is argued that it represents a possible path towards more advanced artificial intelligence. Applications in Electronics, Computer Science, Mechanical Engineering and Aerospace are also discussed.

Τα Τεχνητά Νευρωνικά Δίκτυα είναι μια επιστημονική περιοχή η οποία έχει αναπτυχθεί κατά τις τελευταίες δεκαετίες και επικαλύπτει όλες σχεδόν τις θετικές επιστήμες και την μηχανολογία. Τα Νευρωνικά Δίκτυα αποτελούνται από ένα σύνολο απλών, διασυνδεδεμένων και προσαρμοστικών μονάδων οι οποίες δημιουργούν ένα παράλληλο και πολύπλοκο υπολογιστικό μοντέλο. Στην ουσία είναι προγράμματα που υλοποιούνται στους ηλεκτρονικούς υπολογιστές. Μέχρι σήμερα έχουν χρησιμοποιηθεί σε πολλές εφαρμογές και σε προβλήματα που οι γνωστοί τρόποι αντιμετώπισής τους παρουσιάζουν δυσκολίες, με αποτέλεσμα την αναγκαιότητα των Τεχνητών Νευρωνικών Δικτύων. Η εργασία αυτή αποτελείται από έξι κεφάλαια. Στο πρώτο κεφάλαιο κάνουμε μια εισαγωγή στα Τεχνητά Νευρωνικά Δίκτυα. Αναφέρουμε τις βασικές αρχές τους και την αντιστοιχία τους με τα βιολογικά δίκτυα. Το δεύτερο κεφάλαιο ασχολείται με το δίκτυο Perceptron. Ξεκινάμε με το πιο απλό μοντέλο, τον αισθητήρα και συνεχίζουμε με τα πολυεπίπεδα Νευρωνικά Δίκτυα Perceptron. Αναφέρουμε δύο μεθόδους εκπαίδευσης, τη μέθοδο οπισθοδιάδοσης του λάθους και τον κανόνα Δέλτα. Στο τρίτο κεφάλαιο μελετάμε άλλα είδη δικτύων, όπως τα αναδρομικά δίκτυα, το δίκτυο Hopfield, το δίκτυο SOM και το δίκτυο RBF. Το τέταρτο κεφάλαιο αναφέρεται στον νευρωνικό έλεγχο και στις αρχιτεκτονικές των νευρωνικών ελεγκτών. Στο πέμπτο κεφάλαιο εξετάζουμε κάποιες συγκεκριμένες εφαρμογές των Τεχνητών Νευρωνικών Δικτύων σε διάφορα συστήματα ελέγχου. Στο έκτο κεφάλαιο αναφέρουμε τα συμπεράσματα καθώς και μελλοντικές επεκτάσεις των ΤΝΔ. / Artificial Neural Networks are a research area which has developed over the past decades. Neural Networks consist of a set of simple, interconnected and adaptive plants that create a parallel and complex computational model. They are essentially programs implemented in computers. They have been used in many applications and problems that are very difficult to be solved otherwise. This work consists of six chapters. In the first chapter we make an introduction to Artificial Neural Networks. We mention the basic principles and their correlation with biological networks. The second chapter deals with the network Perceptron. We start with the simplest model, the sensor and continue with the multilayer Neural Network Perceptron. We mention two training methods, the method of error back-propagation and delta rule. In the third chapter we consider other types of networks such as the recurrent networks, Hopfield network, the network SOM and the RBF network. The fourth chapter deals with the neural control and the architectures of neural controllers. In the fifth chapter we examine some specific applications of Artificial Neural Networks in several control systems. The sixth chapter refers to the conclusions of this work and future evolution of ANN.

Dans le contexte de l'énaction et dans une approche globale de la perception, nous nous sommes intéressés à étudier calcul neuronal permettant de comprendre les relations entre les structures dans le cerveau et leurs fonctions. Nous avons d'abord examiné les problèmes calculatoires liés à la discrétisation des équations différentielles qui régissent les systèmes étudiés et aux schémas d'évaluation synchrones et asynchrones. Nous nous sommes, ensuite, intéressés à un niveau fonctionnel élémentaire: la transformation de représentations sensorielles spatiales en actes moteurs temporels dans le cadre du système visuo-moteur. Nous avons proposé un modèle minimaliste d'encodage automatique des cibles visuelles de saccades qui se concentre sur le le flux visuel de la rétine vers le colliculus supérieur. Ce modèle, basé sur sur des règles locales simples au sein d'une population homogène, permet de reproduire et d'expliquer plusieurs résultats d'expériences biologiques ce qui en fait un modèle de base efficace et robuste. Enfin, nous avons abordé un niveau fonctionnel plus global en proposant un modèle de la boucle motrice des ganglions de la base permettant d'intégrer des flux sensoriels, moteurs et motivationnels en vue d'une décision globale reposant sur des évaluations locales. Ce modèle met en exergue un processus adaptatif de sélection de l'action et d'encodage de contexte via des mécanismes originaux lui permettant en particulier de constituer la brique de base pour les autres boucles cortico-basales. Les deux modèles présentent des dynamiques intéressantes à étudier que ce soit d'un point de vue biologique ou d'un point de vue informatique computationnel / Within the context of enaction and a global approach to perception, we focused on the characteristics of neural computation necessary to understand the relationship between structures in the brain and their functions. We first considered computational problems related to the discretization of differential equations that govern the studied systems and the synchronous and asynchronous evaluation schemes. Then, we investigated a basic functional level : the transformation of spatial sensory representations into temporal motor actions within the visual-motor system. We focused on the visual flow from the retina to the superior colliculus to propose a minimalist model of automatic encoding of saccades to visual targets. This model, based on simple local rules (CNFT and logarithmic projection) in a homogeneous population and using a sequential processing, reproduces and explains several results of biological experiments. It is then considered as a robust and efficient basic model. Finally, we investigated a more general functional level by proposing a computational model of the basal ganglia motor loop. This model integrates sensory, motor and motivational flows to perform a global decision based on local assessments. We implemented an adaptive process for action selection and context encoding through an innovative mechanism that allows to form the basic circuit for other cortico-basal loops. This mechanism allows to create internal representations according to the enactive approach that opposes the computer metaphor of the brain. Both models have interesting dynamics to study from whether a biological point of view or a computational numerical one

Cette thèse est centrée sur deux principaux objectifs : l'adaptation de techniques de traduction neuronale à de nouvelles tâches, et la reproduction de travaux de recherche existants. Nos efforts pour la reproductibilité ont résulté en la création de deux ressources : MultiVec, un outil permettant l'utilisation de plusieurs techniques liées au word embeddings; ainsi qu'un outil proposant plusieurs modèles pour la traduction automatique et d’autres tâches similaires (par ex. post-édition automatique). Nous travaillons ensuite sur plusieurs tâches liées à la traduction : la Traduction Automatique (TA), Traduction Automatique de la Parole, et la Post-Édition Automatique. Pour la tâche de TA, nous répliquons des travaux fondateurs basés sur les réseaux de neurones, et effectuons une étude sur des TED Talks, où nous avançons l'état de l'art. La tâche suivante consiste à traduire la parole dans une langue vers le texte dans une autre langue. Dans cette thèse, nous nous concentrons sur le problème inexploré de traduction dite « end-to-end », qui ne passe pas par une transcription intermédiaire dans la langue source. Nous proposons le premier modèle end-to-end, et l'évaluons sur deux problèmes : la traduction de livres audio, et d'expressions de voyage. Notre tâche finale est la post-édition automatique, qui consiste à corriger les sorties d'un système de traduction dans un scénario « boîte noire », en apprenant à partir de données produites par des post-éditeurs humains. Nous étendons des résultats publiés dans le cadre des tâches de WMT 2016 et 2017, et proposons de nouveaux modèles pour la post-édition automatique dans un scénario avec peu de données. / This thesis is centered on two main objectives: adaptation of Neural Machine Translation techniques to new tasks and research replication. Our efforts towards research replication have led to the production of two resources: MultiVec, a framework that facilitates the use of several techniques related to word embeddings (Word2vec, Bivec and Paragraph Vector); and a framework for Neural Machine Translation that implements several architectures and can be used for regular MT, Automatic Post-Editing, and Speech Recognition or Translation. These two resources are publicly available and now extensively used by the research community. We extend our NMT framework to work on three related tasks: Machine Translation (MT), Automatic Speech Translation (AST) and Automatic Post-Editing (APE). For the machine translation task, we replicate pioneer neural-based work, and do a case study on TED talks where we advance the state-of-the-art. Automatic speech translation consists in translating speech from one language to text in another language. In this thesis, we focus on the unexplored problem of end-to-end speech translation, which does not use an intermediate source-language text transcription. We propose the first model for end-to-end AST and apply it on two benchmarks: translation of audiobooks and of basic travel expressions. Our final task is automatic post-editing, which consists in automatically correcting the outputs of an MT system in a black-box scenario, by training on data that was produced by human post-editors. We replicate and extend published results on the WMT 2016 and 2017 tasks, and propose new neural architectures for low-resource automatic post-editing.

Actuellement, les technologies du traitement d'information ont atteint leurs limites et il devient donc urgent de proposer de nouveaux paradigmes capables de réduire la consommation d'énergie tout en augmentant la capacité de calcul des ordinateurs. Le cerveau humain est un fascinant et puissant organe, avec ses 300 milliards de cellule, il est capable d’effectuer des taches cognitives en consommant 20W. Dans ce contexte nous avons investiguer un nouveau paradigme appelé "neuromorphic computing" ou le traitement bio-inspiré de l'information.L'objectif de cette thèse est de concevoir et de fabriquer un neurone artificiel a très faible consommation utilisant les récentes avancées scientifiques dans les neurosciences et les nanotechnologies. Premièrement, on a investigué le fonctionnement d'un neurone vivant, sa membrane neuronale et nous avons exploré 3 différents modèles de membranes connues sous le nom de Hodgkin Huxley, Wei et Morris Lecar. Deuxièmement, en se basant sur le modèle de Morris Lecar, nous avons réalisé des neurones artificiels analogiques à spike avec différentes constantes de temps. Puis ils ont été fabriqués avec la technologie 65nm CMOS. Par la suite, nous les avons caractérisés et obtenu des performances dépassant l’état de l’art en terme de surface occupée, puissance dissipée et efficacité énergétique. Finalement, on a analysé et comparé le bruit dans ces neurones artificiels avec le bruit dans des neurones biologiques et on a démontré expérimentalement le phénomène de résonance stochastique. Ces neurones artificiels peuvent être extrêmement utiles pour une large variété d’application allant du traitement de données à l’application médicale. / Current computing technology has now reached its limits and it becomes thus urgent to propose new paradigms for information processing capable of reducing the energy consumption while improving the computing performances. Moreover, the human brain, is a fascinating and powerful organ with remarkable performances in areas as varied as learning, creativity, fault tolerance. Furthermore, with its total 300 billion cells, is able to perform complex cognitive tasks by consuming only around 20W. In this context, we investigated a new paradigm called neuromorphic or bio-inspired information processing.More precisely, the purpose of this thesis was to design and fabricate an ultra-low power artificial neuron using recent advances in neuroscience and nanotechnology. First, we investigated the functionalities of living neurons, their neuronal membrane and explored different membrane models known as Hodgkin Huxley, Wei and Morris Lecar models. Second, based on the Morris Lecar model, we designed analog spiking artificial neurons with different time constants and these neurons were fabricated using 65nm CMOS technology. Then we characterized these artificial neurons and obtained state of the art performances in terms of area, dissipated power and energy efficiency. Finally we investigated the noise within these artificial neurons, compared it with the biological sources of noise in a living neuron and experimentally demonstrated the stochastic resonance phenomenon. These artificial neurons can be extremely useful for a large variety of applications, ranging from data analysis (image and video processing) to medical aspect (neuronal implants).

Σκοπός αυτής της διπλωματικής εργασίας είναι η σύγκριση δύο μεγάλων κατηγοριών, των Τεχνητών Νευρωνικών Δικτύων και των πολύ δημοφιλείς τα τελευταία χρόνια, Μηχανών Διανυσματικής Υποστήριξης (SVMs) στην Κατηγοριο-ποίηση δεδομένων και στην Παλινδρόμηση. Στο πρώτο κεφάλαιο έχουν γραφτεί θέματα σχετικά με την Εξόρυξη γνώσης και την Κατηγοριοποίηση δεδομένων, το δεύτερο κεφάλαιο προσεγγίζει αρκετά θέματα από το τεράστιο κεφάλαιο των Νευρωνικών Δικτύων. Αναλύει το λόγο που δημιουργή-θηκαν, το θεωρητικό τους μέρος, αρκετές από τις τοπολογίες τους – αρχιτεκτονικές τους και τέλος τις ανάγκες που δημιουργήθηκαν μέσα από τα πλεονεκτήματά και τα μειονεκτήματα τους, για ακόμη καλύτερα αποτελέσματα. Το τρίτο κεφάλαιο ασχολείται με τις Μηχανές Διανυσματικής Υποστήριξης, για πιο λόγο είναι τόσο δημοφιλείς, πως υλοποιούνται θεωρητικά και γεωμετρικά, τι πετυχαίνουν, τα πλεονεκτήματά και τα μειονεκτήματα τους. Το τέταρτο κεφάλαιο προσπαθεί μέσα από πειραματικά αποτελέσματα να συγκρίνει τα Τεχνητά Νευρωνικά Δίκτυα με τα SVMs με πραγματικά σύνολα δεδομένων (πρότυπα ή στιγμιότυπα), ποιοί δείκτες είναι αυτοί που θα μας δώσουν τελικά ποιος κατηγοριοποιητής είναι συνολικά καλύτερος; Όταν λέμε καλύτερος είναι αυτός που είναι πιο ακριβής ή πιο γρήγορος ή κάτι ενδιάμεσο; Το πέμπτο κεφάλαιο μας εξηγεί τι είναι παλινδρόμηση και συγκρίνει κύριους αλγορίθμους από τα Τεχνητά Νευρωνικά Δίκτυα και των Μηχανών Διανυσματικής Υποστήριξης. Στο έκτο κεφάλαιο και στα πλαίσια της διπλωματικής εργασίας υλοποίησα μία εφαρμογή σε Java, η οποία κάνει ταξινόμηση και παλινδρόμηση σε δεδομένα από αρχεία arff. Επικεντρώνεται μόνο στην ταξινόμηση και την παλινδρόμηση ενώ αυτό που το κάνει διαφορετικό από το Weka είναι η πρόβλεψη (Prediction) στο οποίο μπορούμε εμείς να δώσουμε κάποιο στιγμιότυπο και η εφαρμογή να μας κάνει πρόβλεψη για αυτό. Τέλος ακολουθούν ο επίλογος, τα παραρτήματα τα οποία καλύπτουν θεωρητικές βασικές έννοιες που αναφέρονται στα προηγούμενα κεφάλαια και διαγράμματα UML των κλάσεων που υλοποιούνται στην κατηγοριοποίηση (Classification) και στην πρόβλεψη (Prediction) στο Weka και κάποια κομμάτια κώδικα σε Java από την υλοποίηση του προγράμματος. Στην εργασία υπάρχει αρκετή βιβλιογραφία στην οποία γίνονται συνεχείς αναφορές. Στην εργασία υπάρχει αρκετή βιβλιογραφία στην οποία γίνονται συνεχείς αναφορές. Έγινε μεγάλη προσπάθεια στο να καταλάβει κάποιος πόσο σημαντική προσπάθεια έχει γίνει σε αυτό το χώρο της τεχνητής νοημοσύνης (Artificial intelligence) από τον Alan Turing και τους McCulloch και Pitts μέχρι τον Vapnik τον Osuna και τον Platt και πολλούς άλλους μετέπειτα. / The aim of this dissertation is the comparison of two major categories, the Artificial Neural Networks and the, very popular recently, Support Vector Machines on Data Classification and Regression. In the first chapter issues relevant to Data Mining and Data Classification are written, whereas in the second one, several issues from the enormous chapter of Artificial Neural Networks are approached. In this we analyze the reason for their creation, their theoretical part, several of their topologies – architectural and finally the needs that were created from their advantages and disadvantages for better results. In the third chapter we are dealing with the Support Vector Machines, the reason of their popularity, the way of their implementation theoretically and geometrically, their accomplishments and their advantages and disadvantages. In the fourth chapter, via experimental results, we are trying to compare the Artificial Neural Networks to the Support Vector Machines with real aggregate data, patterns or instances, which indicators are those that will finally give us the classifier that is the best. And by saying the best do we imply the most accurate, the fastest or something in between? In the fifth chapter we explain what Regression is and we compare major algorithms from Artificial Neural Networks and Support Vector Machines. In the sixth chapter we implemented an application into Java which performs classification and regression from arff files. It focuses only on classification and regression, while what differentiates it from Weka is Prediction on which we can give an instance and the application can make a prediction on/about it. Finally, we include the Conclusion/Epilogue, the appendices that cover basic theories which refer to previous chapters and UML diagrams of classes that are implemented on classification and Prediction in Weka, as well as some parts of the code in Java from the implementation of the program. In the Dissertation there is the Bibliography on which we constantly refer to. A great effort has been given so that anyone can understand the importance of the attempt that was done on the field of Artificial Intelligence by Alan Turing, McCulloch and Pitts up to Vapnik, Osuna and Platt and many others that followed.

Σήμερα η μελέτη των τεχνητών νευρωνικών δικτύων είναι ένα ώριμο επιστημονικό πεδίο. Τα πρώτα μοντέλα νευρωνικών δικτύων έκαναν την εμφάνιση τους την δεκαετία 1940 έως 1950, ξεκινώντας από το βασικό μοντέλο του νευρώνα του Mc Culloch-Pitls και τον πρώτο αλγόριθμο εκπαίδευσης ενός νευρώνα, τον γνωστό Perceptron του Frank Rosenblatt. Σήμερα υπάρχουν πληθώρα νευρωνικών μοντέλων που ακολουθούν διάφορα πρότυπα μάθησης όπως εκπαίδευση με εποπτεία (επίβλεψη) εκπαίδευση χωρίς εποπτεία κ.α. Η εργασία αυτή αποτελείται από 6 κεφάλαια ξεκινώντας από τις βασικές έννοιες των τεχνητών νευρωνικών δικτύων και συνεχίζοντας μέχρι την ανάλυση των ανατροφοδοτούμενων νευρωνικών δικτύων καθώς και την χρήση τους στον έλεγχο συστημάτων παρουσιάζοντας και διάφορες εφαρμογές τους. Στο πρώτο εισαγωγικό κεφάλαιο αναφέρουμε τις βασικές αρχές των τεχνητών νευρωνικών δικτύων και την αντιστοιχία τους με τον φυσικό νευρώνα του ανθρώπου. Παραθέτουμε επίσης μια σύντομη ιστορική αναδρομή Στην συνέχεια στο κεφάλαιο 2 ασχολούμαστε με τα ανατροφοδοτούμενα νευρωνικά δίκτυα. Δίνεται ένας ορισμός τον ανατροφοδοτούμενων νευρωνικών δικτύων (recurrent neural networks RNN) και αναφέρονται τα κυριότερα και δημοφιλέστερα είδη αυτών. Δίνοντας μια σύντομη ανάλυση της λειτουργίας τους. Το τρίτο κεφάλαιο ασχολείται με την εκπαίδευση των νευρωνικών δικτύων και τους διάφορους αλγόριθμους εκπαίδευσης. Ξεκινώντας από τον αλγόριθμο εκπαίδευσης του πιο απλού νευρωνικού δικτύου του Perceptron και καταλήγοντας στον αλγόριθμο Back-Propagation. Το τέταρτο κεφάλαιο αναφέρεται στον έλεγχο συστημάτων και την χρήση των νευρωνικών και ανατροφοδοτούμενων νευρωνικών δικτύων σε αυτόν. Αναλύονται οι διάφορες μοντελοποιήσεις καθώς και οι δομές ελέγχου (υπό επίβλεψη , αντίστροφος έλεγχος, προσαρμοστικός γραμμικός έλεγχος κ.α.) Στα δύο τελευταία κεφάλαια παραθέτουμε ένα παράδειγμα χρήσης ενός απλού ανατροφοδοτούμενου νευρωνικού δικτύου (simple recurrent network SRN) στον έλεγχο και τέλος εφαρμογές των νευρωνικών δικτύων σε διάφορους τομείς. / -

Visual inspection of defects is an important part of quality assurance in many fields of production. It plays a very useful role in industrial applications in order to relieve human inspectors and improve the inspection accuracy and hence increasing productivity. Research has previously been done in defect classification of wood veneers using techniques such as neural networks, and a certain degree of success has been achieved. However, to improve results in tenus of both classification accuracy and running time are necessary if the techniques are to be widely adopted in industry, which has motivated this research. This research presents a method using rough sets based neural network with fuzzy input (RNNFI). Variable precision rough set (VPRS) method is proposed to remove redundant features utilising the characteristics of VPRS for data analysis and processing. The reduced data is fuzzified to represent the feature data in a more suitable foml for input to an improved BP neural network classifier. The improved BP neural network classifier is improved in three aspects: additional momentum, self-adaptive learning rates and dynamic error segmenting. Finally, to further consummate the classifier, a uniform design CUD) approach is introduced to optimise the key parameters because UD can generate a minimal set of uniform and representative design points scattered within the experiment domain. Optimal factor settings are achieved using a response surface (RSM) model and the nonlinear quadratic programming algorithm (NLPQL). Experiments have shown that the hybrid method is capable of classifying the defects of wood veneers with a fast convergence speed and high classification accuracy, comparing with other methods such as a neural network with fuzzy input and a rough sets based neural network. The research has demonstrated a methodology for visual inspection of defects, especially for situations where there is a large amount of data and a fast running speed is required. It is expected that this method can be applied to automatic visual inspection for production lines of other products such as ceramic tiles and strip steel.

Στην εργασία αυτή παρουσιάζεται μια εναλλακτική διαδικασία διάσπασης ενός μη διαχωρίσιμου συνόλου εκπαίδευσης για την παραγωγή νευρωκανόνων. Η υπάρχουσα διαδικασία παρήγαγε νευρωκανόνες από μη γραμμικά σύνολα διασπώντας τα σε δύο υποσύνολα με βάση την «απόσταση» των προτύπων καταλήγοντας συχνά σε πολλαπλή αναπαράσταση της ίδιας γνώσης. Με την παρούσα εργασία διερευνάται η δυνατότητα της διάσπασης ενός μη διαχωρίσιμου συνόλου σε k υποσύνολα με χρήση μεθόδων συσταδοποίησης. Το k μπορεί είτε να αποτελεί είσοδο της διαδικασίας είτε να υπολογίζεται δυναμικά από ένα συγκεκριμένο εύρος τιμών. Η δεύτερη στρατηγική διάσπασης (δυναμικός k-modes) φαίνεται να έχει τα καλύτερα αποτελέσματα, ενώ η πρώτη (τροποποιημένος k-modes) παρουσιάζει συγκρίσιμα αποτελέσματα με την υπάρχουσα μέθοδο για μικρά k. Και οι δύο στρατηγικές διάσπασης μπορούν να συνδυαστούν με μία μέθοδο εύρεσης εκτόπων που αφαιρεί από το αρχικό σύνολο εκπαίδευσης μεμονωμένα παραδείγματα που αποκλίνουν «περισσότερο» από τα υπόλοιπα. / In this thesis we present an alternative splitting policy of a non separable training set used for the production of neurules. The existing method produced neurules from non linear training sets by “breaking” them into two subsets based on “distance” between patterns often leading to multiple representations of the same knowledge. The present thesis looks into the possibility of splitting a non separable training set into k subsets using clustering methods. The number k can be treated as an input to the process or it can be calculated dynamically from a specific range of values. The second splitting strategy (dynamic k-modes) appears to have the best results, while the first one (modified k-modes) gives similar results to the existing method for small values of k. Moreover, both splitting strategies can be combined with an outlier detection process which removes from the initial training set remote examples that deviate more from the rest, thus improving their performance.