Τα τεχνητά νευρωνικά δίκτυα είναι μια μορφή τεχνητής νοημοσύνης, τα οποία αποτελούνται από ένα σύνολο απλών, διασυνδεδεμένων και προσαρμοστικών μονάδων, οι οποίες συνιστούν ένα παράλληλο πολύπλοκο υπολογιστικό μοντέλο. Μέχρι σήμερα έχουν εφαρμοστεί επιτυχημένα σε ένα ευρύ φάσμα περιοχών για την επίλυση προβλημάτων ταξινόμησης ή πρόβλεψης, όπως η βιολογία, η ιατρική, η γεολογία, η φυσική κ.ά. Σε αυτήν την εργασία θα ασχοληθούμε με την εκπαίδευση τεχνητών νευρωνικών δικτύων ανά πρότυπο εισόδου. Αυτή η προσέγγιση θεωρείται κατεξοχήν κατάλληλη για περιπτώσεις όπου η εκπαίδευση διαθέτει σημαντικό χρόνο και απαιτεί μεγάλο αποθηκευτικό χώρο, όπως συμβαίνει συχνά όταν έχουμε μεγάλα σύνολα προτύπων ή/και δίκτυα. Μέχρι σήμερα έχουν προταθεί πολλοί αλγόριθμοι εκπαίδευσης νευρωνικών δικτύων, καλύπτοντας ο ένας τα κενά του άλλου, σχεδιασμένοι ώστε να επιλύουν τα προβλήματα που παλιότερα ήταν δύσκολο να επιλυθούν. Στόχος της εργασίας είναι η εκτενής ανάλυση και αξιολόγηση των αλγορίθμων εκπαίδευσης καθώς και η ικανότητα γενίκευσης των εκπαιδευόμενων δικτύων σε μια ποικιλία προβλημάτων από τους τομείς τις ιατρικής και της βιοπληροφορικής. Επίσης επηρεασμένοι από τη δυνατότητα για την επίτευξη καλύτερης απόδοσης θα μελετήσουμε την συμβολή των νευρωνικών δικτύων στη μηχανική μάθηση. Συγκεκριμένα θα αποτιμήσουμε τη συνεισφορά των νευρωνικών δικτύων στη δημιουργία αξιόπιστων συστημάτων αποφάσεων χρησιμοποιώντας τεχνικές συνδυασμού ταξινομητών. Τέλος, θα μελετήσουμε τις δυνατότητες συνδυασμού τους με διάφορες άλλες κατηγορίες ταξινομητών μηχανικής μάθησης για την ανάπτυξη ισχυρότερων υβριδικών συστημάτων εξαγωγής πληροφορίας. / Literature review corroborates that artificial neural networks are being successfully applied in a variety of regression and classification problems. Due of their ability to exploit the tolerance for imprecision and uncertainty in real-world problems and their robustness and parallelism, artificial neural networks have been increasingly used in many applications. It is well-known that the procedure of training a neural network is highly consistent with unconstrained optimization theory and many attempts have been made to speed up this process. In particular, various algorithms motivated from numerical optimization theory have been applied for accelerating neural network training. Moreover, commonly known heuristics approaches such as momentum or variable learning rate lead to a significant improvement. In this work we compare the performance of classical gradient descent methods and examine the effect of incorporating into them a variable learning rate and an adaptive nonmonotone strategy. We perform a large scale study on the behavior of the presented algorithms and identify their possible advantages. Additionally, we propose two modifications of two well-known second order algorithms aiming to overcome the limitations of the original methods.