{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2942651"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2942651","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Benchmarking Activation Functions of Deep Neural Networks for Protein Secondary Structure Prediction Using the Stuttgart Neural Network Simulator","abstract":"Οι πρωτεΐνες, μακρομόρια που αποτελούνται από την αλληλουχία αμινοξέων, η οποία προκύπτει από την μετάφραση του RNΑ, συνιστούν τη βάση όλων των βιολογικών διεργασιών που λαμβάνουν χώρα εντός του ανθρώπινου σώματος. Οι αλυσίδες αυτές των αμινοξέων, καθώς εκτείνονται στον τρισδιάστατο χώρο, τείνουν να λαμβάνουν χαρακτηριστικές δομές οι οποίες έχουν συνδεθεί με τη λειτουργία τους. Αυτό δύναται να υποστηριχθεί από την λειτουργική ομοιότητα μεταξύ όμοιων δομικά πρωτεϊνών. Τεχνικές ικανές να προβλέψουν με ακρίβεια τη δομή των πρωτεϊνών, με δεδομένη την αλληλουχία των αμινοξέων, έχουν τη δυνατότητα να αποτελέσουν ένα ισχυρό εργαλείο στην ιατρική καθώς και σε πολλούς άλλους βιολογικούς και βιοτεχνολογικούς κλάδους. Το γεγονός αυτό έχει οδηγήσει στην ανάπτυξη νέων μεθοδολογιών ή στην εκμετάλλευση τεχνολογικών τάσεων που έχουν ήδη αποδειχθεί αποτελεσματικές σε άλλες επιστημονικές εφαρμογές, προκειμένου να επιτευχθεί ικανότητα ασφαλούς πρόβλεψης μη χαρακτηρισμένων δομικά πρωτεϊνών. Μια επιστημονική προσέγγιση η οποία φαίνεται να έχει τη δυνατότητα να επιτύχει σε αυτό το εγχείρημα, είναι η χρήση νευρωνικών δικτύων (Neural Networks – NN), αλγορίθμων δηλαδή που έχουν την ικανότητα να γράφουν οι ίδιοι τις οδηγίες πρόβλεψης, μέσω εκμάθησης της αναγνώρισης μοτίβων εντός δεδομένων από ήδη γνωστά παραδείγματα σε ένα ελεγχόμενο σενάριο. Οι εμπνευσμένες από τον εγκέφαλο αρχιτεκτονικές αυτές παράγουν σταθερά αποτελέσματα σε πλήθος επιστημονικών εφαρμογών, όπως είναι η όραση υπολογιστών, με την εφαρμογή τους να δοκιμάζεται ήδη σε ένα πλήθος βιομηχανιών. Στην παρούσα μελέτη, το λογισμικό Stuttgart Neural Network Simulator (SNNS), ένας προσομοιωτής νευρωνικών δικτύων, χρησιμοποιήθηκε για τη δημιουργία, εκπαίδευση και έλεγχο ως προς την ακρίβεια, νευρωνικών δικτύων ρηχής (shallow) και βαθιάς (deep) αρχιτεκτονικής, αποτελούμενης από ένα, δύο και τρία εσωτερικά στρώματα (hidden layers) με ποικίλους συνδυασμούς αριθμών κόμβων (nodes) για το κάθε στρώμα. Ο στόχος ήταν η σύγκριση των επιδόσεών τους ως προς την ακρίβεια πρόβλεψης μεταξύ ιδίων αρχιτεκτονικών αλλά διαφορετικών συναρτήσεων ενεργοποίησης (activation functions). Για το λόγο αυτό, έλαβε χώρα η απαιτούμενη επέκταση του SNNS προκειμένου να εμπεριέχει τις προς μελέτη συναρτήσεις. Οι συναρτήσεις ενεργοποίησης που χρησιμοποιήθηκαν ήταν η Logistic, η Rectified Linear Unit (ReLU) και η Leaky Rectified Linear Unit (LReLU), με τα ικανότερα προβλεπτικά δίκτυα να είναι αυτά που χρησιμοποιούσαν την ReLU για ένα επίπεδο βάθους και υψηλούς αριθμούς μεταβλητών, γεγονός που επιβεβαίωσε την αρχική μας υπόθεση που ήθελε τα δίκτυα που χρησιμοποιούν τη ReLU να ξεπερνούν σε απόδοση τα υπόλοιπα. Το νευρωνικό δίκτυο με την καλύτερη απόδοση συνολικά, αποτελούταν από ένα επίπεδο βάθους με 140 κόμβους που χρησιμοποιούσε την ReLU, επιτυγχάνοντας ακρίβεια 67.85% σε ένα νέο test set.","abstract_html":"Οι πρωτεΐνες, μακρομόρια που αποτελούνται από την αλληλουχία αμινοξέων, η οποία προκύπτει από την μετάφραση του RNΑ, συνιστούν τη βάση όλων των βιολογικών διεργασιών που λαμβάνουν χώρα εντός του ανθρώπινου σώματος. Οι αλυσίδες αυτές των αμινοξέων, καθώς εκτείνονται στον τρισδιάστατο χώρο, τείνουν να λαμβάνουν χαρακτηριστικές δομές οι οποίες έχουν συνδεθεί με τη λειτουργία τους. Αυτό δύναται να υποστηριχθεί από την λειτουργική ομοιότητα μεταξύ όμοιων δομικά πρωτεϊνών. Τεχνικές ικανές να προβλέψουν με ακρίβεια τη δομή των πρωτεϊνών, με δεδομένη την αλληλουχία των αμινοξέων, έχουν τη δυνατότητα να αποτελέσουν ένα ισχυρό εργαλείο στην ιατρική καθώς και σε πολλούς άλλους βιολογικούς και βιοτεχνολογικούς κλάδους. Το γεγονός αυτό έχει οδηγήσει στην ανάπτυξη νέων μεθοδολογιών ή στην εκμετάλλευση τεχνολογικών τάσεων που έχουν ήδη αποδειχθεί αποτελεσματικές σε άλλες επιστημονικές εφαρμογές, προκειμένου να επιτευχθεί ικανότητα ασφαλούς πρόβλεψης μη χαρακτηρισμένων δομικά πρωτεϊνών. Μια επιστημονική προσέγγιση η οποία φαίνεται να έχει τη δυνατότητα να επιτύχει σε αυτό το εγχείρημα, είναι η χρήση νευρωνικών δικτύων (Neural Networks – NN), αλγορίθμων δηλαδή που έχουν την ικανότητα να γράφουν οι ίδιοι τις οδηγίες πρόβλεψης, μέσω εκμάθησης της αναγνώρισης μοτίβων εντός δεδομένων από ήδη γνωστά παραδείγματα σε ένα ελεγχόμενο σενάριο. Οι εμπνευσμένες από τον εγκέφαλο αρχιτεκτονικές αυτές παράγουν σταθερά αποτελέσματα σε πλήθος επιστημονικών εφαρμογών, όπως είναι η όραση υπολογιστών, με την εφαρμογή τους να δοκιμάζεται ήδη σε ένα πλήθος βιομηχανιών. Στην παρούσα μελέτη, το λογισμικό Stuttgart Neural Network Simulator (SNNS), ένας προσομοιωτής νευρωνικών δικτύων, χρησιμοποιήθηκε για τη δημιουργία, εκπαίδευση και έλεγχο ως προς την ακρίβεια, νευρωνικών δικτύων ρηχής (shallow) και βαθιάς (deep) αρχιτεκτονικής, αποτελούμενης από ένα, δύο και τρία εσωτερικά στρώματα (hidden layers) με ποικίλους συνδυασμούς αριθμών κόμβων (nodes) για το κάθε στρώμα. Ο στόχος ήταν η σύγκριση των επιδόσεών τους ως προς την ακρίβεια πρόβλεψης μεταξύ ιδίων αρχιτεκτονικών αλλά διαφορετικών συναρτήσεων ενεργοποίησης (activation functions). Για το λόγο αυτό, έλαβε χώρα η απαιτούμενη επέκταση του SNNS προκειμένου να εμπεριέχει τις προς μελέτη συναρτήσεις. Οι συναρτήσεις ενεργοποίησης που χρησιμοποιήθηκαν ήταν η Logistic, η Rectified Linear Unit (ReLU) και η Leaky Rectified Linear Unit (LReLU), με τα ικανότερα προβλεπτικά δίκτυα να είναι αυτά που χρησιμοποιούσαν την ReLU για ένα επίπεδο βάθους και υψηλούς αριθμούς μεταβλητών, γεγονός που επιβεβαίωσε την αρχική μας υπόθεση που ήθελε τα δίκτυα που χρησιμοποιούν τη ReLU να ξεπερνούν σε απόδοση τα υπόλοιπα. Το νευρωνικό δίκτυο με την καλύτερη απόδοση συνολικά, αποτελούταν από ένα επίπεδο βάθους με 140 κόμβους που χρησιμοποιούσε την ReLU, επιτυγχάνοντας ακρίβεια 67.85% σε ένα νέο test set.","abstract_has_math":false,"creators":["Φούκας Γεώργιος-Ρωμανός","Foukas Georgios-Romanos"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2021,"date_issued":"2021","date_published":"2021","updated_at":"2026-11-19T05:42:33Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2942651"],"render_values":[{"text":"uoadl:2942651","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2942651","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2942651","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2942651","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Φούκας Γεώργιος-Ρωμανός","Foukas Georgios-Romanos"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2021"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2942651","https://pergamos.lib.uoa.gr/uoa/dl/object/2942651"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Οι πρωτεΐνες, μακρομόρια που αποτελούνται από την αλληλουχία αμινοξέων, η οποία προκύπτει από την μετάφραση του RNΑ, συνιστούν τη βάση όλων των βιολογικών διεργασιών που λαμβάνουν χώρα εντός του ανθρώπινου σώματος. Οι αλυσίδες αυτές των αμινοξέων, καθώς εκτείνονται στον τρισδιάστατο χώρο, τείνουν να λαμβάνουν χαρακτηριστικές δομές οι οποίες έχουν συνδεθεί με τη λειτουργία τους. Αυτό δύναται να υποστηριχθεί από την λειτουργική ομοιότητα μεταξύ όμοιων δομικά πρωτεϊνών. Τεχνικές ικανές να προβλέψουν με ακρίβεια τη δομή των πρωτεϊνών, με δεδομένη την αλληλουχία των αμινοξέων, έχουν τη δυνατότητα να αποτελέσουν ένα ισχυρό εργαλείο στην ιατρική καθώς και σε πολλούς άλλους βιολογικούς και βιοτεχνολογικούς κλάδους. Το γεγονός αυτό έχει οδηγήσει στην ανάπτυξη νέων μεθοδολογιών ή στην εκμετάλλευση τεχνολογικών τάσεων που έχουν ήδη αποδειχθεί αποτελεσματικές σε άλλες επιστημονικές εφαρμογές, προκειμένου να επιτευχθεί ικανότητα ασφαλούς πρόβλεψης μη χαρακτηρισμένων δομικά πρωτεϊνών. Μια επιστημονική προσέγγιση η οποία φαίνεται να έχει τη δυνατότητα να επιτύχει σε αυτό το εγχείρημα, είναι η χρήση νευρωνικών δικτύων (Neural Networks – NN), αλγορίθμων δηλαδή που έχουν την ικανότητα να γράφουν οι ίδιοι τις οδηγίες πρόβλεψης, μέσω εκμάθησης της αναγνώρισης μοτίβων εντός δεδομένων από ήδη γνωστά παραδείγματα σε ένα ελεγχόμενο σενάριο. Οι εμπνευσμένες από τον εγκέφαλο αρχιτεκτονικές αυτές παράγουν σταθερά αποτελέσματα σε πλήθος επιστημονικών εφαρμογών, όπως είναι η όραση υπολογιστών, με την εφαρμογή τους να δοκιμάζεται ήδη σε ένα πλήθος βιομηχανιών. Στην παρούσα μελέτη, το λογισμικό Stuttgart Neural Network Simulator (SNNS), ένας προσομοιωτής νευρωνικών δικτύων, χρησιμοποιήθηκε για τη δημιουργία, εκπαίδευση και έλεγχο ως προς την ακρίβεια, νευρωνικών δικτύων ρηχής (shallow) και βαθιάς (deep) αρχιτεκτονικής, αποτελούμενης από ένα, δύο και τρία εσωτερικά στρώματα (hidden layers) με ποικίλους συνδυασμούς αριθμών κόμβων (nodes) για το κάθε στρώμα. Ο στόχος ήταν η σύγκριση των επιδόσεών τους ως προς την ακρίβεια πρόβλεψης μεταξύ ιδίων αρχιτεκτονικών αλλά διαφορετικών συναρτήσεων ενεργοποίησης (activation functions). Για το λόγο αυτό, έλαβε χώρα η απαιτούμενη επέκταση του SNNS προκειμένου να εμπεριέχει τις προς μελέτη συναρτήσεις. Οι συναρτήσεις ενεργοποίησης που χρησιμοποιήθηκαν ήταν η Logistic, η Rectified Linear Unit (ReLU) και η Leaky Rectified Linear Unit (LReLU), με τα ικανότερα προβλεπτικά δίκτυα να είναι αυτά που χρησιμοποιούσαν την ReLU για ένα επίπεδο βάθους και υψηλούς αριθμούς μεταβλητών, γεγονός που επιβεβαίωσε την αρχική μας υπόθεση που ήθελε τα δίκτυα που χρησιμοποιούν τη ReLU να ξεπερνούν σε απόδοση τα υπόλοιπα. Το νευρωνικό δίκτυο με την καλύτερη απόδοση συνολικά, αποτελούταν από ένα επίπεδο βάθους με 140 κόμβους που χρησιμοποιούσε την ReLU, επιτυγχάνοντας ακρίβεια 67.85% σε ένα νέο test set.","Proteins, the macromolecules consisting of amino acid sequences resulting from RNA translation, are the basis for the majority of biological processes that occur in any life form. These amino acid chains, while spreading in the three-dimensional space, tend to achieve characteristic conformations that are found to be directly linked to their function. This can be backed by the functional similarity between proteins with similar conformation. Techniques able to properly predict the structure of proteins from the amino acid sequences, could provide medicine and other biological and biotechnological fields with an invaluable tool. This has led to the development of new methodologies or the utilization of technological trends already applied in another fields, to achieve predictability of non-characterized proteins. A scientific approach that has the potential to succeed in this endeavor, is the use of artificial neural networks (ANNs), algorithms that adapt their structure for prediction via learning from a training set consisting of already known examples in the supervised scenario. These brain-inspired architectures produce solid results in many scientific areas, such as computer vision, and are being tested for possible fit in a plethora of industries. In the current study, the Stuttgart Neural Network Simulator (SNNS), a software simulator for neural networks, was used to create, train and test for accuracy, neural networks of shallow and deep architectures that consisted of one, two and three hidden layers with many combinations of numbers of nodes for each layer. The goal was to compare the network performances of the same architectures but for different activation functions. To this end, SNNS was extended to support the missing activation functions. The tested activation functions were the logistic, the rectified linear unit (ReLU) and the leaky rectified linear unit (LReLU), and the best overall networks were the ones with the ReLU activation function, one hidden layer and a high number of parameters, which confirmed our initial hypothesis that ReLU will outperform the other activation functions. The best performing neural network architecture consisted of one hidden layer with 140 nodes that utilized the ReLU activation function, yielding an accuracy of 67.85% on a novel test set."]},{"key":"dc:title","label":"Title","values":["Benchmarking Activation Functions of Deep Neural Networks for Protein Secondary Structure Prediction Using the Stuttgart Neural Network Simulator"]}]}],"canonical_facts":{"dc:creator":["Φούκας Γεώργιος-Ρωμανός","Foukas Georgios-Romanos"],"dc:date":["2021"],"dc:description":["Οι πρωτεΐνες, μακρομόρια που αποτελούνται από την αλληλουχία αμινοξέων, η οποία προκύπτει από την μετάφραση του RNΑ, συνιστούν τη βάση όλων των βιολογικών διεργασιών που λαμβάνουν χώρα εντός του ανθρώπινου σώματος. Οι αλυσίδες αυτές των αμινοξέων, καθώς εκτείνονται στον τρισδιάστατο χώρο, τείνουν να λαμβάνουν χαρακτηριστικές δομές οι οποίες έχουν συνδεθεί με τη λειτουργία τους. Αυτό δύναται να υποστηριχθεί από την λειτουργική ομοιότητα μεταξύ όμοιων δομικά πρωτεϊνών. Τεχνικές ικανές να προβλέψουν με ακρίβεια τη δομή των πρωτεϊνών, με δεδομένη την αλληλουχία των αμινοξέων, έχουν τη δυνατότητα να αποτελέσουν ένα ισχυρό εργαλείο στην ιατρική καθώς και σε πολλούς άλλους βιολογικούς και βιοτεχνολογικούς κλάδους. Το γεγονός αυτό έχει οδηγήσει στην ανάπτυξη νέων μεθοδολογιών ή στην εκμετάλλευση τεχνολογικών τάσεων που έχουν ήδη αποδειχθεί αποτελεσματικές σε άλλες επιστημονικές εφαρμογές, προκειμένου να επιτευχθεί ικανότητα ασφαλούς πρόβλεψης μη χαρακτηρισμένων δομικά πρωτεϊνών. Μια επιστημονική προσέγγιση η οποία φαίνεται να έχει τη δυνατότητα να επιτύχει σε αυτό το εγχείρημα, είναι η χρήση νευρωνικών δικτύων (Neural Networks – NN), αλγορίθμων δηλαδή που έχουν την ικανότητα να γράφουν οι ίδιοι τις οδηγίες πρόβλεψης, μέσω εκμάθησης της αναγνώρισης μοτίβων εντός δεδομένων από ήδη γνωστά παραδείγματα σε ένα ελεγχόμενο σενάριο. Οι εμπνευσμένες από τον εγκέφαλο αρχιτεκτονικές αυτές παράγουν σταθερά αποτελέσματα σε πλήθος επιστημονικών εφαρμογών, όπως είναι η όραση υπολογιστών, με την εφαρμογή τους να δοκιμάζεται ήδη σε ένα πλήθος βιομηχανιών. Στην παρούσα μελέτη, το λογισμικό Stuttgart Neural Network Simulator (SNNS), ένας προσομοιωτής νευρωνικών δικτύων, χρησιμοποιήθηκε για τη δημιουργία, εκπαίδευση και έλεγχο ως προς την ακρίβεια, νευρωνικών δικτύων ρηχής (shallow) και βαθιάς (deep) αρχιτεκτονικής, αποτελούμενης από ένα, δύο και τρία εσωτερικά στρώματα (hidden layers) με ποικίλους συνδυασμούς αριθμών κόμβων (nodes) για το κάθε στρώμα. Ο στόχος ήταν η σύγκριση των επιδόσεών τους ως προς την ακρίβεια πρόβλεψης μεταξύ ιδίων αρχιτεκτονικών αλλά διαφορετικών συναρτήσεων ενεργοποίησης (activation functions). Για το λόγο αυτό, έλαβε χώρα η απαιτούμενη επέκταση του SNNS προκειμένου να εμπεριέχει τις προς μελέτη συναρτήσεις. Οι συναρτήσεις ενεργοποίησης που χρησιμοποιήθηκαν ήταν η Logistic, η Rectified Linear Unit (ReLU) και η Leaky Rectified Linear Unit (LReLU), με τα ικανότερα προβλεπτικά δίκτυα να είναι αυτά που χρησιμοποιούσαν την ReLU για ένα επίπεδο βάθους και υψηλούς αριθμούς μεταβλητών, γεγονός που επιβεβαίωσε την αρχική μας υπόθεση που ήθελε τα δίκτυα που χρησιμοποιούν τη ReLU να ξεπερνούν σε απόδοση τα υπόλοιπα. Το νευρωνικό δίκτυο με την καλύτερη απόδοση συνολικά, αποτελούταν από ένα επίπεδο βάθους με 140 κόμβους που χρησιμοποιούσε την ReLU, επιτυγχάνοντας ακρίβεια 67.85% σε ένα νέο test set.","Proteins, the macromolecules consisting of amino acid sequences resulting from RNA translation, are the basis for the majority of biological processes that occur in any life form. These amino acid chains, while spreading in the three-dimensional space, tend to achieve characteristic conformations that are found to be directly linked to their function. This can be backed by the functional similarity between proteins with similar conformation. Techniques able to properly predict the structure of proteins from the amino acid sequences, could provide medicine and other biological and biotechnological fields with an invaluable tool. This has led to the development of new methodologies or the utilization of technological trends already applied in another fields, to achieve predictability of non-characterized proteins. A scientific approach that has the potential to succeed in this endeavor, is the use of artificial neural networks (ANNs), algorithms that adapt their structure for prediction via learning from a training set consisting of already known examples in the supervised scenario. These brain-inspired architectures produce solid results in many scientific areas, such as computer vision, and are being tested for possible fit in a plethora of industries. In the current study, the Stuttgart Neural Network Simulator (SNNS), a software simulator for neural networks, was used to create, train and test for accuracy, neural networks of shallow and deep architectures that consisted of one, two and three hidden layers with many combinations of numbers of nodes for each layer. The goal was to compare the network performances of the same architectures but for different activation functions. To this end, SNNS was extended to support the missing activation functions. The tested activation functions were the logistic, the rectified linear unit (ReLU) and the leaky rectified linear unit (LReLU), and the best overall networks were the ones with the ReLU activation function, one hidden layer and a high number of parameters, which confirmed our initial hypothesis that ReLU will outperform the other activation functions. The best performing neural network architecture consisted of one hidden layer with 140 nodes that utilized the ReLU activation function, yielding an accuracy of 67.85% on a novel test set."],"dc:identifier":["uoadl:2942651","https://pergamos.lib.uoa.gr/uoa/dl/object/2942651"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Benchmarking Activation Functions of Deep Neural Networks for Protein Secondary Structure Prediction Using the Stuttgart Neural Network Simulator"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:42:33Z"}