{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3350249"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3350249","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Εφαρμογή μοντέλων Βαθιάς Μηχανικής Μάθησης για την πρόβλεψη της τρισδιάστατης δομής του RNA","abstract":"Τα μόρια RNA που δεν κωδικοποιούν πρωτεΐνες (non-coding RNA - ncRNA) έχουν σημαντικό ρόλο σε βιολογικές λειτουργίες καθώς συμμετέχουν σε ρυθμιστικούς μηχανισμούς όπως ο έλεγχος της γονιδιακής έκφρασης, η σύνθεση πρωτεϊνών και η μοριακή σηματοδότηση. Τα ncRNA επιτελούν τις λειτουργίες αυτές μέσω της χαρακτηριστικής τρισδιάστατης δομής που λαμβάνουν στο χώρο μετά την αναδίπλωσή της πολυνουκλεοτιδικής τους αλυσίδας. Ο προσδιορισμός της τρισδιάστατης δομής του RNA είναι επομένως κομβικής σημασίας για τη διαλεύκανση των μηχανισμών των ασθενειών στις οποίες εμπλέκονται τα μόρια αυτά. Παρ’όλα αυτά ο προσδιορισμός της τρισδιάστατης δομής του RNA είναι ιδιαίτερα σύνθετος πειραματικά, ενώ οι υπολογιστικές μέθοδοι δεν είναι ακόμα αρκετά ακριβείς για δομικές προβλέψεις. Με βάση την επιτυχία μεγάλων πρωτεϊνικών γλωσσικών μοντέλων προ-εκπαιδευμένων σε μεγάλο αριθμό πρωτεϊνικών αλληλουχιών που χρησιμοποιούν επεξεργασία φυσικής γλώσσας για την πρόβλεψη πρωτεϊνικής δομής, στην παρούσα διπλωματική εργασία διερευνούμε την καταλληλότητα των προ-εκπαιδευμένων νουκλεϊκών γλωσσικών μοντέλων DNABERT και RNABERT για την πρόβλεψη της δομής του RNA. Συγκεκριμένα, σχεδιάσαμε και υλοποιήσαμε μοντέλα Μηχανικής Μάθησης και Βαθιάς Μάθησης για να εξορύξουμε την εξελικτική - δομική πληροφορία από τα νουκλεϊκά γλωσσικά μοντέλα για να προβλέψουμε τη δευτεροταγή ή και τριτοταγή δομή του RNA. Μια τέτοια προσέγγιση ξεπερνά το πρόβλημα των περιορισμένων διαθέσιμων δομών RNA που δεν αρκούν για την εκ νέου εκπαίδευση μοντέλων τεχνητής νοημοσύνης που προβλέπουν απευθείας δομή γιατί χρησιμοποιούν δεδομένα ακολουθιών νουκλεϊκών οξέων, που αφθονούν λόγω της βελτιστοποίησης των τεχνικών αλληλούχισης κατά τη μετα-ωμική εποχή, κατ’αντιστοιχία με τα πρωτεϊνικά γλωσσικά μοντέλα. Τα αποτελέσματά μας δείχνουν ότι τα μοντέλα Μηχανικής και Βαθιάς Μάθησης δεν εντοπίζουν εξελικτική - δομική πληροφορία από τα διαθέσιμα γλωσσικά μοντέλα DNABERT και RNABERT. Ωστόσο, αποδεικνύουμε ότι η αρχιτεκτονική τους είναι ικανή να ανακτήσει δομικές συσχετίσεις, αλλά απαιτείται μεγάλος αριθμός δεδομένων (ακολουθιών νουκλεϊκών οξέων). Συμπερασματικά, τα νουκλεϊκά γλωσσικά μοντέλα μπορούν να συνεισφέρουν στην πρόβλεψη της δομής του RNA, εφόσον όμως αναπτυχθούν νέα – κατάλληλα εκπαιδευμένα γλωσσικά μοντέλα για το RNA.","abstract_html":"Τα μόρια RNA που δεν κωδικοποιούν πρωτεΐνες (non-coding RNA - ncRNA) έχουν σημαντικό ρόλο σε βιολογικές λειτουργίες καθώς συμμετέχουν σε ρυθμιστικούς μηχανισμούς όπως ο έλεγχος της γονιδιακής έκφρασης, η σύνθεση πρωτεϊνών και η μοριακή σηματοδότηση. Τα ncRNA επιτελούν τις λειτουργίες αυτές μέσω της χαρακτηριστικής τρισδιάστατης δομής που λαμβάνουν στο χώρο μετά την αναδίπλωσή της πολυνουκλεοτιδικής τους αλυσίδας. Ο προσδιορισμός της τρισδιάστατης δομής του RNA είναι επομένως κομβικής σημασίας για τη διαλεύκανση των μηχανισμών των ασθενειών στις οποίες εμπλέκονται τα μόρια αυτά. Παρ’όλα αυτά ο προσδιορισμός της τρισδιάστατης δομής του RNA είναι ιδιαίτερα σύνθετος πειραματικά, ενώ οι υπολογιστικές μέθοδοι δεν είναι ακόμα αρκετά ακριβείς για δομικές προβλέψεις. Με βάση την επιτυχία μεγάλων πρωτεϊνικών γλωσσικών μοντέλων προ-εκπαιδευμένων σε μεγάλο αριθμό πρωτεϊνικών αλληλουχιών που χρησιμοποιούν επεξεργασία φυσικής γλώσσας για την πρόβλεψη πρωτεϊνικής δομής, στην παρούσα διπλωματική εργασία διερευνούμε την καταλληλότητα των προ-εκπαιδευμένων νουκλεϊκών γλωσσικών μοντέλων DNABERT και RNABERT για την πρόβλεψη της δομής του RNA. Συγκεκριμένα, σχεδιάσαμε και υλοποιήσαμε μοντέλα Μηχανικής Μάθησης και Βαθιάς Μάθησης για να εξορύξουμε την εξελικτική - δομική πληροφορία από τα νουκλεϊκά γλωσσικά μοντέλα για να προβλέψουμε τη δευτεροταγή ή και τριτοταγή δομή του RNA. Μια τέτοια προσέγγιση ξεπερνά το πρόβλημα των περιορισμένων διαθέσιμων δομών RNA που δεν αρκούν για την εκ νέου εκπαίδευση μοντέλων τεχνητής νοημοσύνης που προβλέπουν απευθείας δομή γιατί χρησιμοποιούν δεδομένα ακολουθιών νουκλεϊκών οξέων, που αφθονούν λόγω της βελτιστοποίησης των τεχνικών αλληλούχισης κατά τη μετα-ωμική εποχή, κατ’αντιστοιχία με τα πρωτεϊνικά γλωσσικά μοντέλα. Τα αποτελέσματά μας δείχνουν ότι τα μοντέλα Μηχανικής και Βαθιάς Μάθησης δεν εντοπίζουν εξελικτική - δομική πληροφορία από τα διαθέσιμα γλωσσικά μοντέλα DNABERT και RNABERT. Ωστόσο, αποδεικνύουμε ότι η αρχιτεκτονική τους είναι ικανή να ανακτήσει δομικές συσχετίσεις, αλλά απαιτείται μεγάλος αριθμός δεδομένων (ακολουθιών νουκλεϊκών οξέων). Συμπερασματικά, τα νουκλεϊκά γλωσσικά μοντέλα μπορούν να συνεισφέρουν στην πρόβλεψη της δομής του RNA, εφόσον όμως αναπτυχθούν νέα – κατάλληλα εκπαιδευμένα γλωσσικά μοντέλα για το RNA.","abstract_has_math":false,"creators":["Παπάζογλου Ιωάννης","Papazoglou Ioannis"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2023,"date_issued":"2023","date_published":"2023","updated_at":"2026-11-19T06:23:08Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3350249"],"render_values":[{"text":"uoadl:3350249","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3350249","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3350249","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3350249","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Παπάζογλου Ιωάννης","Papazoglou Ioannis"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2023"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3350249","https://pergamos.lib.uoa.gr/uoa/dl/object/3350249"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα μόρια RNA που δεν κωδικοποιούν πρωτεΐνες (non-coding RNA - ncRNA) έχουν σημαντικό ρόλο σε βιολογικές λειτουργίες καθώς συμμετέχουν σε ρυθμιστικούς μηχανισμούς όπως ο έλεγχος της γονιδιακής έκφρασης, η σύνθεση πρωτεϊνών και η μοριακή σηματοδότηση. Τα ncRNA επιτελούν τις λειτουργίες αυτές μέσω της χαρακτηριστικής τρισδιάστατης δομής που λαμβάνουν στο χώρο μετά την αναδίπλωσή της πολυνουκλεοτιδικής τους αλυσίδας. Ο προσδιορισμός της τρισδιάστατης δομής του RNA είναι επομένως κομβικής σημασίας για τη διαλεύκανση των μηχανισμών των ασθενειών στις οποίες εμπλέκονται τα μόρια αυτά. Παρ’όλα αυτά ο προσδιορισμός της τρισδιάστατης δομής του RNA είναι ιδιαίτερα σύνθετος πειραματικά, ενώ οι υπολογιστικές μέθοδοι δεν είναι ακόμα αρκετά ακριβείς για δομικές προβλέψεις. Με βάση την επιτυχία μεγάλων πρωτεϊνικών γλωσσικών μοντέλων προ-εκπαιδευμένων σε μεγάλο αριθμό πρωτεϊνικών αλληλουχιών που χρησιμοποιούν επεξεργασία φυσικής γλώσσας για την πρόβλεψη πρωτεϊνικής δομής, στην παρούσα διπλωματική εργασία διερευνούμε την καταλληλότητα των προ-εκπαιδευμένων νουκλεϊκών γλωσσικών μοντέλων DNABERT και RNABERT για την πρόβλεψη της δομής του RNA. Συγκεκριμένα, σχεδιάσαμε και υλοποιήσαμε μοντέλα Μηχανικής Μάθησης και Βαθιάς Μάθησης για να εξορύξουμε την εξελικτική - δομική πληροφορία από τα νουκλεϊκά γλωσσικά μοντέλα για να προβλέψουμε τη δευτεροταγή ή και τριτοταγή δομή του RNA. Μια τέτοια προσέγγιση ξεπερνά το πρόβλημα των περιορισμένων διαθέσιμων δομών RNA που δεν αρκούν για την εκ νέου εκπαίδευση μοντέλων τεχνητής νοημοσύνης που προβλέπουν απευθείας δομή γιατί χρησιμοποιούν δεδομένα ακολουθιών νουκλεϊκών οξέων, που αφθονούν λόγω της βελτιστοποίησης των τεχνικών αλληλούχισης κατά τη μετα-ωμική εποχή, κατ’αντιστοιχία με τα πρωτεϊνικά γλωσσικά μοντέλα. Τα αποτελέσματά μας δείχνουν ότι τα μοντέλα Μηχανικής και Βαθιάς Μάθησης δεν εντοπίζουν εξελικτική - δομική πληροφορία από τα διαθέσιμα γλωσσικά μοντέλα DNABERT και RNABERT. Ωστόσο, αποδεικνύουμε ότι η αρχιτεκτονική τους είναι ικανή να ανακτήσει δομικές συσχετίσεις, αλλά απαιτείται μεγάλος αριθμός δεδομένων (ακολουθιών νουκλεϊκών οξέων). Συμπερασματικά, τα νουκλεϊκά γλωσσικά μοντέλα μπορούν να συνεισφέρουν στην πρόβλεψη της δομής του RNA, εφόσον όμως αναπτυχθούν νέα – κατάλληλα εκπαιδευμένα γλωσσικά μοντέλα για το RNA.","Non-coding RNAs (ncRNAs) possess functional significance that extends beyond transporting genetic information. They are involved in various regulatory mechanisms, including gene expression control, protein synthesis and molecular signaling. These functions are mediated through the structure adopted by ncRNAs. Understanding the trends and mechanisms behind RNA structure, holds great potential for uncovering more insights about these promising molecules with implications in disease mechanisms, diagnostics, and therapeutics. However, determining the three-dimensional structure of RNA is particularly complex experimentally and current computational methods still lack the precision required for structural predictions. Inspired by the success of using evolutionary information in protein structure prediction, our research draws on the groundbreaking ESMFold framework, that uses an unsupervised language model pre-trained on vast amounts of protein sequences from diverse organisms to efficiently capture conserved structural insights. In a similar manner, we explore the suitability of DNABERT and RNABERT, the only available pre-trained nucleic acid language models, for RNA structure prediction. Specifically, we employ traditional Machine Learning and Deep Learning models in order to refine the machine-learnt evolutionary knowledge of the language model and predict the secondary and tertiary RNA structures, represented as pairwise contacts. This approach has the potential to overcome the limited structural data availability problem by utilizing the features learnt from processing the abundant sequence data that the post-omics era yields, as a natural language. However, here, we show that machine learning models cannot recognize RNA structural patterns or retrieve any structural information from the two current nucleic acid language models. Nevertheless, we have shown that large language model architectures can indeed predict structural correlations , but only when trained on a substantial amount of RNA sequence data. Overall, this approach offers the potential to uncover novel ncRNA structural insights provided that suitable language models are developed."]},{"key":"dc:title","label":"Title","values":["Εφαρμογή μοντέλων Βαθιάς Μηχανικής Μάθησης για την πρόβλεψη της τρισδιάστατης δομής του RNA"]}]}],"canonical_facts":{"dc:creator":["Παπάζογλου Ιωάννης","Papazoglou Ioannis"],"dc:date":["2023"],"dc:description":["Τα μόρια RNA που δεν κωδικοποιούν πρωτεΐνες (non-coding RNA - ncRNA) έχουν σημαντικό ρόλο σε βιολογικές λειτουργίες καθώς συμμετέχουν σε ρυθμιστικούς μηχανισμούς όπως ο έλεγχος της γονιδιακής έκφρασης, η σύνθεση πρωτεϊνών και η μοριακή σηματοδότηση. Τα ncRNA επιτελούν τις λειτουργίες αυτές μέσω της χαρακτηριστικής τρισδιάστατης δομής που λαμβάνουν στο χώρο μετά την αναδίπλωσή της πολυνουκλεοτιδικής τους αλυσίδας. Ο προσδιορισμός της τρισδιάστατης δομής του RNA είναι επομένως κομβικής σημασίας για τη διαλεύκανση των μηχανισμών των ασθενειών στις οποίες εμπλέκονται τα μόρια αυτά. Παρ’όλα αυτά ο προσδιορισμός της τρισδιάστατης δομής του RNA είναι ιδιαίτερα σύνθετος πειραματικά, ενώ οι υπολογιστικές μέθοδοι δεν είναι ακόμα αρκετά ακριβείς για δομικές προβλέψεις. Με βάση την επιτυχία μεγάλων πρωτεϊνικών γλωσσικών μοντέλων προ-εκπαιδευμένων σε μεγάλο αριθμό πρωτεϊνικών αλληλουχιών που χρησιμοποιούν επεξεργασία φυσικής γλώσσας για την πρόβλεψη πρωτεϊνικής δομής, στην παρούσα διπλωματική εργασία διερευνούμε την καταλληλότητα των προ-εκπαιδευμένων νουκλεϊκών γλωσσικών μοντέλων DNABERT και RNABERT για την πρόβλεψη της δομής του RNA. Συγκεκριμένα, σχεδιάσαμε και υλοποιήσαμε μοντέλα Μηχανικής Μάθησης και Βαθιάς Μάθησης για να εξορύξουμε την εξελικτική - δομική πληροφορία από τα νουκλεϊκά γλωσσικά μοντέλα για να προβλέψουμε τη δευτεροταγή ή και τριτοταγή δομή του RNA. Μια τέτοια προσέγγιση ξεπερνά το πρόβλημα των περιορισμένων διαθέσιμων δομών RNA που δεν αρκούν για την εκ νέου εκπαίδευση μοντέλων τεχνητής νοημοσύνης που προβλέπουν απευθείας δομή γιατί χρησιμοποιούν δεδομένα ακολουθιών νουκλεϊκών οξέων, που αφθονούν λόγω της βελτιστοποίησης των τεχνικών αλληλούχισης κατά τη μετα-ωμική εποχή, κατ’αντιστοιχία με τα πρωτεϊνικά γλωσσικά μοντέλα. Τα αποτελέσματά μας δείχνουν ότι τα μοντέλα Μηχανικής και Βαθιάς Μάθησης δεν εντοπίζουν εξελικτική - δομική πληροφορία από τα διαθέσιμα γλωσσικά μοντέλα DNABERT και RNABERT. Ωστόσο, αποδεικνύουμε ότι η αρχιτεκτονική τους είναι ικανή να ανακτήσει δομικές συσχετίσεις, αλλά απαιτείται μεγάλος αριθμός δεδομένων (ακολουθιών νουκλεϊκών οξέων). Συμπερασματικά, τα νουκλεϊκά γλωσσικά μοντέλα μπορούν να συνεισφέρουν στην πρόβλεψη της δομής του RNA, εφόσον όμως αναπτυχθούν νέα – κατάλληλα εκπαιδευμένα γλωσσικά μοντέλα για το RNA.","Non-coding RNAs (ncRNAs) possess functional significance that extends beyond transporting genetic information. They are involved in various regulatory mechanisms, including gene expression control, protein synthesis and molecular signaling. These functions are mediated through the structure adopted by ncRNAs. Understanding the trends and mechanisms behind RNA structure, holds great potential for uncovering more insights about these promising molecules with implications in disease mechanisms, diagnostics, and therapeutics. However, determining the three-dimensional structure of RNA is particularly complex experimentally and current computational methods still lack the precision required for structural predictions. Inspired by the success of using evolutionary information in protein structure prediction, our research draws on the groundbreaking ESMFold framework, that uses an unsupervised language model pre-trained on vast amounts of protein sequences from diverse organisms to efficiently capture conserved structural insights. In a similar manner, we explore the suitability of DNABERT and RNABERT, the only available pre-trained nucleic acid language models, for RNA structure prediction. Specifically, we employ traditional Machine Learning and Deep Learning models in order to refine the machine-learnt evolutionary knowledge of the language model and predict the secondary and tertiary RNA structures, represented as pairwise contacts. This approach has the potential to overcome the limited structural data availability problem by utilizing the features learnt from processing the abundant sequence data that the post-omics era yields, as a natural language. However, here, we show that machine learning models cannot recognize RNA structural patterns or retrieve any structural information from the two current nucleic acid language models. Nevertheless, we have shown that large language model architectures can indeed predict structural correlations , but only when trained on a substantial amount of RNA sequence data. Overall, this approach offers the potential to uncover novel ncRNA structural insights provided that suitable language models are developed."],"dc:identifier":["uoadl:3350249","https://pergamos.lib.uoa.gr/uoa/dl/object/3350249"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Εφαρμογή μοντέλων Βαθιάς Μηχανικής Μάθησης για την πρόβλεψη της τρισδιάστατης δομής του RNA"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:23:08Z"}