{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5422663"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5422663","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Transformer-Based Modeling of Irregular Clinical Time Series: Bi-Axial Attention and Temporal Encoding","abstract":"Στην παρούσα εργασία μελετάται η μοντελοποίηση κλινικών χρονοσειρών μη σταθερής δειγματοληψίας με αρχιτεκτονικές transformers, με ιδιαίτερη έμφαση στην αρχιτεκτονι- κή Δι-αξονικού Transformer (BAT). Η πρόβλεψη από Ηλεκτρονικούς Φακέλους Υγείας (Electronic Health Records, EHRs) παραμένει ένα απαιτητικό πρόβλημα, λόγω της μη σταθερής δειγματοληψίας, της αραιότητας των παρατηρήσεων, της πληροφοριακής ση- μασίας των ελλιπών τιμών και της συνύπαρξης δυναμικών και στατικών χαρακτηριστικών ασθενών. Στο πλαίσιο αυτό, στόχος της εργασίας είναι αφενός η όσο το δυνατόν πιστό- τερη αναπαραγωγή της αρχιτεκτονικής BAT και η επαλήθευση ότι η ανακατασκευασμένη υλοποίηση είναι συνεπής με την αρχική περιγραφή του μοντέλου και αφετέρου η διερεύνη- ση μιας τροποποίησης του μηχανισμού χρονικής κωδικοποίησης μέσω της Περιστροφικής Κωδικοποίησης Θέσης (RoPE). Η πειραματική αξιολόγηση πραγματοποιείται σε τρία κλι- νικά σύνολα δεδομένων: το PhysioNet 2019 για πρόβλεψη σήψης, το PhysioNet 2012 για πρόβλεψη ενδονοσοκομειακής θνησιμότητας και το MIMIC-III, όπου διεξάγονται επι- πλέον πειράματα με ανεξάρτητη προεπεξεργασία δεδομένων. Πέρα από το αναπαραγό- μενο BAT και την προτεινόμενη παραλλαγή BAT-RoPE, εξετάζονται επίσης δύο μοντέλα βάσης, το GRU-D και ένας τυπικός Μετασχηματιστής. Τα αποτελέσματα δείχνουν ότι το BAT αποτελεί μια ισχυρή και ανταγωνιστική αρχιτεκτονική και στα δύο σύνολα δεδομέ- νων. Το αρχικό BAT επιτυγχάνει την καλύτερη τιμή AUPRC στο PhysioNet 2019, ενώ το BAT-RoPE παρουσιάζει την καλύτερη συνολική απόδοση στο PhysioNet 2012. Επιπλέ- ον, η ποιοτική ανάλυση των χαρτών προσοχής και επιπλέον πειράματα υποδεικνύουν ότι το BAT συλλαμβάνει δομημένες χρονικές και διαμεταβλητές σχέσεις και βασίζεται κυρίως στις δυναμικές κλινικές χρονοσειρές, ενώ η χρήση της εστιακής απώλειας δεν οδηγεί σε σταθερή βελτίωση της απόδοσης.","abstract_html":"Στην παρούσα εργασία μελετάται η μοντελοποίηση κλινικών χρονοσειρών μη σταθερής δειγματοληψίας με αρχιτεκτονικές transformers, με ιδιαίτερη έμφαση στην αρχιτεκτονι- κή Δι-αξονικού Transformer (BAT). Η πρόβλεψη από Ηλεκτρονικούς Φακέλους Υγείας (Electronic Health Records, EHRs) παραμένει ένα απαιτητικό πρόβλημα, λόγω της μη σταθερής δειγματοληψίας, της αραιότητας των παρατηρήσεων, της πληροφοριακής ση- μασίας των ελλιπών τιμών και της συνύπαρξης δυναμικών και στατικών χαρακτηριστικών ασθενών. Στο πλαίσιο αυτό, στόχος της εργασίας είναι αφενός η όσο το δυνατόν πιστό- τερη αναπαραγωγή της αρχιτεκτονικής BAT και η επαλήθευση ότι η ανακατασκευασμένη υλοποίηση είναι συνεπής με την αρχική περιγραφή του μοντέλου και αφετέρου η διερεύνη- ση μιας τροποποίησης του μηχανισμού χρονικής κωδικοποίησης μέσω της Περιστροφικής Κωδικοποίησης Θέσης (RoPE). Η πειραματική αξιολόγηση πραγματοποιείται σε τρία κλι- νικά σύνολα δεδομένων: το PhysioNet 2019 για πρόβλεψη σήψης, το PhysioNet 2012 για πρόβλεψη ενδονοσοκομειακής θνησιμότητας και το MIMIC-III, όπου διεξάγονται επι- πλέον πειράματα με ανεξάρτητη προεπεξεργασία δεδομένων. Πέρα από το αναπαραγό- μενο BAT και την προτεινόμενη παραλλαγή BAT-RoPE, εξετάζονται επίσης δύο μοντέλα βάσης, το GRU-D και ένας τυπικός Μετασχηματιστής. Τα αποτελέσματα δείχνουν ότι το BAT αποτελεί μια ισχυρή και ανταγωνιστική αρχιτεκτονική και στα δύο σύνολα δεδομέ- νων. Το αρχικό BAT επιτυγχάνει την καλύτερη τιμή AUPRC στο PhysioNet 2019, ενώ το BAT-RoPE παρουσιάζει την καλύτερη συνολική απόδοση στο PhysioNet 2012. Επιπλέ- ον, η ποιοτική ανάλυση των χαρτών προσοχής και επιπλέον πειράματα υποδεικνύουν ότι το BAT συλλαμβάνει δομημένες χρονικές και διαμεταβλητές σχέσεις και βασίζεται κυρίως στις δυναμικές κλινικές χρονοσειρές, ενώ η χρήση της εστιακής απώλειας δεν οδηγεί σε σταθερή βελτίωση της απόδοσης.","abstract_has_math":false,"creators":["ΜΠΑΛΤΖΗ ΕΙΡΗΝΗ","BALTZI EIRINI"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:20:12Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5422663"],"render_values":[{"text":"uoadl:5422663","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5422663","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5422663","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5422663","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΜΠΑΛΤΖΗ ΕΙΡΗΝΗ","BALTZI EIRINI"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5422663","https://pergamos.lib.uoa.gr/uoa/dl/object/5422663"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Στην παρούσα εργασία μελετάται η μοντελοποίηση κλινικών χρονοσειρών μη σταθερής δειγματοληψίας με αρχιτεκτονικές transformers, με ιδιαίτερη έμφαση στην αρχιτεκτονι- κή Δι-αξονικού Transformer (BAT). Η πρόβλεψη από Ηλεκτρονικούς Φακέλους Υγείας (Electronic Health Records, EHRs) παραμένει ένα απαιτητικό πρόβλημα, λόγω της μη σταθερής δειγματοληψίας, της αραιότητας των παρατηρήσεων, της πληροφοριακής ση- μασίας των ελλιπών τιμών και της συνύπαρξης δυναμικών και στατικών χαρακτηριστικών ασθενών. Στο πλαίσιο αυτό, στόχος της εργασίας είναι αφενός η όσο το δυνατόν πιστό- τερη αναπαραγωγή της αρχιτεκτονικής BAT και η επαλήθευση ότι η ανακατασκευασμένη υλοποίηση είναι συνεπής με την αρχική περιγραφή του μοντέλου και αφετέρου η διερεύνη- ση μιας τροποποίησης του μηχανισμού χρονικής κωδικοποίησης μέσω της Περιστροφικής Κωδικοποίησης Θέσης (RoPE). Η πειραματική αξιολόγηση πραγματοποιείται σε τρία κλι- νικά σύνολα δεδομένων: το PhysioNet 2019 για πρόβλεψη σήψης, το PhysioNet 2012 για πρόβλεψη ενδονοσοκομειακής θνησιμότητας και το MIMIC-III, όπου διεξάγονται επι- πλέον πειράματα με ανεξάρτητη προεπεξεργασία δεδομένων. Πέρα από το αναπαραγό- μενο BAT και την προτεινόμενη παραλλαγή BAT-RoPE, εξετάζονται επίσης δύο μοντέλα βάσης, το GRU-D και ένας τυπικός Μετασχηματιστής. Τα αποτελέσματα δείχνουν ότι το BAT αποτελεί μια ισχυρή και ανταγωνιστική αρχιτεκτονική και στα δύο σύνολα δεδομέ- νων. Το αρχικό BAT επιτυγχάνει την καλύτερη τιμή AUPRC στο PhysioNet 2019, ενώ το BAT-RoPE παρουσιάζει την καλύτερη συνολική απόδοση στο PhysioNet 2012. Επιπλέ- ον, η ποιοτική ανάλυση των χαρτών προσοχής και επιπλέον πειράματα υποδεικνύουν ότι το BAT συλλαμβάνει δομημένες χρονικές και διαμεταβλητές σχέσεις και βασίζεται κυρίως στις δυναμικές κλινικές χρονοσειρές, ενώ η χρήση της εστιακής απώλειας δεν οδηγεί σε σταθερή βελτίωση της απόδοσης.","In this work, we study transformer-based modeling of irregular clinical time series derived from Electronic Health Records, with particular focus on the Bi-Axial Transformer (BAT) architecture. Clinical prediction from EHR data remains challenging due to irregular sam- pling, sparse observations, informative missingness and the coexistence of dynamic and static patient information. Within this setting, our goal is to first, reproduce the BAT archi- tecture and verify that the reconstructed implementation is consistent with the original pa- per and second, to investigate a modification of its temporal encoding mechanism through Rotary Positional Encoding (RoPE). The experimental evaluation is conducted on three clinical benchmarks: PhysioNet 2019 for sepsis prediction, PhysioNet 2012 for in-hospital mortality prediction, and MIMIC-III, where additional experiments are performed under a separate preprocessing pipeline. In addition to the reproduced BAT and the proposed BAT-RoPE variant, two baseline models are considered, namely GRU-D and a standard Transformer. The results show that BAT is a strong and competitive architecture across both datasets. The original BAT achieves the best AUPRC on PhysioNet 2019, while BAT-RoPE performs best on PhysioNet 2012. Additional attention and ablation analyses suggest that BAT captures structured temporal and inter-variable relationships and relies primarily on the dynamic clinical time series, while focal loss does not provide a consistent improvement."]},{"key":"dc:title","label":"Title","values":["Transformer-Based Modeling of Irregular Clinical Time Series: Bi-Axial Attention and Temporal Encoding"]}]}],"canonical_facts":{"dc:creator":["ΜΠΑΛΤΖΗ ΕΙΡΗΝΗ","BALTZI EIRINI"],"dc:date":["2026"],"dc:description":["Στην παρούσα εργασία μελετάται η μοντελοποίηση κλινικών χρονοσειρών μη σταθερής δειγματοληψίας με αρχιτεκτονικές transformers, με ιδιαίτερη έμφαση στην αρχιτεκτονι- κή Δι-αξονικού Transformer (BAT). Η πρόβλεψη από Ηλεκτρονικούς Φακέλους Υγείας (Electronic Health Records, EHRs) παραμένει ένα απαιτητικό πρόβλημα, λόγω της μη σταθερής δειγματοληψίας, της αραιότητας των παρατηρήσεων, της πληροφοριακής ση- μασίας των ελλιπών τιμών και της συνύπαρξης δυναμικών και στατικών χαρακτηριστικών ασθενών. Στο πλαίσιο αυτό, στόχος της εργασίας είναι αφενός η όσο το δυνατόν πιστό- τερη αναπαραγωγή της αρχιτεκτονικής BAT και η επαλήθευση ότι η ανακατασκευασμένη υλοποίηση είναι συνεπής με την αρχική περιγραφή του μοντέλου και αφετέρου η διερεύνη- ση μιας τροποποίησης του μηχανισμού χρονικής κωδικοποίησης μέσω της Περιστροφικής Κωδικοποίησης Θέσης (RoPE). Η πειραματική αξιολόγηση πραγματοποιείται σε τρία κλι- νικά σύνολα δεδομένων: το PhysioNet 2019 για πρόβλεψη σήψης, το PhysioNet 2012 για πρόβλεψη ενδονοσοκομειακής θνησιμότητας και το MIMIC-III, όπου διεξάγονται επι- πλέον πειράματα με ανεξάρτητη προεπεξεργασία δεδομένων. Πέρα από το αναπαραγό- μενο BAT και την προτεινόμενη παραλλαγή BAT-RoPE, εξετάζονται επίσης δύο μοντέλα βάσης, το GRU-D και ένας τυπικός Μετασχηματιστής. Τα αποτελέσματα δείχνουν ότι το BAT αποτελεί μια ισχυρή και ανταγωνιστική αρχιτεκτονική και στα δύο σύνολα δεδομέ- νων. Το αρχικό BAT επιτυγχάνει την καλύτερη τιμή AUPRC στο PhysioNet 2019, ενώ το BAT-RoPE παρουσιάζει την καλύτερη συνολική απόδοση στο PhysioNet 2012. Επιπλέ- ον, η ποιοτική ανάλυση των χαρτών προσοχής και επιπλέον πειράματα υποδεικνύουν ότι το BAT συλλαμβάνει δομημένες χρονικές και διαμεταβλητές σχέσεις και βασίζεται κυρίως στις δυναμικές κλινικές χρονοσειρές, ενώ η χρήση της εστιακής απώλειας δεν οδηγεί σε σταθερή βελτίωση της απόδοσης.","In this work, we study transformer-based modeling of irregular clinical time series derived from Electronic Health Records, with particular focus on the Bi-Axial Transformer (BAT) architecture. Clinical prediction from EHR data remains challenging due to irregular sam- pling, sparse observations, informative missingness and the coexistence of dynamic and static patient information. Within this setting, our goal is to first, reproduce the BAT archi- tecture and verify that the reconstructed implementation is consistent with the original pa- per and second, to investigate a modification of its temporal encoding mechanism through Rotary Positional Encoding (RoPE). The experimental evaluation is conducted on three clinical benchmarks: PhysioNet 2019 for sepsis prediction, PhysioNet 2012 for in-hospital mortality prediction, and MIMIC-III, where additional experiments are performed under a separate preprocessing pipeline. In addition to the reproduced BAT and the proposed BAT-RoPE variant, two baseline models are considered, namely GRU-D and a standard Transformer. The results show that BAT is a strong and competitive architecture across both datasets. The original BAT achieves the best AUPRC on PhysioNet 2019, while BAT-RoPE performs best on PhysioNet 2012. Additional attention and ablation analyses suggest that BAT captures structured temporal and inter-variable relationships and relies primarily on the dynamic clinical time series, while focal loss does not provide a consistent improvement."],"dc:identifier":["uoadl:5422663","https://pergamos.lib.uoa.gr/uoa/dl/object/5422663"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Transformer-Based Modeling of Irregular Clinical Time Series: Bi-Axial Attention and Temporal Encoding"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:20:12Z"}