Back to search

National and Kapodistrian University of Athens

Transformer-Based Modeling of Irregular Clinical Time Series: Bi-Axial Attention and Temporal Encoding

Abstract

dc:description

Στην παρούσα εργασία μελετάται η μοντελοποίηση κλινικών χρονοσειρών μη σταθερής δειγματοληψίας με αρχιτεκτονικές transformers, με ιδιαίτερη έμφαση στην αρχιτεκτονι- κή Δι-αξονικού Transformer (BAT). Η πρόβλεψη από Ηλεκτρονικούς Φακέλους Υγείας (Electronic Health Records, EHRs) παραμένει ένα απαιτητικό πρόβλημα, λόγω της μη σταθερής δειγματοληψίας, της αραιότητας των παρατηρήσεων, της πληροφοριακής ση- μασίας των ελλιπών τιμών και της συνύπαρξης δυναμικών και στατικών χαρακτηριστικών ασθενών. Στο πλαίσιο αυτό, στόχος της εργασίας είναι αφενός η όσο το δυνατόν πιστό- τερη αναπαραγωγή της αρχιτεκτονικής BAT και η επαλήθευση ότι η ανακατασκευασμένη υλοποίηση είναι συνεπής με την αρχική περιγραφή του μοντέλου και αφετέρου η διερεύνη- ση μιας τροποποίησης του μηχανισμού χρονικής κωδικοποίησης μέσω της Περιστροφικής Κωδικοποίησης Θέσης (RoPE). Η πειραματική αξιολόγηση πραγματοποιείται σε τρία κλι- νικά σύνολα δεδομένων: το PhysioNet 2019 για πρόβλεψη σήψης, το PhysioNet 2012 για πρόβλεψη ενδονοσοκομειακής θνησιμότητας και το MIMIC-III, όπου διεξάγονται επι- πλέον πειράματα με ανεξάρτητη προεπεξεργασία δεδομένων. Πέρα από το αναπαραγό- μενο BAT και την προτεινόμενη παραλλαγή BAT-RoPE, εξετάζονται επίσης δύο μοντέλα βάσης, το GRU-D και ένας τυπικός Μετασχηματιστής. Τα αποτελέσματα δείχνουν ότι το BAT αποτελεί μια ισχυρή και ανταγωνιστική αρχιτεκτονική και στα δύο σύνολα δεδομέ- νων. Το αρχικό BAT επιτυγχάνει την καλύτερη τιμή AUPRC στο PhysioNet 2019, ενώ το BAT-RoPE παρουσιάζει την καλύτερη συνολική απόδοση στο PhysioNet 2012. Επιπλέ- ον, η ποιοτική ανάλυση των χαρτών προσοχής και επιπλέον πειράματα υποδεικνύουν ότι το BAT συλλαμβάνει δομημένες χρονικές και διαμεταβλητές σχέσεις και βασίζεται κυρίως στις δυναμικές κλινικές χρονοσειρές, ενώ η χρήση της εστιακής απώλειας δεν οδηγεί σε σταθερή βελτίωση της απόδοσης.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • ΜΠΑΛΤΖΗ ΕΙΡΗΝΗ
  • BALTZI EIRINI

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5422663

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

ΜΠΑΛΤΖΗ ΕΙΡΗΝΗ; BALTZI EIRINI. Transformer-Based Modeling of Irregular Clinical Time Series: Bi-Axial Attention and Temporal Encoding. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5422663