National and Kapodistrian University of Athens
Transformer-Based Modeling of Irregular Clinical Time Series: Bi-Axial Attention and Temporal Encoding
Abstract
dc:descriptionΣτην παρούσα εργασία μελετάται η μοντελοποίηση κλινικών χρονοσειρών μη σταθερής δειγματοληψίας με αρχιτεκτονικές transformers, με ιδιαίτερη έμφαση στην αρχιτεκτονι- κή Δι-αξονικού Transformer (BAT). Η πρόβλεψη από Ηλεκτρονικούς Φακέλους Υγείας (Electronic Health Records, EHRs) παραμένει ένα απαιτητικό πρόβλημα, λόγω της μη σταθερής δειγματοληψίας, της αραιότητας των παρατηρήσεων, της πληροφοριακής ση- μασίας των ελλιπών τιμών και της συνύπαρξης δυναμικών και στατικών χαρακτηριστικών ασθενών. Στο πλαίσιο αυτό, στόχος της εργασίας είναι αφενός η όσο το δυνατόν πιστό- τερη αναπαραγωγή της αρχιτεκτονικής BAT και η επαλήθευση ότι η ανακατασκευασμένη υλοποίηση είναι συνεπής με την αρχική περιγραφή του μοντέλου και αφετέρου η διερεύνη- ση μιας τροποποίησης του μηχανισμού χρονικής κωδικοποίησης μέσω της Περιστροφικής Κωδικοποίησης Θέσης (RoPE). Η πειραματική αξιολόγηση πραγματοποιείται σε τρία κλι- νικά σύνολα δεδομένων: το PhysioNet 2019 για πρόβλεψη σήψης, το PhysioNet 2012 για πρόβλεψη ενδονοσοκομειακής θνησιμότητας και το MIMIC-III, όπου διεξάγονται επι- πλέον πειράματα με ανεξάρτητη προεπεξεργασία δεδομένων. Πέρα από το αναπαραγό- μενο BAT και την προτεινόμενη παραλλαγή BAT-RoPE, εξετάζονται επίσης δύο μοντέλα βάσης, το GRU-D και ένας τυπικός Μετασχηματιστής. Τα αποτελέσματα δείχνουν ότι το BAT αποτελεί μια ισχυρή και ανταγωνιστική αρχιτεκτονική και στα δύο σύνολα δεδομέ- νων. Το αρχικό BAT επιτυγχάνει την καλύτερη τιμή AUPRC στο PhysioNet 2019, ενώ το BAT-RoPE παρουσιάζει την καλύτερη συνολική απόδοση στο PhysioNet 2012. Επιπλέ- ον, η ποιοτική ανάλυση των χαρτών προσοχής και επιπλέον πειράματα υποδεικνύουν ότι το BAT συλλαμβάνει δομημένες χρονικές και διαμεταβλητές σχέσεις και βασίζεται κυρίως στις δυναμικές κλινικές χρονοσειρές, ενώ η χρήση της εστιακής απώλειας δεν οδηγεί σε σταθερή βελτίωση της απόδοσης.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- ΜΠΑΛΤΖΗ ΕΙΡΗΝΗ
- BALTZI EIRINI
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5422663