National and Kapodistrian University of Athens
Transformer-Based Architectures for Financial Time Series Forecasting: From Single-Stock Learning to Cross-Asset Generalization
Abstract
dc:descriptionΗ παρούσα διπλωματική εργασία διερευνά την εφαρμογή νευρωνικών αρχιτεκτονικών βασισμένων στον Transformer στο πρόβλημα της πρόβλεψης χρηματοοικονομικών χρονοσειρών, με ιδιαίτερη έμφαση στην βραχυπρόθεσμη πρόβλεψη τιμών μετοχών. Η μελέτη διερευνά συστηματικά την εξέλιξη της πολυπλοκότητας των μοντέλων, ξεκινώντας από μια αρχιτεκτονική Transformer κωδικοποιητή ακολουθίας-προς-ένα (Seq2One), προχωρώντας σε μια διαμόρφωση μόνο με Attention μηχανισμό, και καταλήγοντας σε μια αρχιτεκτονική κωδικοποιητή–αποκωδικοποιητή ακολουθίας-προς-ακολουθία (Seq2Seq). Τα αρχικά πειράματα διεξήχθησαν στη μετοχή της Microsoft (MSFT), πριν επεκταθούν σε ευρύτερο σύνολο εταιρειών εισηγμένων στο NASDAQ. Η αγορά NASDAQ επιλέχθηκε λόγω της υψηλής ρευστότητας, της διαθεσιμότητας δεδομένων και της ποικιλομορφίας μεταβλητότητας — από σταθερές μετοχές μεγάλης κεφαλαιοποίησης έως ιδιαίτερα ευμετάβλητες — καθιστώντας την ιδανική για την αξιολόγηση της ανθεκτικότητας και της ικανότητας γενίκευσης αρχιτεκτονικών βαθιάς μάθησης. Διεξήχθησαν πολλαπλά πειράματα για την αξιολόγηση της ακρίβειας πρόβλεψης, της χρονικής συνέπειας και της ικανότητας γενίκευσης κάθε αρχιτεκτονικής σε διαφορετικά μήκη ακολουθίας και συνθήκες εκπαίδευσης. Τα αποτελέσματα καταδεικνύουν μια σαφή πρόοδο απόδοσης μεταξύ των μοντέλων. Η αρχιτεκτονική Seq2One αποτελεί ένα σταθερό σημείο αναφοράς, αλλά παρουσιάζει συσσωρευτικό σφάλμα στις αυτοπαλίνδρομες προβλέψεις. Το μοντέλο μόνο με Attention μηχανισμό, παρά την απλότητά του, επιτυγχάνει ανταγωνιστική βραχυπρόθεσμη ακρίβεια αποτυπώνοντας αποτελεσματικά τοπικές χρονικές εξαρτήσεις. Ο Transformer Seq2Seq υπερτερεί και των δύο προκατόχων του μοντελοποιώντας από κοινού εξαρτήσεις πολλαπλών βημάτων και παράγοντας συνεπείς προβλέψεις πέντε ημερών, επιτυγχάνοντας το χαμηλότερο μέσο απόλυτο και μέσο τετραγωνικό σφάλμα μεταξύ όλων των διαμορφώσεων. Επιπλέον, ένα πείραμα Seq2Seq με πολλαπλές μετοχές δείχνει ότι οι Transformers μπορούν να γενικεύσουν τα εκμαθημένα χρονικά μοτίβα σε διαφορετικές μετοχές, παράγοντας ακριβείς προβλέψεις για μετοχές που δεν είδε κατά την εκπαίδευση εντός του τομέα NASDAQ. Μια συγκριτική αξιολόγηση έναντι ενός μοντέλου βάσης LSTM αποκαλύπτει ότι το LSTM συνεχώς ισοφαρίζει ή υπερτερεί του Transformer — ένα αποτέλεσμα που αποδίδεται στη βαθιά μη στάσιμη και θορυβώδη φύση των χρηματοοικονομικών χρονοσειρών, η οποία ευνοεί την τοπική ακολουθιακή επεξεργασία του LSTM έναντι των καθολικών attention μηχανισμών, ιδιαίτερα όταν τα δεδομένα εκπαίδευσης είναι περιορισμένα και ο ορίζοντας πρόβλεψης είναι σύντομος. Τα ευρήματα υπογραμμίζουν τη σημασία της επιλογής μήκους ακολουθίας, με σύντομα έως μέτρια παράθυρα εισόδου 10–30 ημερών να προσφέρουν την καλύτερη ισορροπία μεταξύ απόδοσης και μείωσης θορύβου — σε συμφωνία με τη μεροληψία πρόσφατης πληροφορίας που είναι εγγενής στις μη στάσιμες χρηματοοικονομικές χρονοσειρές, όπου οι παλαιότερες παρατηρήσεις καθίστανται προοδευτικά λιγότερο σχετικές. Τα πειράματα με πολλαπλές μετοχές αποκαλύπτουν ελπιδοφόρα στοιχεία για τις ικανότητες μεταφοράς μάθησης στις αρχιτεκτονικές Transformer, ανοίγοντας τον δρόμο για επεκτάσιμα συστήματα πρόβλεψης πολλαπλών μετοχών. Μελλοντική εργασία μπορεί να επεκταθεί μέσω ενσωμάτωσης πολλαπλών χαρακτηριστικών, συναρτήσεων σφάλματος με επίγνωση της μεταβλητότητας και σήματα διασταυρούμενων μετοχών ως βοηθητικές εισόδους, ενώ παράλληλα αξιολογώντας τη γενίκευση του μοντέλου σε διαφορετικές αγορές — συμπεριλαμβανομένων μετοχών εκτός NASDAQ, εμπορευμάτων και κρυπτονομισμάτων — για περαιτέρω αξιολόγηση της ανθεκτικότητας και της ευρωστίας σε μεταβαλλόμενες δυναμικές αγοράς.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Στρουθοπούλου Βασιλική
- Strouthopoulou Vassiliki
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5422677