National and Kapodistrian University of Athens
Navigating Sleep: Neural Audio Synthesis as Compositional Medium for EEG Data Sonification
Abstract
dc:descriptionΑυτή η έρευνα που βασίζεται στην καλλιτεχνική πρακτική διερευνά τη νευρωνική σύνθεση ήχου (neural audio synthesis) ως συνθετικό μέσο για φυσιολογικά δεδομένα, χρησιμοποιώντας μοντέλα RAVE για να μετατρέψει τις ηχογραφήσεις ύπνου EEG σε εκτεταμένη μουσική μορφή. Ο σχεδιασμός της ηχοποίησης στοχεύει να παρέχει μια ηχητική αναπαράσταση της λειτουργίας του εγκεφάλου κατά τη μετάβαση μεταξύ διαφορετικών σταδίων ύπνου, αποτελώντας αυτό που οι Grond και Berger αναφέρουν ως musification, μια σύνθεση που βασίζεται σε δεδομένα με πρωτίστως καλλιτεχνικούς παρά αναλυτικούς σκοπούς. Ως προς τη μεθοδολογία χρησιμοποιήθηκαν δεδομένα EEG από τη βάση δεδομένων Bitbrain Open Access Sleep και βιβλιοθήκες Python για τη διαχείριση νευροφυσιολογικών δεδομένων. Το χαρακτηριστικό που αξιοποιήθηκε για την ηχοποίηση είναι κατανομή της ενέργειας ως προς τις ζώνες συχνοτήτων Delta, Theta, Alpha, Sigma και Beta, αυτό που ονομάζουμε εγκεφαλικά κύματα. Τα δεδομένα χρησιμοποιούνται για την πλοήγηση μέσα στον λανθάνοντα χώρο του μοντέλου (latent space). Τα δεδομένα χρησιμοποιούνται ως σήματα ελέγχου για τις τιμές των επιμέρους διαστάσεων του χώρου αντιστοιχώντας έτσι κάθε σημείου του χώρου δεδομένων με ένα σημείο του λανθάνοντα χώρου του μοντέλου. Με τη μέθοδο Principal Component Analysis έγινε αποσυσχέτιση (decorrelation) αυτών των χαρακτηριστικών ώστε να υπάρχει μια ανάλογη δομική σχέση με τις λανθάνουσες διαστάσεις (latent dimensions) του RAVE μοντέλου η οποίες δημιουργούνται κατά φθίνουσα διακύμανση. Ένας λόγος συμπίεσης χρόνου 30:1 επιτρέπει την ακρόαση ενός πλήρους ύπνου σε περίπου δεκατέσσερα λεπτά. Τρία ερευνητικά ερωτήματα καθοδηγούν την έρευνα: πώς τα μοντέλα RAVE μετατρέπουν τα εγκεφαλικά κύματα σε ηχητικό υλικό; πώς οι τρεις παράμετροι - δομή δεδομένων ύπνου, τοπολογία μοντέλου RAVE και συνθετική παρέμβαση - διαπραγματεύονται την εμπλοκή (agency) στη διαμόρφωση του μουσικού αποτελέσματος· και ποιες αποφάσεις σχεδιασμού στο μετασχηματισμό των δεδομένων για την ηχοποίηση αποδεικνύονται κρίσιμες κατά την προσαρμογή χρονοσειρών φυσιολογικών δεδομένων για νευρωνική σύνθεση. Τα ευρήματα υποδεικνύουν ότι η πλοήγηση των μοντέλων RAVE λειτουργεί μέσω έμμεσων συσχετίσεων εντός λανθάνοντων χώρων υψηλής διάστασης, χωρίς να προσφέρει άμεση αντιστοιχία μεταξύ δεδομένων εισόδου και ηχητικών παραμέτρων. Το μουσικό αποτέλεσμα προκύπτει στον χώρο διαπραγμάτευσης μεταξύ της εκτύλιξης δεδομένων, των περιορισμών του μοντέλου και της αισθητικής πρόθεσης, με κάθε παράγοντα να παίζει εξίσου σημαντικό ρόλο χωρίς ο ένας να υπερισχύει των άλλων. Η εργασία τοποθετεί την πλοήγηση λανθάνοντος χώρου του RAVE ως μια υβριδική τεχνική ηχοποίησης που αντιστέκεται στην παραδοσιακή ταξινόμηση, υποδηλώνοντας ότι μπορεί να χρειαστούν διευρυμένα πλαίσια για να φιλοξενήσουν μεθόδους όπου οι αντιστοιχίσεις δεδομένων και ηχητικού υλικού αφορούν σε γενετικά μοντέλα τα οποία ανακαλύπτονται μέσω της πρακτικής αντί να σχεδιάζονται ρητά.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Βασιλάκης Στέφανος Θεόδωρος
- VASILAKIS STEFANOS THEODOROS
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5323754