National and Kapodistrian University of Athens
Ταξινόμηση Μουσικής Διάθεσης με Βάση Τεχνικές Ομαδοποίησης και Βαθιάς Μάθησης
Abstract
dc:descriptionΗ Αναγνώριση Συναισθημάτων στη Μουσική (Music Emotion Recognition - MER) αποτελεί μία από τις κύριες προκλήσεις στην Ανάκτηση Πληροφοριών Μουσικής (Music Information Retrieval - MIR) λόγω της ετερογένειας των συνόλων δεδομένων και του σημασιολογικού χάσματος μεταξύ της ανθρώπινης αντίληψης κατηγορικών ετικετών (π.χ., ”μελαγχολικό”, ”ενεργητικό”) και των ακουστικών χαρακτηριστικών των υποκείμενων διαστασιακών ανα- παραστάσεων (π.χ., ευχαρίστηση-διέγερση). Η παρούσα διπλωματική εργασία περιγράφει μία ολοκληρωμένη διαδικασία για τη μεί- ωση του απαιτητικού προβλήματος πολυετικετικής ταξινόμησης σε ένα διαχειρίσιμο και σημασιολογικά συνεκτικό έργο μονοετικετικής ταξινόμησης. Η μεθοδολογία αρχικά εντο- πίζει εγγενή μουσικά δομικά πρότυπα στο σύνολο δεδομένων MTG-Jamendo χρησιμο- ποιώντας μη επιβλεπόμενο clustering σε χαμηλού επιπέδου ακουστικά χαρακτηριστικά των ηχητικών κομματιών. Η έρευνα γεφυρώνει τους τομείς της MIR, της συναισθηματικής υπολογιστικής και της αλληλεπίδρασης ανθρώπου-υπολογιστή δημιουργώντας ένα νέο, απλοποιημένο σύνολο ερμηνεύσιμων κατηγοριών διάθεσης με τη βοήθεια Μεγάλων Μο- ντέλων Γλώσσας (Large Language Models - LLMs) για την παραγωγή κατηγοριών που είναι τόσο ακουστικά μοναδικές όσο και σημασιολογικά σημαντικές. Για την επικύρωση αυ- τής της μεθόδου, δημιουργείται ένα σύστημα διπλής αρχιτεκτονικής που περιλαμβάνει ένα προεκπαιδευμένο μοντέλο ResNet18 με αποδοτική παραμετροποίηση για το κύριο έργο ταξινόμησης διάθεσης και ένα παράλληλο μοντέλο VGGish (Visual Geometry Group audio feature extractor) για συνεχείς προβλέψεις ευχαρίστησης-διέγερσης. Τέλος, μια διαδικτυα- κή εφαρμογή παρουσιάζει την πρακτικότητα του συστήματος, δείχνοντας τη διαδικασία συμπερασματολογίας από άκρο σε άκρο. Η προτεινόμενη προσέγγιση βασισμένη σε clustering σε αυτή τη μελέτη προσφέρει α- ξιοσημείωτα οφέλη για το MER όσον αφορά την ερμηνευσιμότητα και την υπολογιστική αποδοτικότητα, ενώ επιτυγχάνει ισχυρή απόδοση ταξινόμησης τόσο σε κατηγορικά όσο και σε διαστασιακά δεδομένα που είναι ισοδύναμα με τα μοντέλα αιχμής στο ίδιο σύνολο δεδομένων. Τελικά, αυτό το έργο θέτει ένα λειτουργικό, επεκτάσιμο σύστημα MER ικανό για πραγμα- τική ανάπτυξη σε πραγματικό χρόνο, λειτουργώντας ως απόδειξη-εννοιολογικού για σε- νάρια ευαίσθητα στα συναισθήματα, ιδιαίτερα στον τομέα των εφαρμογών που απαιτούν δυναμική προσαρμογή διάθεσης και εξατομικευμένη σύσταση μέσων, όπως η διαδραστι- κή αφήγηση ιστοριών και τα επιτραπέζια παιχνίδια ρόλων (Tabletop Role-Playing Games - TTRPGs).
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Ζάζος Παναγιώτης
- Zazos Panagiotis
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5320936