Back to search

National and Kapodistrian University of Athens

Automatic Lyrics Transcription for Greek Songs

Abstract

dc:description

Η παρούσα διπλωματική εργασία εστιάζει στην ανάπτυξη και προσαρμογή συστημάτων Αυτόματης Μεταγραφής Στίχων, για τη νεοελληνική τραγουδιστική φωνή, αξιοποιώντας τις δυνατότητες των πολυγλωσσικών μοντέλων Whisper. Ο στόχος της έρευνας είναι διττός. Αφενός η αξιόπιστη μεταγραφή ελληνικών στίχων από τραγούδια και η διερεύνηση διαφορετικών στρατηγικών εκπαίδευσης, όπως η multitask (μεταγραφή -μετάφραση) και staged εκπαίδευση, ως μέσο ενίσχυσης της γενίκευσης και προσαρμοστικότητας των μοντέλων στα τραγούδια. Η Αυτόματη Αναγνώριση Ομιλίας έχει σημειώσει εντυπωσιακή πρόοδο τα τελευταία χρόνια, χάρη στην εμφάνιση μεγάλων μοντέλων τύπου Transformer, όπως τα wav2vec 2.0, XLS-R και Whisper, τα οποία επιτρέπουν εκπαίδευση end-to-end χωρίς την ανάγκη χειροκίνητων χαρακτηριστικών. Ωστόσο, η τραγουδιστική φωνή παρουσιάζει ιδιαιτερότητες που δυσχεραίνουν την απευθείας εφαρμογή αυτών των συστημάτων. Οι μεγάλες φωνητικές διακυμάνσεις, οι παρατεταμένες διάρκειες φωνηέντων, η μελωδική αστάθεια, η συνοδεία μουσικής και η ελεύθερη προσωδία διαταράσσουν τις ακουστικές και στατιστικές υποθέσεις των μοντέλων που έχουν εκπαιδευτεί σε καθαρή ομιλία. Κατά συνέπεια, παρατηρείται σημαντική πτώση της ακρίβειας, γεγονός που καθιστά απαραίτητη την εξειδικευμένη προσαρμογή των μοντέλων στην τραγουδιστική φωνή. Ως βάση χρησιμοποιείται ένα segment-level σύνολο δεδομένων σε μορφή Hugging Face, το οποίο περιλαμβάνει ελληνικά ηχητικά αποσπάσματα και αντιστοιχισμένους ελληνικούς και αγγλικούς στίχους. Τα δεδομένα προέρχονται από πολυφωνικές ηχογραφήσεις ελληνικών τραγουδιών, οι οποίες απομονώθηκαν σε καθαρά φωνητικά κανάλια μέσω του μοντέλου source-separation Demucs_ft. Στη συνέχεια, οι στίχοι ευθυγραμμίστηκαν αυτόματα με τα αντίστοιχα ηχητικά αποσπάσματα με χρήση CTC-based forced aligner. Η διαδικασία προεπεξεργασίας περιλάμβανε εξισορρόπηση έντασης, επαναδειγματοληψία στα 16 kHz, καθαρισμό ειδικών χαρακτήρων και μετατροπή της δομής Kaldi σε μορφή HF Dataset (με πεδία audio, transcription, translation), γεγονός που επιτρέπει την απευθείας αξιοποίησή τους στη βιβλιοθήκη Transformers. Η μεθοδολογία που ακολουθήθηκε οργανώθηκε σε τέσσερα κύρια στάδια. Στο πρώτο στάδιο πραγματοποιήθηκε zero-shot αξιολόγηση του Whisper-Medium χωρίς καμία προσαρμογή, ώστε να υπολογιστεί η βασική επίδοση του μοντέλου στην τραγουδιστική φωνή. Στο δεύτερο στάδιο το μοντέλο εκπαιδεύτηκε αποκλειστικά για μεταγραφή στα ελληνικά, με στόχο την προσαρμογή του στα φωνητικά χαρακτηριστικά του τραγουδιού. Στο τρίτο στάδιο εφαρμόστηκε πολυ-λειτουργική εκπαίδευση (multitask learning), συνδυάζοντας ταυτόχρονα μεταγραφή και μετάφραση με αναλογίες batches 1:1, 2:1 και 4:1, προκειμένου να διερευνηθεί αν η μετάφραση λειτουργεί ως μορφή κανονικοποίησης της εκπαίδευσης. Τέλος, στο τέταρτο στάδιο εξετάστηκε η κλιμάκωση των ίδιων ρυθμίσεων σε τρία μεγέθη μοντέλων (Small, Medium, Large), ώστε να διερευνηθεί η σχέση μεταξύ χωρητικότητας του μοντέλου και απόδοσης. Επιπρόσθετα, διερευνήθηκε ένα staged fine-tuning σχήμα, στο οποίο το μοντέλο προσαρμόζεται αρχικά σε δεδομένα ομιλίας (Greek Common Voice) και στη συνέχεια σε δεδομένα τραγουδιού, με στόχο τη σταδιακή μεταφορά γνώσης από το πεδίο της ομιλίας στο πεδίο του τραγουδιού. Η εκπαίδευση πραγματοποιήθηκε σε GPU περιβάλλοντα υψηλής υπολογιστικής ισχύος (Borges και Leonardo supercomputer) με χρήση του Seq2SeqTrainer της βιβλιοθήκης Transformers, batch size 4-8, μικτή ακρίβεια FP16 και optimizer AdamW (learning rate 5×10⁻⁵). Η αξιολόγηση της απόδοσης βασίστηκε στη μετρική normalized Word Error Rate (WER), η οποία εξουδετερώνει την επίδραση της στίξης και των μικρο-ορθογραφικών διαφορών. Πειραματικά, το zero-shot Whisper-Medium σημείωσε WER 92,1%, αναδεικνύοντας το έντονο χάσμα ανάμεσα στη φωνή ομιλίας και τραγουδιού. Μετά το fine-tuning, το Whisper-Large (transcribe-only) πέτυχε WER 30%, επιτυγχάνοντας περίπου 67% μείωση σφάλματος σε σχέση με το baseline. Η multitask εκπαίδευση αποδείχθηκε ωφέλιμη για μικρότερα μοντέλα λόγω της γλωσσικής κανονικοποίησης που προσφέρει, ωστόσο στα μεγαλύτερα μοντέλα η απλή εκπαίδευση μεταγραφής παρήγαγε πιο σταθερά και καθαρά αποτελέσματα. Η 2-stages εκπαίδευση δεν οδήγησε σε περαιτέρω βελτίωση, υποδηλώνοντας ότι το Whisper διαθέτει ήδη εγγενή πολυγλωσσική και ακουστική γενίκευση, καθώς και ότι το μικρό διαθέσιμο ελληνικό Common Voice σύνολο δεδομένων δεν επαρκούσε. Η ποιοτική ανάλυση των παραγόμενων μεταγραφών φανερώνει χαρακτηριστικά μοτίβα που σχετίζονται με τη φύση του τραγουδιού, όπως διόγκωση συμφωνικών συμπλεγμάτων σε δύσκολες φράσεις, σύγχυση φωνηέντων και ορθογραφικά λάθη, αποσιώπηση μικρών λειτουργικών λέξεων, και περιστασιακές «παραισθήσεις» στίχων όταν το ηχητικό σήμα είναι αμφίβολο. Παρότι τα μεγαλύτερα μοντέλα δεν εξαλείφουν πλήρως τα λάθη, μειώνουν αισθητά τη σοβαρότητά τους, οδηγώντας σε σημαντική βελτίωση του WER και πιο φυσικές μεταγραφές. Η παρούσα εργασία αποτελεί την πρώτη συστηματική μελέτη ALT για ελληνικά τραγούδια και αποδεικνύει ότι τα μοντέλα Whisper μπορούν να προσαρμοστούν αποτελεσματικά στην τραγουδιστική φωνή μέσω στοχευμένου fine-tuning, χωρίς ανάγκη εκπαίδευσης από το μηδέν. Η multitask μάθηση αποδεικνύεται χρήσιμη μόνο σε μικρότερα μοντέλα, ενώ η εκπαίδευση αποκλειστικά για μεταγραφή παραμένει η πιο αποδοτική στρατηγική για τα μεγαλύτερα μοντέλα. Μελλοντικά, προτείνεται η επέκταση του ελληνικού συνόλου δεδομένων με περισσότερα είδη μουσικής και μεγαλύτερη ποικιλία φωνών, η αξιοποίηση ημι-επιβλεπόμενων τεχνικών (semi-supervised, pseudo-labeling) για την αύξηση του όγκου των δεδομένων, και η διερεύνηση παραμετρικά αποδοτικών μεθόδων fine-tuning, όπως LoRA και adapters, ώστε να μειωθεί το υπολογιστικό κόστος. Ιδιαίτερα ενδιαφέρουσα κατεύθυνση συνιστά η ενσωμάτωση μεγάλων γλωσσικών μοντέλων (LLMs), όπως το Krikri, ή GPT, για τη μετα-επεξεργασία των μεταγραφών. Τέτοια μοντέλα μπορούν να χρησιμοποιηθούν για διόρθωση λαθών, ορθογραφική και γραμματική εξομάλυνση, καθώς και για αναδόμηση των στίχων με βάση τη ρυθμική και νοηματική τους συνοχή, επεκτείνοντας τη λειτουργικότητα του συστήματος πέρα από το επίπεδο της απλής αναγνώρισης.Τέλος, προτείνεται η ενσωμάτωση εκφραστικών χαρακτηριστικών όπως ύψος (pitch), ρυθμός και συναίσθημα, προκειμένου το σύστημα να συλλάβει πληρέστερα τη μουσική διάσταση της φωνής.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Φραγγιαδάκη Μαρία
  • Frangiadaki Maria

Subjects

dc:subject × 2

Rights

Language dc:language
Ελληνικά, English, Greek

Identifiers

dc:identifier.*
Identifier
uoadl:5310603

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Φραγγιαδάκη Μαρία; Frangiadaki Maria. Automatic Lyrics Transcription for Greek Songs. 2025. https://pergamos.lib.uoa.gr/uoa/dl/object/5310603