{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5310603"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5310603","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Automatic Lyrics Transcription for Greek Songs","abstract":"Η παρούσα διπλωματική εργασία εστιάζει στην ανάπτυξη και προσαρμογή συστημάτων Αυτόματης Μεταγραφής Στίχων, για τη νεοελληνική τραγουδιστική φωνή, αξιοποιώντας τις δυνατότητες των πολυγλωσσικών μοντέλων Whisper. Ο στόχος της έρευνας είναι διττός. Αφενός η αξιόπιστη μεταγραφή ελληνικών στίχων από τραγούδια και η διερεύνηση διαφορετικών στρατηγικών εκπαίδευσης, όπως η multitask (μεταγραφή -μετάφραση) και staged εκπαίδευση, ως μέσο ενίσχυσης της γενίκευσης και προσαρμοστικότητας των μοντέλων στα τραγούδια. Η Αυτόματη Αναγνώριση Ομιλίας έχει σημειώσει εντυπωσιακή πρόοδο τα τελευταία χρόνια, χάρη στην εμφάνιση μεγάλων μοντέλων τύπου Transformer, όπως τα wav2vec 2.0, XLS-R και Whisper, τα οποία επιτρέπουν εκπαίδευση end-to-end χωρίς την ανάγκη χειροκίνητων χαρακτηριστικών. Ωστόσο, η τραγουδιστική φωνή παρουσιάζει ιδιαιτερότητες που δυσχεραίνουν την απευθείας εφαρμογή αυτών των συστημάτων. Οι μεγάλες φωνητικές διακυμάνσεις, οι παρατεταμένες διάρκειες φωνηέντων, η μελωδική αστάθεια, η συνοδεία μουσικής και η ελεύθερη προσωδία διαταράσσουν τις ακουστικές και στατιστικές υποθέσεις των μοντέλων που έχουν εκπαιδευτεί σε καθαρή ομιλία. Κατά συνέπεια, παρατηρείται σημαντική πτώση της ακρίβειας, γεγονός που καθιστά απαραίτητη την εξειδικευμένη προσαρμογή των μοντέλων στην τραγουδιστική φωνή. Ως βάση χρησιμοποιείται ένα segment-level σύνολο δεδομένων σε μορφή Hugging Face, το οποίο περιλαμβάνει ελληνικά ηχητικά αποσπάσματα και αντιστοιχισμένους ελληνικούς και αγγλικούς στίχους. Τα δεδομένα προέρχονται από πολυφωνικές ηχογραφήσεις ελληνικών τραγουδιών, οι οποίες απομονώθηκαν σε καθαρά φωνητικά κανάλια μέσω του μοντέλου source-separation Demucs_ft. Στη συνέχεια, οι στίχοι ευθυγραμμίστηκαν αυτόματα με τα αντίστοιχα ηχητικά αποσπάσματα με χρήση CTC-based forced aligner. Η διαδικασία προεπεξεργασίας περιλάμβανε εξισορρόπηση έντασης, επαναδειγματοληψία στα 16 kHz, καθαρισμό ειδικών χαρακτήρων και μετατροπή της δομής Kaldi σε μορφή HF Dataset (με πεδία audio, transcription, translation), γεγονός που επιτρέπει την απευθείας αξιοποίησή τους στη βιβλιοθήκη Transformers. Η μεθοδολογία που ακολουθήθηκε οργανώθηκε σε τέσσερα κύρια στάδια. Στο πρώτο στάδιο πραγματοποιήθηκε zero-shot αξιολόγηση του Whisper-Medium χωρίς καμία προσαρμογή, ώστε να υπολογιστεί η βασική επίδοση του μοντέλου στην τραγουδιστική φωνή. Στο δεύτερο στάδιο το μοντέλο εκπαιδεύτηκε αποκλειστικά για μεταγραφή στα ελληνικά, με στόχο την προσαρμογή του στα φωνητικά χαρακτηριστικά του τραγουδιού. Στο τρίτο στάδιο εφαρμόστηκε πολυ-λειτουργική εκπαίδευση (multitask learning), συνδυάζοντας ταυτόχρονα μεταγραφή και μετάφραση με αναλογίες batches 1:1, 2:1 και 4:1, προκειμένου να διερευνηθεί αν η μετάφραση λειτουργεί ως μορφή κανονικοποίησης της εκπαίδευσης. Τέλος, στο τέταρτο στάδιο εξετάστηκε η κλιμάκωση των ίδιων ρυθμίσεων σε τρία μεγέθη μοντέλων (Small, Medium, Large), ώστε να διερευνηθεί η σχέση μεταξύ χωρητικότητας του μοντέλου και απόδοσης. Επιπρόσθετα, διερευνήθηκε ένα staged fine-tuning σχήμα, στο οποίο το μοντέλο προσαρμόζεται αρχικά σε δεδομένα ομιλίας (Greek Common Voice) και στη συνέχεια σε δεδομένα τραγουδιού, με στόχο τη σταδιακή μεταφορά γνώσης από το πεδίο της ομιλίας στο πεδίο του τραγουδιού. Η εκπαίδευση πραγματοποιήθηκε σε GPU περιβάλλοντα υψηλής υπολογιστικής ισχύος (Borges και Leonardo supercomputer) με χρήση του Seq2SeqTrainer της βιβλιοθήκης Transformers, batch size 4-8, μικτή ακρίβεια FP16 και optimizer AdamW (learning rate 5×10⁻⁵). Η αξιολόγηση της απόδοσης βασίστηκε στη μετρική normalized Word Error Rate (WER), η οποία εξουδετερώνει την επίδραση της στίξης και των μικρο-ορθογραφικών διαφορών. Πειραματικά, το zero-shot Whisper-Medium σημείωσε WER 92,1%, αναδεικνύοντας το έντονο χάσμα ανάμεσα στη φωνή ομιλίας και τραγουδιού. Μετά το fine-tuning, το Whisper-Large (transcribe-only) πέτυχε WER 30%, επιτυγχάνοντας περίπου 67% μείωση σφάλματος σε σχέση με το baseline. Η multitask εκπαίδευση αποδείχθηκε ωφέλιμη για μικρότερα μοντέλα λόγω της γλωσσικής κανονικοποίησης που προσφέρει, ωστόσο στα μεγαλύτερα μοντέλα η απλή εκπαίδευση μεταγραφής παρήγαγε πιο σταθερά και καθαρά αποτελέσματα. Η 2-stages εκπαίδευση δεν οδήγησε σε περαιτέρω βελτίωση, υποδηλώνοντας ότι το Whisper διαθέτει ήδη εγγενή πολυγλωσσική και ακουστική γενίκευση, καθώς και ότι το μικρό διαθέσιμο ελληνικό Common Voice σύνολο δεδομένων δεν επαρκούσε. Η ποιοτική ανάλυση των παραγόμενων μεταγραφών φανερώνει χαρακτηριστικά μοτίβα που σχετίζονται με τη φύση του τραγουδιού, όπως διόγκωση συμφωνικών συμπλεγμάτων σε δύσκολες φράσεις, σύγχυση φωνηέντων και ορθογραφικά λάθη, αποσιώπηση μικρών λειτουργικών λέξεων, και περιστασιακές «παραισθήσεις» στίχων όταν το ηχητικό σήμα είναι αμφίβολο. Παρότι τα μεγαλύτερα μοντέλα δεν εξαλείφουν πλήρως τα λάθη, μειώνουν αισθητά τη σοβαρότητά τους, οδηγώντας σε σημαντική βελτίωση του WER και πιο φυσικές μεταγραφές. Η παρούσα εργασία αποτελεί την πρώτη συστηματική μελέτη ALT για ελληνικά τραγούδια και αποδεικνύει ότι τα μοντέλα Whisper μπορούν να προσαρμοστούν αποτελεσματικά στην τραγουδιστική φωνή μέσω στοχευμένου fine-tuning, χωρίς ανάγκη εκπαίδευσης από το μηδέν. Η multitask μάθηση αποδεικνύεται χρήσιμη μόνο σε μικρότερα μοντέλα, ενώ η εκπαίδευση αποκλειστικά για μεταγραφή παραμένει η πιο αποδοτική στρατηγική για τα μεγαλύτερα μοντέλα. Μελλοντικά, προτείνεται η επέκταση του ελληνικού συνόλου δεδομένων με περισσότερα είδη μουσικής και μεγαλύτερη ποικιλία φωνών, η αξιοποίηση ημι-επιβλεπόμενων τεχνικών (semi-supervised, pseudo-labeling) για την αύξηση του όγκου των δεδομένων, και η διερεύνηση παραμετρικά αποδοτικών μεθόδων fine-tuning, όπως LoRA και adapters, ώστε να μειωθεί το υπολογιστικό κόστος. Ιδιαίτερα ενδιαφέρουσα κατεύθυνση συνιστά η ενσωμάτωση μεγάλων γλωσσικών μοντέλων (LLMs), όπως το Krikri, ή GPT, για τη μετα-επεξεργασία των μεταγραφών. Τέτοια μοντέλα μπορούν να χρησιμοποιηθούν για διόρθωση λαθών, ορθογραφική και γραμματική εξομάλυνση, καθώς και για αναδόμηση των στίχων με βάση τη ρυθμική και νοηματική τους συνοχή, επεκτείνοντας τη λειτουργικότητα του συστήματος πέρα από το επίπεδο της απλής αναγνώρισης.Τέλος, προτείνεται η ενσωμάτωση εκφραστικών χαρακτηριστικών όπως ύψος (pitch), ρυθμός και συναίσθημα, προκειμένου το σύστημα να συλλάβει πληρέστερα τη μουσική διάσταση της φωνής.","abstract_html":"Η παρούσα διπλωματική εργασία εστιάζει στην ανάπτυξη και προσαρμογή συστημάτων Αυτόματης Μεταγραφής Στίχων, για τη νεοελληνική τραγουδιστική φωνή, αξιοποιώντας τις δυνατότητες των πολυγλωσσικών μοντέλων Whisper. Ο στόχος της έρευνας είναι διττός. Αφενός η αξιόπιστη μεταγραφή ελληνικών στίχων από τραγούδια και η διερεύνηση διαφορετικών στρατηγικών εκπαίδευσης, όπως η multitask (μεταγραφή -μετάφραση) και staged εκπαίδευση, ως μέσο ενίσχυσης της γενίκευσης και προσαρμοστικότητας των μοντέλων στα τραγούδια. Η Αυτόματη Αναγνώριση Ομιλίας έχει σημειώσει εντυπωσιακή πρόοδο τα τελευταία χρόνια, χάρη στην εμφάνιση μεγάλων μοντέλων τύπου Transformer, όπως τα wav2vec 2.0, XLS-R και Whisper, τα οποία επιτρέπουν εκπαίδευση end-to-end χωρίς την ανάγκη χειροκίνητων χαρακτηριστικών. Ωστόσο, η τραγουδιστική φωνή παρουσιάζει ιδιαιτερότητες που δυσχεραίνουν την απευθείας εφαρμογή αυτών των συστημάτων. Οι μεγάλες φωνητικές διακυμάνσεις, οι παρατεταμένες διάρκειες φωνηέντων, η μελωδική αστάθεια, η συνοδεία μουσικής και η ελεύθερη προσωδία διαταράσσουν τις ακουστικές και στατιστικές υποθέσεις των μοντέλων που έχουν εκπαιδευτεί σε καθαρή ομιλία. Κατά συνέπεια, παρατηρείται σημαντική πτώση της ακρίβειας, γεγονός που καθιστά απαραίτητη την εξειδικευμένη προσαρμογή των μοντέλων στην τραγουδιστική φωνή. Ως βάση χρησιμοποιείται ένα segment-level σύνολο δεδομένων σε μορφή Hugging Face, το οποίο περιλαμβάνει ελληνικά ηχητικά αποσπάσματα και αντιστοιχισμένους ελληνικούς και αγγλικούς στίχους. Τα δεδομένα προέρχονται από πολυφωνικές ηχογραφήσεις ελληνικών τραγουδιών, οι οποίες απομονώθηκαν σε καθαρά φωνητικά κανάλια μέσω του μοντέλου source-separation Demucs_ft. Στη συνέχεια, οι στίχοι ευθυγραμμίστηκαν αυτόματα με τα αντίστοιχα ηχητικά αποσπάσματα με χρήση CTC-based forced aligner. Η διαδικασία προεπεξεργασίας περιλάμβανε εξισορρόπηση έντασης, επαναδειγματοληψία στα 16 kHz, καθαρισμό ειδικών χαρακτήρων και μετατροπή της δομής Kaldi σε μορφή HF Dataset (με πεδία audio, transcription, translation), γεγονός που επιτρέπει την απευθείας αξιοποίησή τους στη βιβλιοθήκη Transformers. Η μεθοδολογία που ακολουθήθηκε οργανώθηκε σε τέσσερα κύρια στάδια. Στο πρώτο στάδιο πραγματοποιήθηκε zero-shot αξιολόγηση του Whisper-Medium χωρίς καμία προσαρμογή, ώστε να υπολογιστεί η βασική επίδοση του μοντέλου στην τραγουδιστική φωνή. Στο δεύτερο στάδιο το μοντέλο εκπαιδεύτηκε αποκλειστικά για μεταγραφή στα ελληνικά, με στόχο την προσαρμογή του στα φωνητικά χαρακτηριστικά του τραγουδιού. Στο τρίτο στάδιο εφαρμόστηκε πολυ-λειτουργική εκπαίδευση (multitask learning), συνδυάζοντας ταυτόχρονα μεταγραφή και μετάφραση με αναλογίες batches 1:1, 2:1 και 4:1, προκειμένου να διερευνηθεί αν η μετάφραση λειτουργεί ως μορφή κανονικοποίησης της εκπαίδευσης. Τέλος, στο τέταρτο στάδιο εξετάστηκε η κλιμάκωση των ίδιων ρυθμίσεων σε τρία μεγέθη μοντέλων (Small, Medium, Large), ώστε να διερευνηθεί η σχέση μεταξύ χωρητικότητας του μοντέλου και απόδοσης. Επιπρόσθετα, διερευνήθηκε ένα staged fine-tuning σχήμα, στο οποίο το μοντέλο προσαρμόζεται αρχικά σε δεδομένα ομιλίας (Greek Common Voice) και στη συνέχεια σε δεδομένα τραγουδιού, με στόχο τη σταδιακή μεταφορά γνώσης από το πεδίο της ομιλίας στο πεδίο του τραγουδιού. Η εκπαίδευση πραγματοποιήθηκε σε GPU περιβάλλοντα υψηλής υπολογιστικής ισχύος (Borges και Leonardo supercomputer) με χρήση του Seq2SeqTrainer της βιβλιοθήκης Transformers, batch size 4-8, μικτή ακρίβεια FP16 και optimizer AdamW (learning rate 5×10⁻⁵). Η αξιολόγηση της απόδοσης βασίστηκε στη μετρική normalized Word Error Rate (WER), η οποία εξουδετερώνει την επίδραση της στίξης και των μικρο-ορθογραφικών διαφορών. Πειραματικά, το zero-shot Whisper-Medium σημείωσε WER 92,1%, αναδεικνύοντας το έντονο χάσμα ανάμεσα στη φωνή ομιλίας και τραγουδιού. Μετά το fine-tuning, το Whisper-Large (transcribe-only) πέτυχε WER 30%, επιτυγχάνοντας περίπου 67% μείωση σφάλματος σε σχέση με το baseline. Η multitask εκπαίδευση αποδείχθηκε ωφέλιμη για μικρότερα μοντέλα λόγω της γλωσσικής κανονικοποίησης που προσφέρει, ωστόσο στα μεγαλύτερα μοντέλα η απλή εκπαίδευση μεταγραφής παρήγαγε πιο σταθερά και καθαρά αποτελέσματα. Η 2-stages εκπαίδευση δεν οδήγησε σε περαιτέρω βελτίωση, υποδηλώνοντας ότι το Whisper διαθέτει ήδη εγγενή πολυγλωσσική και ακουστική γενίκευση, καθώς και ότι το μικρό διαθέσιμο ελληνικό Common Voice σύνολο δεδομένων δεν επαρκούσε. Η ποιοτική ανάλυση των παραγόμενων μεταγραφών φανερώνει χαρακτηριστικά μοτίβα που σχετίζονται με τη φύση του τραγουδιού, όπως διόγκωση συμφωνικών συμπλεγμάτων σε δύσκολες φράσεις, σύγχυση φωνηέντων και ορθογραφικά λάθη, αποσιώπηση μικρών λειτουργικών λέξεων, και περιστασιακές «παραισθήσεις» στίχων όταν το ηχητικό σήμα είναι αμφίβολο. Παρότι τα μεγαλύτερα μοντέλα δεν εξαλείφουν πλήρως τα λάθη, μειώνουν αισθητά τη σοβαρότητά τους, οδηγώντας σε σημαντική βελτίωση του WER και πιο φυσικές μεταγραφές. Η παρούσα εργασία αποτελεί την πρώτη συστηματική μελέτη ALT για ελληνικά τραγούδια και αποδεικνύει ότι τα μοντέλα Whisper μπορούν να προσαρμοστούν αποτελεσματικά στην τραγουδιστική φωνή μέσω στοχευμένου fine-tuning, χωρίς ανάγκη εκπαίδευσης από το μηδέν. Η multitask μάθηση αποδεικνύεται χρήσιμη μόνο σε μικρότερα μοντέλα, ενώ η εκπαίδευση αποκλειστικά για μεταγραφή παραμένει η πιο αποδοτική στρατηγική για τα μεγαλύτερα μοντέλα. Μελλοντικά, προτείνεται η επέκταση του ελληνικού συνόλου δεδομένων με περισσότερα είδη μουσικής και μεγαλύτερη ποικιλία φωνών, η αξιοποίηση ημι-επιβλεπόμενων τεχνικών (semi-supervised, pseudo-labeling) για την αύξηση του όγκου των δεδομένων, και η διερεύνηση παραμετρικά αποδοτικών μεθόδων fine-tuning, όπως LoRA και adapters, ώστε να μειωθεί το υπολογιστικό κόστος. Ιδιαίτερα ενδιαφέρουσα κατεύθυνση συνιστά η ενσωμάτωση μεγάλων γλωσσικών μοντέλων (LLMs), όπως το Krikri, ή GPT, για τη μετα-επεξεργασία των μεταγραφών. Τέτοια μοντέλα μπορούν να χρησιμοποιηθούν για διόρθωση λαθών, ορθογραφική και γραμματική εξομάλυνση, καθώς και για αναδόμηση των στίχων με βάση τη ρυθμική και νοηματική τους συνοχή, επεκτείνοντας τη λειτουργικότητα του συστήματος πέρα από το επίπεδο της απλής αναγνώρισης.Τέλος, προτείνεται η ενσωμάτωση εκφραστικών χαρακτηριστικών όπως ύψος (pitch), ρυθμός και συναίσθημα, προκειμένου το σύστημα να συλλάβει πληρέστερα τη μουσική διάσταση της φωνής.","abstract_has_math":false,"creators":["Φραγγιαδάκη Μαρία","Frangiadaki Maria"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2025,"date_issued":"2025","date_published":"2025","updated_at":"2026-11-19T06:40:43Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5310603"],"render_values":[{"text":"uoadl:5310603","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5310603","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5310603","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5310603","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Φραγγιαδάκη Μαρία","Frangiadaki Maria"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2025"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5310603","https://pergamos.lib.uoa.gr/uoa/dl/object/5310603"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η παρούσα διπλωματική εργασία εστιάζει στην ανάπτυξη και προσαρμογή συστημάτων Αυτόματης Μεταγραφής Στίχων, για τη νεοελληνική τραγουδιστική φωνή, αξιοποιώντας τις δυνατότητες των πολυγλωσσικών μοντέλων Whisper. Ο στόχος της έρευνας είναι διττός. Αφενός η αξιόπιστη μεταγραφή ελληνικών στίχων από τραγούδια και η διερεύνηση διαφορετικών στρατηγικών εκπαίδευσης, όπως η multitask (μεταγραφή -μετάφραση) και staged εκπαίδευση, ως μέσο ενίσχυσης της γενίκευσης και προσαρμοστικότητας των μοντέλων στα τραγούδια. Η Αυτόματη Αναγνώριση Ομιλίας έχει σημειώσει εντυπωσιακή πρόοδο τα τελευταία χρόνια, χάρη στην εμφάνιση μεγάλων μοντέλων τύπου Transformer, όπως τα wav2vec 2.0, XLS-R και Whisper, τα οποία επιτρέπουν εκπαίδευση end-to-end χωρίς την ανάγκη χειροκίνητων χαρακτηριστικών. Ωστόσο, η τραγουδιστική φωνή παρουσιάζει ιδιαιτερότητες που δυσχεραίνουν την απευθείας εφαρμογή αυτών των συστημάτων. Οι μεγάλες φωνητικές διακυμάνσεις, οι παρατεταμένες διάρκειες φωνηέντων, η μελωδική αστάθεια, η συνοδεία μουσικής και η ελεύθερη προσωδία διαταράσσουν τις ακουστικές και στατιστικές υποθέσεις των μοντέλων που έχουν εκπαιδευτεί σε καθαρή ομιλία. Κατά συνέπεια, παρατηρείται σημαντική πτώση της ακρίβειας, γεγονός που καθιστά απαραίτητη την εξειδικευμένη προσαρμογή των μοντέλων στην τραγουδιστική φωνή. Ως βάση χρησιμοποιείται ένα segment-level σύνολο δεδομένων σε μορφή Hugging Face, το οποίο περιλαμβάνει ελληνικά ηχητικά αποσπάσματα και αντιστοιχισμένους ελληνικούς και αγγλικούς στίχους. Τα δεδομένα προέρχονται από πολυφωνικές ηχογραφήσεις ελληνικών τραγουδιών, οι οποίες απομονώθηκαν σε καθαρά φωνητικά κανάλια μέσω του μοντέλου source-separation Demucs_ft. Στη συνέχεια, οι στίχοι ευθυγραμμίστηκαν αυτόματα με τα αντίστοιχα ηχητικά αποσπάσματα με χρήση CTC-based forced aligner. Η διαδικασία προεπεξεργασίας περιλάμβανε εξισορρόπηση έντασης, επαναδειγματοληψία στα 16 kHz, καθαρισμό ειδικών χαρακτήρων και μετατροπή της δομής Kaldi σε μορφή HF Dataset (με πεδία audio, transcription, translation), γεγονός που επιτρέπει την απευθείας αξιοποίησή τους στη βιβλιοθήκη Transformers. Η μεθοδολογία που ακολουθήθηκε οργανώθηκε σε τέσσερα κύρια στάδια. Στο πρώτο στάδιο πραγματοποιήθηκε zero-shot αξιολόγηση του Whisper-Medium χωρίς καμία προσαρμογή, ώστε να υπολογιστεί η βασική επίδοση του μοντέλου στην τραγουδιστική φωνή. Στο δεύτερο στάδιο το μοντέλο εκπαιδεύτηκε αποκλειστικά για μεταγραφή στα ελληνικά, με στόχο την προσαρμογή του στα φωνητικά χαρακτηριστικά του τραγουδιού. Στο τρίτο στάδιο εφαρμόστηκε πολυ-λειτουργική εκπαίδευση (multitask learning), συνδυάζοντας ταυτόχρονα μεταγραφή και μετάφραση με αναλογίες batches 1:1, 2:1 και 4:1, προκειμένου να διερευνηθεί αν η μετάφραση λειτουργεί ως μορφή κανονικοποίησης της εκπαίδευσης. Τέλος, στο τέταρτο στάδιο εξετάστηκε η κλιμάκωση των ίδιων ρυθμίσεων σε τρία μεγέθη μοντέλων (Small, Medium, Large), ώστε να διερευνηθεί η σχέση μεταξύ χωρητικότητας του μοντέλου και απόδοσης. Επιπρόσθετα, διερευνήθηκε ένα staged fine-tuning σχήμα, στο οποίο το μοντέλο προσαρμόζεται αρχικά σε δεδομένα ομιλίας (Greek Common Voice) και στη συνέχεια σε δεδομένα τραγουδιού, με στόχο τη σταδιακή μεταφορά γνώσης από το πεδίο της ομιλίας στο πεδίο του τραγουδιού. Η εκπαίδευση πραγματοποιήθηκε σε GPU περιβάλλοντα υψηλής υπολογιστικής ισχύος (Borges και Leonardo supercomputer) με χρήση του Seq2SeqTrainer της βιβλιοθήκης Transformers, batch size 4-8, μικτή ακρίβεια FP16 και optimizer AdamW (learning rate 5×10⁻⁵). Η αξιολόγηση της απόδοσης βασίστηκε στη μετρική normalized Word Error Rate (WER), η οποία εξουδετερώνει την επίδραση της στίξης και των μικρο-ορθογραφικών διαφορών. Πειραματικά, το zero-shot Whisper-Medium σημείωσε WER 92,1%, αναδεικνύοντας το έντονο χάσμα ανάμεσα στη φωνή ομιλίας και τραγουδιού. Μετά το fine-tuning, το Whisper-Large (transcribe-only) πέτυχε WER 30%, επιτυγχάνοντας περίπου 67% μείωση σφάλματος σε σχέση με το baseline. Η multitask εκπαίδευση αποδείχθηκε ωφέλιμη για μικρότερα μοντέλα λόγω της γλωσσικής κανονικοποίησης που προσφέρει, ωστόσο στα μεγαλύτερα μοντέλα η απλή εκπαίδευση μεταγραφής παρήγαγε πιο σταθερά και καθαρά αποτελέσματα. Η 2-stages εκπαίδευση δεν οδήγησε σε περαιτέρω βελτίωση, υποδηλώνοντας ότι το Whisper διαθέτει ήδη εγγενή πολυγλωσσική και ακουστική γενίκευση, καθώς και ότι το μικρό διαθέσιμο ελληνικό Common Voice σύνολο δεδομένων δεν επαρκούσε. Η ποιοτική ανάλυση των παραγόμενων μεταγραφών φανερώνει χαρακτηριστικά μοτίβα που σχετίζονται με τη φύση του τραγουδιού, όπως διόγκωση συμφωνικών συμπλεγμάτων σε δύσκολες φράσεις, σύγχυση φωνηέντων και ορθογραφικά λάθη, αποσιώπηση μικρών λειτουργικών λέξεων, και περιστασιακές «παραισθήσεις» στίχων όταν το ηχητικό σήμα είναι αμφίβολο. Παρότι τα μεγαλύτερα μοντέλα δεν εξαλείφουν πλήρως τα λάθη, μειώνουν αισθητά τη σοβαρότητά τους, οδηγώντας σε σημαντική βελτίωση του WER και πιο φυσικές μεταγραφές. Η παρούσα εργασία αποτελεί την πρώτη συστηματική μελέτη ALT για ελληνικά τραγούδια και αποδεικνύει ότι τα μοντέλα Whisper μπορούν να προσαρμοστούν αποτελεσματικά στην τραγουδιστική φωνή μέσω στοχευμένου fine-tuning, χωρίς ανάγκη εκπαίδευσης από το μηδέν. Η multitask μάθηση αποδεικνύεται χρήσιμη μόνο σε μικρότερα μοντέλα, ενώ η εκπαίδευση αποκλειστικά για μεταγραφή παραμένει η πιο αποδοτική στρατηγική για τα μεγαλύτερα μοντέλα. Μελλοντικά, προτείνεται η επέκταση του ελληνικού συνόλου δεδομένων με περισσότερα είδη μουσικής και μεγαλύτερη ποικιλία φωνών, η αξιοποίηση ημι-επιβλεπόμενων τεχνικών (semi-supervised, pseudo-labeling) για την αύξηση του όγκου των δεδομένων, και η διερεύνηση παραμετρικά αποδοτικών μεθόδων fine-tuning, όπως LoRA και adapters, ώστε να μειωθεί το υπολογιστικό κόστος. Ιδιαίτερα ενδιαφέρουσα κατεύθυνση συνιστά η ενσωμάτωση μεγάλων γλωσσικών μοντέλων (LLMs), όπως το Krikri, ή GPT, για τη μετα-επεξεργασία των μεταγραφών. Τέτοια μοντέλα μπορούν να χρησιμοποιηθούν για διόρθωση λαθών, ορθογραφική και γραμματική εξομάλυνση, καθώς και για αναδόμηση των στίχων με βάση τη ρυθμική και νοηματική τους συνοχή, επεκτείνοντας τη λειτουργικότητα του συστήματος πέρα από το επίπεδο της απλής αναγνώρισης.Τέλος, προτείνεται η ενσωμάτωση εκφραστικών χαρακτηριστικών όπως ύψος (pitch), ρυθμός και συναίσθημα, προκειμένου το σύστημα να συλλάβει πληρέστερα τη μουσική διάσταση της φωνής.","This thesis investigates adapting Whisper models to Automatic Lyrics Transcription (ALT) for Greek singing voice. The study pursues two main goals: (i) achieving robust transcription of Greek lyrics from polyphonic music, and (ii) examining whether multitask and staged fine-tuning strategies can improve generalization and domain adaptation to singing. The experiments are based on the Greek Audio Dataset (GAD), an existing corpus to which a processing pipeline tailored for ALT research is curated. Specifically, CTC-based forced alignment is performed to obtain time-aligned lyric segments, Greek lines are paired with their English translations, and the material is converted into segment-level Hugging Face datasets with consistent pre-/post-processing. This leads to an aligned, segment-level dataset with Greek audio slices and paired Greek and English transcriptions. Then a five-regime comparison is conducted: (i) zero-shot Whisper, (ii) transcription-only fine-tuning, (iii) multi-task fine-tuning with task-pure batch alternation, (iv) two-stages fine-tuning -firstly on CommonVoice Greek-speech dataset and then on the Greek songs-, and (v) model scaling (Small/Medium/Large). Zero-shot Whisper-Medium scores 92,1% WER in lyric transcription, highlighting the speech-to-singing gap. After adaptation, Whisper-Large (transcribe-only) attains 30% WER, a ~ 67% relative error reduction over the zero-shot baseline. For Whisper-Small, a 2:1 transcribe: translate mix (33,6%) marginally outperforms both transcription-only (36,7%) and 4:1 (34,9%), indicating that a moderate auxiliary translation signal regularizes low-capacity models. In contrast, medium and large models favor the transcribe-only regime, suggesting that higher-capacity models benefit from specialized singing adaptation. Error analysis reveals singing-specific phenomena, such as consonant-cluster inflation in rhythmically dense lines, vowel confusions induced by melisma, function-word deletions/insertions, and occasional lyric-prior hallucinations. Larger models reduce severity rather than type of errors, explaining the WER gains. The staged fine-tuning scheme produced no additional gains, implying that Whisper already exhibits strong multilingual and multi-acoustic generalization, and the possible insufficiency of the Common Voice dataset. This work constitutes the first systematic ALT study of Greek songs. Future work includes expanding the Greek dataset, incorporating expressive features and enabling Large Language Models (LLMs) like Llama-Krikri for post-processing of transcriptions."]},{"key":"dc:title","label":"Title","values":["Automatic Lyrics Transcription for Greek Songs"]}]}],"canonical_facts":{"dc:creator":["Φραγγιαδάκη Μαρία","Frangiadaki Maria"],"dc:date":["2025"],"dc:description":["Η παρούσα διπλωματική εργασία εστιάζει στην ανάπτυξη και προσαρμογή συστημάτων Αυτόματης Μεταγραφής Στίχων, για τη νεοελληνική τραγουδιστική φωνή, αξιοποιώντας τις δυνατότητες των πολυγλωσσικών μοντέλων Whisper. Ο στόχος της έρευνας είναι διττός. Αφενός η αξιόπιστη μεταγραφή ελληνικών στίχων από τραγούδια και η διερεύνηση διαφορετικών στρατηγικών εκπαίδευσης, όπως η multitask (μεταγραφή -μετάφραση) και staged εκπαίδευση, ως μέσο ενίσχυσης της γενίκευσης και προσαρμοστικότητας των μοντέλων στα τραγούδια. Η Αυτόματη Αναγνώριση Ομιλίας έχει σημειώσει εντυπωσιακή πρόοδο τα τελευταία χρόνια, χάρη στην εμφάνιση μεγάλων μοντέλων τύπου Transformer, όπως τα wav2vec 2.0, XLS-R και Whisper, τα οποία επιτρέπουν εκπαίδευση end-to-end χωρίς την ανάγκη χειροκίνητων χαρακτηριστικών. Ωστόσο, η τραγουδιστική φωνή παρουσιάζει ιδιαιτερότητες που δυσχεραίνουν την απευθείας εφαρμογή αυτών των συστημάτων. Οι μεγάλες φωνητικές διακυμάνσεις, οι παρατεταμένες διάρκειες φωνηέντων, η μελωδική αστάθεια, η συνοδεία μουσικής και η ελεύθερη προσωδία διαταράσσουν τις ακουστικές και στατιστικές υποθέσεις των μοντέλων που έχουν εκπαιδευτεί σε καθαρή ομιλία. Κατά συνέπεια, παρατηρείται σημαντική πτώση της ακρίβειας, γεγονός που καθιστά απαραίτητη την εξειδικευμένη προσαρμογή των μοντέλων στην τραγουδιστική φωνή. Ως βάση χρησιμοποιείται ένα segment-level σύνολο δεδομένων σε μορφή Hugging Face, το οποίο περιλαμβάνει ελληνικά ηχητικά αποσπάσματα και αντιστοιχισμένους ελληνικούς και αγγλικούς στίχους. Τα δεδομένα προέρχονται από πολυφωνικές ηχογραφήσεις ελληνικών τραγουδιών, οι οποίες απομονώθηκαν σε καθαρά φωνητικά κανάλια μέσω του μοντέλου source-separation Demucs_ft. Στη συνέχεια, οι στίχοι ευθυγραμμίστηκαν αυτόματα με τα αντίστοιχα ηχητικά αποσπάσματα με χρήση CTC-based forced aligner. Η διαδικασία προεπεξεργασίας περιλάμβανε εξισορρόπηση έντασης, επαναδειγματοληψία στα 16 kHz, καθαρισμό ειδικών χαρακτήρων και μετατροπή της δομής Kaldi σε μορφή HF Dataset (με πεδία audio, transcription, translation), γεγονός που επιτρέπει την απευθείας αξιοποίησή τους στη βιβλιοθήκη Transformers. Η μεθοδολογία που ακολουθήθηκε οργανώθηκε σε τέσσερα κύρια στάδια. Στο πρώτο στάδιο πραγματοποιήθηκε zero-shot αξιολόγηση του Whisper-Medium χωρίς καμία προσαρμογή, ώστε να υπολογιστεί η βασική επίδοση του μοντέλου στην τραγουδιστική φωνή. Στο δεύτερο στάδιο το μοντέλο εκπαιδεύτηκε αποκλειστικά για μεταγραφή στα ελληνικά, με στόχο την προσαρμογή του στα φωνητικά χαρακτηριστικά του τραγουδιού. Στο τρίτο στάδιο εφαρμόστηκε πολυ-λειτουργική εκπαίδευση (multitask learning), συνδυάζοντας ταυτόχρονα μεταγραφή και μετάφραση με αναλογίες batches 1:1, 2:1 και 4:1, προκειμένου να διερευνηθεί αν η μετάφραση λειτουργεί ως μορφή κανονικοποίησης της εκπαίδευσης. Τέλος, στο τέταρτο στάδιο εξετάστηκε η κλιμάκωση των ίδιων ρυθμίσεων σε τρία μεγέθη μοντέλων (Small, Medium, Large), ώστε να διερευνηθεί η σχέση μεταξύ χωρητικότητας του μοντέλου και απόδοσης. Επιπρόσθετα, διερευνήθηκε ένα staged fine-tuning σχήμα, στο οποίο το μοντέλο προσαρμόζεται αρχικά σε δεδομένα ομιλίας (Greek Common Voice) και στη συνέχεια σε δεδομένα τραγουδιού, με στόχο τη σταδιακή μεταφορά γνώσης από το πεδίο της ομιλίας στο πεδίο του τραγουδιού. Η εκπαίδευση πραγματοποιήθηκε σε GPU περιβάλλοντα υψηλής υπολογιστικής ισχύος (Borges και Leonardo supercomputer) με χρήση του Seq2SeqTrainer της βιβλιοθήκης Transformers, batch size 4-8, μικτή ακρίβεια FP16 και optimizer AdamW (learning rate 5×10⁻⁵). Η αξιολόγηση της απόδοσης βασίστηκε στη μετρική normalized Word Error Rate (WER), η οποία εξουδετερώνει την επίδραση της στίξης και των μικρο-ορθογραφικών διαφορών. Πειραματικά, το zero-shot Whisper-Medium σημείωσε WER 92,1%, αναδεικνύοντας το έντονο χάσμα ανάμεσα στη φωνή ομιλίας και τραγουδιού. Μετά το fine-tuning, το Whisper-Large (transcribe-only) πέτυχε WER 30%, επιτυγχάνοντας περίπου 67% μείωση σφάλματος σε σχέση με το baseline. Η multitask εκπαίδευση αποδείχθηκε ωφέλιμη για μικρότερα μοντέλα λόγω της γλωσσικής κανονικοποίησης που προσφέρει, ωστόσο στα μεγαλύτερα μοντέλα η απλή εκπαίδευση μεταγραφής παρήγαγε πιο σταθερά και καθαρά αποτελέσματα. Η 2-stages εκπαίδευση δεν οδήγησε σε περαιτέρω βελτίωση, υποδηλώνοντας ότι το Whisper διαθέτει ήδη εγγενή πολυγλωσσική και ακουστική γενίκευση, καθώς και ότι το μικρό διαθέσιμο ελληνικό Common Voice σύνολο δεδομένων δεν επαρκούσε. Η ποιοτική ανάλυση των παραγόμενων μεταγραφών φανερώνει χαρακτηριστικά μοτίβα που σχετίζονται με τη φύση του τραγουδιού, όπως διόγκωση συμφωνικών συμπλεγμάτων σε δύσκολες φράσεις, σύγχυση φωνηέντων και ορθογραφικά λάθη, αποσιώπηση μικρών λειτουργικών λέξεων, και περιστασιακές «παραισθήσεις» στίχων όταν το ηχητικό σήμα είναι αμφίβολο. Παρότι τα μεγαλύτερα μοντέλα δεν εξαλείφουν πλήρως τα λάθη, μειώνουν αισθητά τη σοβαρότητά τους, οδηγώντας σε σημαντική βελτίωση του WER και πιο φυσικές μεταγραφές. Η παρούσα εργασία αποτελεί την πρώτη συστηματική μελέτη ALT για ελληνικά τραγούδια και αποδεικνύει ότι τα μοντέλα Whisper μπορούν να προσαρμοστούν αποτελεσματικά στην τραγουδιστική φωνή μέσω στοχευμένου fine-tuning, χωρίς ανάγκη εκπαίδευσης από το μηδέν. Η multitask μάθηση αποδεικνύεται χρήσιμη μόνο σε μικρότερα μοντέλα, ενώ η εκπαίδευση αποκλειστικά για μεταγραφή παραμένει η πιο αποδοτική στρατηγική για τα μεγαλύτερα μοντέλα. Μελλοντικά, προτείνεται η επέκταση του ελληνικού συνόλου δεδομένων με περισσότερα είδη μουσικής και μεγαλύτερη ποικιλία φωνών, η αξιοποίηση ημι-επιβλεπόμενων τεχνικών (semi-supervised, pseudo-labeling) για την αύξηση του όγκου των δεδομένων, και η διερεύνηση παραμετρικά αποδοτικών μεθόδων fine-tuning, όπως LoRA και adapters, ώστε να μειωθεί το υπολογιστικό κόστος. Ιδιαίτερα ενδιαφέρουσα κατεύθυνση συνιστά η ενσωμάτωση μεγάλων γλωσσικών μοντέλων (LLMs), όπως το Krikri, ή GPT, για τη μετα-επεξεργασία των μεταγραφών. Τέτοια μοντέλα μπορούν να χρησιμοποιηθούν για διόρθωση λαθών, ορθογραφική και γραμματική εξομάλυνση, καθώς και για αναδόμηση των στίχων με βάση τη ρυθμική και νοηματική τους συνοχή, επεκτείνοντας τη λειτουργικότητα του συστήματος πέρα από το επίπεδο της απλής αναγνώρισης.Τέλος, προτείνεται η ενσωμάτωση εκφραστικών χαρακτηριστικών όπως ύψος (pitch), ρυθμός και συναίσθημα, προκειμένου το σύστημα να συλλάβει πληρέστερα τη μουσική διάσταση της φωνής.","This thesis investigates adapting Whisper models to Automatic Lyrics Transcription (ALT) for Greek singing voice. The study pursues two main goals: (i) achieving robust transcription of Greek lyrics from polyphonic music, and (ii) examining whether multitask and staged fine-tuning strategies can improve generalization and domain adaptation to singing. The experiments are based on the Greek Audio Dataset (GAD), an existing corpus to which a processing pipeline tailored for ALT research is curated. Specifically, CTC-based forced alignment is performed to obtain time-aligned lyric segments, Greek lines are paired with their English translations, and the material is converted into segment-level Hugging Face datasets with consistent pre-/post-processing. This leads to an aligned, segment-level dataset with Greek audio slices and paired Greek and English transcriptions. Then a five-regime comparison is conducted: (i) zero-shot Whisper, (ii) transcription-only fine-tuning, (iii) multi-task fine-tuning with task-pure batch alternation, (iv) two-stages fine-tuning -firstly on CommonVoice Greek-speech dataset and then on the Greek songs-, and (v) model scaling (Small/Medium/Large). Zero-shot Whisper-Medium scores 92,1% WER in lyric transcription, highlighting the speech-to-singing gap. After adaptation, Whisper-Large (transcribe-only) attains 30% WER, a ~ 67% relative error reduction over the zero-shot baseline. For Whisper-Small, a 2:1 transcribe: translate mix (33,6%) marginally outperforms both transcription-only (36,7%) and 4:1 (34,9%), indicating that a moderate auxiliary translation signal regularizes low-capacity models. In contrast, medium and large models favor the transcribe-only regime, suggesting that higher-capacity models benefit from specialized singing adaptation. Error analysis reveals singing-specific phenomena, such as consonant-cluster inflation in rhythmically dense lines, vowel confusions induced by melisma, function-word deletions/insertions, and occasional lyric-prior hallucinations. Larger models reduce severity rather than type of errors, explaining the WER gains. The staged fine-tuning scheme produced no additional gains, implying that Whisper already exhibits strong multilingual and multi-acoustic generalization, and the possible insufficiency of the Common Voice dataset. This work constitutes the first systematic ALT study of Greek songs. Future work includes expanding the Greek dataset, incorporating expressive features and enabling Large Language Models (LLMs) like Llama-Krikri for post-processing of transcriptions."],"dc:identifier":["uoadl:5310603","https://pergamos.lib.uoa.gr/uoa/dl/object/5310603"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Automatic Lyrics Transcription for Greek Songs"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:40:43Z"}