{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3405329"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3405329","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Investigating Neural Networks and Transformer Models for Enhanced Comic Decoding","abstract":"Τα κόμικς, που συνδυάζουν τέχνη με αφήγηση, συνεχίζουν να συναρπάζουν αναγνώστες, παραγωγούς κινηματογράφου και συλλέκτες, διατηρώντας τη γοητεία τους ως μια αγαπημένη μορφή οπτικής αφήγησης εδώ και δεκαετίες. Ο διαχωρισμός εικόνων στα κόμικς αποτελεί ένα κρίσιμο στοιχείο της ψηφιακής μεταμόρφωσης των κόμικς. Αξιοποιώντας ευριστικές μεθόδους, μοντέλα που βασίζονται σε νευρωνικά δίκτυα (YOLO) και καινοτόμες αρχιτεκτονικές transformer (GroundingDINO, SAM), η έρευνά μας στοχεύει στον αυτόνομο διαχωρισμό των σελίδων κόμικς στα βασικά τους συστατικά: καρέ, χαρακτήρες κόμικς και περιοχές κειμένου. Για το σκοπό αυτό, εκπαιδεύσαμε περαιτέρω τα μοντέλα YOLOv5 και YOLOv8 για να εντοπίσουν αυτά τα συστατικά, ενώ τα μοντέλα βασισμένα σε transformers χρησιμοποίησαν προτροπές για την ανάκτησή τους. Συγκρίνοντας την απόδοσή τους, με βάση καθιερωμένες μετρικές (Precision, Recall, Average Precision), σε τρία γνωστά σύνολα δεδομένων (eBDtheque, DCM772, Manga109) και χρησιμοποιώντας οπτικές επιθεωρήσεις, καταλήγουμε στο συμπέρασμα ότι τα προεκπαιδευμένα μοντέλα self-supervised transformers μπορούν να ξεπεράσουν επαρκώς τις σύγχρονες μεθόδους, που συχνά απαιτούν περαιτέρω προσαρμογή για να επιτύχουν συγκρίσιμα αποτελέσματα. Επιπλέον, το σύστημα αναγνώρισης χαρακτήρων έχει εξεταστεί χρησιμοποιώντας νευρωνικά δίκτυα και μη εποπτευόμενη μάθηση. Μετά από τη ποιοτική μελέτη, διαπιστώθηκε ότι αυτό το έργο δεν μπορεί να εφαρμοστεί καθολικά σε διάφορα κόμικς. Αντίθετα, θα πρέπει να επικεντρώνεται στους χαρακτήρες ενός μεμονωμένου κόμικ ή σε τόμους της ίδιας σειράς.","abstract_html":"Τα κόμικς, που συνδυάζουν τέχνη με αφήγηση, συνεχίζουν να συναρπάζουν αναγνώστες, παραγωγούς κινηματογράφου και συλλέκτες, διατηρώντας τη γοητεία τους ως μια αγαπημένη μορφή οπτικής αφήγησης εδώ και δεκαετίες. Ο διαχωρισμός εικόνων στα κόμικς αποτελεί ένα κρίσιμο στοιχείο της ψηφιακής μεταμόρφωσης των κόμικς. Αξιοποιώντας ευριστικές μεθόδους, μοντέλα που βασίζονται σε νευρωνικά δίκτυα (YOLO) και καινοτόμες αρχιτεκτονικές transformer (GroundingDINO, SAM), η έρευνά μας στοχεύει στον αυτόνομο διαχωρισμό των σελίδων κόμικς στα βασικά τους συστατικά: καρέ, χαρακτήρες κόμικς και περιοχές κειμένου. Για το σκοπό αυτό, εκπαιδεύσαμε περαιτέρω τα μοντέλα YOLOv5 και YOLOv8 για να εντοπίσουν αυτά τα συστατικά, ενώ τα μοντέλα βασισμένα σε transformers χρησιμοποίησαν προτροπές για την ανάκτησή τους. Συγκρίνοντας την απόδοσή τους, με βάση καθιερωμένες μετρικές (Precision, Recall, Average Precision), σε τρία γνωστά σύνολα δεδομένων (eBDtheque, DCM772, Manga109) και χρησιμοποιώντας οπτικές επιθεωρήσεις, καταλήγουμε στο συμπέρασμα ότι τα προεκπαιδευμένα μοντέλα self-supervised transformers μπορούν να ξεπεράσουν επαρκώς τις σύγχρονες μεθόδους, που συχνά απαιτούν περαιτέρω προσαρμογή για να επιτύχουν συγκρίσιμα αποτελέσματα. Επιπλέον, το σύστημα αναγνώρισης χαρακτήρων έχει εξεταστεί χρησιμοποιώντας νευρωνικά δίκτυα και μη εποπτευόμενη μάθηση. Μετά από τη ποιοτική μελέτη, διαπιστώθηκε ότι αυτό το έργο δεν μπορεί να εφαρμοστεί καθολικά σε διάφορα κόμικς. Αντίθετα, θα πρέπει να επικεντρώνεται στους χαρακτήρες ενός μεμονωμένου κόμικ ή σε τόμους της ίδιας σειράς.","abstract_has_math":false,"creators":["Κουλέτου Ελένη-Ιωάννα","Kouletou Eleni-Ioanna"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2024,"date_issued":"2024","date_published":"2024","updated_at":"2026-11-19T06:29:58Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3405329"],"render_values":[{"text":"uoadl:3405329","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3405329","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3405329","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3405329","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Κουλέτου Ελένη-Ιωάννα","Kouletou Eleni-Ioanna"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2024"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3405329","https://pergamos.lib.uoa.gr/uoa/dl/object/3405329"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα κόμικς, που συνδυάζουν τέχνη με αφήγηση, συνεχίζουν να συναρπάζουν αναγνώστες, παραγωγούς κινηματογράφου και συλλέκτες, διατηρώντας τη γοητεία τους ως μια αγαπημένη μορφή οπτικής αφήγησης εδώ και δεκαετίες. Ο διαχωρισμός εικόνων στα κόμικς αποτελεί ένα κρίσιμο στοιχείο της ψηφιακής μεταμόρφωσης των κόμικς. Αξιοποιώντας ευριστικές μεθόδους, μοντέλα που βασίζονται σε νευρωνικά δίκτυα (YOLO) και καινοτόμες αρχιτεκτονικές transformer (GroundingDINO, SAM), η έρευνά μας στοχεύει στον αυτόνομο διαχωρισμό των σελίδων κόμικς στα βασικά τους συστατικά: καρέ, χαρακτήρες κόμικς και περιοχές κειμένου. Για το σκοπό αυτό, εκπαιδεύσαμε περαιτέρω τα μοντέλα YOLOv5 και YOLOv8 για να εντοπίσουν αυτά τα συστατικά, ενώ τα μοντέλα βασισμένα σε transformers χρησιμοποίησαν προτροπές για την ανάκτησή τους. Συγκρίνοντας την απόδοσή τους, με βάση καθιερωμένες μετρικές (Precision, Recall, Average Precision), σε τρία γνωστά σύνολα δεδομένων (eBDtheque, DCM772, Manga109) και χρησιμοποιώντας οπτικές επιθεωρήσεις, καταλήγουμε στο συμπέρασμα ότι τα προεκπαιδευμένα μοντέλα self-supervised transformers μπορούν να ξεπεράσουν επαρκώς τις σύγχρονες μεθόδους, που συχνά απαιτούν περαιτέρω προσαρμογή για να επιτύχουν συγκρίσιμα αποτελέσματα. Επιπλέον, το σύστημα αναγνώρισης χαρακτήρων έχει εξεταστεί χρησιμοποιώντας νευρωνικά δίκτυα και μη εποπτευόμενη μάθηση. Μετά από τη ποιοτική μελέτη, διαπιστώθηκε ότι αυτό το έργο δεν μπορεί να εφαρμοστεί καθολικά σε διάφορα κόμικς. Αντίθετα, θα πρέπει να επικεντρώνεται στους χαρακτήρες ενός μεμονωμένου κόμικ ή σε τόμους της ίδιας σειράς.","Comic books, merging art with narrative, continue to captivate readers, cinema producers, and collectors, maintaining their allure as a cherished form of visual storytelling across decades. Comic image segmentation is a pivotal aspect of the digital transformation of comics. Leveraging heuristic approaches, neural network-based models (YOLO), and innovative transformer-based architectures (GroundingDINO, SAM), our research aims to autonomously segment comic pages into their fundamental components: panels, comic characters, and text areas. To this end, we further trained YOLOv5 and YOLOv8 models to identify these components, while transformer-based models employed prompts to retrieve them. By comparing their performance, in terms of established metrics (Precision, Recall, Average Precision), across three well-known datasets (eBDtheque, DCM772, Manga109) and using visual inspections, we conclude that pre-trained self-supervised transformer models can competently outperform state-of-the-art approaches, which often require further fine-tuning to achieve comparable results. Moreover, the character identification module has been examined using neural networks and unsupervised learning. Following the qualitative study, it was determined that this task is not universally applicable across various comic books. Instead, it should concentrate on the characters within a single comic book or volumes within the same series."]},{"key":"dc:title","label":"Title","values":["Investigating Neural Networks and Transformer Models for Enhanced Comic Decoding"]}]}],"canonical_facts":{"dc:creator":["Κουλέτου Ελένη-Ιωάννα","Kouletou Eleni-Ioanna"],"dc:date":["2024"],"dc:description":["Τα κόμικς, που συνδυάζουν τέχνη με αφήγηση, συνεχίζουν να συναρπάζουν αναγνώστες, παραγωγούς κινηματογράφου και συλλέκτες, διατηρώντας τη γοητεία τους ως μια αγαπημένη μορφή οπτικής αφήγησης εδώ και δεκαετίες. Ο διαχωρισμός εικόνων στα κόμικς αποτελεί ένα κρίσιμο στοιχείο της ψηφιακής μεταμόρφωσης των κόμικς. Αξιοποιώντας ευριστικές μεθόδους, μοντέλα που βασίζονται σε νευρωνικά δίκτυα (YOLO) και καινοτόμες αρχιτεκτονικές transformer (GroundingDINO, SAM), η έρευνά μας στοχεύει στον αυτόνομο διαχωρισμό των σελίδων κόμικς στα βασικά τους συστατικά: καρέ, χαρακτήρες κόμικς και περιοχές κειμένου. Για το σκοπό αυτό, εκπαιδεύσαμε περαιτέρω τα μοντέλα YOLOv5 και YOLOv8 για να εντοπίσουν αυτά τα συστατικά, ενώ τα μοντέλα βασισμένα σε transformers χρησιμοποίησαν προτροπές για την ανάκτησή τους. Συγκρίνοντας την απόδοσή τους, με βάση καθιερωμένες μετρικές (Precision, Recall, Average Precision), σε τρία γνωστά σύνολα δεδομένων (eBDtheque, DCM772, Manga109) και χρησιμοποιώντας οπτικές επιθεωρήσεις, καταλήγουμε στο συμπέρασμα ότι τα προεκπαιδευμένα μοντέλα self-supervised transformers μπορούν να ξεπεράσουν επαρκώς τις σύγχρονες μεθόδους, που συχνά απαιτούν περαιτέρω προσαρμογή για να επιτύχουν συγκρίσιμα αποτελέσματα. Επιπλέον, το σύστημα αναγνώρισης χαρακτήρων έχει εξεταστεί χρησιμοποιώντας νευρωνικά δίκτυα και μη εποπτευόμενη μάθηση. Μετά από τη ποιοτική μελέτη, διαπιστώθηκε ότι αυτό το έργο δεν μπορεί να εφαρμοστεί καθολικά σε διάφορα κόμικς. Αντίθετα, θα πρέπει να επικεντρώνεται στους χαρακτήρες ενός μεμονωμένου κόμικ ή σε τόμους της ίδιας σειράς.","Comic books, merging art with narrative, continue to captivate readers, cinema producers, and collectors, maintaining their allure as a cherished form of visual storytelling across decades. Comic image segmentation is a pivotal aspect of the digital transformation of comics. Leveraging heuristic approaches, neural network-based models (YOLO), and innovative transformer-based architectures (GroundingDINO, SAM), our research aims to autonomously segment comic pages into their fundamental components: panels, comic characters, and text areas. To this end, we further trained YOLOv5 and YOLOv8 models to identify these components, while transformer-based models employed prompts to retrieve them. By comparing their performance, in terms of established metrics (Precision, Recall, Average Precision), across three well-known datasets (eBDtheque, DCM772, Manga109) and using visual inspections, we conclude that pre-trained self-supervised transformer models can competently outperform state-of-the-art approaches, which often require further fine-tuning to achieve comparable results. Moreover, the character identification module has been examined using neural networks and unsupervised learning. Following the qualitative study, it was determined that this task is not universally applicable across various comic books. Instead, it should concentrate on the characters within a single comic book or volumes within the same series."],"dc:identifier":["uoadl:3405329","https://pergamos.lib.uoa.gr/uoa/dl/object/3405329"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Investigating Neural Networks and Transformer Models for Enhanced Comic Decoding"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:29:58Z"}