{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3396590"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3396590","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Mapping of skeleton keypoints to avatar motions in signing space","abstract":"Η Νοηματική γλώσσα αποτελεί τον κύριο τρόπο επικοινωνίας για άτομα που είναι κωφά ή αντιμετωπίζουν προβλήματα στην ακοή. Η αναπαράσταση της Νοηματικής γλώσσας αποτελεί μια πολύπλοκη διαδικασία, η οποία εμπλέκει ανθρώπινες δραστηριότητες που απαιτούν πολύ χρόνο. Για να αντιμετωπίσουμε αυτήν την πρόκληση, προτείνουμε μια αυτοματοποιημένη μέθοδο που να αντιστοιχεί τις αρθρώσεις του σκελετού σε κινήσεις του Avatar στον χώρο νοηματισμού, χρησιμοποιώντας προηγμένες τεχνικές βαθιάς μάθησης. Αυτή η αντιστοίχιση επιτυγχάνεται με την ακριβή εξαγωγή συντεταγμένων 3Δ αρθρώσεων του σώματος από βίντεο, χρησιμοποιώντας τελευταίας τεχνολογίας αλγόριθμους για την εκτίμηση της ανθρώπινης πόζας. Στη μελέτη μας, εξετάζουμε συγκεκριμένες προσεγγίσεις που εντοπίζουν τα 2Δ σημεία του σκελετού από βίντεο και στην συνέχεια τα μετατρέπουν στο 3Δ χώρο, τις οποίες αξιολογούμε σε ένα μικρό συνθετικό σύνολο δεδομένων που περιλαμβάνει πέντε βίντεο με το avatar Paula. Η έρευνα μας επικεντρώνεται στις κινήσεις των χεριών, δίνοντας έμφαση στους ώμους, τους αγκώνες και τους καρπούς, αναγνωρίζοντας τη σημασία τους στην κατανόηση της νοηματικής γλώσσας. Λόγω της εκπαίδευσης των αξιολογημένων μεθόδων σε γενικά σύνολα δεδομένων και όχι σε συγκεκριμένα για τη νοηματική γλώσσα, κάναμε ορισμένες προσαρμογές προκειμένου να επιτύχουμε την αντιστοίχιση των σημείων του σκελετού. Επίσης, παρέχουμε μια ολοκληρωμένη ανάλυση των πλεονεκτημάτων και των αδυναμιών για κάθε μέθοδο και αναφέρουμε συγκεκριμένα μοτίβα της απόδοση τους που παρατηρήθηκαν σε κάθε άξονα. Σημαντικό είναι ότι η προσέγγιση που χρησιμοποιεί το μοντέλο BlazePose του Mediapipe για την εκτίμηση της 2Δ πόζας και το VideoPose3D για την 3Δ ανακατασκευή, υπερτερεί των υπολοίπων, επιτυγχάνοντας ένα μέσο σφάλμα αρθρώσεων (MPJPE) ίσο με 72.2 χιλιοστά.","abstract_html":"Η Νοηματική γλώσσα αποτελεί τον κύριο τρόπο επικοινωνίας για άτομα που είναι κωφά ή αντιμετωπίζουν προβλήματα στην ακοή. Η αναπαράσταση της Νοηματικής γλώσσας αποτελεί μια πολύπλοκη διαδικασία, η οποία εμπλέκει ανθρώπινες δραστηριότητες που απαιτούν πολύ χρόνο. Για να αντιμετωπίσουμε αυτήν την πρόκληση, προτείνουμε μια αυτοματοποιημένη μέθοδο που να αντιστοιχεί τις αρθρώσεις του σκελετού σε κινήσεις του Avatar στον χώρο νοηματισμού, χρησιμοποιώντας προηγμένες τεχνικές βαθιάς μάθησης. Αυτή η αντιστοίχιση επιτυγχάνεται με την ακριβή εξαγωγή συντεταγμένων 3Δ αρθρώσεων του σώματος από βίντεο, χρησιμοποιώντας τελευταίας τεχνολογίας αλγόριθμους για την εκτίμηση της ανθρώπινης πόζας. Στη μελέτη μας, εξετάζουμε συγκεκριμένες προσεγγίσεις που εντοπίζουν τα 2Δ σημεία του σκελετού από βίντεο και στην συνέχεια τα μετατρέπουν στο 3Δ χώρο, τις οποίες αξιολογούμε σε ένα μικρό συνθετικό σύνολο δεδομένων που περιλαμβάνει πέντε βίντεο με το avatar Paula. Η έρευνα μας επικεντρώνεται στις κινήσεις των χεριών, δίνοντας έμφαση στους ώμους, τους αγκώνες και τους καρπούς, αναγνωρίζοντας τη σημασία τους στην κατανόηση της νοηματικής γλώσσας. Λόγω της εκπαίδευσης των αξιολογημένων μεθόδων σε γενικά σύνολα δεδομένων και όχι σε συγκεκριμένα για τη νοηματική γλώσσα, κάναμε ορισμένες προσαρμογές προκειμένου να επιτύχουμε την αντιστοίχιση των σημείων του σκελετού. Επίσης, παρέχουμε μια ολοκληρωμένη ανάλυση των πλεονεκτημάτων και των αδυναμιών για κάθε μέθοδο και αναφέρουμε συγκεκριμένα μοτίβα της απόδοση τους που παρατηρήθηκαν σε κάθε άξονα. Σημαντικό είναι ότι η προσέγγιση που χρησιμοποιεί το μοντέλο BlazePose του Mediapipe για την εκτίμηση της 2Δ πόζας και το VideoPose3D για την 3Δ ανακατασκευή, υπερτερεί των υπολοίπων, επιτυγχάνοντας ένα μέσο σφάλμα αρθρώσεων (MPJPE) ίσο με 72.2 χιλιοστά.","abstract_has_math":false,"creators":["Καραμανίδης Δημήτριος","Karamanidis Dimitrios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2024,"date_issued":"2024","date_published":"2024","updated_at":"2026-11-19T06:29:15Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3396590"],"render_values":[{"text":"uoadl:3396590","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3396590","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3396590","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3396590","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Καραμανίδης Δημήτριος","Karamanidis Dimitrios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2024"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3396590","https://pergamos.lib.uoa.gr/uoa/dl/object/3396590"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η Νοηματική γλώσσα αποτελεί τον κύριο τρόπο επικοινωνίας για άτομα που είναι κωφά ή αντιμετωπίζουν προβλήματα στην ακοή. Η αναπαράσταση της Νοηματικής γλώσσας αποτελεί μια πολύπλοκη διαδικασία, η οποία εμπλέκει ανθρώπινες δραστηριότητες που απαιτούν πολύ χρόνο. Για να αντιμετωπίσουμε αυτήν την πρόκληση, προτείνουμε μια αυτοματοποιημένη μέθοδο που να αντιστοιχεί τις αρθρώσεις του σκελετού σε κινήσεις του Avatar στον χώρο νοηματισμού, χρησιμοποιώντας προηγμένες τεχνικές βαθιάς μάθησης. Αυτή η αντιστοίχιση επιτυγχάνεται με την ακριβή εξαγωγή συντεταγμένων 3Δ αρθρώσεων του σώματος από βίντεο, χρησιμοποιώντας τελευταίας τεχνολογίας αλγόριθμους για την εκτίμηση της ανθρώπινης πόζας. Στη μελέτη μας, εξετάζουμε συγκεκριμένες προσεγγίσεις που εντοπίζουν τα 2Δ σημεία του σκελετού από βίντεο και στην συνέχεια τα μετατρέπουν στο 3Δ χώρο, τις οποίες αξιολογούμε σε ένα μικρό συνθετικό σύνολο δεδομένων που περιλαμβάνει πέντε βίντεο με το avatar Paula. Η έρευνα μας επικεντρώνεται στις κινήσεις των χεριών, δίνοντας έμφαση στους ώμους, τους αγκώνες και τους καρπούς, αναγνωρίζοντας τη σημασία τους στην κατανόηση της νοηματικής γλώσσας. Λόγω της εκπαίδευσης των αξιολογημένων μεθόδων σε γενικά σύνολα δεδομένων και όχι σε συγκεκριμένα για τη νοηματική γλώσσα, κάναμε ορισμένες προσαρμογές προκειμένου να επιτύχουμε την αντιστοίχιση των σημείων του σκελετού. Επίσης, παρέχουμε μια ολοκληρωμένη ανάλυση των πλεονεκτημάτων και των αδυναμιών για κάθε μέθοδο και αναφέρουμε συγκεκριμένα μοτίβα της απόδοση τους που παρατηρήθηκαν σε κάθε άξονα. Σημαντικό είναι ότι η προσέγγιση που χρησιμοποιεί το μοντέλο BlazePose του Mediapipe για την εκτίμηση της 2Δ πόζας και το VideoPose3D για την 3Δ ανακατασκευή, υπερτερεί των υπολοίπων, επιτυγχάνοντας ένα μέσο σφάλμα αρθρώσεων (MPJPE) ίσο με 72.2 χιλιοστά.","Sign Language constitutes the primary means of communication for the deaf and hard- of-hearing individuals. Sign Language Representation is a complex task, which involves human labor-intensive processes. To address this challenge, we propose an automated method that maps skeleton keypoints to avatar motions by leveraging advanced deep learning approaches. This mapping can be achieved by extracting accurate 3d body joints coordinates from monocular videos using state-of-the-art human pose estimation algorithms. In our study, we investigate certain approaches which detect the 2D body joints in videos and subsequently convert them into 3D space, evaluated on a small synthetic dataset of five videos, featuring the Paula avatar. Our work focuses on arm motions, emphasizing on keypoints related to shoulders, elbows, and wrists, acknowledging the significance of their movements in sign language understanding. Due to the training of evaluated methods on generic dataset rather than those specific to sign language, we had to make certain adjustments to ensure the accordance of skeleton keypoints. We provide a comprehensive analysis of the benefits and drawbacks of each method and report special patterns of performance on different axes. Notably, the approach, which uses the BlazePose of Mediapipe as the 2D detector and the VideoPose3D for 3D reconstruction, outperforms its competitors, achieving an average Mean Per Joint Position Error (MPJPE) of 72.2 mm."]},{"key":"dc:title","label":"Title","values":["Mapping of skeleton keypoints to avatar motions in signing space"]}]}],"canonical_facts":{"dc:creator":["Καραμανίδης Δημήτριος","Karamanidis Dimitrios"],"dc:date":["2024"],"dc:description":["Η Νοηματική γλώσσα αποτελεί τον κύριο τρόπο επικοινωνίας για άτομα που είναι κωφά ή αντιμετωπίζουν προβλήματα στην ακοή. Η αναπαράσταση της Νοηματικής γλώσσας αποτελεί μια πολύπλοκη διαδικασία, η οποία εμπλέκει ανθρώπινες δραστηριότητες που απαιτούν πολύ χρόνο. Για να αντιμετωπίσουμε αυτήν την πρόκληση, προτείνουμε μια αυτοματοποιημένη μέθοδο που να αντιστοιχεί τις αρθρώσεις του σκελετού σε κινήσεις του Avatar στον χώρο νοηματισμού, χρησιμοποιώντας προηγμένες τεχνικές βαθιάς μάθησης. Αυτή η αντιστοίχιση επιτυγχάνεται με την ακριβή εξαγωγή συντεταγμένων 3Δ αρθρώσεων του σώματος από βίντεο, χρησιμοποιώντας τελευταίας τεχνολογίας αλγόριθμους για την εκτίμηση της ανθρώπινης πόζας. Στη μελέτη μας, εξετάζουμε συγκεκριμένες προσεγγίσεις που εντοπίζουν τα 2Δ σημεία του σκελετού από βίντεο και στην συνέχεια τα μετατρέπουν στο 3Δ χώρο, τις οποίες αξιολογούμε σε ένα μικρό συνθετικό σύνολο δεδομένων που περιλαμβάνει πέντε βίντεο με το avatar Paula. Η έρευνα μας επικεντρώνεται στις κινήσεις των χεριών, δίνοντας έμφαση στους ώμους, τους αγκώνες και τους καρπούς, αναγνωρίζοντας τη σημασία τους στην κατανόηση της νοηματικής γλώσσας. Λόγω της εκπαίδευσης των αξιολογημένων μεθόδων σε γενικά σύνολα δεδομένων και όχι σε συγκεκριμένα για τη νοηματική γλώσσα, κάναμε ορισμένες προσαρμογές προκειμένου να επιτύχουμε την αντιστοίχιση των σημείων του σκελετού. Επίσης, παρέχουμε μια ολοκληρωμένη ανάλυση των πλεονεκτημάτων και των αδυναμιών για κάθε μέθοδο και αναφέρουμε συγκεκριμένα μοτίβα της απόδοση τους που παρατηρήθηκαν σε κάθε άξονα. Σημαντικό είναι ότι η προσέγγιση που χρησιμοποιεί το μοντέλο BlazePose του Mediapipe για την εκτίμηση της 2Δ πόζας και το VideoPose3D για την 3Δ ανακατασκευή, υπερτερεί των υπολοίπων, επιτυγχάνοντας ένα μέσο σφάλμα αρθρώσεων (MPJPE) ίσο με 72.2 χιλιοστά.","Sign Language constitutes the primary means of communication for the deaf and hard- of-hearing individuals. Sign Language Representation is a complex task, which involves human labor-intensive processes. To address this challenge, we propose an automated method that maps skeleton keypoints to avatar motions by leveraging advanced deep learning approaches. This mapping can be achieved by extracting accurate 3d body joints coordinates from monocular videos using state-of-the-art human pose estimation algorithms. In our study, we investigate certain approaches which detect the 2D body joints in videos and subsequently convert them into 3D space, evaluated on a small synthetic dataset of five videos, featuring the Paula avatar. Our work focuses on arm motions, emphasizing on keypoints related to shoulders, elbows, and wrists, acknowledging the significance of their movements in sign language understanding. Due to the training of evaluated methods on generic dataset rather than those specific to sign language, we had to make certain adjustments to ensure the accordance of skeleton keypoints. We provide a comprehensive analysis of the benefits and drawbacks of each method and report special patterns of performance on different axes. Notably, the approach, which uses the BlazePose of Mediapipe as the 2D detector and the VideoPose3D for 3D reconstruction, outperforms its competitors, achieving an average Mean Per Joint Position Error (MPJPE) of 72.2 mm."],"dc:identifier":["uoadl:3396590","https://pergamos.lib.uoa.gr/uoa/dl/object/3396590"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Mapping of skeleton keypoints to avatar motions in signing space"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:29:15Z"}