Back to search

National and Kapodistrian University of Athens

Mapping of skeleton keypoints to avatar motions in signing space

Abstract

dc:description

Η Νοηματική γλώσσα αποτελεί τον κύριο τρόπο επικοινωνίας για άτομα που είναι κωφά ή αντιμετωπίζουν προβλήματα στην ακοή. Η αναπαράσταση της Νοηματικής γλώσσας αποτελεί μια πολύπλοκη διαδικασία, η οποία εμπλέκει ανθρώπινες δραστηριότητες που απαιτούν πολύ χρόνο. Για να αντιμετωπίσουμε αυτήν την πρόκληση, προτείνουμε μια αυτοματοποιημένη μέθοδο που να αντιστοιχεί τις αρθρώσεις του σκελετού σε κινήσεις του Avatar στον χώρο νοηματισμού, χρησιμοποιώντας προηγμένες τεχνικές βαθιάς μάθησης. Αυτή η αντιστοίχιση επιτυγχάνεται με την ακριβή εξαγωγή συντεταγμένων 3Δ αρθρώσεων του σώματος από βίντεο, χρησιμοποιώντας τελευταίας τεχνολογίας αλγόριθμους για την εκτίμηση της ανθρώπινης πόζας. Στη μελέτη μας, εξετάζουμε συγκεκριμένες προσεγγίσεις που εντοπίζουν τα 2Δ σημεία του σκελετού από βίντεο και στην συνέχεια τα μετατρέπουν στο 3Δ χώρο, τις οποίες αξιολογούμε σε ένα μικρό συνθετικό σύνολο δεδομένων που περιλαμβάνει πέντε βίντεο με το avatar Paula. Η έρευνα μας επικεντρώνεται στις κινήσεις των χεριών, δίνοντας έμφαση στους ώμους, τους αγκώνες και τους καρπούς, αναγνωρίζοντας τη σημασία τους στην κατανόηση της νοηματικής γλώσσας. Λόγω της εκπαίδευσης των αξιολογημένων μεθόδων σε γενικά σύνολα δεδομένων και όχι σε συγκεκριμένα για τη νοηματική γλώσσα, κάναμε ορισμένες προσαρμογές προκειμένου να επιτύχουμε την αντιστοίχιση των σημείων του σκελετού. Επίσης, παρέχουμε μια ολοκληρωμένη ανάλυση των πλεονεκτημάτων και των αδυναμιών για κάθε μέθοδο και αναφέρουμε συγκεκριμένα μοτίβα της απόδοση τους που παρατηρήθηκαν σε κάθε άξονα. Σημαντικό είναι ότι η προσέγγιση που χρησιμοποιεί το μοντέλο BlazePose του Mediapipe για την εκτίμηση της 2Δ πόζας και το VideoPose3D για την 3Δ ανακατασκευή, υπερτερεί των υπολοίπων, επιτυγχάνοντας ένα μέσο σφάλμα αρθρώσεων (MPJPE) ίσο με 72.2 χιλιοστά.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Καραμανίδης Δημήτριος
  • Karamanidis Dimitrios

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:3396590

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Καραμανίδης Δημήτριος; Karamanidis Dimitrios. Mapping of skeleton keypoints to avatar motions in signing space. 2024. https://pergamos.lib.uoa.gr/uoa/dl/object/3396590