{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3367056"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3367056","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"A multimodal approach towards video domain generalization","abstract":"Στις μέρες μας, ένας παράγοντας κλειδί για την τεχνολογική ευημερία και ανάπτυξη της ανθρωπότητας είναι η τεχνητή νοημοσύνη. Εφαρμογές τεχνητής νοημοσύνης μπορούν να βρεθούν σε πολλούς τομείς της επιστήμης υπολογιστών, αλλά και της επιστήμης γενικότερα, όπως είναι η επεξεργασία φυσικής γλώσσας και οι υποκατηγορίες της, η υπολογιστική όραση, η διαχείριση εταιρικών δεδομένων και πολλοί άλλοι. Σε αυτή την εργασία, τραβώντας έμπνευση από τις πρόσφατες εξελίξεις στην υπολογιστική όραση, παρουσιάζουμε μία καινοτόμο μέθοδο για διενέργεια αναγνώρισης ανθρωπίνων δραστηριοτήτων με γενικεύσιμο τρόπο. Μέχρι τώρα για το σκοπό αυτό μπορούσαμε να ακολουθήσουμε δύο μονοπάτια. Το πρώτο ήταν να μαζέψουμε ένα αρκετά μεγάλο σύνολο δεδομένων που θα μπορούσε να καλύψει όλες τις πιθανές παραλλαγές μιας ανθρώπινης δραστηριότητας μέσα από πολλαπλές καταγραφές βίντεο. Το δεύτερο θα ήταν να αντιμετωπίσουμε τις διαφορές μεταξύ των χώρων χαρακτηριστικών των δεδομένων με υπολογιστικά ακριβές μεθόδους ευθυγράμμισης χώρων χαρακτηριστικών χωρίς επίβλεψη. Δείχνουμε με την έρευνα μας ότι μέσω έξυπνης διαχείρισης των διαθέσιμων δεδομένων που ανήκουν στο χώρο χαρακτηριστικών εκπαίδευσης και με ελάχιστη χρήση πληροφορίας από τον χώρο χαρακτηριστικών που αποτελεί τον στόχο ευθυγράμμισης, μπορούμε να παράγουμε εύρωστα μοντέλα μηχανικής μάθησης, ικανά να προβλέπουν την ανθρώπινη δραστηριότητα μέσα σε βίντεο. Για αυτό το σκοπό, παρουσιάζουμε ένα νέο τρι-καναλικό νευρωνικό δίκτυο βαθιάς μάθησης που συνδυάζει στοιχεία από δίκτυα μετασχηματιστών υπολογιστικής όρασης και από υπολειμματικά νευρωνικά δίκτυα, που μπορούν να εκπαιδευτούν με πολυτροπικά δεδομένα. Τέλος, Δοκιμάσαμε και αξιολογήσαμε τις μεθόδους μας με ένα απαιτητικό σύνολο δεδομένων από βίντεο γυρισμένα με οπτική πρώτου προσώπου για να αποδείξουμε την αποτελεσματικότητα τους, επιτυγχάνοντας αξιοσημείωτα αποτελέσματα συγκρίνοντας τη μέθοδο μας με τις πιο πρόσφατα δημοσιευμένες αποτελεσματικές εργασίες.","abstract_html":"Στις μέρες μας, ένας παράγοντας κλειδί για την τεχνολογική ευημερία και ανάπτυξη της ανθρωπότητας είναι η τεχνητή νοημοσύνη. Εφαρμογές τεχνητής νοημοσύνης μπορούν να βρεθούν σε πολλούς τομείς της επιστήμης υπολογιστών, αλλά και της επιστήμης γενικότερα, όπως είναι η επεξεργασία φυσικής γλώσσας και οι υποκατηγορίες της, η υπολογιστική όραση, η διαχείριση εταιρικών δεδομένων και πολλοί άλλοι. Σε αυτή την εργασία, τραβώντας έμπνευση από τις πρόσφατες εξελίξεις στην υπολογιστική όραση, παρουσιάζουμε μία καινοτόμο μέθοδο για διενέργεια αναγνώρισης ανθρωπίνων δραστηριοτήτων με γενικεύσιμο τρόπο. Μέχρι τώρα για το σκοπό αυτό μπορούσαμε να ακολουθήσουμε δύο μονοπάτια. Το πρώτο ήταν να μαζέψουμε ένα αρκετά μεγάλο σύνολο δεδομένων που θα μπορούσε να καλύψει όλες τις πιθανές παραλλαγές μιας ανθρώπινης δραστηριότητας μέσα από πολλαπλές καταγραφές βίντεο. Το δεύτερο θα ήταν να αντιμετωπίσουμε τις διαφορές μεταξύ των χώρων χαρακτηριστικών των δεδομένων με υπολογιστικά ακριβές μεθόδους ευθυγράμμισης χώρων χαρακτηριστικών χωρίς επίβλεψη. Δείχνουμε με την έρευνα μας ότι μέσω έξυπνης διαχείρισης των διαθέσιμων δεδομένων που ανήκουν στο χώρο χαρακτηριστικών εκπαίδευσης και με ελάχιστη χρήση πληροφορίας από τον χώρο χαρακτηριστικών που αποτελεί τον στόχο ευθυγράμμισης, μπορούμε να παράγουμε εύρωστα μοντέλα μηχανικής μάθησης, ικανά να προβλέπουν την ανθρώπινη δραστηριότητα μέσα σε βίντεο. Για αυτό το σκοπό, παρουσιάζουμε ένα νέο τρι-καναλικό νευρωνικό δίκτυο βαθιάς μάθησης που συνδυάζει στοιχεία από δίκτυα μετασχηματιστών υπολογιστικής όρασης και από υπολειμματικά νευρωνικά δίκτυα, που μπορούν να εκπαιδευτούν με πολυτροπικά δεδομένα. Τέλος, Δοκιμάσαμε και αξιολογήσαμε τις μεθόδους μας με ένα απαιτητικό σύνολο δεδομένων από βίντεο γυρισμένα με οπτική πρώτου προσώπου για να αποδείξουμε την αποτελεσματικότητα τους, επιτυγχάνοντας αξιοσημείωτα αποτελέσματα συγκρίνοντας τη μέθοδο μας με τις πιο πρόσφατα δημοσιευμένες αποτελεσματικές εργασίες.","abstract_has_math":false,"creators":["Παπαδάκης Αντώνιος","Papadakis Antonios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2023,"date_issued":"2023","date_published":"2023","updated_at":"2026-11-19T06:27:01Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3367056"],"render_values":[{"text":"uoadl:3367056","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3367056","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3367056","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3367056","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Παπαδάκης Αντώνιος","Papadakis Antonios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2023"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3367056","https://pergamos.lib.uoa.gr/uoa/dl/object/3367056"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Στις μέρες μας, ένας παράγοντας κλειδί για την τεχνολογική ευημερία και ανάπτυξη της ανθρωπότητας είναι η τεχνητή νοημοσύνη. Εφαρμογές τεχνητής νοημοσύνης μπορούν να βρεθούν σε πολλούς τομείς της επιστήμης υπολογιστών, αλλά και της επιστήμης γενικότερα, όπως είναι η επεξεργασία φυσικής γλώσσας και οι υποκατηγορίες της, η υπολογιστική όραση, η διαχείριση εταιρικών δεδομένων και πολλοί άλλοι. Σε αυτή την εργασία, τραβώντας έμπνευση από τις πρόσφατες εξελίξεις στην υπολογιστική όραση, παρουσιάζουμε μία καινοτόμο μέθοδο για διενέργεια αναγνώρισης ανθρωπίνων δραστηριοτήτων με γενικεύσιμο τρόπο. Μέχρι τώρα για το σκοπό αυτό μπορούσαμε να ακολουθήσουμε δύο μονοπάτια. Το πρώτο ήταν να μαζέψουμε ένα αρκετά μεγάλο σύνολο δεδομένων που θα μπορούσε να καλύψει όλες τις πιθανές παραλλαγές μιας ανθρώπινης δραστηριότητας μέσα από πολλαπλές καταγραφές βίντεο. Το δεύτερο θα ήταν να αντιμετωπίσουμε τις διαφορές μεταξύ των χώρων χαρακτηριστικών των δεδομένων με υπολογιστικά ακριβές μεθόδους ευθυγράμμισης χώρων χαρακτηριστικών χωρίς επίβλεψη. Δείχνουμε με την έρευνα μας ότι μέσω έξυπνης διαχείρισης των διαθέσιμων δεδομένων που ανήκουν στο χώρο χαρακτηριστικών εκπαίδευσης και με ελάχιστη χρήση πληροφορίας από τον χώρο χαρακτηριστικών που αποτελεί τον στόχο ευθυγράμμισης, μπορούμε να παράγουμε εύρωστα μοντέλα μηχανικής μάθησης, ικανά να προβλέπουν την ανθρώπινη δραστηριότητα μέσα σε βίντεο. Για αυτό το σκοπό, παρουσιάζουμε ένα νέο τρι-καναλικό νευρωνικό δίκτυο βαθιάς μάθησης που συνδυάζει στοιχεία από δίκτυα μετασχηματιστών υπολογιστικής όρασης και από υπολειμματικά νευρωνικά δίκτυα, που μπορούν να εκπαιδευτούν με πολυτροπικά δεδομένα. Τέλος, Δοκιμάσαμε και αξιολογήσαμε τις μεθόδους μας με ένα απαιτητικό σύνολο δεδομένων από βίντεο γυρισμένα με οπτική πρώτου προσώπου για να αποδείξουμε την αποτελεσματικότητα τους, επιτυγχάνοντας αξιοσημείωτα αποτελέσματα συγκρίνοντας τη μέθοδο μας με τις πιο πρόσφατα δημοσιευμένες αποτελεσματικές εργασίες.","Today, a key factor in humanity’s technological prosperity lies with the developments in Artificial Intelligence (AI). AI applications can be found in several fields of computer science and science in general, such as Natural Language Processing (NLP) and its subfields, computer vision, business intelligence and many more. In this work, inspired by recent developments in computer vision, we introduce a novel method for performing domain generalized human action recognition. Up until now we could go up either one of two roads. The first would be to accumulate a large enough sum of data to cover all possible variants of a single action through multiple recordings. The second one would be to handle discrepancies between domains with a variety of costly and mostly unsupervised domain adaptation methods. We show with our research that through clever manipulation of available source domain data and with minor involvement from the target domain, we can produce robust models able to adequately predict human activity in video sequences. To this end, we introduce a new 3-channel deep neural network architecture combining elements of vision transformers and residual neural networks, able to be trained with data of various modalities. We evaluated our methods with a challenging first-person video dataset to prove their effectiveness, achieving notable results against state-of-the art methods."]},{"key":"dc:title","label":"Title","values":["A multimodal approach towards video domain generalization"]}]}],"canonical_facts":{"dc:creator":["Παπαδάκης Αντώνιος","Papadakis Antonios"],"dc:date":["2023"],"dc:description":["Στις μέρες μας, ένας παράγοντας κλειδί για την τεχνολογική ευημερία και ανάπτυξη της ανθρωπότητας είναι η τεχνητή νοημοσύνη. Εφαρμογές τεχνητής νοημοσύνης μπορούν να βρεθούν σε πολλούς τομείς της επιστήμης υπολογιστών, αλλά και της επιστήμης γενικότερα, όπως είναι η επεξεργασία φυσικής γλώσσας και οι υποκατηγορίες της, η υπολογιστική όραση, η διαχείριση εταιρικών δεδομένων και πολλοί άλλοι. Σε αυτή την εργασία, τραβώντας έμπνευση από τις πρόσφατες εξελίξεις στην υπολογιστική όραση, παρουσιάζουμε μία καινοτόμο μέθοδο για διενέργεια αναγνώρισης ανθρωπίνων δραστηριοτήτων με γενικεύσιμο τρόπο. Μέχρι τώρα για το σκοπό αυτό μπορούσαμε να ακολουθήσουμε δύο μονοπάτια. Το πρώτο ήταν να μαζέψουμε ένα αρκετά μεγάλο σύνολο δεδομένων που θα μπορούσε να καλύψει όλες τις πιθανές παραλλαγές μιας ανθρώπινης δραστηριότητας μέσα από πολλαπλές καταγραφές βίντεο. Το δεύτερο θα ήταν να αντιμετωπίσουμε τις διαφορές μεταξύ των χώρων χαρακτηριστικών των δεδομένων με υπολογιστικά ακριβές μεθόδους ευθυγράμμισης χώρων χαρακτηριστικών χωρίς επίβλεψη. Δείχνουμε με την έρευνα μας ότι μέσω έξυπνης διαχείρισης των διαθέσιμων δεδομένων που ανήκουν στο χώρο χαρακτηριστικών εκπαίδευσης και με ελάχιστη χρήση πληροφορίας από τον χώρο χαρακτηριστικών που αποτελεί τον στόχο ευθυγράμμισης, μπορούμε να παράγουμε εύρωστα μοντέλα μηχανικής μάθησης, ικανά να προβλέπουν την ανθρώπινη δραστηριότητα μέσα σε βίντεο. Για αυτό το σκοπό, παρουσιάζουμε ένα νέο τρι-καναλικό νευρωνικό δίκτυο βαθιάς μάθησης που συνδυάζει στοιχεία από δίκτυα μετασχηματιστών υπολογιστικής όρασης και από υπολειμματικά νευρωνικά δίκτυα, που μπορούν να εκπαιδευτούν με πολυτροπικά δεδομένα. Τέλος, Δοκιμάσαμε και αξιολογήσαμε τις μεθόδους μας με ένα απαιτητικό σύνολο δεδομένων από βίντεο γυρισμένα με οπτική πρώτου προσώπου για να αποδείξουμε την αποτελεσματικότητα τους, επιτυγχάνοντας αξιοσημείωτα αποτελέσματα συγκρίνοντας τη μέθοδο μας με τις πιο πρόσφατα δημοσιευμένες αποτελεσματικές εργασίες.","Today, a key factor in humanity’s technological prosperity lies with the developments in Artificial Intelligence (AI). AI applications can be found in several fields of computer science and science in general, such as Natural Language Processing (NLP) and its subfields, computer vision, business intelligence and many more. In this work, inspired by recent developments in computer vision, we introduce a novel method for performing domain generalized human action recognition. Up until now we could go up either one of two roads. The first would be to accumulate a large enough sum of data to cover all possible variants of a single action through multiple recordings. The second one would be to handle discrepancies between domains with a variety of costly and mostly unsupervised domain adaptation methods. We show with our research that through clever manipulation of available source domain data and with minor involvement from the target domain, we can produce robust models able to adequately predict human activity in video sequences. To this end, we introduce a new 3-channel deep neural network architecture combining elements of vision transformers and residual neural networks, able to be trained with data of various modalities. We evaluated our methods with a challenging first-person video dataset to prove their effectiveness, achieving notable results against state-of-the art methods."],"dc:identifier":["uoadl:3367056","https://pergamos.lib.uoa.gr/uoa/dl/object/3367056"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["A multimodal approach towards video domain generalization"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:27:01Z"}