Η παρούσα διπλωματική εργασία πραγματεύεται την ανάπτυξη μιας εφαρμογής επεξεργασίας και δημιουργίας 3D ανθρωποειδών για χρήση σε Δικτυακά Εικονικά Περιβάλλοντα. Η εφαρμογή επιτρέπει την μοντελοποιηση και σύνθεση ενός 3D ανθρωποειδούς χρησιμοποιώντας έναν αριθμό απο έτοιμα αντικείμενα. Η ανάπτυξη της εφαρμογής έγινε με γλώσσα Java στην πλατφόρμα Eclipse, ενώ οι 3D τεχνολογίες που υποστηρίζει είναι οι VRML / X3D και H-Anim. / The main objective of this work is the development of a Java-based application for the creation and editing of 3d Humanoid Avatars intended to be used specifically for Networked Virtual Environments. The application supports the modelling and synthesis of a 3D avatar using already existing primitives. The tool was developed using the Eclipse platform, and the supported 3D technologies are VRML / X3D and the H-Anim standard.

Η διπλωματική εργασία αυτή εκπονήθηκε στο Εργαστήριο της Ερευνητικής Ομάδας Αλληλεπίδρασης Ανθρώπου – Υπολογιστή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών υπό την επίβλεψη του καθ. Ν.Αβούρη. Στόχος της εργασίας είναι η σχεδίαση και ανάπτυξη μίας φορητής εφαρμογής – χωροευαίσθητου παιχνιδιού, με τη χρήση τεχνολογιών επαυξημένης πραγματικότητας. Ο χρήστης της εφαρμογής θα μπορεί να περιηγείται στον χώρο που ορίζει το παιχνίδι και να αλληλεπιδρά με πραγματικά αντικείμενα του χώρου αυτού, με σκοπό τη μάθηση και την ψυχαγωγία. Ο χώρος στον οποίο αναφέρεται η διπλωματική εργασία, είναι η πλατεία Γεωργίου Α’ στην Πάτρα. / This thesis was conducted at the Laboratory of Human Interaction Research Group - Computer Department of Electrical and Computer Engineering under the supervision of Prof. N.Avouris . The goal of this project is the design and development of a pervasive, location-based game, using augmented reality technologies . The user can navigate through the gamespace and interact with real-world objects, in order to learn and enjoy . The selected area, to which the thesis refers, is George the 1st Square, in Patras .

Τα τελευταία χρόνια η αναμφισβήτητα εντυπωσιακή τεχνολογική πρόοδος έχει δώσει τεράστια ώθηση σε ένα ευρύ φάσμα επιστημονικών πεδίων τα οποία βασίζονται σε αυτή, με χαρακτηριστικό παράδειγμα τον τομέα των Τηλεπικοινωνιών. Απόλυτα λογικό αποτέλεσμα είναι η παγκόσμια αγορά να έχει κατακλυστεί από δισεκατομμύρια κινητές συσκευές, η χρήση των οποίων διευκολύνει απίστευτα και την ανάπτυξη της έρευνας στους αντίστοιχους κλάδους. Μία από τις χαρακτηριστικές τεχνολογίες που εκμεταλλευόμενη πλήρως αυτή τη αλματώδη πρόοδο έχει επιφέρει εντυπωσιακά αποτελέσματα είναι η Επαυξημένη Πραγματικότητα. Βασίζεται στην γεφύρωση του χάσματος μεταξύ της εικονικότητας και της πραγματικότητας με ένα μοναδικό τρόπο ενίσχυσης της αντίληψής μας ως προς την τελευταία και με εφαρμογές από το Στρατό και τη Διαφήμιση ως τα ερευνητικά πεδία της Αναγνώρισης Εικόνας και της Εκπαίδευσης. Αυτή της όμως η σημαντικότατη ανάπτυξη γεννά αναπόφευκτα πέρα από την παραγωγή γνώσης και βασικά ερωτήματα που απασχολούν την ερευνητική κοινότητα, ορισμένα εκ των οποίων είναι αν μπορεί η χρήση τεχνικών Επαυξημένης Πραγματικότητας μέσω της αναγνώρισης εικόνας, πέρα από την εξέλιξη του ευρύτερου κλάδου της Υπολογιστικής Όρασης, να συμβάλλει στη βελτίωση μαθησιακών εμπειριών και αν ναι κατά πόσο είναι εφικτή η αντιμετώπιση θεμελιωδών εκπαιδευτικών προβλημάτων, όπως η διάσπαση προσοχής και η έλλειψη διαδραστικότητας. Στα πλαίσια της παρούσας εργασίας προσπαθώντας να δώσουμε ουσιαστικές απαντήσεις στα παραπάνω ερωτήματα δημιουργήσαμε τη διαδραστική εφαρμογή «AugMentor», ειδικά σχεδιασμένη για τις ανάγκες της ξενάγησης των επισκεπτών του Μουσείου Επιστημών του Πανεπιστημίου Πατρών. Έχοντας ενσωματώσει ένα ολοκληρωμένο περιβάλλον Επαυξημένης Πραγματικότητας εντός της εφαρμογής αναπτύξαμε ένα παιχνίδι κρυμμένου θησαυρού κατά το οποίο οι επισκέπτες του μουσείου δέχονται ένα συγκεκριμένο αριθμό ερωτήσεων οι οποίες βασίζονται στα μουσειακά εκθέματα και αμέσως μετά καλούνται να περιηγηθούν οι ίδιοι στους εσωτερικούς χώρους του. Με βάση την επιτυχή αναγνώριση του κάθε εκθέματος και την προσωποποιημένη απεικόνιση των εκάστοτε απεικονιζόμενων πληροφοριών προσπαθούν να δώσουν απαντήσεις στα ερωτήματα αυτά. Η εφαρμογή AugMentor υλοποιήθηκε για κινητές συσκευές που υποστηρίζουν το λειτουργικό σύστημα Android και πλέον αποτελεί μέρος της μόνιμης ξενάγησης του Μουσείου Επιστημών και Τεχνολογίας. Παρουσιάζουμε μια περιγραφική και αναλυτική μελέτη περίπτωσης χρήσης της εφαρμογής, υλοποιώντας πειραματικά στο Μουσείο Επιστημών μια κανονική ξενάγηση. Χρησιμοποιώντας την εφαρμογή AugMentor οδηγούμαστε σε ασφαλή συμπεράσματα ως προς την επίτευξη του κύριου στόχου υλοποίησής της, ο οποίος είναι το κατά πόσο οι επισκέπτες του μουσείου στην προσπάθειά τους να απαντήσουν τις ερωτήσεις που τους ανατέθηκαν θα μπορούσαν να μάθουν και επιπρόσθετες πληροφορίες για τα εκθέματα, βελτιώνοντας τη μάθηση μέσω της χρήσης κινητών συσκευών. Το πείραμα που πραγματοποιήσαμε χωρίστηκε σε δύο μέρη, το πρώτο βασίζεται στα πρότυπα μιας κανονικής ξενάγησης των επισκεπτών, χωρίς τη χρήση κάποιας εφαρμογής και το δεύτερο στην ξενάγηση μέσω της εφαρμογής AugMentor. Στους επισκέπτες δόθηκαν αντίστοιχα ερωτηματολόγια και στις δύο περιπτώσεις και στη συνέχεια αξιολογήθηκε συγκριτικά η συμβολή της εφαρμογής AugMentor στη συνολική εμπλούτιση της μουσειακής εμπειρίας ενός επισκέπτη. / Over the last few years the indisputably outstanding technological advances have given a huge boost to a wide range of scientific areas of study that are based on it. A typical example can definitely be considered the one associated with Telecommunications. An utterly rational outcome constitutes the fact that global market is overwhelmed by billions of mobile devices, the use of which facilitates to a large extent the whole research development towards those fields. An iconic technology that fully exploiting this rapid progress has brought about impressive results is Augmented Reality. Augmented Reality is based on bridging the gap between virtuality and reality in a unique way to enhance our perception as to the latter and its applications vary from Army and Advertisement to the research fields of Image Recognition and Education. It is exactly the impressive growth of Augmented Reality which inevitably generates essential questions that research community has to deal with. Some of these questions are whether the use of Augmented Reality techniques, through Image Recognition, apart from the wider development of Computer Vision, can help improving learning experiences and if so to which extent it is possible to address fundamental educational problems, such as distractibility and lack of interactivity. In this master thesis, trying to give substantial answers to these questions we have created the interactive application «AugMentor», specially designed for the tour needs of Museum of Science and Technology, located in University of Patras. Having incorporated an integrated Augmented Reality environment inside this application, we developed a treasure hunt game in which visitors receive a certain number of questions closely related to museum’s exhibits and afterwards they have to wander within its interiors. Based on the successful recognition of each exhibit and personalized display of each respective information, visitors attempt to answer these questions. AugMentor is implemented for mobile devices that support the Android operating system and is now part of permanent museum guidance. Our main objective is improving Mobile Learning, which is learning through the use of mobile devices. We present a sufficient case study, selecting Museum of Science and Technology as an experimental space so as to determine the degree to which AugMentor application can practically contribute to this purpose. One of our key points towards this perspective was estimating the amount of totally imparted knowledge, since involving students with a significant pool of knowledge provides them with a motivation to have an active role during their guidance. The experiment we conducted was divided into two parts, the first one was based on the standards of a normal tour of visitors without using any application and the second one was based on a tour using AugMentor application. Guests are respectively given questionnaires in both cases and then we assessed AugMentor’s relative contribution to the overall implementation regarding enriching the museum experience of a visitor.

Στη παρούσα εργασία, δημιουργήθηκε ένα εκπαιδευτικό περιβάλλον εικονικής πραγματικότητας για προσομοίωση σεισμού σε σχολική τάξη. Πρόκειται για ένα ασφαλές περιβάλλον, εφικτού κόστους, που προσομοιώνει αρκετά καλά το φυσικό. Παρουσιάζεται ο τρόπος κατασκευής των αντικειμένων της τάξης με τη χρήση λογισμικού μοντελοποίησης και η δημιουργία διαφόρων συμβάντων που λαμβάνουν χώρα κατά τη διάρκεια του σεισμού, με τη χρήση λογισμικού εικονικής πραγματικότητας. Η εφαρμογή δίνει τη δυνατότητα στο μαθητή να αποκτήσει ψυχολογική εξοικείωση και να ενισχύσει την αντιληπτικότητά του σχετικά με το φαινόμενο, να βελτιώσει την απόδοσή του αποκομίζοντας καινούργιες εμπειρίες και ταυτόχρονα να εφαρμόζει όσα έχει μάθει για τους τρόπους αντίδρασης σε περίπτωση σεισμού σε συνθήκες πραγματικού γεγονότος. / An educational environment of virtual reality was designed in order to simulate an earthquake occurring while students are present in a classroom. Such a virtual environment has many advantages: it is secure for students, not costly and very similar to the real life one that is to the actual classroom in the sense that students are free to interact within its confines. The present dissertation attempts to present the ways through which school elements can be produced using a modelling tool. Additionally, we have created a variety of incidents taking place while the earthquake is occurring using a virtual reality software. Summing up, this application offers students the opportunity to psychologically familiarize themselves with the phenomenon of an earthquake while at the same time reinforces their awareness of it. It offers students the possibility to acquire new experiences and improve their performance in crisis management (e.g. earthquake), and it simultaneously sets while an example-environment to apply their theoretical knowledge in real life situations.

Στη βιομηχανία, το σημερινό παγκόσμιο επιχειρησιακό περιβάλλον, χαρακτηρίζεται από πρωτοφανή ανταγωνισμό και απαιτητικούς πελάτες, οι οποίοι επιζητούν καινοτόμες και ταχείες λύσεις. Η κατανόηση και η βελτιστοποίηση των διαδικασιών σχεδιασμού θεωρείται ακρογωνιαίος λίθος επιτυχίας σε ένα τόσο γρήγορα εξελισσόμενο περιβάλλον. Η ελαχιστοποίηση του χρόνου εισαγωγής ενός προϊόντος στην αγορά και η διατήρηση της ποιότητας του, σε υψηλά επίπεδα, έχουν γίνει οι κύριοι παράγοντες της επιτυχίας του. Για αυτό το λόγο, κρίθηκε επιτακτική η ανάγκη ύπαρξης ενός συνεργατικού διαδικτυακού εργαλείου για το σχεδιασμό των εκάστοτε προϊόντων. Στη παρούσα εργασία, σχεδιάστηκε και υλοποιήθηκε μια Διαδικτυακή Πλατφόρμα Συνεργασίας (ΔΠΣ), η οποία παρέχει τη δυνατότητα συνεργασίας μεταξύ πολλών απομακρυσμένων χρηστών, σε πραγματικό χρόνο, πάνω στο σχεδιασμό και την αξιολόγηση ενός προϊόντος. Σκοπός της εργασίας ήταν να δημιουργηθεί μια αποδοτική, αξιόπιστη και εύκολη στο χειρισμό της Διαδικτυακή Πλατφόρμα, για την εποπτεία, αξιολόγηση και επικύρωση του σχεδιασμού ενός προϊόντος, σε όλες τις φάσεις της ανάπτυξης του. Λειτουργίες, όπως η διαχείριση χρηστών, έργων, ρόλων και αρχείων, αναπτύχθηκαν και ενσωματώθηκαν σε μια ολοκληρωμένη πλατφόρμα, που επιτρέπει στους χρήστες να εργάζονται κατά τρόπο συνεργατικό και κατανεμημένο, μειώνοντας έτσι αρκετά το χρόνο που απαιτείται για την ολοκλήρωση της φάσης σχεδιασμού των προϊόντων. Στην εργασία αυτή, παρουσιάστηκαν και εκτιμήθηκαν οι δυνατότητες που παρέχει η συνδυασμένη χρήση της Java, των σχεσιακών συστημάτων βάσεων δεδομένων, σε ένα περιβάλλον τριών επιπέδων (3-tier), για την υλοποίηση ολοκληρωμένων πληροφοριακών συστημάτων. Η τεχνολογία που χρησιμοποιήθηκε για την κατασκευή του συστήματος είναι η Java σαν γλώσσα προγραμματισμού, η οποία επιτρέπει στο σύστημα να εγκαθίσταται σε πολλά διαφορετικά περιβάλλοντα, η Oracle για την αποθήκευση των δεδομένων, η JSP για την ανάπτυξη δυναμικών ιστοσελίδων, ο Tomcat ως web server καθώς και η XML για την επικοινωνία και την ανταλλαγή δεδομένων στα υπάρχοντα συστήματα. Οι μέθοδοι και οι προσεγγίσεις που χρησιμοποιήθηκαν είναι γενικές και έτσι υπάρχει η δυνατότητα να εφαρμοστούν σε πολλούς και διαφορετικούς μεταξύ τους οργανισμούς. / In industry, the current world operational environment, is characterized by unprecedented competition and demanding customers, who seek innovative and rapid solutions. The comprehension and optimization of the design processes are considered the corner stone of success in such a rapidly evolving environment. Minimizing the time that a product enters into the market and the maintenance of its quality at high levels, have become the main factors of its success. For this reason, there was an imperative need for the existence of a collaborative web tool for the designing of each product. In the present work, a Collaborative Web Platform (CWP), which enables the collaboration among several users, in real time, on the design and the evaluation of a product or production procedure, has been designed and implemented for remote users. The aim of this work was that an efficient, reliable and easy to use system for collaborative design be created, for the monitoring, evaluation and ratification of designing, in all of the stages of a product’s development. Operations of web collaboration, as is the management of users, roles, tasks and files, were developed and they were incorporated into an integrated platform that allowed the users to work in a collaborative and distributed way, thus decreasing considerably the time, required for the completion of the design stage. In this work, the possibilities provided by the combined use of Java and the relational data bases systems, in a three-level environment for the implementation of integrated informative systems, have been evaluated. The technologies used for the implementation of the system was Java, as a programming language, which allows for the system to be installed in a lot of different environments, Oracle for the storage of data, the JSP for the development of dynamic web pages, the Apache Tomcat, as a web server, as well as the XML language for the communication and the exchange of data in the existing systems. The methods and approaches used are general and thus, there exists the possibility that they be applied to several organizations that are different from each other.

Ο αξιόπιστος και αποτελεσματικός ανθρωποκεντρικός σχεδιασμός προϊόντων και διαδικασιών παραγωγής αποτελεί μείζον ζήτημα της κατασκευαστική βιομηχανίας. Για το λόγο αυτό, πλήθος ελέγχων που αφορούν στη λειτουργικότητα, την ασφάλεια και την άνεση, τόσο των προϊόντων που χρησιμοποιούνται από τον άνθρωπο, όσο και των διαδικασιών παραγωγής που συμμετέχει ο ανθρώπινος παράγοντας, πραγματοποιούνται και αξιολογούνται σε περιβάλλον Η/Υ με τη χρήση λογισμικών προσομοίωσης και εικονικής πραγματικότητας. Η ρεαλιστική και αξιόπιστη αναπαράσταση της ανθρώπινης κίνησης μέσα σε εικονικό περιβάλλον, αποτελεί στις μέρες μας επιτακτική ανάγκη. Στο πλαίσιο αυτό, η παρούσα διατριβή επικεντρώνεται στο σχεδιασμό και την ανάπτυξη μιας νέας μεθοδολογίας μοντελοποίησης της ανθρώπινης κίνησης, που βασίζεται στην προσαρμογή μιας υπάρχουσας κίνησης σε νέα ανθρωπομετρικά δεδομένα και περιορισμούς του περιβάλλοντος εργασίας (εικονικού πρωτοτύπου ή σταθμού εργασίας). Η προτεινόμενη προσέγγιση αποσκοπεί στη δημιουργία ρεαλιστικών και αξιόπιστων κινήσεων ψηφιακών ανθρωποειδών με στόχο την προσομοίωσή τους σε εικονικό περιβάλλον, ώστε να εξαχθούν αξιόπιστα αποτελέσματα κατά την εργονομική αξιολόγηση του σχεδιασμού προϊόντων και σταθμών εργασίας σε γραμμή παραγωγής. Αρχικά, γίνεται εισαγωγή τόσο στη σπουδαιότητα, όσο και στα προβλήματα του εργονομικού σχεδιασμού με χρήση ψηφιακών ανθρωποειδών, που αποτέλεσαν και το κύριο έναυσμα της παρούσας έρευνας. Παρουσιάζονται τα αποτελέσματα της βιβλιογραφικής ανασκόπησης, που αφορούν σε μεθόδους μοντελοποίησης της ανθρώπινης κίνησης με χρήση τεχνολογίας ψηφιακών ανθρωποειδών, καθώς και σε λογισμικά προσομοίωσης ανθρώπινης συμπεριφοράς και εργονομικού σχεδιασμού. Στη συνέχεια, παρατίθεται μια εκτεταμένη ανάλυση που έχει ως στόχο τη βαθύτερη κατανόηση της ανθρώπινης κίνησης. Η ανάλυση αυτή βασίζεται στη θεωρία του Στατιστικού Σχεδιασμού Πειραμάτων και χρησιμοποιεί πειραματικά δεδομένα καταγραφής ανθρώπινων κινήσεων. Η Ανάλυση της Διακύμανσης χρησιμοποιήθηκε για τον καθορισμό των ανθρωπομετρικών χαρακτηριστικών που επηρεάζουν περισσότερο την ανθρώπινη κίνηση, καθώς και για την ποσοτικοποίηση της επιρροής τους στη διαφοροποίηση της κίνησης. Βάσει των αποτελεσμάτων της Ανάλυσης της Διακύμανσης, γίνεται ανάπτυξη ημι-εμπειρικών, προσθετικών μοντέλων κίνησης, τα οποία συσχετίζουν την επίδραση των ανθρωπομετρικών χαρακτηριστικών με τις τροχιές των αισθητήρων που τοποθετούνται πάνω στο ανθρώπινο σώμα για την καταγραφή της κίνησης. Ακολουθεί η στοιχειοθέτηση της προτεινόμενης μεθοδολογίας μοντελοποίησης. Δεδομένου ότι η ανθρώπινη κίνηση αναλύεται σε ένα σύνολο διαδοχικών στιγμιοτύπων, η μεθοδολογία μοντελοποίησης αποσκοπεί στη δημιουργία στάσεων σώματος ψηφιακού ανθρωποειδούς για κάθε στιγμιότυπο του επιθυμητού σεναρίου κίνησης. Ως σενάριο κίνησης ορίζεται κάθε δυνατός συνδυασμός “εργασίας – ψηφιακού ανθρωποειδούς – περιβάλλοντος εργασίας”. Για τη δημιουργία ενός στιγμιότυπου της νέας κίνησης, ο αλγόριθμος της μεθοδολογίας παράγει τυχαίες εναλλακτικές στάσεις σώματος, διασφαλίζοντας ταυτόχρονα την αποφυγή τόσο των μη-ρεαλιστικών στάσεων, όσο και των στάσεων που δεν ικανοποιούν τους περιορισμούς του νέου σεναρίου κίνησης. Η βασική ιδέα της μεθοδολογίας μοντελοποίησης στηρίζεται στη θεωρία λήψης αποφάσεων πολλαπλών κριτηρίων, η οποία χρησιμοποιείται για την αξιολόγηση των εναλλακτικών και την τελική επιλογή των βέλτιστων στάσεων σώματος, για τη σύνθεση της νέας κίνησης. Τα κριτήρια αφορούν αφενός στην εξασφάλιση της ρεαλιστικότητας της κίνησης και αφετέρου στην ικανοποίηση των νέων χωρικών περιορισμών, που προκύπτουν από τις γεωμετρικές τροποποιήσεις του περιβάλλοντος εργασίας. Έπεται η περιγραφή των βοηθητικών και δομικών στοιχείων του συστήματος υλοποίησης, καθώς και ο αναλυτικός σχεδιασμός του. Το σύστημα που αναπτύχθηκε αποτελείται από τα ακόλουθα δομικά στοιχεία: i)τη βάση δεδομένων, στην οποία αποθηκεύονται οι κινήσεις αναφοράς, τα ψηφιακά ανθρωποειδή, τα περιβάλλοντα εργασίας και τα αρχεία περιγραφής εργασιών, ii)το μηχανισμό που παράγει τις εναλλακτικές στάσεις σώματος λαμβάνοντας υπ’ όψη τους νέους περιορισμούς, iii)τα κριτήρια αξιολόγησης των εναλλακτικών κινήσεων, που αφορούν στην ομοιότητα των γωνιών των αρθρώσεων του σώματος και στην ομοιότητα της θέσης του άκρου εργασίας, iv)τον πίνακα αποφάσεων, ο οποίος υπολογίζει το δείκτη αξιολόγησης για κάθε εναλλακτική, βάσει των κριτηρίων αξιολόγησης, v)το μηχανισμό συνολικής αξιολόγησης των εναλλακτικών, ο οποίος υπολογίζει τον τελικό δείκτη αξιολόγησης, βάσει των δεικτών αξιολόγησης του πίνακα αποφάσεων και των βαρών των κριτηρίων, vi)το μηχανισμό κατάταξης των εναλλακτικών στάσεων, ο οποίος κατατάσσει τις εναλλακτικές, βάσει του τελικού δείκτη αξιολόγησης, και επιλέγει τη βέλτιστη στάση σώματος για κάθε στιγμιότυπο κίνησης. Το σύστημα που αναπτύχθηκε παρέχει τη δυνατότητα δημιουργίας προσαρμοσμένων κινήσεων ψηφιακών ανθρωποειδών που ικανοποιούν τις νέες συνθήκες και περιορισμούς. Οι νέες συνθήκες και περιορισμοί προέρχονται από την τροποποίηση των ανθρωπομετρικών διαστάσεων του ψηφιακού ανθρωποειδούς που εκτελεί την κίνηση, ή/και από την τροποποίηση της γεωμετρίας του περιβάλλοντος εργασίας, όπου εκτελείται η κίνηση. Η αξιολόγηση της αξιοπιστίας της προτεινόμενης μεθοδολογίας μοντελοποίησης παρουσιάζεται μέσα από μια σειρά πειραμάτων εκτέλεσης της πιλοτικής εφαρμογής από το χώρο της αυτοκινητοβιομηχανίας. Η πιλοτική εφαρμογή αποσκοπεί στην εργονομική αξιολόγηση του σχεδιασμού του εσωτερικού ενός επιβατηγού αυτοκινήτου, επικεντρώνοντας στην επιλογή της βέλτιστης θέσης του καθίσματος του οδηγού και της εσωτερικής λαβής της πόρτας. Τα αποτελέσματα της αξιολόγησης καταδεικνύει τις δυνατότητες πρόβλεψης του αλγορίθμου όταν τροποποιούνται, τόσο τα ανθρωπομετρικά, όσο και οι διαστάσεις του περιβάλλοντος εργασίας. Ο αλγόριθμος δημιουργεί ρεαλιστικές και αξιόπιστες ανθρώπινες κινήσεις οι οποίες μπορούν να συντελέσουν στη βελτίωση του εργονομικού σχεδιασμού προϊόντων και διαδικασιών παραγωγής. / The efficient and reliable human-centred design of products and processes is a major goal of the manufacturing industry. Thus, numerous aspects related to performance, safety and ergonomics, need to be verified using Simulation and Virtual Reality techniques, in the context of the product development procedure. The realistic and accurate representation of human motion in Virtual Environment is crucial for the reliability of the simulation results. In this context, this dissertation focuses on the design and development of a novel methodology for human motion modelling, based on the adaptation of a given motion of a digital human model to new anthropometrics and environment’s constraints (related to virtual prototype or workspace). The proposed approach aims at the generation of realistic and reliable digital human motions in order to drive computer manikins into a Virtual Environment, so as to obtain reliable evaluation results during ergonomic design of a product or a production line’s workspace. The introductory chapter presents both the importance and the limitations of the ergonomic design using computer manikins, which consisted the major motivation of this research work. State-of-the-art is presented next, concerning other approaches related to human motion modeling using computer manikins, as well as software tools for digital human modeling and ergonomic design. Next chapter presents an extensive analysis, which focuses on the better understanding of the human motion. This analysis is based on a Statistical Design Of Experiments (SDoE) and makes use of experimental motion captured data. Analysis of Variance (ANOVA) was performed for the determination of the impact factor of the anthropometric parameters influencing the human motion path. Semi-empirical additive models was developed next, based on the results of this analysis, which connects the effect of anthropometrics with the trajectories of the markers that are attached on the human body during the motion capture procedure. The composing of the proposed motion modelling methodology is following. Given that human motion is analysed by a set of sequential motion frames, the modelling methodology aims at the generation of digital human’s postures for each frame of the desirable motion scenario. Motion scenario is each possible combination of “task – computer manikin – environment”. For the creation of a new motion’s frame, the algorithm of the methodology generates alternative postures, ensuring the rejection of non-realistic and constraint-violating postures. The basic concept of the modelling methodology is based on the multi-criteria decision making, which is used for the alternatives’ evaluation and the selection of the best-ranked human postures that constitute the new human motion. The criteria concern both the extensionality of the new motion and the satisfaction of the new constraints, related to the geometric modifications of the working environment. The description of the primary and secondary components of the implemented system, as well as their detailed design are presented next. The developed system consists of the following primary components: i)the data base, which includes reference motions, computer manikins, virtual environments and tasks , ii)the alternative generation mechanism, which takes into account the new constraints, iii)the evaluation criteria of alternatives, which are related to joint angles’ and end-effector’s similarity, iv)the decision matrix, which calculates the evaluation score of each alternative posture, based on the criteria, v)the aggregation mechanism, which calculates the utility score of each alternative, based on the evaluation scores and the weights of the criteria, vi)the ranking mechanism, which sorts the alternatives based on the utility score and selects the best-ranked alternative for each motion frame. The developed system enables the creation of adapted motions for digital humans that satisfies the new conditions and constraints. The new conditions and constraints come from the modification of the anthropometrics of the digital human model that realize the motion and/or the modification of the shape/geometry of the working environment. The evaluation of the proposed methodology’s efficiency is illustrated through a set of experiments through the pilot application coming from the automotive industry. The pilot application aims at the ergonomic evaluation of the interior design of a passenger car, focusing mainly on the position optimization for the driver’s seat and the door’s handle. The evaluation demonstrates the prediction capabilities of the algorithm, when both anthropometrics and environment parameters are modified. The algorithm generates accurate and realistic human motions that can be efficiently used in order to improve the computer-aided ergonomic design of manufacturing products and processes.

Στην παρούσα διπλωματική εργασία, εκτιμώνται τα πλεονεκτήματα που παρέχουν οι βοηθητικές τεχνολογίες, όπως είναι τα εικονικά περιβάλλοντα, για προγράμματα σπουδών σε μαθητές με ελαφρά νοητική καθυστέρηση. Επίσης, μελετώνται οι αντιληπτικές και χωρικές ικανότητες παιδιών με νοητική καθυστέρηση συγκριτικά με αυτές των παιδιών τυπικής ανάπτυξης, χρησιμοποιώντας μία εφαρμογή εικονικής πραγματικότητας. Για την διερεύνηση των παραπάνω, πραγματοποιήθηκε μία ερευνητική διαδικασία αποτελούμενη από δύο φάσεις. Η πρώτη φάση συνίσταται σε μία πιλοτική εφαρμογή του προγράμματος εικονικής πραγματικότητας, όπου ζητήθηκε από μία ομάδα 10 ατόμων, ηλικίας 16-23 ετών, να το αξιολογήσουν ώστε να επιτραπεί η χρήση του στην επόμενη φάση. Η δεύτερη φάση περιέχει την κυρίως έρευνα, όπου συμμετέχουν δύο ομάδες παιδιών, η μία εκ των οποίων αποτελείται από παιδιά με νοητική καθυστέρηση, ενώ η άλλη από παιδιά τυπικής ανάπτυξης. Τα υποκείμενα των δύο ομάδων εξερεύνησαν το εικονικό περιβάλλον και εν συνεχεία αξιολογήθηκαν σε κάποια έργα χωρικής μνήμης και χωρικής αντίληψης. Τέλος, αξιολογήθηκε ο προσανατολισμός, η λεπτή κινητικότητα και κάποια άλλα χαρακτηριστικά της συμπεριφοράς των υποκειμένων. Βάσει των δεδομένων που προέκυψαν από την ερευνητική διαδικασία, εξήχθησαν συμπεράσματα για τα παραπάνω, τα οποία παρουσιάζουν τα παιδιά με νοητική καθυστέρηση να μειονεκτούν έναντι των παιδιών τυπικής ανάπτυξης. / The following research paper, which serves as a part of the Departments requirements leading to a Bachelor’s Degree, unfolds its goal and objectives into phases. The goal of this endeavor is to present the advantages that assistive technologies, such as Virtual Environments, offer to students with mental retardation. In addition, the conceptual and spatial abilities of mentally retarded children are examined, comparatively with the abilities of nonretarded children using an application of virtual reality. In order to investigate the above, a two-phase research had taken place. In the first phase, that is a pilot test, a group of ten subjects, 16-23 years old, evaluated this application in order to be possible to use the application in the next phase. The second phase involves the basic research, where two groups of children, one of mentally retarded children and one of nonretarded children, took part. The subjects of these two groups explored the virtual environment and afterwards they completed tests of spatial memory and spatial cognition. In the end, the orientation, the “delicate mobility” (the ability to handle small objects) and some other characteristics of the children’s behavior were assessed. On the basis of the data that emerged from the research procedure, there were extracted conclusions that indicate that mentally retarded children are deficient against nonretarded children.

Σκοπός της εργασίας είναι η μελέτη της ανάπτυξης περιβάλλοντος εικονικής και επαυξημένης πραγματικότητας για την υποστήριξη ανθρωποκεντρικών διεργασιών στον τομέα της παραγωγής. Οι τεχνολογίες εικονικής και επαυξημένης πραγματικότητας μπορούν να μειώσουν σημαντικά το χρόνο και το κόστος ανάπτυξης προϊόντων και διεργασιών στην παραγωγή. Αυτή τη στιγμή υπάρχει ένα μεγάλο χάσμα μεταξύ των συμβατικών CAD-βασιζόμενων μεθόδων και των μεθόδων προηγμένης προτυποποίησης και επικύρωσης που προσφέρει η χρήση της εικονικής και επαυξημένης πραγματικότητας. Συνεπώς, υπάρχει ανάγκη εμπλουτισμού των εικονικών περιβαλλόντων με νοημοσύνη, μέσω ενσωμάτωσης της γνώσης, επιτρέποντας την πραγματοποίηση πολύπλοκων εργασιών, μειώνοντας την ανάγκη για ανάπτυξη φυσικών πρωτοτύπων και αυξάνοντας τη δυνατότητα επαναχρησιμοποίησης. Αφενός, περιβάλλοντα επαυξημένης πραγματικότητας που βασίζονται σε σημασιολογική γνώση καθώς και νέες μέθοδοι αλληλεπίδρασης με τον χρήστη μπορούν να παρέχουν τα μέσα για την επανατοποθέτηση του ανθρώπου στην παραγωγική διαδικασία. Αφετέρου, περιβάλλοντα εικονικής πραγματικότητας σε συνδυασμό με τη σημασιολογική γνώση μπορούν να παρέχουν μεθόδους και εργαλεία που ενσωματώνουν τις 3D γεωμετρίες με τις πληροφορίες και τη γνώση, έτσι ώστε οι μηχανικοί να μπορούν αποτελεσματικά να αξιολογήσουν και να διαχειρίζονται εικονικά πρωτότυπα σε ένα εμβυθισμένο και διαδραστικό περιβάλλον. Εντός της παρούσας διατριβής, αναπτύχθηκε μια γενική VR και AR προσέγγιση βασισμένη στην ανάλυση της ανθρώπινης εργασίας και των μεθόδων χαρτογράφησης της γνώσης που υλοποιούνται σε ένα πλαίσιο εικονικής και επαυξημένης πραγματικότητας. Το πλαίσιο VR/AR έχει αναπτυχθεί για να χρησιμοποιηθεί με την προσέγγιση μεθόδου δύο σταδίων χρησιμοποιώντας προηγμένες τεχνικές αλληλεπίδρασης. Η μέθοδος και το πλαίσιο που αναπτύχθηκαν επιβεβαιώνονται μέσα από μια σειρά πραγματικών δοκιμών στην παραγωγή, τόσο της αυτοκινητοβιομηχανίας όσο και της αεροδιαστημικής βιομηχανίας. Τέλος, η αξιολόγηση των προτεινόμενων μεθόδων και του πλαισίου βασίζεται σε πραγματικές δοκιμές στη βιομηχανία με χρήση ποσοτικών δεικτών, επιβεβαιώνοντας τη βελτίωση της ροής εργασιών σε σύγκριση με τη συμβατική. / The aim of this work is to study the development of virtual and augmented reality environment for the support of human-based processes in manufacturing. Virtual and augmented reality technologies can significantly reduce the development time and cost of products and processes in manufacturing. However there is currently a big gap between the conventional CAD-based processes and the advanced prototyping and validation methods offered with the use of VR and AR technology. There is a need for the virtual environments to be enriched with intelligence through the incorporation of knowledge. This will allow for complex tasks to be carried out, thus reducing the need for an ad hoc development, while the reusability of such an environment will be increased. On the one hand, augmented reality environments based on semantic knowledge and new user interaction methods can provide the means for putting the human back in the process loop at manufacturing level. On the other hand, virtual reality environments coupled with semantic knowledge can provide methods and tools that integrate 3D geometries with information/knowledge so that engineers can effectively evaluate and manipulate virtual prototypes in an immersive and interactive environment. Within the current dissertation, a generic VR and AR approach is developed based on human task analysis and knowledge mapping methods that are implemented in a Virtual and Augmented Reality Framework. The VR/AR framework is developed to be used with the two-step method approach using advanced interaction techniques. The developed method and framework are validated through a series of real life manufacturing test cases derived from both the automotive and aerospace industrial practices. Finally, an evaluation of the proposed methods and framework is carried out, based on one of the industrial test cases using quantitative metrics, giving insight on to the improvement of the engineering workflow using the proposed work compared with the conventional physical workflow.