Σε αυτή τη διπλωματική θα ασχοληθούμε με κινητά τηλέφωνα νέας γενιάς και με εφαρμογές οι οποίες θα αξιολογούν ένα προϊόν ή μία υπηρεσία και θα επιστρέφουν το αποτέλεσμα με «επαύξηση» της πραγματικότητας στην οθόνη του χρήστη.

Τα περιβάλλοντα εικονικής παραγματικότητας είναι ένα κατάλληλο μέσο προκειμένου κάποιος να μπορέσει να εκπαιδευτεί και να εξασκηθεί εκ του ασφαλούς σε καταστάσεις που στον πραγματικό κόσμο θα ήταν δύσκολο και ίσως επικίνδυνο για αυτόν που εκπαιδεύεται αλλά και για όσους άλλους εμπλέκονται στην εκπαιδευτική διαδικασία. Μία τέτοια κατάσταση είναι και η εκδήλωση σεισμικής δραστηριότητας σε μία σχολική τάξη. Στόχος της συγκεκριμένης διπλωματικής εργασίας είναι η δημιουργία ενός εκπαιδευτικού εικονικού περιβάλλοντος για την προσομοίωση του φαινομένου του σεισμού και η χρήση εικονικών χαρακτήρων (avatars) για την δημιουργία ενός ρεαλιστικού σεναρίου που θα λάβει χώρα μέσα στο εικονικό περιβάλλον. Στα πλαίσια της συγκεκριμένης διπλωματικής εργασίας ορίζεται η έννοια της εικονικής πραγματικότητας, περιγράφονται τα συστήματα εικονικής πραγματικότητας καθώς και ο εξοπλισμός hardware ο οποίος είναι απαραίτητος για τη δημιουργία και χρήση εφαρμογών εικονικής πραγματικότητας. Επίσης περιγράφονται οι εφαρμογές της σε όλες της φάσεις και τους τομείς της ζωής μας καθώς και η υπάρχουσα κατάσταση στον Ελλαδικό χώρο. Για το εικονικό περιβάλλον που έχει δημιουργηθεί με τη χρήστη του 3D Studio Max, που είναι μια εικονική τάξη, περιγράφονται τα αντικείμενα που υπάρχουν σε αυτή καθώς και ο τρόπος εξαγωγής αυτής και των αντικειμένων της σε κατάλληλο λογισμικό εικονικής πραγματικότητας Virtools προκειμένου να καθοριστεί η περαιτέρω συμπεριφορά τους. Επιπλέον δίνεται έμφαση στην εισαγωγή εικονικών χαρακτήρων (avatars), στο εικονικό περιβάλλον που έχει δημιουργηθεί. Περιγράφεται αναλυτικά η εισαγωγή του εικονικού χαρακτήρα στο περιβάλλον της εικονικής τάξης καθώς και τρόποι και τεχνικές όσον αφορά τη συμπεριφορά των εικονικών χαρακτήρων με τη βοήθεια των animations. Δίνεται η δυνατότητα στο χρήστη να ελέγξει ο ίδιος και να καθορίσει της κινήσεις του εικονικού χαρακτήρα μέσα στο εικονικό περιβάλλον και να τον κινεί μέσα στον εικονικό χώρο όπως θα συνέβαινε στην πραγματικότητα. Ακόμα, έχει δημιουργηθεί ένα συμβάν σεισμού όπου συγκεκριμένος εικονικός χαρακτήρας αντιδρά λάθος κατά τη διάρκεια του φυσικού φαινομένου με στόχο η συγκεκριμένη αντίδραση να είναι παράδειγμα προς αποφυγή σε αυτούς που το παρακολουθούν (μαθητές) και να εξοικιωθούν με το ενδεχόμενο εκδήλωσης σεισμού στην τάξη. Γίνεται προσπάθεια απομυθοποίησης του φαινομένου του σεισμού με ευχάριστο και ασφαλή τρόπο. / Environments of virtual reality are a suitable means in order that somebody it can be educated and practiced from sure in situations that in the real world would be difficult and perhaps dangerous for the one that is educated but also for those who other they are involved in the educational process. A such situation is also the event of seismic activity in a school order. Objective of particular diplomatic work is the creation of educational virtual environment for the simulation of this phenomenon of earthquake and the use of virtual characters (avatars) for the creation of realistic script that will take place in the virtual environment. In the frames of particular diplomatic work is fixed the significance of s virtual reality, is described the systems of virtual reality as well as the equipment hardware which is essential for the creation and use of applications of virtual reality. Also are described her applications in all phases and the sectors of our life as well as the existing situation in the Hellenic space. For the virtual environment that has been created with the user of the 3 D Studio Max, that is a virtual order, are described the objects that exist in this as well as the way of export of this and her objects in suitable software of virtual reality Virtools so that is determined their further behavior. Moreover is given accent in the import of virtual characters (avatars), in the virtual environment that has been created. Are analytically described the import of virtual character in the environment of virtual order as well as ways and techniques with regard to the behavior of virtual characters with the help animations. Is given the possibility in the user checks himself and of determining her movements of virtual character in the virtual environment and him of moving in the virtual space as it would happen actually. Still, has been created a incident of earthquake where concrete virtual character reacts error at the duration of natural phenomenon in order the particular reaction is example to reject in those where watching (students) and familiarize with the possibility of event of earthquake in the order. Becomes effort of demystification of phenomenon of earthquake with pleasant and sure way.

Αντικείμενο της παρούσας διατριβής είναι ο σχεδιασμός και η πιλοτική υλοποίηση μιας μεθοδολογίας προσομοίωσης διαδικασιών συναρμολόγησης, για τον έλεγχο εργονομικών αποτελεσμάτων, με χρήση τεχνικών Εικονικής Πραγματικότητας. Το σύστημα που αναπτύχθηκε επιτρέπει: • Την εκτέλεση διαδικασιών συναρμολόγησης σε εικονικό περιβάλλον, υπό συνθήκες που επιτρέπουν μια ρεαλιστική εποπτεία του περιβάλλοντος και της διαδικασίας, ανάλογες των πραγματικών • Την ποιοτική εκτίμηση παραμέτρων που αφορούν στον ανθρώπινο παράγοντα, όπως η αντίληψη του περιβάλλοντος εργασίας, η δυνατότητα πρόσβασης και χειρισμού των εξαρτημάτων και εργαλείων • Την ποσοτική εκτίμηση χαρακτηριστικών που έχουν σχέση με τον ανθρώπινο παράγοντα, και θεωρούνται κρίσιμα για την εκτέλεση της διαδικασίας, όπως η ικανότητα ανύψωσης φορτίων, η καταναλισκόμενη ενέργεια και ο συνολικός χρόνος της διαδικασίας. Αρχικά, γίνεται μία εισαγωγή στα προβλήματα και τη σπουδαιότητα του εργονομικού σχεδιασμού και ελέγχου παραγωγικών διαδικασιών, στον οποίο εστιάζει η εργασία, και περιγράφεται το αντικείμενό της και η ερευνητική συμβολή της στην αντιμετώπιση των προβλημάτων αυτών. Στη συνέχεια, γίνεται η ανασκόπηση της διεθνούς βιβλιογραφίας, με αναφορά στην τεχνολογία Εικονικής Πραγματικότητας, τις μεθόδους, τα λογισμικά συστήματα και τις εφαρμογές που έχουν αναπτυχθεί και χρησιμοποιούνται τα τελευταία χρόνια για την προσομοίωση και τον εργονομικό έλεγχο παραγωγικών διαδικασιών. Ακολουθεί η παρουσίαση της προτεινόμενης μεθοδολογίας με την οποία προσεγγίζεται το πρόβλημα σχεδιασμού και ελέγχου εργονομίας σε διαδικασίες συναρμολόγησης. Γίνεται η ανάλυση των επιμέρους χαρακτηριστικών της, που περιλαμβάνουν τα χαρακτηριστικά αναπαράστασης, αλληλεπίδρασης και προσομοίωσης. Στη συνέχεια περιγράφονται τα εργαλεία ανάπτυξης και η λογική υλοποίησης του περιβάλλοντος προσομοίωσης, το οποίο αποτελεί την πιλοτική υλοποίηση της προτεινόμενης μεθοδολογίας. Η χρήση της νέας προσέγγισης, η παρουσίαση και η αξιολόγηση των εργονομικών αποτελεσμάτων παρουσιάζεται μέσα από μια σειρά πειραμάτων εκτέλεσης της πιλοτικής εφαρμογής. Τέλος, εξάγονται βασικά συμπεράσματα από τα αποτελέσματα της εργασίας, παρουσιάζονται τα πεδία εφαρμογής της προτεινόμενης προσέγγισης, καθώς και οι προοπτικές μελλοντικής εξέλιξής της. / The objective of the thesis is the development and the pilot implementation of a methodology for the simulation of assembly processes, in order to support the verification of human related factors, using Virtual Reality techniques. The developed system enables: • The virtual execution of assembly processes, under conditions that allow a realistic monitoring of environment and process, • The qualitative evaluation of human-process related factors, such as the perception of the working environment, the reachability of mounting locations, and the handlability of product components and tools, • The quantitative estimation of human-process characteristics related to critical performance issues, such as lifting capacity, energy expenditure and process cycle time. As an introduction, the industrial problems and the importance of confrontation of ergonomic design and verification of manufacturing processes, on which this work focuses, are presented. The objectives of the research work and the innovation aspects of the proposed approach are then described. In the sequel, state-of-the-art VR technology is reporting, including presentation of the basic methods, software tools and applications that have been developed and used during the last years for the simulation and the ergonomic control of manufacturing processes. The presentation of the proposed methodology, with which the problem of ergonomic design and verification of assembly processes is approached, follows. The proposed methodology is described through its Virtual Reality based features, namely representation, simulation, immersion and interaction. The development tools and the simulation concept of the virtual environment are then described. The assembly/ergonomic virtual environment is an integrated simulation environment developed in the context of this research work, as the pilot implementation of the proposed methodology. The use of the new approach, the presentation and the evaluation of the ergonomic results are illustrated through a set of experiments based on the pilot application. Finally, important conclusions are exported from the above results, while application fields and future work prospects are presented.

Η παρούσα διπλωματική εργασία ασχολείται με την κατασκευή ενός εικονικού περιβάλλοντος που αναπαριστά μια σχολική τάξη. Στην εικονική τάξη προστίθενται εικονικοί χαρακτήρες που αποτελούν τους μαθητές της τάξης καθώς επίσης και τη δασκάλα τους. Το σενάριο που ακολουθεί είναι η ενημέρωση των εικονικών μαθητών από τη διδάσκουσα για τους τρόπους αντίδρασης των μαθητών σε περίπτωση σεισμού. / -

- / -

- / -

- / -

- / -

Ο σκοπός της διπλωματικής εργασίας ήταν η ανάπτυξη ενός μοντέλου Επαυξημένης Πραγματικότητας για την υποβοήθηση του χειρουργού-χειριστή ρομποτικού μηχανήματος. Το μοντέλο αυτό παρουσιάστηκε για την εύρεση του οπτικού πεδίου του ειδικού ενδοσκοπίου. Για τον σκοπό αυτό κατασκευάστηκαν δύο προγράμματα τα οποία μπορούν να χειριστούν ιατρικά δεδομένα και να προσφέρουν εικόνες από το εσωτερικό του μοντέλου του ασθενούς. Συγκεκριμένα, έγινε μελέτη των βασικών μεθόδων εφαρμογής Επαυξημένης Πραγματικότητας στην χειρουργική, όπως η εγγραφή του ασθενούς, η κατάτμηση των ιατρικών δεδομένων, η τρισδιάστατη ανακατασκευή τους και η ανίχνευση των ενδοσκοπικών εργαλείων και της κάμερας. Παρουσιάστηκε το πλήρες θεωρητικό μοντέλο εφαρμογής επαυξημένης πραγματικότητας και έγινε ανάλυση των επιμέρους διαδικασιών. Κατασκευάστηκαν με την βοήθεια της Matlab δύο προγράμματα με τα αντίστοιχα GUIs για τον προεγχειρητικό σχεδιασμό και την διεγχειρητική καθοδήγηση/επαύξηση αντίστοιχα. Τέλος έγινε δοκιμή των προγραμμάτων χρησιμοποιώντας 22 τομές μαγνητικής τομογραφίας (μορφής DICOM) εγκεφάλου με εμφανή καρκίνο στην αριστερή κοιλία. Επίσης καταγράφηκαν οι εικόνες και τα δεδομένα που παίρνουμε σε κάθε βήμα εφαρμογής των προγραμμάτων με στόχο την αξιολόγηση τους. Το μοντέλο αυτό κατασκευάστηκε με στόχο την εφαρμογή του σε επεμβάσεις μέσω του ρομποτικού μηχανήματος daVinci. Παρόλα αυτά η γενικότερη εφαρμογή της μεθοδολογίας που αναπτύσσεται μπορεί να βρει εφαρμογές και σε άλλες ενδοσκοπικές επεμβάσεις. / The purpose of this thesis was to develop a model of Augmented Reality to assist the surgeon-operator of a robotic machine. The model has been presented for finding the field of special endoscope. For this purpose we built two programs that can manipulate medical data and provide images of the interior of the patient’s model. Specifically, a study was done in the basic methods of Augmented Reality application in Surgery such as, the registration of the patient, the segmentation of medical data, their 3D reconstruction and the detection of endoscopic instruments and the camera. Has been presented the complete theoretical model for applying augmented reality and an analysis of individual procedures was done. Moreover we constructed with the help of Matlab two programs with their GUIs, for preoperative planning and intraoperative guidance/augmentation, respectively. Finally the programs were tested, using 22 MRI slices (format DICOM) with visible brain cancer in the left ventricle. Also were recorded images and data that we get at each step of programs implementation in order to evaluate them. This model was constructed to implement the operations through the daVinci robotic machine. Nevertheless, the general application of the methodology developed in this study may find applications also in other endoscopic procedures

Η αίσθηση παρουσίας όπως και η αλληλεπίδραση θεωρούνται βασικά χαρακτηριστικά των συστημάτων εικονικής πραγματικότητας. Στην παρούσα εργασία έγινε η διερεύνηση αυτής της σχέσης της αίσθησης παρουσίας και της αλληλεπίδρασης σε εκπαιδευτικά εικονικά περιβάλλοντα, μέσα από ερευνητικές εργασίες, και η καταγραφή των συμπερασμάτων που προέκυψαν από αυτές. Δηλαδή, μελετήθηκε κατά πόσο ο συμμετέχων μπορεί να αισθανθεί παρών στην εικονική πραγματικότητα μέσα από την περιπλάνηση του σε χώρους, την αντιμετώπιση φαινομένων και την αλληλεπίδραση με αντικείμενα, που στην πραγματικότητα πιθανόν να μην ήταν εφικτά, και επίσης κατά πόσο μέσω της αλληλεπίδρασης και της αίσθησης παρουσίας του δίνεται η δυνατότητα να οικοδομήσει τη γνώση. / -