Η αίσθηση παρουσίας όπως και η αλληλεπίδραση θεωρούνται βασικά χαρακτηριστικά των συστημάτων εικονικής πραγματικότητας. Στην παρούσα εργασία έγινε η διερεύνηση αυτής της σχέσης της αίσθησης παρουσίας και της αλληλεπίδρασης σε εκπαιδευτικά εικονικά περιβάλλοντα, μέσα από ερευνητικές εργασίες, και η καταγραφή των συμπερασμάτων που προέκυψαν από αυτές. Δηλαδή, μελετήθηκε κατά πόσο ο συμμετέχων μπορεί να αισθανθεί παρών στην εικονική πραγματικότητα μέσα από την περιπλάνηση του σε χώρους, την αντιμετώπιση φαινομένων και την αλληλεπίδραση με αντικείμενα, που στην πραγματικότητα πιθανόν να μην ήταν εφικτά, και επίσης κατά πόσο μέσω της αλληλεπίδρασης και της αίσθησης παρουσίας του δίνεται η δυνατότητα να οικοδομήσει τη γνώση. / -

La thèse porte sur un nouveau concept pour les afficheurs de réalité augmentée placés près de l’œil, notamment pour améliorer les champs de vision. Deux guides d'ondes sont empilés avec un petit espace d'air entre eux. La lumière couplée dans le premier guide d'ondes par le coupleur d’entrée se propage par réflexion interne totale jusqu'à atteindre un miroir cylindrique à l'extrémité du guide. Puis, la lumière réfléchie est couplée dans le second guide d'ondes avant d'atteindre le coupleur de sortie. Un système similaire basé sur des micro-prismes est aussi décrit. Les conceptions ont été simulées avec le logiciel Zemax. Les champs de vision horizontal et vertical obtenus sont respectivement de 30° et 60°. La Fonction de Transfert de Modulation pour tous les champs objets est supérieure à 30% pour 33 npl/mm, ce qui est suffisant pour un système visuel. De plus, un grand volume de déplacement admissible pour l’œil (Eye-box) d'environ 10×8 mm a été obtenu. / We propose a new concept to improve notably the fields-of-view (FOV) of the near to eye displays (NEDs) for augmented reality. Two waveguides are stacked with a small air gap between them. The light coupled in the first waveguide by the in-coupler propagates by total internal reflection until it reaches a cylindrical mirror at the end of the guide. Then, the reflected light is coupled in the second waveguide before to reach the out-coupler. A similar system based on micro-prisms is also described. The designs were simulated with Zemax software. The obtained horizontal and vertical FOV are respectively 30° and 60°. The Modulation Transfer Function for all object fields is greater than 30% for 33 npl/mm, which is sufficient for a visual system. In addition, a large Eye-box of approximately 10 × 8 mm was obtained.

La polarisation est le phénomène qui décrit les orientations des oscillations des ondes lumineuses qui sont limitées en direction. La lumière polarisée est largement utilisée dans le règne animal,à partir de la recherche de nourriture, la défense et la communication et la navigation. Le chapitre (1) aborde brièvement certains aspects importants de la polarisation et explique notre problématique de recherche. Nous visons à utiliser un capteur polarimétrique-catadioptrique car il existe de nombreuses applications qui peuvent bénéficier d'une telle combinaison en vision par ordinateur et en robotique, en particulier pour l'estimation d'attitude et les applications de navigation. Le chapitre (2) couvre essentiellement l'état de l'art de l'estimation d'attitude basée sur la vision.Quand la lumière non-polarisée du soleil pénètre dans l'atmosphère, l'air entraine une diffusion de Rayleigh, et la lumière devient partiellement linéairement polarisée. Le chapitre (3) présente les motifs de polarisation de la lumière naturelle et couvre l'état de l'art des méthodes d'acquisition des motifs de polarisation de la lumière naturelle utilisant des capteurs omnidirectionnels (par exemple fisheye et capteurs catadioptriques). Nous expliquons également les caractéristiques de polarisation de la lumière naturelle et donnons une nouvelle dérivation théorique de son angle de polarisation.Notre objectif est d'obtenir une vue omnidirectionnelle à 360 associée aux caractéristiques de polarisation. Pour ce faire, ce travail est basé sur des capteurs catadioptriques qui sont composées de surfaces réfléchissantes et de lentilles. Généralement, la surface réfléchissante est métallique et donc l'état de polarisation de la lumière incidente, qui est le plus souvent partiellement linéairement polarisée, est modifiée pour être polarisée elliptiquement après réflexion. A partir de la mesure de l'état de polarisation de la lumière réfléchie, nous voulons obtenir l'état de polarisation incident. Le chapitre (4) propose une nouvelle méthode pour mesurer les paramètres de polarisation de la lumière en utilisant un capteur catadioptrique. La possibilité de mesurer le vecteur de Stokes du rayon incident est démontré à partir de trois composants du vecteur de Stokes du rayon réfléchi sur les quatre existants.Lorsque les motifs de polarisation incidents sont disponibles, les angles zénithal et azimutal du soleil peuvent être directement estimés à l'aide de ces modèles. Le chapitre (5) traite de l'orientation et de la navigation de robot basées sur la polarisation et différents algorithmes sont proposés pour estimer ces angles dans ce chapitre. A notre connaissance, l'angle zénithal du soleil est pour la première fois estimé dans ce travail à partir des schémas de polarisation incidents. Nous proposons également d'estimer l'orientation d'un véhicule à partir de ces motifs de polarisation.Enfin, le travail est conclu et les possibles perspectives de recherche sont discutées dans le chapitre (6). D'autres exemples de schémas de polarisation de la lumière naturelle, leur calibrage et des applications sont proposées en annexe (B).Notre travail pourrait ouvrir un accès au monde de la vision polarimétrique omnidirectionnelle en plus des approches conventionnelles. Cela inclut l'orientation bio-inspirée des robots, des applications de navigation, ou bien la localisation en plein air pour laquelle les motifs de polarisation de la lumière naturelle associés à l'orientation du soleil à une heure précise peuvent aboutir à la localisation géographique d'un véhicule / Polarization is the phenomenon that describes the oscillations orientations of the light waves which are restricted in direction. Polarized light has multiple uses in the animal kingdom ranging from foraging, defense and communication to orientation and navigation. Chapter (1) briefly covers some important aspects of polarization and explains our research problem. We are aiming to use a polarimetric-catadioptric sensor since there are many applications which can benefit from such combination in computer vision and robotics specially robot orientation (attitude estimation) and navigation applications. Chapter (2) mainly covers the state of art of visual based attitude estimation.As the unpolarized sunlight enters the Earth’s atmosphere, it is Rayleigh-scattered by air, and it becomes partially linearly polarized. This skylight polarization provides a significant clue to understanding the environment. Its state conveys the information for obtaining the sun orientation. Robot navigation, sensor planning, and many other applications may benefit from using this navigation clue. Chapter (3) covers the state of art in capturing the skylight polarization patterns using omnidirectional sensors (e.g fisheye and catadioptric sensors). It also explains the skylight polarization characteristics and gives a new theoretical derivation of the skylight angle of polarization pattern. Our aim is to obtain an omnidirectional 360 view combined with polarization characteristics. Hence, this work is based on catadioptric sensors which are composed of reflective surfaces and lenses. Usually the reflective surface is metallic and hence the incident skylight polarization state, which is mostly partially linearly polarized, is changed to be elliptically polarized after reflection. Given the measured reflected polarization state, we want to obtain the incident polarization state. Chapter (4) proposes a method to measure the light polarization parameters using a catadioptric sensor. The possibility to measure the incident Stokes is proved given three Stokes out of the four reflected Stokes. Once the incident polarization patterns are available, the solar angles can be directly estimated using these patterns. Chapter (5) discusses polarization based robot orientation and navigation and proposes new algorithms to estimate these solar angles where, to the best of our knowledge, the sun zenith angle is firstly estimated in this work given these incident polarization patterns. We also propose to estimate any vehicle orientation given these polarization patterns. Finally the work is concluded and possible future research directions are discussed in chapter (6). More examples of skylight polarization patterns, their calibration, and the proposed applications are given in appendix (B). Our work may pave the way to move from the conventional polarization vision world to the omnidirectional one. It enables bio-inspired robot orientation and navigation applications and possible outdoor localization based on the skylight polarization patterns where given the solar angles at a certain date and instant of time may infer the current vehicle geographical location.

Cette thèse se situe dans le domaine de l'auto-localisation et de la cartographie 3D des caméras RGB-D pour des robots mobiles et des systèmes autonomes avec des caméras RGB-D. Nous présentons des techniques d'alignement et de cartographie pour effectuer la localisation d'une caméra (suivi), notamment pour des caméras avec mouvements rapides ou avec faible cadence. Les domaines d'application possibles sont la réalité virtuelle et augmentée, la localisation de véhicules autonomes ou la reconstruction 3D des environnements.Nous proposons un cadre consistant et complet au problème de localisation et cartographie 3D à partir de séquences d'images RGB-D acquises par une plateforme mobile. Ce travail explore et étend le domaine d'applicabilité des approches de suivi direct dites "appearance-based". Vis-à-vis des méthodes fondées sur l'extraction de primitives, les approches directes permettent une représentation dense et plus précise de la scène mais souffrent d'un domaine de convergence plus faible nécessitant une hypothèse de petits déplacements entre images.Dans la première partie de la thèse, deux contributions sont proposées pour augmenter ce domaine de convergence. Tout d'abord une méthode d'estimation des grands déplacements est développée s'appuyant sur les propriétés géométriques des cartes de profondeurs contenues dans l'image RGB-D. Cette estimation grossière (rough estimation) peut être utilisée pour initialiser la fonction de coût minimisée dans l'approche directe. Une seconde contribution porte sur l'étude des domaines de convergence de la partie photométrique et de la partie géométrique de cette fonction de coût. Il en résulte une nouvelle fonction de coût exploitant de manière adaptative l'erreur photométrique et géométrique en se fondant sur leurs propriétés de convergence respectives.Dans la deuxième partie de la thèse, nous proposons des techniques de régularisation et de fusion pour créer des représentations précises et compactes de grands environnements. La régularisation s'appuie sur une segmentation de l'image sphérique RGB-D en patchs utilisant simultanément les informations géométriques et photométriques afin d'améliorer la précision et la stabilité de la représentation 3D de la scène. Cette segmentation est également adaptée pour la résolution non uniforme des images panoramiques. Enfin les images régularisées sont fusionnées pour créer une représentation compacte de la scène, composée de panoramas RGB-D sphériques distribués de façon optimale dans l'environnement. Ces représentations sont particulièrement adaptées aux applications de mobilité, tâches de navigation autonome et de guidage, car elles permettent un accès en temps constant avec une faible occupation de mémoire qui ne dépendent pas de la taille de l'environnement. / This thesis is in the context of self-localization and 3D mapping from RGB-D cameras for mobile robots and autonomous systems. We present image alignment and mapping techniques to perform the camera localization (tracking) notably for large camera motions or low frame rate. Possible domains of application are localization of autonomous vehicles, 3D reconstruction of environments, security or in virtual and augmented reality. We propose a consistent localization and 3D dense mapping framework considering as input a sequence of RGB-D images acquired from a mobile platform. The core of this framework explores and extends the domain of applicability of direct/dense appearance-based image registration methods. With regard to feature-based techniques, direct/dense image registration (or image alignment) techniques are more accurate and allow us a more consistent dense representation of the scene. However, these techniques have a smaller domain of convergence and rely on the assumption that the camera motion is small.In the first part of the thesis, we propose two formulations to relax this assumption. Firstly, we describe a fast pose estimation strategy to compute a rough estimate of large motions, based on the normal vectors of the scene surfaces and on the geometric properties between the RGB-D images. This rough estimation can be used as initialization to direct registration methods for refinement. Secondly, we propose a direct RGB-D camera tracking method that exploits adaptively the photometric and geometric error properties to improve the convergence of the image alignment.In the second part of the thesis, we propose techniques of regularization and fusion to create compact and accurate representations of large scale environments. The regularization is performed from a segmentation of spherical frames in piecewise patches using simultaneously the photometric and geometric information to improve the accuracy and the consistency of the scene 3D reconstruction. This segmentation is also adapted to tackle the non-uniform resolution of panoramic images. Finally, the regularized frames are combined to build a compact keyframe-based map composed of spherical RGB-D panoramas optimally distributed in the environment. These representations are helpful for autonomous navigation and guiding tasks as they allow us an access in constant time with a limited storage which does not depend on the size of the environment.

Dans cette thèse, nous présentons MEMORIA, un modèle de représentation de la mémoire de l’apprenant pour les systèmes tutoriels intelligents et adaptatifs. La contribution principale de ce modèle est une formalisation et une implémentation du modèle de l’apprenant sous forme de mémoires qui stockent les informations perçues par l’apprenant dans un environnement virtuel et les instructions émises par le tuteur. La conception de notre modèle est basée sur les quatre composantes classiques d’un système tutoriel intelligent. Le modèle du domaine est représenté par les connaissances métiers formalisées à l'aide de MASCARET. Afin de rendre naturelles les interactions entre le tuteur et l'apprenant, nous représentons le modèle de l'interface par l'intermédiaire d'un agent conversationnel animé à l'aide de la plate-forme Greta. Le modèle de l'apprenant est constitué de l'ensemble des connaissances acquises par l'apprenant en cours de simulation. Ces connaissances sont organisées dans trois mémoires : la mémoire sensorielle, la mémoire de travail et la mémoire à long terme. Notre enjeu majeur porte sur la formalisation de l'encodage des informations dans ces mémoires, ainsi que le flux de données entre celles-ci. Cette formalisation est basée sur la théorie de la mémoire humaine proposée par Atkinson et Shiffrin et inspirée de l'architecture cognitive ACT-R. Le modèle de tuteur que nous proposons est centré sur la réalisation d'un comportement qui adapte l'exécution du scénario en fonction des connaissances de l'apprenant et de ses interactions avec le tuteur. Une étude expérimentale a été menée pour valider notre modèle. Nous avons comparé deux groupes de participants. Dans le premier groupe, nous avons intégré un tuteur adaptatif utilisant notre modèle, qui adapte l'exécution du scénario pédagogique et dans le second groupe, un tuteur non adaptatif qui réalise un scénario pédagogique figé. Les résultats de cette étude permettent de conclure quant à l'efficacité de notre modèle pour un apprentissage de procédure. / In this thesis, we present MEMORIA, a model of the learner’s memory representation for adaptive and intelligent tutoring systems. The main contribution of this model is a formalization and an implementation of the learner's model using memories that store the information perceived by the learner in a virtual environment and the instructions given by the tutor. The design of our model is based on the four classic components of an intelligent tutorial system.The domain model is represented by the domain knowledge that is formalized using MASCARET. In order to make the interactions between the tutor and the learner natural, we represent the interface model through an embodied conversational agent using GRETA. The learner's model is made of all the knowledge acquired by the learner during the simulation. This knowledge is organized into three memories: sensory memory, working memory, and long-term memory. Our major challenge is to formalize the encoding of information in these memories, as well as the data flow between them.This formalization is based on the theory of human memory proposed by Atkinson and Shiffrin and inspired by the cognitive architecture ACT-R. Our proposed tutor model focuses on the realization of a behavior that adapts the execution of the pedagogical scenario according to the learner's knowledge and the interactions with the tutor. An experimental study was conducted to validate our model. We compared two groups of participants. In the first group, we integrated an adaptive tutor using our model which adapts the execution of the pedagogical scenario and in the second group, a non-adaptive tutor who applied a fixed pedagogical scenario. The results of this study allow us to conclude on the effectiveness of our model for procedural learning.

L’objet de cette recherche porte sur l’évolution des dispositifs de formation avec l’introduction de technologies de réalité virtuelle dans des contextes industrialisés. Cette thèse Cifre s’appuie sur une intégration au sein du département « training » d’Airbus Helicopters. La démarche de recherche-action mise en œuvre permet d’observer et de participer à l’élaboration d’une technologie immersive pour la formation de pilotes. Cet outil est mis en situation avec des clients en formation et plusieurs démonstrations sont faites auprès d’acteurs de différents métiers. Nous mettons en avant des configurations hybrides dans le sens ou les situations de formation révèlent des aspects de la pratique et de la théorie telles qu’elles sont pensées dans la « langue de l’organisation ». Nous montrons alors que la mise en œuvre de telles technologies pourrait remettre en question les modèles rationalisés dans l’organisation. Ces éléments nous permettent d’envisager qu’une « approche par l’hybridation des dispositifs » amène l’organisation à interroger à chaque étape du projet ses propres modèles (objets structurés de partage d’information, organigramme, compétences et métiers des acteurs). C’est alors une remise en question en « profondeur » du projet de l’organisation apprenante qui est rendue possible, à partir de l’expérience des sujets. / The purpose of this research is to better understand how training devices evolve, with the introduction of virtual reality technology, in industrialized training situations. This work I based on an immersion in the "training" department of Airbus Helicopters. The research-action approach allows us to observe and participate in the emergence of a technology of reality for pilot’s training. The tool is put in situation with customers as part of their training and several demonstrations are made to actors of different trades around the training. We identify hybrid configurations in the sense that training situations are both practical and at the same time theoretical in the language of the organization. Then we show that the implementation of these technologies requires to rethink a traditional rationalization. These elements allow to suggest an "approach by the hybridization of systems" gives the organization the ability to reconsider its own project (structured objects of information, organization chart, skills and trades of actors). It is a depth questioning of the learning organization that is possible, from the experience of subjects.

La thèse défendue dans ce manuscrit s'intéresse à la simulation multi-agents appliquée à la simulation d'individus dans des bâtiments 3D virtuels.Pour ce faire, nos travaux proposent de capitaliser l'expérience acquise dans le domaine du web sémantique sur les ontologies et les moteurs d'inférence associés pour faciliter la conception et le développement de comportements intelligents pour des agents évoluant dans des univers virtuels.L'objectif est de fournir aux agents une approche générique pour gérer leur représentation du monde et raisonner sur cette représentation.Pour cela, la problématique centrale repose sur la définition d'une ontologie décidable modélisant l'ensemble des connaissances contenues dans l'environnement virtuel 3D pour enrichir sémantiquement l'environnement d'une simulation multi-agents.Cette ontologie décidable a pour but d'offrir la possibilité d'intégrer les moteurs d'inférence sémantique au c\oe{}ur de la modélisation de comportements d'agents mobiles dans un environnement virtuel. / This thesis focuses on multi-agent simulation applied to the simulation of individuals in virtual 3D buildings. To do this, our work suggests to capitalize on the experience gained in the field of semantic web ontologies and inference engines to facilitate the design and development of intelligent behavior for agents operating in virtual worlds. The goal is to provide to agents a generic approach to managing their representation of the world and reason about this representation. For this, the central problem is based on the definition of a decidable ontology modeling all of the knowledge contained in the virtual 3D environment to enrich semantically the environment of a multi-agent simulation. This decidable ontology aims to provide an opportunity to integrate semantic inference engine at the heart of modeling behavior of mobile agents in a virtual environment.

Τα τελευταία χρόνια η αναμφισβήτητα εντυπωσιακή τεχνολογική πρόοδος έχει δώσει τεράστια ώθηση σε ένα ευρύ φάσμα επιστημονικών πεδίων τα οποία βασίζονται σε αυτή, με χαρακτηριστικό παράδειγμα τον τομέα των Τηλεπικοινωνιών. Απόλυτα λογικό αποτέλεσμα είναι η παγκόσμια αγορά να έχει κατακλυστεί από δισεκατομμύρια κινητές συσκευές, η χρήση των οποίων διευκολύνει απίστευτα και την ανάπτυξη της έρευνας στους αντίστοιχους κλάδους. Μία από τις χαρακτηριστικές τεχνολογίες που εκμεταλλευόμενη πλήρως αυτή τη αλματώδη πρόοδο έχει επιφέρει εντυπωσιακά αποτελέσματα είναι η Επαυξημένη Πραγματικότητα. Βασίζεται στην γεφύρωση του χάσματος μεταξύ της εικονικότητας και της πραγματικότητας με ένα μοναδικό τρόπο ενίσχυσης της αντίληψής μας ως προς την τελευταία και με εφαρμογές από το Στρατό και τη Διαφήμιση ως τα ερευνητικά πεδία της Αναγνώρισης Εικόνας και της Εκπαίδευσης. Αυτή της όμως η σημαντικότατη ανάπτυξη γεννά αναπόφευκτα πέρα από την παραγωγή γνώσης και βασικά ερωτήματα που απασχολούν την ερευνητική κοινότητα, ορισμένα εκ των οποίων είναι αν μπορεί η χρήση τεχνικών Επαυξημένης Πραγματικότητας μέσω της αναγνώρισης εικόνας, πέρα από την εξέλιξη του ευρύτερου κλάδου της Υπολογιστικής Όρασης, να συμβάλλει στη βελτίωση μαθησιακών εμπειριών και αν ναι κατά πόσο είναι εφικτή η αντιμετώπιση θεμελιωδών εκπαιδευτικών προβλημάτων, όπως η διάσπαση προσοχής και η έλλειψη διαδραστικότητας. Στα πλαίσια της παρούσας εργασίας προσπαθώντας να δώσουμε ουσιαστικές απαντήσεις στα παραπάνω ερωτήματα δημιουργήσαμε τη διαδραστική εφαρμογή «AugMentor», ειδικά σχεδιασμένη για τις ανάγκες της ξενάγησης των επισκεπτών του Μουσείου Επιστημών του Πανεπιστημίου Πατρών. Έχοντας ενσωματώσει ένα ολοκληρωμένο περιβάλλον Επαυξημένης Πραγματικότητας εντός της εφαρμογής αναπτύξαμε ένα παιχνίδι κρυμμένου θησαυρού κατά το οποίο οι επισκέπτες του μουσείου δέχονται ένα συγκεκριμένο αριθμό ερωτήσεων οι οποίες βασίζονται στα μουσειακά εκθέματα και αμέσως μετά καλούνται να περιηγηθούν οι ίδιοι στους εσωτερικούς χώρους του. Με βάση την επιτυχή αναγνώριση του κάθε εκθέματος και την προσωποποιημένη απεικόνιση των εκάστοτε απεικονιζόμενων πληροφοριών προσπαθούν να δώσουν απαντήσεις στα ερωτήματα αυτά. Η εφαρμογή AugMentor υλοποιήθηκε για κινητές συσκευές που υποστηρίζουν το λειτουργικό σύστημα Android και πλέον αποτελεί μέρος της μόνιμης ξενάγησης του Μουσείου Επιστημών και Τεχνολογίας. Παρουσιάζουμε μια περιγραφική και αναλυτική μελέτη περίπτωσης χρήσης της εφαρμογής, υλοποιώντας πειραματικά στο Μουσείο Επιστημών μια κανονική ξενάγηση. Χρησιμοποιώντας την εφαρμογή AugMentor οδηγούμαστε σε ασφαλή συμπεράσματα ως προς την επίτευξη του κύριου στόχου υλοποίησής της, ο οποίος είναι το κατά πόσο οι επισκέπτες του μουσείου στην προσπάθειά τους να απαντήσουν τις ερωτήσεις που τους ανατέθηκαν θα μπορούσαν να μάθουν και επιπρόσθετες πληροφορίες για τα εκθέματα, βελτιώνοντας τη μάθηση μέσω της χρήσης κινητών συσκευών. Το πείραμα που πραγματοποιήσαμε χωρίστηκε σε δύο μέρη, το πρώτο βασίζεται στα πρότυπα μιας κανονικής ξενάγησης των επισκεπτών, χωρίς τη χρήση κάποιας εφαρμογής και το δεύτερο στην ξενάγηση μέσω της εφαρμογής AugMentor. Στους επισκέπτες δόθηκαν αντίστοιχα ερωτηματολόγια και στις δύο περιπτώσεις και στη συνέχεια αξιολογήθηκε συγκριτικά η συμβολή της εφαρμογής AugMentor στη συνολική εμπλούτιση της μουσειακής εμπειρίας ενός επισκέπτη. / Over the last few years the indisputably outstanding technological advances have given a huge boost to a wide range of scientific areas of study that are based on it. A typical example can definitely be considered the one associated with Telecommunications. An utterly rational outcome constitutes the fact that global market is overwhelmed by billions of mobile devices, the use of which facilitates to a large extent the whole research development towards those fields. An iconic technology that fully exploiting this rapid progress has brought about impressive results is Augmented Reality. Augmented Reality is based on bridging the gap between virtuality and reality in a unique way to enhance our perception as to the latter and its applications vary from Army and Advertisement to the research fields of Image Recognition and Education. It is exactly the impressive growth of Augmented Reality which inevitably generates essential questions that research community has to deal with. Some of these questions are whether the use of Augmented Reality techniques, through Image Recognition, apart from the wider development of Computer Vision, can help improving learning experiences and if so to which extent it is possible to address fundamental educational problems, such as distractibility and lack of interactivity. In this master thesis, trying to give substantial answers to these questions we have created the interactive application «AugMentor», specially designed for the tour needs of Museum of Science and Technology, located in University of Patras. Having incorporated an integrated Augmented Reality environment inside this application, we developed a treasure hunt game in which visitors receive a certain number of questions closely related to museum’s exhibits and afterwards they have to wander within its interiors. Based on the successful recognition of each exhibit and personalized display of each respective information, visitors attempt to answer these questions. AugMentor is implemented for mobile devices that support the Android operating system and is now part of permanent museum guidance. Our main objective is improving Mobile Learning, which is learning through the use of mobile devices. We present a sufficient case study, selecting Museum of Science and Technology as an experimental space so as to determine the degree to which AugMentor application can practically contribute to this purpose. One of our key points towards this perspective was estimating the amount of totally imparted knowledge, since involving students with a significant pool of knowledge provides them with a motivation to have an active role during their guidance. The experiment we conducted was divided into two parts, the first one was based on the standards of a normal tour of visitors without using any application and the second one was based on a tour using AugMentor application. Guests are respectively given questionnaires in both cases and then we assessed AugMentor’s relative contribution to the overall implementation regarding enriching the museum experience of a visitor.

La création d'informations 3D denses à partir d'images endoscopiques intraopératoires, ainsi que le calcul de la position relative de la caméra endoscopique, sont des éléments fondamentaux pour un guidage de qualité durant la chirurgie guidée par l'image. Par exemple, cela permet de superposer modèle pré-opératoire via la réalité augmentée. Cette thèse présente une approche pour l'estimation de ces deux information basées sur une approche de localisation et cartographie simultanées (SLAM). Nous découplons la reconstruction dense de l'estimation de la trajectoire de la caméra, aboutissant à un système qui combine la précision du SLAM, et une reconstruction plus complète. Les solutions proposées dans cette thèse ont été validées sur de séquences porcines provenant de différents ensembles de données. Ces solutions n'ont pas besoin de matériel de suivi externe ni d'intervention. Les seules entrées nécessaires sont les trames vidéo d'un endoscope monoculaire. / Recovering dense 3D information from intra-operative endoscopic images together with the relative endoscope camera pose are fundamental blocks for accurate guidance and navigation in image-guided surgery. They have several important applications, e.g., augmented reality overlay of pre-operative models. This thesis provides a systematic approach for estimating these two pieces of information based on a pure vision Simultaneous Localization And Mapping (SLAM). We decouple the dense reconstruction from the camera trajectory estimation, resulting in a system that combines the accuracy and robustness of feature-based SLAM with the more complete reconstruction of direct SLAM methods. The proposed solutions in this thesis have been validated on real porcine sequences from different datasets and proved to be fast and do not need any external tracking hardware nor significant intervention from medical staff. The sole input is video frames of a standard monocular endoscope.

La sobriété énergétique du bâti devient aujourd’hui un élément clé en phase de conception. L’intégration en amont d’outils numériques, notamment la réalité virtuelle (RV). Nous a conduit, dans cette recherche, à nous concentrer sur les résultats de simulations thermiques visualisées dans un environnement virtuel. La contribution est portée sur la représentation et la perception dans un EV de ces données issues de simulation. Nous nous limitons à la caractérisation de l’efficacité énergétique en processus de conception. Cette étude vise la prédiction des performances thermiques dans des systèmes de réalité virtuelle. Les problématiques de formats de données et de flux de travail entre la modélisation classique CAO (Conception Assistée par Ordinateur), les simulations thermiques, et la visualisation immersive sont également traitées. Il existe plusieurs outils logiciels dédiés à la représentation de simulations thermiques en EV et le premier enjeu de ces travaux fut de sélectionner l’outil approprié. De nombreux modeleurs CAO, logiciels de simulation thermique et outils de RV sont disponibles ; ils diffèrent notamment par leurs approches (fonctionnalités et environnement logiciel). La problématique d’interopérabilité (formats d’échange entre les outils logiciels) requiert de bâtir un flux de travail structuré. Les difficultés d’intégration entre outils CAO et outils de simulation, et les barrières au transfert vers des systèmes de réalité virtuelle sont également décrits. Il est apparu pertinent d'utiliser le Building Information Model (BIM) de plus en plus utilisé parmi les acteurs de l’architecture, ingénierie et construction (AIC). Puis nous avons poursuivi par l’évaluation des tendances actuelles en matière de représentation de données thermiques issues de simulation dans un EV, par la création de méthode de transfert de données de sorte à les intégrer au flux de travail. Après un état de l’art sur la simulation thermique et une évaluation des travaux connexes, nous décrivons l'application, la méthode et les outils pour parvenir à nos objectifs. Une proposition de procédé de transfert de données et de présentation de données en EV est formulée et évaluée. Le flux d’échanges de données s’effectue en trois phases, de sorte à optimiser les passages entre la CAO, le calcul thermique et la réalité virtuelle. La représentation des données dans l’EV est réalisée grâce à une visualisation immersive et interactive. Une expérimentation a été conduite de sorte à évaluer des sujets : Le scénario consistait en une visualisation interactive de données thermiques selon 4 modalités en environnement virtuel. L’interface développée pour l’interaction a été voulue intuitive et conviviale. L’application contient un modèle 3D réaliste du projet (salle Gunzo) dans deux configurations : état actuel et état rénové. Les données thermiques sont restituées selon plusieurs métaphores de représentation. L’expérimentation développe une approche qui associe au scénario de rénovation virtuelle une configuration matérielle/logicielle. Les résultats obtenus se concentrent sur la visualisation, l'interaction et le retour subjectif des utilisateurs. Quatre métaphores de visualisation sont testées et leur évaluation porte notamment sur deux critères : leurs capacités à restituer les résultats de simulation thermique ; le degré d’interaction et la perception de l’utilisateur des impacts de ses actions. L’évaluation subjective révèle les préférences des utilisateurs et montre que les métaphores de représentation ont une influence sur la précision et l’efficience de l’interprétation des données. Ces travaux montrent que les techniques de représentation et de visualisation de données de simulation ont un effet sur la pertinence de leur interprétation. La méthode décrite spécifie les modalités de transfert de la donnée depuis la phase conception jusqu’aux outils et systèmes de RV. Sa souplesse lui permet d’être transposée à tout type de projet (…) / The importance of energy efficiency as well as integration of advances in sustainable buildingdesign and VR technology have lead this research to focus on thermal simulation results visualized in avirtual environment (VE). The emphasis is on the representation of thermal building simulation (TBS)results and on the perception of thermal data simulated in a VE. The current application of the designprocess through energy efficiency in VR systems is limited mostly to building performance predictionsand design review, as the issue of the data formats and the workflow used for 3D modeling, thermalcalculation and VR visualization.Different applications and tools involved to represent TBS in VE are become the challenge ofthis work. Many 3D modeller, thermal simulation tools and VR tools are available and they are differ intheir function and platform. Issues of data format exchange, appropriate tools and equipments from thissituation require an interoperability solution that needs to be structured in a workflow method.Significances and barriers to integration design with CAD and TBS tools are also outlined in order totransfer the model to VR system. Therefore, the idea then is to use Building Information Model (BIM)extensively used in Architecture, Engineering and Construction (AEC) community. It then continued toevaluate the current trends for TBS representation in VE, to create data transfer method, and tointegrate them in the workflow. After a review in thermal simulation and an evaluation of related works,we specify the application, method and tools for our objectives.An application of a method of data transfer and presentation of data in VE are formulated andtested. This effort conduct using a specific data workflow which performed the data transfer through 3phases. This relies on the smooth exchange of data workflow between CAD tools, thermal calculationtools and VR tools. Presentation of data in VE is conducted through immersive visualization andintuitive interaction. An experiment scenario of a thermal simulation in VR system was created tointeractively visualize the results in the immersion room and tested by some respondents. The systeminclude with friendly interface for interaction. It presents a realistic 3D model of the project (Gunzoroom) in existing condition and renovated version, and their TBS results visualized in somevisualization metaphor. In the experiment, the method which bundled in an application brings togetherwithin a couple of virtual scenario and a software/hardware solution. The obtained results concentrateon visualization, interaction and its feedback. Some visualization metaphor are tested and evaluated topresent more informative TBS results where the user can interact and perceive the impact of theiraction.Evaluation of the application prototype showed various levels of user satisfaction, andimprovements in the accuracy and efficiency of data interpretation. The research has demonstrated it ispossible to improve the representation and interpretation of building performance data, particularly TBSresults using visualization techniques. Using specific method, the data flow that starts from the designprocess is completely and accurately channelled to the VR system. The method can be used with anykind of construction project and, being a flexible application, accepts new data when necessary,allowing for a comparison between the planned and the constructed.