Made available in DSpace on 2016-04-27T14:32:32Z (GMT). No. of bitstreams: 1 Roberto Sussumu Wataya.pdf: 12788561 bytes, checksum: eb8f9cad18841149a8e1f1cf41d7e2fd (MD5) Previous issue date: 2009-06-18 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Blind and visually impaired people are unable to see and appreciate pictorial art because of visual problems, for, as we know, visual language is still the prevailing form of communication in cultural activities. Individuals who bear Special Visual Needs (ISVN) can utilize a 3D perception development system, that allows, through an educational process, the ISVN to be prepared for a new reality, that is, to go from the 2D dimension to the 3D. Such a system would help these individuals to read the world in an imagery rich context. This study aimed at showing that systems based on Augmented Reality (AR) can facilitate ISVN`s inclusion in the world of painting. In order to accomplish this study, a Colaborative Authorship with Augmented Reality System (CAARS) was used to develop perception systems. These perception systems were utilized in 3D learning situations with 10 congenital blind adults, 4 of which are undergraduate students at UNASP/SP and 6 graduated professionals. These experiences showed that the proposed perception system offered the congenital blind individuals the possibility of learning all the techniques and concepts of 3D representation and interact with certain autonomy in the environment. The 3D perception systems developed for the congenital blind individuals enables them to have access to museums and other cultural spaces, resulting in a contribution to the social inclusion of this group / Pessoas cegas estão impossibilitadas de contemplar e apreciar a arte pictórica por problemas visuais, pois a linguagem visual ainda é a forma de comunicação predominante nas ações culturais. Os Portadores de Necessidades Especiais Visuais (PNEV s) podem utilizar um Sistema de Desenvolvimento de Percepção em 3D (SDP3D) que permita, por processo educacional educar o DV para uma nova realidade, a partir da dimensão 3D <---> 2D. Tal sistema deve ajudar a fazer a leitura do mundo em um contexto rico em representações. Este estudo, teve como objetivo mostrar que sistemas baseados em Realidade Aumentada (RA) podem facilitar a inclusão dos DV s no mundo da pintura. Para realização deste trabalho, foi utilizado o Sistema de Autoria Colaborativa com Realidade Aumentada (SACRA), para elaboração do SDP3D e suas aplicações na aprendizagem em representações 3D, e a participação de 10 cegos congênitos adultos, sendo quatro graduandos no UNASP/SP, e seis profissionais já graduados. As experiências realizadas mostraram que o SDP3D, proposto ofereceu aos cegos congênitos a possibilidade de aprender todas as técnicas e os conceitos de representação 3D, e interagir com uma certa autonomia no ambiente. Esse sistema de desenvolvimento de percepção em 3D para cegos congênitos permite o acesso a espaços museológicos e também a outros espaços culturais, resultando em uma contribuição para a inclusão social desse grupo

Ces travaux s’inscrivent dans le cadre de la navigation endovasculaire assistée par ordinateur. L’objectif principal est d’étudier et de proposer de nouvelles solutions pour la localisation et le suivi des dispositifs endovasculaires en mouvement par rapport aux structures anatomiques, considérées comme immobiles ou mobiles. Il s’agit à terme de faciliter le geste interventionnel, en maximisant la précision et la fiabilité des procédures, tout en minimisant le recours aux rayons X et au produit de contraste. Les travaux et résultats obtenus concernent : - L’étude d’approches de recalage permettant de fusionner des données 3D pré-opératoires décrivant les structures anatomiques et des données intra-opératoires de localisation 3D électromagnétique (positions d’un cathéter équipé d’un capteur magnétique en son extrémité). Dans le contexte du traitement des anévrismes aortiques abdominaux, deux méthodes de recalage ne nécessitant pas de marqueur externe et exploitant uniquement les trajectoires endovasculaires (avec hypothèse de correspondance totale ou partielle) ont été proposées. Les tests ont été réalisés sur fantôme physique. Bien que la précision de localisation des systèmes électromagnétiques soit encore limitée, ceux-ci pourraient être utilisés pour aider la navigation endovasculaire, comme par exemple, lors du cathétérisme d’artères collatérales. - L’élaboration d’une méthode de tracking des calcifications et de repères dans les séquences d’images fluoroscopiques, dans le contexte des procédures d’implantation endovasculaire de valve aortique (TAVI). Nous avons proposé une méthode de tracking par modèle d’apparence adaptatif (TMAA). L'approche a été évaluée sur 13 séquences fluoroscopiques dans le cadre des procédures TAVI valve native et 5 séquences fluoroscopiques dans le cadre des procédures TAVI valve-in-valve. Elle fournit une erreur de localisation moyenne inférieure à 1 mm et un temps de traitement de 32,23 ms/trame. L’évaluation de cette méthode et son application sur données patients ont permis de montrer la précision et la compatibilité du tracking avec une utilisation clinique. / This work is part of computer-assisted endovascular navigation. The aim of this thesis is to study and to propose new solutions for the localization and the tracking of moving endovascular devices within anatomical structures, which can be considered fixed or moving. The objective is to facilitate the endovascular intervention, by maximizing the accuracy and reliability of procedures, while minimizing the use of X-rays and contrast agents. The works concern : - The study of registration approaches to align pre-operative 3D data describing the anatomical structures and intra-operative 3D electromagnetic data (positions of a catheter equipped with a magnetic sensor at its tip). In the context of the treatment of abdominal aortic aneurysms (AAA), two fiducial-free registration methods that exploit only the endovascular trajectories (with total or partial correspondence hypothesis) have been proposed. The tests were performed on an AAA phantom. Although the localization accuracy of electromagnetic systems is still limited, these could be used to assist endovascular navigation (e.g., catheterization of collateral arteries). - The elaboration of a method to track calcifications and markers in fluoroscopic sequences, in the context of transcatheter aortic valve implantation (TAVI) procedures. We proposed a method of tracking by adaptive appearance model (TMAA). The approach was evaluated on 13 fluoroscopic sequences as part of TAVI native valve procedures and 5 fluoroscopic sequences as part of TAVI valve-in-valve procedures. The average localization error was less than 1 mm and the average processing time was 32.23 ms/frame. The evaluation of this method and its application on patient data has made it possible to show the precision and the compatibility of the tracking with a clinical use.

Ce mémoire décrit mes travaux de thèse de doctorat menés au sein de l’équipe ComSee (Computers that See) rattachée à l’axe ISPR (Image, Systèmes de Perception et Robotique) de l’Institut Pascal. Celle-ci a été financée par la Région Auvergne et le Fonds Européen de Développement Régional. Les travaux présentés s’inscrivent dans le cadre d’applications de localisation pour la robotique mobile et la Réalité Augmentée. Le framework réalisé au cours de cette thèse est une approche générique pour l’implémentation d’applications de SLAM : Simultaneous Localization And Mapping (algorithme de localisation par rapport à un modèle simultanément reconstruit). L’approche intègre une multitude de contraintes dans les processus de localisation et de reconstruction. Ces contraintes proviennent de données capteurs mais également d’a priori liés au contexte applicatif. Chaque contrainte est utilisée au sein d’un même algorithme d’optimisation afin d’améliorer l’estimation du mouvement ainsi que la précision du modèle reconstruit. Trois problèmes ont été abordés au cours de ce travail. Le premier concerne l’utilisation de contraintes sur le modèle reconstruit pour l’estimation précise d’objets 3D partiellement connus et présents dans l’environnement. La seconde problématique traite de la fusion de données multi-capteurs, donc hétérogènes et asynchrones, en utilisant un unique algorithme d’optimisation. La dernière problématique concerne la génération automatique et efficace d’algorithmes d’optimisation à contraintes multiples. L’objectif est de proposer une solution temps réel 1 aux problèmes de SLAM à contraintes multiples. Une approche générique est utilisée pour concevoir le framework afin de gérer une multitude de configurations liées aux différentes contraintes des problèmes de SLAM. Un intérêt tout particulier a été porté à la faible consommation de ressources (mémoire et CPU) tout en conservant une grande portabilité. De plus, la méta-programmation est utilisée pour générer automatiquement et spécifiquement les parties les plus complexes du code en fonction du problème à résoudre. La bibliothèque d’optimisation LMA qui a été développée au cours de cette thèse est mise à disposition de la communauté en open-source. Des expérimentations sont présentées à la fois sur des données de synthèse et des données réelles. Un comparatif exhaustif met en évidence les performances de la bibliothèque LMA face aux alternatives les plus utilisées de l’état de l’art. De plus, le framework de SLAM est utilisé sur des problèmes impliquant une difficulté et une quantité de contraintes croissantes. Les applications de robotique mobile et de Réalité Augmentée mettent en évidence des performances temps réel et un niveau de précision qui croît avec le nombre de contraintes utilisées. / This report describes my thesis work conducted within the ComSee (Computers That See) team related to the ISPR axis (ImageS, Perception Systems and Robotics) of Institut Pascal. It was financed by the Auvergne Région and the European Fund of Regional Development. The thesis was motivated by localization issues related to Augmented Reality and autonomous navigation. The framework developed during this thesis is a generic approach to implement SLAM algorithms : Simultaneous Localization And Mapping. The proposed approach use multiple constraints in the localization and mapping processes. Those constraints come from sensors data and also from knowledge given by the application context. Each constraint is used into one optimization algorithm in order to improve the estimation of the motion and the accuracy of the map. Three problems have been tackled. The first deals with constraints on the map to accurately estimate the pose of 3D objects partially known in the environment. The second problem is about merging multiple heterogeneous and asynchronous data coming from different sensors using an optimization algorithm. The last problem is to write an efficient and real-time implementation of the SLAM problem using multiple constraints. A generic approach is used to design the framework and to generate different configurations, according to the constraints, of each SLAM problem. A particular interest has been put in the low computational requirement (in term of memory and CPU) while offering a high portability. Moreover, meta-programming techniques have been used to automatically and specifically generate the more complex parts of the code according to the given problem. The optimization library LMA, developed during this thesis, is made available of the community in open-source. Several experiments were done on synthesis and real data. An exhaustive benchmark shows the performances of the LMA library compared to the most used alternatives of the state of the art. Moreover, the SLAM framework is used on different problems with an increasing difficulty and amount of constraints. Augmented Reality and autonomous navigation applications show the good performances and accuracies in multiple constraints context.

Cette dissertation décrit le design, implémentation et évaluation de nouvelles applications en Réalité Augmentée Spatiale (RAS). Ces applications sont concentrées sur l’amélioration du dessin physique tel que les dessins au crayons ou peintures en projetant des outils numériques.Tout d’abord, nous décrivons notre système de RAS et ses possibilités. Il prend en comptes les paramètres internes et externes d’un couple caméra/projecteur pour permettre une projection précise sur des feuilles de papier. De plus, il permet la détection du toucher des feuilles et de la position de la main au dessus de celles-ci grâce à une caméra de profondeur. Par conséquent, il permet la création d’écrans tactiles interactifs sur des feuilles de papier posées sur une table.Ensuite, nous nous penchons sur la création d’art visuel, plus précisément sur les premières étapes de la création quand l’artiste créer la structure. Nous offrons la possibilité de créer et d’éditer des lignes de construction numériques (LCN) projetées sur le papier. Ces outils sont des outils de Réalité Augmentée (RA), c’est-à-dire qu’ils s’ajoutent aux outils existants: toute l’interface utilisateur est sur la table, et l’utilisateur n’utilise jamais ni une souris, ni un clavier ni un écran. En plus des simples LCN (lignes et courbes), nous proposons une spécialisation pour les dessins spécifiques tels que les dessins en perspective, les dessins de personnages ainsi que les dessins à partir d’un modèle 3D. Nous proposons de nouvelles méthodes pour afficher et interagir avec des objets 3D sur papier. Nous proposons également de créer des dessins mixtes:art visuel interactif qui tire parti à la fois des possibilités physiques et numériques.Pour finir, nous décrivons des nouveaux usages pour notre système de RAS de nombreux contextes différents à travers des démonstrations publiques. L’acceptabilité de ce genre de système a été très bonne, et “magique” par la plupart des utilisateurs. Ils ont juste vu et interagis avec des feuilles de papier sans remarquer le système de projection et suivi. / This dissertation presents the design, implementation, and evaluation of novel SpatialAugmented Reality (SAR) applications. These applications focus on enhancing physical drawingsuch as pencil drawing or painting by the projection of digital tools.First, we describe our tabletop SAR system and its possiblities. It takes into account thecamera and projector internal and external parameters to enable precise projection onto trackedsheets of paper. In addition to this, we enable touch and hand detection over the table with adepth camera. Consequently, it enables the creation of interactive touch screens on the pieces ofpaper on a table.Next, we focus on the creation of visual art, more precisely the first steps of creation whenthe artist structures it. We enable the creation and edition of digital construction lines (DCL)that are projected onto the paper. These tools are Augmented Reality (AR) tools, i.e., theyadd to existing tools: the whole user interface is on the table and the user never uses a mouse,keyboard or screen. In addition to the simple DLC (lines and curves), we propose to specializethem for specific drawings such as perspective drawing, character drawing and drawing from a3D model. We propose a novel way to display and interact with 3D objects on paper. We alsopropose to create mixed media drawing: it enables the creation of interactive visual art thattakes advantage from both the physical and digital possiblities.Finally, we describe new usages for our SAR system in many different contexts throughpublic exhibitions. The acceptability of such systems was found very good and “magical” bymost of the users. They only saw and interacted with interactive pieces of paper without noticingthe projection and tracking system.

Ces travaux de thèse sont une contribution au projet de réalisation de matrices actives photoniques dans le cadre de la confection de lunettes à réalité augmentée. Un état de l’art des dispositifs actuels nous a permis de montrer l’encombrement engendré par l’utilisation d’un projecteur situé sur la monture. Pour s’en abstenir, l’utilisation du verre de lunette comme source d’image est limitée par la transparence des matrices actives classiques adressant un signal électrique avec des matériaux métalliques. L’utilisation de la photonique pour adresser chacun des pixels avec un signal optique guidée dans des matériaux diélectriques pourrait permettre d’en optimiser la transmission. Dans ce contexte, nos travaux concernent l’étude et la réalisation expérimentale de dispositifs incluant un guide d’onde et un système d’extraction activable. L'objectif est, d'une part, de sélectionner les matériaux et procédés technologiques adaptés pour former des lignes d'adressage photoniques et, d'autre part, d'associer les composants réalisés avec des éléments actifs permettant d’initier ou non l’extraction d’un guide d’onde. Le dispositif doit être transparent dans le visible afin de respecter les contraintes liées au secteur de l'optique ophtalmique. Dans un premier axe de recherche, des réseaux de diffraction micrométriques sont réalisés grâce au développement d’un procédé de photolithographie sur verre avant d’être imprégnés de cristaux liquides via la formation de cellules. La caractérisation, en transmission, des dispositifs formés permet d’étudier la capacité des molécules de cristal liquide à moduler l'intensité de diffraction pour passer d’un état diffractant à un état non diffractant. Une extinction de la diffraction de 90 à 99,9% selon l'épaisseur des structures est finalement mesurée avec l’application d’un champ électrique dans la cellule. La comparaison de ces résultats avec des calculs numériques permet de confirmer l’alignement des molécules à l’intérieur de la structure ainsi que leurs mobilités sous l’effet d’un champ électrique. Ce principe est, dans un second temps, étudié avec des composants photoniques et la réalisation de GMRF (Guided Mode Resonance Filter), association d'un guide d'onde et d'un réseau de diffraction. Des matériaux issus de la chimie sol-gel sont utilisés pour former des guides d'onde planaires et le développement d’un procédé de lithographie par nano-impression nous a permis d’obtenir les structures nanométriques requises. Divers bancs de caractérisation optique sont alors mis en place pour aboutir à plusieurs méthodes de couplage permettant d’obtenir une onde guidée dans le visible. Finalement, nous avons mesuré une modulation de 90% de l’intensité extraite par le GMRF via l’activation des cristaux liquides. / Ces travaux de thèse sont une contribution au projet de réalisation de matrices actives photoniques dans le cadre de la confection de lunettes à réalité augmentée. Un état de l’art des dispositifs actuels nous a permis de montrer l’encombrement engendré par l’utilisation d’un projecteur situé sur la monture. Pour s’en abstenir, l’utilisation du verre de lunette comme source d’image est limitée par la transparence des matrices actives classiques adressant un signal électrique avec des matériaux métalliques. L’utilisation de la photonique pour adresser chacun des pixels avec un signal optique guidée dans des matériaux diélectriques pourrait permettre d’en optimiser la transmission. Dans ce contexte, nos travaux concernent l’étude et la réalisation expérimentale de dispositifs incluant un guide d’onde et un système d’extraction activable. L'objectif est, d'une part, de sélectionner les matériaux et procédés technologiques adaptés pour former des lignes d'adressage photoniques et, d'autre part, d'associer les composants réalisés avec des éléments actifs permettant d’initier ou non l’extraction d’un guide d’onde. Le dispositif doit être transparent dans le visible afin de respecter les contraintes liées au secteur de l'optique ophtalmique. Dans un premier axe de recherche, des réseaux de diffraction micrométriques sont réalisés grâce au développement d’un procédé de photolithographie sur verre avant d’être imprégnés de cristaux liquides via la formation de cellules. La caractérisation, en transmission, des dispositifs formés permet d’étudier la capacité des molécules de cristal liquide à moduler l'intensité de diffraction pour passer d’un état diffractant à un état non diffractant. Une extinction de la diffraction de 90 à 99,9% selon l'épaisseur des structures est finalement mesurée avec l’application d’un champ électrique dans la cellule. La comparaison de ces résultats avec des calculs numériques permet de confirmer l’alignement des molécules à l’intérieur de la structure ainsi que leurs mobilités sous l’effet d’un champ électrique. Ce principe est, dans un second temps, étudié avec des composants photoniques et la réalisation de GMRF (Guided Mode Resonance Filter), association d'un guide d'onde et d'un réseau de diffraction. Des matériaux issus de la chimie sol-gel sont utilisés pour former des guides d'onde planaires et le développement d’un procédé de lithographie par nano-impression nous a permis d’obtenir les structures nanométriques requises. Divers bancs de caractérisation optique sont alors mis en place pour aboutir à plusieurs méthodes de couplage permettant d’obtenir une onde guidée dans le visible. Finalement, nous avons mesuré une modulation de 90% de l’intensité extraite par le GMRF via l’activation des cristaux liquides.

長期以來，國小圖書館受限於經費及人力的不足，使得其功能無法充分發揮，有些學校圖書館甚至沒有規劃圖書館利用教育的課程，學生雖可到圖書館中自由閱讀，但若不具備找尋圖書的能力，常會因而無法找到自己有興趣的書籍而在廣大的書海中迷失，使圖書館的功能逐漸喪失，因此如何藉由圖書館利用教育課程教導學生找尋書本的能力也就越顯重要。 隨著電腦科技日益發達，學習教材和學習方式也變得多元化，近年來利用遊戲方式進行學習的研究有愈來愈多的趨勢，學者認為若能將遊戲融合教學，將能達到寓教於樂的教學目標。本研究透過實際開發遊戲系統的方式，嘗試以情境學習理論為發展基礎，將擴增實境互動技術應用到圖書館的學習環境上，透過「遊戲互動擴增實境圖書館利用教育學習系統」的建置，來發展創新的圖書館利用教育學習模式，並藉此系統的發展來支援國小圖書館利用教育的實施。 實驗結果顯示利用「遊戲互動擴增實境圖書館利用教育系統」進行學習，各方面成績皆有顯著的進步，且學習成效可排除授課者個人因素之影響，具有穩定的教學品質。另外，本研究所發展的系統，對於高、低分群和場地相依的學習者來說，使用本系統進行學習，其學習成效在「應用型題目」上明顯優於傳統圖書館利用教育，並且可以加強學習者學習動機。除此之外，使用本系統之教學成效不會受到個人使用電腦的熟悉度所影響，因此未來在發展和推廣本系統的同時，不需要考慮學生是否具備良好之基本電腦使用能力。 / Due to the limited budgets and human resources, most libraries in the elementary schools of Taiwan have been unable fully functioned and utilized as its role should be in school organization. Some schools do not plan and provide library utilization education for children. Although students can go to libraries enjoying readings, they are not well trained for search library collection and resources. As a result, they are usually unable to find the books they are interested and easily getting lost in enormous information environment. This study proposes the importance of library usage training as a significant program in elementary school; promoting students’ abilities of finding books they need both for school works and personal interests. With the advance in computer technology, the learning materials and learning methods have become diversified in recent years. In particular, the instruction method of game-based learning has drawn much attention in education research. Many education researchers and scholars think the integration of teaching and games will promotes students’ performances while the learning activities are also functioned as entertaining process. This study attempts to develop educational gaming system on the basis of situated learning theory, adopting the innovative augmented reality interactive technology on the library's learning environment. This study hopes students’ library knowledge of library usages could be promoted through the "Interactive Augmented Reality Games Library Education Learning System." Moreover, the study could develop innovative learning model for elementary schools in library usages as well as to support future implementation programs for elementary library usage education. Experimental results show that students have significant improvement on learning performance after using "Interactive Augmented Reality Games Library Education Learning System." The assessment also showed improvement based on the exclusion of personal factors from teachers. In addition, this system promotes better learning performance and motivation for learners of high and Low graded groups as well as the field-dependent learners in the “application questions” tasks. Moreover, the education effectiveness of this system will not be affected by personal factors such as familiarity on computers skills. Therefore, there would be less consideration on students’ computer skills needed for future adoption on this system in library usage programs.

<p>This thesis presents a set of concepts and a general design approach for designing Mixed Reality environments based on the idea that the physical (real) world and the virtual (digital) world are equally important and share many properties. Focus is on the design of a technology infrastructure intended to relieve people from some of the extra efforts currently needed when performing activities that make heavy use of both worlds. An important part of the proposed infrastructure is the idea of creating Physical-Virtual Artefacts, objects manifested in the physical and the virtual world at the same time.</p><p>The presented work challenges the common view of Human-Computer Interaction as a research discipline mainly dealing with the design of “user interfaces” by proposing an alternative or complementary view, a physical-virtual design perspective, abstracting away the user interface, leaving only physical and virtual objects. There are at least three motives for adopting such a design perspective: 1) people well acquainted with specific (physical and virtual) environments are typically more concerned with the manipulation of (physical and virtual) objects than the user interface through which they are accessed. 2) Such a design stance facilitates the conceptualisation of objects that bridge the gap between the physical and the virtual world. 3) Many physical and virtual objects are manifested in both worlds already today. The existing conceptual link between these physical and virtual objects has only to be complemented with causal relations in order to reduce the costs in crossing the border between the physical and the virtual world.</p><p>A range of concepts are defined and discussed at length in order to frame the design space, including<i> physical-virtual environment gap, physical-virtual activity, physical-virtual artefact, </i>and<i> physical-virtual environment</i>.</p><p>Two conceptual models of physical-virtual space are presented as a result of adopting the physical-virtual design perspective: for the analysis of object logistics in the context of physical-virtual activities, and for describing structural properties of physical-virtual space respectively. A prototype system offering some degree of physical-virtual infrastructure is also presented.</p>

This thesis presents a set of concepts and a general design approach for designing Mixed Reality environments based on the idea that the physical (real) world and the virtual (digital) world are equally important and share many properties. Focus is on the design of a technology infrastructure intended to relieve people from some of the extra efforts currently needed when performing activities that make heavy use of both worlds. An important part of the proposed infrastructure is the idea of creating Physical-Virtual Artefacts, objects manifested in the physical and the virtual world at the same time. The presented work challenges the common view of Human-Computer Interaction as a research discipline mainly dealing with the design of “user interfaces” by proposing an alternative or complementary view, a physical-virtual design perspective, abstracting away the user interface, leaving only physical and virtual objects. There are at least three motives for adopting such a design perspective: 1) people well acquainted with specific (physical and virtual) environments are typically more concerned with the manipulation of (physical and virtual) objects than the user interface through which they are accessed. 2) Such a design stance facilitates the conceptualisation of objects that bridge the gap between the physical and the virtual world. 3) Many physical and virtual objects are manifested in both worlds already today. The existing conceptual link between these physical and virtual objects has only to be complemented with causal relations in order to reduce the costs in crossing the border between the physical and the virtual world. A range of concepts are defined and discussed at length in order to frame the design space, including physical-virtual environment gap, physical-virtual activity, physical-virtual artefact, and physical-virtual environment. Two conceptual models of physical-virtual space are presented as a result of adopting the physical-virtual design perspective: for the analysis of object logistics in the context of physical-virtual activities, and for describing structural properties of physical-virtual space respectively. A prototype system offering some degree of physical-virtual infrastructure is also presented.

Traditional methods of input on mobile devices are cumbersome and difficult to use. Devices have become smaller, while their operating systems have become more complex, to the extent that they are approaching the level of functionality found on desktop computer operating systems. The buttons and toggle-sticks currently employed by mobile devices are a relatively poor replacement for the keyboard and mouse style user interfaces used on their desktop computer counterparts. For example, when looking at a screen image on a device, we should be able to move the device to the left to indicate we wish the image to be panned in the same direction. This research investigates a new input model based on the natural hand motions and reactions of users. The model developed by this work uses the generic embedded video cameras available on almost all current-generation mobile devices to determine how the device is being moved and maps this movement to an appropriate action. Surveys using mobile devices were undertaken to determine both the appropriateness and efficacy of such a model as well as to collect the foundational data with which to build the model. Direct mappings between motions and inputs were achieved by analysing users' motions and reactions in response to different tasks. Upon the framework being completed, a proof of concept was created upon the Windows Mobile Platform. This proof of concept leverages both DirectShow and Direct3D to track objects in the video stream, maps these objects to a three-dimensional plane, and determines device movements from this data. This input model holds the promise of being a simpler and more intuitive method for users to interact with their mobile devices, and has the added advantage that no hardware additions or modifications are required the existing mobile devices.

The purpose of the project is to create a Mixed Reality (MR) application for the 3D visualisation of the result of a breast reconstruction surgery. The application is to be used before surgery to facilitate communication between patient an surgeon about the expected result. To this purpose Microsoft HoloLens is used, which is a pair of Mixed Reality (MR) glasses developed and manufactured by Microsoft that has a self-contained, holographic rendering computer. For the development of the MR application on the Hololens, MixedRealityToolkit-Unity is used which is a Unity-based toolkit available. The goal of the application is that the user can scan a torso of a patient, render a hologram of the torso and attach to it a prefabricated breast which possibly follows the patient's specification. To prepare a prefabricated breast, a 3D model of the breast is first created in the 3D modelling software Blender. It then gets its texture from a picture taken with the HoloLens camera. The picture is cropped to better fit the model and uploaded as a 2D texture which is then attached to the prefabricated breast, which is imported into Unity. To scan objects, the HoloLens’s operating system feature Surface Observer is used. The resulting mesh from the observer is cropped using a virtual cube, scaled, moved and rotated by the user. The cropped mesh is then smoothed using the Humphrey's Classes smoothing algorithm. To fuse the smoothed mesh with the prefabricated breast model, the Unity components: Colliders and Transforms are used. On a collision the breast's transform parent is set to the mesh’s transform, making the objects transforms behave depending on each other. The MR application has been developed and evaluated. The evaluation results show that the goal has been achieved successfully. The project demonstrates that the Microsoft HoloLens is well suited for developing such medical applications as breast reconstructive surgery visualisations. It can possibly be extended to other surgeries such as showing on a patient’s body how the scar will look after a heart surgery, or a cesarean section.