Spelling suggestions: "subject:"[een] MIXED REALITY"" "subject:"[enn] MIXED REALITY""
121 |
<b>PROTOTYPING A LOW-COST VIRTUAL REALITY (VR) ROBOTIC SURGICAL TRAINER</b>Abhinav Ajith (19180198) 20 July 2024 (has links)
<p dir="ltr">Robotic surgery has transformed the landscape of minimally invasive procedures, offering unmatched precision and quicker patient recovery times. Despite all these advancements, training surgeons to use these sophisticated surgical systems effectively remains a daunting challenge, primarily due to high costs, limited accessibility, increased learning curve, and inconsistent training quality. Existing training modalities are limited by the high costs of original training robots, logistical challenges, lack of emphasis on hand movements, the necessity of expert presence, and limited scalability and effectiveness. This thesis introduces TrainVR, a low-cost based training system designed to overcome these hurdles and enhance the skillset of surgical trainees. TrainVR integrates affordable Virtual Reality (VR) technology with enhanced fidelity, creating an engaging and realistic training environment. TrainVR is designed to simulate realistic surgical environments and procedures, focusing on the development of motor, cognitive, and spatial skills for tasks required for robotic surgery through computer vision algorithms, gamified environments, performance analytics, and supporting both asynchronous and remote expert-led training scenarios. This system features customizable training modules, enabling trainees to practice a wide array of surgical procedures in a safe, virtual setting. The device also focuses on the importance of user’s hand, clutch, and ergonomics during surgical training which is crucial based on feedback from surgeons. The development of TrainVR involved crafting detailed 3D models of surgical instruments and anatomical structures, by integrating hardware, software and designing a user-friendly interface. We conducted testing with different game environments which compare the performance of the users and provide insights to improve the learning. The thesis concludes by experimenting and proposing new configurations to improve the fidelity and hand tracking which should closely match with the experience provided by the present training simulators at a substantially lower cost. TrainVR’s scalable design and compatibility with standard VR hardware make it accessible to a wide range of institutions, including those with limited resources. By offering a cost-effective, immersive, and adaptive training solution, TrainVR aims to enhance surgical education and ultimately improve patient care outcomes.</p>
|
122 |
REALIDADE MISTA E MEIO EXPOSITIVO NA ARTE CONTEMPORÂNEA: INSITU<>INFLUXU / MIXED REALITY AND EXHIBITION MEDIUM IN CONTEMPORARY ART: INSITU<>INFLUXCasimiro, Giovanna Graziosi 02 December 2015 (has links)
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / This research in the field of theory and history of contemporary art, study configuration modes of Mixed Reality in the exhibition place and the consolidation of Exhibition Medium, structured by technological dynamics. Aims to discuss the cycle of relations among public<>artwork<>mediums presented as an explanation that how the elements of the Exhibition Medium works, and it‟s result is the dynamic insitu<>influx. The interactive artworks ARART and Extinction, the exhibition WeARinMoMA, the Krakow National Museum, the Museum of London and the project Talking Statues, contribute to think the specific conditions of an interactive Exhibition Medium, which dynamic create a constant transitions of power and sensibility. Emerging from the context of Art and Technology, applications of Mixed Reality are analyzed in institutional places, whose examples help to classify and understand how the space unfolds through many realities and the constant transition between the virtual and the physical dimension. / Esta pesquisa, no campo da teoria e história da arte contemporânea, estuda modos de configuração da Realidade Mista no espaço de exposição e a consolidação do Meio Expositivo. As propostas dos termos ciclo de relações público<>obra<>meio (explica o modo como os elementos do Meio Expositivo se relacionam) e dinâmica insitu<>influxu abrem uma discussão pontual sobre o espaço artístico como meio interativo. A partir do contexto em Arte e Tecnologia, são analisados exemplos de aplicação de Realidade Mista em espaços institucionais, que apontam a pertinência das concepções apontadas. São analisadas as obras de arte ARART e Extinção, os museus MoMA, Museu Nacional da Cracóvia e Museu de Londres, e o projeto Talking Statues, desenvolvido na zona urbana de Londres. Os exemplos permitem compreender a maneira como o espaço se desdobra através de muitas realidades e também a permeabilidade entre o mundo virtual e o físico.
|
123 |
Jeux pédagogiques collaboratifs situés : conception et mise en oeuvre dirigées par les modèlesDelomier, Florent 10 December 2013 (has links)
Un jeu pédagogique constitue une déclinaison relative à l’apprentissage du concept de jeu sérieux (serious game). Ce type d'outil permet la ludification (gamification) de l'activité afin d'utiliser des éléments de jeu dans un contexte non ludique et conduit à catalyser l’attention, faire accroître l’engagement et augmenter la motivation des joueurs-apprenants dans les situations d’apprentissage. Les jeux pédagogiques reposent sur la mise en situation et l’immersion des apprenants, utilisant les ressorts ludiques dans des simulations axées vers la résolution de problèmes. Parmi des recherches antérieures, certains retours d’expériences font écho d’une trop grande artificialité de l’activité notamment par manque de contextualisation de l’apprentissage dans l’environnement d’utilisation des connaissances apprises. Nous avons proposé la mise en place un environnement mixte (physique et numérique) et l’utilisation de techniques collaboratives pour raffiner l’approche pédagogique. Ces orientations nous ont menés à la mise en place de ce que nous appelons des «Jeux Pédagogiques Collaboratifs Situés » (JPCS). Les deux questions de recherche qui nous ont été posées dans le cadre du projet SEGAREM et qui sont devenues les nôtres sont : 1/ comment accompagner les jeux sérieux par l’approche Réalité Augmentée (RA) et l'approche Interface Tangible (IT)? 2/ comment rendre la conception et la mise en œuvre des JPCS (Jeux Pédagogiques Collaboratifs Situés) plus explicite et plus systématique ? Les réponses que nous présentons dans cette thèse sont les suivantes : 1/ la conception et la mise en œuvre des pupitres interactifs supportant des objets réels augmentés, associés à un protocole de communication existant, proposant un support générique des techniques d’interaction détectée et de prise en compte du contexte physique d’utilisation ; 2/ une approche de production de JPCS se situant après l’étape de scénarisation ludo-pédagogique qui constitue notre cahier des charges. Nous avons basé notre approche sur des modèles pour permettre un support d’expression qui précise les caractéristiques des JPCS. Ces modèles sont soutenus par des éditeurs contextuels et produisent comme résultat des fichiers de descriptions en XML. La projection des descriptions obtenues sur une architecture générique d’exécution du JPCS permet une spécialisation pour obtenir une version exécutable. Dans les six modèles, certains sont adaptés des travaux antérieurs de l’équipe, d'autres issues de la littérature et les derniers sont directement proposés ici. Ces six modèles décrivent l’activité (un modèle d’orchestration de l’activité et un modèle de tâches), la structure de différents environnements, l’état initial de l’environnement et les conditions nécessaires d’un état final et les interactions possibles entre les joueurs et l’environnement. Nos travaux tant sur les pupitres que sur les modèles et le support d’exécution ont été concrétisés dans la mise en place de Lea(r)nIt. Ce JPCS avait pour but de consolider des acquis méthodologiques en Lean Manufacturing par l’utilisation et l’optimisation d’une chaîne de production simulée sur pupitres (supportant interactions tactiles, interactions tangibles et pouvant être assemblés) et sur téléphones mobiles (permettant la mobilité des joueurs-apprenants). / A Learning game is a declension of the serious game concept dedicated to the learning activity. A Learning game is based on a scenario and immersion of the learners with use of game mechanics on problem based simulation. The gamification concept is the use of game elements in a non-playful activity with as impact attention, motivation and engagement. However, some research feedback explains that too much artificiality on learning activity caused by a lack of contextualization of the activity on the professional environment. We propose to use Mixed Reality and Collaborative Supported Computer Work as technological solution to support situated and collaborative situation in aim to enhance pedagogical strategy and allow a better learning. We call it “Situated Collaborative Learning Game” (SCLG) as a concept of pedagogical tools to enhance learning of content with use of collaborative learning (when learners interactions is useful to learn), situated learning (when the environment context is meaningful) and human-physical objet interaction (with use of mixed reality, with kinesthetic and tangible interaction in augmented reality) and game based learning (when learner's motivation is improved by the learning activity). In these contexts, our two research questions are: 1 / How to create a serious games support by use of Augmented Reality (AR) approach and Tangible Interface (IT) approach? 2 / How to make design and development of SCLG (situated collaborative learning game) more explicit and systematic? We propose two solutions: 1/ the design and the production of four interactive desks with support of tangible interaction on and above the table. These devices are linked to a communication protocol which allows a generic support of technical interaction. 2/ A generic way to design the CSLG system, with integration of advanced human computer interaction support (as augmented reality and tangible interaction) and ubiquitous computing in Learning Games. For that, we propose, with a user centered oriented and model oriented design, a way to make a CSLG factory. For that, we propose use of six models to determinate the behavior of the CSLG. These six models describe learners’ activity (with use of three different models to follow the activity theory’s), the mixed game environment, deployment of entities on the environment, and human computer interactions. All of these models are linked by an orchestration model and can be project on a multi-agent multi-layers architecture by use of XML description file. We propose tools to help each step of our design and production process. Our work on interactive desks, on the six models and on the runtime support has been realized in the production of Lea(r)nIT. This SCLG consolidate methodological knowledge of Lean Manufacturing by use and optimization of a simulated chain production on four desks (which support touch and tangible interactions and can be assembled) and on mobile phones (to allow movement of learners).
|
124 |
Etudes de méthodes et outils pour la cohérence visuelle en réalité mixte appliquée au patrimoine / Studies of methods and tools for the really mixed visual coherence applied to the patrimonyDurand, Emmanuel 19 November 2013 (has links)
Le travail présenté dans ce mémoire a pour cadre le dispositif de réalité mixte ray-on, conçu par la société on-situ. Ce dispositif, dédié à la mise en valeur du patrimoine architectural et en particulier d'édifices historiques, est installé sur le lieu de l'édifice et propose à l'utilisateur une vision uchronique de celui-ci. Le parti pris étant celui du photo-réalisme, deux pistes ont été suivies : l'amélioration du mélange réel virtuel par la reproduction de l'éclairage réel sur les objets virtuels, et la mise en place d'une méthode de segmentation d'image résiliente aux changements lumineux.Pour la reproduction de l'éclairage, une méthode de rendu basé-image est utilisée et associée à une capture haute dynamique de l'environnement lumineux. Une attention particulière est portée pour que ces deux phases soient justes photométriquement et colorimétriquement. Pour évaluer la qualité de la chaîne de reproduction de l'éclairage, une scène test constituée d'une mire de couleur calibrée est mise en place, et capturée sous de multiples éclairages par un couple de caméra, l'une capturant une image de la mire, l'autre une image de l'environnement lumineux. L'image réelle est alors comparée au rendu virtuel de la même scène, éclairée par cette seconde image.La segmentation résiliente aux changements lumineux a été développée à partir d'une classe d'algorithmes de segmentation globale de l'image, considérant celle-ci comme un graphe où trouver la coupe minimale séparant l'arrière plan et l'avant plan. L'intervention manuelle nécessaire à ces algorithmes a été remplacée par une pré-segmentation de moindre qualité à partir d'une carte de profondeur, cette pré-segmentation étant alors utilisée comme une graîne pour la segmentation finale. / The work described in this report has as a target the mixed reality device ray-on, developed by the on-situ company. This device, dedicated to cultural heritage and specifically architectural heritage, is meant to be installed on-site and shows the user an uchronic view of its surroundings. As the chosen stance is to display photo-realistic images, two trails were followed: the improvement of the real-virtual merging by reproducing accurately the real lighting on the virtual objects, and the development of a real-time segmentation method which is resilient to lighting changes.Regarding lighting reproduction, an image-based rendering method is used in addition to a high dynamic range capture of the lighting environment. The emphasis is put on the photometric and colorimetric correctness of these two steps. To measure the quality of the lighting reproduction chain, a test scene is set up with a calibrated color checker, captured by a camera while another camera is grabbing the lighting environment. The image of the real scene is then compared to the simulation of the same scene, enlightened by the light probe.Segmentation resilient to lighting changes is developed from a set of global image segmentation methods, which consider an image as a graph where a cut of minimal energy has to be found between the foreground and the background. These methods being semi-automatic, the manual part is replaced by a low resolution pre-segmentation based on the depthmap of the scene which is used as a seed for the final segmentation.
|
125 |
one reality : augmenting the human experience through the combination of physical and digital worlds / Une réalité : augmenter l'expérience humaine à travers la convergence des mondes physiques et numériquesRoo, Joan sol 15 December 2017 (has links)
Alors que le numérique a longtemps été réservé à des usages experts, il fait aujourd’hui partie intégrante de notre quotidien, au point, qu’il devient difficile de considérer le monde physique dans lequel nous vivons indépendamment du monde numérique. Pourtant, malgré cette évolution, notre manière d’interagir avec le monde numérique a très peu évolué, et reste toujours principalement basé sur l’utilisation d’écrans, de claviers et de souris. Dans les nouveaux usages rendus possible par le numérique, ces interfaces peuvent se montrer inadaptées, et continuent à préserver la séparation entre le monde physique et le monde numérique. Au cours de cette thèse, nous nous sommes concentrés à rendre cette frontière entre mondes physique et numérique plus subtil au point de la faire disparaître. Cela est rendu possible en étendant la portée des outils numériques dans le monde physique, puis en concevant des artefacts hybrides (des objets aux propriétés physique et numérique), et enfin en permettant les transitions dans une réalité mixte (physique-numérique), laissant le choix du niveau d’immersion à l’utilisateur en fonction de ses besoins. L’objectif final de ce travail est d’augmenter l’expérience de la réalité. Cela comprend non seulement le support de l’interaction avec le monde extérieur, mais aussi avec notre monde intérieur. Cette thèse fournit aux lecteurs les informations contextuelles et les connaissances techniques requises pour pouvoir comprendre et concevoir des systèmes de réalité mixte. A partir de ces fondements, nos contributions, ayant pour but de fusionner le monde physique et le monde virtuel, sont présentées. Nous espérons que ce document inspirera et facilitera des travaux futurs ayant pour vision d’unifier le physique et le virtuel. / In recent history, computational devices evolved from simple calculators to now pervasive artefacts, with which we share most aspects of our lives, and it is hard to imagine otherwise. Yet, this change of the role of computers was not accompanied by an equivalent redefinition of the interaction paradigm: we still mostly depend on screens, keyboards and mice. Even when these legacy interfaces have been proven efficient for traditional tasks, we agree with those who argue that these interfaces are not necessarily fitting for their new roles. Even more so, traditional interfaces preserve the separation between digital and physical realms, now counterparts of our reality.During this PhD, we focused the dissolution of the separation between physical and digital, first by extending the reach of digital tools into the physical environment, followed by the creation of hybrid artefacts (physical-digital emulsions), to finally support the transition between different mixed realities, increasing immersion only when needed. The final objective of this work is to augment the experience of reality. This comprises not only the support of the interaction with the external world, but also with the internal one. This thesis provides the reader contextual information along with required technical knowledge to be able to understand and build mixed reality systems. Once the theoretical and practical knowledge is provided, our contributions towards the overarching goal of merging physical and digital realms are presented. We hope this document will inspire and help others to work towards a world where the physical and digital, and humans and their environment are not opposites, but instead all counterparts of a unified reality.
|
126 |
Labyrinth psychotica : simulating psychotic phenomenaKanary Nikolova, Jennifer January 2016 (has links)
This thesis forms a valuable tool of analysis, as well as an important reference guide to anyone interested in communicating, expressing, representing, simulating and or imagining what it is like to experience psychotic phenomena. Understanding what it is like to experience psychotic phenomena is difficult. Those who have experience with it find it hard to describe, and those who do not have that experience find it hard to envision. Yet, the ability to understand is crucial to the interaction with a person struggling with psychotic experiences, and for this help is needed. In recent years, the psychosis simulation projects Mindstorm, Paved with Fear, Virtual Hallucinations and Living With Schizophrenia have been developed as teaching and awareness tools for mental health workers, police, students and family members, so that they can better understand psychotic phenomena. These multimedia projects aim to improve understanding of what a person in psychosis is going through. This thesis represents a journey into taking a closer look at their designs and comparing them to biographical and professional literature. In doing so, throughout the chapters, a set of considerations and design challenges have been created that need to be taken into account when simulating psychosis. After a series of artistic case study labyrinths, Suicide Pigeon, Intruder, and Intruder 2.0, two final ‘do-it-yourself-psychosis’ projects have been created that have taken the aspects collected into account: The Labyrinth and The Wearable. Together these two projects form experiences that may be considered analogous to psychotic experiences. My original contribution to knowledge lies, on the one hand, within the function that both The Labyrinth and The Wearable have on a person’s ability to gain a better understanding of what it feels like to be in psychosis, and on the other hand within the background information provided on the context and urgency of psychosis simulation, how the existing simulations may be improved, and how labyrinthine installation art may contribute to these improvements.
|
127 |
Augmented virtuality:transforming real human activity into virtual environmentsPouke, M. (Matti) 11 August 2015 (has links)
Abstract
The topic of this work is the transformation of real-world human activity into virtual environments. More specifically, the topic is the process of identifying various aspects of visible human activity with sensor networks and studying the different ways how the identified activity can be visualized in a virtual environment.
The transformation of human activities into virtual environments is a rather new research area. While there is existing research on sensing and visualizing human activity in virtual environments, the focus of the research is carried out usually within a specific type of human activity, such as basic actions and locomotion. However, different types of sensors can provide very different human activity data, as well as lend itself to very different use-cases. This work is among the first to study the transformation of human activities on a larger scale, comparing various types of transformations from multiple theoretical viewpoints.
This work utilizes constructs built for use-cases that require the transformation of human activity for various purposes. Each construct is a mixed reality application that utilizes a different type of source data and visualizes human activity in a different way. The constructs are evaluated from practical as well as theoretical viewpoints.
The results imply that different types of activity transformations have significantly different characteristics. The most distinct theoretical finding is that there is a relationship between the level of detail of the transformed activity, specificity of the sensors involved and the extent of world knowledge required to transform the activity. The results also provide novel insights into using human activity transformations for various practical purposes. Transformations are evaluated as control devices for virtual environments, as well as in the context of visualization and simulation tools in elderly home care and urban studies. / Tiivistelmä
Tämän väitöskirjatyön aiheena on ihmistoiminnan muuntaminen todellisesta maailmasta virtuaalitodellisuuteen. Työssä käsitellään kuinka näkyvästä ihmistoiminnasta tunnistetaan sensoriverkkojen avulla erilaisia ominaisuuksia ja kuinka nämä ominaisuudet voidaan esittää eri tavoin virtuaaliympäristöissä.
Ihmistoiminnan muuntaminen virtuaaliympäristöihin on kohtalaisen uusi tutkimusalue. Olemassa oleva tutkimus keskittyy yleensä kerrallaan vain tietyntyyppisen ihmistoiminnan, kuten perustoimintojen tai liikkumisen, tunnistamiseen ja visualisointiin. Erilaiset anturit ja muut datalähteet pystyvät kuitenkin tuottamaan hyvin erityyppistä dataa ja siten soveltuvat hyvin erilaisiin käyttötapauksiin. Tämä työ tutkii ensimmäisten joukossa ihmistoiminnan tunnistamista ja visualisointia virtuaaliympäristössä laajemmassa mittakaavassa ja useista teoreettisista näkökulmista tarkasteltuna.
Työssä hyödynnetään konstrukteja jotka on kehitetty eri käyttötapauksia varten. Konstruktit ovat sekoitetun todellisuuden sovelluksia joissa hyödynnetään erityyppistä lähdedataa ja visualisoidaan ihmistoimintaa eri tavoin. Konstrukteja arvioidaan sekä niiden käytännön sovellusalueen, että erilaisten teoreettisten viitekehysten kannalta.
Tulokset viittaavat siihen, että erilaisilla muunnoksilla on selkeästi erityyppiset ominaisuudet. Selkein teoreettinen löydös on, että mitä yksityiskohtaisemmasta toiminnasta on kyse, sitä vähemmän tunnistuksessa voidaan hyödyntää kontekstuaalista tietoa tai tavanomaisia datalähteitä. Tuloksissa tuodaan myös uusia näkökulmia ihmistoiminnan visualisoinnin hyödyntämisestä erilaisissa käytännön sovelluskohteissa. Sovelluskohteina toimivat ihmiskehon käyttäminen ohjauslaitteena sekä ihmistoiminnan visualisointi ja simulointi kotihoidon ja kaupunkisuunnittelun sovellusalueilla.
|
128 |
[en] IMMERSIVE VIDEO AND 3D VIRTUAL REALITY: A PATH FOR IMMERSIVE DESIGN / [pt] O VÍDEO IMERSIVO E A REALIDADE VIRTUAL 3D: UM CAMINHO PARA O DESIGN DE IMERSÃOMARCOS LUIS BARBATO 15 December 2017 (has links)
[pt] Este trabalho disserta sobre características subjetivas e técnicas do Vídeo Imersivo (VI) e da Realidade Virtual 3D (3DVR). Observa, particularmente, aspectos de uma estratégia do design realista com que ambientes são concebidos e produzidos em projetos de Realidade Virtual (VR). O Uncanny Valley (UV) é um corolário do processo criativo de personagens, representado por uma curva conceitual em que a conexão emocional ou empatia entre audiência e personagens varia de forma não linear e não diretamente proporcional em função do realismo com que estes personagens são concebidos. Dado o protagonismo dos ambientes em projetos VR, haveria um Uncanny Valley of Places? Lugares, ambientes, espaços e a cenografia virtual estão sujeitos a uma estranheza em Realidade Virtual? Neste trabalho, são apresentados dados de três ciclos de pesquisa a partir três experimentos VR que buscam responder a estas questões: 1) O experimento Immersive Bike (IB), que integra estímulos visuais em VI com estímulos hapticos sinestésicos passivos; 2) A aplicação Rio 360 VR; aplicativo imersivo; 3) Pesquisa centrada no usuário, que compara diretamente aplicações VI e 3DVR. Este trabalho aponta caminhos para apoiar o processo criativo do Designer de Interação, demonstrando que sensação de imersão não é função direta do maior ou menor realismo com que as imagens são produzidas e sim é potencializada a partir da conexão multimodal do repertório de sensações dos usuários e sua conexão com as histórias propostas pelas aplicações imersivas. / [en] This dissertation aims to present subjective and technical characteristics of Immersive Video (IV) and 3D Virtual Reality (3DVR). Observes, particularly, aspects related to a realism approach design strategy for VR environment s conception. The Uncanny Valley (UV) is a corollary of illustrated character s creative process, a conceptual curve that represents the variation of the emotional connection with characters related to its realistic properties conception. The UV refers to the base of a parabolic positive curve of this dynamic relation between empathy and realism, on which is detected a weirdness or an uncanny as much realistic the character seams. Does VR environments are subjected to an analog UV? Is there an Uncanny Valley of Places? Do places, ambients, spaces and virtual scenography is subjected to an uncanny in Virtual Reality? This work presents results of three cycles of research based on three VR experiments that aim to respond these questions: 1) The Immersive Bike experiment, which design integrates IV with kinesthetic haptics; 2) Rio 360 VR0, an immersive aplication for mobile interaction; 3) Human-centered research that compares IV and 3DVR applications. This work points a path to the Interaction Designer creative process, proposing that the immersive sensation is not directly proportional of how realistic an immersive image is produced, but is potentiated by the multimodal user s connection with the storytelling of the immersive aplication.
|
129 |
CREAME: CReation of Educative Affordable Multi-surface EnvironmentsGarcía Sanjuan, Fernando 06 April 2019 (has links)
Los juegos serios colaborativos tienen un impacto positivo en el comportamiento y el aprendizaje, pero siguen desarrollándose para plataformas tecnológicas tradicionales como videoconsolas y ordenadores de sobremesa o portátiles, los cuales han sido identificados como sub-óptimos para niños en diversos estudios. En su lugar, el uso de dispositivos móviles como tabletas y teléfonos inteligentes presenta diversas ventajas: son económicamente asequibles, están ampliamente distribuidos, y pueden ser transportados, lo cual permite la actividad física y poder iniciar un juego sin necesitar que los usuarios se trasladen a una localización fija, especialmente dedicada para tal fin. Además, combinar varios de estos dispositivos y coordinar la interacción entre ellos en lo que se denomina Entorno Multi-Pantalla (EMP) proporciona beneficios adicionales para la colaboración tales como una mayor escalabilidad, conciencia del espacio de trabajo, paralelismo y fluidez de las interacciones. La interacción en estos entornos multi-tableta es por tanto un aspecto crítico. Los dispositivos móviles están diseñados para ser interactuados mediante el toque de los dedos principalmente, lo cual es muy sencillo y directo, pero está normalmente limitado a la pequeña dimensión de las pantallas, lo que puede conllevar la oclusión de la pantalla y la infrautilización del espacio periférico. Por esta razón, esta tesis se centra en la exploración de otro mecanismo de interacción que puede complementar al táctil: interacciones tangibles alrededor del dispositivo. Las interacciones tangibles están basadas en la manipulación de objetos físicos, lo que presenta un valor adicional en la educación de los niños puesto que resuena con los manipulativos educativos tradicionales y permite la exploración del mundo físico. Por otra parte, la explotación del espacio que envuelve a las pantallas tiene diversos beneficios adicionales para actividades educativas colaborativas: reducida oclusión de la pantalla (lo cual puede incrementar la conciencia del espacio de trabajo), el uso de objetos tangibles como contenedores de información digital que puede ser transportada de forma continua entre dispositivos, y la identificación de un determinado estudiante a través de la codificación de su ID en un operador tangible (lo cual facilita el seguimiento de sus acciones y progreso durante el juego). Esta tesis describe dos enfoques distintos para construir juegos educativos colaborativos en EMPs utilizando interacciones tangibles alrededor de los dispositivos. Una, denominada MarkAirs, es una solución óptica aérea que no necesita ningún hardware adicional aparte de las tabletas excepto diversas tarjetas de cartón impresas. La otra, Tangibot, introduce un robot tangiblemente controlado y otro atrezo físico en el entorno, y se basa en tecnología RFID. Ambas interacciones son respectivamente evaluadas, y se observa que MarkAirs es usable y poco exigente tanto para adultos como para niños, y que se pueden realizar con éxito gestos de grano fino encima de las tabletas con ella. Además, al aplicarse en juegos colaborativos, puede ayudar a reducir la oclusión de las pantallas y la interferencia entre las distintas acciones de los usuarios, lo cual es un problema que puede surgir en este tipo de escenarios cuando solamente se dispone de interacciones táctiles. Se evalúa un juego educativo colaborativo con MarkAirs con niños de educación primaria, y se concluye que este mecanismo es capaz de crear experiencias de aprendizaje colaborativo y de presentar un valor añadido en términos de experiencia de usuario, aunque no en eficiencia. Con respecto a Tangibot, se muestra que controlar colaborativamente un robot móvil mediante unas palas tangibles con cierta precisión es factible para niños a partir de los tres años de edad, e incluso para personas mayores con un deterioro cognitivo leve. Además, proporciona una experiencia divertida / Collaborative serious games have a positive impact on behavior and learning, but the majority are still being developed for traditional technological platforms, e.g., video consoles and desktop/laptop computers, which have been deemed suboptimal for children by several studies. Instead, the use of handheld devices such as tablets and smartphones presents several advantages: they are affordable, very widespread, and mobile---which enables physical activity and being able to engage in a game without requiring users to gather around a fixed, dedicated, location. Plus, combining several of these devices and coordinating interactions across them in what is called a Multi-Display Environment (MDE) brings on additional benefits to collaboration like higher scalability, awareness, parallelism, and fluidity of the interaction. How to interact with these multi-tablet environments is therefore a critical issue. Mobile devices are designed to be interacted mainly via touch, which is very straightforward but usually limited to the small area of the displays, which can lead to the occlusion of the screen and the underuse of the peripheral space. For this reason, this thesis focuses on the exploration of another interaction mechanism that can complement touch: tangible around-device interactions. Tangible interactions are based on the manipulation of physical objects, which have an added value in childhood education as they resonate with traditional learning manipulatives and enable the exploration of the physical world. On the other hand, the exploitation of the space surrounding the displays has several potential benefits for collaborative-learning activities: reduced on-screen occlusion (which may increase workspace awareness), the use of tangible objects as containers of digital information that can be seamlessly moved across devices, and the identification of a given student through the encoding of their ID in a tangible manipulator (which facilitates the tracking of their actions and progress throughout the game). This thesis describes two different approaches to build collaborative-learning games for MDEs using tangible around-device interactions. One, called MarkAirs, is a mid-air optical solution relying on no additional hardware besides the tablets except for several cardboard printed cards. The other, Tangibot, introduces a tangible-mediated robot and other physical props in the environment and is based on RFID technology. Both interactions are respectively evaluated, and it is observed that MarkAirs is usable and undemanding both for adults and for children, and that fine-grained gestures above the tablets can be successfully conducted with it. Also, when applied to collaborative games, it can help reduce screen occlusion and interference among the different users' actions, which is a problem that may arise in such settings when only touch interactions are available. A collaborative learning game with MarkAirs is evaluated with primary school children, revealing this mechanism as capable of creating collaborative learning experiences and presenting an added value in user experience, although not in performance. With respect to Tangibot, we show how collaboratively controlling a mobile robot with tangible paddles and achieving certain precision with it is feasible for children from 3 years of age, and even for elderly people with mild cognitive impairment. Furthermore, it provides a fun experience for children and maintains them in a constant state of flow. / Els jocs seriosos col·laboratius tenen un impacte positiu en el comportament i l'aprenentatge, però continuen sent desenvolupats per a plataformes tecnològiques tradicionals com videoconsoles i ordinadors de sobretaula o portàtils, els quals han sigut identificats com sub-òptims per a xiquets en diversos estudis. D'altra banda, l'ús de dispositius mòbils com ara tabletes i telèfons intel·ligents presenta diversos avantatges: són econòmicament assequibles, estan àmpliament distribuïts i poden ser transportats, la qual cosa permet l'activitat física i poder iniciar un joc sense necessitat de què els usuaris es traslladen a una localització fixa i especialment dedicada per a eixa finalitat. A més, combinar diversos d'estos dispositius i coordinar la interacció entre ells en el que es denomina Entorn Multi-Pantalla (EMP) proporciona beneficis addicionals per a la col·laboració tals com una major escalabilitat, consciència de l'espai de treball, paral·lelisme i fluïdesa de les interaccions. La interacció amb estos entorns multi-tableta és per tant crítica. Els dispositius mòbils estan dissenyats per a ser interactuats mitjançant tocs de dit principalment, mecanisme molt senzill i directe, però està normalment limitat a la reduïda dimensió de les pantalles, cosa que pot ocasionar l'oclusió de la pantalla i la infrautilització de l'espai perifèric. Per aquesta raó, la present tesi se centra en l'exploració d'un altre mecanisme d'interacció que pot complementar al tàctil: interaccions tangible al voltant dels dispositius. Les interaccions tangibles estan basades en la manipulació d'objectes físics, cosa que presenta un valor addicional en l'educació dels xiquets ja que ressona amb els manipulatius tradicionals i permet l'exploració del món físic. D'altra banda, l'explotació de l'espai que envolta a les pantalles té diversos beneficis addicionals per a activitats educatives col·laboratives: reduïda oclusió de la pantalla (la qual cosa pot incrementar la consciència de l'espai de treball), l'ús d'objectes tangibles com a contenidors d'informació digital que pot ser transportada de forma continua entre dispositius, i la identificació d'un estudiant determinat a través de la codificació de la seua identitat en un operador tangible (cosa que facilita el seguiment de les seues accions i progrés durant el joc). Aquesta tesi descriu dos enfocaments distints per a construir jocs educatius col·laboratius en EMPs utilitzant interaccions tangibles al voltant dels dispositius. Una, denominada MarkAirs, és una solució òptica aèria que no precisa de cap maquinari addicional a banda de les tabletes, exceptuant diverses targetes de cartró impreses. L'altra, Tangibot, introdueix un robot controlat tangiblement i attrezzo físic addicional en l'entorn, i es basa en tecnologia RFID. Ambdues interaccions són avaluades respectivament, i s'observa que MarkAirs és usable i poc exigent tant per a adults com per a xiquets, i que es poden realitzar gestos de granularitat fina dalt de les tabletes amb ella. A més a més, en aplicar-se a jocs col·laboratius, pot ajudar a reduir l'oclusió de les pantalles i la interferència entre les distintes accions dels usuaris, problema que pot aparèixer en este tipus d'escenaris quan solament es disposa d'interaccions tàctils. S'avalua un joc educatiu col·laboratiu amb MarkAirs amb xiquets d'educació primària, i es conclou que aquest mecanisme és capaç de crear experiències d'aprenentatge col·laboratiu i de presentar un valor afegit en termes d'experiència d'usuari, tot i que no en eficiència. Respecte a Tangibot, es mostra que controlar conjuntament un robot mòbil mitjançant unes pales tangibles amb certa precisió és factible per a xiquets a partir de tres anys i inclús per a persones majors amb un lleu deteriorament cognitiu. A més, proporciona una experiència divertida per als xiquets i els manté en un estat constant de flow. / García Sanjuan, F. (2018). CREAME: CReation of Educative Affordable Multi-surface Environments [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/101942 / TESIS
|
130 |
Photometric registration of indoor real scenes using an RGB-D camera with application to mixed reality / Recalage photométrique de scènes réelles d’intérieurs à l’aide d’une caméra RGB-D avec application à la réalité mixteJiddi, Salma 11 January 2019 (has links)
L'objectif principale de la Réalité Mixte (RM) est de donner aux utilisateurs l'illusion que les objets virtuels et réels coexistent indistinctement dans le même espace. Une illusion efficace nécessite un recalage précis entre les deux mondes. Ce recalage doit être cohérent du point de vue géométrique et photométrique. Dans cette thèse, nous proposons de nouvelles méthodes de recalage photométrique pour estimer l'illumination et la réflectance de scènes réelles. Plus précisément, nous proposons des approches en nous attaquant à trois grands défis : (1) utilisation d'une seule caméra RGB-D. (2) estimation des propriétés de réflectance diffuse et spéculaire. (3) estimation de la position 3D et de la couleur de sources lumineuses dynamiques multiples. Dans notre première contribution, nous considérons des scènes réelles d’intérieurs où la géométrie et l'éclairage sont statiques. En observant la scène à partir d’une caméra mobile, des réflexions spéculaires peuvent être détectées tout au long de la séquence d'images RGB-D. Ces indices visuels sont très instructifs sur l'éclairage et la réflectance des surfaces des scènes. Par conséquent, nous les modélisons pour estimer à la fois les propriétés de réflectance diffuse et spéculaire ainsi que la position 3D de sources lumineuses multiples. Notre algorithme permet d'obtenir des résultats de RM convaincants tels que des ombres virtuelles réalistes ainsi qu'une suppression correcte de la spécularité réelle. Les ombres sont omniprésentes et représentent l’occultation de la lumière par la géométrie existante. Elles représentent donc des indices intéressants pour reconstituer les propriétés photométriques de la scène. La présence de texture dans ce contexte est un scénario critique. En effet, la séparation de la texture et des effets d'éclairage est souvent gérée par des approches qui nécessitent l’intervention de l'utilisateur ou qui ne répondent pas aux exigences du temps de traitement de la réalité mixte. Nous abordons ces limitations et proposons une méthode d'estimation de la position et de l'intensité des sources lumineuses. L'approche proposée gère les lumières dynamiques et fonctionne en temps quasi-réel. L'existence d'une source lumineuse est plus probable si elle est soutenue par plus d'un indice visuel. Nous abordons donc le problème de l'estimation des propriétés d’éclairage et de réflectance en analysant conjointement les réflexions spéculaires et les ombres projetées. L'approche proposée tire parti de l'information apportée par les deux indices pour traiter une grande variété de scènes. Notre approche est capable de traiter n'importe quelle surface texturée et tient compte à la fois des sources lumineuses statiques et dynamiques. Son efficacité est démontrée par une gamme d'applications, incluant la réalité mixte et la re-texturation. La détection des ombres projetées et des réflexions spéculaires étant au cœur de cette thèse, nous proposons finalement une méthode d'apprentissage approfondi pour détecter conjointement les deux indices visuels dans des scènes réelles d’intérieurs. / The overarching goal of Mixed Reality (MR) is to provide the users with the illusion that virtual and real objects coexist indistinguishably in the same space. An effective illusion requires an accurate registration between both worlds. This registration must be geometrically and photometrically coherent. In this thesis, we propose novel photometric registration methods to estimate the illumination and reflectance of real scenes. Specifically, we propose new approaches which address three main challenges: (1) use of a single RGB-D camera. (2) estimation of both diffuse and specular reflectance properties. (3) estimation of the 3D position and color of multiple dynamic light sources. Within our first contribution, we consider indoor real scenes where both geometry and illumination are static. As the sensor browses the scene, specular reflections can be observed throughout a sequence of RGB-D images. These visual cues are very informative about the illumination and reflectance of scene surfaces. Hence, we model these cues to recover both diffuse and specular reflectance properties as well as the 3D position of multiple light sources. Our algorithm allows convincing MR results such as realistic virtual shadows and correct real specularity removal. Shadows are omnipresent and result from the occlusion of light by existing geometry. They therefore represent interesting cues to reconstruct the photometric properties of the scene. Presence of texture in this context is a critical scenario. In fact, separating texture from illumination effects is often handled via approaches which require user interaction or do not satisfy mixed reality processing time requirements. We address these limitations and propose a method which estimates the 3D position and intensity of light sources. The proposed approach handles dynamic light sources and runs at an interactive frame rate. The existence of a light source is more likely if it is supported by more than one cue. We therefore address the problem of estimating illumination and reflectance properties by jointly analysing specular reflections and cast shadows. The proposed approach takes advantage of information brought by both cues to handle a large variety of scenes. Our approach is capable of handling any textured surface and considers both static and dynamic light sources. Its effectiveness is demonstrated through a range of applications including real-time mixed reality and retexturing. Since the detection of cast shadows and specular reflections are at the heart of this thesis, we further propose a deep-learning framework to jointly detect both cues in indoor real scenes.
|
Page generated in 0.0289 seconds