[pt] Este estudo propõe fazer uma análise sobre o impacto da experiência de Realidade Aumentada (RA) aplicada no varejo online utilizando dispositivo móvel. Após a revisão de literatura feita sobre este tema, foi elaborado um modelo e foram formuladas hipóteses que permitissem investigar a relação entre a Experiência de Realidade Aumentada e a Intenção de Compra, sendo esta relação mediada por avaliações do consumidor, tais como, Certeza na Escolha, Satisfação do Usuário e a Emoção Positiva. Para testar o modelo, foi feito uma pesquisa com 201 consumidores. Os dados coletados foram analisados pelo método de modelagem de equações estruturais (SEM) e confirmaram a maioria das hipóteses formuladas, apresentando relações significativas dos construtos mediadores que ficam entre a Experiência de Realidade Aumentada e a Intenção de Compra. Os resultados indicam a importância da avaliação feita pelo consumidor sobre a Certeza na Escolha ao utilizar uma Experiência de Realidade Aumentada antes da Intenção de Compra. É oportuno mencionar que o construto Emoção Positiva também é um mediador significativo entre a Experiência de Realidade Aumentada e a Intenção de Compra, porém menos forte que a Certeza na Escolha. Estes resultados sugerem que os consumidores, após uma Experiência de Realidade Aumentada, são levados a avaliar os aspectos cognitivos e afetivos antes da decisão pela compra. / [en] The purpose of this study is to analyze the impact of Augmented Reality (AR) experiences applied to online retails using a mobile device. After reviewing the literature on this topic, a model was elaborated, and hypotheses were formulated to investigate the relationship between the AR experience and the purchase intention. This relationship is mediated by consumer evaluations, such as certainty in the choice, user satisfaction, and positive emotions. To test the model, a survey was conducted with 201 consumers. The collected data were analyzed using the structural equation modeling method and confirmed most of the formulated hypotheses, presenting significant relationships between the mediating constructs with the AR experience and with the purchase intention. The results indicate the importance of the evaluation made by the consumer on the certainty of the choice when using an AR experience before the purchase intention. It is worth mentioning that the positive emotion construct is also a significant mediator between the AR experience and the purchase intention, but less strong than the certainty in the choice. These results suggest that consumers, after an AR Experience, are led to assess cognitive and affective aspects before purchase intention.

[pt] Esta dissertação apresenta um framework para a criação de jogos de auditório em TV (game shows interativos) usando Realidade Aumentada em estúdios, que permitam a participação dos telespectadores através de tablets e smartphones como segunda tela. Este trabalho de pesquisa também investiga novos paradigmas de convergência entre TV e videogames. / [en] This dissertation presents a framework for the development of interactive TV game shows using augmented reality in TV studios, which allows the participation of viewers using tablets and smartphones as the second screen. This research also investigates new convergence paradigms between TV and video games.

[pt] Com a chegada da Industria 4.0, empresas aderiram a usar gêmeos digitais para melhorar seus processos de produção e as condições de trabalhos de seus empregados. Os gêmeos digitais são normalmente associados a modelos tridimensionais, permitindo a realização de planejamentos, extração de dados, simulação e treinamento a partir das condições reais. Infelizmente, gêmeos digitais incorretos ou desatualizados podem induzir a erros e a desencontro de informações o que retira todas as vantagens do processo de virtualização, arruinando quaisquer comparativos com a realidade. Em contrapartida, gêmeos digitais ricos em informação permitem que simulações e extrações de dados sejam mais fieis a realidade. Atualmente, as tecnologias capazes de enriquecer as informações de gêmeos digitais são escassos, pois é um procedimento que leva tempo devido a necessidade de análises de especialistas, custos, equipamentos e ferramentas específicas. Recursos como fotografias 360 graus, vídeos e modelos tridimensionais podem ser usados para realizar uma avaliação e atualização nos gêmeos digitais. Porém, diferenças temporais, condições do ambiente e erros humanos entre os recursos podem gerar confusão durante a transferência e conexão da informação. Este trabalho apresenta uma ferramenta que explora as vantagens de combinar fotografias 360 graus com modelos 3D para gerar gêmeos digitais as-built. Cada imagem pode ser ajustada a uma localização dentro do sistema de coordenadas do modelo, inclusive permitindo alterações nos eixos e no campo de visão. Durante a navegação, é possível navegar livremente pelo modelo e pelas posições de interesse criadas pelo usuário. Além da visualização, a ferramenta propõe uma interação mais eficaz para realizar anotações entre modelos e fotografias 360 graus com o propósito de verificar consistências ou agregar novas informações ao gêmeo digital. Estas interações são importantes para a inspeção e manutenção, como avaliação de peças, análise das condições atuais ou a criação de comparativos entre o planejado e o real. / [en] With the arrival of Industry 4.0, companies have adopted digital twins to improve their production processes and the working conditions of their employees. Digital twins are generally associated with three-dimensional models and allow planning, data extraction, simulation, and training based on current conditions. Unfortunately, incorrect or outdated digital twins can lead to errors and information mismatch, which takes away all the advantages of the virtualization and computerization process, ruining any comparisons with reality. In contrast, information-rich digital twins allow simulations and data extraction to be more faithful to reality. Currently, technologies capable of enriching the information of digital twins are scarce, as it is a procedure that takes time due to the need for expert analysis, costs, equipment, and specific tools. Resources such as 360 degrees photographs, videos, and 3D models can be used to perform an evaluation and update the digital twins. However, temporal differences, environmental conditions, and human errors between the images and the model can generate confusion during the transfer and connection of information. This work presents a tool that explores the advantages of combining 360 degrees photographs with 3D models to generate as-built digital twins. Each image can be adjusted to a location within the model s coordinate system, allowing changes to axes and field of view. During navigation, it is possible to navigate the model and the user-created positions of interest freely. In addition to visualization, the tool proposes a more effective interaction to annotate between models and 360 degrees photographs to verify consistency or add new information to the digital twin. These interactions are essential for inspection and maintenance, such as evaluating parts, analyzing current conditions, or creating comparisons between planned and actual.

[pt] Nesta dissertação são investigadas situações em que se faz necessária a sobreposição de informações digitais ao ambiente físico em que o usuário está, uma condição proporcionada pela utilização do recurso da Realidade Aumentada (RA). São consideradas, na pesquisa, aplicações da tecnologia que empregam a técnica de Video See-Through (VST) para utilização em celulares. São apresentadas diferentes definições de RA, delimitando-se conceitos tangentes à tecnologia, tais como Realidade Virtual e Computação Ubíqua, para promover uma discussão acerca das definições levantadas. Em seguida, se apresentam algumas soluções, mais encontradas no mercado, de aplicativos de RA para celular, analisando-se os impactos da utilização de ferramentas específicas no seu processo de criação e desenvolvimento. Considerando-se ainda aspectos sociais e filosóficos inerentes à tecnologia, busca-se uma melhor compreensão dos conceitos-base de espaço, tempo e realidade a que a RA recorre para operar, a fim de subsidiar a discussão acerca da tecnologia e criar o embasamento teórico para as análises subsequentes. / [en] This dissertation investigates situations that require the overlay of digital information to the user environment, a condition provided by the use of Augmented Reality (AR) technology. In the research, there are considered applications of the technology that uses the Video See-Through (VST) technique on mobile phones. The dissertation presents different definitions of AR, delimiting tangent concepts such as Virtual Reality and Ubiquitous Computing, to arouse a discussion about the definitions. Then, it presents some of the mobile applications most used in the market, analyzing the impact on using some specific tools in its creation and development process. Considering further social and philosophical aspects inherent to the technology, it seeks to better understand the basic concepts of space, time and reality that the AR uses to operate, in order to support the discussion about the technology and to create the theoretical basis for subsequent analysis.

[pt] O objetivo desta pesquisa é projetar serviços da propedêutica clínica considerando o uso da tecnologia de visualização tridimensional como linguagem e fonte de dados para apoiar o raciocínio das decisões clínicas. Visando projetar esse serviço, avaliamos o potencial de algumas tecnologias de visualização tridimensional que poderiam ser úteis para apoiar a propedêutica: visualização de modelos em ambientes virtuais (imersão em Realidade Virtual ); projeção de modelos tridimensionais na realidade visualizados por smartphones (Realidade Aumentada); modelos impressos em 3D. Optamos por projetar um produto que seria o objeto de investigação aprofundada nesta pesquisa: um ambiente virtual para a visualização de casos clínicos reais por meio de óculos de realidade aumentada. Para realizar esta pesquisa um artefato para a visualização de casos clínicos reais por meio de Realidade Virtual (RV) e Realidade Aumentada (RA) foi projetado. O artefacto foi nomeado como ProVis3D e foi desenvolvido para que os médicos assistentes visualizassem, de forma tridimensional, imagens médicas em posição anatômica, mantendo as relações espaciais entre órgãos e vasos de forma fidedigna, para o que é proposto como precisão pelo método, e correspondendo a sua posição no mundo real, ou seja, como estas estão dispostas no interior do corpo humano. Além de poderem ser visualizadas, há possibilidade de interação com as imagens, simulando a percepção táctil, e de produzir sua movimentação: tocar em órgãos segmentados, vasos e vísceras, separar estas estruturas, aumentar seu tamanho e fazer a rotação do objeto em torno de seu eixo. Uma avaliação empírica foi realizada nesta pesquisa, na perspectiva epistemológica-metodológica projetiva Design Science Research (DSR), utilizando como metodologia projetando diferentes casos, com cinco unidades de análise (cada médico convidado para usar o artefato da pesquisa consiste em uma unidade de análise nesta pesquisa). A abordagem foi observacional e interpretativa, com a finalidade de compreender e refletir sobre o comportamento do médico, especialmente a sua tomada de decisão, quando utiliza o artefato desenvolvido nesta pesquisa. Foram projetadas diferentes cenas para possibilitar a observação das experiências dos usuários do ProVis3D (médicos especialistas e não especialistas) ao visualizar imagens médicas em contextos anatômicos reais (reconstrução 3D a partir de exames de tomografia computadorizada e modelos 3D coloridos com todas as estruturas nas suas posições reais) e ao interagir com essas imagens por meio de Realidade Aumentada. A cena virtual consiste em uma imagem tridimensional dinâmica, que pode ser manipulada para apoiar um cirurgião no seu planejamento cirúrgico ou apoiar um radiologista a complementar seu laudo na estação de trabalho (workstation). Os médicos visualizam a cena inicialmente em RV e posteriormente em RA. Duas questões foram elaboradas para o estudo: 1) Será que o artefato realmente possibilita obter informação de valor para a tomada de decisão clínica?; 2) Será que essa tecnologia de visualização realmente cria uma linguagem que possibilita aos médicos produzirem novos conhecimentos? A partir desse estudo, foi demonstrado que artefato ProVis3D tem potencial para apoiar a decisão clínica e que a tecnologia interativa de visualização tridimensional, em Realidade Aumentada, cria uma linguagem, faz os médicos conversarem de um modo diferente, sobre coisas que não estão habituados, possibilitando aos médicos produzirem novos conhecimentos. / [en] The objective of this research is to design a clinical propaedeutic services considering the use of three-dimensional visualization technology as a language and data source to support the reasoning of clinical decisions. In order to design this service, we evaluated the potential of some three-dimensional visualization technologies that could be useful to support the propaedeutics: visualization of models in virtual environments (immersion in Virtual Reality); projection of three-dimensional models in reality viewed by smartphones (Augmented Reality); 3D printed models. We opt to design a product that should be the object of further investigation in this research: a virtual environment for viewing real clinical cases through augmented reality glasses. In order to accomplish this research, an artifact for visualization of real clinical cases through Virtual Reality (VR) and Augmented Reality (AR) was designed The artifact was named as ProVis3D and was designed for assisting physicians to view medical images in an anatomical position and three-dimensional manner, maintaining spatial relationships between organs and vessels reliably as corresponding to their position in the real world and arranged within the human body. Besides being able to be visualized, there is a possibility for interact with the images, simulating the tactile perception, and producing its movement: touching segmented organs, vessels and viscera, separating these structures, increasing their size and rotating the object around them. its axis. An empirical evaluation was performed in this research, in the projective epistemological-methodological perspective Design Science Research (DSR), designing different cases with five units of analysis (each physician invited to use the research artifact consists of one unit of analysis in this research). The approach was observational and interpretative, with the purpose of understanding and reflecting on the physician s behavior, especially his decision making, when using the artifact developed in this research. Different scenes have been designed in order to observe experiences on ProVis3D s users (medical specialists and non-specialists) when viewing medical images in real anatomical contexts (3D reconstruction from CT scans and full-color 3D models with all structures in place) and interacting with these images through augmented reality. The virtual scene consists of a dynamic three-dimensional image that can be manipulated to support a surgeon on his surgical planning or support a radiologist to complement his workstation report. Doctors view the scene initially in RV and later in RA. Two questions were elaborated for the study: 1) Does the artifact really make it possible to obtain valuable information for clinical decision making? 2) Does this visualization technology really create a language that enables doctors to produce new knowledge? It has been demonstrated that ProVis3D artifact has the potential to support clinical decision making and that the augmented reality interactive three-dimensional visualization technology creates a language; it makes doctors talk differently about things they are not used to, enabling doctors to produce new knowledge.

[pt] Esta dissertação investiga o uso das estruturas planares extraídas de imagens RGB-Dem aplicações de Realidade Aumentada. Ter o modelo da cena é fundamental para as aplicações de realidade aumentada. O uso de imagens RGB-D auxilia bastante o processo da construção destes modelos, pois elas fornecem a geometria e os aspectos fotométricos da cena. Devido a grande parte das aplicações de realidade aumentada utilizarem superfícies planares como sua principal componente para projeção de objetos virtuais, é fundamental ter um método robusto e eficaz para obter e representar as estruturas que constituem estas superfícies planares. Neste trabalho, apresentaremos um método para identificar, segmentar e representar estruturas planares a partir de imagens RGB-D. Nossa representação das estruturas planares são polígonos bidimensionais triangulados, simplificados e texturizados, que estão no sistema de coordenadas do plano, onde os pontos destes polígonos definem as regiões deste plano. Demonstramos através de diversos experimentos e da implementação de uma aplicação de realidade aumentada, as técnicas e métodos utilizados para extrair as estruturas planares a partir das imagens RGB-D. / [en] This dissertation investigates the use of planar geometric structures extracted from RGB-D images in Augmented Reality Applications. The model of a scene is essential for augmented reality applications. RGB-D images can greatly help the construction of these models because they provide geometric and photometric information about the scene. Planar structures are prevalent in many 3D scenes and, for this reason, augmented reality applications use planar surfaces as one of the main components for projection of virtual objects. Therefore, it is extremely important to have robust and efficient methods to acquire and represent the structures that compose these planar surfaces. In this work, we will present a method for identifying, targeting and representing planar structures from RGB-D images. Our planar structures representation is triangulated two-dimensional polygons, simplified and textured, forming a triangle mesh intrinsic to the plane that defines regions in this space corresponding to surface of objects in the 3D scene. We have demonstrated through various experiments and implementation of an augmented reality application, the techniques and methods used to extract the planar structures from the RGB-D images.

[pt] Alvo de intenso estudo da visão computacional, a reconstrução densa 3D teve um importante marco com os primeiros sistemas em tempo real a alcançarem precisão milimétrica com uso de câmeras RGBD e GPUs. Entretanto estes métodos não são aplicáveis a dispositivos de menor poder computacional. Tendo a limitação de recursos computacionais como requisito, o objetivo deste trabalho é apresentar um método de odometria visual utilizando câmeras comuns e sem a necessidade de GPU, baseado em técnicas de Structure from Motion (SFM) com features esparsos, utilizando as informações de uma reconstrução densa. A Odometria visual é o processo de estimar a orientação e posição de um agente (um robô, por exemplo), a partir das imagens. Esta dissertação fornece uma comparação entre a precisão da odometria calculada pelo método proposto e pela reconstrução densa utilizando o Kinect Fusion. O resultado desta pesquisa é diretamente aplicável na área de realidade aumentada, tanto pelas informações da odometria que podem ser usadas para definir a posição de uma câmera, como pela reconstrução densa, que pode tratar aspectos como oclusão dos objetos virtuais com reais. / [en] Aim of intense research in the field computational vision, dense 3D reconstruction achieves an important landmark with first methods running in real time with millimetric precision, using RGBD cameras and GPUs. However these methods are not suitable for low computational resources. Having low computational resources as requirement, the goal of this work is to show a method of visual odometry using regular cameras, without using a GPU. The proposed method is based on technics of sparse Structure From Motion (SFM), using data provided by dense 3D reconstruction. Visual odometry is the process of estimating the position and orientation of an agent (a robot, for instance), based on images. This dissertation compares the proposed method with the odometry calculated by Kinect Fusion. Results of this research are applicable in augmented reality. Odometry provided by this work can be used to model a camera and the data from dense 3D reconstruction, can be used to handle occlusion between virtual and real objects.