Usage of real objects as links between real and virtual information is one key aspect in augmented reality. A central issue to achieve this link is the estimation of the visuospatial information of the observed object, or in other words, estimating the object pose. Different objects can have different behaviors when used for interaction. This not only encompasses changes in position, but also folding or deformations. Traditional researches in the area solve those pose estimation problems using different approaches, depending on the type of the object. Additionally, some researches are based only on positional information of observed feature points, simplifying the object information. In this work, we explore the pose estimation of different objects by gathering more information from the observed feature points, and obtaining the local poses of such points, which are not explored in other researches. We apply this local pose estimation idea in two different capturing scenarios, reaching two novel approaches of pose estimation: one based on RGB-D cameras, and another based on RGB and machine learning methods. In the RGB-D based approach, we use the feature point orientation and near surface to obtain its normal; then, find the local 6 degrees-of-freedom (DoF) pose. This approach gives us not only the rigid object pose, but also the approximated pose of deformed objects. On the other hand, our RGB based approach explores machine learning with local appearance changes. Unlike other RGB based works, we replace the complex non-linear systems solvers with a fast and robust method, reaching local rotation of the observed feature points, as well as, full 6 DoF rigid object pose with dramatically lower real-time calculation demands. Both approaches show us that gathering local poses can bring information for the pose estimation of different types of objects. / O uso de objetos reais como meio de conexão entre informações reais e virtuais é um aspecto chave dentro da realidade aumentada. Uma questão central para tal conexão é a estimativa de informações visuo-espaciais do objeto, ou em outras palavras, a detecção da pose do objeto. Diferentes objetos podem ter diferentes comportamentos quando utilizados em interações. Não somente incluindo a mudança de posição, mas também sendo dobradas ou deformadas. Pesquisas tradicionais solucionam tais problemas de detecção usando diferentes abordagens, dependendo do tipo de objeto. Adicionalmente, algumas pesquisas se baseiam somente na informação posicional dos pontos de interesse, simplificando a informação do objeto. Neste trabalho, a detecção de pose de diferente objetos é explorada coletando-se mais informações dos pontos de interesse observados e, por sua vez, obtendo as poses locais de tais pontos, poses que não são exploradas em outras pesquisas. Este conceito da detecção de pose locais é aplicada em dois ambientes de capturas, estendendo-se em duas abordagens inovadoras: uma baseada em câmeras RGB-D, e outra baseada em câmeras RGB e métodos de aprendizado de maquinas. Na abordagem baseada em RGB-D, a orientação e superfície ao redor do ponto de interesse são utilizadas para obter a normal do ponto. Através de tais informações a pose local é obtida. Esta abordagem não só permite a obtenção de poses de objetos rígidos, mas também a pose aproximada de objetos deformáveis. Por outro lado, a abordagem baseada em RGB explora o aprendizado de máquina aplicado em alterações das aparências locais. Diferentemente de outros trabalhos baseados em câmeras RGB, esta abordagem substitui solucionadores não lineares complexos com um método rápido e robusto, permitindo a obtenção de rotações locais dos pontos de interesse, assim como, a pose completa (com 6 graus-de-liberdade) de objetos rígidos, com uma demanda computacional muito menor para cálculos em tempo-real. Ambas as abordagens mostram que a coleta de poses locais podem gerar informações para a detecção de poses de diferentes tipos de objetos.

While new technologies are often used to facilitate regular people's lives, they often fail to see their potential in helping disabled people. Augmented reality, one of the newest state-of-the-art technologies, offers users the opportunity to add virtual information to their real world surroundings in real time. It also has the potential to not only augment the sense of sight, but also other senses such as hearing. Augmented reality could be used to offer the opportunity to complement users' missing sense. In this thesis, we study augmented reality technologies, systems and applications, and suggest the future of AR applications. We explain how to integrate augmented reality into iOS applications and propose an augmented reality application for hearing augmentation using an iPad2. We believe mobile devices are the best platform for augmented reality as they are widespread and their computational power is rapidly growing to be able to handle true AR applications. / by Julie Carmigniani. / Thesis (M.S.C.S.)--Florida Atlantic University, 2011. / Includes bibliography. / Electronic reproduction. Boca Raton, Fla., 2011. Mode of access: World Wide Web.

Paralelas Cruzadas: propostas poéticas em arte móvel apresenta uma pesquisa teórico-prática que mergulha no potencial criativo dos dispositivos portáteis tecnológicos com conexão em rede a distância, inseridos no contexto da computação ubíqua, pervasiva e sensiente. Foram retomados temas relacionados à conexão poética existente entre a mobilidade, a tecnologia e a cibercultura, em especial arte móvel, arte locativa, realidades mistas e realidade aumentada. Durante o percurso, três práticas artísticas se concretizaram: Paralelas Cruzadas, projeto híbrido que envolve arte móvel, arte locativa, artes visuais, performance e realidades mistas, desenvolvendo-se durante residência artística em La Paternal Espacio y Proyecto (Buenos Aires/Argentina), Fundación Casa Tres Patios (Medellín/Colômbia); São Paulo/Brasil; Corpo In (Visível), criação de Cássia Aranha e Danilo Patzdorf, contemplado no edital Dança em Site Specific do CCSP / 2015; Código Facial, criação artística de Cássia Aranha e Luciana Mantovani; obra de arte híbrida que envolve artes visuais, realidade aumentada, dramaturgia e videoperformance, a partir de uma criação em site specific, contemplada no Edital da ProACArtes Integradas/ 2015 da Secretaria de Cultura do Estado de São Paulo. / Crossed Parallels: poetic proposals in mobile art presents a theoretical-practical research that plunges into the creative potential of technological, portable devices, with distance network connection, within the context of ubiquitous, pervasive, and sentient computing. Themes and issues were taken up related to the poetic connection existing in between mobility, technology, and cyberculture, in special the mobile art, locative art, mixed realities, and augmented reality. Along the way, three artistic practices materialized: Crossed Parallels, hybrid project developed during artist residency in La Paternal Espacio y Proyecto (Buenos Aires / Argentina), Fundación Casa Tres Patios (Medellín / Colombia); São Paulo / Brazil, and involving mobile art, locative art, visual arts, performance and mixed realities. Body In (Visible) (creation of Cassia Aranha and Danilo Patzdorf contemplated in the Dance Edicts for Site Specific CCSP / 2015); FaceCode (a site specific artistic creation by Cassia Aranha and Luciana Mantovani; hybrid work of art involving visual arts, augmented reality, drama, and video performance, addressed in the Edicts of ProAC - Integrated Arts/ 2015, by the Government of the State of São Paulo - Secretary of Culture).

Autrefois enfermés à l'intérieur des écrans, les médias numériques s'invitent aujourd'hui au cœur même du quotidien. Informatique ubiquitaire, objets connectés, dispositifs de réalité «mixte» et «augmentée» ... font advenir de nouveaux modes d'expérience spatiale. Pourtant, la portée de cette rupture est encore mal comprise, soit parce que l'on confond expérience esthétique et démonstration technique, soit parce que l'on peine à dépasser les registres traditionnels de la fonction, de l'information et de la fiction. Quelles conséquences pour le design d'espaces? La première partie de cette thèse analyse la terminologie en usage afin de montrer qu'elle ne permet pas de rendre compte de l'expérience esthétique qu'il s'agît de décrire, et propose la notion d'entr'espace comme outil susceptible de la caractériser. Les enjeux sont déplacés depuis le champ strict du numérique vers le cadre plus large de l'histoire du design en vue de mettre en évidence la manière spécifique au design de se saisir des questions soulevées par ces moments de rupture. La deuxième partie explore les tensions qui traversent l'entr'espace en partant du paradigme baroque. Alors que ces dispositifs numériques sont souvent conçus sans prendre en compte les relations spatiales que pourtant ils articulent, l'hypothèse développée est que c'est précisément au niveau de ces relations, considérées dans toute leur épaisseur sensible, que se situent les principaux enjeux. La troisième partie, enfin, propose des axes de réflexion prospectifs en explorant la manière dont l'entr'espace transforme notre expérience de l'habiter à travers les notions de matière, interaction, vie et existence. / Formerly confined inside computer screens, digital media dwells today at the very heart of everyday environments. Ubiquitous computing connected objects, «mixed» and «augmented» reality ... bring about new modes of spatial experience. This breakthrough, however, has not yet been fully acknowledged. Dominant lines of thought either mistake aesthetic experience and technological demonstration, or struggle to get beyond traditional notions of function, information and fiction. What are the consequences for spatial design practice? The first part of this thesis discusses current terminology in order to show its ineffectiveness in describing the precise nature of the aesthetic experience, and proposes the notion of interspace as a conceptual tool to characterize it adequately. The stakes are shifted from the sole realm of the digital towards the larger frame of design history in order to show the specific way that design as a discipline has taken to size the questions rose by analogous technological breakthroughs in the past. The second part explores the tensions that run through interspaces departing from the Baroque paradigm. Whilst such digital devices are often designed without consideration for the spatial relationships they nevertheless organize, the main hypothesis is that it is precisely at the level of such relationships -their fullest sensorial wealth considered-that the highest stakes are. The third and last part introduces prospective lines of thought by exploring the way interspaces transform our experience of dwelling through the notions of matter, interaction, life and existence.

Archaeology is a field which has been impacted greatly by digital technology; the new technological instruments are developing both academic research and public mediation. Digital archaeology has been available at the museum for some time, but immersive technologies are recent introductions, which offer new experiences for museum visitors. Even though digital archaeology/virtual heritage have been studied for their technological virtues, the learning opportunities presented to the museum visitor has not yet been examined from a visitor’s perspective. In this dissertation, the visitor experience is the basis of analysis for determining how we can critically assess digital exhibitions using immersive technologies. This study examines if and how critical museology can be successfully applied to immersive digital displays; a detailed analysis of two case studies using VR (high immersion) and AR (low immersion) show that digital experiences are fully capable of communicating cultural content and that these multi-sensory technologies can successfully engage users in the creation of knowledge. The extent of sensory stimuli affecting the visitor is not accounted for in current critical museology, therefore the analysis of this study suggests a number of suggestions for future designs of digital displays using immersive technologies.

Paralelas Cruzadas: propostas poéticas em arte móvel apresenta uma pesquisa teórico-prática que mergulha no potencial criativo dos dispositivos portáteis tecnológicos com conexão em rede a distância, inseridos no contexto da computação ubíqua, pervasiva e sensiente. Foram retomados temas relacionados à conexão poética existente entre a mobilidade, a tecnologia e a cibercultura, em especial arte móvel, arte locativa, realidades mistas e realidade aumentada. Durante o percurso, três práticas artísticas se concretizaram: Paralelas Cruzadas, projeto híbrido que envolve arte móvel, arte locativa, artes visuais, performance e realidades mistas, desenvolvendo-se durante residência artística em La Paternal Espacio y Proyecto (Buenos Aires/Argentina), Fundación Casa Tres Patios (Medellín/Colômbia); São Paulo/Brasil; Corpo In (Visível), criação de Cássia Aranha e Danilo Patzdorf, contemplado no edital Dança em Site Specific do CCSP / 2015; Código Facial, criação artística de Cássia Aranha e Luciana Mantovani; obra de arte híbrida que envolve artes visuais, realidade aumentada, dramaturgia e videoperformance, a partir de uma criação em site specific, contemplada no Edital da ProACArtes Integradas/ 2015 da Secretaria de Cultura do Estado de São Paulo. / Crossed Parallels: poetic proposals in mobile art presents a theoretical-practical research that plunges into the creative potential of technological, portable devices, with distance network connection, within the context of ubiquitous, pervasive, and sentient computing. Themes and issues were taken up related to the poetic connection existing in between mobility, technology, and cyberculture, in special the mobile art, locative art, mixed realities, and augmented reality. Along the way, three artistic practices materialized: Crossed Parallels, hybrid project developed during artist residency in La Paternal Espacio y Proyecto (Buenos Aires / Argentina), Fundación Casa Tres Patios (Medellín / Colombia); São Paulo / Brazil, and involving mobile art, locative art, visual arts, performance and mixed realities. Body In (Visible) (creation of Cassia Aranha and Danilo Patzdorf contemplated in the Dance Edicts for Site Specific CCSP / 2015); FaceCode (a site specific artistic creation by Cassia Aranha and Luciana Mantovani; hybrid work of art involving visual arts, augmented reality, drama, and video performance, addressed in the Edicts of ProAC - Integrated Arts/ 2015, by the Government of the State of São Paulo - Secretary of Culture).

Durante muitos anos, diversas pesquisas na área de Design no Brasil, constataram limitados investimentos no desenvolvimento de produtos para auxiliar as pessoas com deficiência. Diante disso, esta tese teve por objetivo propor uma abordagem para os equipamentos de auxílio à comunicação de crianças com Transtorno do Espectro do Autismo (TEA) por meio do Design e da Realidade Aumentada (RA). Para o desenvolvimento da pesquisa foram realizadas pesquisa bibliográfica, pesquisa documental, Estudo de Caso e experimentos. Também foram realizadas observações das crianças com TEA, no ambiente da Associação de Pais e Amigos do Autista (AMA) da cidade de Florianópolis, para embasar a proposta de projeto de Prancha de Comunicação Alternativa e Aumentativa. A proposta resultante teve como base comum o produto prancha de comunicação que foi utilizada com aplicativo que utiliza Realidade Aumentada e está disponível no mercado. Nesta prancha de base o usuário aponta o dispositivo móvel para o pictograma e assim acessa e visualiza o vídeo que estabelece a comunicação transmitindo a ação que a criança realmente deseja executar. A base para a análise dos resultados foi a descrição detalhada dos casos por meio da apresentação de painéis representativos de cada criança por dia de aplicação e painéis comparativos de todas as crianças durante a realização do estudo. Evidenciam-se assim, os elementos indicadores de que a solução proposta apresenta vantagens em relação a algumas pranchas atualmente existentes e que pode contribuir para facilitar a comunicação e a interação não só das crianças com TEA, mas também de outras crianças com limitações na comunicação. / For many years, several studies in the area of Design in Brazil have founded limited investments in product development to help people with desabilities. Therefore, the aim of this thesis was to propose an approach to the equipment to aid the communication of children with Autism Spectrum Disorder (ASD) through Design and Augmented Reality (AR). For the development of the research were carried out bibliographic and documental researches, case studies and experiments. Observations were also made of the children with ASD in the Association of Parents and Friends of the Autistic (AMA) of Florianópolis to base the project proposal of the Alternative and Increasing Communication Board. The resulting proposal was based on the common product board that was developed together with an Augmented Reality mobile application available on the market. On this basis board the user points the mobile device to the pictogram and thus accesses and visualizes the video which establishes the communication and transmittes the action that the child really wants to perform. Thus, there is evidence that the proposed solution has advantages over some existing boards and can contribute to facilitate the communication and interaction not only of children with ASD, but also of other children with communication limitations.

Durante séculos, cosméticos têm sido utilizados nas mais diversas sociedades. Entretanto, quando se trata de maquiagem facial, o processo de escolha de um produto ainda é um desafio, pois é um trabalho manual que demanda tempo, além de consumir a maquiagem em si e outros materiais para aplicação e limpeza. Esse processo manual também dificulta a experimentação de vários produtos diferentes devido à necessidade de limpeza da pele para retirada de um produto aplicado anteriormente. Assim, um sistema de simulação de maquiagem utilizando realidade aumentada pode facilitar esse processo, permitindo a experimentação com a combinação de produtos e a comparação dos resultados, além de permitir experimentar os produtos virtualmente, pela internet por exemplo. Trabalhos existentes sobre esse tema permitem ao usuário aplicar a maquiagem sobre uma foto, ou mesmo um vídeo, do próprio usuário. A interação é feita por meio de mouse ou toque de um dedo sobre um monitor sensível a toques como se o usuário aplicasse maquiagem em uma terceira pessoa. Nesta dissertação propomos o desenvolvimento do SelfMakeup, um sistema de realidade aumentada que permite a autoaplicação de maquiagem virtual por meio de toques feitos diretamente na face ao invés de toques no monitor. A nossa hipótese é que essa forma de interação seja mais natural e forneça ao usuário uma melhor experiência ao testar produtos virtuais de maquiagem. O primeiro passo para viabilizar o SelfMakeup foi o desenvolvimento de um método para estimar a po- sição de toques na face utilizando uma câmera RGBD. Realizamos testes para avaliar o desempenho desse método e verificamos que a sua acurácia e precisão se mostraram adequadas para o propósito desta pesquisa. Em seguida, projetamos a interface gráfica do sistema para aplicação de maquiagem virtual. A interface per- mite efeitos de destaque e sombreamento que simulam os efeitos provocados pela aplicação de produtos reais de maquiagem. Resultados de um teste piloto do nosso protótipo com 32 usuários sugerem que o SelfMa- keup, por utilizar toques diretamente na face, oferece uma melhor experiência ao usuário na experimentação de produtos virtuais de maquiagem. / For centuries, cosmetics have been used in the most diverse societies. However, when it comes to facial makeup, the process of choosing a product is still a challenge because it is a manual work that takes time, to consumes the makeup itself and other materials for application and cleaning. This manual process also makes it difficult to experiment a number of different products due to the need to clean the face to remove a previously applied product. Thus, a makeup simulation system using augmented reality can facilitate this process, allowing experimentation with the combination of products and the comparison of the results, as well as allowing to experience the products virtually and remotely, through the internet for example. Exis- ting works on this theme allow the user to apply the makeup on a photo or even a video of the user himself by means of a mouse or touch of a finger on a touch-sensitive monitor, as if the user applied makeup on a third person. In this dissertation we propose the development of SelfMakeup, an augmented reality system that allows the self-application of virtual makeup by means of touches made directly on the face, rather than touches on the monitor. Our hypothesis is that this interaction form is more natural and gives the user a better experience when testing virtual make-up products. The first step in enabling SelfMakeup was the develop- ment of a method to estimate the applicator touch position on the face using an RGBD camera. We performed tests to evaluate the performance of this method and verified that its accuracy and precision was adequate for the purpose of this research. Next, we designed the graphical interface of the system for applying vir- tual makeup. The interface allows highlighting and shading effects that simulate the effects of real makeup products. Results from a pilot experiment of our prototype with 32 volunteers suggest that SelfMakeup, by using touches directly on the face, provides a better user experience to try on virtual makeup products.

Este trabalho apresenta os resultados da pesquisa e da aplicação de técnicas de GPGPU (General-Purpose computation on Graphics Processing Units) sobre o sistema de vídeo-avatar com realidade aumentada denominado AVMix. Com o aumento da demanda por gráficos tridimensionais interativos em tempo real cada vez mais próximos da realidade, as GPUs (Graphics Processing Units) evoluíram até o estado atual, como um hardware com alto poder computacional que permite o processamento de algoritmos paralelamente sobre um grande volume de dados. Desta forma, É possível usar esta capacidade para aumentar o desempenho de algoritmos usados em diversas áreas, tais como a área de processamento de imagens e visão computacional. A partir das pesquisas de trabalhos semelhantes, definiu-se o uso da arquitetura CUDA (Computer Unified Device Architecture) da Nvidia, que facilita a implementação dos programas executados na GPU e ao mesmo tempo flexibiliza o seu uso, expondo ao programador o detalhamento de alguns recursos de hardware, como por exemplo a quantidade de processadores alocados e os diferentes tipos de memória. Após a reimplementação das rotinas críticas ao desempenho do sistema AVMix (mapa de profundidade, segmentação e interação), os resultados mostram viabilidade do uso da GPU para o processamento de algoritmos paralelos e a importância da avaliação do algoritmo a ser implementado em relação a complexidade do cálculo e ao volume de dados transferidos entre a GPU e a memória principal do computador. / This work presents the results of research and application of GPGPU (General-Purpose computation on Graphics Processing Units) techniques on the video-avatar system with augmented reality called AVMix. With increasing demand for interactive three-dimensional graphics rendered in real-time and closer to reality, GPUs (Graphics Processing Units) evolved to the present state as a high-powered computing hardware enabled to process parallel algorithms over a large data set. This way, it is possible to use this capability to increase the performance of algorithms used in several areas, such as image processing and computer vision. From the research of similar work, it is possible to define the use of CUDA (Computer Unified Device Architecture) from Nvidia, which facilitates the implementation of the programs that run on GPU and at the same time flexibilize its use, exposing to the programmer some details of hardware such as the number of processors allocated and the different types of memory. Following the reimplementation of critical performance routines of AVMix system (depth map, segmentation and interaction), the results show the viability of using the GPU to process parallel algorithms in this application and the importance of evaluating the algorithm to be implemented, considering the complexity of the calculation and the volume of data transferred between the GPU and the computer\'s main memory.

Orientador: Celso Setsuo Kurashima / Dissertação (mestrado) - Universidade Federal do ABC. Programa de Pós-Graduação em Engenharia da Informação, 2013