Fundação de Amparo a Pesquisa do Estado de Minas Gerais / The use of techniques for Information Visualization, by means of computational resources, allows converting data and presenting them visually to the user by means of images or other sensory stimuli in a way that can be better understood. Current studies show the importance of developing systems of information display that can adjust the level of prior knowledge of the user, so that it can, effectively, understand the information displayed. This contributes to the view that is enriched with the principles of other relevant areas in order to develop representations of data that enhance perceptual and cognitive experience of the user. The future potentiality of this technology takes place especially in environments where information is present and will be literally felt through the activation of all our senses. This motivates not only the research and development of adaptive applications to Information Visualization with Augmented Reality, but also development strategies and architectures for applications in this category. This Thesis presents computational methodologies used in the development of adaptive applications to the Information Visualization with Augmented Reality and an architecture for integrating these applications, yet, the development of visualization techniques, interaction and adaptation that may be included in such applications. This work addresses and supports such methodologies by the means of the description of the state of the art of research in related areas, the study of a case applied in the agricultural sector and the presentation of experimental tests with users to validate the approach. / O uso de técnicas de Visualização de Informação, por meio de recursos computacionais, permite converter dados e apresentá-los visualmente ao usuário por meio de imagens ou outros estímulos sensoriais de forma que possam ser melhor compreendidos. Estudos atuais apresentam a importância de desenvolver sistemas de Visualização de Informação que se adaptem ao nível de conhecimento prévio do usuário, para que o mesmo possa, eficazmente, entender a informação visualizada. Esta situação também contribui para que a visualização seja enriquecida com princípios de outras áreas relevantes, a fim de desenvolver representações de dados que reforcem a experiência perceptiva e cognitiva do usuário. A potencialidade futura desta tecnologia está especialmente em ambientes em que as informações se façam presentes, onde literalmente as informações serão sentidas por meio da ativação de todos os nossos sentidos. Isso motiva a pesquisa e o desenvolvimento de aplicações adaptativas de Visualização de Informações com Realidade Aumentada, estratégias de desenvolvimento e arquiteturas para aplicações dessa categoria. Apresentam-se, neste documento, metodologias utilizadas no desenvolvimento de aplicações adaptativas de Visualização de Informação com Realidade Aumentada e uma arquitetura para integrar tais aplicações. O presente trabalho aborda e fundamenta tais metodologias por meio da descrição de trabalhos de pesquisa nas áreas correlatas, desenvolvimento de uma aplicação no setor agropecuário e realização de testes com usuários para validar a abordagem. / Doutor em Ciências

Durante muitos anos, diversas pesquisas na área de Design no Brasil, constataram limitados investimentos no desenvolvimento de produtos para auxiliar as pessoas com deficiência. Diante disso, esta tese teve por objetivo propor uma abordagem para os equipamentos de auxílio à comunicação de crianças com Transtorno do Espectro do Autismo (TEA) por meio do Design e da Realidade Aumentada (RA). Para o desenvolvimento da pesquisa foram realizadas pesquisa bibliográfica, pesquisa documental, Estudo de Caso e experimentos. Também foram realizadas observações das crianças com TEA, no ambiente da Associação de Pais e Amigos do Autista (AMA) da cidade de Florianópolis, para embasar a proposta de projeto de Prancha de Comunicação Alternativa e Aumentativa. A proposta resultante teve como base comum o produto prancha de comunicação que foi utilizada com aplicativo que utiliza Realidade Aumentada e está disponível no mercado. Nesta prancha de base o usuário aponta o dispositivo móvel para o pictograma e assim acessa e visualiza o vídeo que estabelece a comunicação transmitindo a ação que a criança realmente deseja executar. A base para a análise dos resultados foi a descrição detalhada dos casos por meio da apresentação de painéis representativos de cada criança por dia de aplicação e painéis comparativos de todas as crianças durante a realização do estudo. Evidenciam-se assim, os elementos indicadores de que a solução proposta apresenta vantagens em relação a algumas pranchas atualmente existentes e que pode contribuir para facilitar a comunicação e a interação não só das crianças com TEA, mas também de outras crianças com limitações na comunicação. / For many years, several studies in the area of Design in Brazil have founded limited investments in product development to help people with desabilities. Therefore, the aim of this thesis was to propose an approach to the equipment to aid the communication of children with Autism Spectrum Disorder (ASD) through Design and Augmented Reality (AR). For the development of the research were carried out bibliographic and documental researches, case studies and experiments. Observations were also made of the children with ASD in the Association of Parents and Friends of the Autistic (AMA) of Florianópolis to base the project proposal of the Alternative and Increasing Communication Board. The resulting proposal was based on the common product board that was developed together with an Augmented Reality mobile application available on the market. On this basis board the user points the mobile device to the pictogram and thus accesses and visualizes the video which establishes the communication and transmittes the action that the child really wants to perform. Thus, there is evidence that the proposed solution has advantages over some existing boards and can contribute to facilitate the communication and interaction not only of children with ASD, but also of other children with communication limitations.

This thesis combines topic of augmented reality with tourism. For analyzing the state of the use of augmented reality was composed case studies. It was created product, which is called Guide to mobile phone.

abstract: Statistics is taught at every level of education, yet teachers often have to assume their students have no knowledge of statistics and start from scratch each time they set out to teach statistics. The motivation for this experimental study comes from interest in exploring educational applications of augmented reality (AR) delivered via mobile technology that could potentially provide rich, contextualized learning for understanding concepts related to statistics education. This study examined the effects of AR experiences for learning basic statistical concepts. Using a 3 x 2 research design, this study compared learning gains of 252 undergraduate and graduate students from a pre- and posttest given before and after interacting with one of three types of augmented reality experiences, a high AR experience (interacting with three dimensional images coupled with movement through a physical space), a low AR experience (interacting with three dimensional images without movement), or no AR experience (two dimensional images without movement). Two levels of collaboration (pairs and no pairs) were also included. Additionally, student perceptions toward collaboration opportunities and engagement were compared across the six treatment conditions. Other demographic information collected included the students' previous statistics experience, as well as their comfort level in using mobile devices. The moderating variables included prior knowledge (high, average, and low) as measured by the student's pretest score. Taking into account prior knowledge, students with low prior knowledge assigned to either high or low AR experience had statistically significant higher learning gains than those assigned to a no AR experience. On the other hand, the results showed no statistical significance between students assigned to work individually versus in pairs. Students assigned to both high and low AR experience perceived a statistically significant higher level of engagement than their no AR counterparts. Students with low prior knowledge benefited the most from the high AR condition in learning gains. Overall, the AR application did well for providing a hands-on experience working with statistical data. Further research on AR and its relationship to spatial cognition, situated learning, high order skill development, performance support, and other classroom applications for learning is still needed. / Dissertation/Thesis / Ph.D. Educational Technology 2013

Aim The aim of the study is to test the relationship between augmented reality and the Swedish millennials’ purchase intention of shopping goods. Methods A survey was distributed online to Swedish millennials (born between the years of 1982 and 2000). Non-probability sampling was conducted in order to collect primary data by making use of convenience and snowball sampling. A total amount of 408 valid responses were collected which were analysed by correlation, linear regression and moderation regression analyses. Results The variables related to augmented reality (product perception, risk perception, augmented reality experience, hedonic experience and utilitarian experience) were found to be significantly related to the consumers’ purchase intention. The relationship between product perception and purchase intention was found to be moderated by the online experience with augmented reality. However, no proof was found that perceived risk when shopping online is moderated by using augmented reality. Conclusion Augmented reality can be used as a tool to enhance the consumers’ perception of the offered product and therewith raise the online purchase intention of Swedish millennials for shopping goods. The efficiency and informative aspects that augmented reality can provide are especially appreciated. Therefore, this study can recommend online retailers to introduce an augmented reality strategy in order to raise Swedish millennials’ purchase intention of shopping goods and therewith increase the sales numbers.

Förstärkt verklighet eller Augmented Reality (AR) är idag en av de viktigaste riktningarna inom informationsteknologiområdet (IT). AR-tekniken har redan använts inom områden såsom underhållning, konstruktion, medicinsk behandling, utbildning och är tillgänglig i flera olika enheter som till exempel mobiltelefoner, surfplattor, etcetera. Under de senaste åren har allt snabbare framsteg gjorts inom mobilapplikationer som erbjuder AR-upplevelser, men det finns fortfarande ett behov av en djupare förståelse för hur en bättre användarupplevelse eller User Experience (UX) kan designas i dessa Augmented Reality Mobile Applications (ARMA). Detta examensarbete fokuserar på de aspekter av interaktionen som måste beaktas när ett grafiskt användargränssnitt baserat på ARMA utformas i syfte att göra applikationerna kontextkänsliga. Det betyder att hjälpa användaren få relevant information som passar situationen eller den kontext denne befinner sig in när hen använder sin mobiltelefon och därmed erbjuda hen bättre användarupplevelser. Studien omfattar en heuristisk utvärdering och ett användbarhetstest av mobilapplikationen Layar som bland annat känner igen olika Points of Interest (POI) och som ger direkt digital kontextuell information om dem. Baserat på resultatet av den heuristiska utvärderingen och användbarhetstestet i kombination med tidigare forskning inom området, har åtta stycken designriktlinjer tagits fram. Jag hoppas att dessa riktlinjer kan fungera som ett stöd vid utformningen av gränssnittet på kontextkänsliga ARMA och i förlängningen förbättra användarupplevelsen.

The upcoming new generation of autonomous vehicles for transporting materials in industrial environments will be more versatile, flexible and efficient than traditional Automatic Guided Vehicles (AGV), which simply follow pre-defined paths. However, freely navigating vehicles can appear unpredictable to human workers and thus cause stress and render joint use of the available space inefficient. This work addresses the problem of providing information regarding a service robot’s intention to humans co-populating the environment. The overall goal is to make humans feel safer and more comfortable, even when they are in close vicinity of the robot. A spatial Augmented Reality (AR) system for robot intention communication by means of projecting proxemic information onto shared floor space is developed on a robotic fork-lift by equipping it with a LED projector. This helps in visualizing internal state information and intents on the shared floors spaces. The robot’s ability to communicate its intentions is evaluated in realistic situations where test subjects meet the robotic forklift. A Likert scalebased evaluation which also includes comparisons to human-human intention communication was performed. The results show that already adding simple information, such as the trajectory and the space to be occupied by the robot in the near future, is able to effectively improve human response to the robot. This kind of synergistic human-robot interaction in a work environment is expected to increase the robot’s acceptability in the industry.

Conselho Nacional de Desenvolvimento CientÃfico e TecnolÃgico / Cirurgias minimamente invasivas requerem aprendizagem e treinamento de habilidades nÃo convencionais de cirurgiÃes (por exemplo, coordenaÃÃo mÃo-olho, destreza manual e precisÃo). Os processos de ensino e aprendizagem envolvem, em geral, o uso de caixas-pretas simuladoras para o treinamento dessas habilidades que podem ser praticadas com atividades de navegaÃÃo com as pinÃas laparoscÃpicas e de coordenaÃÃo de movimentos simples. Neste trabalho, propÃe-se estender caixas-pretas de treinamento laparoscÃpico com Realidade Aumentada (RA) e tÃcnicas de gamificaÃÃo. O ambiente proposto apresenta uma cÃmera adicional e utiliza algoritmos de rastreamento de objetos a fim de controlar os movimentos dos objetos manipulados. O ambiente proposto à uma caixa laparoscÃpica simuladora capaz de observar o desempenho do aprendiz durante a atividade de formaÃÃo (por exemplo, tempo para terminar a atividade, erros). O framework LARG à a parte de software principal do simulador. Ele foi desenvolvido para implementar as atividades e integrar as bibliotecas OpenCV e Ogre3D. O framework possui mecanismos que possibilitam renderizar imagens 3D nas atividades, rastrear objetos, detectar padrÃes e inserir componentes gamificados. Foram projetadas e desenvolvidas duas atividades para o treinamento de habilidades de navegaÃÃo. Uma avaliaÃÃo de usabilidade do simulador foi realizada com um grupo de dezoito mÃdicos que executou as duas atividades. Os resultados indicam uma boa aceitaÃÃo de usabilidade do ambiente proposto. Observou-se tambÃm uma diferenÃa significativa no desempenho entre os cirurgiÃes e os alunos do primeiro ano de residÃncia, um indicativo positivo para a utilizaÃÃo do simulador no processo de ensino e aprendizagem de habilidades em MIS. / Minimally Invasive Surgeries (MIS) require learning and training unconventional skills of surgeons (e.g., hand-eye coordination, manual dexterity). The teaching and learning processes usually involve the use of simulating box-trainers, which allow the training of such skills with navigation activities and simple coordination. In this paper, we propose to extend laparoscopic box-trainers with Augmented Reality (AR) and gamification techniques. The proposal uses an additional camera and object tracking to monitor the movement of handled objects. Our boxtrainer simulator is able to assess the performance of students during the training activity (e.g., time to complete the activity, errors). The main part of the simulator is the LARG framework, which is developed and used to implement the gamified activities. The framework integrates the OpenCV and Ogre3D libraries. It offers mechanisms that enable rendering of 3D images in activities, tracking of objects, detecting patterns and inserting gamified components. We designed and developed two activities for the training of navigation skills. A usability evaluation of the proposal was implemented with a group of eighteen members who performed two activities. Results indicate a good usability acceptance of the box-trainer. We also observed a significant difference in performance between surgeons and students of the first year of residency, thus indicating the simulator can be successfully used in learning MIS skills.

Conselho Nacional de Desenvolvimento CientÃfico e TecnolÃgico / Location-based mobile games are a special type of game where location technologies are employed to track players and to alter the rules of the games. Such games are a subclass of pervasive games whose playability advances according to the location of players. This work proposes an authoring tool to develop location-based mobile games enhances with augmented reality features. This tool was conceived from research studies on authoring tools and pervasive games. By analysing the related works, we have compiled the most common features of location-based mobile games and the main aspects presented in authoring tools for developing these games. Moreover, we have used focus groups to both enhance the creation of new scenarios for location-based mobile games and improve the usage of augmented reality in such games. Ultimately, we have compiled a set of requirements to design a software architecture for the development of an authoring tool. The designed architecture is composed of a server to manage running games, a web based system for developing these games, and a mobile application in which the games are executed. The main goal of this work is to provide a software solution that allows non-programmers to design, build and execute location-based mobile games. To assess the proposed work, we have designed and implemented a game called "Battle for Fortaleza" using the authoring tool. Besides, we have conducted interviews with users to validate the utility and the easiness of the tool to develop location-based mobile games. / Jogos mÃveis baseados em localizaÃÃo sÃo aqueles que fazem uso de tecnologias de localizaÃÃo e que agregam a posiÃÃo de seus jogadores nas regras do jogo. Estes jogos sÃo uma subclasse de jogos pervasivos em que a jogabilidade progride de acordo com a localizaÃÃo do jogador. Neste trabalho à proposta uma ferramenta de autoria para a criaÃÃo de jogos mÃveis baseados em localizaÃÃo, acrescidos com recursos de realidade aumentada. A concepÃÃo desta ferramenta foi feita com base em uma revisÃo da literatura sobre ferramentas de autoria e jogos pervasivos. A partir de trabalhos relacionados, buscou-se recolher as caracterÃsticas comuns de jogos mÃveis baseados em localizaÃÃo e caracterÃsticas de ferramentas de autoria para estes jogos. AlÃm disso, utilizou-se grupos focais para refinar os novos cenÃrios para jogos mÃveis baseados em localizaÃÃo, em particular a respeito de como a realidade aumentada pode ser utilizada nestes jogos. Com o estudo de ambos, na revisÃo da literatura e nos grupos focais foi produzido um conjunto de requisitos para projetar uma arquitetura de software para o desenvolvimento de uma ferramenta de criaÃÃo. Esta arquitetura à composta de um servidor para gerenciar os jogos em execuÃÃo, uma aplicaÃÃo baseada na web que permite a autoria dos jogos e um aplicativo para dispositivos mÃveis onde sÃo executados os jogos desenvolvidos. Nosso principal objetivo à fornecer uma soluÃÃo de software para permitir que usuÃrios nÃo-programadores possam projetar, construir e executar jogos mÃveis baseados em localizaÃÃo. A fim de avaliar a nossa ferramenta, foi projetado e implementado um jogo chamado âBatalha por Fortalezaâ, em que as funcionalidades da ferramentas sÃo demonstradas. AlÃm disso, buscou-se validar, com usuÃrios, se a ferramenta proposta consegue auxiliar na criaÃÃo de jogos de maneira fÃcil e intuitiva.

Submitted by Nayara Passos (nayara.passos@ufpe.br) on 2015-03-12T13:53:20Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) TESE João Paulo Silva do Monte Lima.pdf: 5689244 bytes, checksum: e6e2c3f1da85d18b6bb7049e458f50e7 (MD5) / Made available in DSpace on 2015-03-12T13:53:20Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) TESE João Paulo Silva do Monte Lima.pdf: 5689244 bytes, checksum: e6e2c3f1da85d18b6bb7049e458f50e7 (MD5) Previous issue date: 2014 / CAPES , CNPq / Sistemas de Realidade Aumentada são capazes de realizar registro 3D em tempo real de objetos virtuais e reais, o que consiste em posicionar corretamente os objetos virtuais em relação aos reais de forma que os elementos virtuais pareçam ser reais. Uma maneira bastante popular de realizar esse registro é usando detecção e rastreamento de objetos baseado em vídeo a partir de marcadores fiduciais planares. Outra maneira de sensoriar o mundo real usando vídeo é utilizando características naturais do ambiente, o que é mais complexo que usar marcadores planares artificiais. Entretanto, detecção e rastreamento de características naturais é mandatório ou desejável em alguns cenários de aplicação de Realidade Aumentada. A detecção e o rastreamento de objetos a partir de características naturais pode fazer uso de um modelo 3D do objeto obtido a priori. Se tal modelo não está disponível, ele pode ser adquirido usando reconstrução 3D, por exemplo. Nesse caso, um sensor RGB-D pode ser usado, que se tornou nos últimos anos um produto de fácil acesso aos usuários em geral. Ele provê uma imagem em cores e uma imagem de profundidade da cena e, além de ser usado para modelagem de objetos, também pode oferecer informações importantes para a detecção e o rastreamento de objetos em tempo real. Nesse contexto, o trabalho proposto neste documento tem por finalidade investigar o uso de sensores RGB-D de consumo para detecção e estimação de pose de objetos a partir de características naturais, com o propósito de usar tais técnicas para desenvolver aplicações de Realidade Aumentada. Dois métodos baseados em retificação auxiliada por profundidade são propostos, que transformam características extraídas de uma imagem em cores para uma vista canônica usando dados de profundidade para obter uma representação invariante a rotação, escala e distorções de perspectiva. Enquanto um método é adequado a objetos texturizados, tanto planares como não-planares, o outro método foca em objetos planares não texturizados. Avaliações qualitativas e quantitativas dos métodos propostos são realizadas, mostrando que eles podem obter resultados melhores que alguns métodos existentes para detecção e estimação de pose de objetos, especialmente ao lidar com poses oblíquas. / Augmented Reality systems are able to perform real-time 3D registration of virtual and real objects, which consists in correctly positioning the virtual objects with respect to the real ones such that the virtual elements seem to be real. A very popular way to perform this registration is using video based object detection and tracking with planar fiducial markers. Another way of sensing the real world using video is by relying on natural features of the environment, which is more complex than using artificial planar markers. Nevertheless, natural feature detection and tracking is mandatory or desirable in some Augmented Reality application scenarios. Object detection and tracking from natural features can make use of a 3D model of the object which was obtained a priori. If such model is not available, it can be acquired using 3D reconstruction. In this case, an RGB-D sensor can be used, which has become in recent years a product of easy access to general users. It provides both a color image and a depth image of the scene and, besides being used for object modeling, it can also offer important cues for object detection and tracking in real-time. In this context, the work proposed in this document aims to investigate the use of consumer RGB-D sensors for object detection and pose estimation from natural features, with the purpose of using such techniques for developing Augmented Reality applications. Two methods based on depth-assisted rectification are proposed, which transform features extracted from the color image to a canonical view using depth data in order to obtain a representation invariant to rotation, scale and perspective distortions. While one method is suitable for textured objects, either planar or non-planar, the other method focuses on texture-less planar objects. Qualitative and quantitative evaluations of the proposed methods are performed, showing that they can obtain better results than some existing methods for object detection and pose estimation, especially when dealing with oblique poses.