Made available in DSpace on 2011-03-23T21:19:21Z (GMT). No. of bitstreams: 0 / Item created via OAI harvest from source: http://www.bdtd.ufpa.br/tde_oai/oai2.php on 2011-03-23T21:19:21Z (GMT). Item's OAI Record identifier: oai:bdtd.ufpa.br:142 / It aims to apply the characteristics of an augmented reality environment such as easy and intuitive interaction and large visualization space to the implementation, interaction and visualization of multiple coordinated data views. Multiple data views provide the user a better data analysis on different aspects. The coordination among multiple views reduces the cognitive overload for the user. The augmented environment was based on ARToolKit. The interaction is based on a interface with markers. The adopted visualization technique was the 3D scatterplot together with a variety of filter and view configuration options. Finally, some preliminary usability essays for the developed prototype are presented. / Versa sobre a aplicação das características de um ambiente de realidade aumentada, tais como: interação fácil e intuitiva, e grande espaço para visualização de dados, na implementação, interação e visualização de múltiplas visões de dados coordenadas. As múltiplas visões de dados permitem que o usuário realize uma melhor análise dos dados sobre diferentes aspectos, e a coordenação entre as múltiplas visões tem o objetivo de diminuir a sobrecarga oogniriva conferida ao usuário. O ambiente aumentado foi concebido através do ARToolKit, a interação se dá através de uma interface baseada em cartões marcadores. A técnica implementada foi Dispersão de Dados 3D, acompanhada de uma diversidade de filtros e configurações para as visões de dados. Por fim, são apresentados alguns ensaios de usabilidade preliminares do protótipo desenvolvido.

Este trabalho apresenta os resultados da pesquisa e da aplicação de técnicas de GPGPU (General-Purpose computation on Graphics Processing Units) sobre o sistema de vídeo-avatar com realidade aumentada denominado AVMix. Com o aumento da demanda por gráficos tridimensionais interativos em tempo real cada vez mais próximos da realidade, as GPUs (Graphics Processing Units) evoluíram até o estado atual, como um hardware com alto poder computacional que permite o processamento de algoritmos paralelamente sobre um grande volume de dados. Desta forma, É possível usar esta capacidade para aumentar o desempenho de algoritmos usados em diversas áreas, tais como a área de processamento de imagens e visão computacional. A partir das pesquisas de trabalhos semelhantes, definiu-se o uso da arquitetura CUDA (Computer Unified Device Architecture) da Nvidia, que facilita a implementação dos programas executados na GPU e ao mesmo tempo flexibiliza o seu uso, expondo ao programador o detalhamento de alguns recursos de hardware, como por exemplo a quantidade de processadores alocados e os diferentes tipos de memória. Após a reimplementação das rotinas críticas ao desempenho do sistema AVMix (mapa de profundidade, segmentação e interação), os resultados mostram viabilidade do uso da GPU para o processamento de algoritmos paralelos e a importância da avaliação do algoritmo a ser implementado em relação a complexidade do cálculo e ao volume de dados transferidos entre a GPU e a memória principal do computador. / This work presents the results of research and application of GPGPU (General-Purpose computation on Graphics Processing Units) techniques on the video-avatar system with augmented reality called AVMix. With increasing demand for interactive three-dimensional graphics rendered in real-time and closer to reality, GPUs (Graphics Processing Units) evolved to the present state as a high-powered computing hardware enabled to process parallel algorithms over a large data set. This way, it is possible to use this capability to increase the performance of algorithms used in several areas, such as image processing and computer vision. From the research of similar work, it is possible to define the use of CUDA (Computer Unified Device Architecture) from Nvidia, which facilitates the implementation of the programs that run on GPU and at the same time flexibilize its use, exposing to the programmer some details of hardware such as the number of processors allocated and the different types of memory. Following the reimplementation of critical performance routines of AVMix system (depth map, segmentation and interaction), the results show the viability of using the GPU to process parallel algorithms in this application and the importance of evaluating the algorithm to be implemented, considering the complexity of the calculation and the volume of data transferred between the GPU and the computer\'s main memory.

Orientador: Celso Setsuo Kurashima / Dissertação (mestrado) - Universidade Federal do ABC. Programa de Pós-Graduação em Engenharia da Informação, 2013

Usage of real objects as links between real and virtual information is one key aspect in augmented reality. A central issue to achieve this link is the estimation of the visuospatial information of the observed object, or in other words, estimating the object pose. Different objects can have different behaviors when used for interaction. This not only encompasses changes in position, but also folding or deformations. Traditional researches in the area solve those pose estimation problems using different approaches, depending on the type of the object. Additionally, some researches are based only on positional information of observed feature points, simplifying the object information. In this work, we explore the pose estimation of different objects by gathering more information from the observed feature points, and obtaining the local poses of such points, which are not explored in other researches. We apply this local pose estimation idea in two different capturing scenarios, reaching two novel approaches of pose estimation: one based on RGB-D cameras, and another based on RGB and machine learning methods. In the RGB-D based approach, we use the feature point orientation and near surface to obtain its normal; then, find the local 6 degrees-of-freedom (DoF) pose. This approach gives us not only the rigid object pose, but also the approximated pose of deformed objects. On the other hand, our RGB based approach explores machine learning with local appearance changes. Unlike other RGB based works, we replace the complex non-linear systems solvers with a fast and robust method, reaching local rotation of the observed feature points, as well as, full 6 DoF rigid object pose with dramatically lower real-time calculation demands. Both approaches show us that gathering local poses can bring information for the pose estimation of different types of objects. / O uso de objetos reais como meio de conexão entre informações reais e virtuais é um aspecto chave dentro da realidade aumentada. Uma questão central para tal conexão é a estimativa de informações visuo-espaciais do objeto, ou em outras palavras, a detecção da pose do objeto. Diferentes objetos podem ter diferentes comportamentos quando utilizados em interações. Não somente incluindo a mudança de posição, mas também sendo dobradas ou deformadas. Pesquisas tradicionais solucionam tais problemas de detecção usando diferentes abordagens, dependendo do tipo de objeto. Adicionalmente, algumas pesquisas se baseiam somente na informação posicional dos pontos de interesse, simplificando a informação do objeto. Neste trabalho, a detecção de pose de diferente objetos é explorada coletando-se mais informações dos pontos de interesse observados e, por sua vez, obtendo as poses locais de tais pontos, poses que não são exploradas em outras pesquisas. Este conceito da detecção de pose locais é aplicada em dois ambientes de capturas, estendendo-se em duas abordagens inovadoras: uma baseada em câmeras RGB-D, e outra baseada em câmeras RGB e métodos de aprendizado de maquinas. Na abordagem baseada em RGB-D, a orientação e superfície ao redor do ponto de interesse são utilizadas para obter a normal do ponto. Através de tais informações a pose local é obtida. Esta abordagem não só permite a obtenção de poses de objetos rígidos, mas também a pose aproximada de objetos deformáveis. Por outro lado, a abordagem baseada em RGB explora o aprendizado de máquina aplicado em alterações das aparências locais. Diferentemente de outros trabalhos baseados em câmeras RGB, esta abordagem substitui solucionadores não lineares complexos com um método rápido e robusto, permitindo a obtenção de rotações locais dos pontos de interesse, assim como, a pose completa (com 6 graus-de-liberdade) de objetos rígidos, com uma demanda computacional muito menor para cálculos em tempo-real. Ambas as abordagens mostram que a coleta de poses locais podem gerar informações para a detecção de poses de diferentes tipos de objetos.

Este trabalho apresenta os resultados da pesquisa e da aplicação de técnicas de GPGPU (General-Purpose computation on Graphics Processing Units) sobre o sistema de vídeo-avatar com realidade aumentada denominado AVMix. Com o aumento da demanda por gráficos tridimensionais interativos em tempo real cada vez mais próximos da realidade, as GPUs (Graphics Processing Units) evoluíram até o estado atual, como um hardware com alto poder computacional que permite o processamento de algoritmos paralelamente sobre um grande volume de dados. Desta forma, É possível usar esta capacidade para aumentar o desempenho de algoritmos usados em diversas áreas, tais como a área de processamento de imagens e visão computacional. A partir das pesquisas de trabalhos semelhantes, definiu-se o uso da arquitetura CUDA (Computer Unified Device Architecture) da Nvidia, que facilita a implementação dos programas executados na GPU e ao mesmo tempo flexibiliza o seu uso, expondo ao programador o detalhamento de alguns recursos de hardware, como por exemplo a quantidade de processadores alocados e os diferentes tipos de memória. Após a reimplementação das rotinas críticas ao desempenho do sistema AVMix (mapa de profundidade, segmentação e interação), os resultados mostram viabilidade do uso da GPU para o processamento de algoritmos paralelos e a importância da avaliação do algoritmo a ser implementado em relação a complexidade do cálculo e ao volume de dados transferidos entre a GPU e a memória principal do computador. / This work presents the results of research and application of GPGPU (General-Purpose computation on Graphics Processing Units) techniques on the video-avatar system with augmented reality called AVMix. With increasing demand for interactive three-dimensional graphics rendered in real-time and closer to reality, GPUs (Graphics Processing Units) evolved to the present state as a high-powered computing hardware enabled to process parallel algorithms over a large data set. This way, it is possible to use this capability to increase the performance of algorithms used in several areas, such as image processing and computer vision. From the research of similar work, it is possible to define the use of CUDA (Computer Unified Device Architecture) from Nvidia, which facilitates the implementation of the programs that run on GPU and at the same time flexibilize its use, exposing to the programmer some details of hardware such as the number of processors allocated and the different types of memory. Following the reimplementation of critical performance routines of AVMix system (depth map, segmentation and interaction), the results show the viability of using the GPU to process parallel algorithms in this application and the importance of evaluating the algorithm to be implemented, considering the complexity of the calculation and the volume of data transferred between the GPU and the computer\'s main memory.

Currently, access to information is increasingly easy because of the advancement of Information and Communication Technology (TIC), reflecting the popularization of computers and the Internet, both in schools as at home. In the same context research projects are being developed toward new teaching methodologies. These projects facilitate new educational methods compared with traditional methods. Today is possible to simulate several laboratories (physics, chemistry, mathematics) by a single computer lab. There are several technologies that support the creation of these systems, included Virtual Reality that lets you create Virtual models and environments and simulate them as if they were real. Another technology is Augmented Reality, where you can insert elements of virtual learning in real environments, which increases the number of alternative educational tools. However distributed systems Virtual Reality and Augmented Reality developed today are limited in the amount of virtual objects belonging to the environment used, another issue is that these systems use either Virtual or Augmented Reality to solve their problems independently, not completing the two technologies. Thus, this dissertation came with the proposal to develop a distribution architecture for Virtual and Augmented Reality, where any model or virtual environment may be distributed, which allows greater flexibility of the proposed architecture / Atualmente, o acesso à informação esta cada dia mais fácil, devido ao avanço da Tecnologia da Informação e Comunicação (TIC), reflexo da popularização do computador e da Internet, tanto nas escolas quanto nas residências. No mesmo contexto pesquisas e projetos, estão sendo desenvolvidos voltados para novas metodologias de ensino. Esses projetos facilitam novos métodos educacionais quando comparado com métodos tradicionais. Hoje é possível que vários laboratórios (física, química, matemática) possam ser simulados por meio de um único laboratório de informática. Existem várias tecnologias de suporte à criação destes sistemas, podendo destacar Realidade Virtual que permite criar modelos e ambientes e simulá-los como se fossem reais. Outra tecnologia é a Realidade Aumentada, onde é possível inserir elementos de aprendizagem virtuais em ambientes reais, o que possibilita o aumento de alternativas de ferramentas educacionais. Contudo, os sistemas distribuídos de Realidade Virtual e Realidade Aumentada desenvolvidos atualmente estão limitados na quantidade de objetos virtuais pertencentes ao ambiente utilizado, outra questão é que nestes sistemas ora utilizam Realidade Virtual ou Aumentada para resolver seus problemas de forma independente, não com completando as duas tecnologias. Assim, essa dissertação tem a proposta de apresentar uma arquitetura de distribuição de Realidade Virtual e Aumentada, onde qualquer modelo ou ambiente virtual poderá ser distribuído em ambas, o que permite maior flexibilidade da arquitetura proposta. / Mestre em Ciências

A adolescência é uma fase de descobertas e auto-afirmação, normalmente conhecida pela preocupação dos pais, esta torna os jovens vulneráveis a vários problemas, dentre eles o consumo de drogas, o que requer atenção para que esses adolescentes não entrem neste mundo. O governo faz sua parte distribuindo informações, cartilhas e campanhas sobre a utilização das drogas, mas normalmente essas não embarcam êxito por tratar o jovem como problemático e sendo uma forma mais tradicional não consegue mais atrair a atenção, podendo ser considerada uma forma inadequada para este público. Por um outro lado, os jovens possuem fascínio por jogos. Acredita-se que uma abordagem utilizando jogos educacionais eletrônicos possam lograr maior sucesso, devido ao ambiente atrativo que oferecem. Em estudos realizados em jovens, com jogos comuns e jogos eletrônicos pôde-se notar a importância da utilização desse tipo de intervenção. Esta dissertação apresenta uma proposta de desenvolvimento por meio de um jogo com Realidade Aumentada como estratégia de auxiliar na informação e prevenção ao uso de drogas em jovens e adolescentes, um tipo de jogo onde foi utilizada uma tecnologia que mistura o mundo real com imagens em 3D. A pesquisa também realizou uma métrica para pesquisa dentro do universo escolar, que possui o público necessário para a aplicação do jogo. Analisando os resultados pode se concluir que a potencialidade do jogo caracterizado para esta comunidade pôde perfazer uma maior conscientização do que as demais abordagens apresentadas. / Adolescence is a stage of discovery and self-affirmation, commonly known by the concern of parents, this makes young people vulnerable to various problems, including drug use, which requires attention to these teenagers do not enter this world. The government is doing its part by distributing information leaflets and campaigns on the use of drugs, but usually these board not succeed by treating the youth as problematic and being a more traditional way can no longer attract attention and can be considered an inappropriate way for this public. On another side, young people have fascination for games. It is believed that an approach using electronic educational games can achieve greater success due to the attractive environment they offer. In studies conducted in young people, with common games and electronic games could be noted the importance of using this type of intervention. This work presents a proposal for development through a game with Augmented Reality as an aid strategy in information and prevention of drug use in young people and adolescents, a type of game where a technology was used to mix the real world with 3D images . The survey also conducted a metric for research within the school environment, which has the public necessary for the implementation of the game. Analyzing the results it can be concluded that the game featured potential for this community could make up a greater awareness than other approaches presented.

Durante muitos anos, diversas pesquisas na área de Design no Brasil, constataram limitados investimentos no desenvolvimento de produtos para auxiliar as pessoas com deficiência. Diante disso, esta tese teve por objetivo propor uma abordagem para os equipamentos de auxílio à comunicação de crianças com Transtorno do Espectro do Autismo (TEA) por meio do Design e da Realidade Aumentada (RA). Para o desenvolvimento da pesquisa foram realizadas pesquisa bibliográfica, pesquisa documental, Estudo de Caso e experimentos. Também foram realizadas observações das crianças com TEA, no ambiente da Associação de Pais e Amigos do Autista (AMA) da cidade de Florianópolis, para embasar a proposta de projeto de Prancha de Comunicação Alternativa e Aumentativa. A proposta resultante teve como base comum o produto prancha de comunicação que foi utilizada com aplicativo que utiliza Realidade Aumentada e está disponível no mercado. Nesta prancha de base o usuário aponta o dispositivo móvel para o pictograma e assim acessa e visualiza o vídeo que estabelece a comunicação transmitindo a ação que a criança realmente deseja executar. A base para a análise dos resultados foi a descrição detalhada dos casos por meio da apresentação de painéis representativos de cada criança por dia de aplicação e painéis comparativos de todas as crianças durante a realização do estudo. Evidenciam-se assim, os elementos indicadores de que a solução proposta apresenta vantagens em relação a algumas pranchas atualmente existentes e que pode contribuir para facilitar a comunicação e a interação não só das crianças com TEA, mas também de outras crianças com limitações na comunicação. / For many years, several studies in the area of Design in Brazil have founded limited investments in product development to help people with desabilities. Therefore, the aim of this thesis was to propose an approach to the equipment to aid the communication of children with Autism Spectrum Disorder (ASD) through Design and Augmented Reality (AR). For the development of the research were carried out bibliographic and documental researches, case studies and experiments. Observations were also made of the children with ASD in the Association of Parents and Friends of the Autistic (AMA) of Florianópolis to base the project proposal of the Alternative and Increasing Communication Board. The resulting proposal was based on the common product board that was developed together with an Augmented Reality mobile application available on the market. On this basis board the user points the mobile device to the pictogram and thus accesses and visualizes the video which establishes the communication and transmittes the action that the child really wants to perform. Thus, there is evidence that the proposed solution has advantages over some existing boards and can contribute to facilitate the communication and interaction not only of children with ASD, but also of other children with communication limitations.

Submitted by Automa??o e Estat?stica (sst@bczm.ufrn.br) on 2018-02-21T21:29:06Z No. of bitstreams: 1 KerolaynePaivaSoares_TESE.pdf: 14474619 bytes, checksum: c7fe8c3bad13343debb34f5675472ff3 (MD5) / Approved for entry into archive by Arlan Eloi Leite Silva (eloihistoriador@yahoo.com.br) on 2018-02-22T23:29:20Z (GMT) No. of bitstreams: 1 KerolaynePaivaSoares_TESE.pdf: 14474619 bytes, checksum: c7fe8c3bad13343debb34f5675472ff3 (MD5) / Made available in DSpace on 2018-02-22T23:29:21Z (GMT). No. of bitstreams: 1 KerolaynePaivaSoares_TESE.pdf: 14474619 bytes, checksum: c7fe8c3bad13343debb34f5675472ff3 (MD5) Previous issue date: 2017-10-19 / A presente tese tem como objetivo mostrar o desenvolvimento e aplica??o de uma ferramenta em Realidade Aumentada para ajudar crian?as afetadas com Transtorno do Espectro Autista (TEA). Tal ferramenta consiste na exibi??o de cenas caricaturadas da vida real, atrav?s dos ?culos de Realidade Virtual Google Cardboard, que foram utilizadas em tarefas e testes psicopedag?gicos, realizados com essas crian?as. Analisamos os relacionamentos sobre a poss?vel melhoria nas fun??es executivas quando essas t?m seu processamento facial suavizado usando o sistema proposto e vendo o mundo real como um desenho animado. Este estudo inicial fornece evid?ncias para verificar que tais crian?as t?m um interesse particular em desenho animado a despeito de faces humanas. Os resultados alcan?ados sugerem que o ambiente proposto ajuda a aumentar o desempenho das crian?as em tarefas psicopedag?gicas e que pode ser uma ferramenta ?til para ajudar os profissionais em educa??o a proporcionar um melhor suporte a essas crian?as, principalmente no que diz respeito ao desenvolvimento de suas fun??es executivas. / The present thesis aims to show the development and application of an Augmented Reality tool to helps children affected with Autistic Spectrum Disorder (ASD).This tool consists of the display of real-life caricatured scenes, visualized through the Google Cardboard Virtual Reality glasses, which were used in tasks and psychopedagogical tests performed with these children. We analyzed the relationships about the possible increase in executive functions when they have their facial processing smoothed using the proposed system and seeing the real world as a cartoon. This initial study provides evidences to verify that such children have a particular interest in cartoon in spite of human faces. The results suggest that the proposed environment helps to increase children?s performance in psychopedagogical tasks and that it can be a useful tool to help professionals in education in their work to provide better support to these children, especially with regard to development of executive functions of them.

The research on natural interaction has been growing significantly since, with the spread of personal computers, there is an increasing demand for interfaces that maximize productivity. Among these we can highlight the interfaces Virtual Reality and Augmented Reality (KIRNER, TORI e SISCOUTO, 2006), where users can perform simple tasks such as choosing a 3D object translation, rotation and scaling in 3D object. These tasks are usually performed through devices such as the keyboard and mouse, and can, thus, a loss of immersion happen by the user in the virtual environment. Thus, investigating methodologies for natural interaction in these environments, can help increase user immersion in the virtual environment. Another issue that have been the focus of many researches are Collaborative Virtual Environments (KIRNER e TORI, 2004), where it is possible for users to communicate and share information. These users can be physically close or not. The main focus of this work is precisely the communication among remotely dispersed users. Thus, it is intended with this work, proposing a system where it is possible to manipulate 3D objects using natural gestures and share data remotely dispersed users. / As pesquisas na área de interação natural vêm crescendo significativamente, pois, com a disseminação de computadores pessoais, existe uma demanda crescente por interfaces que maximizem a produtividade. Dentre essas interfaces podemos destacar a Realidade Virtual e a Realidade Aumentada (KIRNER, TORI e SISCOUTO, 2006), de forma que os usuários possam realizar tarefas simples como: escolha de um objeto 3D, translação, rotação e mudança de escala neste objeto 3D. Essas tarefas normalmente são realizadas através de dispositivos como o teclado e o mouse, podendo, dessa maneira, acontecer uma perda de imersão por parte do usuário no ambiente virtual. Sendo assim, investigar metodologias para interação natural nesses ambientes, pode ajudar a aumentar a imersão do usuário, no ambiente virtual. Outra questão que vem sendo o foco de muitas pesquisas são os Ambientes Virtuais Colaborativos (KIRNER e TORI, 2004), que permitem aos usuários se comunicarem e compartilhar informações. Esses usuários podem estar próximos fisicamente ou não. O foco principal desse trabalho é justamente a comunicação entre usuários dispersos remotamente. Dessa maneira, pretende-se, com esse trabalho, propor um sistema que possibilite a manipulação objetos 3D através de gestos naturais e compartilhar dados com usuários dispersos remotamente. / Mestre em Ciências