Submitted by Ricardo Cedraz Duque Moliterno (ricardo.moliterno@uefs.br) on 2016-08-23T00:23:16Z No. of bitstreams: 1 Dissertacao- Ad?lia Corrigida.pdf: 2614314 bytes, checksum: e8daf89c12010bddf4b356264efe1efe (MD5) / Made available in DSpace on 2016-08-23T00:23:16Z (GMT). No. of bitstreams: 1 Dissertacao- Ad?lia Corrigida.pdf: 2614314 bytes, checksum: e8daf89c12010bddf4b356264efe1efe (MD5) Previous issue date: 2016-02-12 / In current times, the computer has been trying to, every day, make the reality that in a few years ago was considered a fiction. In this way, technicians and researchers have conducted studies in order to make it possible to expand and its cheapening, making them increasingly accessible and, consequently, popular. Today we have computers by submerging the various segments of society; homes and work environments are increasingly invaded by these cyberspace. The technology surprises with new equipment and software that some time ago were used separately. However, with the expansion and the growth that is happening in the world, the technology is moving in the direction of convergence, integration and multifunctional devices. As the computer is adapted to the different sectors of society, is entirely understandable and common accept that the school also make part of the globalized world and digital. Augmented Reality is a technology to introduce virtual objects with the real scenes. In this way, Virtual Reality and Augmented Reality can be considered as two areas directly connected with the new generations of the user interface, facilitating and enhancing the user's interactions with the computational applications. The use of Augmented Reality in the production of educational content contributes, notably, to facilitate learning because it makes an explanation more attractive and dynamic in relation to traditional forms of education. In spite of the Augmented Reality be used widely in various fields and areas of knowledge, mainly as a form of virtual tours that feature three-dimensional objects, has emerged a new generation of interface, to the extent that, using dimensional representations closer to the reality on the user, allows to break the barrier of the screen; in addition to interactions more natural. Astronomy is the science responsible for the study of the Universe, as it is constituted, and also for the formation of stars and their relations. Is the area of science that seeks to worry about the form, the distance, the greatness, in addition to the organization, origin, evolution, and still, composition and movement of all celestial bodies. Your study, particularly on the planets and the constellations, it is challenging for many students, however, it presents difficulties involve the identification and their relative positions that change constantly, throughout the year. Thus, the objective of this work is to develop an application (JMA - Memory Game in Astronomy) using the technology of Augmented Reality, facing the students of the first cycle of the initial series of Basic Education, applying it and analyzing the use of this tool; creating a differentiated situation in relation to process traditional educational and emphasizing the collaborative work. / Nos tempos atuais, a inform?tica vem tentando, a cada dia, tornar realidade o que em alguns anos atr?s era considerada uma fic??o. Dessa forma, t?cnicos e pesquisadores t?m desenvolvido estudos a fim de possibilitar a expans?o e o seu barateamento, tornando-a cada vez mais acess?vel e, consequentemente, popular. Hoje percebemos os computadores submergindo os diversos segmentos da sociedade; lares e ambientes de trabalho s?o cada vez mais invadidos por esses ciberespa?os. A tecnologia surpreende com novos equipamentos e softwares que h? algum tempo eram utilizados de forma separada. Por?m, com a expans?o e o crescimento que vem acontecendo no mundo, ? tecnologia caminha na dire??o da converg?ncia, integra??o e equipamentos multifuncionais. Como a inform?tica se adaptou aos diferentes setores da sociedade, ? totalmente compreens?vel e comum aceitar que a escola tamb?m fa?a parte do mundo globalizado e digital. A Realidade Aumentada ? a tecnologia de introduzir objetos virtuais com as cenas reais. Dessa forma, Realidade Virtual e Realidade Aumentada podem ser consideradas como duas ?reas diretamente ligadas com as novas gera??es de interface do usu?rio, facilitando e potencializando as intera??es do usu?rio com as aplica??es computacionais. A utiliza??o da Realidade Aumentada na produ??o de conte?dos educativos contribui, notadamente, para facilitar a aprendizagem visto que torna uma explica??o mais atrativa e din?mica em rela??o ?s formas tradicionais de ensino. Apesar de a Realidade Aumentada ser utilizada largamente em diversos campos e ?reas do conhecimento, principalmente como forma de passeios virtuais que disp?em de objetos tridimensionais, vem surgindo uma nova gera??o de interface, na medida em que, usando representa??es tridimensionais mais pr?ximas da realidade do usu?rio, permite romper a barreira da tela, al?m de possibilitar intera??es mais naturais. A Astronomia ? a ci?ncia respons?vel pelo estudo do Universo, de como ? constitu?do e tamb?m da forma??o dos astros e suas rela??es. ? a ?rea da ci?ncia que busca se preocupar com a forma, ? dist?ncia, a grandeza, al?m da organiza??o, origem, evolu??o, e ainda, composi??o e movimento de todos os corpos celestes. O seu estudo, particularmente sobre os planetas e as constela??es, ? instigante para muitos discentes, por?m apresenta dificuldades por envolver a identifica??o e suas posi??es relativas, que se alteram constantemente, ao longo do ano. Dessa forma, o objetivo deste trabalho ? desenvolver um aplicativo (JMA ? Jogo de Mem?ria em Astronomia) utilizando a tecnologia da Realidade Aumentada, voltado para os alunos do primeiro ciclo das s?ries iniciais do Ensino Fundamental, aplicando-o e analisando o uso dessa ferramenta; criando uma situa??o diferenciada em rela??o ao processo educacional tradicional e enfatizando o trabalho colaborativo.

[pt] Com a chegada da Industria 4.0, empresas aderiram a usar gêmeos digitais para melhorar seus processos de produção e as condições de trabalhos de seus empregados. Os gêmeos digitais são normalmente associados a modelos tridimensionais, permitindo a realização de planejamentos, extração de dados, simulação e treinamento a partir das condições reais. Infelizmente, gêmeos digitais incorretos ou desatualizados podem induzir a erros e a desencontro de informações o que retira todas as vantagens do processo de virtualização, arruinando quaisquer comparativos com a realidade. Em contrapartida, gêmeos digitais ricos em informação permitem que simulações e extrações de dados sejam mais fieis a realidade. Atualmente, as tecnologias capazes de enriquecer as informações de gêmeos digitais são escassos, pois é um procedimento que leva tempo devido a necessidade de análises de especialistas, custos, equipamentos e ferramentas específicas. Recursos como fotografias 360 graus, vídeos e modelos tridimensionais podem ser usados para realizar uma avaliação e atualização nos gêmeos digitais. Porém, diferenças temporais, condições do ambiente e erros humanos entre os recursos podem gerar confusão durante a transferência e conexão da informação. Este trabalho apresenta uma ferramenta que explora as vantagens de combinar fotografias 360 graus com modelos 3D para gerar gêmeos digitais as-built. Cada imagem pode ser ajustada a uma localização dentro do sistema de coordenadas do modelo, inclusive permitindo alterações nos eixos e no campo de visão. Durante a navegação, é possível navegar livremente pelo modelo e pelas posições de interesse criadas pelo usuário. Além da visualização, a ferramenta propõe uma interação mais eficaz para realizar anotações entre modelos e fotografias 360 graus com o propósito de verificar consistências ou agregar novas informações ao gêmeo digital. Estas interações são importantes para a inspeção e manutenção, como avaliação de peças, análise das condições atuais ou a criação de comparativos entre o planejado e o real. / [en] With the arrival of Industry 4.0, companies have adopted digital twins to improve their production processes and the working conditions of their employees. Digital twins are generally associated with three-dimensional models and allow planning, data extraction, simulation, and training based on current conditions. Unfortunately, incorrect or outdated digital twins can lead to errors and information mismatch, which takes away all the advantages of the virtualization and computerization process, ruining any comparisons with reality. In contrast, information-rich digital twins allow simulations and data extraction to be more faithful to reality. Currently, technologies capable of enriching the information of digital twins are scarce, as it is a procedure that takes time due to the need for expert analysis, costs, equipment, and specific tools. Resources such as 360 degrees photographs, videos, and 3D models can be used to perform an evaluation and update the digital twins. However, temporal differences, environmental conditions, and human errors between the images and the model can generate confusion during the transfer and connection of information. This work presents a tool that explores the advantages of combining 360 degrees photographs with 3D models to generate as-built digital twins. Each image can be adjusted to a location within the model s coordinate system, allowing changes to axes and field of view. During navigation, it is possible to navigate the model and the user-created positions of interest freely. In addition to visualization, the tool proposes a more effective interaction to annotate between models and 360 degrees photographs to verify consistency or add new information to the digital twin. These interactions are essential for inspection and maintenance, such as evaluating parts, analyzing current conditions, or creating comparisons between planned and actual.

Made available in DSpace on 2016-04-27T14:32:32Z (GMT). No. of bitstreams: 1 Roberto Sussumu Wataya.pdf: 12788561 bytes, checksum: eb8f9cad18841149a8e1f1cf41d7e2fd (MD5) Previous issue date: 2009-06-18 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Blind and visually impaired people are unable to see and appreciate pictorial art because of visual problems, for, as we know, visual language is still the prevailing form of communication in cultural activities. Individuals who bear Special Visual Needs (ISVN) can utilize a 3D perception development system, that allows, through an educational process, the ISVN to be prepared for a new reality, that is, to go from the 2D dimension to the 3D. Such a system would help these individuals to read the world in an imagery rich context. This study aimed at showing that systems based on Augmented Reality (AR) can facilitate ISVN`s inclusion in the world of painting. In order to accomplish this study, a Colaborative Authorship with Augmented Reality System (CAARS) was used to develop perception systems. These perception systems were utilized in 3D learning situations with 10 congenital blind adults, 4 of which are undergraduate students at UNASP/SP and 6 graduated professionals. These experiences showed that the proposed perception system offered the congenital blind individuals the possibility of learning all the techniques and concepts of 3D representation and interact with certain autonomy in the environment. The 3D perception systems developed for the congenital blind individuals enables them to have access to museums and other cultural spaces, resulting in a contribution to the social inclusion of this group / Pessoas cegas estão impossibilitadas de contemplar e apreciar a arte pictórica por problemas visuais, pois a linguagem visual ainda é a forma de comunicação predominante nas ações culturais. Os Portadores de Necessidades Especiais Visuais (PNEV s) podem utilizar um Sistema de Desenvolvimento de Percepção em 3D (SDP3D) que permita, por processo educacional educar o DV para uma nova realidade, a partir da dimensão 3D <---> 2D. Tal sistema deve ajudar a fazer a leitura do mundo em um contexto rico em representações. Este estudo, teve como objetivo mostrar que sistemas baseados em Realidade Aumentada (RA) podem facilitar a inclusão dos DV s no mundo da pintura. Para realização deste trabalho, foi utilizado o Sistema de Autoria Colaborativa com Realidade Aumentada (SACRA), para elaboração do SDP3D e suas aplicações na aprendizagem em representações 3D, e a participação de 10 cegos congênitos adultos, sendo quatro graduandos no UNASP/SP, e seis profissionais já graduados. As experiências realizadas mostraram que o SDP3D, proposto ofereceu aos cegos congênitos a possibilidade de aprender todas as técnicas e os conceitos de representação 3D, e interagir com uma certa autonomia no ambiente. Esse sistema de desenvolvimento de percepção em 3D para cegos congênitos permite o acesso a espaços museológicos e também a outros espaços culturais, resultando em uma contribuição para a inclusão social desse grupo

Vivenciamos um processo de virtualização do espaço e de sua transformação em fluxos de informação. As cidades contemporâneas estão repletas de ondas eletromagnéticas que atravessam os ambientes, formando uma trama invisível aos olhos. Os universos urbano e informacional, formados por esta \"trama\", estão cada vez mais indissociáveis, criando uma espacialidade híbrida. A infiltração de tecnologias que ampliam nossas capacidades comunicativas, cognitivas e interativas ocorre de forma tão intrínseca que não nos damos conta desta infiltração. Nesse contexto, surgiu a Realidade Aumentada (RA), cujo objetivo é a imersão do usuário num ambiente real, enriquecido com elementos virtuais. O surgimento dos dispositivos móveis contribuiu para a busca da ubiquidade computacional, permitindo a manutenção de um estado de comunicação e conexão permanentes, enquanto o indivíduo desloca-se para suas atividades. A popularização destes dispositivos torna a RA mais próxima do usuário comum, possibilitando sua aplicação em situações cotidianas - e em sua própria relação com a cidade, o recorte proposto por este estudo. Sob o enfoque da vivência do espaço urbano brasileiro a partir de sistemas móveis de RA, buscou-se levantar, triar e analisar um conjunto representativo de aplicativos que possuem tais recursos, verificando sua forma de interatividade e construindo um panorama de como a RA para dispositivos móveis é proporcionada no Brasil, suas contribuições para as relações da população com a cidade e para o campo do design, apontando potencialidades. Esta análise permitirá aos profissionais a ampliação de seus repertórios, incentivando o surgimento de novas possibilidades de uso. / We have been experiencing a virtualization process when it comes to spaces and information flow. Contemporary cities are filled with electromagnetic waves that cross different environments and create a web that is invisible to the eye. The urban and informational universes formed by these webs are becoming increasingly inseparable, creating a sort of hybrid spatiality. The infiltration of technologies that are able to expand our capabilities regarding communication, cognition and interaction occurs in such an intrinsic way that we don\'t even notice it. It was amidst this context that Augmented Reality (AR) came to light. Its objective is the immersion of the user in a real environment, enriched with virtual elements. The appearance of mobile devices contributed for the search of computational ubiquity, allowing the conservation of a state of permanent communication and connection while people move into their activities. The popularization of such devices makes AR closer to the ordinary users, enabling it to be applied in everyday situations and also influence their relationship with the city, which is the focus proposed by this study. Focusing on Brazilian urban space experience through mobile systems of AR, it was sought to raise, trial and analyze a representative set of apps that possess such resources, verifying its interactivity and building an outlook on how mobile devices AR is provided in Brazil, its contributions to the relationship between citizens and city, and lastly, to the Design field - pointing out potentials. This analysis will allow professionals to widen their repertoire, encouraging the appearance of new usage possibilities.

Soluções computacionais desenvolvidas para dispositivos móveis são cada vez mais comuns. A popularização de aplicativos móveis possibilitou o desenvolvimento de soluções para diversas áreas de grande potencial, como a área da saúde, entre ela a Terapia Ocupacional. Entre essas soluções, trabalhos apresentaram diversos métodos computacionais para o apoio a Terapia do Espelho. A terapia do espelho é um método que consiste na execução de exercícios com um membro saudável refletido em um espelho de modo que a visualização auxilie na redução da dor e na reabilitação do membro afetado. Essa terapia tem apresentado resultados, entre outros, na reabilitação para indivíduos que reportam dor do membro fantasma ou em recuperação pós-Acidente Vascular Cerebral (AVC). A literatura apresenta soluções computacionais para, entre outros, permitir a visualização do membro saudável a partir de tecnologias de realidade aumentada e de dispositivos vestíveis. Essas soluções muitas vezes são de difícil acesso e economicamente inviáveis. Um trabalho anterior, realizado em colaboração com equipe multidisciplinar, resultou na definição de um modelo de acompanhamento remoto que emprega dispositivos móveis para permitir o monitoramento de pacientes em tratamento por meio da terapia do espelho. Uma das limitações encontradas naquele trabalho foi o fato do terapeuta não conseguir acompanhar de maneira automática se o paciente está executando a terapia de maneira correta. Explorando essas contribuições e limitações, este trabalho teve como objetivo propor um modelo que permita o acompanhamento remoto da terapia do espelho com apoio de recursos de realidade aumentada. Como apoio computacional ao modelo, foi desenvolvida a aplicação para smartphones TEIRA (Terapia do Espelho Interativa com Realidade Aumentada) que, utilizada em conjunto com a tecnologia Google Cardboard, permite a execução da terapia do espelho com realidade aumentada. Além disso, com a integração do sistema TEIRA com o sistema de planejamento de intervenções ESPIM (Experience Sampling and Programmed Intervention Method), foi possível proporcionar um método de acompanhamento remoto com coleta de dados e vídeo. Consulta a especialistas indica que a solução apresenta benefícios potenciais para o monitoramento do paciente durante o acompanhamento remoto, que ajudem o paciente a executar a terapia de maneira correta. / Computational solutions developed for mobile devices are increasingly common. The popularization of mobile applications enabled the development of solutions for several areas of great potential, such as the health area, including Occupational Therapy. Among these solutions, papers presented several computational methods to support Mirror Therapy. Mirror therapy is a method that involves performing exercises with a healthy limb reflected in a mirror so that visualization helps in reducing pain and in rehabilitating the affected limb. This therapy has shown results, among others, in rehabilitation for individuals who report phantom limb pain or in post-stroke recovery. The literature presents computational solutions to, among others, allow visualization of the healthy limb from technologies of augmented reality and wearable devices. These solutions are often difficult to access and economically unfeasible. Previous work, conducted in collaboration with a multidisciplinary team, resulted in the definition of a remote monitoring model that uses mobile devices to allow the monitoring of patients being treated by means of mirror therapy. One of the limitations found in this work was that the therapist was unable to automatically follow up if the patient was performing the therapy correctly. Exploring these contributions and limitations, this work aimed to propose a model that allows remote monitoring of mirror therapy with the support of augmented reality resources. As a computational support to the model, the application was developed for TEIRA (Interactive Mirror Therapy with Augmented Reality) which, used in conjunction with the Google Cardboard technology, allows the execution of mirror therapy with reality increased. In addition, with the integration of the TEIRA system with the ESPIM (Experience Sampling and Programmed Intervention Method) intervention system, it was possible to provide a remote monitoring method with data and video collection. Expert consultation indicates that the solution has potential benefits for patient monitoring during remote monitoring, which will help the patient perform the therapy correctly.

Usage of real objects as links between real and virtual information is one key aspect in augmented reality. A central issue to achieve this link is the estimation of the visuospatial information of the observed object, or in other words, estimating the object pose. Different objects can have different behaviors when used for interaction. This not only encompasses changes in position, but also folding or deformations. Traditional researches in the area solve those pose estimation problems using different approaches, depending on the type of the object. Additionally, some researches are based only on positional information of observed feature points, simplifying the object information. In this work, we explore the pose estimation of different objects by gathering more information from the observed feature points, and obtaining the local poses of such points, which are not explored in other researches. We apply this local pose estimation idea in two different capturing scenarios, reaching two novel approaches of pose estimation: one based on RGB-D cameras, and another based on RGB and machine learning methods. In the RGB-D based approach, we use the feature point orientation and near surface to obtain its normal; then, find the local 6 degrees-of-freedom (DoF) pose. This approach gives us not only the rigid object pose, but also the approximated pose of deformed objects. On the other hand, our RGB based approach explores machine learning with local appearance changes. Unlike other RGB based works, we replace the complex non-linear systems solvers with a fast and robust method, reaching local rotation of the observed feature points, as well as, full 6 DoF rigid object pose with dramatically lower real-time calculation demands. Both approaches show us that gathering local poses can bring information for the pose estimation of different types of objects. / O uso de objetos reais como meio de conexão entre informações reais e virtuais é um aspecto chave dentro da realidade aumentada. Uma questão central para tal conexão é a estimativa de informações visuo-espaciais do objeto, ou em outras palavras, a detecção da pose do objeto. Diferentes objetos podem ter diferentes comportamentos quando utilizados em interações. Não somente incluindo a mudança de posição, mas também sendo dobradas ou deformadas. Pesquisas tradicionais solucionam tais problemas de detecção usando diferentes abordagens, dependendo do tipo de objeto. Adicionalmente, algumas pesquisas se baseiam somente na informação posicional dos pontos de interesse, simplificando a informação do objeto. Neste trabalho, a detecção de pose de diferente objetos é explorada coletando-se mais informações dos pontos de interesse observados e, por sua vez, obtendo as poses locais de tais pontos, poses que não são exploradas em outras pesquisas. Este conceito da detecção de pose locais é aplicada em dois ambientes de capturas, estendendo-se em duas abordagens inovadoras: uma baseada em câmeras RGB-D, e outra baseada em câmeras RGB e métodos de aprendizado de maquinas. Na abordagem baseada em RGB-D, a orientação e superfície ao redor do ponto de interesse são utilizadas para obter a normal do ponto. Através de tais informações a pose local é obtida. Esta abordagem não só permite a obtenção de poses de objetos rígidos, mas também a pose aproximada de objetos deformáveis. Por outro lado, a abordagem baseada em RGB explora o aprendizado de máquina aplicado em alterações das aparências locais. Diferentemente de outros trabalhos baseados em câmeras RGB, esta abordagem substitui solucionadores não lineares complexos com um método rápido e robusto, permitindo a obtenção de rotações locais dos pontos de interesse, assim como, a pose completa (com 6 graus-de-liberdade) de objetos rígidos, com uma demanda computacional muito menor para cálculos em tempo-real. Ambas as abordagens mostram que a coleta de poses locais podem gerar informações para a detecção de poses de diferentes tipos de objetos.

Paralelas Cruzadas: propostas poéticas em arte móvel apresenta uma pesquisa teórico-prática que mergulha no potencial criativo dos dispositivos portáteis tecnológicos com conexão em rede a distância, inseridos no contexto da computação ubíqua, pervasiva e sensiente. Foram retomados temas relacionados à conexão poética existente entre a mobilidade, a tecnologia e a cibercultura, em especial arte móvel, arte locativa, realidades mistas e realidade aumentada. Durante o percurso, três práticas artísticas se concretizaram: Paralelas Cruzadas, projeto híbrido que envolve arte móvel, arte locativa, artes visuais, performance e realidades mistas, desenvolvendo-se durante residência artística em La Paternal Espacio y Proyecto (Buenos Aires/Argentina), Fundación Casa Tres Patios (Medellín/Colômbia); São Paulo/Brasil; Corpo In (Visível), criação de Cássia Aranha e Danilo Patzdorf, contemplado no edital Dança em Site Specific do CCSP / 2015; Código Facial, criação artística de Cássia Aranha e Luciana Mantovani; obra de arte híbrida que envolve artes visuais, realidade aumentada, dramaturgia e videoperformance, a partir de uma criação em site specific, contemplada no Edital da ProACArtes Integradas/ 2015 da Secretaria de Cultura do Estado de São Paulo. / Crossed Parallels: poetic proposals in mobile art presents a theoretical-practical research that plunges into the creative potential of technological, portable devices, with distance network connection, within the context of ubiquitous, pervasive, and sentient computing. Themes and issues were taken up related to the poetic connection existing in between mobility, technology, and cyberculture, in special the mobile art, locative art, mixed realities, and augmented reality. Along the way, three artistic practices materialized: Crossed Parallels, hybrid project developed during artist residency in La Paternal Espacio y Proyecto (Buenos Aires / Argentina), Fundación Casa Tres Patios (Medellín / Colombia); São Paulo / Brazil, and involving mobile art, locative art, visual arts, performance and mixed realities. Body In (Visible) (creation of Cassia Aranha and Danilo Patzdorf contemplated in the Dance Edicts for Site Specific CCSP / 2015); FaceCode (a site specific artistic creation by Cassia Aranha and Luciana Mantovani; hybrid work of art involving visual arts, augmented reality, drama, and video performance, addressed in the Edicts of ProAC - Integrated Arts/ 2015, by the Government of the State of São Paulo - Secretary of Culture).

Paralelas Cruzadas: propostas poéticas em arte móvel apresenta uma pesquisa teórico-prática que mergulha no potencial criativo dos dispositivos portáteis tecnológicos com conexão em rede a distância, inseridos no contexto da computação ubíqua, pervasiva e sensiente. Foram retomados temas relacionados à conexão poética existente entre a mobilidade, a tecnologia e a cibercultura, em especial arte móvel, arte locativa, realidades mistas e realidade aumentada. Durante o percurso, três práticas artísticas se concretizaram: Paralelas Cruzadas, projeto híbrido que envolve arte móvel, arte locativa, artes visuais, performance e realidades mistas, desenvolvendo-se durante residência artística em La Paternal Espacio y Proyecto (Buenos Aires/Argentina), Fundación Casa Tres Patios (Medellín/Colômbia); São Paulo/Brasil; Corpo In (Visível), criação de Cássia Aranha e Danilo Patzdorf, contemplado no edital Dança em Site Specific do CCSP / 2015; Código Facial, criação artística de Cássia Aranha e Luciana Mantovani; obra de arte híbrida que envolve artes visuais, realidade aumentada, dramaturgia e videoperformance, a partir de uma criação em site specific, contemplada no Edital da ProACArtes Integradas/ 2015 da Secretaria de Cultura do Estado de São Paulo. / Crossed Parallels: poetic proposals in mobile art presents a theoretical-practical research that plunges into the creative potential of technological, portable devices, with distance network connection, within the context of ubiquitous, pervasive, and sentient computing. Themes and issues were taken up related to the poetic connection existing in between mobility, technology, and cyberculture, in special the mobile art, locative art, mixed realities, and augmented reality. Along the way, three artistic practices materialized: Crossed Parallels, hybrid project developed during artist residency in La Paternal Espacio y Proyecto (Buenos Aires / Argentina), Fundación Casa Tres Patios (Medellín / Colombia); São Paulo / Brazil, and involving mobile art, locative art, visual arts, performance and mixed realities. Body In (Visible) (creation of Cassia Aranha and Danilo Patzdorf contemplated in the Dance Edicts for Site Specific CCSP / 2015); FaceCode (a site specific artistic creation by Cassia Aranha and Luciana Mantovani; hybrid work of art involving visual arts, augmented reality, drama, and video performance, addressed in the Edicts of ProAC - Integrated Arts/ 2015, by the Government of the State of São Paulo - Secretary of Culture).

Durante muitos anos, diversas pesquisas na área de Design no Brasil, constataram limitados investimentos no desenvolvimento de produtos para auxiliar as pessoas com deficiência. Diante disso, esta tese teve por objetivo propor uma abordagem para os equipamentos de auxílio à comunicação de crianças com Transtorno do Espectro do Autismo (TEA) por meio do Design e da Realidade Aumentada (RA). Para o desenvolvimento da pesquisa foram realizadas pesquisa bibliográfica, pesquisa documental, Estudo de Caso e experimentos. Também foram realizadas observações das crianças com TEA, no ambiente da Associação de Pais e Amigos do Autista (AMA) da cidade de Florianópolis, para embasar a proposta de projeto de Prancha de Comunicação Alternativa e Aumentativa. A proposta resultante teve como base comum o produto prancha de comunicação que foi utilizada com aplicativo que utiliza Realidade Aumentada e está disponível no mercado. Nesta prancha de base o usuário aponta o dispositivo móvel para o pictograma e assim acessa e visualiza o vídeo que estabelece a comunicação transmitindo a ação que a criança realmente deseja executar. A base para a análise dos resultados foi a descrição detalhada dos casos por meio da apresentação de painéis representativos de cada criança por dia de aplicação e painéis comparativos de todas as crianças durante a realização do estudo. Evidenciam-se assim, os elementos indicadores de que a solução proposta apresenta vantagens em relação a algumas pranchas atualmente existentes e que pode contribuir para facilitar a comunicação e a interação não só das crianças com TEA, mas também de outras crianças com limitações na comunicação. / For many years, several studies in the area of Design in Brazil have founded limited investments in product development to help people with desabilities. Therefore, the aim of this thesis was to propose an approach to the equipment to aid the communication of children with Autism Spectrum Disorder (ASD) through Design and Augmented Reality (AR). For the development of the research were carried out bibliographic and documental researches, case studies and experiments. Observations were also made of the children with ASD in the Association of Parents and Friends of the Autistic (AMA) of Florianópolis to base the project proposal of the Alternative and Increasing Communication Board. The resulting proposal was based on the common product board that was developed together with an Augmented Reality mobile application available on the market. On this basis board the user points the mobile device to the pictogram and thus accesses and visualizes the video which establishes the communication and transmittes the action that the child really wants to perform. Thus, there is evidence that the proposed solution has advantages over some existing boards and can contribute to facilitate the communication and interaction not only of children with ASD, but also of other children with communication limitations.

Durante séculos, cosméticos têm sido utilizados nas mais diversas sociedades. Entretanto, quando se trata de maquiagem facial, o processo de escolha de um produto ainda é um desafio, pois é um trabalho manual que demanda tempo, além de consumir a maquiagem em si e outros materiais para aplicação e limpeza. Esse processo manual também dificulta a experimentação de vários produtos diferentes devido à necessidade de limpeza da pele para retirada de um produto aplicado anteriormente. Assim, um sistema de simulação de maquiagem utilizando realidade aumentada pode facilitar esse processo, permitindo a experimentação com a combinação de produtos e a comparação dos resultados, além de permitir experimentar os produtos virtualmente, pela internet por exemplo. Trabalhos existentes sobre esse tema permitem ao usuário aplicar a maquiagem sobre uma foto, ou mesmo um vídeo, do próprio usuário. A interação é feita por meio de mouse ou toque de um dedo sobre um monitor sensível a toques como se o usuário aplicasse maquiagem em uma terceira pessoa. Nesta dissertação propomos o desenvolvimento do SelfMakeup, um sistema de realidade aumentada que permite a autoaplicação de maquiagem virtual por meio de toques feitos diretamente na face ao invés de toques no monitor. A nossa hipótese é que essa forma de interação seja mais natural e forneça ao usuário uma melhor experiência ao testar produtos virtuais de maquiagem. O primeiro passo para viabilizar o SelfMakeup foi o desenvolvimento de um método para estimar a po- sição de toques na face utilizando uma câmera RGBD. Realizamos testes para avaliar o desempenho desse método e verificamos que a sua acurácia e precisão se mostraram adequadas para o propósito desta pesquisa. Em seguida, projetamos a interface gráfica do sistema para aplicação de maquiagem virtual. A interface per- mite efeitos de destaque e sombreamento que simulam os efeitos provocados pela aplicação de produtos reais de maquiagem. Resultados de um teste piloto do nosso protótipo com 32 usuários sugerem que o SelfMa- keup, por utilizar toques diretamente na face, oferece uma melhor experiência ao usuário na experimentação de produtos virtuais de maquiagem. / For centuries, cosmetics have been used in the most diverse societies. However, when it comes to facial makeup, the process of choosing a product is still a challenge because it is a manual work that takes time, to consumes the makeup itself and other materials for application and cleaning. This manual process also makes it difficult to experiment a number of different products due to the need to clean the face to remove a previously applied product. Thus, a makeup simulation system using augmented reality can facilitate this process, allowing experimentation with the combination of products and the comparison of the results, as well as allowing to experience the products virtually and remotely, through the internet for example. Exis- ting works on this theme allow the user to apply the makeup on a photo or even a video of the user himself by means of a mouse or touch of a finger on a touch-sensitive monitor, as if the user applied makeup on a third person. In this dissertation we propose the development of SelfMakeup, an augmented reality system that allows the self-application of virtual makeup by means of touches made directly on the face, rather than touches on the monitor. Our hypothesis is that this interaction form is more natural and gives the user a better experience when testing virtual make-up products. The first step in enabling SelfMakeup was the develop- ment of a method to estimate the applicator touch position on the face using an RGBD camera. We performed tests to evaluate the performance of this method and verified that its accuracy and precision was adequate for the purpose of this research. Next, we designed the graphical interface of the system for applying vir- tual makeup. The interface allows highlighting and shading effects that simulate the effects of real makeup products. Results from a pilot experiment of our prototype with 32 volunteers suggest that SelfMakeup, by using touches directly on the face, provides a better user experience to try on virtual makeup products.