A Realidade Virtual tem apresentado importantes contribuições para a área de saúde, principalmente no domínio de treinamento, o qual visa a aquisição de conhecimento e habilidades na realização de determinados procedimentos. Um procedimento ainda não simulado consiste na aplicação de anestesia local para tratamento odontológico, especificamente para bloqueio do nervo alveolar inferior. A execução de tal procedimento apresenta uma alta taxa de insucesso, elevando os riscos aos pacientes e a insegurança dos aprendizes. Dessa forma, e considerando a complexidade para a criação de uma simulação realista o presente trabalho visou ao desenvolvimento de um protótipo de sistema computacional baseado em Realidade Virtual, para simulação de parte do procedimento de anestesia (tarefa de inserção de agulha), enfatizando a etapa do procedimento de aplicação da anestesia que envolve a correta manipulação e inserção da agulha. Ou em termos de Realidade Virtual, a parte que envolve a interação humano-computador, contemplando aspectos visuais e hápticos. A abordagem háptica e uma parte importante em sistemas computacionais desse tipo e o realismo e considerado um dos principais objetivos no desenvolvimento de sistemas dessa natureza. Adicionalmente, uma analise da interação humano-computador foi realizada, indicando que embora diversas limitações tecnológicas ainda existam, o sistema pode ser considerado uma ferramenta auxiliar de treinamento para a tarefa, complementando os métodos tradicionais. Também, uma métrica objetiva perceptual para avaliação da interação háptica foi formulada, visto que na literatura as formas subjetivas dominam amplamente os testes e uma métrica encontrada na literatura falha diante de determinadas situações, especialmente aquelas relacionadas com a inserção de agulha, etapa do procedimento de anestesia simulada no presente estudo. / Virtual Reality has made important contributions to the health care, especially in the training field, which aims to acquisition of knowledge and skills in performing certain procedures. A procedure still not simulated consists of making local anesthesia for dental treatment, specifically to block inferior alveolar nerve. The execution of this procedure has a high failure rate, increasing the risk to patients and the insecurity of beginners. Thus, and considering the complexity for creating a realistic simulation, this work aims to develop a computer system prototype based on Virtual Reality, for simulation of anesthesia procedure stage (needle insertion task), emphasizing the stage of the anesthesia administration procedure that involves the correct handling and needle insertion. Or in terms of Virtual Reality, the part that involves human-computer interaction, taking into account visual and haptic aspects. The haptic approach is an important part in computer systems of this kind and the realism is considered one of the main objectives in the development of these systems. Additionally, an analysis of human-computer interaction was examined, indicating that although there are still several technological limitations, the system can be regarded as an auxiliary training tool for the task, complementing traditional methods. Also, a perceptual objective metric for evaluation of haptic interaction was formulated, because in the literature the subjective ways dominate the tests and a metric found in the literature fails on certain situations, especially those related to the insertion needle, stage of the anesthesia procedure simulated in this study.

Este trabalho apresenta uma ferramenta para conferência de áudio 3D (espacial) implementando conceitos de Realidade Aumentada (RA). O objetivo desta ferramenta é aprimorar a sensação de presença e melhorar a interatividade entre seus participantes remotos, por meio de benefícios proporcionados pela utilização de técnicas de áudio espacial (implementadas em avatares de áudio) pela: maior facilidade de concentração e atenção em um único participante e pelos efeitos positivos na memorização dos conteúdos pelos participantes como conseqüência da melhor inteligibilidade e compreensão. A motivação desta implementação reside em sua utilização como ferramenta de comunicação síncrona no ambiente de aprendizagem eletrônica Tidia-Ae, auxiliando na realização de atividades colaborativas e, possivelmente, nos processos de ensino e aprendizagem à distância. A ferramenta implementada foi integrada ao sistema Tidia-Ae e os resultados dos experimentos realizados demonstraram sua efetividade com relação às melhorias proporcionadas pelo processamento de áudio espacial. / This work presents a 3D (spatial) audio conference tool implementing Augmented Reality (AR) concepts. The main intent of this tool is to enhance the sense of presence and increase the interactivity among remote participants, by implementing spatial audio techniques in audio avatars. The use of such techniques facilitates focusing the attention on anyone specific participant of the conference and enables a positive effect on memory retention, resulting in a better intelligibility and comprehension. The motivation of this implementation lies on its appliance as a synchronous communication tool within the Tidia-Ae e-Learning system, thus aiding on collaborative activities realization and, possibly, on teaching and learning processes. The results of the experiments showed the effectiveness provided by the spatial audio processing when applied in such environment.

Propiciar uma boa experiência de imersão ao usuário, quando este interage com conteúdos ou ambientes virtuais, é um dos principais desafios dos desenvolvedores e pesquisadores de tecnologias interativas, com destaque para realidade virtual e aumentada. Em especial nas áreas de educação e entretenimento, nas quais o engajamento do usuário e a significância dos conteúdos são cruciais para o sucesso da aplicação, é comum a busca por uma experiência que se aproxime de uma imersão total do participante. Quando as atividades envolvem interações a distância, um possível meio de se obter maior imersão são os chamados sistemas de telecomunicação imersiva. Tais sistemas oferecem compartilhamento de um ambiente virtual e troca de informações entre participantes remotos, além da interação desses com o ambiente. Um componente importante desses sistemas é o vídeo-avatar, uma representação visual do participante dentro do ambiente, baseado em sua captura de vídeo em tempo-real. Este trabalho apresenta novas propostas de reconstrução geométrica e renderização para a geração e apresentação de um vídeo-avatar. Inicialmente, um modelo teórico para se modularizar as técnicas de reconstrução e renderização existentes foi proposto. Por meio desse modelo foi criada uma nova técnica de reconstrução geométrica e renderização, denominada Video-based Microfacet Billboarding. Essa técnica emprega uma reconstrução e renderização em tempo-real que possibilita a representação de detalhes e melhora a percepção de integração com o ambiente. É também proposta neste trabalho o conceito de non-photorealistic video-avatar, que visa aplicar um estilo não fotorrealístico único sobre toda a cena, afim de melhorar a integração do avatar com o ambiente e, por sua vez, aumentar a imersão do usuário. Os resultados obtidos através da implementação do vídeo-avatar com essas técnicas e testes preliminares com usuários dão fortes indícios de que é possível a geração de uma representação visual que possua todos os requisitos do sistema iLive, sistema de telecomunicação imersiva voltado a educação e jogos eletrônicos em desenvolvimento pelo Laboratório de Tecnologias Interativas (Interlab) da Escola Politécnica da Universidade de São Paulo. / Providing good immersion experiences for users interacting with virtual contents or an environment is one of the main challenges for developers and researchers in interactive technologies, mainly virtual and augmented reality. Especially in areas of education and entertainment, in which the engagement of the user and the significance of content are of crucial importance for the success of the application, the search for experiences that approximate to one of a total immersion of the participant is common practice. When interaction at distance is necessary, one way to provide better immersion experiences is the use of a solution called Immersive Telecommunication System. This kind of system can provide the sharing of the virtual environment among participants, information exchange among them, and also their interaction with the virtual environment. One of the most important component of these systems is the video-avatar, the representation of the participant in the virtual environment based on a video of the participant captured in real-time. This work presents new approaches of geometric reconstruction and rendering for the creation of a video-avatar. First, a theoretical model to modularize the existing reconstruction and rendering approaches was proposed. Based on this model, a new approach of geometric reconstruction and rendering, called Video-based Microfacet Billboarding, was conceived. This approach uses a technique of real-time reconstruction and rendering that enables the representation of the object details and improves the integration of the avatar in the virtual environment. In this work, it is also proposed the concept of non-photorealistic video-avatar, that aims to apply a non-photorealistic style over all the scene to improve the avatar integration with the environment, and with this, to enhance the user\'s immersion. The results obtained by the implementation of a video-avatar with these approaches, as well as preliminary users tests, gives us strong evidences that we could create a user representation that attends all the requisites of the iLive system, an immersive telecommunication system for education and gaming purposes, in development by the Interactive Technologies Laboratory (Interlab) of Escola Politécnica da Universidade de São Paulo.

A estereoscopia é a área do conhecimento que aborda a visão em três dimensões, mas se limita, por definição, apenas às técnicas que possibilitam a reconstituição de uma cena tridimensional observada através de pelo menos dois pontos de vista distintos, que no caso dos seres humanos é a cena reconstituída no cérebro a partir das imagens obtidas pelos olhos. Inicialmente, o presente trabalho consolida os principais conceitos e técnicas desta área abrangente, para em seguida propor formas de análise, comparação e classificação de técnicas de estereoscopia através de conceitos teóricos e métricas qualitativas e quantitativas. Complementando esta proposta, com base na revisão da literatura e nos resultados experimentais, a pesquisa busca avaliar vantagens e desvantagens entre as técnicas estereoscópicas e na estereoscopia como um todo, para alimentar discussões, tendências e desafios encontrados na aplicação da estereoscopia a sistemas de Realidade Aumentada (RA), em particular sistemas de tele-presença com vídeo-avatar, e na área de jogos. / Stereoscopy is the area of knowledge that addresses three dimensional vision, but its restricted to, by definition, the techniques that allows the reconstruction of a three dimensional scene observed from two different points of view at least, in the case of human beings it is the scene reconstructed in the brain from the images obtained by the eyes. Initially, the present work consolidates the main concepts and techniques of this extended area, considering, after that, ways of analysis, comparison and classification of stereoscopy techniques through qualitative and quantitative metrics and theorical data. Additionally, based on literature review and in experimental results, the research try\'s to evaluate advantages and disadvantages between stereoscopy techniques and in stereoscopy as a whole, to stimulate discussion, trends and challenges found when merging stereoscopy to Augmented Reality (AR) systems, in particular tele-presence systems with video-avatar, and computer games.

Este trabalho aborda o uso da realidade virtual aplicada à simulação de procedimentos invasivos em oncologia pediátrica. Para tanto, apresenta uma revisão dos conceitos relacionados à concepção de simuladores baseados em realidade virtual, descrevendo requisitos específicos como estereoscopia e interação háptica. Particularmente, é apresentado um estudo de caso em coleta de medula óssea para transplante, para o qual um simulador foi desenvolvido. Este é o primeiro trabalho em simulação cirúrgica para oncologia pediátrica baseado em realidade virtual e apresenta detalhes relacionados à implementação do simulador e aspectos relacionados à calibragem de propriedades físicas em modelos tridimensionais. O trabalho também analisa e demonstra vantagens no uso de sistemas dessa natureza voltados para o treinamento médico, apontando necessidades e novos problemas a serem tratados por simuladores futuros. / This work approaches the use of the Virtual Reality applied to the simulation of invasive procedures in pediatric oncology. It presents a revision of the concepts related to the conception of simulators based on virtual reality, describing requirements as stereoscopy and haptic interaction. As specific problem, it was made a case study in bone marrow harvest for transplant, for which a simulator was developed. This is the first work in surgical simulation for pediatrics based on Virtual Reality and it presents details related to the implementation of the simulator and aspects related to physical properties in three-dimensional models. The work also analyzes and demonstrates advantages in the use of this kind of system for medical training besides to point needs and new problems to be addressed in future work.

Sistemas de multiprojeção podem oferecer alta resolução e grande quantidade de brilho por fundamentarem-se no uso de aglomerado de projetores e podem proporcionar uma qualidade visual superior aos sistemas de projeção tradicionais compostos por um projetor de alto desempenho. Considerando o custo elevado dos projetores de alto brilho e resolução, o uso de projetores convencionais em sistemas de multiprojeção pode representar uma redução sensível no custo de implantação sem comprometer a qualidade visual. Esta tese propõe a pesquisa e o desenvolvimento de um sistema de multiprojeção escalável com o objetivo de atingir resoluções nos limites do sistema de percepção visual humano. Este sistema é denominado como resolução retina. Para tanto, foi realizada a pesquisa e a proposta de um sistema de multiprojeção escalável inovador. A viabilidade deste sistema foi comprovada através do desenvolvimento do sistema de multiprojeção chamado Fast Fusion que dentre vários recursos permite a calibração automática dos projetores através de câmeras. Na implementação da biblioteca Fast Fusion, foram realizados aprimoramentos de algoritmos conhecidos na literatura tais como os algoritmos de calibração de projetores utilizando matrizes de homografia, além da proposta de uma arquitetura inédita para suportar grande quantidade de projetores, com centenas ou até mesmo milhares de projetores e computadores gráficos. O sistema de multiprojeção desenvolvido nesta tese foi utilizado na implementação de várias aplicações de realidade virtual nas áreas de aprendizagem, treinamento, simulação, entretenimento e turismo. Por fim, este trabalho apresenta uma análise de desempenho visual e computacional do sistema proposto. / Multi-projector systems offer both higher resolution and brightness by using a cluster of projectors, providing better visual quality when compared to traditional systems using a single high performance projector. When we consider the high cost associated with high-end projectors, the use of multiple low cost projectors can reduce considerably the cost of such installation. The goal of this thesis is to research such alternatives using clusters of projects to develop a scalable multi- projector system capable of achieving a high resolution display comparable to that of a human eye. We call such display the retina display. We proved the viability of such system through the development of a multi-projector system called Fast Fusion which automatically calibrates casually aligned projectors to properly blend different projections using cameras. Our Fast Fusion system improves known algorithms in the literature for projector calibration and blending using homographic matrices. Additionally, we propose a new architecture that supports a higher number of projectors than previous approaches - our solution supports hundreds or thousands of projectors to be used together, powered by a graphics cluster. The multi-projector system developed in this thesis has been validated on several virtual reality solutions by developing applications in diverse areas such as learning, training, simulation, entertainment and tourism. Finally, this thesis presents a thorough analysis of the visual and computational performance of our system.

Nas últimas décadas a tecnologia de realidade virtual tem sido cada vez mais utilizada em várias aplicações na sociedade. Particularmente a partir do início da década de 90, observamos o advento da realidade virtual baseada em multiprojeções, com o surgimento do paradigma de construção de sistemas de realidade virtual totalmente imersivos como por exemplo o CAVE™. Esta tese tem por objetivo apresentar pesquisas e desenvolvimentos relacionados com a implementação do primeiro sistema de multiprojeção totalmente imersivo baseado em aglomerado de computadores convencionais, sistema este denominado de CAVERNA Digital. O trabalho aqui apresentado é composto por um panorama atual do estado da arte das tecnologias de realidade virtual baseadas em multiprojeção. O conceito de aglomerados de computadores convencionais para realidade virtual, ou especificamente VRCluster é apresentado, bem como uma taxonomia de organização interna dos VRClusters. O sistema de multiprojeção da CAVERNA Digital é apresentado, descrevendo em detalhe as opções dos inúmeros subsistemas como projetores, telas, subsistema de vídeo, dispositivos de interação e outros. Outra contribuição desta tese é pela inovação de uma plataforma de visualização interativa voltada para ambientes de realidade virtual imersivos, plataforma esta denominada de JINX, baseada no padrão aberto X3D. Aspectos relacionados com a operação destes sistemas de realidade virtual avançados são apresentados como é o caso das interface de gerenciamento de ambientes imersivos denominado de SIRIUS e do núcleo de gerenciamento de ambientes imersivos denominado de ZEUS. Por fim vários testes de desempenho são realizados para a validação da integração dos inúmeros recursos utilizados na CAVERNA Digital. / In the last decades, virtual reality technology has been increasingly used in many applications for the society. Particularly in the beginning of 90’s, we can observe the advent of virtual reality based in multi-projections, leading to the construction paradigm of CAVE™ like virtual reality systems. The goal of this thesis is to present the research and developments related to the construction of the first multi projection completely immersive system based on commodity computer clusters called CAVERNA Digital. The work here presented is composed by an updated panorama of the state-of-art multi-projection virtual reality technologies. The concept of commodity computer clusters for virtual reality, or specifically VRCluster is shown, as well as the taxonomy for internal organization of the VRClusters. The CAVERNA Digital multi-projection system is shown, including details of the options of uncountable subsystems, like projectors, screens, video, and interaction devices, among others. This thesis contributes with another innovation: the visualization platform, called JINX, based on the open standard X3D. Aspects related to the operation of these advanced virtual reality systems are presented, which is the case of the user interface for immersive environments called SIRIUS and the management core for immersive environments called ZEUS. Finally, various performance tests were conducted to validate the integration of the uncountable resources used in the CAVERNA Digital.

Os avanços tecnológicos trouxeram novos recursos e meios pelos quais o homem pode se expressar de maneiras diferentes, através de linguagens visuais, sonoras, gestuais, tácteis, e outras, que se complementam. Estes meios abrem um leque maior de oportunidades para o homem usar a sua a capacidade criativa, explorar mundos, conceitos e experiências, aprender e construir conhecimento. Porém esta tecnologia ainda é pouco ou mal utilizada nos estabelecimentos de ensino neste país e no resto do mundo. A tecnologia existe e avança a cada momento, mas ainda se encontra dificuldade em construir e manipular mundos virtuais em ambientes imersivos com múltiplas projeções. Este trabalho propõe o sistema FADAS, um sistema de autoria para ambientes imersivos de múltiplas projeções, para estudantes, professores e pesquisadores utilizarem a Realidade Virtual como mecanismo facilitador e enriquecedor do processo de aprendizagem e pesquisa. Por meio de várias tecnologias, fornece uma ferramenta, tanto para o "usuário-autor", que constrói cenários virtuais, baseados ou não na realidade, quanto para o "usuário-explorador", que navega e interage com os mundos virtuais, criando suas próprias experiências. O sistema FADAS pode ser utilizado em ambiente imersivo de múltiplas projeções estereoscópicas, disponibilizando uma linguagem de programação, que encapsula as complexidades das tecnologias envolvidas, e permite a criação e manipulação de mundos virtuais por usuários não especialistas. / Technological advances brought new resources and means where man can express himself in several ways, through languages of several types: visual, sonorous, gesture, tactile, and others that complement each other. These means open up a bigger span of opportunities for man to use his creative capacity, to explore worlds, concepts and experiences, learn and build up knowledge. Nevertheless this technology is still limited or badly used in education in this country and in the rest of the world. Technology exists and advances at every moment, but there is still difficulty in building up and manipulating virtual worlds in multiprojection immersive environments. This work proposes the FADAS system, an authorship system for multiprojection immersive environments, for students, teachers and researches to use Virtual Reality as a facilitating and enriching mechanism of the learning process and research. Through several technologies, it provides a tool to build up scenarios, based, or not, in real worlds, and to explore, navigate and interact with them, creating their own experiences. The FADAS system can be used in a stereo immersive multiprojection environment. The system provides a programming language, which encapsulates technology complexities, allowing users, who are not specialists, to create and manipulate virtual worlds.

Pesquisas no âmbito da iluminação focam no aspecto quantitativo e físico dos efeitos lumínicos e seu desempenho na relação usuário-ambiente. Estudos sobre os aspectos subjetivos da luz e sua influência na percepção e usufruto do espaço são crescentes, porém, existem poucos experimentos para avaliar impressões subjetivas dos espaços urbanos à noite. O intuito da pesquisa, portanto, é procurar inverter a pergunta: quanto de luz as pessoas precisam? para como as pessoas interpretam o espaço iluminado em que estão inseridas? e respondê-la através de avaliações visuais dos ocupantes inseridos em diferentes cenários de iluminação. Assim, a pesquisa tem por objetivo verificar a influência da iluminação na percepção do espaço urbano e na relação do usuário com o ambiente noturno. Neste sentido, a pesquisa concentra-se em duas vertentes, uma teórica e outra experimental. Primeiro, a partir da revisão da literatura, investiga-se as impressões dos usuários em ambientes iluminados a partir de conceitos como atmosfera, cunhada por Vogels (2008), e questões relacionadas a variáveis da iluminação e sua influência na percepção visual. Por fim, o estudo contempla um viés experimental, no sentido de formular recursos - aparatos e procedimentos - para avaliação dos cenários pelos usuários. Sob à luz dos conceitos selecionados e, utilizando o ambiente virtual como suporte à criação de cenários noturnos, os resultados mostram que existem qualidades subjetivas diferentes nos espaços, relacionadas com questões de segurança e sociabilidade do ambiente, o que reflete a importância destas avaliações, além de apontar possibilidades de investigação sobre a relação entre intenções do projetista e as necessidades e expectativas dos usuários, além de futuros desenvolvimentos em outros contextos onde a iluminação desempenha papel fundamental na vivência e percepção do espaço. / Researches in the field of lighting focuses on the quantitative and physical aspects of light effects and their performance in the user-environment relationship. Studies on the subjective aspects of light and its influence on the perception and usufruct of space are increasing; however, there are few experiments to evaluate subjective impressions of urban spaces at night. The aim of research, therefore, is to try to reverse the question: how much light do people need? to How do people interpret the enlightened space in which they are inserted?, and respond to it through visual assessments of occupants in different lighting scenarios. Thus, the research aims to verify the influence of lighting in the perception of urban space and the relationship of the user with the nocturnal environment. In this sense, the research focuses on two aspects: theoretical and experimental. First, from the literature review we investigate the impressions of users in illuminated environments based on concepts such as atmosphere, coined by Vogels (2008), and questions related to lighting variables and their influence on visual perception. Finally, the study contemplates an experimental phase, in the sense of formulating resources - devices and procedures - to evaluate the scenarios by users. Using the selected concepts and through the virtual environment as support for the creation of night scenarios, the results show that there are different subjective qualities in the spaces, related to safety issues and the sociability of the environment, which reflects the importance of these evaluations. Besides that, the research aims to point out possibilities about the relation between the designer\'s intentions and the user\'s needs and expectations, as well as future developments in other contexts where lighting planning plays a fundamental role in the experience and perception of space.

Nos últimos anos os avanços em áudio multicanal e sistemas envolventes despertaram um grande interesse pelas técnicas para a auralização de campos sonoros espaciais, capazes de recriar ambientações acústicas com grande realismo, envolvendo o ouvinte completamente. Um estudo sobre as tecnologias e soluções para áudio espacial mostrou que a construção de auralizadores envolve quatro blocos funcionais fundamentais. Mas, embora existam muitas técnicas e ferramentas disponíveis, não há uma arquitetura integradora para produção de áudio espacial que permita ao desenvolvedor selecionar as técnicas que deseja e montar uma solução com um grau de refinamento arbitrário que atenda a seus requisitos. Apresenta-se uma arquitetura modular aberta em quatro camadas para produção de áudio espacial em ambientes audiovisuais imersivos. Como estudo de caso, aborda-se a implementação de um auralizador Ambisonics para a CAVERNA Digital. Verifica-se que a auralização pode fornecer a correta perspectiva acústica do ambiente virtual necessária para uma percepção mais realista do espaço, e que a abordagem aberta para se implementar sistemas de áudio 2D/3D apresenta vantagens. Os resultados da implementação são apresentados e discutidos. Como conclusões, identificam-se desafios na implementação e os trabalhos futuros. / Recent advances in multichannel audio and surround systems have contributed to an increasing interest for spatial sound field auralization, capable of delivering acoustic ambience with great realism, and surrounding listener completely. A study on technologies and solutions for spatial sound has shown that building auralizators involve four major functional blocks, but, although there are many techniques and tools available, there is not an integration architecture for spatial audio production which permits developers to select their favorite techniques, and build a solution with an arbitrary refinement level, as wished. It is presented a four level modular open architecture for spatial audio production in immersive audiovisual environments. As a case study, an Ambisonics auralizator is implemented for the CAVERNA Digital CAVE. It is verified that auralization can deliver the correct acoustical perspective for the virtual environment necessary for a more realistic perception of space, and that an open approach presents advantages in 2D/3D audio systems design. Implementation results are presented and discussed. As conclusions, challenges and future works are presented.