A utilização de jogos sérios em muitas atividades, incluindo casos de saúde, como o processo de reabilitação motora, tem demonstrado resultados satisfatórios que encorajam o desenvolvimento de novas aplicações neste cenário. Jogos podem tornar tais atividades mais interessantes e divertidas para os pacientes, como também auxiliar as etapas do processo de reabilitação. Nestas aplicações, estratégias que visam a manutenção do nível de motivação do usuário durante a utilização são muito importantes. Assim, esta pesquisa investiga a adaptação de contexto em jogos sérios com a utilização de técnicas de Computação Afetiva. A proposta consiste em um framework que torna mais baixo ao programador o custo de implementação da adaptação afetiva em jogos e permite que o fisioterapeuta configure as adaptações que serão executadas no jogo conforme o perfil dos pacientes. Com o intuito de verificar a viabilidade da proposta, dois jogos para reabilitação motora e uma versão do framework foram implementados, permitindo a realização de experimentos com programadores, fisioterapeutas e pacientes. Os resultados obtidos permitem concluir que a abordagem proposta tende a proporcionar grande impacto social e tecnológico / The use of serious games in many activities, including health cases, like the motor rehabilitation process, has demonstrated results that encourage the development of new applications in this scenario. These activities can be more interesting and funnier by using games, as well as help the patients to execute the steps of the rehabilitation process. In these applications, strategies to maintain the user\'s motivation level during the game are very important. Thus, in this research, we investigated the context adaptation on serious games using techniques of Affective Computing. The proposal consists of a framework that makes the cost of implementing affective adaptation in games lower to programmers and allows the physiotherapists to configure the adaptations that will be executed in the game, according to the profile of the patients. In order to verify the feasibility of the proposal, two games for motor rehabilitation and a version of the framework were implemented, allowing the realization of experiments with programmers, physiotherapists, and patients. The results obtained allow us to conclude that the proposed approach tends to provide great social and technological impact

A Realidade Virtual tem apresentado importantes contribuições para a área de saúde, principalmente no domínio de treinamento, o qual visa a aquisição de conhecimento e habilidades na realização de determinados procedimentos. Um procedimento ainda não simulado consiste na aplicação de anestesia local para tratamento odontológico, especificamente para bloqueio do nervo alveolar inferior. A execução de tal procedimento apresenta uma alta taxa de insucesso, elevando os riscos aos pacientes e a insegurança dos aprendizes. Dessa forma, e considerando a complexidade para a criação de uma simulação realista o presente trabalho visou ao desenvolvimento de um protótipo de sistema computacional baseado em Realidade Virtual, para simulação de parte do procedimento de anestesia (tarefa de inserção de agulha), enfatizando a etapa do procedimento de aplicação da anestesia que envolve a correta manipulação e inserção da agulha. Ou em termos de Realidade Virtual, a parte que envolve a interação humano-computador, contemplando aspectos visuais e hápticos. A abordagem háptica e uma parte importante em sistemas computacionais desse tipo e o realismo e considerado um dos principais objetivos no desenvolvimento de sistemas dessa natureza. Adicionalmente, uma analise da interação humano-computador foi realizada, indicando que embora diversas limitações tecnológicas ainda existam, o sistema pode ser considerado uma ferramenta auxiliar de treinamento para a tarefa, complementando os métodos tradicionais. Também, uma métrica objetiva perceptual para avaliação da interação háptica foi formulada, visto que na literatura as formas subjetivas dominam amplamente os testes e uma métrica encontrada na literatura falha diante de determinadas situações, especialmente aquelas relacionadas com a inserção de agulha, etapa do procedimento de anestesia simulada no presente estudo. / Virtual Reality has made important contributions to the health care, especially in the training field, which aims to acquisition of knowledge and skills in performing certain procedures. A procedure still not simulated consists of making local anesthesia for dental treatment, specifically to block inferior alveolar nerve. The execution of this procedure has a high failure rate, increasing the risk to patients and the insecurity of beginners. Thus, and considering the complexity for creating a realistic simulation, this work aims to develop a computer system prototype based on Virtual Reality, for simulation of anesthesia procedure stage (needle insertion task), emphasizing the stage of the anesthesia administration procedure that involves the correct handling and needle insertion. Or in terms of Virtual Reality, the part that involves human-computer interaction, taking into account visual and haptic aspects. The haptic approach is an important part in computer systems of this kind and the realism is considered one of the main objectives in the development of these systems. Additionally, an analysis of human-computer interaction was examined, indicating that although there are still several technological limitations, the system can be regarded as an auxiliary training tool for the task, complementing traditional methods. Also, a perceptual objective metric for evaluation of haptic interaction was formulated, because in the literature the subjective ways dominate the tests and a metric found in the literature fails on certain situations, especially those related to the insertion needle, stage of the anesthesia procedure simulated in this study.

Este trabalho apresenta uma ferramenta para conferência de áudio 3D (espacial) implementando conceitos de Realidade Aumentada (RA). O objetivo desta ferramenta é aprimorar a sensação de presença e melhorar a interatividade entre seus participantes remotos, por meio de benefícios proporcionados pela utilização de técnicas de áudio espacial (implementadas em avatares de áudio) pela: maior facilidade de concentração e atenção em um único participante e pelos efeitos positivos na memorização dos conteúdos pelos participantes como conseqüência da melhor inteligibilidade e compreensão. A motivação desta implementação reside em sua utilização como ferramenta de comunicação síncrona no ambiente de aprendizagem eletrônica Tidia-Ae, auxiliando na realização de atividades colaborativas e, possivelmente, nos processos de ensino e aprendizagem à distância. A ferramenta implementada foi integrada ao sistema Tidia-Ae e os resultados dos experimentos realizados demonstraram sua efetividade com relação às melhorias proporcionadas pelo processamento de áudio espacial. / This work presents a 3D (spatial) audio conference tool implementing Augmented Reality (AR) concepts. The main intent of this tool is to enhance the sense of presence and increase the interactivity among remote participants, by implementing spatial audio techniques in audio avatars. The use of such techniques facilitates focusing the attention on anyone specific participant of the conference and enables a positive effect on memory retention, resulting in a better intelligibility and comprehension. The motivation of this implementation lies on its appliance as a synchronous communication tool within the Tidia-Ae e-Learning system, thus aiding on collaborative activities realization and, possibly, on teaching and learning processes. The results of the experiments showed the effectiveness provided by the spatial audio processing when applied in such environment.

Propiciar uma boa experiência de imersão ao usuário, quando este interage com conteúdos ou ambientes virtuais, é um dos principais desafios dos desenvolvedores e pesquisadores de tecnologias interativas, com destaque para realidade virtual e aumentada. Em especial nas áreas de educação e entretenimento, nas quais o engajamento do usuário e a significância dos conteúdos são cruciais para o sucesso da aplicação, é comum a busca por uma experiência que se aproxime de uma imersão total do participante. Quando as atividades envolvem interações a distância, um possível meio de se obter maior imersão são os chamados sistemas de telecomunicação imersiva. Tais sistemas oferecem compartilhamento de um ambiente virtual e troca de informações entre participantes remotos, além da interação desses com o ambiente. Um componente importante desses sistemas é o vídeo-avatar, uma representação visual do participante dentro do ambiente, baseado em sua captura de vídeo em tempo-real. Este trabalho apresenta novas propostas de reconstrução geométrica e renderização para a geração e apresentação de um vídeo-avatar. Inicialmente, um modelo teórico para se modularizar as técnicas de reconstrução e renderização existentes foi proposto. Por meio desse modelo foi criada uma nova técnica de reconstrução geométrica e renderização, denominada Video-based Microfacet Billboarding. Essa técnica emprega uma reconstrução e renderização em tempo-real que possibilita a representação de detalhes e melhora a percepção de integração com o ambiente. É também proposta neste trabalho o conceito de non-photorealistic video-avatar, que visa aplicar um estilo não fotorrealístico único sobre toda a cena, afim de melhorar a integração do avatar com o ambiente e, por sua vez, aumentar a imersão do usuário. Os resultados obtidos através da implementação do vídeo-avatar com essas técnicas e testes preliminares com usuários dão fortes indícios de que é possível a geração de uma representação visual que possua todos os requisitos do sistema iLive, sistema de telecomunicação imersiva voltado a educação e jogos eletrônicos em desenvolvimento pelo Laboratório de Tecnologias Interativas (Interlab) da Escola Politécnica da Universidade de São Paulo. / Providing good immersion experiences for users interacting with virtual contents or an environment is one of the main challenges for developers and researchers in interactive technologies, mainly virtual and augmented reality. Especially in areas of education and entertainment, in which the engagement of the user and the significance of content are of crucial importance for the success of the application, the search for experiences that approximate to one of a total immersion of the participant is common practice. When interaction at distance is necessary, one way to provide better immersion experiences is the use of a solution called Immersive Telecommunication System. This kind of system can provide the sharing of the virtual environment among participants, information exchange among them, and also their interaction with the virtual environment. One of the most important component of these systems is the video-avatar, the representation of the participant in the virtual environment based on a video of the participant captured in real-time. This work presents new approaches of geometric reconstruction and rendering for the creation of a video-avatar. First, a theoretical model to modularize the existing reconstruction and rendering approaches was proposed. Based on this model, a new approach of geometric reconstruction and rendering, called Video-based Microfacet Billboarding, was conceived. This approach uses a technique of real-time reconstruction and rendering that enables the representation of the object details and improves the integration of the avatar in the virtual environment. In this work, it is also proposed the concept of non-photorealistic video-avatar, that aims to apply a non-photorealistic style over all the scene to improve the avatar integration with the environment, and with this, to enhance the user\'s immersion. The results obtained by the implementation of a video-avatar with these approaches, as well as preliminary users tests, gives us strong evidences that we could create a user representation that attends all the requisites of the iLive system, an immersive telecommunication system for education and gaming purposes, in development by the Interactive Technologies Laboratory (Interlab) of Escola Politécnica da Universidade de São Paulo.

A estereoscopia é a área do conhecimento que aborda a visão em três dimensões, mas se limita, por definição, apenas às técnicas que possibilitam a reconstituição de uma cena tridimensional observada através de pelo menos dois pontos de vista distintos, que no caso dos seres humanos é a cena reconstituída no cérebro a partir das imagens obtidas pelos olhos. Inicialmente, o presente trabalho consolida os principais conceitos e técnicas desta área abrangente, para em seguida propor formas de análise, comparação e classificação de técnicas de estereoscopia através de conceitos teóricos e métricas qualitativas e quantitativas. Complementando esta proposta, com base na revisão da literatura e nos resultados experimentais, a pesquisa busca avaliar vantagens e desvantagens entre as técnicas estereoscópicas e na estereoscopia como um todo, para alimentar discussões, tendências e desafios encontrados na aplicação da estereoscopia a sistemas de Realidade Aumentada (RA), em particular sistemas de tele-presença com vídeo-avatar, e na área de jogos. / Stereoscopy is the area of knowledge that addresses three dimensional vision, but its restricted to, by definition, the techniques that allows the reconstruction of a three dimensional scene observed from two different points of view at least, in the case of human beings it is the scene reconstructed in the brain from the images obtained by the eyes. Initially, the present work consolidates the main concepts and techniques of this extended area, considering, after that, ways of analysis, comparison and classification of stereoscopy techniques through qualitative and quantitative metrics and theorical data. Additionally, based on literature review and in experimental results, the research try\'s to evaluate advantages and disadvantages between stereoscopy techniques and in stereoscopy as a whole, to stimulate discussion, trends and challenges found when merging stereoscopy to Augmented Reality (AR) systems, in particular tele-presence systems with video-avatar, and computer games.

Este trabalho aborda o uso da realidade virtual aplicada à simulação de procedimentos invasivos em oncologia pediátrica. Para tanto, apresenta uma revisão dos conceitos relacionados à concepção de simuladores baseados em realidade virtual, descrevendo requisitos específicos como estereoscopia e interação háptica. Particularmente, é apresentado um estudo de caso em coleta de medula óssea para transplante, para o qual um simulador foi desenvolvido. Este é o primeiro trabalho em simulação cirúrgica para oncologia pediátrica baseado em realidade virtual e apresenta detalhes relacionados à implementação do simulador e aspectos relacionados à calibragem de propriedades físicas em modelos tridimensionais. O trabalho também analisa e demonstra vantagens no uso de sistemas dessa natureza voltados para o treinamento médico, apontando necessidades e novos problemas a serem tratados por simuladores futuros. / This work approaches the use of the Virtual Reality applied to the simulation of invasive procedures in pediatric oncology. It presents a revision of the concepts related to the conception of simulators based on virtual reality, describing requirements as stereoscopy and haptic interaction. As specific problem, it was made a case study in bone marrow harvest for transplant, for which a simulator was developed. This is the first work in surgical simulation for pediatrics based on Virtual Reality and it presents details related to the implementation of the simulator and aspects related to physical properties in three-dimensional models. The work also analyzes and demonstrates advantages in the use of this kind of system for medical training besides to point needs and new problems to be addressed in future work.

Sistemas de multiprojeção podem oferecer alta resolução e grande quantidade de brilho por fundamentarem-se no uso de aglomerado de projetores e podem proporcionar uma qualidade visual superior aos sistemas de projeção tradicionais compostos por um projetor de alto desempenho. Considerando o custo elevado dos projetores de alto brilho e resolução, o uso de projetores convencionais em sistemas de multiprojeção pode representar uma redução sensível no custo de implantação sem comprometer a qualidade visual. Esta tese propõe a pesquisa e o desenvolvimento de um sistema de multiprojeção escalável com o objetivo de atingir resoluções nos limites do sistema de percepção visual humano. Este sistema é denominado como resolução retina. Para tanto, foi realizada a pesquisa e a proposta de um sistema de multiprojeção escalável inovador. A viabilidade deste sistema foi comprovada através do desenvolvimento do sistema de multiprojeção chamado Fast Fusion que dentre vários recursos permite a calibração automática dos projetores através de câmeras. Na implementação da biblioteca Fast Fusion, foram realizados aprimoramentos de algoritmos conhecidos na literatura tais como os algoritmos de calibração de projetores utilizando matrizes de homografia, além da proposta de uma arquitetura inédita para suportar grande quantidade de projetores, com centenas ou até mesmo milhares de projetores e computadores gráficos. O sistema de multiprojeção desenvolvido nesta tese foi utilizado na implementação de várias aplicações de realidade virtual nas áreas de aprendizagem, treinamento, simulação, entretenimento e turismo. Por fim, este trabalho apresenta uma análise de desempenho visual e computacional do sistema proposto. / Multi-projector systems offer both higher resolution and brightness by using a cluster of projectors, providing better visual quality when compared to traditional systems using a single high performance projector. When we consider the high cost associated with high-end projectors, the use of multiple low cost projectors can reduce considerably the cost of such installation. The goal of this thesis is to research such alternatives using clusters of projects to develop a scalable multi- projector system capable of achieving a high resolution display comparable to that of a human eye. We call such display the retina display. We proved the viability of such system through the development of a multi-projector system called Fast Fusion which automatically calibrates casually aligned projectors to properly blend different projections using cameras. Our Fast Fusion system improves known algorithms in the literature for projector calibration and blending using homographic matrices. Additionally, we propose a new architecture that supports a higher number of projectors than previous approaches - our solution supports hundreds or thousands of projectors to be used together, powered by a graphics cluster. The multi-projector system developed in this thesis has been validated on several virtual reality solutions by developing applications in diverse areas such as learning, training, simulation, entertainment and tourism. Finally, this thesis presents a thorough analysis of the visual and computational performance of our system.

Musicoterapia é a ciência que utiliza elementos sonoro-ritmico-musicais no tratamento, reeducação, reabilitação e recuperação de indivíduos com diversas patologias ou ainda na área preventiva. Muitas vezes, pacientes com deficiência física grave, necessitam de adaptações nos instrumentos musicais para realizar o fazer musical musicoterapêutico. Algumas adaptações são feitas sob encomenda pelo musicoterapeuta e, portanto, em pequenas quantidades para o setor. Algumas vezes, um recurso adaptador de prática instrumental atende apenas às necessidades de uma determinada incapacidade física, sendo que para outras, este mesmo recurso pode ser desconfortável. Para alguns pacientes pode ser interessante colocar em prática algumas orientações recebidas na sessão de Musicoterapia em ambiente domiciliar. Entretanto, a situação econômica de alguns pacientes associada ao elevado preço de alguns instrumentos musicais adaptados, dificulta ou inviabiliza a continuidade do tratamento em ambiente domiciliar. Neste trabalho, buscou-se investigar se seria possível conceber um sistema eletrônico interativo capaz de apoiar e ampliar as estratégias de intervenções musicoterapêuticas. A metodologia da pesquisa seguiu a estratégia exploratória, de natureza tecnológica aplicada, tendo como objetivo a geração de um produto com finalidades imediatas, com base em conhecimentos prévios, capaz de viabilizar testes e estudos em situações reais de uso. Colaboraram nesta pesquisa musicoterapeutas, terapeutas ocupacionais e pacientes em tratamento de reabilitação motora. A partir do levantamento e estudos sobre o estado da arte, bem como de observações de sessões de Musicoterapia, foi concebida uma proposta de sistema de Realidade Aumentada musical para reabilitação. A partir desta proposta, foram implementadas e avaliadas três versões do sistema. A primeira avaliação foi realizada com uma especialista em Musicoterapia a fim de verificar a aplicabilidade do sistema. A segunda avaliação foi realizada durante uma intervenção de Musicoterapia na Associação de Assistência à Criança Deficiente (AACD) e, em outro momento, durante uma intervenção de Terapia Ocupacional em domicílio. A terceira avaliação foi feita em intervenções de Musicoterapia na AACD e na Associação Brasileira de Distrofia Muscular (ABDIM). A análise dos dados coletados permitiu constatar que este sistema traz os seguintes benefícios para apoiar intervenções de reabilitação motora: aumento da motivação e satisfação dos pacientes e facilitação do fazer musical de pessoas com deficiência física que possuem dificuldades em manusear os instrumentos musicais convencionais. / Music therapy is the science of using sound-rhythmic-musical elements in treatment, reeducation, recovery and rehabilitation of individuals with various diseases or in preventive activities. Often, patients with severe physical disability need to adapt musical instruments to perform \"music making\" activities in music therapy. Some adaptations are made by music therapists and, therefore, in small quantities. Sometimes, a resource adapter for instrumental practice serves only the needs of a particular disability, and for others, the same feature can be uncomfortable. Also, may be interesting for some patients to put practice some guidelines received at the music therapy session in their home environment. However, the economic situation of some patients associated with the elevated price of some adapted musical instruments hampers or prevents the continuation of care in home environments. In this study, we sought to investigate whether it would be possible to design an interactive electronic system able to support and expand the music therapist intervention strategies. The research methodology followed the exploratory strategy of applied technological, aiming to generate a product with immediate goals, based on prior knowledge, capable of delivering tests and studies in real use. Contributors to this research included music therapists, occupational therapists and patients under motor rehabilitation treatment. From the survey and studies on the state of the art, as well as observations of music therapy sessions, a proposal for an augmented reality musical system for rehabilitation was designed. Based on this proposal, were implemented and evaluated three versions of system. The first evaluation was performed with a specialist in Music Therapy to verify the applicability of system. The second evaluation was carried out during a Music Therapy intervention in the Assistance Association for Children with Disability (AACD) and, on another occasion, during an occupational therapy intervention at home. The third evaluation was performed in Music Therapy interventions in the AACD and the Brazilian Association of Muscular Dystrophy (ABDIM). The data collected analysis allowed us to observe some benefits that this technology brings to support motor rehabilitation interventions: increased morale and satisfaction of patients and facilitation of \"music making\" activities along people with physical disabilities who have difficulty handling conventional musical instruments.

Nas últimas décadas a tecnologia de realidade virtual tem sido cada vez mais utilizada em várias aplicações na sociedade. Particularmente a partir do início da década de 90, observamos o advento da realidade virtual baseada em multiprojeções, com o surgimento do paradigma de construção de sistemas de realidade virtual totalmente imersivos como por exemplo o CAVE™. Esta tese tem por objetivo apresentar pesquisas e desenvolvimentos relacionados com a implementação do primeiro sistema de multiprojeção totalmente imersivo baseado em aglomerado de computadores convencionais, sistema este denominado de CAVERNA Digital. O trabalho aqui apresentado é composto por um panorama atual do estado da arte das tecnologias de realidade virtual baseadas em multiprojeção. O conceito de aglomerados de computadores convencionais para realidade virtual, ou especificamente VRCluster é apresentado, bem como uma taxonomia de organização interna dos VRClusters. O sistema de multiprojeção da CAVERNA Digital é apresentado, descrevendo em detalhe as opções dos inúmeros subsistemas como projetores, telas, subsistema de vídeo, dispositivos de interação e outros. Outra contribuição desta tese é pela inovação de uma plataforma de visualização interativa voltada para ambientes de realidade virtual imersivos, plataforma esta denominada de JINX, baseada no padrão aberto X3D. Aspectos relacionados com a operação destes sistemas de realidade virtual avançados são apresentados como é o caso das interface de gerenciamento de ambientes imersivos denominado de SIRIUS e do núcleo de gerenciamento de ambientes imersivos denominado de ZEUS. Por fim vários testes de desempenho são realizados para a validação da integração dos inúmeros recursos utilizados na CAVERNA Digital. / In the last decades, virtual reality technology has been increasingly used in many applications for the society. Particularly in the beginning of 90’s, we can observe the advent of virtual reality based in multi-projections, leading to the construction paradigm of CAVE™ like virtual reality systems. The goal of this thesis is to present the research and developments related to the construction of the first multi projection completely immersive system based on commodity computer clusters called CAVERNA Digital. The work here presented is composed by an updated panorama of the state-of-art multi-projection virtual reality technologies. The concept of commodity computer clusters for virtual reality, or specifically VRCluster is shown, as well as the taxonomy for internal organization of the VRClusters. The CAVERNA Digital multi-projection system is shown, including details of the options of uncountable subsystems, like projectors, screens, video, and interaction devices, among others. This thesis contributes with another innovation: the visualization platform, called JINX, based on the open standard X3D. Aspects related to the operation of these advanced virtual reality systems are presented, which is the case of the user interface for immersive environments called SIRIUS and the management core for immersive environments called ZEUS. Finally, various performance tests were conducted to validate the integration of the uncountable resources used in the CAVERNA Digital.

Os avanços tecnológicos trouxeram novos recursos e meios pelos quais o homem pode se expressar de maneiras diferentes, através de linguagens visuais, sonoras, gestuais, tácteis, e outras, que se complementam. Estes meios abrem um leque maior de oportunidades para o homem usar a sua a capacidade criativa, explorar mundos, conceitos e experiências, aprender e construir conhecimento. Porém esta tecnologia ainda é pouco ou mal utilizada nos estabelecimentos de ensino neste país e no resto do mundo. A tecnologia existe e avança a cada momento, mas ainda se encontra dificuldade em construir e manipular mundos virtuais em ambientes imersivos com múltiplas projeções. Este trabalho propõe o sistema FADAS, um sistema de autoria para ambientes imersivos de múltiplas projeções, para estudantes, professores e pesquisadores utilizarem a Realidade Virtual como mecanismo facilitador e enriquecedor do processo de aprendizagem e pesquisa. Por meio de várias tecnologias, fornece uma ferramenta, tanto para o "usuário-autor", que constrói cenários virtuais, baseados ou não na realidade, quanto para o "usuário-explorador", que navega e interage com os mundos virtuais, criando suas próprias experiências. O sistema FADAS pode ser utilizado em ambiente imersivo de múltiplas projeções estereoscópicas, disponibilizando uma linguagem de programação, que encapsula as complexidades das tecnologias envolvidas, e permite a criação e manipulação de mundos virtuais por usuários não especialistas. / Technological advances brought new resources and means where man can express himself in several ways, through languages of several types: visual, sonorous, gesture, tactile, and others that complement each other. These means open up a bigger span of opportunities for man to use his creative capacity, to explore worlds, concepts and experiences, learn and build up knowledge. Nevertheless this technology is still limited or badly used in education in this country and in the rest of the world. Technology exists and advances at every moment, but there is still difficulty in building up and manipulating virtual worlds in multiprojection immersive environments. This work proposes the FADAS system, an authorship system for multiprojection immersive environments, for students, teachers and researches to use Virtual Reality as a facilitating and enriching mechanism of the learning process and research. Through several technologies, it provides a tool to build up scenarios, based, or not, in real worlds, and to explore, navigate and interact with them, creating their own experiences. The FADAS system can be used in a stereo immersive multiprojection environment. The system provides a programming language, which encapsulates technology complexities, allowing users, who are not specialists, to create and manipulate virtual worlds.