O objetivo desta tese é refletir sobre o processo de visão como construção de sentido. Assim sendo, contrário à maneira tradicional de entender esse processo como algo transparente e imediato, propomos que ver é uma prática de construir sentido através de todos nossos sentidos e nosso corpo. Para essa discussão contrapomos leituras das áreas de Cultura Visual, Cultural Digital, Antropologia, Análise do Discurso, Biologia, Media Art, com exemplos de comunicação mediada por computador e uso de vídeos. / The objective of this thesis is to discuss vision as a sociohistoric meaning-making process. Thus, contrary to the traditional approach to vision, which deals with it as a transparent and non-interpretative object, we look at it as a social practice through which we make sense of and in the world using our senses and body. For this discussion we counterpose readings from Visual Culture, Digital Culture, Anthropology, Discourse Analysis, Biology, Media Art to some examples of computer-based communication and videos.

A estereoscopia é a área do conhecimento que aborda a visão em três dimensões, mas se limita, por definição, apenas às técnicas que possibilitam a reconstituição de uma cena tridimensional observada através de pelo menos dois pontos de vista distintos, que no caso dos seres humanos é a cena reconstituída no cérebro a partir das imagens obtidas pelos olhos. Inicialmente, o presente trabalho consolida os principais conceitos e técnicas desta área abrangente, para em seguida propor formas de análise, comparação e classificação de técnicas de estereoscopia através de conceitos teóricos e métricas qualitativas e quantitativas. Complementando esta proposta, com base na revisão da literatura e nos resultados experimentais, a pesquisa busca avaliar vantagens e desvantagens entre as técnicas estereoscópicas e na estereoscopia como um todo, para alimentar discussões, tendências e desafios encontrados na aplicação da estereoscopia a sistemas de Realidade Aumentada (RA), em particular sistemas de tele-presença com vídeo-avatar, e na área de jogos. / Stereoscopy is the area of knowledge that addresses three dimensional vision, but its restricted to, by definition, the techniques that allows the reconstruction of a three dimensional scene observed from two different points of view at least, in the case of human beings it is the scene reconstructed in the brain from the images obtained by the eyes. Initially, the present work consolidates the main concepts and techniques of this extended area, considering, after that, ways of analysis, comparison and classification of stereoscopy techniques through qualitative and quantitative metrics and theorical data. Additionally, based on literature review and in experimental results, the research try\'s to evaluate advantages and disadvantages between stereoscopy techniques and in stereoscopy as a whole, to stimulate discussion, trends and challenges found when merging stereoscopy to Augmented Reality (AR) systems, in particular tele-presence systems with video-avatar, and computer games.

A estimação da iluminação é essencial para aplicações de realidade mista que se propõem a integrar elementos virtuais a cenas reais de maneira harmoniosa e sem a perda do realismo. Um dos métodos mais utilizados para fazer essa estimação é conhecido como iluminação baseada em imagens (Image Based Lighting - IBL), método que utiliza light probes para capturar a intensidade da iluminação incidente em uma cena. Porém, IBL estima a iluminação incidente apenas para um determinado instante e posição. Nesta dissertação, será avaliado um modelo de iluminação que utiliza séries temporais de imagens de light probes, obtidas de maneira esparsa em relação ao tempo, para renderizar cenas em instantes arbitrários. Novas cenas contendo objetos virtuais poderão ser renderizadas utilizando imagens de light probes artificiais, geradas a partir das amostras da iluminação originais. Diferentes funções de interpolação e aproximação são avaliadas para modelar o comportamento luminoso. As imagens finais produzidas pela metodologia também são verificadas por voluntários, de modo a determinar o impacto na qualidade de renderização em aplicações de realidade mista. Além da metodologia, foi desenvolvida uma ferramenta de software em forma de plugin para facilitar o uso de IBL temporalmente variável, permitindo assim a renderização realística de objetos virtuais para instantes arbitrários / Lighting estimation is essential for mixed reality applications that strive to integrate virtual elements into real scenes in a seamlessly fashion without sacrificing realism. A widely used method for lighting estimation is known as Image Based Lighting (IBL), which utilizes light probes to determine incident light intensity within a scene. However, IBL estimates light incidence only for a given time and position. In this dissertation, we assess a lighting model based on a time series of light probe images, obtained sparsely, to render scenes at arbitrary times. New scenes containing virtual objects can then be rendered by using artificial light probe images, which are generated from the original light samples. Different types of interpolation and approximation functions were evaluated for modeling lighting behavior. The resulting images were assessed for the impact in rendering quality for mixed reality applications by volunteers. In addition to the methodology, we also developed a software plugin to simplify the use of temporally variable IBL, allowing realistic rendering of virtual objects for arbitrary times

Este projeto constitui desdobramento e aprofundamento da temática apresentada na pesquisa de Mestrado: a paisagem romana mineradora, inserida nos projetos do Laboratório de Arqueologia Romana Provincial LARP-MAE/USP. O objetivo central é o de produzir a reconstrução-simulação tridimensional interativa da paisagem de Vipasca(Aljustrel, Portugal) a partir de seus vestígios arqueológicos. Com base nas fontes de época, bibliografia interpretativa, cartografia e trabalho de campo serão buscados recursos que possibilitem a reconstrução digital em potencial da paisagem antiga de Vipasca. Para tanto, far-se-á uso da teoria e metodologia pertencentes à Ciberarqueologia a fim de se reconstruir e simular interativamente a paisagem mineradora da região. / This project constitutes a development and deepening of the theme presented in the Master\'s research: the Roman mining landscape (inserted in the projects of the Laboratory for Roman Provincial Archaeology LARP-MAE/USP). The main objective is to produce the reconstruction/interactive three-dimensional simulation of Vipasca\'s landscape (Aljustrel, Portugal) from its archaeological remains. Based on the sources of the period, interpretive bibliography, cartography and fieldwork, resources will be sought to enable potential digital reconstruction of the ancient Vipasca landscape. In order to do so, we will use the theory and methodology pertaining to Cyber-Archaeology in order to reconstruct and interactively simulate the mining landscape of the region.

A utilização de jogos sérios em muitas atividades, incluindo casos de saúde, como o processo de reabilitação motora, tem demonstrado resultados satisfatórios que encorajam o desenvolvimento de novas aplicações neste cenário. Jogos podem tornar tais atividades mais interessantes e divertidas para os pacientes, como também auxiliar as etapas do processo de reabilitação. Nestas aplicações, estratégias que visam a manutenção do nível de motivação do usuário durante a utilização são muito importantes. Assim, esta pesquisa investiga a adaptação de contexto em jogos sérios com a utilização de técnicas de Computação Afetiva. A proposta consiste em um framework que torna mais baixo ao programador o custo de implementação da adaptação afetiva em jogos e permite que o fisioterapeuta configure as adaptações que serão executadas no jogo conforme o perfil dos pacientes. Com o intuito de verificar a viabilidade da proposta, dois jogos para reabilitação motora e uma versão do framework foram implementados, permitindo a realização de experimentos com programadores, fisioterapeutas e pacientes. Os resultados obtidos permitem concluir que a abordagem proposta tende a proporcionar grande impacto social e tecnológico / The use of serious games in many activities, including health cases, like the motor rehabilitation process, has demonstrated results that encourage the development of new applications in this scenario. These activities can be more interesting and funnier by using games, as well as help the patients to execute the steps of the rehabilitation process. In these applications, strategies to maintain the user\'s motivation level during the game are very important. Thus, in this research, we investigated the context adaptation on serious games using techniques of Affective Computing. The proposal consists of a framework that makes the cost of implementing affective adaptation in games lower to programmers and allows the physiotherapists to configure the adaptations that will be executed in the game, according to the profile of the patients. In order to verify the feasibility of the proposal, two games for motor rehabilitation and a version of the framework were implemented, allowing the realization of experiments with programmers, physiotherapists, and patients. The results obtained allow us to conclude that the proposed approach tends to provide great social and technological impact

Nos últimos anos os avanços em áudio multicanal e sistemas envolventes despertaram um grande interesse pelas técnicas para a auralização de campos sonoros espaciais, capazes de recriar ambientações acústicas com grande realismo, envolvendo o ouvinte completamente. Um estudo sobre as tecnologias e soluções para áudio espacial mostrou que a construção de auralizadores envolve quatro blocos funcionais fundamentais. Mas, embora existam muitas técnicas e ferramentas disponíveis, não há uma arquitetura integradora para produção de áudio espacial que permita ao desenvolvedor selecionar as técnicas que deseja e montar uma solução com um grau de refinamento arbitrário que atenda a seus requisitos. Apresenta-se uma arquitetura modular aberta em quatro camadas para produção de áudio espacial em ambientes audiovisuais imersivos. Como estudo de caso, aborda-se a implementação de um auralizador Ambisonics para a CAVERNA Digital. Verifica-se que a auralização pode fornecer a correta perspectiva acústica do ambiente virtual necessária para uma percepção mais realista do espaço, e que a abordagem aberta para se implementar sistemas de áudio 2D/3D apresenta vantagens. Os resultados da implementação são apresentados e discutidos. Como conclusões, identificam-se desafios na implementação e os trabalhos futuros. / Recent advances in multichannel audio and surround systems have contributed to an increasing interest for spatial sound field auralization, capable of delivering acoustic ambience with great realism, and surrounding listener completely. A study on technologies and solutions for spatial sound has shown that building auralizators involve four major functional blocks, but, although there are many techniques and tools available, there is not an integration architecture for spatial audio production which permits developers to select their favorite techniques, and build a solution with an arbitrary refinement level, as wished. It is presented a four level modular open architecture for spatial audio production in immersive audiovisual environments. As a case study, an Ambisonics auralizator is implemented for the CAVERNA Digital CAVE. It is verified that auralization can deliver the correct acoustical perspective for the virtual environment necessary for a more realistic perception of space, and that an open approach presents advantages in 2D/3D audio systems design. Implementation results are presented and discussed. As conclusions, challenges and future works are presented.

O objetivo do presente estudo foi comparar os efeitos de dois tipos de programas de treinamento do equilíbrio e marcha, um baseado no Nintendo Wii Fit® e o outro baseado em exercícios convencionais sem a utilização do videogame, na eficiência da marcha, funções cognitivas e funcionalidade de idosos saudáveis. Trata-se de um ensaio clínico, cego e randomizado realizado no Departamento de Fonoaudiologia, Fisioterapia e Terapia Ocupacional no Laboratório de Aprendizagem Sensório-Motora (LASM) da Universidade de São Paulo. Participaram do estudo 32 idosos saudáveis que foram randomizados em grupo experimental (n=16) e grupo controle (n=16). Ambos os grupos realizaram 14 sessões individuais de treinamento, duas vezes na semana por sete semanas. As sessões eram divididas em duas partes: a primeira parte era composta de 30 minutos de exercícios globais que incluíam alongamento e fortalecimento muscular além de mobilidade axial; a segunda parte era composta de 30 minutos de exercícios de equilíbrio e marcha. O grupo experimental realizou os exercícios de equilíbrio e marcha por meio de 10 jogos do vídeogame Nintendo Wii Fit®, que promoviam a estimulação cognitiva e motora por meio da realimentação visual e auditiva. Já o grupo controle realizou os exercícios sem nenhuma estimulação cognitiva associada. As principais medidas do estudo foram: (1) Functional Gait Assessment (FGA); (2) Montreal Cognitive Assessment (MoCA); (3) Índice do Andar Dinâmico (IAD); (4) Falls Efficacy Scale (FES-I); (5) Teste da marcha de 30 segundos em condição de simples tarefa e dupla tarefa. A análise estatística foi realizada por meio da ANOVA de medidas repetidas e pós hoc teste de Tukey para a verificação de possíveis diferenças entre grupos e avaliações, que foram realizadas antes, depois e após 60 dias do término do treinamento. Apenas o grupo experimental apresentou melhora na FGA, MoCA, IAD, FES-I e Teste da marcha 30 segundos em simples e dupla tarefa. Concluiu-se que o treino de equilíbrio e marcha associado ao Nintendo Wii Fit® mostrou-se mais eficiente na melhora da eficiência da marcha, das funções cognitivas e da funcionalidade de idosos saudáveis em comparação ao treinamento convencional / The aim of this study was to compare the effects of two types of balance and gait training programs, one based on Nintendo Wii Fit® and the other based on conventional exercises without the use of video games, in the gait efficiency, cognitive functions and functionality in healthy elderly. This is a blind and randomized clinical trial, conducted at the Department of Speech-Language Pathology, Physiotherapy and Occupational Therapy at the Laboratory for Sensory-Motor Learning (LASM) at the University of São Paulo. The study included 32 healthy elderly individuals who were randomized into an experimental group (n = 16) and control group (n = 16). Both groups underwent 14 sessions of individual training, twice a week for seven weeks. The sessions were divided into two parts: the first part consisted of 30-minute global exercise that included stretching and muscular strengthening exercises as well as axial mobility; the second part consisted of 30 minutes of balance and gait exercises. The experimental group performed balance and gait exercises through 10 Nintendo Wii Fit® video games, which promoted cognitive and motor stimulation through visual and auditory feedback. The control group performed the exercises without any cognitive stimulation associated. The main measures of the study were: (1) Functional Gait Assessment (FGA), (2) Montreal Cognitive Assessment (MoCA), (3) Dynamic Gait Index (DGI), (4) Falls Efficacy Scale (FES-I); (5) 30-second gait test in simple and dual-task condition. Statistical analysis was performed by repeated measures ANOVA and post hoc Tukey test to check for possible differences among groups and evaluations, which were performed before, after and 60 days after the end of the training. Only the experimental group showed improvement in FGA, MoCA, DGI, FES-I and 30-second gait test in simple and dual-task. It was concluded that balance and gait training associated with Nintendo Wii Fit® was more efficient in improving the gait efficiency, cognitive function and functionality of healthy elderly compared to conventional training

Introdução: déficits no equilíbrio e na marcha após um Acidente Vascular Cerebral (AVC) são comuns e, frequentemente, influenciados pelas alterações no controle postural. Um dos pilares da reabilitação pós-AVC visa a melhora do equilíbrio e marcha desses sujeitos, a qual baseia-se no treinamento multimodal, que combina dois ou mais tipos de exercícios (cardiorrespiratório, força, flexibilidade e equilíbrio, por exemplo). Como estratégia complementar de treinamento para potencializar o equilíbrio e a marcha em sujeitos pós-AVC, têm sido recomendadas as intervenções realizadas em ambiente de Realidade Virtual (RV). No entanto, os efeitos do treino multimodal em ambiente real e em ambiente virtual, sobre o equilíbrio e marcha, ainda são inconsistentes, tornando-se necessária a análise de sua efetividade. Objetivo: investigar os efeitos isolados e da combinação de exercícios físicos multimodais em ambiente real e virtual no equilíbrio e na marcha em sujeitos pós-AVC. Método: trata-se de um ensaio clínico aleatório, com três grupos amostrais. O Grupo Multimodal Real (GMR) recebeu intervenção de exercícios baseada nas diretrizes para prescrição de exercícios físicos para AVC de Billinger et.al (2014); o Grupo Multimodal Virtual (GMV) recebeu exercícios físicos baseado em jogos em ambiente de realidade virtual; já o Grupo Multimodal Combinado (GMC) recebeu uma combinação entre as intervenções dos dois outros grupos sendo, uma das sessões semanais composta por exercícios físicos multimodais realizados em ambiente real e a outra, por jogos em ambiente de realidade virtual. Os três protocolos tiveram a duração de quinze semanas com sessões de sessenta minutos, duas vezes por semana. Como medidas de avaliação, foram aplicados, por avaliadores cegos, o Teste de Levantar e Caminhar, a Escala de Equilíbrio de Berg, o Teste de Caminhada de 6 Minutos e o Teste de Caminhada de 10 Metros. Todas as avaliações foram aplicadas antes, após e um mês do término da intervenção. Para o tratamento matemático e análise estatística dos dados, foram utilizados os programas Microsoft Office Excel e IBM SPSS Statistics versão 20; foi adotado um nível de significância de 5% e realizou-se uma Anova Three-Way. Resultados: 48 sujeitos foram agrupados randomicamente nos três grupos amostrais. Não houve diferença estatisticamente significante entre os grupos, em nenhuma das medidas de avaliação. No entanto, houve diferença significante intragrupo entre pré-teste e pós-teste no equilíbrio do GMR e, nos mesmos momentos, na capacidade funcional de marcha e na velocidade auto selecionada de marcha do GMC. Conclusão: não houve diferença entre realizar exercícios físicos multimodais em ambiente real, em ambiente virtual e/ou em ambiente combinado no que diz respeito ao equilíbrio, à marcha e à mobilidade de sujeitos pós-AVC; não havendo, portanto, efeito adicional na combinação de exercícios físicos em ambiente real e virtual / Introduction: deficits in balance and gait following stroke are common and often influenced by changes in postural control. One of the aims of post-stroke rehabilitation is the improvement of the balance and gait, which is based on multimodal training, that combines two or more types of exercises (cardiorespiratory, strength, flexibility and balance, for example). As a complementary training strategy to improve balance and gait in post-stroke subjects, interventions have also been performed in Virtual Reality (VR) environment. However, the effects of multimodal training in real environment and virtual environment, on balance and gait, are still inconsistent. Therefore, there is a need to investigate its effectiveness. Objective: to investigate the isolated and the combinate effects of multimodal physical exercises in real and virtual environment in balance and gait of post-stroke subjects. Method: this is a randomized clinical trial with three sample groups. The Real Multimodal Group (RMG) received exercise intervention based on the guidelines for physical exercise prescription for stroke of Billinger et.al (2014); the Virtual Multimodal Group (VMG) received physical exercise intervention based on games in a virtual reality environment; the Combined Multimodal Group (CMG) received, as an intervention protocol, a combination of the interventions of the two other groups previously described, in this way, one of the weekly sessions was composed of multimodal physical exercises performed in real environment and the other, by games in a virtual reality environment. The three protocols lasted for fifteen weeks and the sessions had approximately sixty minutes and occurred twice a week. As evaluation measures, the Time Up and Go Test, the Berg Balance Scale, the 6-Minute Walk Test, and the 10-Meter Walk Test were applied by blind assessors. All evaluations were applied before, after and one month after the intervention. For the mathematical treatment and statistical analysis of the data, the programs Microsoft Office Excel and IBM SPSS Statistics version 20 were used; a significance level of 5% was adopted and the Anova Three-Way was used. Results: 48 subjects were randomly grouped into the three sample groups. There was no statistically significant difference between the groups in any of the evaluation measures. However, there was a significant intragroup difference between pre-test and post-test in the balance of RMG and in the same moments in gait functional capacity and in the self-selected gait speed of the CMG. Conclusion: there was no difference between performing multimodal physical exercises in the real environment, in a virtual environment and/or in a combined environment regarding the balance, gait and mobility of post-stroke subjects; therefore, there is no additional effect on the combination of physical exercises in real and virtual environment

Propõe-se um método de construção arquitetural de espaços virtuais, baseado na sobreposição de diversos modos de pensar o espaço e no uso de estruturas da mnemotécnica. Para essa tarefa, faz-se, inicialmente, uma análise crítica do estado da arte em dois campos disciplinares recorrentemente envolvidos na construção de tais ambientes: Interface Usuário-Computador e Realidade Virtual. Em seguida apresenta-se a maneira de se sobrepor diversos modos de pensar o espaço em Arquitetura, a qual constitui o terceiro campo disciplinar desse estudo, explicitado através da introdução e da análise de diferentes exemplos de concepções arquitetônicas pertencentes ao âmbito virtual. Definido como pertencente à mente, o espaço virtual é concebido através de métodos arquitetônicos, acrescidos do uso da Mnemônica, que é a arte e a técnica de se desenvolver e fortalecer a memória. O processo de memorização torna-se central no processo de construção do contexto virtual. Introduzido através de exemplos na história e de recentes aplicações artísticas em realidade virtual, a tese propõe a inclusão da mnemotécnica para a estruturação espacial arquitetônica no virtual / A method is proposed for the architectural construction of virtual spaces based on the overlaying of diverse ways of thinking about space and by using structures of mnemotechniques. In order to achieve this task, a critical review is first carried out of two disciplines which are regularly involved in the construction of this kind of spatiality: Human-Computer Interface, and Virtual Reality. Architecture, as a third and central discipline, presents its method of overlaying diverse ways of thinking space, made explicit through the introduction and analysis of different examples of architectural construction in the virtual realm. Defined as belonging to the mind, the virtual space is conceived through architectural methods by adding the use of Mnemonics, which is the art and technique of developing and making stronger the memory. The memorization process itself becomes central in the process of constructing the virtual context. Introducing examples in history and recent art applications in virtual reality, the thesis proposes the introduction of mnemotechniques for the architectural spatial structuring of the virtual

Este trabalho apresenta uma ferramenta para conferência de áudio 3D (espacial) implementando conceitos de Realidade Aumentada (RA). O objetivo desta ferramenta é aprimorar a sensação de presença e melhorar a interatividade entre seus participantes remotos, por meio de benefícios proporcionados pela utilização de técnicas de áudio espacial (implementadas em avatares de áudio) pela: maior facilidade de concentração e atenção em um único participante e pelos efeitos positivos na memorização dos conteúdos pelos participantes como conseqüência da melhor inteligibilidade e compreensão. A motivação desta implementação reside em sua utilização como ferramenta de comunicação síncrona no ambiente de aprendizagem eletrônica Tidia-Ae, auxiliando na realização de atividades colaborativas e, possivelmente, nos processos de ensino e aprendizagem à distância. A ferramenta implementada foi integrada ao sistema Tidia-Ae e os resultados dos experimentos realizados demonstraram sua efetividade com relação às melhorias proporcionadas pelo processamento de áudio espacial. / This work presents a 3D (spatial) audio conference tool implementing Augmented Reality (AR) concepts. The main intent of this tool is to enhance the sense of presence and increase the interactivity among remote participants, by implementing spatial audio techniques in audio avatars. The use of such techniques facilitates focusing the attention on anyone specific participant of the conference and enables a positive effect on memory retention, resulting in a better intelligibility and comprehension. The motivation of this implementation lies on its appliance as a synchronous communication tool within the Tidia-Ae e-Learning system, thus aiding on collaborative activities realization and, possibly, on teaching and learning processes. The results of the experiments showed the effectiveness provided by the spatial audio processing when applied in such environment.