In this thesis, we present a tool that is an extension of the NAVIRE Framework and used in remote environment exploration and navigation. It is available for end users on everyday devices such as desktops and mobile devices. The tool offers the characteristic of being cross-platform and easy to use and manipulate. Cubic panoramas that are generated by the NAVIRE Framework are loaded in the tool and rendered in 3D space on the user’s device. The 3D panoramas are interactive by allowing the user to view the scene in all direction, move from one scene to another or through interaction with augmented objects. The tool is geared to be interactive in the most natural and intuitive fashion using the inputs available in the different devices of the end-user.

O aprimoramento de atributos como a capacidade de processamento e interfaces gráficas das tecnologias disponíveis no mercado vem criando um cenário propício para a profusão de ambientes imersivos como os mundos virtuais. Estes ambientes, com características semelhantes aos jogos eletrônicos, simulam espaços complexos e podem ser explorados como réplicas virtuais do mundo real, ensejando o oferecimento de novas situações de ensino e aprendizagem que oportunizam a contextualização do conhecimento e o desenvolvimento de tarefas autênticas. Entretanto, poucos docentes têm domínio sobre esta tecnologia, ainda considerada de alta complexidade. Com vistas a promover uma aproximação do docente da Educação Básica aos ambientes imersivos, foi elaborado um conjunto de estratégias para compor um programa de formação voltado para o desenvolvimento da prática docente nos mundos virtuais, envolvendo a produção de artefatos educacionais para tais ambientes. A pesquisa que serviu como base para o desenvolvimento destas estratégias foi conduzida através de um estudo de casos múltiplos desdobrado em duas diferentes fases. A primeira fase realizou os primeiros passos rumo à autoria nos mundos virtuais, sendo nela desenvolvida uma experiência de produção de mídias para comporem laboratórios de aprendizagem dentro do mundo virtual. O objetivo desta fase foi observar o processo de autoria de objetos para os mundos virtuais, extraindo assim elementos para a reflexão sobre estratégias que seriam efetivas em uma capacitação docente focada no uso educacional de tais ferramentas. O estudo de caso culmina com a fase 2 da pesquisa, na qual foi conduzido um programa de formação, desenvolvido a partir dos elementos extraídos nas fases anteriores, oferecido a professores de diferentes áreas do conhecimento. A eficácia das estratégias emergentes nesta pesquisa foi verificada a partir de diferentes técnicas, como a observação participante, aplicação de entrevistas e questionários, análise de registros e análise documental. Para a análise dos laboratórios produzidos ao longo desta formação foi desenvolvida uma taxonomia denominada Taxonomia de Engajamento para os Mundos Virtuais, a partir da qual se buscou identificar diferentes níveis de engajamento que podem ser promovidos por atividades conduzidas no contexto dos mundos virtuais. A análise dos materiais produzidos, bem como o acompanhamento de todas as fases deste processo, apontam para uma real possibilidade de se promover o conhecimento dos mundos virtuais por professores da Educação Básica. Entretanto, dificuldades vivenciadas ao longo de ambas as fases mostram que a autoria docente nestes ambientes ainda é uma tarefa complexa, e que demanda deste profissional bastante interesse e dedicação para a sua efetivação. / Improvement on attributes such as processing power and graphical interfaces on off the shelf technologies has been creating a profusive scenario to immersive environments and virtual worlds. These environments, with features similar to electronic games, simulate complex spaces and can be exploited as virtual replicas of the real world, allowing for new teaching and learning situations that nurture the contextualization of knowledge and the development of authentic tasks. However, few teachers have mastery over this technology, still considered of high complexity. In order to promote an approximation of Basic Education teacher with immersive environments, a set of strategies to compose a training program focused on the development of teaching practice in virtual worlds, involving the production of educational artifacts to such environments was designed. The research that was the basis for the development of these strategies was conducted through a multiple case study unfolded in two stages. The first stage accomplished the first steps towards authorship in virtual worlds and a media production experience was developed to compose learning laboratories within the virtual world. The objective of this stage was to observe the authoring process of objects for virtual worlds, thereby extracting elements for reflection on strategies that would be effective in a teacher training program focused on the educational use of such tools. The case study culminates in stage 2 of the research, on which was conducted a training program, developed from elements extracted in earlier stages and offered to teachers from different areas of knowledge. The effectiveness of strategies emerging in this research was verified with different techniques, such as participant observation, application of interviews and questionnaires, analysis of record logs and document analysis. To perform the analysis of laboratories produced along this training, a taxonomy was developed, called Engagement Taxonomy for Virtual Worlds, from which it was sought to identify different levels of engagement that can be promoted through activities conducted in the context of virtual worlds. The analysis of the materials, as well as the monitoring of stages of this process, all point to a real possibility of promoting knowledge of virtual worlds for Basic Education teachers. However, difficulties experienced throughout the stages show that the teaching authorship in these environments is still a complex task, and one that demands professionals a great deal of interest and dedication to its effectiveness.

abstract: In the last few decades, the rapid development of electronic music technologies has changed the way society interacts with music, which in turn impacts the profession of music therapy. Except for a few cases, music therapy has not extensively explored the integration of new technology. However, current research trends show a willingness and excitement to explore the possibilities (Nagler, 2011; Ramsey, 2011; Magee, et al., 2011; Magee & Burland, 2008; Magee 2006). The project described in this paper intends to demonstrate one of these possibilities by combining modern technologies to create an interactive musical system with practical applications in music therapy. In addition to designing a practical tool, the project aims to question the role of technology in music therapy and to initiate dialogue between technologists and music therapists. The project, entitled MIST: A Musical Interactive Space for Therapy, uses modern gestural technology (the Microsoft® Kinect®) to capture body movements and turn them into music. It is intended for use in a clinical setting with children with mild to moderate disabilities. The system is a software/hardware package that is inexpensive, user-friendly, and portable. There are two functional modes of the system: the first sonifies specific movement tasks of reaching and balancing; the second is an interactive musical play space in which an entire room becomes responsive to presence and movement, creating a sonic playground. The therapeutic goals of the system are to motivate and train physical movement, encourage exploration of space and the body, and allow for musical expression, play, auditory perception, and social interaction. / Dissertation/Thesis / The instruction manual for MIST software / M.M. Media Arts and Sciences 2011

O aprimoramento de atributos como a capacidade de processamento e interfaces gráficas das tecnologias disponíveis no mercado vem criando um cenário propício para a profusão de ambientes imersivos como os mundos virtuais. Estes ambientes, com características semelhantes aos jogos eletrônicos, simulam espaços complexos e podem ser explorados como réplicas virtuais do mundo real, ensejando o oferecimento de novas situações de ensino e aprendizagem que oportunizam a contextualização do conhecimento e o desenvolvimento de tarefas autênticas. Entretanto, poucos docentes têm domínio sobre esta tecnologia, ainda considerada de alta complexidade. Com vistas a promover uma aproximação do docente da Educação Básica aos ambientes imersivos, foi elaborado um conjunto de estratégias para compor um programa de formação voltado para o desenvolvimento da prática docente nos mundos virtuais, envolvendo a produção de artefatos educacionais para tais ambientes. A pesquisa que serviu como base para o desenvolvimento destas estratégias foi conduzida através de um estudo de casos múltiplos desdobrado em duas diferentes fases. A primeira fase realizou os primeiros passos rumo à autoria nos mundos virtuais, sendo nela desenvolvida uma experiência de produção de mídias para comporem laboratórios de aprendizagem dentro do mundo virtual. O objetivo desta fase foi observar o processo de autoria de objetos para os mundos virtuais, extraindo assim elementos para a reflexão sobre estratégias que seriam efetivas em uma capacitação docente focada no uso educacional de tais ferramentas. O estudo de caso culmina com a fase 2 da pesquisa, na qual foi conduzido um programa de formação, desenvolvido a partir dos elementos extraídos nas fases anteriores, oferecido a professores de diferentes áreas do conhecimento. A eficácia das estratégias emergentes nesta pesquisa foi verificada a partir de diferentes técnicas, como a observação participante, aplicação de entrevistas e questionários, análise de registros e análise documental. Para a análise dos laboratórios produzidos ao longo desta formação foi desenvolvida uma taxonomia denominada Taxonomia de Engajamento para os Mundos Virtuais, a partir da qual se buscou identificar diferentes níveis de engajamento que podem ser promovidos por atividades conduzidas no contexto dos mundos virtuais. A análise dos materiais produzidos, bem como o acompanhamento de todas as fases deste processo, apontam para uma real possibilidade de se promover o conhecimento dos mundos virtuais por professores da Educação Básica. Entretanto, dificuldades vivenciadas ao longo de ambas as fases mostram que a autoria docente nestes ambientes ainda é uma tarefa complexa, e que demanda deste profissional bastante interesse e dedicação para a sua efetivação. / Improvement on attributes such as processing power and graphical interfaces on off the shelf technologies has been creating a profusive scenario to immersive environments and virtual worlds. These environments, with features similar to electronic games, simulate complex spaces and can be exploited as virtual replicas of the real world, allowing for new teaching and learning situations that nurture the contextualization of knowledge and the development of authentic tasks. However, few teachers have mastery over this technology, still considered of high complexity. In order to promote an approximation of Basic Education teacher with immersive environments, a set of strategies to compose a training program focused on the development of teaching practice in virtual worlds, involving the production of educational artifacts to such environments was designed. The research that was the basis for the development of these strategies was conducted through a multiple case study unfolded in two stages. The first stage accomplished the first steps towards authorship in virtual worlds and a media production experience was developed to compose learning laboratories within the virtual world. The objective of this stage was to observe the authoring process of objects for virtual worlds, thereby extracting elements for reflection on strategies that would be effective in a teacher training program focused on the educational use of such tools. The case study culminates in stage 2 of the research, on which was conducted a training program, developed from elements extracted in earlier stages and offered to teachers from different areas of knowledge. The effectiveness of strategies emerging in this research was verified with different techniques, such as participant observation, application of interviews and questionnaires, analysis of record logs and document analysis. To perform the analysis of laboratories produced along this training, a taxonomy was developed, called Engagement Taxonomy for Virtual Worlds, from which it was sought to identify different levels of engagement that can be promoted through activities conducted in the context of virtual worlds. The analysis of the materials, as well as the monitoring of stages of this process, all point to a real possibility of promoting knowledge of virtual worlds for Basic Education teachers. However, difficulties experienced throughout the stages show that the teaching authorship in these environments is still a complex task, and one that demands professionals a great deal of interest and dedication to its effectiveness.

Esta dissertação investiga os efeitos da imersão física em jogos sérios com propósitos de aprendizado perceptivo. O principal objetivo é identificar um conjunto de orientações de design para ajudar desenvolvedores a escolher o nível apropriado de imersão a ser usado em jogos sérios a fim de assegurar que o jogo seja efetivo e confortável para os usuários. A hipótese principal é que altos níveis de imersão melhoram os resultados dos jogos sérios, mas níveis de imersão moderados também podem ser adequados com a vantagem de que causa menos mal-estar nos usuários. Nós organizamos uma revisão da literatura para melhor entender como a imersão física está sendo usada atualmente em jogos sérios, como a efetividade tem sido avaliada, e como a imersão afeta os resultados do jogo e a usabilidade. Então, nós conduzimos dois estudos de usuário empíricos para investigar os efeitos da fidelidade de display, interação e locomoção na percepção dos usuários e retenção de conhecimento. Para os experimentos, nós adaptamos um jogo sério previamente desenvolvido para análise de percepção de riscos, e desenvolvemos um novo jogo para educar trabalhadores sobre procedimentos de segurança que precisam ser seguidos durante instalações elétricas na linha de manutenção elétrica. Os resultados mostraram que, em geral, a fidelidade de display tem impacto na percepção de riscos quando procurando por riscos que não são óbvios. Alta fidelidade de display tem melhor desempenho na identificação de riscos complexos. A fidelidade de locomoção e interação não apresentou diferenças significantes no aprendizado perceptivo. Alta fidelidade também apresentou maior workload, mas nas mesmas condições a corretividade das tarefas foi maior e os participantes lembraram dos procedimentos tanto no pós-teste quanto no teste de retenção. Portanto, a retenção de conhecimento não foi afetada pelo workload introduzido pela técnica interativa. A partir destes experimentos, nós elaboramos e discutimos um conjunto de orientações de design que podem ser considerados para a escolha do nível apropriado de imersão física para ser usado no desenvolvimento de novos jogos sérios. / Nowadays, several application areas are adopting serious games as an ethical, safe and low-cost alternative to performing dangerous tasks, such as training of firefighters, and for medical surgeries. The employment of Virtual Reality in serious games helps to provide virtual environments much more realistic and better immersive experiences to the user. However, some VR systems can still cause sickness symptoms, such as nausea and headaches, and some of them can be expensive, such as CAVEs. This thesis investigates the effects of physical immersion on serious games with perceptual learning purposes. Its main goal is to identify a set of design guidelines to help developers on choosing the appropriate level of immersion to be used in serious games in order to assure it is effective and comfortable for users. The main hypothesis is that higher levels of immersion improve serious games outcomes, but moderate immersion may be also adequate with the advantage of causing less simulation sickness on users. We organized a survey of the literature to better understand how physical immersion is being currently used on serious games, how its effectiveness has been assessed, and how immersion impacts on the game outcomes and usability. Then, we conducted two empirical user studies looking for investigating the effects of the display, interaction and locomotion fidelity on users’ perception and knowledge retention. For the experiments, we adapted a serious game previously developed for risk assessment and developed a new one to educate workers in electricity-line maintenance on safety procedures that need to be followed during electric installations. Results showed that, in general, display fidelity has an effect on risk perception when searching for non-obvious risks. Higher display fidelity has better performance on complex risks identification. Interaction and locomotion fidelity did not show a significant difference in perceptual learning. Naturalness also presented higher workload, but in the same conditions the correctness of tasks was high and subjects recall the procedures in both post- and retention-test. Therefore, knowledge retention is not impacted by the workload imposed by the interactive technique. From these experiments, we elaborated and discussed a set of design guidelines that can be considered for the choice of the appropriate physical immersion to be used on the development of new serious games.

O uso de novos recursos de display e interação para suportar a visualização imersiva de dados e incrementar o raciocínio analítico é uma tendência de pesquisa em Visualização de Informações. Neste trabalho, avaliamos o uso de ambientes baseados em HMD para a exploração de dados multidimensionais, representados em scatterplots 3D como resultado de redução de dimensionalidade. Nós apresentamos uma nova modelagem para o problema de avaliação neste contexto, levando em conta os dois fatores cuja interação determina o impacto no desempenho total nas tarefas: a diferença nos erros introduzidos ao se realizar redução de dimensionalidade para 2D ou 3D, e a diferença nos erros de percepção humana sob diferentes condições de visualização. Este framework em duas etapas oferece uma abordagem simples para estimar os benefícios de se utilizar um setup 3D imersivo para um dado conjunto de dados. Como caso de uso, os erros de redução de dimensionalidade para uma série de conjuntos de dados de votações na Câmara dos Deputados, ao se utilizar duas ou três dimensões, são avaliados por meio de uma abordagem empírica baseada em tarefas. O erro de percepção e o desempenho geral de tarefa, por sua vez, são avaliados através de estudos controlados comparativos com usuários. Comparando-se visualizações baseadas em desktop (2D e 3D) e em HMD (3D), resultados iniciais indicaram que os erros de percepção foram baixos e similares em todas abordagens, resultando em benefícios para o desempenho geral em ambas técnicas 3D A condição imersiva, no entanto, demonstrou requerer menor esforço para encontrar as informações e menos navegação, além de prover percepções subjetivas de precisão e engajamento muito maiores. Todavia, o uso de navegação por voo livre resultou em tempos ineficientes e frequente desconforto nos usuários. Em um segundo momento, implementamos e avaliamos uma abordagem alternativa de exploração de dados, onde o usuário permanece sentado e mudanças no ponto de vista só são possíveis por meio de movimentos físicos. Toda a manipulação é realizada diretamente por gestos aéreos naturais, com os dados sendo renderizados ao alcance dos braços. A reprodução virtual de uma cópia exata da mesa de trabalho do analista visa aumentar a imersão e possibilitar a interação tangível com controles e informações bidimensionais associadas. Um segundo estudo com usuários foi conduzido em comparação a uma versão equivalente baseada em desktop, explorando um conjunto de 9 tarefas representativas de percepção e interação, baseadas em literatura prévia. Nós demonstramos que o nosso protótipo, chamado VirtualDesk, apresentou resultados excelentes em relação a conforto e imersão, e desempenho equivalente ou superior em todas tarefas analíticas, enquanto adicionando pouco ou nenhum tempo extra e ampliando a exploração dos dados. / The use of novel displays and interaction resources to support immersive data visualization and improve the analytical reasoning is a research trend in Information Visualization. In this work, we evaluate the use of HMD-based environments for the exploration of multidimensional data, represented in 3D scatterplots as a result of dimensionality reduction. We present a new modelling for the evaluation problem in such a context, accounting for the two factors whose interplay determine the impact on the overall task performance: the difference in errors introduced by performing dimensionality reduction to 2D or 3D, and the difference in human perception errors under different visualization conditions. This two-step framework offers a simple approach to estimate the benefits of using an immersive 3D setup for a particular dataset. As use case, the dimensionality reduction errors for a series of roll calls datasets when using two or three dimensions are evaluated through an empirical task-based approach. The perception error and overall task performance are assessed through controlled comparative user studies. When comparing desktop-based (2D and 3D) with an HMD-based (3D) visualization, initial results indicated that perception errors were low and similar in all approaches, resulting in overall performance benefits in both 3D techniques. The immersive condition, however, was found to require less effort to find information and less navigation, besides providing much larger subjective perception of accuracy and engagement. Nonetheless, the use of flying navigation resulted in inefficient times and frequent user discomfort In a second moment, we implemented and evaluated an alternative data exploration approach where the user remains seated and viewpoint change is only realisable through physical movements. All manipulation is done directly by natural mid-air gestures, with the data being rendered at arm’s reach. The virtual reproduction of an exact copy of the analyst’s desk aims to increase immersion and enable tangible interaction with controls and two dimensional associated information. A second user study was carried out comparing this scenario to a desktop-based equivalent, exploring a set of 9 representative perception and interaction tasks based on previous literature. We demonstrate that our prototype setup, named VirtualDesk, presents excellent results regarding user comfort and immersion, and performs equally or better in all analytical tasks, while adding minimal or no time overhead and amplifying data exploration.

Esta dissertação investiga os efeitos da imersão física em jogos sérios com propósitos de aprendizado perceptivo. O principal objetivo é identificar um conjunto de orientações de design para ajudar desenvolvedores a escolher o nível apropriado de imersão a ser usado em jogos sérios a fim de assegurar que o jogo seja efetivo e confortável para os usuários. A hipótese principal é que altos níveis de imersão melhoram os resultados dos jogos sérios, mas níveis de imersão moderados também podem ser adequados com a vantagem de que causa menos mal-estar nos usuários. Nós organizamos uma revisão da literatura para melhor entender como a imersão física está sendo usada atualmente em jogos sérios, como a efetividade tem sido avaliada, e como a imersão afeta os resultados do jogo e a usabilidade. Então, nós conduzimos dois estudos de usuário empíricos para investigar os efeitos da fidelidade de display, interação e locomoção na percepção dos usuários e retenção de conhecimento. Para os experimentos, nós adaptamos um jogo sério previamente desenvolvido para análise de percepção de riscos, e desenvolvemos um novo jogo para educar trabalhadores sobre procedimentos de segurança que precisam ser seguidos durante instalações elétricas na linha de manutenção elétrica. Os resultados mostraram que, em geral, a fidelidade de display tem impacto na percepção de riscos quando procurando por riscos que não são óbvios. Alta fidelidade de display tem melhor desempenho na identificação de riscos complexos. A fidelidade de locomoção e interação não apresentou diferenças significantes no aprendizado perceptivo. Alta fidelidade também apresentou maior workload, mas nas mesmas condições a corretividade das tarefas foi maior e os participantes lembraram dos procedimentos tanto no pós-teste quanto no teste de retenção. Portanto, a retenção de conhecimento não foi afetada pelo workload introduzido pela técnica interativa. A partir destes experimentos, nós elaboramos e discutimos um conjunto de orientações de design que podem ser considerados para a escolha do nível apropriado de imersão física para ser usado no desenvolvimento de novos jogos sérios. / Nowadays, several application areas are adopting serious games as an ethical, safe and low-cost alternative to performing dangerous tasks, such as training of firefighters, and for medical surgeries. The employment of Virtual Reality in serious games helps to provide virtual environments much more realistic and better immersive experiences to the user. However, some VR systems can still cause sickness symptoms, such as nausea and headaches, and some of them can be expensive, such as CAVEs. This thesis investigates the effects of physical immersion on serious games with perceptual learning purposes. Its main goal is to identify a set of design guidelines to help developers on choosing the appropriate level of immersion to be used in serious games in order to assure it is effective and comfortable for users. The main hypothesis is that higher levels of immersion improve serious games outcomes, but moderate immersion may be also adequate with the advantage of causing less simulation sickness on users. We organized a survey of the literature to better understand how physical immersion is being currently used on serious games, how its effectiveness has been assessed, and how immersion impacts on the game outcomes and usability. Then, we conducted two empirical user studies looking for investigating the effects of the display, interaction and locomotion fidelity on users’ perception and knowledge retention. For the experiments, we adapted a serious game previously developed for risk assessment and developed a new one to educate workers in electricity-line maintenance on safety procedures that need to be followed during electric installations. Results showed that, in general, display fidelity has an effect on risk perception when searching for non-obvious risks. Higher display fidelity has better performance on complex risks identification. Interaction and locomotion fidelity did not show a significant difference in perceptual learning. Naturalness also presented higher workload, but in the same conditions the correctness of tasks was high and subjects recall the procedures in both post- and retention-test. Therefore, knowledge retention is not impacted by the workload imposed by the interactive technique. From these experiments, we elaborated and discussed a set of design guidelines that can be considered for the choice of the appropriate physical immersion to be used on the development of new serious games.

O uso de novos recursos de display e interação para suportar a visualização imersiva de dados e incrementar o raciocínio analítico é uma tendência de pesquisa em Visualização de Informações. Neste trabalho, avaliamos o uso de ambientes baseados em HMD para a exploração de dados multidimensionais, representados em scatterplots 3D como resultado de redução de dimensionalidade. Nós apresentamos uma nova modelagem para o problema de avaliação neste contexto, levando em conta os dois fatores cuja interação determina o impacto no desempenho total nas tarefas: a diferença nos erros introduzidos ao se realizar redução de dimensionalidade para 2D ou 3D, e a diferença nos erros de percepção humana sob diferentes condições de visualização. Este framework em duas etapas oferece uma abordagem simples para estimar os benefícios de se utilizar um setup 3D imersivo para um dado conjunto de dados. Como caso de uso, os erros de redução de dimensionalidade para uma série de conjuntos de dados de votações na Câmara dos Deputados, ao se utilizar duas ou três dimensões, são avaliados por meio de uma abordagem empírica baseada em tarefas. O erro de percepção e o desempenho geral de tarefa, por sua vez, são avaliados através de estudos controlados comparativos com usuários. Comparando-se visualizações baseadas em desktop (2D e 3D) e em HMD (3D), resultados iniciais indicaram que os erros de percepção foram baixos e similares em todas abordagens, resultando em benefícios para o desempenho geral em ambas técnicas 3D A condição imersiva, no entanto, demonstrou requerer menor esforço para encontrar as informações e menos navegação, além de prover percepções subjetivas de precisão e engajamento muito maiores. Todavia, o uso de navegação por voo livre resultou em tempos ineficientes e frequente desconforto nos usuários. Em um segundo momento, implementamos e avaliamos uma abordagem alternativa de exploração de dados, onde o usuário permanece sentado e mudanças no ponto de vista só são possíveis por meio de movimentos físicos. Toda a manipulação é realizada diretamente por gestos aéreos naturais, com os dados sendo renderizados ao alcance dos braços. A reprodução virtual de uma cópia exata da mesa de trabalho do analista visa aumentar a imersão e possibilitar a interação tangível com controles e informações bidimensionais associadas. Um segundo estudo com usuários foi conduzido em comparação a uma versão equivalente baseada em desktop, explorando um conjunto de 9 tarefas representativas de percepção e interação, baseadas em literatura prévia. Nós demonstramos que o nosso protótipo, chamado VirtualDesk, apresentou resultados excelentes em relação a conforto e imersão, e desempenho equivalente ou superior em todas tarefas analíticas, enquanto adicionando pouco ou nenhum tempo extra e ampliando a exploração dos dados. / The use of novel displays and interaction resources to support immersive data visualization and improve the analytical reasoning is a research trend in Information Visualization. In this work, we evaluate the use of HMD-based environments for the exploration of multidimensional data, represented in 3D scatterplots as a result of dimensionality reduction. We present a new modelling for the evaluation problem in such a context, accounting for the two factors whose interplay determine the impact on the overall task performance: the difference in errors introduced by performing dimensionality reduction to 2D or 3D, and the difference in human perception errors under different visualization conditions. This two-step framework offers a simple approach to estimate the benefits of using an immersive 3D setup for a particular dataset. As use case, the dimensionality reduction errors for a series of roll calls datasets when using two or three dimensions are evaluated through an empirical task-based approach. The perception error and overall task performance are assessed through controlled comparative user studies. When comparing desktop-based (2D and 3D) with an HMD-based (3D) visualization, initial results indicated that perception errors were low and similar in all approaches, resulting in overall performance benefits in both 3D techniques. The immersive condition, however, was found to require less effort to find information and less navigation, besides providing much larger subjective perception of accuracy and engagement. Nonetheless, the use of flying navigation resulted in inefficient times and frequent user discomfort In a second moment, we implemented and evaluated an alternative data exploration approach where the user remains seated and viewpoint change is only realisable through physical movements. All manipulation is done directly by natural mid-air gestures, with the data being rendered at arm’s reach. The virtual reproduction of an exact copy of the analyst’s desk aims to increase immersion and enable tangible interaction with controls and two dimensional associated information. A second user study was carried out comparing this scenario to a desktop-based equivalent, exploring a set of 9 representative perception and interaction tasks based on previous literature. We demonstrate that our prototype setup, named VirtualDesk, presents excellent results regarding user comfort and immersion, and performs equally or better in all analytical tasks, while adding minimal or no time overhead and amplifying data exploration.

Sistemas de teleconferência e telepresença são ferramentas de comunicação cada vez mais comuns. Partindo da existência de um canal de comunicação de alta capacidade, busca-se permitir visualização tridimensional realista, sensível ao ponto de vista do usuário e que mantenha a estrutura física da cena sem conhecimento prévio de sua estrutura, por meio de câmeras estéreo. A partir de pares de imagens temporalmente coerentes são sintetizadas visões intermediárias da cena alvo, de modo que um usuário rastreado tenha a ilusão de estar vendo a cena real através de uma janela. O sistema implementado baseia-se em dispositivos que provejam melhor qualidade visual no componente de geração de imagens intermediárias e procura maximizar a facilidade de uso na parte de visualização, empregando dispositivos domésticos e dispensando procedimentos complexos de calibração. / Teleconference and telepresence systems are increasingly common. Based on the existence of a high capacity communication channel, it is aimed to provide user\'s point of view sensible realistic 3D visualization without physical distortion or any prior knowledge about the structure of the scene, using stereo cameras. Pairs of temporally coherent images are used to generate intermediary view of the target scene so that a tracked user will have the illusion of posing in front so the real scene. The implemented system is based on high visual quality components on the side of views generation and tries to maximize ease of use in the visualization part by using commodity components and being free so complex calibration procedures.

In recent years, technological developments have led to the emergence of 360°. Google Street Map has provided panoramic imagery for a number of years, where users can immerse themselves and pan around in scenarios and follow streets of their liking, familiarizing and navigating themselves with the location. However, this service supports neither video nor moving imagery. This paper explores the use of 360° panoramic videos as a navigation aid on two different platforms as well as consider more subjective perspectives from potential users. The study is conducted through a set of interviews and a focus group where the findings reveal a number of design challenges concerning the development of a navigational system based on 360° panoramic videos. Based on these findings, design challenges are presented and later summarized as three design recommendations; 1) Design for navigation in a panoramic scenery, 2) Support overview and traditional navigation, 3) Support custom tailored features and content. The studies also suggest that the use of a head-mounted display (HMD) increase the feeling of presence which is beneficial for navigational purposes however, the users in this study preferred the mobile device based on practicality.