A Organização Mundial de Saúde estima que existam hoje 285 milhões de pessoas com deficiência visual grave em todo o mundo. Com o advento da tecnologia, ambientes virtuais em 3D estão sendo cada vez mais utilizados para diversas aplicações. Muitas destas aplicações, no entanto, não são acessíveis para usuários com deficiência visual, criando uma divisão digital. O objetivo deste trabalho é desenvolver uma nova técnica de interação 3D de baixo custo que permita a identificação de objetos virtuais com autonomia usando apenas propriocepção e retorno de áudio. Foi desenvolvido um protótipo implementando esta técnica e foram realizados primeiramente testes funcionais com usuários com visão para avaliar se o protótipo implementou de fato a técnica proposta. Em seguida foi realizado um pré-teste com um deficiente visual, seguido de aprimoramento do protótipo e um experimento com oito usuários com deficiência em que deveriam diferenciar objetos virtuais usando somente a técnica proposta. Os resultados se mostraram bastante positivos, com cerca de 84\\% de acerto sem nenhum treino anterior. Este resultado sugere que a técnica desenvolvida pode trazer diversos benefícios para a sociedade e para a computação, como uma maior inclusão de pessoas com deficiência visual em tarefas que exijam interação com o objetos virtuais em três dimensões em diferentes áreas de aplicação, inclusive para educação, com boa usabilidade, acessibilidade e dispositivos disponíveis por custos relativamente baixos / The World Health Organization estimates that there are currently 285 million people with severe visual impairment worldwide. With the advent of technology, 3D virtual environments are being increasingly used for several applications. Many of these applications, however, are not accessible to visually impaired users, creating a digital divide. Our goal is to develop a novel and low cost 3D interaction technique to allow the identification of virtual objects with autonomy using only proprioception and hearing. We developed a prototype implementing this technique, which was first tested with sighted users simply to verify whether it correctly implemented the proposed technique. Then we conducted a preliminary experiment with a blind user followed by some prototype improvement and an experiment with eight users with visual impairment in which they were asked to classify tridimensional virtual objects using only the proposed technique. The results were quite positive, with approximately 84\\% correct answers without any prior training. This result suggests that our technique may benefit society and computing, such as a better inclusion of visually impaired users in tasks that require interaction with virtual objects in 3D in different areas of application, including education, with good usability, accessibility and devices available for relatively low costs

In der Neurochirurgie werden für die prä-, intra- und postoperative medizinische Bildgebung dreidimensionale Daten unterschiedlicher Modalitäten überlagert, segmentiert und visualisiert. Durch die Verknüpfung der multimodalen Daten erhofft man einen Informationsgewinn für Diagnose und Therapie. Dabei wird großer Wert auf die intuitive Handhabbarkeit und Verständlichkeit der Software gelegt. In einem neu entwickelten 3-D-Planungssystem wird insbesondere die Erfassung komplexer räumlicher Strukturen und die neurochirurgische Operationsplanung durch aktuelle 3-D-Interaktions- und Visualisierungstechnologien vereinfacht. Das Anwendungsspektrum des Systems wird durch die Entwicklung spezieller Algorithmen kontinuierlich erweitert, z. B. der automatischen Segmentierung und elastischen Registrierung von multimodalen Bilddaten, und kann somit an neue klinische Fragestellungen angepasst werden. / In neurosurgery, three-dimensional data from different modalities are registered, segmented and visualised for pre-, intraand post-operative medical imaging. A combination of the multimodal data sets provides additional information for the analyses of anatomic and functional correlations and for surgical planning. For routine use, it is important to design a software application that is simple and intuitive to use. A neurosurgical operation planning system is realised in combination with novel 3D-interaction and visualisation technologies. The development of additional functions, such as automatic segmentation and elastic registration, enhances the usability of the systems to approach further clinical objectives.

With its mixing of real and virtual, Augmented Reality (AR) is a technology that has attracted lots of attention from the science community and is seen as a perfect way to visualize context-related information. Computer generated graphics is presented to the user overlaid and registered with the real world and hence augmenting it. Promising intelligence amplification and higher productivity, AR has been intensively researched over several decades but has yet to reach a broad audience. This thesis presents efforts in bringing Augmented Reality to mobile phones and thus to the general public. Implementing technologies on limited devices, such as mobile phones, poses a number of challenges that differ from traditional research directions. These include: limited computational resources with little or no possibility to upgrade or add hardware, limited input and output capabilities for interactive 3D graphics. The research presented in this thesis addresses these challenges and makes contributions in the following areas: Mobile Phone Computer Vision-Based Tracking The first contribution of thesis has been to migrate computer vision algorithms for tracking the mobile phone camera in a real world reference frame - a key enabling technology for AR. To tackle performance issues, low-level optimized code, using fixed-point algorithms, has been developed. Mobile Phone 3D Interaction Techniques Another contribution of this thesis has been to research interaction techniques for manipulating virtual content. This is in part realized by exploiting camera tracking for position-controlled interaction where motion of the device is used as input. Gesture input, made possible by a separate front camera, is another approach that is investigated. The obtained results are not unique to AR and could also be applicable to general mobile 3D graphics. Novel Single User AR Applications With short range communication technologies, mobile phones can exchange data not only with other phones but also with an intelligent environment. Data can be obtained for tracking or visualization; displays can be used to render graphics with the tracked mobile phone acting as an interaction device. Work is presented where a mobile phone harvests a sensor-network to use AR to visualize live data in context. Novel Collaboration AR Applications One of the most promising areas for mobile phone based AR is enhancing face-to-face computer supported cooperative work. This is because the AR display permits non-verbal cues to be used to a larger extent. In this thesis, face-to-face collaboration has been researched to examine whether AR increases awareness of collaboration partners even on small devices such as mobile phones. User feedback indicates that this is the case, confirming the hypothesis that mobile phones are increasingly able to deliver an AR experience to a large audience. / On the day of the defence date the status on articles III and VIII was: Accepted.

Seleção é uma das quatro formas fundamentais de interação em mundos virtuais. É a habilidade de especificar objectos em ambientes virtuais para ações posteriores. A literatura é rica em técnicas de seleção imediata; no entanto, esta classe de técnicas está exposta a problemas de precisão, ambiguidade e complexidade de seleção. Os problemas mencionados podem ser abordados com técnicas de seleção por: refinamento prograssivo, que consiste na redução da quantia de objetos selecionáveis através de etapas de refinamento, até que o objeto desejado seja selecionado; ou níveis de precisão, que consiste em aumentar a precisão de apontamento através da manipulação de parametros do mapeamento controle para display, assim como na combinação de abordagens de apontamentio. Níveis de precisão é uma classe de técnicas de seleção que estamos propondo neste dissertação. Neste documento também apresentamos uma pesquisa com literatura relacionada a estas duas classes de técnicas de seleção. Adicionalmente, propomos as técnicas de seleção LOP-cursor e tela de desambiguação. A primeira conta com múltiplos níveis de precisão para proporcionar maior controle sobre a posição do cursor, enquanto a segunda usa a alta resolução de entrada proporcionada pela tela sensível ao toque de disposiiticos móveis para rapidamente desambiguar a seleção de um alvo entre centenas de outros objetos. Por fim, apresentamos a metáfora de um cursor com duas pernas, uma nova abordagem para apontar duas posições distintas simultaneamente. O cursor de duas pernas é projetado para rapidamente realizar tarefas compostas, como arrastar e soltar em uma área de trabalho. Avaliações com usuários mostram que nossas abordagens são promissoras, e que o espaço de design de técnicas utilizado dispoitivos móveis pode produzir inúmeras possibilidades. Os usuários foram capazes de selecionar alvos com 0:1 de tamanho angular visual com o LOP-cursor. Em um dos experimentos, a tela de desambiguação obteve a proporção de erro < 0:01 por tentativa de seleção. Por fim, ambas as técnicas foram mais rápidas que o tradicional ray-casting para seleção de objetos pequenos, sendo sempre preferidas pelos usuários. / Selection is one of the four fundamental forms of interaction in a virtual world. It is the ability of the user to specify objects in the virtual environment for subsequent actions. The literature is rich in immediate selection techniques; however, this class of technique is exposed to problems of selection accuracy, ambiguity and complexity. These issues can be addressed using techniques of selection by: progressive refinement, which consists of reducing the amount of selectable objects through refinement steps until the desired object is selected; or levels of precision, which consists of increasing accuracy of pointing by manipulating the control-to-display parameters as well as by the combination of pointing approaches. Levels of precision is a class of selection techniques we are proposing in this dissertation. We also present a survey that comprehends literature on these two classes of selection techniques. Furthermore, we propose the LOP-cursor and the disambiguation canvas selection techniques. The first rely on multiple levels of precision to achieve very high control over the cursor position, while the second uses the high resolution of input provided by a mobile device touchscreen to quickly disambiguate a selection among hundreds of objects. Finally, we present the two-legged cursor metaphor, a novel approach for simultaneously pointing of two distinct locations. The two-legged cursor is intended to be used to quickly perform composite tasks, such as drag and drop. User evaluation shows that our approaches are promising, and that the design space of techniques using mobile devices can lead to numerous possibilities. Users were able to select targets as little as 0:1 of visual angular size with LOP-cursor. In one of its evaluations, disambiguation canvas achieved an error rate < 0:01 per selection trial. Finally, Both techniques performed faster than ray-casting for small targets, and overall they were preferred by users.

Seleção é uma das quatro formas fundamentais de interação em mundos virtuais. É a habilidade de especificar objectos em ambientes virtuais para ações posteriores. A literatura é rica em técnicas de seleção imediata; no entanto, esta classe de técnicas está exposta a problemas de precisão, ambiguidade e complexidade de seleção. Os problemas mencionados podem ser abordados com técnicas de seleção por: refinamento prograssivo, que consiste na redução da quantia de objetos selecionáveis através de etapas de refinamento, até que o objeto desejado seja selecionado; ou níveis de precisão, que consiste em aumentar a precisão de apontamento através da manipulação de parametros do mapeamento controle para display, assim como na combinação de abordagens de apontamentio. Níveis de precisão é uma classe de técnicas de seleção que estamos propondo neste dissertação. Neste documento também apresentamos uma pesquisa com literatura relacionada a estas duas classes de técnicas de seleção. Adicionalmente, propomos as técnicas de seleção LOP-cursor e tela de desambiguação. A primeira conta com múltiplos níveis de precisão para proporcionar maior controle sobre a posição do cursor, enquanto a segunda usa a alta resolução de entrada proporcionada pela tela sensível ao toque de disposiiticos móveis para rapidamente desambiguar a seleção de um alvo entre centenas de outros objetos. Por fim, apresentamos a metáfora de um cursor com duas pernas, uma nova abordagem para apontar duas posições distintas simultaneamente. O cursor de duas pernas é projetado para rapidamente realizar tarefas compostas, como arrastar e soltar em uma área de trabalho. Avaliações com usuários mostram que nossas abordagens são promissoras, e que o espaço de design de técnicas utilizado dispoitivos móveis pode produzir inúmeras possibilidades. Os usuários foram capazes de selecionar alvos com 0:1 de tamanho angular visual com o LOP-cursor. Em um dos experimentos, a tela de desambiguação obteve a proporção de erro < 0:01 por tentativa de seleção. Por fim, ambas as técnicas foram mais rápidas que o tradicional ray-casting para seleção de objetos pequenos, sendo sempre preferidas pelos usuários. / Selection is one of the four fundamental forms of interaction in a virtual world. It is the ability of the user to specify objects in the virtual environment for subsequent actions. The literature is rich in immediate selection techniques; however, this class of technique is exposed to problems of selection accuracy, ambiguity and complexity. These issues can be addressed using techniques of selection by: progressive refinement, which consists of reducing the amount of selectable objects through refinement steps until the desired object is selected; or levels of precision, which consists of increasing accuracy of pointing by manipulating the control-to-display parameters as well as by the combination of pointing approaches. Levels of precision is a class of selection techniques we are proposing in this dissertation. We also present a survey that comprehends literature on these two classes of selection techniques. Furthermore, we propose the LOP-cursor and the disambiguation canvas selection techniques. The first rely on multiple levels of precision to achieve very high control over the cursor position, while the second uses the high resolution of input provided by a mobile device touchscreen to quickly disambiguate a selection among hundreds of objects. Finally, we present the two-legged cursor metaphor, a novel approach for simultaneously pointing of two distinct locations. The two-legged cursor is intended to be used to quickly perform composite tasks, such as drag and drop. User evaluation shows that our approaches are promising, and that the design space of techniques using mobile devices can lead to numerous possibilities. Users were able to select targets as little as 0:1 of visual angular size with LOP-cursor. In one of its evaluations, disambiguation canvas achieved an error rate < 0:01 per selection trial. Finally, Both techniques performed faster than ray-casting for small targets, and overall they were preferred by users.

Seleção é uma das quatro formas fundamentais de interação em mundos virtuais. É a habilidade de especificar objectos em ambientes virtuais para ações posteriores. A literatura é rica em técnicas de seleção imediata; no entanto, esta classe de técnicas está exposta a problemas de precisão, ambiguidade e complexidade de seleção. Os problemas mencionados podem ser abordados com técnicas de seleção por: refinamento prograssivo, que consiste na redução da quantia de objetos selecionáveis através de etapas de refinamento, até que o objeto desejado seja selecionado; ou níveis de precisão, que consiste em aumentar a precisão de apontamento através da manipulação de parametros do mapeamento controle para display, assim como na combinação de abordagens de apontamentio. Níveis de precisão é uma classe de técnicas de seleção que estamos propondo neste dissertação. Neste documento também apresentamos uma pesquisa com literatura relacionada a estas duas classes de técnicas de seleção. Adicionalmente, propomos as técnicas de seleção LOP-cursor e tela de desambiguação. A primeira conta com múltiplos níveis de precisão para proporcionar maior controle sobre a posição do cursor, enquanto a segunda usa a alta resolução de entrada proporcionada pela tela sensível ao toque de disposiiticos móveis para rapidamente desambiguar a seleção de um alvo entre centenas de outros objetos. Por fim, apresentamos a metáfora de um cursor com duas pernas, uma nova abordagem para apontar duas posições distintas simultaneamente. O cursor de duas pernas é projetado para rapidamente realizar tarefas compostas, como arrastar e soltar em uma área de trabalho. Avaliações com usuários mostram que nossas abordagens são promissoras, e que o espaço de design de técnicas utilizado dispoitivos móveis pode produzir inúmeras possibilidades. Os usuários foram capazes de selecionar alvos com 0:1 de tamanho angular visual com o LOP-cursor. Em um dos experimentos, a tela de desambiguação obteve a proporção de erro < 0:01 por tentativa de seleção. Por fim, ambas as técnicas foram mais rápidas que o tradicional ray-casting para seleção de objetos pequenos, sendo sempre preferidas pelos usuários. / Selection is one of the four fundamental forms of interaction in a virtual world. It is the ability of the user to specify objects in the virtual environment for subsequent actions. The literature is rich in immediate selection techniques; however, this class of technique is exposed to problems of selection accuracy, ambiguity and complexity. These issues can be addressed using techniques of selection by: progressive refinement, which consists of reducing the amount of selectable objects through refinement steps until the desired object is selected; or levels of precision, which consists of increasing accuracy of pointing by manipulating the control-to-display parameters as well as by the combination of pointing approaches. Levels of precision is a class of selection techniques we are proposing in this dissertation. We also present a survey that comprehends literature on these two classes of selection techniques. Furthermore, we propose the LOP-cursor and the disambiguation canvas selection techniques. The first rely on multiple levels of precision to achieve very high control over the cursor position, while the second uses the high resolution of input provided by a mobile device touchscreen to quickly disambiguate a selection among hundreds of objects. Finally, we present the two-legged cursor metaphor, a novel approach for simultaneously pointing of two distinct locations. The two-legged cursor is intended to be used to quickly perform composite tasks, such as drag and drop. User evaluation shows that our approaches are promising, and that the design space of techniques using mobile devices can lead to numerous possibilities. Users were able to select targets as little as 0:1 of visual angular size with LOP-cursor. In one of its evaluations, disambiguation canvas achieved an error rate < 0:01 per selection trial. Finally, Both techniques performed faster than ray-casting for small targets, and overall they were preferred by users.

[pt] Dispositivos de interação tradicionais como mouse e teclado não se adaptam adequadamente a aplicações imersivas, uma vez que sua utilização nesse tipo de ambiente não é ergonômica, já que o usuário pode estar em pé ou até mesmo em movimento. Além disso, utilizando o modelo atual de interação para esse tipo de aplicação (baseado em wands e mouses 3D), o usuário se vê obrigado a realizar diversas mudanças de contexto a cada vez que necessita realizar uma tarefa não suportada no modo imersivo, especialmente a entrada de símbolos. Essas mudanças constantes de contexto da imersão para o WIMP (Windows, Icons, Menus and Pointers) introduzem uma ruptura no modo de interação do usuário com a aplicação. O objetivo deste trabalho é explorar as possibilidades de uso de um dispositivo que mapeia uma interface de toque em um ambiente imersivo de realidade virtual. Foi desenvolvida uma luva para interação com ambientes imersivos de realidade virtual 3D (v-Glove) com duas funcionalidades principais: rastreamento da posição referente ao dedo indicador do usuário no espaço e a geração de uma vibração na extremidade do dedo indicador no momento em que este atinge a localização de uma área plana mapeada no espaço de interação. Foram feitos testes quantitativos e qualitativos com usuários para avaliar a v-Glove, comparando-a com um mouse 3D tradicionalmente utilizado em ambientes imersivos. / [en] Traditional interaction devices such as mouse and keyboard don t adapt to immersive applications, since their use in this kind of environment isn t ergonomic, because the user may be standing or in movement. Moreover, in the current interaction model for this kind of application (based on wands and 3D mice), the users have to change context every time they need to execute a nonimmersive task, specially the symbolic input. These constant context changes from immersion to WIMP (Windows, Icons, Menus and Pointers) introduce a rupture in the user interaction with the application. The objective of this work is to explore the use possibilities of a device that maps a touch interface in a virtual reality immersive environment. We developed a glove for interaction in 3D virtual reality immersive environments (v-Glove), which has two main functionalities: tracking of the position of the user s forefinger in the space and the generation of a vibration in the fingertip when it reaches an area mapped in the interaction space. We performed quantitative and qualitative tests with users to evaluate v-Glove, comparing it with a 3D mouse used in immersive environments.

[pt] O avanço das tecnologias de realidade virtual tem viabilizado melhor acesso a essas tecnologias e a menores custos, desonerando os estudos nesta linha. Este trabalho propõe e estuda diversas técnicas de navegação e seleção em ambientes virtuais usando o Microsoft Kinect. Este dispositivo foi escolhido pois, além de ter custo acessível, permite que o usuário interaja com o sistema sem precisar estar com um dispositivo em mãos ou acoplado ao corpo. Com isto procura-se aumentar o grau de imersão e, possivelmente, criar formas de interação mais familiares aos usuários, ou seja, diminuir a distância do mundo virtual para o real. Através dessas técnicas busca-se que o usuário possa se locomover e interagir com objetos em um ambiente virtual de forma mais próxima ao que faria em um ambiente físico real. Para este trabalho foram implementadas três técnicas de navegação e três de seleção. Uma série de testes foram feitos avaliando pontos como facilidade de uso, esforço cognitivo, tempo de realização de tarefas, fluidez da navegação, entre outros fatores, para cada técnica proposta e para a combinação delas. / [en] The improvement of virtual reality technologies has enabled increased access to these technologies and at lower prices, allowing more studies in this line. This work proposes and studies several navigation and selection techniques in virtual environments using Microsoft Kinect. This device was chosen because, besides having an accessible price, it allows the user to interact with the system without need of hand-held devices or having a device attached to the body. This way we intend to increase the degree of virtual presence and, possibly, create more familiar interactions, in other words, reduce the distance between the virtual world and the real world. Through these techniques we strive to allow the user to move and interact with objects in the virtual world in a way similar to how he would do so in the real physical world. For this work three navigation and three selection techniques were implemented. A series of tests were undertaken to evaluate aspects such as ease of use, mental effort, time spent to complete tasks, fluidity of navigation, amongst other factors for each proposed technique and the combination of them.

In der Neurochirurgie werden für die prä-, intra- und postoperative medizinische Bildgebung dreidimensionale Daten unterschiedlicher Modalitäten überlagert, segmentiert und visualisiert. Durch die Verknüpfung der multimodalen Daten erhofft man einen Informationsgewinn für Diagnose und Therapie. Dabei wird großer Wert auf die intuitive Handhabbarkeit und Verständlichkeit der Software gelegt. In einem neu entwickelten 3-D-Planungssystem wird insbesondere die Erfassung komplexer räumlicher Strukturen und die neurochirurgische Operationsplanung durch aktuelle 3-D-Interaktions- und Visualisierungstechnologien vereinfacht. Das Anwendungsspektrum des Systems wird durch die Entwicklung spezieller Algorithmen kontinuierlich erweitert, z. B. der automatischen Segmentierung und elastischen Registrierung von multimodalen Bilddaten, und kann somit an neue klinische Fragestellungen angepasst werden. / In neurosurgery, three-dimensional data from different modalities are registered, segmented and visualised for pre-, intraand post-operative medical imaging. A combination of the multimodal data sets provides additional information for the analyses of anatomic and functional correlations and for surgical planning. For routine use, it is important to design a software application that is simple and intuitive to use. A neurosurgical operation planning system is realised in combination with novel 3D-interaction and visualisation technologies. The development of additional functions, such as automatic segmentation and elastic registration, enhances the usability of the systems to approach further clinical objectives.

[pt] Aplicações de visualização de Engenharia Offshore são, na maioria dos casos, muito complexas e devem ser capazes de representar muitos dados vindos de simulações numéricas computacionalmente intensivas. Para ajudar a melhor analisar os resultados, visualização 3D pode ser usada em conjunto com ambientes de Realidade Virtual (RV). A ideia principal desse trabalho começou quando reconhecemos duas demandas que aplicações de engenharia tinham ao rodar em ambientes RV. Primeiramente há uma demanda para suporte à visualização na forma de melhorias na navegação e na capacidade de analisar os dados. Em segundo lugar, há também uma demanda por colaboração devido às dificuldades de coordenar uma equipe com um dos membros utilizando RV. Para atender estas demandas, nós desenvolvemos uma arquitetura orientada a serviços (SOA) capaz de adicionar colaboração a qualquer aplicação. A ideia por trás da nossa solução é permitir a visualização de dados em tempo real através de tablets e smartphones. Estes dispositivos móveis podem ser usados para ajudar a navegar o mundo virtual ou serem usados como uma segunda tela, ajudando a visualizar e a manipular grandes conjuntos de dados na forma de tabelas ou gráficos. Além disso, queremos adicionar as funcionalidades de colaboração a uma aplicação com o mínimo possível de alterações na aplicação original. Outra vantagem importante que dispositivos móveis adicionam a aplicações de engenharia é a capacidade de acessar os dados em locais remotos, como plataformas de petróleo e refinarias, e assim permitindo ao engenheiro de campo manipular os dados no local de trabalho. Como aplicação teste, utilizamos o ENVIRON, que é uma aplicação de RV para visualização de modelos e simulações de engenharia, desenvolvida em conjunto com a equipe do Instituto Tecgraf da PUC-Rio. Adicionamos esta solução ao ENVIRON e testamos com um experimento e durante o processo de análise de Engenharia Offshore usando ambientes RV (PowerWall e CAVE). / [en] Offshore Engineering visualization applications are, on most cases, very complex and should display a lot of data coming from very computational intensive numerical simulations. To help analyze and better visualize the results, 3D visualization can be used in conjunction with a Virtual Reality (VR) environment. The main idea for this work began as we realized two different demands that engineering applications had when running on VR setups: firstly, a demand for visualization support in the form of better navigation and better data analysis capabilities. Secondly, a demand for collaboration, due to the difficulties of coordinating a team with one member using VR. To meet this demands, we developed a Service Oriented Architecture (SOA) capable of adding collaboration capabilities to any application. The idea behind our solution is to enable real-time data visualization and manipulation on tablets and smartphones. Such devices can be used to help navigate the virtual world or be used as a second screen, helping visualize and manipulate large sets of data in the form of tables or graphs. Furthermore, we want to allow collaboration-unaware application to collaborate with as little reworking of the original application as possible. Another big advantage that mobile devices bring to the engineering applications is the capability of accessing the data on remote locations, like on oil platforms or refineries, and so allowing the field engineer to check the data or even change it on the fly. As our test application, we used ENVIRON, which is a VR application for visualization of 3D models and simulations developed in collaboration with a team from the Institute Tecgraf of PUC-Rio. We added this solution to ENVIRON and it was tested with an experiment and during a review process of Offshore Engineering using VR Setups (Power wall and CAVE).