[pt] Essa dissertação apresenta diversas técnicas e tecnologias úteis na criação de ambientes virtuais distribuídos com milhares de jogadores conectados. Explicações sobre o uso adequado de TCP e UDP são fornecidas. São mostradas algumas técnicas de aceleração no uso de sockets. São explicadas tecnologias que permitem tratar de muitos sockets ao mesmo tempo como a poll e a kqueue do Unix e o IO Completion Ports do Windows. Técnicas específicas de ambientes virtuais distribuídos são mostradas. Uma ferramenta que faz uso de várias das técnicas apresentadas é proposta. / [en] This dissertation presents several techniques and technologies that are helpfull in the creation of distributed virtual environments with thousands of connected players. Explanations about the proper use of TCP and UDP are given. Some optimization techniques in the use of sockets are also given. Technologies that allow many sockets to be handled at once are explained, such as poll and kqueue from Unix and IO Completion Ports from Windows. Specific techniques for distributed virtual environments are presented. A tool that uses many of these techniques is proposed.

[pt] O sucesso de diversas tarefas de teleoperacao depende muito da habilidade do operador e de sua capacidade de perceber o ambiente de trabalho. A realimentacao visual em muitos casos nao e suficiente, por exemplo quando a qualidade da imagem do ambiente de trabalho e baixa, quando ocorrem oclusoes na visualizacao, ou quando a tarefa envolve forcas de contato associadas a folgas pequenas visualmente imperceptıveis. Para compensar essas deficiencias, os dispositivos hapticos surgem como uma alternativa a realimentacao visual, ao interagir com o usuario atraves do tato, produzindo uma sensacao de forca. Esta dissertacao apresenta o desenvolvimento e modelagem de um sistema de interface haptica de cinco graus de liberdade para a teleoperacao de robos manipuladores, com foco naqueles que realizam trabalhos em ambientes perigosos ou hostis ao ser humano. A interface e desenvolvida a partir do acoplamento de dois dispositivos hapticos comerciais Novint Falcon, de tres graus de liberdade cada. O sistema resultante do acoplamento e modelado como um manipulador paralelo, capaz de fornecer ao operador, realimentacao de forca 3D (em tres direcoes) e realimentacao de torque em duas direcoes. Para demonstrar a eficiencia do sistema haptico desenvolvido, um ambiente virtual e implementado com o auxılio de tecnicas de computacao grafica e bibliotecas como OpenGL, ODE e Chai3D. Os modelos cinematico e dinamico de um manipulador serial Schilling Titan IV, de seis graus de liberdade, sao implementados no ambiente virtual, incluindo sua interacao com objetos (virtuais) do ambiente de teleoperacao. Controladores nao lineares sao implementados no manipulador serial virtual, incluindo controle de torque computado, robusto, e por modos deslizantes. / [en] The success of many teleoperation tasks depends heavily on the skills of the operator and his ability to perceive the work environment. Visual feedback, in many cases, is not sufficient e.g. when the image quality of the work environment is low, occlusions occur in the display, or when the task involves contact forces associated with visually unnoticeable small clearances. To compensate for these shortcomings, haptic devices emerge as an alternative to visual feedback, in which touch interaction with the user produces force-feedback. This thesis presents the development and modeling of a haptic interface system of five degrees of freedom for the teleoperation of robot manipulators, focusing on those that work in hazardous or hostile environments for humans. The interface is developed from the coupling of two commercial haptic devices Novint Falcon, with three degrees of freedom each. The system resulting from the coupled devices is modeled as a parallel manipulator capable of providing the operator with 3D force feedback (in three dimensions) and torque feedback in two directions. To demonstrate the effectiveness of the developed haptic system, a virtual environment is implemented with the aid of computer graphics techniques and libraries such as OpenGL, ODE and Chai3D. The kinematic and dynamic models of a serial manipulator Schilling Titan IV, with six degrees of freedom, are implemented in the virtual environment, including its interaction with virtual objects for the evaluation of typical teleoperation tasks. Nonlinear controllers are implemented in the virtual serial manipulator, including computed torque and sliding mode control.

[pt] A interação em ambientes virtuais de engenharia se caracteriza pelo alto grau de precisão necessário para a realização de tarefas típicas desse ipo de ambiente. Para isso, normalmente são utilizados dispositivos de interação específícos que possuem 4 graus de liberdade ou mais. As atuais aplicações envolvendo interação 3D utilizam dispositivos de interação para a modelagem de objetos ou para a implementação de técnicas de navegação, seleção e manipulação de objetos em um ambiente virtual. Um problema relacionado é a necessidade de controlar tarefas naturalmente não-imersivas, como a entrada de símbolos (e.g., texto, fotos).Outro problema é a grande curva de aprendizado necessária para manusear tais dispositivos não convencionais. A adição de sensores popularização os smartphones e tablets possibilitaram a utilização desses dispositivos em ambientes virtuais de engenharia. Esses dispostitivos se diferenciam, além da popularidade e presença de sensores, pela possibilidade de inclusão de informações adicionais e a realização de tarefas naturalmente não-imersivas. Neste trabalho é apresentada uma ferramenta de interação 3D para tablets, que permite agregar todas as principais técnicas de interação 3D como navegação, seleção, manipulação, controle de sistema e entrada simbólica. Para avaliar a ferramenta proposta foi utilizada aplicação SimUEOP-Ambsim, um simulador de treinamento em plataformas de óleo e guias que tem a complexidade necessária e permite o uso de todas as técnicas implementadas. / [en] Interaction in engineering virtual environments is characterized by the necessity of the high precision level needed for the execution of specic tasks for this kind of environment. Generally this kind of task uses specicinteraction devices with 4 or more degrees of freedom (DOF). Current applications involving 3D interaction use interaction devices for object modelling or for the implementation of navigation, selection and manipulation tecniques in a virtual environment. A related problem is the necessity of controlling tasks that are naturally non-immersive, such as symbolic input (e.g., text, photos). Another problem is the large learning curve to handle such non-conventional devices. The addition of sensors and the popularization of smartphones and tablets, allowed the use of such devices in virtual engineering environments. These devices, besides their popularity and sensors, dier by the possibility of including additional information and performing naturally non-immersive tasks. This work presents a 3D interaction tablet-based tool, which allows the aggregation of all major 3D interaction tasks, such as navigation, selection, manipulation, system control and symbolic input. To evaluate the proposed tool we used the SimUEP-Ambsim application, a training simulator for oil and gas platforms that has the complexity needed and allows the use of all techniques implemented.

[pt] Há muitas aplicações de realidade virtual que requerem navegação em ambientes 3D. Em geral, esta facilidade é oferecida permitindo que o usuário controle todos os seis graus de liberdade da câmera virtual. No entanto, dessa forma é difícil, mesmo para usuários experientes, chegar a áreas de interesse com movimentos suaves e livres de colisão. Torna-se necessário prover uma navegação assistida, onde o usuário guia a câmera mais facilmente, sem restringir sua exploração do ambiente. Além disso, é interessante prover uma navegação totalmente automática, onde o usuário seleciona um alvo e o sistema calcula um caminho suave e livre de colisões através do ambiente. Este trabalho propõe uma solução específica para navegação em modelos usados para simulação numérica de reservatórios naturais de petróleo, baseada em grafos de guia probabilísticos. Utilizados comumente em aplicações de robótica, grafos de guia probabilísticos visam capturar, através de uma amostragem aleatória, a conectividade das áreas livres da cena, sendo construídos em pré-processamento e consultados em tempo de execução. Este trabalho propõe um algoritmo de construção de grafo de guia específico para reservatórios e duas técnicas para utilizar o grafo obtido como base para prover navegação automática e navegação assistida. / [en] There are many virtual reality applications that require navigation on 3D environments. Usually, this feature is offered by allowing the user to control all the six degrees of freedom of the virtual camera. However, it is difficult in this way, even for experienced users, to reach areas of interest with smooth and collision-free paths. It becomes necessary to provide an assisted navigation, in which the user guides the camera more easily, without restricting the environment exploration. Moreover, it is interesting to provide a fully automatic navigation, in which the user selects a target and the system computes a smooth, collision-free path throughout the environment. This work proposes a specific solution for navigation on models used in numerical simulations of black oil reservoirs, based on probabilistic roadmaps. Commonly used in robotics applications, probabilistic roadmaps tend to capture, by random sampling, the conectivity of the free space of the scene, being constructed in a pre-processing stage and queried in execution time. This work proposes a roadmap construction algorithm specific to reservoirs and two techniques to use the obtained roadmap as the basis to provide assisted and automatic navigation.

[pt] O tema desta pesquisa é o estudo de usabilidade da interação tridimensional através de ambientes virtuais na internet. Seu objeto é a experiência vivenciada através do Second Life, um ambiente virtual colaborativo que permite explorar mundos digitais e interagir com outras pessoas em tempo real. Consideramos como hipótese que o Second Life apresenta problemas de usabilidade que prejudicam a interação e o uso por usuários novatos em ambientes virtuais tridimensionais. Desta forma, buscamos identificar tais problemas e formulamos recomendações para o design de interfaces envolvendo a interação 3D. Inicialmente construímos um referencial teórico combinando capítulos de tecnologia tridimensional, percepção visual e conceitos de usabilidade e interação humano-computador. Em seguida, aplicamos a técnica de teste de usabilidade seguida de um questionário pós-teste envolvendo os conceitos de presença e satisfação subjetiva dos usuários. Os resultados obtidos confirmaram a hipótese formulada, permitindo afirmar que a usabilidade do Second Life, apesar de apresentar alta satisfação subjetiva é prejudicada pela existência de problemas que impedem uma maior e melhor utilização por usuários novatos em ambientes virtuais tridimensionais. / [en] This research deals with the usability study of three- dimensional interaction through virtual environments on the internet. The object of this study is the interaction experienced using Second Life, a virtual collaborative environment on the internet that allows users to explore digital worlds and meet other people in real time. It was considered as hypothesis that Second Life has usability problems that compromises the interaction experience for computer users new to threedimensional virtual environments. Therefore this research aimed at discovering such problems and recommending solutions for better design of this type of interfaces. Initially we built a theoretical reference combining three-dimensional technologies, visual perception and important usability concepts. After that, we applied the usability test technique followed by a post-test questionnaire dealing with the factors of presence and subjective satisfaction. The results obtained confirmed the hypothesis by showing that the interaction experience in Second Life, besides a good subjective satisfaction, is compromised by usability problems that affect computer users new to virtual three- dimensional environments.

[pt] Rendering Baseado em Imagens (IBR - Image-Based Rendering) é um a tendência forte em visualização devido à alta qualidade da imagem. Um dos problemas mais complexos é a composição de objetos (3D ou não) na imagem do panorama. O uso de IBR em plataformas restritas, como os celulares, encontra inúmeras dificuldades e não conta com muitos trabalhos na literatura. Este trabalho analisa as possibilidades de implementação de IBR com objetos ativos em celulares. Um protótipo é proposto e resultados são comentados. / [en] Image Based Rendering (IBR) is a strong tendence in visualization due to the high quality of the images. One of the most complex problems is the 2D/3D object composition in a panorama. The use of IBR in limited platforms, like cell phones, faces a number of problems and the literature is scarse. This work analizes the possibility of implementing IBR with active objects in cell phones. A prototype is presented and results are analyzed.

[pt] Cursos online têm ampliado as possibilidades de pesquisa sobre comportamento e performance de estudantes. Esta tese investiga como apoiar instrutores na análise de logs de estudantes em Ambientes Virtuais de Aprendizagem. Primeiro, conduzimos entrevistas com instrutores e realizamos um mapeamento sistemático do estado da arte sobre Education Data Mining e Learning Analytics. Em seguida, analisamos logs de cursos online oferecidos no Brasil e comparamos nossas descobertas com resultados apresentados na literatura. Além disso, capturamos as preferências dos instrutores em relação a visualização de comportamento e performance de estudantes. Contudo, notamos uma lacuna de trabalhos mostrando modelos para o desenvolvimento de ferramentas de Learning Analytics. Com base nesses estudos, esta tese apresenta um modelo conectando teorias e modelos de visualização, assim como requisitos dos instrutores, suas preferências de visualização, diretrizes da literatura e métodos para análise de logs dos estudantes. Instanciamos e avaliamos esse modelo em uma ferramenta para montar dashboards, capturamos evidências de aceitação da nossa proposta e obtivemos feedbacks dos instrutores sobre a ferramenta tais como suas preferências de análise e visualizações. Por fim, apresentamos algumas considerações e discutimos lacunas existentes no trabalho que podem fundamentar e guiar futuras pesquisas, tais como desenvolvimento de novas instâncias e implantações do nosso modelo em instituições de ensino brasileiras e avaliação de eventuais mudanças na performance dos estudantes quando instrutores visualizam informações sobre o comportamento e performance deles, e agem de acordo. É importante ressaltar que a maioria dos estudos apresentados nessa tese foram conduzidos antes da pandemia de COVID-19. Somente o último estudo foi executado no início da pandemia no Brasil. / [en] Online education has broadened the avenues of research on student s behavior and performance. In this thesis, we shed light on how to support instructors in analyzing student logs from Virtual Learning Environments. Firstly, we conducted interviews with instructors and a systematic mapping of the state-of-art about Education Data Mining and Learning Analytics. Then, we analyzed logs from online courses offered in Brazil and compared our findings with results presented in the literature. Moreover, we gathered instructors preferences in regard to visualization of both students behavior and performance. However, we noted a lack of work showing models to support the development of learning analytics tools. In order to bridge this gap, this thesis presents a model connecting both Visual Analytics theories and models as well as instructors requirements, their visualization preferences, literature guidelines and methods for analyzing student logs. We instantiated and evaluated this model in a tool to assemble dashboards. We captured evidence of their acceptance of our proposal and obtained instructors feedback about the tool such as their both analysis and visualization preferences. Finally, we present some considerations and discuss gaps in existing works that can ground and guide future research, such as new instances of our model, as well as deploying them at Brazilian institutions and evaluating whether there are changes in students performance when instructors are able to see information about their behavior and performance, and act accordingly. It is worth highlighting that the majority of studies presented in this thesis were conducted before the COVID-19 pandemic. Only the last study was performed in the beginning of the pandemic in Brazil.

[pt] Durante muito tempo, a simulação computacional de fenômenos acústicos tem sido utilizada principalmente no projeto e estudo da acústica de ambientes. Recentemente, no entanto, podemos ver um maior interesse na utilização dessas simulações como forma de aumentar a sensação de imersão em ambientes virtuais. De forma geral, podemos dizer que um ambiente acústico virtual deve ser capaz de realizar duas tarefas: simular a propagação do som em um ambiente e ser capaz de reproduzi-lo com seu conteúdo espacial, isto é, reproduzi-lo de forma a permitir o reconhecimento da direção de propagação do som. Esta dissertação trata desses dois assuntos. São revistos os algoritmos mais comuns para o cálculo da propagação do som e, brevemente, as formas utilizadas para reproduzir áudio com conteúdo espacial. Também é apresentada a implementação de um ambiente acústico virtual, baseado nos algoritmos de beam tracing, que simula a propagação do som em ambientes bidimensionais. Como grande parte do cálculo de propagação é realizada em uma etapa de pré-processamento, o ambiente acústico virtual implementado trata apenas de fontes fixas no espaço. Os caminhos de propagação calculados são compostos de reflexões especulares e difrações do som. / [en] For a long time, computational simulation of acoustic phenomena has been used mainly in the design and study of the acoustic properties of concert and lecture halls. Recently, however, there is a growing interest in the use of such simulations in virtual environments in order to enhance users` immersion experience. Generally, we can say that a virtual acoustic environment must be able to accomplish two tasks: simulating the propagation of sound in an environment and reproducing audio with spatial content, that is, in a way that it allows the recognition of the direction of sound propagation. These tasks are the topic of the present dissertation. We begin with a revision of the most common algorithms for the simulation of sound propagation and, briefly, of the reproduction of audio with spatial content. We then present the implementation of a virtual acoustic environment, based on beam tracing algorithms, which simulates the propagation of sound waves in two-dimensional environments. As most of the computation is made in a pre-processing stage, the virtual acoustic environment implemented is appropriate only for spatially fixed sound sources. The propagation paths computed are made of specular reflections and of diffractions.

[pt] A tecnologia de jogos multi-jogador é uma especialização dentro da área de ambientes virtuais distribuídos. Com a crescente popularidade de jogos pela Internet, torna-se interessante analisar os seus principais problemas e encontrar soluções de arquiteturas destes ambientes, a fim de adaptá-las para as necessidades específicas destes jogos. Uma arquitetura híbrida usando as abordagens cliente- servidor e peer-to-peer é proposta e implementada neste trabalho, visando atender uma certa classe de jogos multi- jogador. Com o objetivo de permitir uma eficiente transmissão de objetos criados entre os jogadores durante uma sessão, é proposta uma alteração em sua forma de representação geométrica. É mostrado que técnicas de modelagem de mais alto nível como CSG ou Metaball podem ser usadas para permitir esta transmissão eficiente sob certas circunstâncias. É também proposta uma técnica eficiente de representação e transmissão de coordenadas do ambiente virtual usando campos de bits. / [en] Multiplayer game technology is a specialized field in networked virtual environments (Net-VE). With the increasing popularity of Internet games, the analysis of their main problems and the search for an architecture for these environments has become interesting in order to adapt them to the specific needs of these games. A hybrid architecture using both client-server and peer-to-peer approach is proposed and implemented in this work for a certain class of multiplayer games. In order to provide an efficient transmission of user created objects among players during a session, a change in its geometrical representation is proposed. It is showed that the use of higher level object representation such as CSG or Metaball modeling techniques can be used to provide this efficient transmission under certain circumstances. It is also proposed the use of bitfields as a efficient way to both represent and transmit coordinates of the virtual world.