A geração de ambientes virtuais de áreas urbanas ou cenas naturais coloca um grande número de problemas no âmbito da Computação Gráfica, dado que a quantidade de informação necessária para a criação de modelos realistas é dependente da dimensão e complexidade da área a modelar. A construção de um grande número de modelos de objetos naturais de forma detalhada é extremamente trabalhosa. Enquanto os modelos de estruturas artificiais, tais como máquinas ou edifícios podem ser obtidos a partir de fontes CAD, o mesmo não ocorre as plantas e outros fenômenos naturais. Embora muitos ambientes virtuais sejam criados por modelagem manual e individual de cada um dos seus componentes, os processos automáticos e semi-automáticos de reconstrução de ambientes naturais 3D provaram que podem ser muito mais eficientes, reduzindo a duração, o custo e a alocação de recursos humanos. A integração entre diferentes tecnologias e ferramentas que possibilitem a identificação de elementos em um cenário agrícola, modelagem de objetos 3D e a posterior apresentação e utilização do ambiente virtual em um sistema do tipo CAVE não é uma tarefa trivial. Dessa forma, o objetivo desta pesquisa é desenvolver uma metodologia de montagem automática de ambientes virtuais agrícolas baseada na extração de objetos de cenas naturais reais a partir de imagens de vídeo para utilização no sistema de multiprojeção imersivo do Laboratório Multiusuário de Visualização 3D Imersiva de São Carlos (LMVI). A partir de um modelo de dados 3D projetado em um sistema que oferece um alto grau de imersão e interação como o LMVI, pode-se fazer comparações com outros modelos de dados ou com o mesmo modelo em épocas diferentes. Através da comparação entre modelos é possível identificar alterações que ocorreram no ambiente ao longo do tempo (tanto naturais como causadas pelo homem) auxiliando na tomada de decisão em processos agrícolas. / The generation of virtual environments for urban or natural scenes poses a number of problems within the Computer Graphics, since the amount of information needed to create realistic models is dependent on the size and complexity of the area to be modeled.The construction of a large number of natural object models in detail is extremely laborious. While the models of artificial structures, such as machines or buildings can be obtained from CAD sources, the same is not true plants and other natural phenomena. Although many virtual environments are created by individual and manual modeling of each of their components, the processes of automatic and semi-automatic 3D reconstruction of natural environments have proved to be much more efficient, reducing duration, cost and allocation of human resources.The integration between different technologies and tools that enable the identication of elements in an agricultural setting, modeling of 3D objects and the subsequent presentation and use of virtual environment in a CAVE-like system is not a trivial task. Thus, the objective of this research is to develop a methodology for automatic mounting of agricultural virtual environments based on the extraction of objects of natural scenes from real video images for use in the immersive multiprojection system of the Multiuser Laboratory of 3D Immersive Visualization of Sao Carlos (MLIV). From a 3d data model projected in a system that offers a high degree of immersion and interaction as MLIV, one can make comparisons with other data models or with the same model at different periods. Through the comparison between models is possible to identify changes that occurred in the environment over time (both natural and manmade) assisting the decision making in agricultural processes.

Sistemas de multiprojeção podem oferecer alta resolução e grande quantidade de brilho por fundamentarem-se no uso de aglomerado de projetores e podem proporcionar uma qualidade visual superior aos sistemas de projeção tradicionais compostos por um projetor de alto desempenho. Considerando o custo elevado dos projetores de alto brilho e resolução, o uso de projetores convencionais em sistemas de multiprojeção pode representar uma redução sensível no custo de implantação sem comprometer a qualidade visual. Esta tese propõe a pesquisa e o desenvolvimento de um sistema de multiprojeção escalável com o objetivo de atingir resoluções nos limites do sistema de percepção visual humano. Este sistema é denominado como resolução retina. Para tanto, foi realizada a pesquisa e a proposta de um sistema de multiprojeção escalável inovador. A viabilidade deste sistema foi comprovada através do desenvolvimento do sistema de multiprojeção chamado Fast Fusion que dentre vários recursos permite a calibração automática dos projetores através de câmeras. Na implementação da biblioteca Fast Fusion, foram realizados aprimoramentos de algoritmos conhecidos na literatura tais como os algoritmos de calibração de projetores utilizando matrizes de homografia, além da proposta de uma arquitetura inédita para suportar grande quantidade de projetores, com centenas ou até mesmo milhares de projetores e computadores gráficos. O sistema de multiprojeção desenvolvido nesta tese foi utilizado na implementação de várias aplicações de realidade virtual nas áreas de aprendizagem, treinamento, simulação, entretenimento e turismo. Por fim, este trabalho apresenta uma análise de desempenho visual e computacional do sistema proposto. / Multi-projector systems offer both higher resolution and brightness by using a cluster of projectors, providing better visual quality when compared to traditional systems using a single high performance projector. When we consider the high cost associated with high-end projectors, the use of multiple low cost projectors can reduce considerably the cost of such installation. The goal of this thesis is to research such alternatives using clusters of projects to develop a scalable multi- projector system capable of achieving a high resolution display comparable to that of a human eye. We call such display the retina display. We proved the viability of such system through the development of a multi-projector system called Fast Fusion which automatically calibrates casually aligned projectors to properly blend different projections using cameras. Our Fast Fusion system improves known algorithms in the literature for projector calibration and blending using homographic matrices. Additionally, we propose a new architecture that supports a higher number of projectors than previous approaches - our solution supports hundreds or thousands of projectors to be used together, powered by a graphics cluster. The multi-projector system developed in this thesis has been validated on several virtual reality solutions by developing applications in diverse areas such as learning, training, simulation, entertainment and tourism. Finally, this thesis presents a thorough analysis of the visual and computational performance of our system.

A geração de ambientes virtuais de áreas urbanas ou cenas naturais coloca um grande número de problemas no âmbito da Computação Gráfica, dado que a quantidade de informação necessária para a criação de modelos realistas é dependente da dimensão e complexidade da área a modelar. A construção de um grande número de modelos de objetos naturais de forma detalhada é extremamente trabalhosa. Enquanto os modelos de estruturas artificiais, tais como máquinas ou edifícios podem ser obtidos a partir de fontes CAD, o mesmo não ocorre as plantas e outros fenômenos naturais. Embora muitos ambientes virtuais sejam criados por modelagem manual e individual de cada um dos seus componentes, os processos automáticos e semi-automáticos de reconstrução de ambientes naturais 3D provaram que podem ser muito mais eficientes, reduzindo a duração, o custo e a alocação de recursos humanos. A integração entre diferentes tecnologias e ferramentas que possibilitem a identificação de elementos em um cenário agrícola, modelagem de objetos 3D e a posterior apresentação e utilização do ambiente virtual em um sistema do tipo CAVE não é uma tarefa trivial. Dessa forma, o objetivo desta pesquisa é desenvolver uma metodologia de montagem automática de ambientes virtuais agrícolas baseada na extração de objetos de cenas naturais reais a partir de imagens de vídeo para utilização no sistema de multiprojeção imersivo do Laboratório Multiusuário de Visualização 3D Imersiva de São Carlos (LMVI). A partir de um modelo de dados 3D projetado em um sistema que oferece um alto grau de imersão e interação como o LMVI, pode-se fazer comparações com outros modelos de dados ou com o mesmo modelo em épocas diferentes. Através da comparação entre modelos é possível identificar alterações que ocorreram no ambiente ao longo do tempo (tanto naturais como causadas pelo homem) auxiliando na tomada de decisão em processos agrícolas. / The generation of virtual environments for urban or natural scenes poses a number of problems within the Computer Graphics, since the amount of information needed to create realistic models is dependent on the size and complexity of the area to be modeled.The construction of a large number of natural object models in detail is extremely laborious. While the models of artificial structures, such as machines or buildings can be obtained from CAD sources, the same is not true plants and other natural phenomena. Although many virtual environments are created by individual and manual modeling of each of their components, the processes of automatic and semi-automatic 3D reconstruction of natural environments have proved to be much more efficient, reducing duration, cost and allocation of human resources.The integration between different technologies and tools that enable the identication of elements in an agricultural setting, modeling of 3D objects and the subsequent presentation and use of virtual environment in a CAVE-like system is not a trivial task. Thus, the objective of this research is to develop a methodology for automatic mounting of agricultural virtual environments based on the extraction of objects of natural scenes from real video images for use in the immersive multiprojection system of the Multiuser Laboratory of 3D Immersive Visualization of Sao Carlos (MLIV). From a 3d data model projected in a system that offers a high degree of immersion and interaction as MLIV, one can make comparisons with other data models or with the same model at different periods. Through the comparison between models is possible to identify changes that occurred in the environment over time (both natural and manmade) assisting the decision making in agricultural processes.

Sistemas de multiprojeção podem oferecer alta resolução e grande quantidade de brilho por fundamentarem-se no uso de aglomerado de projetores e podem proporcionar uma qualidade visual superior aos sistemas de projeção tradicionais compostos por um projetor de alto desempenho. Considerando o custo elevado dos projetores de alto brilho e resolução, o uso de projetores convencionais em sistemas de multiprojeção pode representar uma redução sensível no custo de implantação sem comprometer a qualidade visual. Esta tese propõe a pesquisa e o desenvolvimento de um sistema de multiprojeção escalável com o objetivo de atingir resoluções nos limites do sistema de percepção visual humano. Este sistema é denominado como resolução retina. Para tanto, foi realizada a pesquisa e a proposta de um sistema de multiprojeção escalável inovador. A viabilidade deste sistema foi comprovada através do desenvolvimento do sistema de multiprojeção chamado Fast Fusion que dentre vários recursos permite a calibração automática dos projetores através de câmeras. Na implementação da biblioteca Fast Fusion, foram realizados aprimoramentos de algoritmos conhecidos na literatura tais como os algoritmos de calibração de projetores utilizando matrizes de homografia, além da proposta de uma arquitetura inédita para suportar grande quantidade de projetores, com centenas ou até mesmo milhares de projetores e computadores gráficos. O sistema de multiprojeção desenvolvido nesta tese foi utilizado na implementação de várias aplicações de realidade virtual nas áreas de aprendizagem, treinamento, simulação, entretenimento e turismo. Por fim, este trabalho apresenta uma análise de desempenho visual e computacional do sistema proposto. / Multi-projector systems offer both higher resolution and brightness by using a cluster of projectors, providing better visual quality when compared to traditional systems using a single high performance projector. When we consider the high cost associated with high-end projectors, the use of multiple low cost projectors can reduce considerably the cost of such installation. The goal of this thesis is to research such alternatives using clusters of projects to develop a scalable multi- projector system capable of achieving a high resolution display comparable to that of a human eye. We call such display the retina display. We proved the viability of such system through the development of a multi-projector system called Fast Fusion which automatically calibrates casually aligned projectors to properly blend different projections using cameras. Our Fast Fusion system improves known algorithms in the literature for projector calibration and blending using homographic matrices. Additionally, we propose a new architecture that supports a higher number of projectors than previous approaches - our solution supports hundreds or thousands of projectors to be used together, powered by a graphics cluster. The multi-projector system developed in this thesis has been validated on several virtual reality solutions by developing applications in diverse areas such as learning, training, simulation, entertainment and tourism. Finally, this thesis presents a thorough analysis of the visual and computational performance of our system.

Sistemas de telepresença têm sido pesquisados e desenvolvidos para inúmeras aplicações que exigem a presença física de pessoas em ambientes inacessíveis; tais situações são diversas, desde aquelas relacionadas com educação a distância até aquelas que envolvem alta periculosidade. Neste trabalho, a pesquisa e desenvolvimento se concentram na concepção e implementação de sistemas de telepresença voltados para ambientes imersivos em 360º, capazes de realizar a aquisição, transmissão e projeção de imagens em movimento em sistemas de multiprojeção imersivos, como é o caso da CAVERNA Digital®, desenvolvida pelo Laboratório de Sistemas Integráveis da Escola Politécnica da USP. Assim, o presente trabalho apresenta contribuições para o desenvolvimento de sistemas de telepresença, dentre os quais destacam-se: o detalhamento da arquitetura geral do sistema, a implementação de métodos para a calibração, correção das imagens e montagem de panoramas de 360º. Construiu-se um protótipo composto de: um Módulo de Aquisição, que adquire as imagens de oito câmeras (montadas num anel de câmeras sobre um robô), efetua as correções e monta uma imagem panorâmica; um Módulo de Composição que costura as várias imagens panorâmicas em um panorama final; e um Módulo de Exibição que ajusta e projeta o panorama nas telas da CAVERNA Digital®. Finalmente, apresentam-se considerações sobre o presente trabalho e perspectivas futuras. / Research and development in telepresence systems have been done in several applications that require physical presence of people into non-accessible environments. These situations may vary, from those related to distance education to those related to very hazardous places for humans. In this work, the main research and development goal is the conception and implementation of a telepresence system for 360 degrees immersive environments, this system is able to perform acquisition, transmission and projection of moving images on immersive multi-projection environments, such as the CAVERNA Digital®, developed by the Laboratório de Sistemas Integráveis at the Escola Politécnica, Universidade de São Paulo. The main contributions to the development of telepresence systems are: a detailed specification of the general architecture of the system, the implementation of the calibration, the imagery correction and the 360 degrees panoramas composition methods. The prototype that was implemented includes: an Acquisition Module, that acquires image of eight cameras (mounted on a ring of cameras placed on top of a robot), executes corrections and prepares a panoramic image; a Composition Module, that stitches the images in a final panorama; and an Exhibition Module, that adjusts and projects the panorama into the screens of the CAVERNA Digital®. Final, remarks on this present work and future perspectives are presented at the end.

Sistemas de telepresença têm sido pesquisados e desenvolvidos para inúmeras aplicações que exigem a presença física de pessoas em ambientes inacessíveis; tais situações são diversas, desde aquelas relacionadas com educação a distância até aquelas que envolvem alta periculosidade. Neste trabalho, a pesquisa e desenvolvimento se concentram na concepção e implementação de sistemas de telepresença voltados para ambientes imersivos em 360º, capazes de realizar a aquisição, transmissão e projeção de imagens em movimento em sistemas de multiprojeção imersivos, como é o caso da CAVERNA Digital®, desenvolvida pelo Laboratório de Sistemas Integráveis da Escola Politécnica da USP. Assim, o presente trabalho apresenta contribuições para o desenvolvimento de sistemas de telepresença, dentre os quais destacam-se: o detalhamento da arquitetura geral do sistema, a implementação de métodos para a calibração, correção das imagens e montagem de panoramas de 360º. Construiu-se um protótipo composto de: um Módulo de Aquisição, que adquire as imagens de oito câmeras (montadas num anel de câmeras sobre um robô), efetua as correções e monta uma imagem panorâmica; um Módulo de Composição que costura as várias imagens panorâmicas em um panorama final; e um Módulo de Exibição que ajusta e projeta o panorama nas telas da CAVERNA Digital®. Finalmente, apresentam-se considerações sobre o presente trabalho e perspectivas futuras. / Research and development in telepresence systems have been done in several applications that require physical presence of people into non-accessible environments. These situations may vary, from those related to distance education to those related to very hazardous places for humans. In this work, the main research and development goal is the conception and implementation of a telepresence system for 360 degrees immersive environments, this system is able to perform acquisition, transmission and projection of moving images on immersive multi-projection environments, such as the CAVERNA Digital®, developed by the Laboratório de Sistemas Integráveis at the Escola Politécnica, Universidade de São Paulo. The main contributions to the development of telepresence systems are: a detailed specification of the general architecture of the system, the implementation of the calibration, the imagery correction and the 360 degrees panoramas composition methods. The prototype that was implemented includes: an Acquisition Module, that acquires image of eight cameras (mounted on a ring of cameras placed on top of a robot), executes corrections and prepares a panoramic image; a Composition Module, that stitches the images in a final panorama; and an Exhibition Module, that adjusts and projects the panorama into the screens of the CAVERNA Digital®. Final, remarks on this present work and future perspectives are presented at the end.