Estágio realizado na NDrive Navigation Systems, S. A. / Tese de mestrado integrado. Engenharia Informátca e Computação. Faculdade de Engenharia. Universidade do Porto. 2008

Tese de mestrado. Engenharia Informática. Faculdade de Engenharia. Universidade do Porto. 2008

The three-dimensional mapping environments has been intensively studied in the last decade. Among the benefits of this research topic is possible to highlight the addition of autonomy for car or even drones. The three-dimensional representation also allows viewing of a given scenario iteratively and with greater detail. However, until the time of this work was not found one framework to present in detail the implementation of algorithms to perform 3D mapping outdoor approaching a real-time processing. In view of this, in this work we developed a framework with the main stages of three-dimensional reconstruction. Therefore, stereoscopy was chosen as a technique for acquiring the depth information of the scene. In addition, this study evaluated four algorithms depth map generation, where it was possible to achieve the rate of 9 frames per second. / O mapeamento tridimensional de ambientes tem sido intensivamente estudado na última década. Entre os benefícios deste tema de pesquisa é possível destacar adição de autonomia á automóveis ou mesmo drones. A representação tridimensional também permite a visualização de um dado cenário de modo iterativo e com maior riqueza de detalhes. No entanto, até o momento da elaboração deste trabalho não foi encontrado um framework que apresente em detalhes a implementação de algoritmos para realização do mapeamento 3D de ambientes externos que se aproximasse de um processamento em tempo real. Diante disto, neste trabalho foi desenvolvido um framework com as principais etapas de reconstrução tridimensional. Para tanto, a estereoscopia foi escolhida como técnica para a aquisição da informação de profundidade do cenário. Além disto, neste trabalho foram avaliados 4 algoritmos de geração do mapa de profundidade, onde foi possível atingir a taxa de 9 quadros por segundo.

Made available in DSpace on 2015-11-14T01:06:09Z (GMT). No. of bitstreams: 1 000476062-Texto+Completo-0.pdf: 11312926 bytes, checksum: 32b5c8685befd12b44da93360c230661 (MD5) Previous issue date: 2015 / The following study is about the estimation of three-dimensional position of multiple objects captured in images in a stereo vision setting. The mathematical formalism begins with the representation of motion in Euclidean space. After that, the projection of the images is performed in an ideal camera perspective using homogeneous coordinates. This results in the intrinsic and extrinsic parameters, which are part of the camera calibration. From that, stereo vision is used to obtain three-dimensional position of objects that are captured in the images from two cameras. Thus, depths of various objects are obtained to reconstruct their positions. The validation of the proposed algorithms are made through an experiment built for this purpose. This experiment uses two cameras with semi-parallel views to the center. In the center of the environment there is a gimbal platform, which performs a uniform motion. Above, there is a plan with three white dots, simulating the objects position. This motion captures two images, which are processed by the proposed algorithm. The validation consists in making a comparison between the orientation planes of the gimbal servomotors and reconstruction objects. / Este trabalho trata da estimação da posição tridimensional de múltiplos objetos a partir de imagens capturadas em um ambiente de visão estéreo. O formalismo matemático utilizado no projeto do sistema de visão estéreo inicia-se com a representação de cenário, levando todo o ambiente para um espaço euclidiano, também chamado de representação em três dimensões. Depois de representar o espaço euclidiano no sistema de visão estéreo, leva-se esse formalismo às projeções das imagens numa perspectiva da câmera ideal em coordenadas homogêneas, das quais se obtém a câmera com parâmetros intrínsecos e extrínsecos. A partir disso, utilizam-se os conceitos de visão estéreo e triangularização entre as câmeras para calcular a profundidade dos diversos objetos presentes no cenário. Assim, a reconstrução tridimensional da imagem é obtida. A validação dos algoritmos propostos é feita através de um experimento construído especialmente para o sistema de visão estéreo, em que foram colocadas duas câmeras com vistas semiparalelas em um ambiente, sendo também adicionada uma plataforma do tipo gimbal movimentando-se em três dimensões. Acima dessa, é colocado um plano com três pontos (marcadores), os quais simulam o movimento de três objetos. A partir daí, são capturadas duas imagens a serem processadas mediante os algoritmos propostos, resultando na reconstrução dos pontos no espaço tridimensional. O processo de validação se dá através da comparação entre as orientações dos planos fornecidos pelo algoritmo proposto e pelos comandos dos servomotores do gimbal.

Submitted by Fernando Souza (fernandoafsou@gmail.com) on 2017-08-16T12:39:19Z No. of bitstreams: 1 arquivototal.pdf: 6585826 bytes, checksum: 7c4b9710f530b142defafd4f6be7d1a8 (MD5) / Made available in DSpace on 2017-08-16T12:39:19Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 6585826 bytes, checksum: 7c4b9710f530b142defafd4f6be7d1a8 (MD5) Previous issue date: 2016-02-19 / Abstract This paper aims to present a novel approach in planar RGB-D SLAM, here called Object Subtraction SLAM (OS-SLAM), using only low-cost RGB-D sensors such as the Microsoft Kinect. Our approach subtracts objects from the 3D environment and creates a clean 3D map projecting estimated planes without identified objects encountered along the mapping procedure aiming to increase accuracy. To validate our approach we performed four experiments, three in a real environment and one with an open dataset comparing them with other state-of-the-art algorithms. The algorithms were applied to a TurtleBot 2 platform which has a RGB-D sensor as its main sensor. The results demonstrated the efficiency on generated a clean and accurate map using the OS-SLAM algorithm. / Resumo Este trabalho tem como objetivo apresentar uma nova abordagem em RGB-D Planar SLAM, aqui chamada SLAM Baseado em Subtração de Objetos (OS-SLAM), utilizando apenas sensores RGB-D de baixo custo, como o Microsoft Kinect. Essa abordagem subtrai objetos do ambiente 3D e cria um mapa 3D limpo, projetando planos estimados sem os objetos identificados e encontrados ao longo do procedimento de mapeamento. Para validar esta abordagem, foram realizados quatro experimentos. Três deles em um ambiente real e um com um conjunto de dados abertos comparando-os com outros algoritmos do estado-da-arte. Os algoritmos foram aplicados a uma plataforma turtlebot 2, que tem um sensor RGB-D como seu sensor principal. Os resultados demonstraram a eficiência na geração de mapas limpos e precisos utilizando o algoritmo OS-SLAM

Submitted by Setor de Tratamento da Informa??o - BC/PUCRS (tede2@pucrs.br) on 2015-11-13T18:30:01Z No. of bitstreams: 1 476062 - Texto Completo.pdf: 11312926 bytes, checksum: 32b5c8685befd12b44da93360c230661 (MD5) / Made available in DSpace on 2015-11-13T18:30:01Z (GMT). No. of bitstreams: 1 476062 - Texto Completo.pdf: 11312926 bytes, checksum: 32b5c8685befd12b44da93360c230661 (MD5) Previous issue date: 2015-08-18 / The following study is about the estimation of three-dimensional position of multiple objects captured in images in a stereo vision setting. The mathematical formalism begins with the representation of motion in Euclidean space. After that, the projection of the images is performed in an ideal camera perspective using homogeneous coordinates. This results in the intrinsic and extrinsic parameters, which are part of the camera calibration. From that, stereo vision is used to obtain three-dimensional position of objects that are captured in the images from two cameras. Thus, depths of various objects are obtained to reconstruct their positions. The validation of the proposed algorithms are made through an experiment built for this purpose. This experiment uses two cameras with semi-parallel views to the center. In the center of the environment there is a gimbal platform, which performs a uniform motion. Above, there is a plan with three white dots, simulating the objects position. This motion captures two images, which are processed by the proposed algorithm. The validation consists in making a comparison between the orientation planes of the gimbal servomotors and reconstruction objects. / Este trabalho trata da estima??o da posi??o tridimensional de m?ltiplos objetos a partir de imagens capturadas em um ambiente de vis?o est?reo. O formalismo matem?tico utilizado no projeto do sistema de vis?o est?reo inicia-se com a representa??o de cen?rio, levando todo o ambiente para um espa?o euclidiano, tamb?m chamado de representa??o em tr?s dimens?es. Depois de representar o espa?o euclidiano no sistema de vis?o est?reo, leva-se esse formalismo ?s proje??es das imagens numa perspectiva da c?mera ideal em coordenadas homog?neas, das quais se obt?m a c?mera com par?metros intr?nsecos e extr?nsecos. A partir disso, utilizam-se os conceitos de vis?o est?reo e triangulariza??o entre as c?meras para calcular a profundidade dos diversos objetos presentes no cen?rio. Assim, a reconstru??o tridimensional da imagem ? obtida. A valida??o dos algoritmos propostos ? feita atrav?s de um experimento constru?do especialmente para o sistema de vis?o est?reo, em que foram colocadas duas c?meras com vistas semiparalelas em um ambiente, sendo tamb?m adicionada uma plataforma do tipo gimbal movimentando-se em tr?s dimens?es. Acima dessa, ? colocado um plano com tr?s pontos (marcadores), os quais simulam o movimento de tr?s objetos. A partir da?, s?o capturadas duas imagens a serem processadas mediante os algoritmos propostos, resultando na reconstru??o dos pontos no espa?o tridimensional. O processo de valida??o se d? atrav?s da compara??o entre as orienta??es dos planos fornecidos pelo algoritmo proposto e pelos comandos dos servomotores do gimbal.

Orientador: Antonio Maria Garcia Tommaselli / Resumo: A combinação de duas lentes com FOV hiper-hemisférico em posição opostas pode gerar um sistema omnidirecional (FOV 360°) leve, compacto e de baixo custo, como Ricoh Theta S e GoPro Fusion. Entretanto, apenas algumas técnicas e modelos matemáticos para a calibração um sistema com duas lentes hiper-hemisféricas são apresentadas na literatura. Nesta pesquisa, é avaliado e definido um modelo geométrico para calibração de sistemas omnidirecionais compostos por duas lentes hiper-hemisféricas e apresenta-se algumas aplicações com esse tipo de sistema. A calibração das câmaras foi realizada no programa CMC (calibração de múltiplas câmeras) utilizando imagens obtidas a partir de vídeos feitos com a câmara Ricoh Theta S no campo de calibração 360°. A câmara Ricoh Theta S é composto por duas lentes hiper-hemisféricas fisheye que cobrem 190° cada uma. Com o objetivo de avaliar as melhorias na utilização de pontos em comum entre as imagens, dois conjuntos de dados de pontos foram considerados: (1) apenas pontos no campo hemisférico, e (2) pontos em todo o campo de imagem (isto é, adicionar pontos no campo de imagem hiper-hemisférica). Primeiramente, os modelos ângulo equisólido, equidistante, estereográfico e ortogonal combinados com o modelo de distorção Conrady-Brown foram testados para a calibração de um sensor da câmara Ricoh Theta S. Os modelos de ângulo-equisólido e estereográfico apresentaram resultados melhores do que os outros modelos. Portanto, esses dois modelos de projeção for... (Resumo completo, clicar acesso eletrônico abaixo) / Abstract: The arrangement of two hyper-hemispherical fisheye lenses in opposite position can design a light weight, small and low-cost omnidirectional system (360° FOV), e.g. Ricoh Theta S and GoPro Fusion. However, only a few techniques are presented in the literature to calibrate a dual-fisheye system. In this research, a geometric model for dual-fisheye system calibration was evaluated, and some applications with this type of system are presented. The calibrating bundle adjustment was performed in CMC (calibration of multiple cameras) software by using the Ricoh Theta video frames of the 360° calibration field. The Ricoh Theta S system is composed of two hyper-hemispherical fisheye lenses with 190° FOV each one. In order to evaluate the improvement in applying points in the hyper-hemispherical image field, two data set of points were considered: (1) observations that are only in the hemispherical field, and (2) points in all image field, i.e. adding points in the hyper-hemispherical image field. First, one sensor of the Ricoh Theta S system was calibrated in a bundle adjustment based on the equidistant, equisolid-angle, stereographic and orthogonal models combined with Conrady-Brown distortion model. Results showed that the equisolid-angle and stereographic models can provide better solutions than those of the others projection models. Therefore, these two projection models were implemented in a simultaneous camera calibration, in which the both Ricoh Theta sensors were considered i... (Complete abstract click electronic access below) / Mestre