Esta tese apresenta um novo método para interpolação de vistas em vídeos usando câmeras ao longo de um baseline baseado em uma triangulação 2D. A imagem de referência é primeiramente particionada em regiões triangulares usando informação de bordas e escala, visando colocar vértices ao longo das bordas da imagem e aumentar o número de triângulos em regiões texturadas. Um algoritmo de casamento de regiões é então usado para encontrar a disparidade inicial de cada triângulo, e uma etapa de refinamento é aplicada para mudar a disparidade nos vértices dos triângulos, gerando um mapa de disparidade linear em trechos. Uma simples etapa de pós-processamento é aplicada para conectar os triângulos com disparidade semelhante, gerando uma malha 3D relacionada a cada câmera, que são usadas para gerar novas vistas sintéticas ao longo do mesmo baseline das câmeras. Para gerar vistas com menos artefatos temporais (flickering), foi proposta uma abordagem para atualizar a malha 3D inicial dinamicamente, movendo, removendo e inserindo vértices a cada quadro baseado no fluxo óptico. Esta abordagem permite relacionar triângulos da malha ao longo do tempo, e uma combinação de Modelo Oculto de Markov, aplicado nos triângulos que persistem ao longo do tempo, com Filtro de Kalman, aplicado nos vértices, permite a geração de uma mapa de disparidade com coerência temporal. Com a abordagem proposta, o processo de gerar vistas interpoladas se reduz à trivial tarefa de renderizar uma malha poligonal, algo que pode ser feito muito rapidamente, principalmente quando placas gráficas são utilizadas. Além disso, as vistas geradas não possuem buracos, diferente de muitas técnicas de interpolação de vistas baseadas em pixels que requerem procedimentos de pós-processamento para preencher buracos. Os resultados experimentais indicam que a abordagem proposta foi capaz de gerar vistas interpoladas visualmente coerentes em vídeos desafiadores, com luz natural e movimento de câmera. Além disso, uma avaliação quantitativa usando métricas de qualidade de vídeos mostrou que as sequências de video interpoladas são melhores que abordagens competitivas. / This thesis presents a new method for video view interpolation using multiview linear camera arrays based on 2D domain triangulation. The domain of the reference image is initially partitioned into triangular regions using edge and scale information, aiming to place vertices along image edges and to increase the number of triangles in textured regions. A region-based matching algorithm is then used to find an initial disparity for each triangle, and a refinement stage is applied to change the disparity at the vertices of the triangles, generating a piecewise linear disparity map. A simple post-processing procedure is applied to connect the triangles with similar disparities, generating a full 3D mesh related to each camera (view), which are used to generate the new synthesized views along the cameras baseline. In order to generate views with less temporal flickering artifacts, we propose a scheme to update the initial 3D mesh dynamically, by moving, deleting and inserting vertices at each frame based on optical flow. This approach allows to relate triangles of the mesh across time, and a combination of Hidden Markov Models (HMMs), applied to time-persistent triangles, with the Kalman Filter, applied to vertices, so that temporal consistency can also be obtained. With the proposed framework, view interpolation reduces to the trivial task of rendering polygonal meshes, which can be done very fast, particularly when GPUs are employed. Furthermore, the generated views are hole-free, unlike most point-based view interpolation schemes that require some kind of post-processing procedures to fill holes. Experimental results indicate that our approach was able to generate visually coherent in-between interpolated views for challenging, real-world videos with natural lighting and camera movement.

In recent years, the market for automatized surveillance and use of unmanned ground vehicles (UGVs) has increased considerably. In order for unmanned vehicles to operate autonomously, high level algorithms of artificial intelligence need to be developed and accompanied by some way to make the robots perceive and interpret the environment. The purpose of this work is to investigate methods for real-time obstacle detection using stereo vision and implement these on an existing UGV platform. To reach real-time processing speeds, the algorithms presented in this work are designed for parallel processing architectures and implemented using programmable graphics hardware. The reader will be introduced to the basics of stereo vision and given an overview of the most common real-time stereo algorithms in literature along with possible applications. A novel wide-baseline real-time depth estimation algorithm is presented. The depth estimation is used together with a simple obstacle detection algorithm, producing an occupancy map of the environment allowing for evasion of obstacles and path planning. In addition, a complete system design for autonomous navigation in multi-UGV systems is proposed.

A number of three-dimensional virtual environments are available to develop vision-based robotic capabilities. These have the advantage of repeated trials at low cost compared to field testing. However, they still suffer from a lack of realism and credibility for validation and verification.This work consists of the creation and validation of state of the art virtual terrains for research in Martian rover vision-based navigation algorithms. This Master's thesis focuses on the creation of virtual environments, which are the exact imitations of the planetary terrain testbed at the European Space Agency's ESTEC site. Two different techniques are used to recreate the Martian-like site in a simulator. The first method uses a novel multi-view stereo reconstruction technique. The second method uses a high precision laser scanning system to accurately map the terrain.Comparison of real environment to the virtual environments is done at exact same locations by making use of captured stereo camera images. Ultimately, the differences will be characterized by the main known feature detectors (e.g. SURF, and SIFT).The present work led to the creation and validation of a database containing highly realistic virtual terrains which can be found on Mars for the purpose of vision-based control algorithms verification. / <p>Validerat; 20120821 (anonymous)</p>

Este trabalho apresentou uma análise comparativa de algumas técnicas de correlações locais baseadas em intensidade luminosa, as quais são: Soma das Diferenças Absolutas, Soma dos Quadrados das Diferenças, Correlação Cruzada Normalizada, Transformada Rank e Transformada Censo. Para as comparações foram adotadas imagens estéreos disponíveis em repositórios de universidades e suas variantes com a inclusão de ruído e variação de intensidade luminosa. Após a implementação dos algoritmos escolhidos e a comparação de seus resultados, foi obtido que a Transformada Censo é um dos métodos com os piores resultados apresentando grande quantidade de correlações erradas. Foram apresentadas modificações para melhorar a performance desse método e os resultados obtidos foram melhores. / This work presents a comparative analysis of some local area intensity based correlation algorithm, which are: Sum of Absolute Differences, Sum of Squared Differences, Normalized Cross-Correlation, Rank Transform and Census Transform. For the tests stereo data sets are adopted. These data sets are available at universities websites and their variants with the inclusion of noise and variation of luminosity are created. After implementing the chosen algorithms a comparison were performed and the Census Transform was one of the methods that got the worst results showing large quantity of false correlations. On this work was presented some modifications to improve the performance of the Census Transform and the results obtained were better than the original Census Transform.

Sistemas de teleconferência e telepresença são ferramentas de comunicação cada vez mais comuns. Partindo da existência de um canal de comunicação de alta capacidade, busca-se permitir visualização tridimensional realista, sensível ao ponto de vista do usuário e que mantenha a estrutura física da cena sem conhecimento prévio de sua estrutura, por meio de câmeras estéreo. A partir de pares de imagens temporalmente coerentes são sintetizadas visões intermediárias da cena alvo, de modo que um usuário rastreado tenha a ilusão de estar vendo a cena real através de uma janela. O sistema implementado baseia-se em dispositivos que provejam melhor qualidade visual no componente de geração de imagens intermediárias e procura maximizar a facilidade de uso na parte de visualização, empregando dispositivos domésticos e dispensando procedimentos complexos de calibração. / Teleconference and telepresence systems are increasingly common. Based on the existence of a high capacity communication channel, it is aimed to provide user\'s point of view sensible realistic 3D visualization without physical distortion or any prior knowledge about the structure of the scene, using stereo cameras. Pairs of temporally coherent images are used to generate intermediary view of the target scene so that a tracked user will have the illusion of posing in front so the real scene. The implemented system is based on high visual quality components on the side of views generation and tries to maximize ease of use in the visualization part by using commodity components and being free so complex calibration procedures.

De acordo com a Organização Mundial da Saúde,cerca de 1,2milhões de pessoas no mundo morrem em acidentes de trânsito. Sistemas de assistência ao motorista e veículos autônomos podem diminuir o número de acidentes. Dentre as várias demandas existentes para viabilizar essa tecnologia, sistemas computacionais de percepção ainda permanecem sem uma solução definitiva. Dois deles, detecção de obstáculos e de via navegável, normalmente fazem uso de algoritmos sofisticados como técnicas de aprendizado supervisionado, que mostram resultados impressionantes quando treinados com bases de dados bem definidas e diversificadas.Entretanto, construir, manter e atualizar uma base de dados com exemplos de vários lugares do mundo e em diversas situações é trabalhoso e complexo. Assim, métodos adaptativos e auto-supervisionados mostram-se como boas alternativas para sistemas de detecção do futuro próximo. Neste contexto, esta tese apresenta um método para estimar obstáculose via navegável através de sensores de baixo custo (câmeras estereoscópicas), sem o uso de técnicas de aprendizado de máquina e de diversas suposições normalmente utilizadas por trabalhos já disponíveis na literatura. Esses métodos utilizando sensor estereoscópico foram comparados fazendo uso de sensores do tipo 3D-LIDAR e mostraram resultados semelhantes. Este sistema poderá ser usado como uma fase pré-processamento de dados para melhorar ou viabilizar métodos adaptativos de aprendizado. / World wide, an estimated 1.2million lives are lostin road crashes each year and Advanced Driver Assistance Systems (ADAS) and Self-driving cars promise to reduce this number. Among the various issues to complete this technology, perception systems are still an unsolved issues. Normally two of them, obstacle detection and road detection, make use of sophisticated algorithms such as supervised machine learning methods which can perform with impressive results if it was trained with good data sets. Since it is a complex and an expensive job to create and maintain data bases of scenarios from the entire world, adaptive and/or self-supervised methods are good candidates for detection systems in the near future. Due that, this thesis present a method to estimate obsta- cles and estimate the road terrain using low cost sensors (stereo camera), avoiding supervised machine learning techniques and the most common assumptions used by works presented in literature. These methods were compared with 3D-LIDAR approaches achieving similar results and thus it can be used as a pre-processing step to improve or allow adaptive methods with machine learning systems.

Esta tese apresenta um novo método para interpolação de vistas em vídeos usando câmeras ao longo de um baseline baseado em uma triangulação 2D. A imagem de referência é primeiramente particionada em regiões triangulares usando informação de bordas e escala, visando colocar vértices ao longo das bordas da imagem e aumentar o número de triângulos em regiões texturadas. Um algoritmo de casamento de regiões é então usado para encontrar a disparidade inicial de cada triângulo, e uma etapa de refinamento é aplicada para mudar a disparidade nos vértices dos triângulos, gerando um mapa de disparidade linear em trechos. Uma simples etapa de pós-processamento é aplicada para conectar os triângulos com disparidade semelhante, gerando uma malha 3D relacionada a cada câmera, que são usadas para gerar novas vistas sintéticas ao longo do mesmo baseline das câmeras. Para gerar vistas com menos artefatos temporais (flickering), foi proposta uma abordagem para atualizar a malha 3D inicial dinamicamente, movendo, removendo e inserindo vértices a cada quadro baseado no fluxo óptico. Esta abordagem permite relacionar triângulos da malha ao longo do tempo, e uma combinação de Modelo Oculto de Markov, aplicado nos triângulos que persistem ao longo do tempo, com Filtro de Kalman, aplicado nos vértices, permite a geração de uma mapa de disparidade com coerência temporal. Com a abordagem proposta, o processo de gerar vistas interpoladas se reduz à trivial tarefa de renderizar uma malha poligonal, algo que pode ser feito muito rapidamente, principalmente quando placas gráficas são utilizadas. Além disso, as vistas geradas não possuem buracos, diferente de muitas técnicas de interpolação de vistas baseadas em pixels que requerem procedimentos de pós-processamento para preencher buracos. Os resultados experimentais indicam que a abordagem proposta foi capaz de gerar vistas interpoladas visualmente coerentes em vídeos desafiadores, com luz natural e movimento de câmera. Além disso, uma avaliação quantitativa usando métricas de qualidade de vídeos mostrou que as sequências de video interpoladas são melhores que abordagens competitivas. / This thesis presents a new method for video view interpolation using multiview linear camera arrays based on 2D domain triangulation. The domain of the reference image is initially partitioned into triangular regions using edge and scale information, aiming to place vertices along image edges and to increase the number of triangles in textured regions. A region-based matching algorithm is then used to find an initial disparity for each triangle, and a refinement stage is applied to change the disparity at the vertices of the triangles, generating a piecewise linear disparity map. A simple post-processing procedure is applied to connect the triangles with similar disparities, generating a full 3D mesh related to each camera (view), which are used to generate the new synthesized views along the cameras baseline. In order to generate views with less temporal flickering artifacts, we propose a scheme to update the initial 3D mesh dynamically, by moving, deleting and inserting vertices at each frame based on optical flow. This approach allows to relate triangles of the mesh across time, and a combination of Hidden Markov Models (HMMs), applied to time-persistent triangles, with the Kalman Filter, applied to vertices, so that temporal consistency can also be obtained. With the proposed framework, view interpolation reduces to the trivial task of rendering polygonal meshes, which can be done very fast, particularly when GPUs are employed. Furthermore, the generated views are hole-free, unlike most point-based view interpolation schemes that require some kind of post-processing procedures to fill holes. Experimental results indicate that our approach was able to generate visually coherent in-between interpolated views for challenging, real-world videos with natural lighting and camera movement.

Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2016-04-05T14:04:54Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Vinícius César.pdf: 8129153 bytes, checksum: ba5d2566020247282af7bc9c09e0ea51 (MD5) / Made available in DSpace on 2016-04-05T14:04:54Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Vinícius César.pdf: 8129153 bytes, checksum: ba5d2566020247282af7bc9c09e0ea51 (MD5) Previous issue date: 2015-08-07 / CNPq / A instalação de dutos flexíveis em ambiente submarino de alta profundidade é realizada recorrentemente pelas indústrias de óleo e gás. Estes dutos transportam fluidos como água, gases e óleo. Durante o minucioso processo de instalação dos dutos flexíveis, é necessário o monitoramento constante de sua geometria a fim de evitar a propagação de esforços e consequentemente danos aos equipamentos envolvidos. Para que este monitoramento seja eficiente, podem ser utilizadas técnicas de reconstrução 3D que usam como entrada as imagens capturadas por um par de câmeras estéreo instaladas nos robôs que acompanham a operação. Esta dissertação de mestrado propõe o desenvolvimento dos algoritmos de rastreamento e reconstrução para dutos flexíveis com o intuito de permitir o monitoramento em tempo real da operação. O algoritmo de rastreamento proposto tem a função de determinar um conjunto de pontos que representam a projeção do eixo medial do duto em cada imagem do par estéreo. Para alcançar esse objetivo, o algoritmo utiliza características da iluminação em ambientes submarinos e de marcações realizadas no duto. A etapa de reconstrução utiliza os pontos rastreados para estimar uma curva B-spline racional não-uniforme (NURBS) sobre um plano tridimensional. Essa aproximação simplifica o processo de reconstrução e permite obter resultados mais precisos. Experimentos realizados em ambiente aquático e aéreo, utilizando uma escala reduzida, permitiram uma análise da acurácia e robustez dos algoritmos propostos. O erro médio alcançado foi menor que meio centímetro em todos os casos analisados. Além disso, concluiu-se que a disposição dos pontos da curva e a posição do plano influenciam na estimativa da reconstrução. Testes com imagens reais da operação foram também realizados e permitiram validar as técnicas propostas neste ambiente. Os resultados obtidos foram robustos em casos de baixa iluminação, ruidosos e com elevada obliquidade. Os métodos propostos são eficientes computacionalmente e permitem a obtenção do resultado a uma taxa superior a 30 quadros por segundo. / Installing flexible pipes in deep underwater environments is a recurrent task in oil production industry. Such flexible pipes are responsible for transporting fluids such as water, gases and oil. The installation pipe connections is a meticulous process that requires continuous monitoring of the pipe’s geometry in order to prevent excessive tension along the line that may cause costly damages to the end equipment. This master thesis develops a 3D reconstruction method to ensure the success of this critical operation. The model makes use of images captured by a stereo rig mounted on the robots supporting the operation. At the heart of the model is a novel algorithm for tracking and reconstructing flexible pipes in order to allow real time pipe monitoring during the installation operation. Our approach tracks a set of points that represents the pipe’s projected medial axis in each image provided by the stereo rig. This is achieved using the scene’s specifications including the as deep-water environment illumination and marks pre-painted over the used pipes. The reconstruction stage uses the tracked points to estimate a plane non-uniform rational B-spline (NURBS) in 3D space. This approximation simplifies the reconstruction and i8s shown to improve accuracy. Underwater and aerial experiments were performed in a reduced scale scenario to evaluate the proposed method’s accuracy and robustness. In all test cases, the mean of reconstruction error was less than 1 centimeter. Furthermore, we conclude that the points’ distribution along the pipeline and the curve plane position impact the reconstruction’s accuracy. In addition, tests carried out using real operation videos were performed. They allowed us to validate our technical proposal in this harsh environment. The results obtained were robust in almost all the analyzed cases. The proposed methods are computationally efficient and allow obtaining results at a rate of 30 frames per second or higher.

Le travail présenté dans cette thèse s'inscrit dans un contexte de manipulation croissante d'images et de vidéo sur des systèmes embarqués parallèles. Les limitations et le manque de flexibilité dans la conception actuelle de ces systèmes font qu’il est de plus en plus compliqué de mettre en oeuvre les applications, en particulier lorsque le système est hétérogène. Or, non seulement Open Computing Language (OpenCL) est un nouveau cadre pour utiliser pleinement la capacité de calcul des processeurs généraux ou embarqués, mais, en outre, des outils de prototypage rapide sont disponibles pour la conception des systèmes, leur but étant de générer un prototype fiable ou de mettre en oeuvre de manière automatique les applications de traitement d’images et vidéo sur les systèmes embarqués. L'objectif général de cette thèse est d'évaluer et d'améliorer les processus de conception pour les systèmes embarqués, particulièrement ceux fondés sur des approches flot de données (haut niveau d’abstraction) et OpenCL (niveau intermédiaire d’abstraction). Cet objectif ambitieux fait l’objet de plusieurs projets dont le projet collaboratif COMPA, mettant en oeuvre les outils Orcc, Preesm et HMPP. Dans ce cadre, cette thèse vise à valider et évaluer ces outils sur des applications d'estimation de mouvement et d’appariement stéréo. Nous avons ainsi modélisé ces applications dans le langage hautniveau RVC-CAL. Puis, par le biais des trois outils Orcc, Preesm et HMPP, nous avons généré et vérifié du code C, OpenCL et CUDA, pour des plates-formes hétérogènes CPU multi-coeur et GPU. L’implémentation des algorithmes sur la puce embarquée MPPA multi-coeur (many-core) de la société KALRAY, a été étudiée. Pour atteindre l’objectif, nous avons proposé trois algorithmes. Le premier est un estimateur de mouvement parallélisé pour un système hétérogène constitué d’un CPU et d’un GPU : pour cette implantation, nous avons développé une méthode qui équilibre la répartition des charges entre CPU et GPU. Le second algorithme est une méthode d’appariement stéréo en temps réel : elle utilise une combinaison de fonctions de coût et une agrégation des coûts par pas d’itération carré ; nos résultats expérimentaux surpassent les autres méthodes en offrant un compromis intéressant entre la complexité de l’algorithme et sa précision. Le troisième algorithme est une méthode d’appariement stéréo basée sur le mouvement : elle utilise les vecteurs de mouvements issus du premier algorithme pour déterminer la région d’étude nécessaire pour le second algorithme ; nos résultats montrent que l’approche est particulièrement efficace lorsque les séquences de test sont riches en mouvement, même bruitées. / The work presented in this thesis takes place in a context of growing demand for image and video applications on parallel embedded systems. The limitations and lack of flexibility of current design with parallel embedded systems make increasingly complicated to implement applications, particularly on heterogeneous systems. But Open Computing Language (OpenCL) is a new framework for fully employ the capability of computation of general purpose processors or embedded processors. In the meantime, some rapid prototyping tools to design systems are proposed to generate a reliably prototype or automatically implement the image and video applications on embedded systems. The goal of this thesis was to evaluate and to improve design processes for embedded systems, especially based on the dataflow approach (high level of abstraction) and OpenCL approach (intermediate level of abstraction). This challenge is tackled by several projects including the collaborative project COMPA which studies a framework based on the Orcc, Preesm and HMPP tools. In this context, this thesis aims to validate and to evaluate the framework with motion estimation and stereo matching algorithms. For this aim, algorithms have been described using the high-level RVC-CAL language. With the help of Orcc, Preesm, and HMPP tools, we generated and verified C code or OpenCL code or CUDA code for heterogeneous platforms based on multi-core CPU and GPU. We also studied the implementations of these algorithms onto the last generation of many-core for embedded system called MPPA and developed by KALRAY. We proposed three algorithms. One is a parallelized motion estimation method for heterogeneous system based on one CPU and one GPU: we developed one basic method to balance the workload distribution on such heterogeneous system. The second algorithm is a real-time stereo matching method that adopts combined costs and costs aggregation with square size step to implement on laptop’s GPU platform: our experimental results outperform other baseline methods about tradeoff between matching accuracy and time-efficiency. The third algorithm is a joint motion-based video stereo matching method that uses the motion vectors calculated by the first algorithm to build the support region for the second algorithm: our experimental results outperform the stereo video matching methods in the test sequences with abundant movement even in large amounts of noise.

In this thesis, two real-time stereo methods have been implemented and evaluated. The first one is based on blockmatching and the second one is based on local phase. The goal was to be able to run the algorithms at real-time and examine which one is best. The blockmatching method performed better than the phase based method, both in speed and accuracy. SIMD operations (Single Instruction Multiple Data) have been used in the processor giving a speed boost by a factor of two. / I det här exjobbet har två stereometoder för realtidstillämpningar implementerats och utvärderats. Den ena bygger på blockmatchning och den andra på lokal fas. Målet var att kunna köra metoderna i realtid och undersöka vilken av dem som fungerar bäst. Blockmatchningsmetoden gav gott resultat medan den fasbaserade fungerade sämre, både vad gäller hastighet och precision. SIMD-operationer (Single Instruction Multiple Data) användes hos processorn vilket resulterade en i fördubbling av prestandan.