Submitted by Pedro Barros (pedro.silvabarros@ufpe.br) on 2018-11-22T19:23:51Z No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Lucas Fernando da Silva Cambuim.pdf: 5159390 bytes, checksum: a0021288251ff958b9e7db66f16cfbd2 (MD5) / Approved for entry into archive by Alice Araujo (alice.caraujo@ufpe.br) on 2018-11-22T19:43:17Z (GMT) No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Lucas Fernando da Silva Cambuim.pdf: 5159390 bytes, checksum: a0021288251ff958b9e7db66f16cfbd2 (MD5) / Made available in DSpace on 2018-11-22T19:43:17Z (GMT). No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Lucas Fernando da Silva Cambuim.pdf: 5159390 bytes, checksum: a0021288251ff958b9e7db66f16cfbd2 (MD5) Previous issue date: 2017-07-31 / Abordagens de correspondência estéreo que geram mapas de disparidade densos, precisos, robustos e em tempo real são bastante atraentes para muitas aplicações tais como reconstrução 3D e navegação autônoma. Entre as abordagens mais adotadas, a técnica de Correspondência Semi Global (SGM) permite obter mapas de disparidades de ótima qualidade devido a sua capacidade de otimização que propaga custos de similaridades menores a partir de vários caminhos unidimensionais independentes ao longo de toda a imagem. Além disso, esta técnica, combinada com métricas de similaridade local suporta de forma robusta aos vários desafios de correspondência estéreo tais como ruídos, baixa textura e oclusões. Contudo, o acesso irregular aos dados, a grande quantidade de operações computacionais e a necessidade de grandes espaços de armazenamento para resultados intermediários impõem desafios para implementação paralela da técnica SGM em plataformas FPGAs. Na busca por resolver tais desafios, este trabalho propõe uma arquitetura escalável em hardware baseado na combinação de várias técnicas tais como paralelismos em vários níveis tais como no nível de processamento de linhas de imagem, de disparidade, de caminhos de propagação e processamento em pipeline. Para a implementação da técnica SGM foi proposta a sua combinação com o filtro de gradiente Sobel como uma etapa de pré-processamento e diferenças absoluta (AD) como um método de similaridade local. Esta combinação mostrou robustez tanto para imagens de alta qualidade disponíveis no banco de imagens Middlebury (22.7% de pixels errados) como para imagens de baixa qualidade fornecidas a partir do sistema de câmeras construído no nosso grupo de pesquisa. Além disso, também foi desenvolvido a etapa de pós processamento em hardware, que permitiu detectar regiões ruidosas e regiões de oclusão. Todo este sistema de correspondência estéreo foi implementado, simulado e validado na plataforma FPGA Cyclone IV gerando mapas de imagens de disparidade em resolução HD (1024x768 pixels), com um intervalo de 128 níveis de disparidades e usando 4 direções de caminhos para o método SGM. Com essa configuração obteve-se uma frequência de operação de 100 MHz, fornecendo imagens em uma taxa de 127 frames por segundo (FPS), utilizando 70% de seu recurso em elementos lógicos para processamento (LUTs) e 63% de memória para armazenamento de dados intermediários. Além disso, esta abordagem de correspondência estéreo foi validada em um contexto real de um sistema estéreo completo. Para tal validação, foi utilizada a plataforma hardware/software DE2i-150 na qual foram implementadas as etapas de calibração e retificação em processador e a arquitetura proposta do SGM implementada em FPGA e ambos os processamentos se comunicando através do barramento PCI-Express usando o framework RIFFA 2.2. Este sistema de visão estéreo completo permitiu obter um ganho de desempenho de 21x em relação a abordagem SGM em processador oferecida pela biblioteca OpenCV e dissipando 2 Watts de potência. / Stereo matching approaches that generate dense, accurate, robust, and disparity maps in real time are quite appealing to many applications such as 3D reconstruction and autonomous navigation. Among the best approaches is the Semi Global Correspondence (SGM) technique. This technique, combined with local similarity metrics, robustly supports the various challenges present in the stereo camera system such as noise, low texture and occlusions. The great quality of the SGM technique is due to the fact that this algorithm performs an optimization throughout the image, propagating smaller costs from several independent one-dimensional paths through the image. However, irregular access to data, large amount of computational operations, and high bandwidth to store intermediate results poses challenges for parallel implementation of the SGM technique on FPGAs. In this way, in the seek for solving such challenges, this work proposes a scalable array architecture based on systolic array, fully pipeline. The architecture is based on a combination of multilevel parallelism such as image line processing (two-dimensional processing) and disparity. For the implementation of the SGM technique it was proposed to combine it with the gradient filter as a preprocessing step and absolute differences as a method of local similarity. This combination proved to be a robust approach for both high-quality images available in the Middlebury benchmark (22.7 % of wrong pixels) and for low-quality images provided from the camera system built by our research group. In addition, the hardware L/R check step was also developed, which allowed the detection of noisy and occluded regions. This whole stereo matching system was implemented, simulated and validated on the Cyclone IV FPGA platform, generating disparate image maps in HD resolution (1024x768 pixel), with a range of 128 disparity levels and using 4 path directions for the SGM method. With this configuration an operating frequency of 100 MHz was obtained, providing images at a rate of 127 frames per second, using 70% of its resource in logical elements for processing and 63% of memory for intermediate data storage. In addition, this stereo matching approach was validated in a real context of a complete stereo system in which a stereo camera system was built and the steps of calibration, rectification were implemented. For this validation, the DE2i-150 hardware/software platform was used with the calibration and rectification steps implemented in the processor and the proposed SGM architecture implemented in FPGA and both the platforms communicating itself through the PCI-Express bus using the RIFFA 2.2 framework. This complete stereo vision system has achieved a speedup of 21x over the SGM processor approach offered by the open source computer vision library (OpenCV) and with a power dissipation of 2 Watts.