A presente tese apresenta a concepção de uma rede neural oscilatória e sua realização em arquitetura maciçamente paralela, a qual é adequada à implementação de chips de visão digitais para segmentação de imagens. A rede proposta, em sua versão final, foi denominada ONNIS-GI (Oscillatory Neural Network for Image Segmentation with Global Inhibition) e foi inspirada em uma rede denominada LEGION (Locally Excitatory Globally Inhibitory Oscillator Network), também de concepção recente. Inicialmente, é apresentada uma introdução aos procedimentos de segmentação de imagens, cujo objetivo é o de situar e enfatizar a importância do tema abordado dentro de um contexto abrangente, o qual inclui aplicações de visão artificial em geral. Outro aspecto abordado diz respeito à utilização de redes neurais artificiais em segmentação de imagens, enfatizando as denominadas redes neurais oscilatórias, as quais têm apresentado resultados estimulantes nesta área. A implementação de chips de visão, integrando sensores de imagens e redes maciçamente paralelas de processadores, é também abordada no texto, ressaltando o objetivo prático da nova rede neural proposta. No estudo da rede LEGION, são apresentados resultados de aplicações originais desenvolvidas em segmentação de imagens, nos quais é verificada sua propriedade de separação temporal dos segmentos. A versão contínua da rede, um arranjo paralelo de neurônios baseados em equações diferenciais, apresenta elevada complexidade computacional para implementação em hardware digital e muitos parâmetros, com procedimento de ajuste pouco prático. Por outro lado, sua arquitetura maciçamente paralela apresenta-se particularmente adequada à implementação de chips de visão analógicos com capacidade de segmentação de imagens. Com base nos bons resultados obtidos nas aplicações desenvolvidas, é proposta uma nova rede neural, em duas versões, ONNIS e ONNIS-GI, as quais suplantam a rede LEGION em diversos aspectos relativos à implementação prática. A estrutura dos elementos de processamento das duas versões da rede, sua implementação em arquitetura maciçamente paralela e resultados de simulações e implementações em FPGA são apresentados, demonstrando a viabilidade da proposta. Como resultado final, conclui-se que a rede ONNIS-GI apresenta maior apelo de ordem prática, sendo uma abordagem inovadora e promissora na solução de problemas de segmentação de imagens, possuindo capacidade para separar temporalmente os segmentos encontrados e facilitando a posterior identificação dos mesmos. Sob o ponto de vista prático, a nova rede pode ser utilizada para implementar chips de visão digitais com arquitetura maciçamente paralela, explorando a velocidade de tais topologias e apresentando também flexibilidade para implementação de procedimentos de segmentação de imagens mais sofisticados.

Extrair informação de profundidade a partir de imagens bidimensionais é um importante problema na área de visão computacional. Diversas aplicações se beneficiam desta classe de algoritmos tais como: robótica, a indústria de entretenimento, aplicações médicas para diagnóstico e confecção de próteses e até mesmo exploração interplanetária. Esta aplicação pode ser dividida em duas etapas interdependentes: a estimação da posição e orientação da câmera no momento em que a imagem foi gerada, e a estimativa da estrutura tridimensional da cena. Este trabalho foca em técnicas de visão computacional usadas para estimar a trajetória de um veículo equipado com uma câmera, problema conhecido como odometria visual. Para obter medidas objetivas de eficiência e precisão, e poder comparar os resultados obtidos com o estado da arte, uma base de dados de alta precisão, bastante utilizada pela comunidade científica foi utilizada. No curso deste trabalho novas técnicas para rastreamento de detalhes, estimativa de posição de câmera, cálculo de posição 3D de pontos e recuperação de escala são propostos. Os resultados alcançados superam os mais bem ranqueados trabalhos na base de dados escolhida até o momento da publicação desta tese. / Recovering three-dimensional information from bi-dimensional images is an important problem in computer vision that finds several applications in our society. Robotics, entertainment industry, medical diagnose and prosthesis, and even interplanetary exploration benefit from vision based 3D estimation. The problem can be divided in two interdependent operations: estimating the camera position and orientation when each image was produced, and estimating the 3D scene structure. This work focuses on computer vision techniques, used to estimate the trajectory of a vehicle equipped camera, a problem known as visual odometry. In order to provide an objective measure of estimation efficiency and to compare the achieved results to the state-of-the-art works in visual odometry a high precision popular dataset was selected and used. In the course of this work new techniques for image feature tracking, camera pose estimation, point 3D position calculation and scale recovery are proposed. The achieved results outperform the best ranked results in the popular chosen dataset.

O avanço tecnológico atual está permitindo que as pessoas recebam cada vez mais informações visuais dos mais diferentes tipos, nas mais variadas mídias. Esse aumento fantástico está obrigando os pesquisadores e as indústrias a imaginar soluções para o armazenamento e recuperação deste tipo de informação, pois nossos computadores ainda utilizam, apesar dos grandes avanços nessa área, um sistema de arquivos imaginado há décadas, quando era natural trabalhar com informações meramente textuais. Agora, nos deparamos com novos problemas: Como encontrar uma paisagem específica em um banco de imagens, em que trecho de um filme aparece um cavalo sobre uma colina, em que parte da fotografia existe um gato, como fazer um robô localizar um objeto em uma cena, entre outras necessidades. O objetivo desse trabalho é propor uma arquitetura de rede neural artificial que permita o reconhecimento de objetos genéricos e de categorias em banco de imagens digitais, de forma que se possa recuperar imagens específicas a partir da descrição da cena fornecida pelo usuário. Para que esse objetivo fosse alcançado, foram utilizadas técnicas de Visão Computacional e Processamento de Imagens na etapa de extração de feições de baixo nível e de Redes Neurais(Mapas Auto-Organizáveis de Kohonen) na etapa de agrupamento de classes de objetos. O resultado final desse trabalho pretende ser um embrião para um sistema de reconhecimento de objetos mais genérico, que possa ser estendido para a criação de indices de forma automática ou semi-automática em grandes bancos de imagens. / The current technological progress allows people to receive more and more visual information of the most different types, in different medias. This huge augmentation of image availability forces researchers and industries to propose efficient solutions for image storage and recovery. Despite the extraordinary advances in computational power, the data files system remain the same for decades, when it was natural to deal only with textual information. Nowadays, new problems are in front of us in this field. For instance, how can we find an specific landscape in a image database, in which place of a movie there is a horse on a hill, in which part of a photographic picture there is a cat, how can a robot find an object in a scene, among other queries. The objective of this work is to propose an Artificial Neural Network (ANN) architecture that performs the recognition of generic objects and object’s categories in a digital image database. With this implementation, it becomes possible to do image retrieval through the user´s scene description. To achieve our goal, we have used Computer Vision and Image Processing techniques in low level features extraction and Neural Networks (namely Kohonen’s Self-Organizing Maps) in the phase of object classes clustering. The main result of this work aims to be a seed for a more generic object recognition system, which can be extended to the automatic or semi-automatic index creation in huge image databases.

[pt] Diversas tarefas de Visão Computacional (VC) são formadas por operações aritméticas, replicadas sobre grandes volumes de dados. Esta caracterização descreve também as qualidades desejadas ao considerar uma aplicação qualquer como boa candidata a usufruir do crescente poder de processamento do hardware gráfico. Esta tese formula um conjunto de algoritmos de VC sobre representações do conteúdo visual em baixo nível, para serem processados em GPU. Dando suporte às propostas, são apresentadas uma visão geral das GPUs e de padrões de programação paralelos, os quais oferecem blocos construtores para tarefas de visão. Neste sentido, propomos uma definição formal para o padrão de Redução Múltipla e analisamos seu desempenho segundo diferentes fatores de redução e variações para seus arranjos. Apresentamos duas propostas para extração de informações no espaço da imagem em GPU: a MOCT descreve a localização de objetos identificáveis por suas cores em vídeos naturais, enquanto o operador de Redução Regional Múltipla Paralela (MRR) distribui a computação de operadores definidos sobre diferentes regiões de interesse. Como aplicação do MRR, descrevemos a construção em GPU de um Diagrama Centroidal de Voronoi baseado no algoritmo de Lloyd. Tratamos do conteúdo visual em aglomerados de pixels, mais especificamente, em Quadtrees de regiões. Introduzimos a QuadN4tree, um modelo para representação de quadtrees que permite a navegação através do sistema de vizinhança das folhas e alcança custos ótimos no levantamento do conjunto de vizinhas de uma folha. Em seguida, propomos uma aceleração para aplicações baseadas em minimização de energia via corte de grafo, introduzindo uma etapa de pré-processamento que agrupa pixels similares em folhas de uma quadtree, com o objetivo de reduzir o tamanho do grafo sobre o qual o corte mínimo é encontrado. O método proposto é aplicado ao problema de segmentação de imagens naturais com iluminação ativa. Algumas contribuições desta tese, descrevendo formulações paralelas a dados, foram publicadas nos artigos incluídos nos apêndices. / [en] Arithmetically intensive operations, replicated over huge data sets (usually image pixels or scanned data), are an important part of many Computer Vision (CV) tasks, making them good candidates for taking advantage of the processing power of contemporary graphics processing units (GPUs). This thesis formulates a set of CV algorithms that use low level representations of visual content and are tailored for running on GPUs. A general view of GPUs and parallel programming patterns that offers interesting building blocks for CV tasks provides the necessary background for the algorithms. We also propose a formal definition for the Multiple Reduction pattern and evaluate its efficiency according to different reduction factors and layouts. We present two techniques for extracting data from the image space using the GPU: MOCT, a technique for tracking a set of objects identified by their colors from natural videos, and MRR, a technique for distributing the evaluation of a set of operators defined over different regions of interest within an image. As a MRR application we describe a Centroidal Voronoi Diagram construction based on Lloyds algorithm but entirely computed using GPU resources. We also deal with visual content representations as pixel agglomerations, more specifically, as Regional Quadtrees. We introduce the QuadN4tree: a new model for representing quadtree leaves that allows navigation through their neighborhood systems and achieves an optimal cost for the retrieval of neighbor sets. We also propose modifying the setup for CV applications based on energy minimization via graph cuts, introducing a preprocessing step that groups similar pixels into regional quadtree leaves. This modification aims to reduce the size of the graph for which a minimum cut is to be found. We apply our proposed method to the problem of natural image segmentation by active illumination. Published papers detailing some contributions of this dissertation are included as appendixes. They present data-parallel formulations for the CV tasks we describe.

[pt] A reconstrução de câmera é um dos problemas fundamentais da visão computacional. Sistemas de software desta área utilizam modelos matemáticos de câmera, ou câmeras virtuais, para, por exemplo, interpretar e reconstruir a estrutura tridimensional de uma cena real a partir de fotos e vídeos digitais ou para produzir imagens sintéticas com aparência realista. As técnicas de reconstruçã de câmera da visão computacional são aplicadas em conjunto com técnicas de realidade virtual para dar origem a novas aplicações chamadas de aplicações de realidade aumentada, que utilizam câmeras virtuais para combinar imagens reais e sintéticas em uma mesma foto digital. Dentre os diversos usos destes tipos de aplicação, este trabalho tem particular interesse naqueles que tratam de visitas aumentadas a edificações. Nestes casos, fotos de edificações — tipicamente de construções antigas ou ruínas — são reconstruídas a partir de modelos virtuais que são inseridos em meio a tais fotos digitais com a finalidade de habilitar a visão de como essas edificações eram em suas estruturas originais. Nesse contexto, este trabalho propõe um método semi-automático e eficiente para realizar tal reconstrução e registrar câmeras virtuais a partir de fotos reais e modelos computacionais de edificações, permitindo compará-los através de superposição direta e disponibilizando uma nova maneira de navegar de forma tridimensional por entre diversas fotos registradas. Tal método requer a participação do usuário, mas é projetado para ser simples e produtivo. / [en] Camera reconstruction is one of the major problems in computer vision. Software systems in that field uses mathematical camera models, or virtual cameras, for example, to interpret and reconstruct the tridimensional structure of a real scene from a set of digital pictures or videos or to produce synthetic images with realistic looking. Computer vision technics are applied together with virtual reality technics in order to originate new types of applications called augmented reality applications, which use virtual cameras to combine both real and synthetic images within a single digital image. Among the many uses of these types of applications, this work has particular interest in those concerning augmented visits to buildings. In these cases, pictures of buildings — typically old structures os ruins — are reconstructed from virtual models that are inserted into such pictures allowing one to have the vision of how those buildings were on they original appearance. Within this context, this work proposes a semi-automatic and efficient method to perform such reconstructions and to register virtual cameras from real pictures and models of buildings, allowing comparing them through direct superposing and making possible to navigate in a tridimensional fashion between the many registered pictures. Such method requires user interaction, but it is designed to be simple and productive.

[pt] Visão Computacional pode ser utilizada para calibrar e auto-localizar robôs. Existem diversas aplicações de auto-localização e controle aplicadas a manipuladores industriais e robôs móveis. Em particular, o controle visual pode ser útil em intervenções submarinas, nas quais um manipulador robótico é acoplado a um ROV (Veículo de Operação Remota) para execução de tarefas em grandes profundidades, como o manuseio de válvulas de equipamentos como manifolds. Este trabalho tem como objetivo desenvolver e implementar técnicas de controle visual para auto-localização e posicionamento de manipuladores robóticos. Assume-se que o manipulador possui uma câmera presa em sua extremidade (configuração eye-in-hand). Duas técnicas de controle visual são estudadas: look-and-move e servo-visual, que diferem entre si pela realimentação do controle. A primeira utiliza sensores de posição, a partir de uma única imagem capturada no início da movimentação. A segunda utiliza diversas imagens capturadas durante o processo. A principal contribuição deste trabalho está no uso da transformada SIFT, robusta a rotações, translações, mudança de escala e iluminação, para obter e correlacionar pontos-chave entre as imagens de referência e capturadas em tempo real. A metodologia é validada experimentalmente através de um manipulador robótico baseado na estrutura mecânica de uma mesa x-y-0. Um sistema eletrônico é utilizado como interface entre o robô e o software de controle, onde estão implementadas todas as técnicas propostas. Testes iniciais são realizados com imagens de objetos circulares, sem o uso de transformações como o SIFT. Em seguida, são feitos testes com a imagem de um painel real de um manifold, utilizando transformadas SIFT para determinar a localização do manipulador em relação ao painel e controlá-lo até uma pose desejada. Os resultados mostram que o desempenho do controle servo-visual depende muito do tempo de processamento de cada imagem, ao contrário do look-and-move. No entanto, o controle servo-visual apresenta erros finais de posicionamento muito menores. O método SIFT é apropriado para uso em ambos os controles, desde que a resolução das imagens seja alta o suficiente para evitar correlações falsas. / [en] Computer vision can be used to calibrate and self-localize robots. There are many applications in self-localization and control applied to industrial manipulators and mobile robots. In particular, visual control can be useful in submarine interventions, where a robotic manipulator is mounted on a Remote Operated Vehicle (ROV) to execute tasks at high depths, such as handling manifold valves. This work has the objective to develop and implement visual control techniques to self-localize and position robotic manipulators. It is assumed that a monocular camera is attached to the robot end-effector (eye-in-hand configuration). Two visual control techniques are studied: look-and-move and visual servo control. Their main difference is related to the adopted feedback sensors. The first technique uses position sensors with the aid of a single image captured at the beginning of the robot movement. The second technique relies on several images captured in real time during the robot movement. The main contribution of this work is the use of the SIFT transform, robust to rotation, translation, changes in scale and illumination, to obtain and correlate key-points between reference images and images captured in real time. The methodology is experimentally validated using a manipulator based on the mechanical structure of an x-y-0 coordinate table. An electronic system was developed to control the robot through a software in a computer, where were implemented all the techniques proposed. Preliminary tests are performed on simple circular-shaped objects, without the need for SIFT transforms. Next, tests are performed with a photo of an actual manifold panel typically used in submarine interventions, using SIFT transform to find the localization of the manipulator with respect to the panel. The results show that the performance of the visual servo control depends on the image processing time, unlike the look-and-move. However, the visual-servo control presents smaller positioning errors. The SIFT method is appropriate for both controls, since image resolution be high enough to avoid false matching.

Em geral, um problema importante em um sistema de soldagem robotizado, ou com manipuladores automáticos, é a necessidade de uma trajetória ser reprogramada quando a forma ou a posição das peças mudam. Como solução a esse problema é proposto um método que utiliza técnicas de visão computacional, para assim detectar a trajetória de soldagem em juntas de topo. O método deve ser dinâmico permitindo a identificação de juntas de topo com cantos não próximos, linhas não retas e tamanhos diferentes entre as peças, assim como apresentar robustez contra variáveis desfavoráveis do ambiente industrial como riscos nas peças ou no fundo e mudanças de luminosidade. A trajetória é detectada baseando-se na linha de bordas da imagem global e adicionalmente trabalha-se sobre duas características da linha de solda: distância quase constante entre linhas paralelas e pixels de linha de solda com menor intensidade de luminosidade que as bordas. Uma etapa é proposta para robustez do método sobre linha de bordas descontinuas e possíveis erros em ponto inicial e final de solda. O trabalho proposto é validado com distintas configurações de junta de topo, como com cantos de peças não coincidentes, linha de solda não reta e diferentes orientações de peças. Os pontos da trajetória de solda obtidos são comparados com uma linha de solda considerada ideal, resultando em uma média e desvio padrão geral inferiores à um valor de 0,5 mm. Uma validação experimental é realizada com uma solda executada por um robô industrial seguindo os pontos de solda detectados, com os resultados demostrando que o método efetivamente pode definir uma trajetória de solda para aplicações industriais robotizadas. / In general, one of the most important problems in a robotic welding system, or in automatic manipulations, is the requirement of a path trajectory to be reprogramed when the shape or the position of the welding pieces are changed. In order to detect the welding seam in butt joints, a method that makes use of computational vision techniques is proposed. The method needs to be dynamic against variation in the configuration of the pieces, so as curved or not straight seam lines, not coincident corners; beside of that, it must to present robustness against unfavorable variables of the industrial environment, so as scratches in the pieces or illumination changes. Two features of the welding line are taken into account to develop the method: almost constant distance between parallel seam lines and darker pixels in the center of the seam than in the borders. Moreover a robustness step is proposed over two weaknesses of the method: discontinuities in the edges of the welding line and possible errors in the location of the start and end welding points. The validation step of the method involves different configuration of butt joints, as pieces without corner being coincident, not straight welding line and different orientations. The points of the welding seam detected by the method, are compared against a set of welding points considered as an ideal set of points, getting as results a mean and standard deviation lower than ± 0.5 mm. An experimental test is carried out by an industrial robot that welds two pieces following the welding line points, with the results showing that the method can effectively define a welding trajectory for industrial robotics applications.

A presente tese apresenta a concepção de uma rede neural oscilatória e sua realização em arquitetura maciçamente paralela, a qual é adequada à implementação de chips de visão digitais para segmentação de imagens. A rede proposta, em sua versão final, foi denominada ONNIS-GI (Oscillatory Neural Network for Image Segmentation with Global Inhibition) e foi inspirada em uma rede denominada LEGION (Locally Excitatory Globally Inhibitory Oscillator Network), também de concepção recente. Inicialmente, é apresentada uma introdução aos procedimentos de segmentação de imagens, cujo objetivo é o de situar e enfatizar a importância do tema abordado dentro de um contexto abrangente, o qual inclui aplicações de visão artificial em geral. Outro aspecto abordado diz respeito à utilização de redes neurais artificiais em segmentação de imagens, enfatizando as denominadas redes neurais oscilatórias, as quais têm apresentado resultados estimulantes nesta área. A implementação de chips de visão, integrando sensores de imagens e redes maciçamente paralelas de processadores, é também abordada no texto, ressaltando o objetivo prático da nova rede neural proposta. No estudo da rede LEGION, são apresentados resultados de aplicações originais desenvolvidas em segmentação de imagens, nos quais é verificada sua propriedade de separação temporal dos segmentos. A versão contínua da rede, um arranjo paralelo de neurônios baseados em equações diferenciais, apresenta elevada complexidade computacional para implementação em hardware digital e muitos parâmetros, com procedimento de ajuste pouco prático. Por outro lado, sua arquitetura maciçamente paralela apresenta-se particularmente adequada à implementação de chips de visão analógicos com capacidade de segmentação de imagens. Com base nos bons resultados obtidos nas aplicações desenvolvidas, é proposta uma nova rede neural, em duas versões, ONNIS e ONNIS-GI, as quais suplantam a rede LEGION em diversos aspectos relativos à implementação prática. A estrutura dos elementos de processamento das duas versões da rede, sua implementação em arquitetura maciçamente paralela e resultados de simulações e implementações em FPGA são apresentados, demonstrando a viabilidade da proposta. Como resultado final, conclui-se que a rede ONNIS-GI apresenta maior apelo de ordem prática, sendo uma abordagem inovadora e promissora na solução de problemas de segmentação de imagens, possuindo capacidade para separar temporalmente os segmentos encontrados e facilitando a posterior identificação dos mesmos. Sob o ponto de vista prático, a nova rede pode ser utilizada para implementar chips de visão digitais com arquitetura maciçamente paralela, explorando a velocidade de tais topologias e apresentando também flexibilidade para implementação de procedimentos de segmentação de imagens mais sofisticados.

[pt] Os sistemas de realidade virtual requerem dispositivos de interação que não obstruam o caráter imersivo da aplicação. Com a difusão das câmeras digitais, a captura óptica do movimento do usuário se firmou como uma nova área de pesquisa. Este trabalho apresenta a integração de um dispositivo óptico para interação em uma ferramenta de desenvolvimento de aplicações em realidade virtual. O dispositivo óptico proposto é composto por uma esfera revestida de material retroreflexivo rastreada por quatro câmeras com sensores infravermelhos. O estudo engloba a implementação do dispositivo de rastreamento óptico e sua integração com a ferramenta ViRAL (Virtual Reality Abstraction Layer). / [en] Virtual reality systems require tracking devices that do not harm the application immersive sensation. With the spread of digital cameras, the optical tracking of users` movement has been firmed as a new area of research. This work presents the integration of an optical tracking device with a virtual reality application development library. The proposed optical device is composed of a sphere coated with retroreflexive material, which is tracked by four cameras with infrared sensors. The study contains the implementation of the tracking device and its integration with ViRAL (Virtual Reality Abstraction Layer) tool.

O avanço tecnológico atual está permitindo que as pessoas recebam cada vez mais informações visuais dos mais diferentes tipos, nas mais variadas mídias. Esse aumento fantástico está obrigando os pesquisadores e as indústrias a imaginar soluções para o armazenamento e recuperação deste tipo de informação, pois nossos computadores ainda utilizam, apesar dos grandes avanços nessa área, um sistema de arquivos imaginado há décadas, quando era natural trabalhar com informações meramente textuais. Agora, nos deparamos com novos problemas: Como encontrar uma paisagem específica em um banco de imagens, em que trecho de um filme aparece um cavalo sobre uma colina, em que parte da fotografia existe um gato, como fazer um robô localizar um objeto em uma cena, entre outras necessidades. O objetivo desse trabalho é propor uma arquitetura de rede neural artificial que permita o reconhecimento de objetos genéricos e de categorias em banco de imagens digitais, de forma que se possa recuperar imagens específicas a partir da descrição da cena fornecida pelo usuário. Para que esse objetivo fosse alcançado, foram utilizadas técnicas de Visão Computacional e Processamento de Imagens na etapa de extração de feições de baixo nível e de Redes Neurais(Mapas Auto-Organizáveis de Kohonen) na etapa de agrupamento de classes de objetos. O resultado final desse trabalho pretende ser um embrião para um sistema de reconhecimento de objetos mais genérico, que possa ser estendido para a criação de indices de forma automática ou semi-automática em grandes bancos de imagens. / The current technological progress allows people to receive more and more visual information of the most different types, in different medias. This huge augmentation of image availability forces researchers and industries to propose efficient solutions for image storage and recovery. Despite the extraordinary advances in computational power, the data files system remain the same for decades, when it was natural to deal only with textual information. Nowadays, new problems are in front of us in this field. For instance, how can we find an specific landscape in a image database, in which place of a movie there is a horse on a hill, in which part of a photographic picture there is a cat, how can a robot find an object in a scene, among other queries. The objective of this work is to propose an Artificial Neural Network (ANN) architecture that performs the recognition of generic objects and object’s categories in a digital image database. With this implementation, it becomes possible to do image retrieval through the user´s scene description. To achieve our goal, we have used Computer Vision and Image Processing techniques in low level features extraction and Neural Networks (namely Kohonen’s Self-Organizing Maps) in the phase of object classes clustering. The main result of this work aims to be a seed for a more generic object recognition system, which can be extended to the automatic or semi-automatic index creation in huge image databases.