[pt] Muitos sistemas biológicos utilizam visão como forma primária de sensoriamento. Ao longo de milhões de anos de evolução,as diferentes espécies vêm demonstrando o potencial associado à capacidade de visão.A partir da década de 60,foram iniciados os primeiros estudos no sentido de proporcionar às máquinas esta forma de sensoriamento. A esta nova forma de sensoriamento dá-se o nome de Visão Computacional. Em Visão Computacional,muitos casos requerem a determinação de um campo vetorial que descreva os deslocamentos ocorridos entre dois quadros consecutivos de uma sequência genérica de vídeo.A este campo vetorial dá-se o nome de Optical Flow(Fluxo Ótico). A determinação do Optical Flow é ainda um problema sem solução.No presente trabalho,propõ-se um novo estimador estatístico para a determinação do Fluxo Ótico. Este estimador possui complexidade O(n) e associa um grau de confiabilidade a cada estimativa realizada.É aplicável a qualquer sinal digital(não apenas imagens ou vídeo, mas também a som,volume,etc) e vem demonstrando resultados muito promissores. / [en] Many biological systems make use of vision as its primary sensory mechanism. During million years,different species have been showing the great potencial associated with vison.From the early sixties onwards,studies have been done to provide machines with this important sense.The research area involved in this task is called Computer Vision. In Computer Visiom there are many situations where it is necessary to evaluate a vector field which describes existing displacements between two consecutive frames of a generic video sequence.This vector field is called Optical Flow. The Optical Flow determination is still a problem with unknown solution.This work proposes a new statistic algorithm to estimate the Optical Flow.The proposed algorithm has O(n) complexity and associates a degree of rebeliabity to each estimation. The algorithm can be applied to any digital signal(not only images or videos,but also sound,volume etc)and is achieving promising results.

[pt] Muitos sistemas biológicos utilizam visão como forma primária de sensoriamento.Ao longo de milhões de anos de evolução, as diferentes espécies vêm demonstrando o potencial associado à capacidade de visão. A partir da década de 60, foram iniciados os primeiros estudos no sentido de proporcionar às máquinas esta forma de sensoriamento. A esta nova forma de sensoriamento dá-se o nome de Visão Computacional. Em Visão Computacional, muitos casos requerem a determinação de um campo vetorial que descreva os deslocamentos ocorridos entre dois quadros consecutivos de uma seqüência genérica de vídeo. A este campo vetorial dá-se o nome de Optical Flow (Fluxo Ótico). A determinação do Optical Flow é ainda um problema sem solução. No presente trabalho, propõe-se um novo estimador estatístico para a determinação do Fluxo Ótico. Este estimador possui complexidade O(n) e associa um grau de confiabilidade a cada estimativa realizada. É aplicável a qualquer sinal digital (não apenas imagens ou vídeo, mas também a som, volume, etc) e vem demonstrando esultados muito promissores. / [en] Many biological systems make use of vision as its primary sensory mechanism. During million years, different species have been showing the great potential associated with vision. From the early sixties onwards, studies have been done to provide machines with this important sense. The research area involved in this task is called Computer Vision. In Computer Vision there are many situations where it is necessary to evaluate a vector field which describes existing displacements between two consecutive frames of a generic video sequence. This vector field is called Optical Flow. The Optical Flow determination is still a problem with unknown solution. This work proposes a new statistic algorithm to estimate the Optical Flow. The proposed algorithm has O(n) complexity and associates a degree of reliability to each estimation.The algorithm can be applied to any digital signal (not only images or videos, but also sound, volume etc) and is achieving promising results.

[pt] Diversas tarefas de Visão Computacional (VC) são formadas por operações aritméticas, replicadas sobre grandes volumes de dados. Esta caracterização descreve também as qualidades desejadas ao considerar uma aplicação qualquer como boa candidata a usufruir do crescente poder de processamento do hardware gráfico. Esta tese formula um conjunto de algoritmos de VC sobre representações do conteúdo visual em baixo nível, para serem processados em GPU. Dando suporte às propostas, são apresentadas uma visão geral das GPUs e de padrões de programação paralelos, os quais oferecem blocos construtores para tarefas de visão. Neste sentido, propomos uma definição formal para o padrão de Redução Múltipla e analisamos seu desempenho segundo diferentes fatores de redução e variações para seus arranjos. Apresentamos duas propostas para extração de informações no espaço da imagem em GPU: a MOCT descreve a localização de objetos identificáveis por suas cores em vídeos naturais, enquanto o operador de Redução Regional Múltipla Paralela (MRR) distribui a computação de operadores definidos sobre diferentes regiões de interesse. Como aplicação do MRR, descrevemos a construção em GPU de um Diagrama Centroidal de Voronoi baseado no algoritmo de Lloyd. Tratamos do conteúdo visual em aglomerados de pixels, mais especificamente, em Quadtrees de regiões. Introduzimos a QuadN4tree, um modelo para representação de quadtrees que permite a navegação através do sistema de vizinhança das folhas e alcança custos ótimos no levantamento do conjunto de vizinhas de uma folha. Em seguida, propomos uma aceleração para aplicações baseadas em minimização de energia via corte de grafo, introduzindo uma etapa de pré-processamento que agrupa pixels similares em folhas de uma quadtree, com o objetivo de reduzir o tamanho do grafo sobre o qual o corte mínimo é encontrado. O método proposto é aplicado ao problema de segmentação de imagens naturais com iluminação ativa. Algumas contribuições desta tese, descrevendo formulações paralelas a dados, foram publicadas nos artigos incluídos nos apêndices. / [en] Arithmetically intensive operations, replicated over huge data sets (usually image pixels or scanned data), are an important part of many Computer Vision (CV) tasks, making them good candidates for taking advantage of the processing power of contemporary graphics processing units (GPUs). This thesis formulates a set of CV algorithms that use low level representations of visual content and are tailored for running on GPUs. A general view of GPUs and parallel programming patterns that offers interesting building blocks for CV tasks provides the necessary background for the algorithms. We also propose a formal definition for the Multiple Reduction pattern and evaluate its efficiency according to different reduction factors and layouts. We present two techniques for extracting data from the image space using the GPU: MOCT, a technique for tracking a set of objects identified by their colors from natural videos, and MRR, a technique for distributing the evaluation of a set of operators defined over different regions of interest within an image. As a MRR application we describe a Centroidal Voronoi Diagram construction based on Lloyds algorithm but entirely computed using GPU resources. We also deal with visual content representations as pixel agglomerations, more specifically, as Regional Quadtrees. We introduce the QuadN4tree: a new model for representing quadtree leaves that allows navigation through their neighborhood systems and achieves an optimal cost for the retrieval of neighbor sets. We also propose modifying the setup for CV applications based on energy minimization via graph cuts, introducing a preprocessing step that groups similar pixels into regional quadtree leaves. This modification aims to reduce the size of the graph for which a minimum cut is to be found. We apply our proposed method to the problem of natural image segmentation by active illumination. Published papers detailing some contributions of this dissertation are included as appendixes. They present data-parallel formulations for the CV tasks we describe.

[pt] A reconstrução de câmera é um dos problemas fundamentais da visão computacional. Sistemas de software desta área utilizam modelos matemáticos de câmera, ou câmeras virtuais, para, por exemplo, interpretar e reconstruir a estrutura tridimensional de uma cena real a partir de fotos e vídeos digitais ou para produzir imagens sintéticas com aparência realista. As técnicas de reconstruçã de câmera da visão computacional são aplicadas em conjunto com técnicas de realidade virtual para dar origem a novas aplicações chamadas de aplicações de realidade aumentada, que utilizam câmeras virtuais para combinar imagens reais e sintéticas em uma mesma foto digital. Dentre os diversos usos destes tipos de aplicação, este trabalho tem particular interesse naqueles que tratam de visitas aumentadas a edificações. Nestes casos, fotos de edificações — tipicamente de construções antigas ou ruínas — são reconstruídas a partir de modelos virtuais que são inseridos em meio a tais fotos digitais com a finalidade de habilitar a visão de como essas edificações eram em suas estruturas originais. Nesse contexto, este trabalho propõe um método semi-automático e eficiente para realizar tal reconstrução e registrar câmeras virtuais a partir de fotos reais e modelos computacionais de edificações, permitindo compará-los através de superposição direta e disponibilizando uma nova maneira de navegar de forma tridimensional por entre diversas fotos registradas. Tal método requer a participação do usuário, mas é projetado para ser simples e produtivo. / [en] Camera reconstruction is one of the major problems in computer vision. Software systems in that field uses mathematical camera models, or virtual cameras, for example, to interpret and reconstruct the tridimensional structure of a real scene from a set of digital pictures or videos or to produce synthetic images with realistic looking. Computer vision technics are applied together with virtual reality technics in order to originate new types of applications called augmented reality applications, which use virtual cameras to combine both real and synthetic images within a single digital image. Among the many uses of these types of applications, this work has particular interest in those concerning augmented visits to buildings. In these cases, pictures of buildings — typically old structures os ruins — are reconstructed from virtual models that are inserted into such pictures allowing one to have the vision of how those buildings were on they original appearance. Within this context, this work proposes a semi-automatic and efficient method to perform such reconstructions and to register virtual cameras from real pictures and models of buildings, allowing comparing them through direct superposing and making possible to navigate in a tridimensional fashion between the many registered pictures. Such method requires user interaction, but it is designed to be simple and productive.

[pt] Visão Computacional pode ser utilizada para calibrar e auto-localizar robôs. Existem diversas aplicações de auto-localização e controle aplicadas a manipuladores industriais e robôs móveis. Em particular, o controle visual pode ser útil em intervenções submarinas, nas quais um manipulador robótico é acoplado a um ROV (Veículo de Operação Remota) para execução de tarefas em grandes profundidades, como o manuseio de válvulas de equipamentos como manifolds. Este trabalho tem como objetivo desenvolver e implementar técnicas de controle visual para auto-localização e posicionamento de manipuladores robóticos. Assume-se que o manipulador possui uma câmera presa em sua extremidade (configuração eye-in-hand). Duas técnicas de controle visual são estudadas: look-and-move e servo-visual, que diferem entre si pela realimentação do controle. A primeira utiliza sensores de posição, a partir de uma única imagem capturada no início da movimentação. A segunda utiliza diversas imagens capturadas durante o processo. A principal contribuição deste trabalho está no uso da transformada SIFT, robusta a rotações, translações, mudança de escala e iluminação, para obter e correlacionar pontos-chave entre as imagens de referência e capturadas em tempo real. A metodologia é validada experimentalmente através de um manipulador robótico baseado na estrutura mecânica de uma mesa x-y-0. Um sistema eletrônico é utilizado como interface entre o robô e o software de controle, onde estão implementadas todas as técnicas propostas. Testes iniciais são realizados com imagens de objetos circulares, sem o uso de transformações como o SIFT. Em seguida, são feitos testes com a imagem de um painel real de um manifold, utilizando transformadas SIFT para determinar a localização do manipulador em relação ao painel e controlá-lo até uma pose desejada. Os resultados mostram que o desempenho do controle servo-visual depende muito do tempo de processamento de cada imagem, ao contrário do look-and-move. No entanto, o controle servo-visual apresenta erros finais de posicionamento muito menores. O método SIFT é apropriado para uso em ambos os controles, desde que a resolução das imagens seja alta o suficiente para evitar correlações falsas. / [en] Computer vision can be used to calibrate and self-localize robots. There are many applications in self-localization and control applied to industrial manipulators and mobile robots. In particular, visual control can be useful in submarine interventions, where a robotic manipulator is mounted on a Remote Operated Vehicle (ROV) to execute tasks at high depths, such as handling manifold valves. This work has the objective to develop and implement visual control techniques to self-localize and position robotic manipulators. It is assumed that a monocular camera is attached to the robot end-effector (eye-in-hand configuration). Two visual control techniques are studied: look-and-move and visual servo control. Their main difference is related to the adopted feedback sensors. The first technique uses position sensors with the aid of a single image captured at the beginning of the robot movement. The second technique relies on several images captured in real time during the robot movement. The main contribution of this work is the use of the SIFT transform, robust to rotation, translation, changes in scale and illumination, to obtain and correlate key-points between reference images and images captured in real time. The methodology is experimentally validated using a manipulator based on the mechanical structure of an x-y-0 coordinate table. An electronic system was developed to control the robot through a software in a computer, where were implemented all the techniques proposed. Preliminary tests are performed on simple circular-shaped objects, without the need for SIFT transforms. Next, tests are performed with a photo of an actual manifold panel typically used in submarine interventions, using SIFT transform to find the localization of the manipulator with respect to the panel. The results show that the performance of the visual servo control depends on the image processing time, unlike the look-and-move. However, the visual-servo control presents smaller positioning errors. The SIFT method is appropriate for both controls, since image resolution be high enough to avoid false matching.

[pt] Os sistemas de realidade virtual requerem dispositivos de interação que não obstruam o caráter imersivo da aplicação. Com a difusão das câmeras digitais, a captura óptica do movimento do usuário se firmou como uma nova área de pesquisa. Este trabalho apresenta a integração de um dispositivo óptico para interação em uma ferramenta de desenvolvimento de aplicações em realidade virtual. O dispositivo óptico proposto é composto por uma esfera revestida de material retroreflexivo rastreada por quatro câmeras com sensores infravermelhos. O estudo engloba a implementação do dispositivo de rastreamento óptico e sua integração com a ferramenta ViRAL (Virtual Reality Abstraction Layer). / [en] Virtual reality systems require tracking devices that do not harm the application immersive sensation. With the spread of digital cameras, the optical tracking of users` movement has been firmed as a new area of research. This work presents the integration of an optical tracking device with a virtual reality application development library. The proposed optical device is composed of a sphere coated with retroreflexive material, which is tracked by four cameras with infrared sensors. The study contains the implementation of the tracking device and its integration with ViRAL (Virtual Reality Abstraction Layer) tool.

[pt] Esta dissertação apresenta uma metodologia para medição visual de campos de deformações (2D) em materiais, por meio da aplicação da técnica SIFT (Scale Invariant Feature Transform). A análise de imagens capturadas é feita por uma câmera digital em estágios diferentes durante o processo de deformação de um material quando este é submetido a esforços mecânicos. SIFT é uma das técnicas modernas de visão computacional e um eficiente filtro para extração e descrição de pontos de características relevantes em imagens, invariantes a transformações em escala, iluminação e rotação. A metodologia é baseada no cálculo do gradiente de funções que representam o campo de deformações em um material durante um ensaio mecânico sob diferentes condições de contorno. As funções são calibradas com a aplicação da análise inversa sobre o conjunto de pontos homólogos de duas imagens extraídos pelo algoritmo SIFT. A formulação da solução ao problema inverso combina os dados experimentais fornecidos pelo SIFT e o método linear de mínimos quadrados para estimação dos parâmetros de deformação. Os modelos propostos para diferentes corpos de prova são avaliados experimentalmente com a ajuda de extensômetros para medição direta das deformações. O campo de deformações identificado pelo sistema de visão computacional é comparado com os valores obtidos pelos extensômetros e por simulações feitas no programa de Elementos Finitos ANSYS. Os resultados obtidos mostram que o campo de deformações pode ser medido utilizando a técnica SIFT, gerando uma nova ferramenta visual de medição para ensaios mecânicos que não se baseia nas técnicas tradicionais de correlação de imagens. / [en] This thesis presents a methodology for measurement of strain fields in materials by applying the SIFT technique (Scale Invariant Feature Transform). The images analyzed are captured by a digital camera at different stages during the deformation process of a material when it is subjected to mechanical stress. SIFT is one of the modern computer vision techniques and an efficient filter for extraction and description of relevant feature points in images. These interest points are largely invariant to changes in scale, illumination and rotation. The methodology is based on the calculation of the gradient of the functions that represents the corresponding strain field in the material during a mechanical test under different boundary conditions. The functions are calibrated with the application of inverse analysis on the set of homologous points of two images extracted by the SIFT algorithm. The formulation of the solution to the inverse problem combines the experimental data processed by the SIFT and linear least squares method for the estimation of strain parameters. The proposed models for different specimens are evaluated experimentally with strain gauges for direct measurement of the deformations. The strain field identified by the computer vision system is compared with values obtained by strain gauges and simulations with the ANSYS finite element program. The proposed models for different types of measurements are experimentally evaluated with strain gages, including the estimation of mechanical properties. The results show that the strain field can be measured using the SIFT technique, developing a new visual tool for measurement of mechanical tests that are not based on traditional techniques of image correlation.

[pt] Atualmente, sistemas de visão computacional em computadores portáteis estão se tornando uma importante ferramenta de uso pessoal. Sistemas de visão para localização de objetos é uma área de pesquisa muito ativa. Essa dissertação propõe um algoritmo para localizar posições no espaço e objetos em ambientes não instrumentados com o uso de uma câmera web e um computador pessoal. Para isso, são usados dois algoritmos de rastreamento de marcadores para reinicializar frequentemente um algoritmo de Visual Simultaneous Localisation and Mapping. Essa dissertação também apresenta uma implementação e um conjunto de testes para validar o algoritmo proposto. / [en] Nowadays, vision systems in portable computers are becoming an important tool for personal use. Vision systems for object localization are an active area of research. This dissertation proposes an algorithm to locate position and objects in a regular environment with the use of a simple webcam and a personal computer. To that end, we use two algorithms of marker tracking to reboot often a Visual Simultaneous Localisation and Mapping algorithm. This dissertation also presents an implementation and a set of tests that validate the proposed algorithm.

[pt] A quantidade de vídeos gravados no mundo cresce muito, não somente devido aos interesses e hábitos humanos em relação a esse tipo de mídia, mas também pela diversidade de dispositivos utilizados para criação de vídeos. No entanto, faltam informações sobre conteúdos em vídeo porque a geração de metadados é complexa e requer muito tempo para ser executado por humanos. Do ponto de vista da tecnologia, não é fácil superar os obstáculos relacionados à grande quantidade e diversidade de frames de vídeo. O trabalho propõe um sistema automatizado de reconhecimento facial para detectar personagens em vídeos. Ele foi desenvolvido para reconhecer personagens, a fim de aumentar os metadados de vídeo. Ele combina técnicas padrão de visão computacional para melhorar a precisão, processando os dados de saída dos modelos existentes de maneira complementar. O modelo teve um desempenho satisfatório usando um conjunto de dados da vida real de uma grande empresa de mídia. / [en] The amount of recorded video in the world is increasing a lot due not only to the humans interests and habits regarding this kind of media, but also the diversity of devices used to create them. However, there is a lack of information about video content because generating video meta-data is complex. It demands too much time to be performed by humans, and from the technology perspective, it is not easy to overcome obstacles regarding the huge amount and diversity of video frames. In this work we propose an automated face recognition system to detect and recognize humans within videos. It was developed to recognize characters,in order to increase video meta-data. It combines standard computer vision techniques to improved accuracy by processing existing models output data in a complementary manner. We evaluated the performance of the system in a real data set from a large media company.

[pt] Detecção e reconhecimento de objetos são uma questão importante na área de Visão Computacional, onde a sua realização em tempo real e com taxas baixas de falsos positivos tem se tornado o objetivo principal de inúmeras pesquisas, inclusive daquelas relacionadas às novas formas de interatividade na TV Digital. Esta dissertação propõe um sistema de software baseado em aprendizado de máquina que permite um treinamento eficiente para novos objetos e realiza o subseqüente reconhecimento destes objetos em tempo real, tanto para imagens estáticas como para vídeos digitais. O sistema é baseado no uso de características Haar do objeto, que requerem um baixo tempo de computação para o seu cálculo, e na utilização de classificadores em cascata, que permitem tanto um rápido descarte de áreas da imagem que não possuem o objeto de interesse, quanto uma baixa ocorrência de falsos positivos. Por meio do uso de técnicas de segmentação de imagem, o sistema torna a busca por objetos uma operação extremamente rápida em vídeos de alta resolução. Além disto, com a utilização de técnicas de paralelismo, pode-se detectar vários objetos simultaneamente sem perda de desempenho. / [en] Object detection and recognition are an important issue in the field of Computer Vision, where its accomplishment in both real time and low false positives rates has became the main goal of various research works, including the ones related to new interactivity forms in Digital TV. This dissertation proposes a software system based on machine learning that allows an efficient training for new objects and performs their subsequent recognition in real time, for both static images and digital videos. The proposed system is based on the use of Haar features of the object, which require a low computation time for their calculation, and on the usage of a cascade of classifiers, which allows a quick discard of image areas that does not contain the desired object while having a low occurrence of false positives. Through the use of image segmentation techniques, the system turns the search for objects into an extremely fast operation in high-resolution videos. Furthermore, through the use of parallelism techniques, one can simultaneously detect various objects without losing performance.