O avanço tecnológico atual está permitindo que as pessoas recebam cada vez mais informações visuais dos mais diferentes tipos, nas mais variadas mídias. Esse aumento fantástico está obrigando os pesquisadores e as indústrias a imaginar soluções para o armazenamento e recuperação deste tipo de informação, pois nossos computadores ainda utilizam, apesar dos grandes avanços nessa área, um sistema de arquivos imaginado há décadas, quando era natural trabalhar com informações meramente textuais. Agora, nos deparamos com novos problemas: Como encontrar uma paisagem específica em um banco de imagens, em que trecho de um filme aparece um cavalo sobre uma colina, em que parte da fotografia existe um gato, como fazer um robô localizar um objeto em uma cena, entre outras necessidades. O objetivo desse trabalho é propor uma arquitetura de rede neural artificial que permita o reconhecimento de objetos genéricos e de categorias em banco de imagens digitais, de forma que se possa recuperar imagens específicas a partir da descrição da cena fornecida pelo usuário. Para que esse objetivo fosse alcançado, foram utilizadas técnicas de Visão Computacional e Processamento de Imagens na etapa de extração de feições de baixo nível e de Redes Neurais(Mapas Auto-Organizáveis de Kohonen) na etapa de agrupamento de classes de objetos. O resultado final desse trabalho pretende ser um embrião para um sistema de reconhecimento de objetos mais genérico, que possa ser estendido para a criação de indices de forma automática ou semi-automática em grandes bancos de imagens. / The current technological progress allows people to receive more and more visual information of the most different types, in different medias. This huge augmentation of image availability forces researchers and industries to propose efficient solutions for image storage and recovery. Despite the extraordinary advances in computational power, the data files system remain the same for decades, when it was natural to deal only with textual information. Nowadays, new problems are in front of us in this field. For instance, how can we find an specific landscape in a image database, in which place of a movie there is a horse on a hill, in which part of a photographic picture there is a cat, how can a robot find an object in a scene, among other queries. The objective of this work is to propose an Artificial Neural Network (ANN) architecture that performs the recognition of generic objects and object’s categories in a digital image database. With this implementation, it becomes possible to do image retrieval through the user´s scene description. To achieve our goal, we have used Computer Vision and Image Processing techniques in low level features extraction and Neural Networks (namely Kohonen’s Self-Organizing Maps) in the phase of object classes clustering. The main result of this work aims to be a seed for a more generic object recognition system, which can be extended to the automatic or semi-automatic index creation in huge image databases.

Em geral, um problema importante em um sistema de soldagem robotizado, ou com manipuladores automáticos, é a necessidade de uma trajetória ser reprogramada quando a forma ou a posição das peças mudam. Como solução a esse problema é proposto um método que utiliza técnicas de visão computacional, para assim detectar a trajetória de soldagem em juntas de topo. O método deve ser dinâmico permitindo a identificação de juntas de topo com cantos não próximos, linhas não retas e tamanhos diferentes entre as peças, assim como apresentar robustez contra variáveis desfavoráveis do ambiente industrial como riscos nas peças ou no fundo e mudanças de luminosidade. A trajetória é detectada baseando-se na linha de bordas da imagem global e adicionalmente trabalha-se sobre duas características da linha de solda: distância quase constante entre linhas paralelas e pixels de linha de solda com menor intensidade de luminosidade que as bordas. Uma etapa é proposta para robustez do método sobre linha de bordas descontinuas e possíveis erros em ponto inicial e final de solda. O trabalho proposto é validado com distintas configurações de junta de topo, como com cantos de peças não coincidentes, linha de solda não reta e diferentes orientações de peças. Os pontos da trajetória de solda obtidos são comparados com uma linha de solda considerada ideal, resultando em uma média e desvio padrão geral inferiores à um valor de 0,5 mm. Uma validação experimental é realizada com uma solda executada por um robô industrial seguindo os pontos de solda detectados, com os resultados demostrando que o método efetivamente pode definir uma trajetória de solda para aplicações industriais robotizadas. / In general, one of the most important problems in a robotic welding system, or in automatic manipulations, is the requirement of a path trajectory to be reprogramed when the shape or the position of the welding pieces are changed. In order to detect the welding seam in butt joints, a method that makes use of computational vision techniques is proposed. The method needs to be dynamic against variation in the configuration of the pieces, so as curved or not straight seam lines, not coincident corners; beside of that, it must to present robustness against unfavorable variables of the industrial environment, so as scratches in the pieces or illumination changes. Two features of the welding line are taken into account to develop the method: almost constant distance between parallel seam lines and darker pixels in the center of the seam than in the borders. Moreover a robustness step is proposed over two weaknesses of the method: discontinuities in the edges of the welding line and possible errors in the location of the start and end welding points. The validation step of the method involves different configuration of butt joints, as pieces without corner being coincident, not straight welding line and different orientations. The points of the welding seam detected by the method, are compared against a set of welding points considered as an ideal set of points, getting as results a mean and standard deviation lower than ± 0.5 mm. An experimental test is carried out by an industrial robot that welds two pieces following the welding line points, with the results showing that the method can effectively define a welding trajectory for industrial robotics applications.

A presente tese apresenta a concepção de uma rede neural oscilatória e sua realização em arquitetura maciçamente paralela, a qual é adequada à implementação de chips de visão digitais para segmentação de imagens. A rede proposta, em sua versão final, foi denominada ONNIS-GI (Oscillatory Neural Network for Image Segmentation with Global Inhibition) e foi inspirada em uma rede denominada LEGION (Locally Excitatory Globally Inhibitory Oscillator Network), também de concepção recente. Inicialmente, é apresentada uma introdução aos procedimentos de segmentação de imagens, cujo objetivo é o de situar e enfatizar a importância do tema abordado dentro de um contexto abrangente, o qual inclui aplicações de visão artificial em geral. Outro aspecto abordado diz respeito à utilização de redes neurais artificiais em segmentação de imagens, enfatizando as denominadas redes neurais oscilatórias, as quais têm apresentado resultados estimulantes nesta área. A implementação de chips de visão, integrando sensores de imagens e redes maciçamente paralelas de processadores, é também abordada no texto, ressaltando o objetivo prático da nova rede neural proposta. No estudo da rede LEGION, são apresentados resultados de aplicações originais desenvolvidas em segmentação de imagens, nos quais é verificada sua propriedade de separação temporal dos segmentos. A versão contínua da rede, um arranjo paralelo de neurônios baseados em equações diferenciais, apresenta elevada complexidade computacional para implementação em hardware digital e muitos parâmetros, com procedimento de ajuste pouco prático. Por outro lado, sua arquitetura maciçamente paralela apresenta-se particularmente adequada à implementação de chips de visão analógicos com capacidade de segmentação de imagens. Com base nos bons resultados obtidos nas aplicações desenvolvidas, é proposta uma nova rede neural, em duas versões, ONNIS e ONNIS-GI, as quais suplantam a rede LEGION em diversos aspectos relativos à implementação prática. A estrutura dos elementos de processamento das duas versões da rede, sua implementação em arquitetura maciçamente paralela e resultados de simulações e implementações em FPGA são apresentados, demonstrando a viabilidade da proposta. Como resultado final, conclui-se que a rede ONNIS-GI apresenta maior apelo de ordem prática, sendo uma abordagem inovadora e promissora na solução de problemas de segmentação de imagens, possuindo capacidade para separar temporalmente os segmentos encontrados e facilitando a posterior identificação dos mesmos. Sob o ponto de vista prático, a nova rede pode ser utilizada para implementar chips de visão digitais com arquitetura maciçamente paralela, explorando a velocidade de tais topologias e apresentando também flexibilidade para implementação de procedimentos de segmentação de imagens mais sofisticados.

Submitted by Luciana Ferreira (lucgeral@gmail.com) on 2015-10-22T10:39:54Z No. of bitstreams: 3 Dissertação - Allan Vieira Ribeiro - 2015 - (1).pdf: 19782585 bytes, checksum: 51734bf1c8c3a5b6cb075bdb2b56d15e (MD5) Dissertação - Allan Vieira Ribeiro - 2015 - (2).pdf: 2911674 bytes, checksum: 74048cd5a1205ba6f95a6c5ba93c6f3a (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2015-10-22T10:43:28Z (GMT) No. of bitstreams: 3 Dissertação - Allan Vieira Ribeiro - 2015 - (1).pdf: 19782585 bytes, checksum: 51734bf1c8c3a5b6cb075bdb2b56d15e (MD5) Dissertação - Allan Vieira Ribeiro - 2015 - (2).pdf: 2911674 bytes, checksum: 74048cd5a1205ba6f95a6c5ba93c6f3a (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Made available in DSpace on 2015-10-22T10:43:28Z (GMT). No. of bitstreams: 3 Dissertação - Allan Vieira Ribeiro - 2015 - (1).pdf: 19782585 bytes, checksum: 51734bf1c8c3a5b6cb075bdb2b56d15e (MD5) Dissertação - Allan Vieira Ribeiro - 2015 - (2).pdf: 2911674 bytes, checksum: 74048cd5a1205ba6f95a6c5ba93c6f3a (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) Previous issue date: 2015-05-27 / This work proposes a way to classify corn kernels according to the Ministério da Agricultura, Pecuária e Abastecimento’s laws. It was used digital imaging processing techniques to develop a mobile application for doing the classification after capturing the corn kernels image. / Este trabalho propõe um método de classificação de grãos de milho de acordo com as leis definidas pelo Ministério da Agricultura, Pecuária e Abastecimento. Foi utilizada técnicas de processamento digital de imagens para desenvolvimento de um aplicativo móvel para realização da classificação após a captura da imagem dos grãos.

[pt] Esta dissertação apresenta uma metodologia para medição visual de campos de deformações (2D) em materiais, por meio da aplicação da técnica SIFT (Scale Invariant Feature Transform). A análise de imagens capturadas é feita por uma câmera digital em estágios diferentes durante o processo de deformação de um material quando este é submetido a esforços mecânicos. SIFT é uma das técnicas modernas de visão computacional e um eficiente filtro para extração e descrição de pontos de características relevantes em imagens, invariantes a transformações em escala, iluminação e rotação. A metodologia é baseada no cálculo do gradiente de funções que representam o campo de deformações em um material durante um ensaio mecânico sob diferentes condições de contorno. As funções são calibradas com a aplicação da análise inversa sobre o conjunto de pontos homólogos de duas imagens extraídos pelo algoritmo SIFT. A formulação da solução ao problema inverso combina os dados experimentais fornecidos pelo SIFT e o método linear de mínimos quadrados para estimação dos parâmetros de deformação. Os modelos propostos para diferentes corpos de prova são avaliados experimentalmente com a ajuda de extensômetros para medição direta das deformações. O campo de deformações identificado pelo sistema de visão computacional é comparado com os valores obtidos pelos extensômetros e por simulações feitas no programa de Elementos Finitos ANSYS. Os resultados obtidos mostram que o campo de deformações pode ser medido utilizando a técnica SIFT, gerando uma nova ferramenta visual de medição para ensaios mecânicos que não se baseia nas técnicas tradicionais de correlação de imagens. / [en] This thesis presents a methodology for measurement of strain fields in materials by applying the SIFT technique (Scale Invariant Feature Transform). The images analyzed are captured by a digital camera at different stages during the deformation process of a material when it is subjected to mechanical stress. SIFT is one of the modern computer vision techniques and an efficient filter for extraction and description of relevant feature points in images. These interest points are largely invariant to changes in scale, illumination and rotation. The methodology is based on the calculation of the gradient of the functions that represents the corresponding strain field in the material during a mechanical test under different boundary conditions. The functions are calibrated with the application of inverse analysis on the set of homologous points of two images extracted by the SIFT algorithm. The formulation of the solution to the inverse problem combines the experimental data processed by the SIFT and linear least squares method for the estimation of strain parameters. The proposed models for different specimens are evaluated experimentally with strain gauges for direct measurement of the deformations. The strain field identified by the computer vision system is compared with values obtained by strain gauges and simulations with the ANSYS finite element program. The proposed models for different types of measurements are experimentally evaluated with strain gages, including the estimation of mechanical properties. The results show that the strain field can be measured using the SIFT technique, developing a new visual tool for measurement of mechanical tests that are not based on traditional techniques of image correlation.

[pt] Atualmente, sistemas de visão computacional em computadores portáteis estão se tornando uma importante ferramenta de uso pessoal. Sistemas de visão para localização de objetos é uma área de pesquisa muito ativa. Essa dissertação propõe um algoritmo para localizar posições no espaço e objetos em ambientes não instrumentados com o uso de uma câmera web e um computador pessoal. Para isso, são usados dois algoritmos de rastreamento de marcadores para reinicializar frequentemente um algoritmo de Visual Simultaneous Localisation and Mapping. Essa dissertação também apresenta uma implementação e um conjunto de testes para validar o algoritmo proposto. / [en] Nowadays, vision systems in portable computers are becoming an important tool for personal use. Vision systems for object localization are an active area of research. This dissertation proposes an algorithm to locate position and objects in a regular environment with the use of a simple webcam and a personal computer. To that end, we use two algorithms of marker tracking to reboot often a Visual Simultaneous Localisation and Mapping algorithm. This dissertation also presents an implementation and a set of tests that validate the proposed algorithm.

[pt] A quantidade de vídeos gravados no mundo cresce muito, não somente devido aos interesses e hábitos humanos em relação a esse tipo de mídia, mas também pela diversidade de dispositivos utilizados para criação de vídeos. No entanto, faltam informações sobre conteúdos em vídeo porque a geração de metadados é complexa e requer muito tempo para ser executado por humanos. Do ponto de vista da tecnologia, não é fácil superar os obstáculos relacionados à grande quantidade e diversidade de frames de vídeo. O trabalho propõe um sistema automatizado de reconhecimento facial para detectar personagens em vídeos. Ele foi desenvolvido para reconhecer personagens, a fim de aumentar os metadados de vídeo. Ele combina técnicas padrão de visão computacional para melhorar a precisão, processando os dados de saída dos modelos existentes de maneira complementar. O modelo teve um desempenho satisfatório usando um conjunto de dados da vida real de uma grande empresa de mídia. / [en] The amount of recorded video in the world is increasing a lot due not only to the humans interests and habits regarding this kind of media, but also the diversity of devices used to create them. However, there is a lack of information about video content because generating video meta-data is complex. It demands too much time to be performed by humans, and from the technology perspective, it is not easy to overcome obstacles regarding the huge amount and diversity of video frames. In this work we propose an automated face recognition system to detect and recognize humans within videos. It was developed to recognize characters,in order to increase video meta-data. It combines standard computer vision techniques to improved accuracy by processing existing models output data in a complementary manner. We evaluated the performance of the system in a real data set from a large media company.

[pt] Detecção e reconhecimento de objetos são uma questão importante na área de Visão Computacional, onde a sua realização em tempo real e com taxas baixas de falsos positivos tem se tornado o objetivo principal de inúmeras pesquisas, inclusive daquelas relacionadas às novas formas de interatividade na TV Digital. Esta dissertação propõe um sistema de software baseado em aprendizado de máquina que permite um treinamento eficiente para novos objetos e realiza o subseqüente reconhecimento destes objetos em tempo real, tanto para imagens estáticas como para vídeos digitais. O sistema é baseado no uso de características Haar do objeto, que requerem um baixo tempo de computação para o seu cálculo, e na utilização de classificadores em cascata, que permitem tanto um rápido descarte de áreas da imagem que não possuem o objeto de interesse, quanto uma baixa ocorrência de falsos positivos. Por meio do uso de técnicas de segmentação de imagem, o sistema torna a busca por objetos uma operação extremamente rápida em vídeos de alta resolução. Além disto, com a utilização de técnicas de paralelismo, pode-se detectar vários objetos simultaneamente sem perda de desempenho. / [en] Object detection and recognition are an important issue in the field of Computer Vision, where its accomplishment in both real time and low false positives rates has became the main goal of various research works, including the ones related to new interactivity forms in Digital TV. This dissertation proposes a software system based on machine learning that allows an efficient training for new objects and performs their subsequent recognition in real time, for both static images and digital videos. The proposed system is based on the use of Haar features of the object, which require a low computation time for their calculation, and on the usage of a cascade of classifiers, which allows a quick discard of image areas that does not contain the desired object while having a low occurrence of false positives. Through the use of image segmentation techniques, the system turns the search for objects into an extremely fast operation in high-resolution videos. Furthermore, through the use of parallelism techniques, one can simultaneously detect various objects without losing performance.

Sistemas de Interação Humano-Computador baseados em toque são uma tecnologia disseminada em tablets, smartphones e notebooks. Trata-se de um grande avanço que aumenta a facilidade de comunicação e, ao mesmo tempo, diminui a necessidade de interfaces como mouse e teclado. Entretanto, a superfície de interação utilizada por esses sistemas normalmente é equipada com sensores para a captação dos movimentos realizados pelo usuário, o que impossibilita transformar uma superfície planar qualquer (uma mesa, por exemplo) em uma superfície de interação. Por outro lado, a popularização de sensores de profundidade a partir do lançamento do Microsoft Kinect propiciou o desenvolvimento de sistemas que adotam objetos do dia a dia como superfícies de interação. Nesta dissertação é proposta uma interface natural para interação com superfícies planares utilizando uma câmera RGB-D em posição descendente. Inicialmente, o plano de interação é localizado na nuvem de pontos 3D através de uma variação do algoritmo RANSAC com coerência temporal. Objetos acima do plano são segmentados a partir da transformada watershed baseada em uma função de energia que combina cor, profundidade e informação de confiança. A cor de pele é utilizada para isolar as mãos, e os dedos que interagem com o plano são identificados por um novo processo de esqueletonização 2D. Finalmente, as pontas dos dedos são rastreadas com o uso do algoritmo Húngaro, e o filtro de Kalman é usado para produzir trajetórias mais suaves. Para demonstrar a utilidade da técnica, foi desenvolvido um protótipo que permite ao usuário desenhar em uma superfície de forma natural e intuitiva. / Touch-based Human-Computer Interfaces (HCIs) are a widespread technology present in tablets, smartphones, and notebooks. This is a breakthrough which increases the ease of communication and at the same time reduces the need for interfaces such as mouse and keyboard. However, the interaction surface used by these systems is usually equipped with sensors to capture the movements made by the user, making it impossible to substitute this surface by any other such as a table, for example. On the other hand, the progress of commercial 3D depth sensing technologies in the past five years, having as a keystone Microsoft’s Kinect sensor, has increased the interest in 3D hand gesture recognition using depth data. In this dissertation, we present a natural Human-Computer Interface (HCI) for interaction with planar surfaces using a topdown RGB-D camera. Initially, the interaction plane is located in the 3D point cloud by using a variation of RANSAC with temporal coherence. Off-plane objects are segmented using the watershed transform based on an energy function that combines color, depth and confidence information. Skin color information is used to isolate the hand(s), and a novel 2D skeletonization process identifies the interaction fingers. Finally, the fingertips are tracked using the Hungarian algorithm, and a Kalman filter is applied to produce smoother trajectories. To demonstrate the usefulness of the technique, we also developed a prototype in which the user can draw on the surface using lines and sprays in a natural way.

A mobilidade é uma marca da nossa civilização. Tanto o transporte de carga quanto o de passageiros compartilham de uma enorme infra-estrutura de conexões operados com o apoio de um sofisticado sistema logístico. Simbiose otimizada de módulos mecânicos e elétricos, os veículos evoluem continuamente com a integração de avanços tecnológicos e são projetados para oferecer o melhor em conforto, segurança, velocidade e economia. As regulamentações organizam o fluxo de transporte rodoviário e as suas interações, estipulando regras a fim de evitar conflitos. Mas a atividade de condução pode tornar-se estressante em diferentes condições, deixando os condutores humanos propensos a erros de julgamento e criando condições de acidente. Os esforços para reduzir acidentes de trânsito variam desde campanhas de re-educação até novas tecnologias. Esses tópicos têm atraído cada vez mais a atenção de pesquisadores e indústrias para Sistemas de Transporte Inteligentes baseados em imagens. Este trabalho apresenta um estudo sobre técnicas de detecção e classificação de sinalização vertical de trânsito em imagens de cenários de tráfego complexos. O sistema de reconhecimento visual automático dos sinais destina-se a ser utilizado para o auxílio na atividade de direção de um condutor humano ou como informação para um veículo autônomo. Com base nas normas para sinalização viária, foram testadas duas abordagens para a segmentação de imagens e seleção de regiões de interesse. O primeiro, uma limiarização de cor em conjunto com Descritores de Fourier. Seu desempenho não foi satisfatório. No entanto, utilizando os seus princípios, desenvolveu-se um novo método de filtragem de cores baseado em Lógica Fuzzy que, juntamente com um algoritmo de seleção de regiões estáveis em diferentes tons de cinza (MSER), ganhou robustez à oclusão parcial e a diferentes condições de iluminação. Para classificação, duas Redes Neurais Convolucionais curtas são apresentadas para reconhecer sinais de trânsito brasileiros e alemães. A proposta é ignorar cálculos complexos ou features selecionadas manualmente para filtrar falsos positivos antes do reconhecimento, realizando a confirmação (etapa de detecção) e a classificação simultaneamente. A utilização de métodos do estado da arte para treinamento e otimização melhoraram a eficiência da técnica de aprendizagem da máquina. Além disso, este trabalho fornece um novo conjunto de imagens com cenários de tráfego em diferentes regiões do Brasil, contendo 2.112 imagens em resolução WSXGA+. As análises qualitativas são mostradas no conjunto de dados brasileiro e uma análise quantitativa com o conjunto de dados alemão apresentou resultados competitivos com outros métodos: 94% de acurácia na extração e 99% de acurácia na classificação. / Mobility is an imprint of our civilization. Both freight and passenger transport share a huge infrastructure of connecting links operated with the support of a sophisticated logistic system. As an optimized symbiosis of mechanical and electrical modules, vehicles are evolving continuously with the integration of technological advances and are engineered to offer the best in comfort, safety, speed and economy. Regulations organize the flow of road transportation machines and help on their interactions, stipulating rules to avoid conflicts. But driving can become stressing on different conditions, leaving human drivers prone to misjudgments and creating accident conditions. Efforts to reduce traffic accidents that may cause injuries and even deaths range from re-education campaigns to new technologies. These topics have increasingly attracted the attention of researchers and industries to Image-based Intelligent Transportation Systems. This work presents a study on techniques for detecting and classifying traffic signs in images of complex traffic scenarios. The system for automatic visual recognition of signs is intended to be used as an aid for a human driver or as input to an autonomous vehicle. Based on the regulations for road signs, two approaches for image segmentation and selection of regions of interest were tested. The first one, a color thresholding in conjunction with Fourier Descriptors. Its performance was not satisfactory. However, using its principles, a new method of color filtering using Fuzzy Logic was developed which, together with an algorithm that selects stable regions in different shades of gray (MSER), the approach gained robustness to partial occlusion and to different lighting conditions. For classification, two short Convolutional Neural Networks are presented to recognize both Brazilian and German traffic signs. The proposal is to skip complex calculations or handmade features to filter false positives prior to recognition, making the confirmation (detection step) and the classification simultaneously. State-of-the-art methods for training and optimization improved the machine learning efficiency. In addition, this work provides a new dataset with traffic scenarios in different regions of Brazil, containing 2,112 images in WSXGA+ resolution. Qualitative analyzes are shown in the Brazilian dataset and a quantitative analysis with the German dataset presented competitive results with other methods: 94% accuracy in extraction and 99% accuracy in the classification.