Em geral, um problema importante em um sistema de soldagem robotizado, ou com manipuladores automáticos, é a necessidade de uma trajetória ser reprogramada quando a forma ou a posição das peças mudam. Como solução a esse problema é proposto um método que utiliza técnicas de visão computacional, para assim detectar a trajetória de soldagem em juntas de topo. O método deve ser dinâmico permitindo a identificação de juntas de topo com cantos não próximos, linhas não retas e tamanhos diferentes entre as peças, assim como apresentar robustez contra variáveis desfavoráveis do ambiente industrial como riscos nas peças ou no fundo e mudanças de luminosidade. A trajetória é detectada baseando-se na linha de bordas da imagem global e adicionalmente trabalha-se sobre duas características da linha de solda: distância quase constante entre linhas paralelas e pixels de linha de solda com menor intensidade de luminosidade que as bordas. Uma etapa é proposta para robustez do método sobre linha de bordas descontinuas e possíveis erros em ponto inicial e final de solda. O trabalho proposto é validado com distintas configurações de junta de topo, como com cantos de peças não coincidentes, linha de solda não reta e diferentes orientações de peças. Os pontos da trajetória de solda obtidos são comparados com uma linha de solda considerada ideal, resultando em uma média e desvio padrão geral inferiores à um valor de 0,5 mm. Uma validação experimental é realizada com uma solda executada por um robô industrial seguindo os pontos de solda detectados, com os resultados demostrando que o método efetivamente pode definir uma trajetória de solda para aplicações industriais robotizadas. / In general, one of the most important problems in a robotic welding system, or in automatic manipulations, is the requirement of a path trajectory to be reprogramed when the shape or the position of the welding pieces are changed. In order to detect the welding seam in butt joints, a method that makes use of computational vision techniques is proposed. The method needs to be dynamic against variation in the configuration of the pieces, so as curved or not straight seam lines, not coincident corners; beside of that, it must to present robustness against unfavorable variables of the industrial environment, so as scratches in the pieces or illumination changes. Two features of the welding line are taken into account to develop the method: almost constant distance between parallel seam lines and darker pixels in the center of the seam than in the borders. Moreover a robustness step is proposed over two weaknesses of the method: discontinuities in the edges of the welding line and possible errors in the location of the start and end welding points. The validation step of the method involves different configuration of butt joints, as pieces without corner being coincident, not straight welding line and different orientations. The points of the welding seam detected by the method, are compared against a set of welding points considered as an ideal set of points, getting as results a mean and standard deviation lower than ± 0.5 mm. An experimental test is carried out by an industrial robot that welds two pieces following the welding line points, with the results showing that the method can effectively define a welding trajectory for industrial robotics applications.

A presente tese apresenta a concepção de uma rede neural oscilatória e sua realização em arquitetura maciçamente paralela, a qual é adequada à implementação de chips de visão digitais para segmentação de imagens. A rede proposta, em sua versão final, foi denominada ONNIS-GI (Oscillatory Neural Network for Image Segmentation with Global Inhibition) e foi inspirada em uma rede denominada LEGION (Locally Excitatory Globally Inhibitory Oscillator Network), também de concepção recente. Inicialmente, é apresentada uma introdução aos procedimentos de segmentação de imagens, cujo objetivo é o de situar e enfatizar a importância do tema abordado dentro de um contexto abrangente, o qual inclui aplicações de visão artificial em geral. Outro aspecto abordado diz respeito à utilização de redes neurais artificiais em segmentação de imagens, enfatizando as denominadas redes neurais oscilatórias, as quais têm apresentado resultados estimulantes nesta área. A implementação de chips de visão, integrando sensores de imagens e redes maciçamente paralelas de processadores, é também abordada no texto, ressaltando o objetivo prático da nova rede neural proposta. No estudo da rede LEGION, são apresentados resultados de aplicações originais desenvolvidas em segmentação de imagens, nos quais é verificada sua propriedade de separação temporal dos segmentos. A versão contínua da rede, um arranjo paralelo de neurônios baseados em equações diferenciais, apresenta elevada complexidade computacional para implementação em hardware digital e muitos parâmetros, com procedimento de ajuste pouco prático. Por outro lado, sua arquitetura maciçamente paralela apresenta-se particularmente adequada à implementação de chips de visão analógicos com capacidade de segmentação de imagens. Com base nos bons resultados obtidos nas aplicações desenvolvidas, é proposta uma nova rede neural, em duas versões, ONNIS e ONNIS-GI, as quais suplantam a rede LEGION em diversos aspectos relativos à implementação prática. A estrutura dos elementos de processamento das duas versões da rede, sua implementação em arquitetura maciçamente paralela e resultados de simulações e implementações em FPGA são apresentados, demonstrando a viabilidade da proposta. Como resultado final, conclui-se que a rede ONNIS-GI apresenta maior apelo de ordem prática, sendo uma abordagem inovadora e promissora na solução de problemas de segmentação de imagens, possuindo capacidade para separar temporalmente os segmentos encontrados e facilitando a posterior identificação dos mesmos. Sob o ponto de vista prático, a nova rede pode ser utilizada para implementar chips de visão digitais com arquitetura maciçamente paralela, explorando a velocidade de tais topologias e apresentando também flexibilidade para implementação de procedimentos de segmentação de imagens mais sofisticados.

Made available in DSpace on 2016-12-23T14:33:40Z (GMT). No. of bitstreams: 1 camilodissertacao 1.pdf: 1333302 bytes, checksum: 388e76b982d3fcda211a4b13f3a4c813 (MD5) Previous issue date: 2009-08-31 / The images formed on our retinae are bidimensional; however, from them our brain is capable of synthesizing a 3D representation with color, shape and depth information about the objects in the surrounding environment. For that, after choosing a point in 3D space, our eyes verge to this point and, at the same time, the visual system is fed back with the eyes position information, interpreting it as the distance of this point to the observer. Depth perception around the vergence point is obtained using visual disparity, i.e., the difference between the positions in the retinae of the two projections of a given point in 3D space caused by the horizontal separation of the eyes. Most of the depth perception processing is done in the visual cortex, mainly in the primary (V1) and medial temporal (MT) areas. In this work, we developed a parallel implementation in C+CUDA of model, built at UFES, of the neural architecture of the V1 and MT cortices that uses as building blocks previous models of cortical cells and log-polar mapping. A sequential implementation of this model can create tridimensional representations of the external world using stereoscopic image pairs obtained from a pair of fronto-parallel cameras. Our C+CUDA parallel implementation is almost 60 times faster and allows real-time 3D reconstruction. / As imagens projetadas em nossas retinas são bidimensionais; entretanto, a partir delas, o nosso cérebro é capaz de sintetizar uma representação 3D com a cor, forma e informações de profundidade sobre os objetos ao redor no ambiente. Para isso, após a escolha de um ponto no espaço 3D, os nossos olhos vergem em direção a este ponto e, ao mesmo tempo, o sistema visual é realimentado com informações sobre o posicionamento dos olhos, interpretando-as como a distância deste ponto ao observador. A percepção de profundidade ao redor do ponto de vergência é obtida utilizando-se a disparidade entre as imagens direita e esquerda, ou seja, a diferença entre as posições, nas retinas, das duas projeções de um determinado ponto no espaço 3D causada pela separação horizontal dos olhos. A maior parte do processamento da percepção da profundidade é feita no córtex visual, principalmente na área primária (V1) e temporal medial (MT). Neste trabalho, foi desenvolvida uma implementação em C+CUDA de um modelo, criado na UFES, da arquitetura neural dos córtices V1 e MT que usa como base modelos anteriores de células corticais e mapeamento log-polar. A implementação seqüencial deste modelo é capaz de construir uma representação tridimensional do mundo externo por meio de pares de imagens estereoscópicas obtidas a partir de um par de câmeras fronto-paralelas. Nossa implementação paralela em C+CUDA é quase 60 vezes mais rápida que a seqüencial e permite a reconstrução 3D em tempo real.

Submitted by Luciana Ferreira (lucgeral@gmail.com) on 2015-10-22T10:39:54Z No. of bitstreams: 3 Dissertação - Allan Vieira Ribeiro - 2015 - (1).pdf: 19782585 bytes, checksum: 51734bf1c8c3a5b6cb075bdb2b56d15e (MD5) Dissertação - Allan Vieira Ribeiro - 2015 - (2).pdf: 2911674 bytes, checksum: 74048cd5a1205ba6f95a6c5ba93c6f3a (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2015-10-22T10:43:28Z (GMT) No. of bitstreams: 3 Dissertação - Allan Vieira Ribeiro - 2015 - (1).pdf: 19782585 bytes, checksum: 51734bf1c8c3a5b6cb075bdb2b56d15e (MD5) Dissertação - Allan Vieira Ribeiro - 2015 - (2).pdf: 2911674 bytes, checksum: 74048cd5a1205ba6f95a6c5ba93c6f3a (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Made available in DSpace on 2015-10-22T10:43:28Z (GMT). No. of bitstreams: 3 Dissertação - Allan Vieira Ribeiro - 2015 - (1).pdf: 19782585 bytes, checksum: 51734bf1c8c3a5b6cb075bdb2b56d15e (MD5) Dissertação - Allan Vieira Ribeiro - 2015 - (2).pdf: 2911674 bytes, checksum: 74048cd5a1205ba6f95a6c5ba93c6f3a (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) Previous issue date: 2015-05-27 / This work proposes a way to classify corn kernels according to the Ministério da Agricultura, Pecuária e Abastecimento’s laws. It was used digital imaging processing techniques to develop a mobile application for doing the classification after capturing the corn kernels image. / Este trabalho propõe um método de classificação de grãos de milho de acordo com as leis definidas pelo Ministério da Agricultura, Pecuária e Abastecimento. Foi utilizada técnicas de processamento digital de imagens para desenvolvimento de um aplicativo móvel para realização da classificação após a captura da imagem dos grãos.

[pt] Esta dissertação apresenta uma metodologia para medição visual de campos de deformações (2D) em materiais, por meio da aplicação da técnica SIFT (Scale Invariant Feature Transform). A análise de imagens capturadas é feita por uma câmera digital em estágios diferentes durante o processo de deformação de um material quando este é submetido a esforços mecânicos. SIFT é uma das técnicas modernas de visão computacional e um eficiente filtro para extração e descrição de pontos de características relevantes em imagens, invariantes a transformações em escala, iluminação e rotação. A metodologia é baseada no cálculo do gradiente de funções que representam o campo de deformações em um material durante um ensaio mecânico sob diferentes condições de contorno. As funções são calibradas com a aplicação da análise inversa sobre o conjunto de pontos homólogos de duas imagens extraídos pelo algoritmo SIFT. A formulação da solução ao problema inverso combina os dados experimentais fornecidos pelo SIFT e o método linear de mínimos quadrados para estimação dos parâmetros de deformação. Os modelos propostos para diferentes corpos de prova são avaliados experimentalmente com a ajuda de extensômetros para medição direta das deformações. O campo de deformações identificado pelo sistema de visão computacional é comparado com os valores obtidos pelos extensômetros e por simulações feitas no programa de Elementos Finitos ANSYS. Os resultados obtidos mostram que o campo de deformações pode ser medido utilizando a técnica SIFT, gerando uma nova ferramenta visual de medição para ensaios mecânicos que não se baseia nas técnicas tradicionais de correlação de imagens. / [en] This thesis presents a methodology for measurement of strain fields in materials by applying the SIFT technique (Scale Invariant Feature Transform). The images analyzed are captured by a digital camera at different stages during the deformation process of a material when it is subjected to mechanical stress. SIFT is one of the modern computer vision techniques and an efficient filter for extraction and description of relevant feature points in images. These interest points are largely invariant to changes in scale, illumination and rotation. The methodology is based on the calculation of the gradient of the functions that represents the corresponding strain field in the material during a mechanical test under different boundary conditions. The functions are calibrated with the application of inverse analysis on the set of homologous points of two images extracted by the SIFT algorithm. The formulation of the solution to the inverse problem combines the experimental data processed by the SIFT and linear least squares method for the estimation of strain parameters. The proposed models for different specimens are evaluated experimentally with strain gauges for direct measurement of the deformations. The strain field identified by the computer vision system is compared with values obtained by strain gauges and simulations with the ANSYS finite element program. The proposed models for different types of measurements are experimentally evaluated with strain gages, including the estimation of mechanical properties. The results show that the strain field can be measured using the SIFT technique, developing a new visual tool for measurement of mechanical tests that are not based on traditional techniques of image correlation.

[pt] Atualmente, sistemas de visão computacional em computadores portáteis estão se tornando uma importante ferramenta de uso pessoal. Sistemas de visão para localização de objetos é uma área de pesquisa muito ativa. Essa dissertação propõe um algoritmo para localizar posições no espaço e objetos em ambientes não instrumentados com o uso de uma câmera web e um computador pessoal. Para isso, são usados dois algoritmos de rastreamento de marcadores para reinicializar frequentemente um algoritmo de Visual Simultaneous Localisation and Mapping. Essa dissertação também apresenta uma implementação e um conjunto de testes para validar o algoritmo proposto. / [en] Nowadays, vision systems in portable computers are becoming an important tool for personal use. Vision systems for object localization are an active area of research. This dissertation proposes an algorithm to locate position and objects in a regular environment with the use of a simple webcam and a personal computer. To that end, we use two algorithms of marker tracking to reboot often a Visual Simultaneous Localisation and Mapping algorithm. This dissertation also presents an implementation and a set of tests that validate the proposed algorithm.

[pt] Esta dissertação tem por objetivo analisar como ocorre a interação entre informações de ordens linguística e visual em experimentos de compreensão de linguagem. Sentenças do português nas vozes ativa e passiva e com verbos de perspectiva (perseguir/fugir) foram analisadas a partir da técnica de comparação sentença-imagem, com manipulação de posição ocupada na imagem pelo personagem correspondente ao sujeito da sentença (esquerda vs. direita) e também do papel temático (agente/fonte vs. paciente/alvo) de um dos personagens sobre o qual recaía um recurso de manipulação de atenção visual. Do ponto de vista teórico, proble-matizou-se a interação entre conteúdos proposicionais oriundos do processamento visual e linguístico com base em uma articulação entre a faculdade da linguagem no sentido amplo (Hauser, Chomsky & Fitch, 2002) e a teoria da modularidade da mente (Fodor, 1983). Os resultados de dois experimentos realizados com falantes de português sugerem que, no mapeamento sentença-imagem, a posição do personagem correspondente ao sujeito não parece ser um fator relevante, a não ser em estruturas mais complexas, como no caso de sentenças envolvendo verbos de perspectiva em que o papel temático do sujeito não é prototípico. Em relação a papel temático, o fato de o foco atencional numa imagem estar sobre um elemento que corresponde a um sujeito com papel prototípico de agente parece facilitar o proces-samento. Quanto aos tipos de estrutura, como já verificado na literatura psicolin-guística, estruturas ativas parecem ser menos complexas do que passivas e facilitam o mapeamento visual. Quanto à expressão de perspectiva, verbos de perspectiva que empreendem um sujeito paciente/alvo parecem demandar maior custo de pro-cessamento, possivelmente em função de questões de acesso e representação lexical associadas a esses verbos. / [en] This dissertation aims to analyze how the interface between linguistic and visual information occurs based on language comprehension experiments. Active and passive voice sentences, as well as perspective predicates were analyzed using a sentence-image verification technique. The position of the characters representing the subject were manipulated (left-right orientation), and so were their theme roles (agent/source vs. patient/target) by means of attention manipulation. The proposi-tional theory, a relation between the faculty of language in the broad sense (Hauser, Chomsky and Fitch, 2002) and the modularity of mind theory (Fodor, 1983) were presented so as to explain how the interface between linguistic and visual information occurs. Our experiments were carried out with Portuguese speakers, and results indicate that during sentence-image mapping, left-right orientation does not seem to be a relevant factor, except for more complex structures, such as perspec-tive predicates where the subject s theme role is not prototypical. As for theme roles, the attention manipulation on the subject character seems to facilitate lan-guage processing. As for sentence types, active voice sentences seem to be pro-cessed more easily than passive ones. Perspective predicates whose subjects take a passive/target role seem to demand higher processing costs, possibly because of lexical access and representation.

[pt] A quantidade de vídeos gravados no mundo cresce muito, não somente devido aos interesses e hábitos humanos em relação a esse tipo de mídia, mas também pela diversidade de dispositivos utilizados para criação de vídeos. No entanto, faltam informações sobre conteúdos em vídeo porque a geração de metadados é complexa e requer muito tempo para ser executado por humanos. Do ponto de vista da tecnologia, não é fácil superar os obstáculos relacionados à grande quantidade e diversidade de frames de vídeo. O trabalho propõe um sistema automatizado de reconhecimento facial para detectar personagens em vídeos. Ele foi desenvolvido para reconhecer personagens, a fim de aumentar os metadados de vídeo. Ele combina técnicas padrão de visão computacional para melhorar a precisão, processando os dados de saída dos modelos existentes de maneira complementar. O modelo teve um desempenho satisfatório usando um conjunto de dados da vida real de uma grande empresa de mídia. / [en] The amount of recorded video in the world is increasing a lot due not only to the humans interests and habits regarding this kind of media, but also the diversity of devices used to create them. However, there is a lack of information about video content because generating video meta-data is complex. It demands too much time to be performed by humans, and from the technology perspective, it is not easy to overcome obstacles regarding the huge amount and diversity of video frames. In this work we propose an automated face recognition system to detect and recognize humans within videos. It was developed to recognize characters,in order to increase video meta-data. It combines standard computer vision techniques to improved accuracy by processing existing models output data in a complementary manner. We evaluated the performance of the system in a real data set from a large media company.

[pt] A Visão Computacional pode ser utilizada para capturar gestos e criar dispositivos de interação com computadores mais intuitivos e rápidos. Os dispositivos comerciais atuais de interação baseados em gestos utilizam equipamentos caros (dispositivos de seguimento, luvas, câmeras especiais, etc.) e ambientes especiais que dificultam a difusão para o público em geral. Este trabalho apresenta um estudo sobre a viabilidade de utilizarmos câmeras Web como dispositivo de interação baseado em gestos da Mão. Em nosso estudo consideramos que a mão humana está limpa, isto é, sem nenhum dispositivo (mecânico, magnético ou óptico) colocado nela. Consideramos ainda que o ambiente onde ocorre a interação tem as características de um ambiente de trabalho normal, ou seja, sem luzes ou panos de fundo especiais. Para avaliar a viabilidade deste mecanismo de interação, desenvolvemos alguns protótipos. Neles os gestos da mão e as posições dos dedos são utilizados para simular algumas funções presentes em mouses e teclados, tais como selecionar estados e objetos e definir direções e posições. Com base nestes protótipos apresentamos algumas conclusões e sugestões para trabalhos futuros. / [en] Computer Vision can be used to capture gestures and create more intuitive and faster devices to interact with computers. Current commercial gesture-based interaction devices make use of expensive equipment (tracking devices, gloves, special cameras, etc.) and special environments that make the dissemination of such devices to the general public difficult. This work presents a study on the feasibility of using Web cameras as interaction devices based on hand-gestures. In our study, we consider that the hand is clean, that is, it has no (mechanical, magnetic or optical) device. We also consider that the environment where the interaction takes place has the characteristics of a normal working place, that is, without special lights or backgrounds. In order to evaluate the feasibility of such interaction mechanism, we have developed some prototypes of interaction devices. In these prototypes, hand gestures and the position of fingers were used to simulate some mouse and keyboard functions, such as selecting states and objects, and defining directions and positions. Based on these prototypes, we present some conclusions and suggestions for future works.

[pt] Detecção e reconhecimento de objetos são uma questão importante na área de Visão Computacional, onde a sua realização em tempo real e com taxas baixas de falsos positivos tem se tornado o objetivo principal de inúmeras pesquisas, inclusive daquelas relacionadas às novas formas de interatividade na TV Digital. Esta dissertação propõe um sistema de software baseado em aprendizado de máquina que permite um treinamento eficiente para novos objetos e realiza o subseqüente reconhecimento destes objetos em tempo real, tanto para imagens estáticas como para vídeos digitais. O sistema é baseado no uso de características Haar do objeto, que requerem um baixo tempo de computação para o seu cálculo, e na utilização de classificadores em cascata, que permitem tanto um rápido descarte de áreas da imagem que não possuem o objeto de interesse, quanto uma baixa ocorrência de falsos positivos. Por meio do uso de técnicas de segmentação de imagem, o sistema torna a busca por objetos uma operação extremamente rápida em vídeos de alta resolução. Além disto, com a utilização de técnicas de paralelismo, pode-se detectar vários objetos simultaneamente sem perda de desempenho. / [en] Object detection and recognition are an important issue in the field of Computer Vision, where its accomplishment in both real time and low false positives rates has became the main goal of various research works, including the ones related to new interactivity forms in Digital TV. This dissertation proposes a software system based on machine learning that allows an efficient training for new objects and performs their subsequent recognition in real time, for both static images and digital videos. The proposed system is based on the use of Haar features of the object, which require a low computation time for their calculation, and on the usage of a cascade of classifiers, which allows a quick discard of image areas that does not contain the desired object while having a low occurrence of false positives. Through the use of image segmentation techniques, the system turns the search for objects into an extremely fast operation in high-resolution videos. Furthermore, through the use of parallelism techniques, one can simultaneously detect various objects without losing performance.