The purpose of this project is to implement, analyze and compare visual odometry approaches to help the localization task in autonomous vehicles. The stereo visual odometry algorithm Libviso2 is compared with a proposed omnidirectional multi-camera approach. The proposed method consists of performing monocular visual odometry on all cameras individually and selecting the best estimate through a voting scheme involving all cameras. The omnidirectionality of the vision system allows the part of the surroundings richest in features to be used in the relative pose estimation. Experiments are carried out using cameras Bumblebee XB3 and Ladybug 2, fixed on the roof of a vehicle. The voting process of the proposed omnidirectional multi-camera method leads to some improvements relatively to the individual monocular estimates. However, stereo visual odometry provides considerably more accurate results. / O objetivo deste mestrado é implementar, analisar e comparar abordagens de odometria visual, de forma a contribuir para a localização de um veículo autônomo. O algoritmo de odometria visual estéreo Libviso2 é comparado com um método proposto, que usa um sistema multi-câmera omnidirecional. De acordo com este método, odometria visual monocular é calculada para cada câmera individualmente e, seguidamente, a melhor estimativa é selecionada através de um processo de votação que involve todas as câmeras. O fato de o sistema de visão ser omnidirecional faz com que a parte dos arredores mais rica em características possa sempre ser usada para estimar a pose relativa do veículo. Nas experiências são utilizadas as câmeras Bumblebee XB3 e Ladybug 2, fixadas no teto de um veículo. O processo de votação do método multi-câmera omnidirecional proposto apresenta melhorias relativamente às estimativas monoculares individuais. No entanto, a odometria visual estéreo fornece resultados mais precisos.

Orientador: Jozué Vieira Filho / Resumo: Neste trabalho propõe-se um método que envolve diferentes técnicas de processamento digital de imagem para a correção automática de cartão de respostas utilizados em avaliações de múltipla- escolha, vestibulares, concursos ou processos de seleção. O método tem como base um modelo de referência onde são identificados os seguintes elementos do cartão: campos de marcação das opções, número de opção de cada questão e uma imagem de marcação para identificar as extremidades da folha. No trabalho foi aplicada a técnica de Correlação Cruzada Normalizada para identificação da imagem na extremidade da folha. A Transformada de Hough foi utilizada para identificação das áreas onde se realiza a marcação das opções. Para identificar qual a questão que foi marcada utilizou-se a contagem de pixel. Foram realizados testes com 1.154 gabaritos contendo 40 questões, preenchidos no vestibular de uma faculdade particular. O tempo médio para correção de cada cartão foi de 1,39 segundos. A precisão do método foi avaliada utilizando-se 5% dos cartões digitalizados e processados. Basicamente, a avaliação foi realizada conferindo-se visualmente cada cartão e comparando os resultados com os gerados pela correção automática. O índice de acerto com as amostras utilizadas foi de 100%, o que comprova a eficiência do método proposto. / Abstract: This work proposes a method that involves different techniques of digital image processing for automatic correction of card responses used in multiple-choice evaluations, “vestibular”, contests or selection processes. The method is based on a reference model where the following elements of the card are identified: marking fields of the options, the option number of each question and a marking image to identify the edges of the sheet. In this work, the Normalized Cross-Correlation technique was applied to identify the image at the leaf end. The Hough Transform was used to identify the areas where the options are marked. To identify which question was selected, the pixel count was used. We performed tests with 1.154 templates containing 40 questions that were completed in the entrance examination of a private college. The average time to correct each card was 1.39 seconds. Samples were collected on 5% of the scanned and processed cards by the method to verify their accuracy. The total sampled was visually checked with the results presented by the application of the method and it was verified the percentage of 100% of correct answers in the reading of the markings. / Mestre

One of the problems in robotics is called Simultaneous Location and Mapping (SLAM), and lies in the necessity of a robot to localize itself on the environment while simultaneously mapping it. The use of stereoscopic systems is one approach to solve this problem. Theses systems are composed by high cost cameras synchronized via hardware, while low cost cameras are more restrict to applications with low or no movement. This research proposes a low cost system by using stereoscopy with a low baseline and low horizontal field of view cameras, synchronizing them via software, along with a filter based on the density of the disparity map of the captured images, with the intent to discard badly rectified frames, which implies desynchronization. Additionally, an Android app capable of obtaining and transmitting sensory data from a smartphone, like GPS and orientation, was developed, reducing the cost and increasing the system’s accessibility. From these data, calibration and processing datasets were generated, so they could be analyzed afterward. The combination of visual odometry and the smartphone’s sensory data contained in the datasets resulted in a system capable of obtaining its localization without previous knowledge of the environment with a similar error to the ones obtained by well established high cost techniques. However, the GPS data was imprecise in low speed scenarios, while the high electromagnetic interference and the low amount of lateral points of reference harmed the device’s orientation data and the visual odometry calculation in the high speed scenario. The system isn’t capable of real time processing, given the need to analyze every frame so they can be filtered, discarding about 60% of them. It was demonstrated that the proposed low cost system was capable of keeping a low error in return of a high processing time, potentially reducing the cost and increasing the accessibility of VSLAM applications. Due to the system’s modularity, it’s possible to replace its components without many implementation changes, allowing the use of better precision devices in future work. / Um dos problemas na área da robótica é chamado de Simultaneous Location and Mapping (SLAM), e consiste da necessidade de um robô localizar-se no ambiente e mapeá-lo. O uso de sistemas estereoscópicos é uma abordagem utilizada para a resolução deste problema. Estes sistemas são compostos de câmeras sincronizadas via hardware de alto custo, enquanto câmeras de baixo custo tem seu uso mais restrito para aplicações onde há pouca movimentação. Desta maneira, este trabalho visa propor sistema de baixo custo ao utilizar estereoscopia com baixa baseline e câmeras com baixo ângulo de visão horizontal, e sua sincronização realizada via software, em conjunto com um filtro baseado na densidade do mapa de disparidades das imagens capturadas, que tem por objetivo descartar frames não retificados corretamente, o que implica a sua dessincronização. Adicionalmente, foi desenvolvido um aplicativo Android capaz de obter e transmitir dados sensoriais de um smartphone, como GPS e orientação, reduzindo o custo e aumentando a acessibilidade do sistema. A partir destes dados foi possível gerar datasets de calibração e processamento para que pudessem ser analisados posteriormente. Ao combinar a odometria visual com os dados de sensores do smartphone contidos nos datasets, obteve-se um sistema capaz de obter sua localização sem conhecimento prévio do ambiente com um erro similar aos obtidos por técnicas já consolidadas de alto custo. Contudo, os dados de GPS mostraramse imprecisos em cenários de baixa velocidade, enquanto a interferência eletromagnética e a baixa quantidade de pontos de referência laterais prejudicaram a leitura da orientação do dispositivo e o cálculo da odometria visual no cenário de alta velocidade. Constata-se que o sistema não é capaz de realizar processamento em tempo real, dada a necessidade de avaliação todos os frames para que sejam filtrados, descartando-se em torno de 60% dos mesmos. Desta maneira, foi demonstrado que o sistema proposto de baixo custo foi capaz de manter um erro baixo em troca de um alto tempo de processamento, potencialmente reduzindo o custo e aumentando a acessibilidade de aplicações VSLAM. Devido à modularidade do sistema, é possível substituir seus componentes sem grandes alterações em sua implementação, viabilizando o uso de dispositivos com maior precisão em trabalhos futuros.

Apresentamos neste trabalho o desenvolvimento de um método para o reconhecimento do Formato de Objetos Tri-dimensionais. Os sistemas tradicionais de Visão Computacional empregam imagens bi-dimensionais obtidos através de câmeras de TV, ricas em detalhes necessários a visão humana. Estes detalhes em grande parte das aplicações industriais de Robôs são supérfluos. Os algoritmos tradicionais de classificação consomem portanto muito tempo no processamento deste excesso de informação. Para este trabalho, desenvolvemos um sistema dedicado para reconhecimento que utiliza um feixe de Laser defletido sobre um objeto e a digitalização da Luminância em cada ponto de sua superfície. A intensidade luminosa refletida e proporcional a distância do ponto ao observador. É, portanto, possível determinar parâmetros que classifiquem cada objeto. A inclinação de cada face de um poliedro, o comportamento de suas fronteiras e também a existência de arestas internas, são as características adotadas. Estas características são então rotuladas, permitindo que o programa de classificação busque em um \"banco de conhecimento\" previamente estabelecido, a descrição dos objetos. Uma mesa giratória permite a rotação do modele fornecendo novas vistas ao observador, determinando sua classificação. Todo o sistema é controlado por um microcomputador cujo programa reconhece em tempo real o objeto em observação. Para o protótipo construído, utilizamos um Laser de HeNe sendo a recepção do raio refletido realizada por um fototransistor. Os objetos reconhecíveis pelo programa são poliedros regulares simples, compondo o seguinte conjunto: 1 prisma de base triangular, 1 cubo, 1 pirâmide de base triangular, 1 pirâmide de base retangular. O tratamento matemático empregado visa a comprovação da tecnologia proposta, podendo, na continuação de trabalhos futuros, ser efetivamente estendido a diversos outros objetos como, por exemplo, os de superfícies curvas. / We present in this work a new method for three dimensional Shape Recognition. Traditional Computer Vision systems use bi-dimensional TV camera images. In most of the industrial Robotic applications, the excess of detail obtained by the TV camera is needless. Traditional classification algorithms spend a lot of time to process the excess of information. For the present work we developed a dedicated recognition system, which deflects a Laser beam over an object and digitizes the Reflected beam point by point over the surface. The intensity of the reflected beam is proportional to the observer distance. Using this technique it was possible to establish features to classify various objects. These features are the slope of the polyhedral surfaces, the boundary type and the inner edges. For each object the features are labeled and the classification algorithm searches in a \"knowledge data base\" for the object description. The recognition system used a He-Ne Laser and the reflected signal was captured by a photo-transistor. The object to be recognized is placed over a rotating table which can be rotated, supplying a new view for the classification. A microcomputer controls the system operation and the object is recognized in real time. The recognized objects were simple regular polyhedral, just as: 1 triangular base prism, 1 cube, 1 triangular base pyramid, 1 rectangular base pyramid. To check that the proposed technology was correct, we used a dedicated mathematical approach, which can be extended to other surfaces, such as curves, in future works.

Made available in DSpace on 2016-06-02T19:06:07Z (GMT). No. of bitstreams: 1 5428.pdf: 4673420 bytes, checksum: 83314c7f075f21d0c118b9716342077e (MD5) Previous issue date: 2013-06-03 / Universidade Federal de Sao Carlos / The techniques of computer vision have been used more and more by the industries in order to aid the automation of their processes; however, the implementation of computer vision techniques has several difficulties according with the application. Such techniques are limited to the computational cost along with its complexity. Problems of elements identification in industrial sceneries are examples of an application that can generate a larger complexity in the process automation. Researches are accomplished using several techniques for solving those difficulties. This work approaches the field of computer vision through the use of artificial intelligence techniques. Here, methods are evaluated for creation and replication of binary images filters through the use of the genetic programming with the objective of elements identification in an industrial scenery. Two methods that possess different approaches are evaluated; one uses operations between pixels and other mathematical morphology for objects detection. The results are presented qualitatively as well as quantitatively through comparative images of the evaluated methods and statistical measures, respectively. Through the GPLab toolbox together with Matlab, the automatic creation of filters for objects identification was possible, so the detection and deletion of elements in images can be used by other support systems to automatic operation in an industrial environment. The results established a efficient way of filter creation with the use of the genetic programming. / As técnicas de visão computacional têm sido utilizadas cada vez mais pelas indústrias para o auxílio da automação de seus processos, porém, a implementação das técnicas de visão computacional encontra diversas dificuldades de acordo com a aplicação. Tais técnicas são limitadas ao custo computacional de acordo com sua complexidade. Problemas de identificação de elementos em cenários industriais são exemplos de uma aplicação que pode gerar uma maior complexidade na automação do processo. Pesquisas são realizadas utilizando diversas técnicas para a solução dessas dificuldades. Este trabalho aborda o campo de visão computacional através da utilização de técnicas de inteligência artificial. Aqui são avaliados métodos para criação e replicação de filtros de imagens binárias através da utilização da programação genética com o objetivo de identificação de elementos em um cenário industrial. São avaliados dois métodos que possuem abordagens diferentes, um utiliza operações entre pixels e outra morfologia matemática para a detecção de objetos. Os resultados são apresentados tanto qualitativamente quanto quantitativamente através de imagens comparativas dos métodos avaliados e das medidas estatísticas, respectivamente. Através da utilização de toolbox GPLab em conjunto com o Matlab, foi possível a criação de filtros de forma automática para identificação de objetos, de forma que a detecção e remoção de elementos em imagens possa ser utilizada por outros sistemas de apoio ao funcionamento automático em um ambiente industrial. Os resultados estabeleceram uma forma de criação de filtros eficiente a partir da utilização da programação genética.

Ore classification is useful for understanding and controlling industrial beneficiation processes. The present work contributes to the developement of a computer vision system for automated classification of iron ores by image analysis of optical micrographs. For this purpose, morphological feature extraction algorithms were implemented and feature based classification algorithms were developed. These methods were successfully applied to the classification of hematite grains into four classes determined by their shape (lamellar or granular) and porosity (porous and compact) as characterized by just four features, namely, circularity, aspect ratio, fiber ratio and porosity. / A classificação de minérios é útil para o entendimento e controle processos de beneficiamento industrial. O presente trabalho contribui para o desenvolvimento de um sistema de visão computacional para realizar a classificação automática de minério de ferro por análise de imagens de micrografia ótica. Com este propósito, algoritmos de extração de características morfológicas foram implementados e algoritmos de classificação com base em características foram desenvolvidos. Estes métodos foram aplicados com sucesso à classificação de grãos de hematita em quatro classes determinadas pela sua forma (lamelar ou granular) e porosidade (porosa e compacta) utilizando apenas quatro características, a saber, circularidade, razão de aspecto, razão de fibra e porosidade.

Este trabalho apresenta novos métodos para análise de formas tridimensionais dentro do contexto de visão computacional, destacando-se o uso das transformadas wavelets 1D, 2D e 3D, as quais proporcionam uma análise multi-escala das formas estudadas. As formas analisadas se dividem em três tipos diferentes, dependendo da sua representação matemática: f(t)=(x(t),y(t),z(t)), f(x,y)=z e f(x,y,z)=w. Cada tipo de forma é analisado por um método melhor adaptado. Primeiramente, tais formas passam por uma rotina de pré-processamento e, em seguida, pela caracterização por meio da aplicação das transformadas wavelet 1D, 2D e 3D para as respectivas formas. Esta aplicação nos permite extrair características que sejam invariantes à rotação e translação, levando em consideração alguns conceitos matemáticos da geometria diferencial. Destaca-se também neste trabalho a não obrigatoriedade de parametrização das formas. Os resultados obtidos a partir de formas extraídas de imagens médicas e dados biológicos, que justificam este trabalho, são apresentados. / This work presents new methods for three-dimensional shape analysis in the context of computational vision, being emphasized the use of 1D, 2D and 3D wavelet transforms, which provide a multiscale analysis of the studied shapes. The analyzed shapes are divided in three different types depending on their representation: f(t)=(x(t),y(t),z(t)), f(x,y)=z and f(x,y,z)=w. Each type of shape is analyzed by a more suitable method. Firstly, such shapes undergo a pre-processing procedure followed by the characterization using the 1D, 2D or 3D wavelet transform, depending on its representation. This application allows to extract features that are rotation- and translation-invariant, based on some mathematical concepts of differential geometry. In this work, we emphasize that it is not necessary to use the parameterized version of the 2D and 3D shapes. The experimental results obtained from shapes extracted from medical and biological images, that corroborate the introduced methods, are presented.

Submitted by Franciele Moreira (francielemoreyra@gmail.com) on 2018-08-17T13:33:19Z No. of bitstreams: 2 Dissertação - Carlos Alberto de Sousa Parente Rodrigues - 2018.pdf: 6333824 bytes, checksum: a035fcc2026db7dbe0a7b6945a83690e (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2018-08-20T10:46:35Z (GMT) No. of bitstreams: 2 Dissertação - Carlos Alberto de Sousa Parente Rodrigues - 2018.pdf: 6333824 bytes, checksum: a035fcc2026db7dbe0a7b6945a83690e (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2018-08-20T10:46:35Z (GMT). No. of bitstreams: 2 Dissertação - Carlos Alberto de Sousa Parente Rodrigues - 2018.pdf: 6333824 bytes, checksum: a035fcc2026db7dbe0a7b6945a83690e (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2018-03-16 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / This work presents a study of convolutional networks to segment and classify images. The purpose of this network is to eventually give more autonomy to LEIA 1 robot, using the computer vision information in its processing. Methods such as this attempts to adapt the visual perception system of living beings. The complexity of this task lies in not having sufficient understanding of the biological system to model a system capable of processing images with the same speed and efficiency as a human. To accomplish this work, two different convolutional network architectures were validated. The first network has 13 layers, while the second has 15 layers, and more adjustable weights than the first one. For training and validation, a slice of Playing for Data dataset was used and adapted. The training set was composed of 300 images, and the network was validated using 2500 patterns. For each architecture, three training routines were performed, using the Adam, Nadam and Adamax methods. The most relevant results used the 15-layer architecture with Adamax optimizer. / Este trabalho apresenta um estudo de redes convolucionais para segmentar e classificar imagens. O objetivo desta rede é futuramente deixar o robô LEIA 1 mais autônomo, utilizando as informações de visão computacional no seu processamento. Métodos como esse são tentativas de adaptação do sistema de processamento de visão dos seres vivos. A complexidade desta tarefa está em não haver entendimento suficiente do sistema biológico para modelar um sistema capaz de processar imagens com a mesma velocidade e eficiência que um ser humano. Para realizar este trabalho, duas diferentes arquiteturas de redes completamente convolucionais foram validadas. A primeira rede possui 13 camadas, enquanto a segunda possui 15 camadas, e mais pesos ajustáveis do que a primeira. Para o treinamento e validação, uma parcela do dataset Playing for Data foi utlizado e adaptado. O conjunto de treinamento foi composto de 300 imagens, e a rede foi validada utilizando 2500 padrões. Para cada arquitetura, três rotinas de treinamento foram executadas, com os métodos Adam, Nadam e Adamax. Os resultados mais relevantes utilizaram a arquitetura de 15 camadas com o otimizador Adamax.

As redes complexas têm recebido um crescente interesse nas mais diversas áreas do conhecimento. Esse crescimento se deve principalmente a sua flexibilidade em modelar e simular estruturas topológicas que aparecem em nosso cotidiano. Na maioria das vezes, a caracterização das redes complexas é baseada em medidas básicas, como média dos graus, graus hierárquicos, coeficiente de aglomeração, entre outras. Muitas das medidas propostas são correlacionadas, implicando em redundância. Este trabalho propõe o uso das caminhadas determinísticas do turista como uma medida de representação robusta e eficiente de redes complexas. Nesta medida, caminhadas são iniciadas por exploradores que partem de um dos vértices da rede e em seguida, informações são extraídas sobre essas caminhadas. Experimentos foram realizados em redes complexas artificiais e em redes modelando imagens de textura. No reconhecimento de redes artificiais, o método proposto foi aplicado em quatro modelos de redes complexas teóricos: redes aleatórias, pequenomundo, livre de escala e geográficas. No reconhecimento de textura, o método foi avaliado em bancos de texturas sintéticas e reais (texturas de folhas de plantas). Em ambas as aplicações, o método alcançou excelentes resultados comparados com o estado da arte / Complex networks have received a growing interest in several areas of knowledge. This growth is mainly due to its flexibility in modeling and simulating topological structures that appear in our daily life. In most cases, complex networks characterization are based on basic measurements such as average degree, hierarchical degree, clustering coefficient, among others. Many of the measures are correlated, resulting in redundancy. This dissertation proposes the use of deterministic walks as a robust and efficient complex network measurement. In this measurement, walks are initiated by explorers starting from each vertex and then, informations are extracted on these walks. Experiments were performed on artificial complex networks and network modeling texture images. In artificial network recognition, the proposed method was applied to four theoretical complex network models: random, small-world, free-scale and geographical networks. In texture recognition, the method was evaluated in synthetic and real (texture of leaves) databases. In both applications, the method achieved excellent results compared with the state of the art methods

Este projeto consiste no desenvolvimento de um sistema para auto-localização e construção de mapas de ambiente para robôs móveis em um ambiente estruturado, ou seja, que pode ser descrito através de primitivas geométricas. O mapa é construído a partir da reconstrução de imagens adquiridas por um sistema de visão omnidirecional estéreo baseado em um espelho duplo de perfil hiperbólico. A partir de uma única imagem obtida, utilizandose algoritmos de visão estéreo, realiza-se a reconstrução tridimensional do ambiente em torno do robô e, assim, obtêm-se as distâncias de objetos presentes no ambiente ao sistema de visão. A partir da correspondência da reconstrução de várias imagens tomadas em diferentes posições cria-se o mapa do ambiente. Além do mapa global do ambiente o sistema também realiza o cálculo da localização do robô no ambiente utilizando informações obtidas na correspondência da reconstrução da seqüência de imagens e a odometria do robô. O sistema de construção de mapas de ambiente e auto-localização do robô é testado em um ambiente virtual e um ambiente real. Os resultados obtidos tanto na construção do mapa global do ambiente, como na localização do robô, mostram que o sistema é capaz de obter informação com a acuracidade necessária para permitir a sua utilização para navegação de robôs móveis. O tempo computacional necessário para reconstruir as imagens, calcular a posição do robô e criar o mapa global do ambiente possibilita que o sistema desenvolvido seja usado em uma aplicação que necessite da geração do mapa global em um intervalo de tempo na ordem de poucos segundos. Ressalta-se que este projeto teve como ponto de partida um projeto de iniciação científica financiado pela FAPESP. Esse trabalho de iniciação científica foi publicado na forma de um trabalho de conclusão de curso (Oliveira, 2005). / This project aims the development of a system for self localization and environment map building for mobile robots in a structured environment. The map is built from images acquired by an omnidirectional stereo system with a hyperbolic double lobed mirror. From a single acquired image, using stereo vision algorithms, the environment around the robot is tridimensionally reconstruct and the distances of objects in the environment from the system are calculated. From the matching of several reconstructed environments obtained from images taken in different positions the global environment map is created. Besides the global map the system also calculates the localization of the mobile robot using information obtained from the matching of the sequence of image reconstructions and the robot odometry. The map building and robot localization system is tested in virtual and real environments. The computational time required to make the calculation is of the order of few seconds. The results obtained both for the map building and for the robot localization show that the system is capable of generating information with enough accuracy to allow it to be used for mobile robot navigation. This project had as start point a scientific initiation project supported by FAPESP. The scientific initiation project was published as a graduation work (Oliveira, 2005).