Como a complexidade das tarefas realizadas por robôs móveis vêm aumentando a cada dia, a percepção do robô deve ser capaz de capturar informações mais ricas do ambiente, que permitam a tomada de decisões complexas. Entre os possíveis tipos de informação que podem ser obtidos do ambiente, as informações geométricas e semânticas têm papéis importantes na maioria das tarefas designadas a robôs. Enquanto as informações geométricas revelam como os objetos e obstáculos estão distribuídos no espaço, as informações semânticas capturam a presença de estruturas complexas e eventos em andamento no ambiente, e os condensam em descrições abstratas. Esta tese propõe uma nova técnica probabilística para construir uma representação do ambiente baseada em objetos a partir de imagens capturadas por um robô navegando com uma câmera de vídeo solidária a ele. Esta representação, que fornece descrições geométricas e semânticas de objetos, é chamada O-Map, e é a primeira do gênero no contexto de navegação de robôs. A técnica de mapeamento proposta é também nova, e resolve concomitantemente os problemas de localização, mapeamento e classificação de objetos, que surgem quando da construção de O-Maps usando imagens processadas por detectores imperfeitos de objetos e sem um sensor de localização global. Por este motivo, a técnica proposta é chamada O-SLAM, e é o primeiro algoritmo que soluciona simultaneamente os problemas de localização e mapeamento usando somente odometria e o resultado de algoritmos de reconhecimento de objetos. Os resultados obtidos através da aplicação de O-SLAM em imagens processadas por uma técnica simples de detecção de objetos mostra que o algoritmo proposto é capaz de construir mapas que descrevem consistentemente os objetos do ambiente, dado que o sistema de visão computacional seja capaz de detectá-los regularmente. Em particular, O-SLAM é eficaz em fechar voltas grandes na trajetória do robô, e obtém sucesso mesmo se o sistema de detecção de objetos posuir falhas, relatando falsos positivos e errando a classe do objeto algumas vezes, consertando estes erros. Dessa forma, O-SLAM é um passo em direção à solução integrada do problema de localização, mapeamento e reconhecimento de objetos, a qual deve prescindir de um sistema pronto de reconhecimento de objetos e gerar O-Maps somente pela fusão de informações geométricas e visuais obtidas pelo robô. / As tasks performed by mobile robots are increasing in complexity, robot perception must be able to capture richer information from the environment in order to allow complex decision making. Among the possible types of information that can be retrieved from the environment, geometric and semantic information play important roles in most of the tasks assigned to robots. While geometric information reveals how objects and obstacles are distributed in space, semantic information captures the presence of complex structures and ongoing events from the environment and summarize them in abstract descriptions. This thesis proposes a new probabilistic technique to build an object-based representation of the robot surrounding environment using images captured by an attached video camera. This representation, which provides geometric and semantic descriptions of the objects, is called O-Map, and is the first of its kind in the robot navigation context. The proposed mapping technique is also new, and concurrently solves the localization, mapping and object classification problems arisen from building O-Maps using images processed by imperfect object detectors and no global localization sensor. Thus, the proposed technique is called O-SLAM, and is the first algorithm to solve the simultaneous localization and mapping problem using solely odometers and the output from object recognition algorithms. The results obtained by applying O-SLAM to images processed by simple a object detection technique show that the proposed algorithm is able to build consistent maps describing the objects in the environment, provided that the computer vision system is able to detect them on a regular basis. In particular, O-SLAM is effective in closing large loops in the trajectory, and is able to perform well even if the object detection system makes spurious detections and reports wrong object classes, fixing these errors. Thus, O-SLAM is a step towards the solution of the simultaneous localization, mapping and object recognition problem, which must drop the need for an off-the-shelf object recognition system and generate O-Maps only by fusing geometric and appearance information gathered by the robot.

Esta dissertação apresenta uma arquitetura de controle distribuída para um sistema de visão computacional propositada, modelada segundo uma abordagem de Inteligência Artificial Distribuída com ênfase em Sistemas Multi-Agentes. O principal problema abordado é o da integração de diversos módulos com tarefas e comportamentos diferentes em um sistema robótico, que utiliza visão computacional para perceber o mundo. Esta integração surge da organização de diversas soluções dedicadas a diferentes tarefas visuais, resultando na proposta de uma arquitetura constituída por uma sociedade de Agentes Autônomos (AAs), que comunicam entre si através de uma rede de comunicação descentralizada e totalmente conectada, sendo cada AA responsável por um comportamento independente, organizados segundo regras de comportamento e uma estrutura de autoridade. Essa arquitetura integra diversos módulos da cognição, como percepção visual, planejamento, controle e atuação. Como tentativa de validação experimental da proposta, essa arquitetura foi implementada em um sistema dotado de um manipulador robótico e uma câmera, trabalhando em um domínio de montagem. A estrutura básica da arquitetura foi desenvolvida segundo uma metodologia de projeto orientada a objetos e consiste em uma biblioteca de classes que definem o modelo dos agentes e as estruturas para as interações entre esses em uma sociedade. O sistema robótico proposto foi implementado na Célula Flexível de Montagem da Escola Politécnica da USP, tendo por objetivo realizar tarefas de montagens simples e visualmente guiadas. O sistema foi testado exaustivamente e os resultados experimentais indicaram algumas vantagens e desvantagens da metodologia empregada, possibilitando a definição de algumas diretrizes importantes para o projeto e implementação de sistemas robóticos inteligentes atuando no mundo real. / This dissertation presents a distributed control architecture for a purposive computer vision system, modeled according to a Distributed Artificial Intelligence approach, with emphasis in Multi-Agents Systems. The main problem addressed is the integration of several modules with different purposes and behaviors in a robotic system, which uses computer vision to perceive the world. This integration arises from the organization of several dedicated solutions to different visual tasks, resulting in the proposal of one architecture that consists of a society of Autonomous Agents, communicating with each other through a decentralized and fully connected network, where each AA is responsible for an independent behavior. This society is organized according to behavior rules and an authority structure. Furthermore, this architecture integrates several cognitive modules, like visual perception, planning, control and action. As an attempt of an experimental validation of the proposal, this architecture was implemented in a system composed of a robotic manipulator and one camera, working in an assembly domain. The basic structure of the architecture was developed according to an object oriented methodology and consists of a library of classes which defines the agents\' model and the structures needed for the interactions among these agents in a society. The proposed robotic system was implemented in the Flexible Assembly Cell of the Escola Politécnica da USP, with the objective of accomplishing simple and visually guided assembly tasks. The system was thoroughly tested and the experimental results indicated some advantages and inconveniences of the methodology, allowing the definition of some important guidelines for the design and implementation of intelligent robotic systems acting in the real world.

A área de robótica móvel se encontra numa fase de grande expansão, mas um dos obstáculos a ser vencido é o desenvolvimento de sistemas computacionais embarcados que combinem baixo consumo de energia com alta capacidade de processamento. A computação reconfigurável tem o potencial para atender esta demanda. Este trabalho visa avaliar as dificuldades no aproveitamento desta tecnologia através da implementação em hardware de um sistema de desvio de obstáculos para robôs móveis usando uma única câmera de baixo custo como sensor. Normalmente os algorítmos de fluxo óptico usados neste projeto são implementados inteiramente em software e sofrem várias restrições para poderem operar nos computadores embarcados nos robôs. O projeto descrito neste trabalho não tem estas restrições mas exige um esforço maior de desenvolvimento / The area of mobile robotics is undergoing a tremendous expansion, but one of the obstacles to be dealt with is the development of embedded computational systems that combine low power consumption and high performance. Reconfigurable computing has the potential to meet these requirements. This project is an evaluation of the complexities of fully exploiting this technology through the hardware implementation of an obstacle avoidance system for mobile robots using a single, low cost camera as its sensor. Normally, the optic flow algorithms used in this project are implemented entirely in software and so suffer several limitations in order to run on computers embedded in the robots. The hardware described here does not have the same limitations but requires more development effort

A visãao é o sentido humano mais complexo e importante para os processos de cognição e de interação de um indivíduo com o mundo. Neurofiisiologistas buscam identificar e compreender como funcionam os mecanismos celulares envolvidos neste processo. O sistema visual recebe os sinais de imagens captadas pelos olhos e, por meio de transformações e processamento diversos, integra esses sinais em representações de objetos internos perceptuais. O projeto Olho Virtual consegue reconstruir, em três dimensões, modelos de olhos utilizando córneas reais ou simuladas em computador, reproduzindo suas propriedades ópticas captando imagens de maneira satisfatória. Este trabalho introduz, no projeto Olho Virtual, um modelo computacional de retina baseado no modelo biológico, capaz de reproduzir as propriedades das células cones e bastonetes em suas distribuições radiais e também em suas funcionalidades em particular. Além dessa, é apresentado uma modelagem para reprodução dos campos receptivos das células ganglionares presentes na retina, gerando sinais de saída nos sistemas parvo e magno. Por fim são feitas simulações de experimentos psicofísicos com propósito de verificar a validade da modelagem proposta / The vision is the human sense more complex and important in cognitive processes and the interaction of an individual with the world. Neurophysiologists seek to identify and understand how the cellular mechanisms involved in this process work. The visual system receives the image signals captured by the eyes and, through several transformations and processing, integrate those signals into internal representations of perceptual objects. The project Virtual Eye can reconstruct three-dimensional models of eye corneas using real or simulated on the computer, playing their optical properties capturing images satisfactorily. This work introduces the Virtual Eye project, a computational model of retina-based biological model, able to reproduce the properties of rod and cone cells in their radial distributions and also in its functionality in particular. Besides this, a model is presented for reproduction of the receptive fields of ganglion cells present in the retina, generating output signals in the parvo and magno systems. Finally, simulations are made with psychophysical experiments in order to verify the accuracy of the proposed model

O reconhecimento de padrões de textura em imagens tem sido uma importante ferramenta na área de visão computacional. Isso porque o atributo textura pode revelar características intrínsecas, tornando possível a classificação de um conjunto de imagens semelhantes. Embora a textura seja estudada há mais de meio século, ainda não existe um consenso sobre sua definição e nem mesmo um método de extração de características de textura que seja eficiente para todos os tipos de imagens. Além disso, os métodos da literatura analisam os padrões de textura de maneira global, considerando que uma imagem apresente um conjunto de micropadrões que formam um único padrão global ou homogêneo de textura na imagem. No entanto, alguns tipos de imagens apresentam heterogeneidade em sua composição, ou seja, o conjunto de micropadrões na imagem é responsável por formar mais de um padrão de textura dentro da mesma imagem. Esse tipo de imagens levou ao propósito de investigação deste trabalho. Independentemente do método de extração de característica utilizado, considerar a heterogeneidade do padrão de textura em uma imagem leva a uma melhor representação de suas características. Para melhorar a análise de padrões heterogêneos de textura, três abordagens são propostas: (i) lazy-patch, (ii) combinação de modelos e (iii) modelagem da textura por meio de autômatos celulares inspirados em corrosão alveolar. Os resultados ao aplicar essas abordagens em diferentes conjuntos de imagens de biologia e nanotecnologia, mostraram que a análise de padrões heterogêneos resulta em melhor representatividade de imagens que possuem padrões heterogêneos de textura em sua composição. / Pattern recognition of texture in images has been playing an important role in computer vision area. This is because the texture attribute can reveal intrinsic characteristics, making it possible to classify a set of similar images. Although the texture is studied for over half a century, there is still no consensus on its definition or even a method to extrac texture characteristics that is effective for all types of images. Moreover, literature methods globally analyze the texture patterns, whereas a picture displays a number of micropatterns which form a single homogenous global pattern of texture in the image. However, some types of image display heterogeneity in their composition, that is, the set of micropatterns in the image use to form more than one texture pattern within the same image. Such type of image led to the purpose of this research work. Regardless the feature extraction method used, considering the heterogeneity of the texture pattern in an image leads to better representation of its features. To further improve the analysis of heterogeneous texture patterns, three approaches are proposed: (i) lazy-patch, (ii) combination of models and (iii) texture modeling using cellular automata inspired by pitting corrosion. The results of applying these approaches in different sets of biology and nanotechnology images showed that the analysis of heterogeneous patterns results in better representation of images that have heterogeneous patterns of texture in your composition.

Tese de doutoramento. Engenharia Informática. Faculdade de Engenharia. Universidade do Porto. 2012

Correias transportadoras têm sido utilizadas como um modo eficiente de transporte de materiais por diversos ramos da indústria. A vida útil desse equipamento é influenciada pelo desgaste natural ocasionado pelo uso excessivo e falhas, tais como rasgos, cortes e perfurações. Nesse trabalho, é proposto um método de identificação de falhas em correia transportadora por meio de processamento digital de imagens, combinadas com técnicas de escaneamento 3D a laser e aprendizado de máquinas (redes neurais e SVM (Support Vector Machine - Máquina de Vetores de Suporte)). A averiguação experimental foi efetuada em duas etapas: a primeira etapa inicia-se com a aquisição, o pré-processamento e a geração do banco de imagens; a segunda, com a extração e a classificação das amostras. O vetor de características foi submetido a dois classificadores: rede neural do tipo Perceptron Múltiplas Camadas (com 15 topologias candidatas) e um classificador SVM, variando sua função kernel: linear, quadrática, polinomial, gaussiano, RBF (Radial-Basis Function - Função de Base Radial) e MLP (Multilayer Perceptron – Perceptron Múltiplas Camadas). Os resultados experimentais mostram que a metodologia proposta obtém uma boa acurácia na estimação das falhas, mostrando-se promissora na tarefa de diagnosticar e classificar falhas em correias transportadoras. / Conveyor belts have been used as an efficient way of transporting materials by various industry branches. This equipment\'s lifespan is influenced by natural wear caused by overuse and flaws, such as tears, cuts, and perforations. This work proposes a method of identifying flaws in the conveyor belt using digital image processing, combined with 3D laser scanning techniques and machine learning (neural networks and SVM - Support Vector Machine). The experimental investigation has been carried out in two stages: the first stage begins with the acquisition, preprocessing, and generation of an image bank; the second, with the extraction and classification of the samples. The characteristic\'s vector has been submitted to two classifiers: Multi-Layer Perceptron neural network (with 15 candidate topologies) and an SVM classifier, varying its kernel function: linear, quadratic, polynomial, Gaussian, RBF (Radial-Basis Function) and MLP (Multilayer Perceptron). The experimental results show that the proposed methodology obtains a good accuracy in the failure estimation, being promising in the task of diagnosing and classifying flaws in conveyor belts.

Orientador: Suely Cunha Amaro Mantovani / Resumo: A criação de robôs que podem operar autonomamente em ambientes controlados e não controlados tem sido, um dos principais objetivos da robótica móvel. Para que um robô possa navegar em um ambiente interno desconhecido, ele deve se localizar e ao mesmo tempo construir um mapa do ambiente que o rodeia, a este problema dá-se o nome de Localização e Mapeamento Simultâneos- SLAM. Tem-se como proposta neste trabalho para solucionar o problema do SLAM, o uso de um sensor RGB-D, com 6 graus de liberdade para perceber o ambiente, o qual é embarcado em um robô. O problema do SLAM pode ser solucionado estimando a pose - posição e orientação, e a trajetória do sensor no ambiente, de forma precisa, justificando a construção de um mapa em três dimensões (3D). Esta estimação envolve a captura consecutiva de frames do ambiente fornecidos pelo sensor RGB-D, onde são determinados os pontos mais acentuados das imagens através do uso de características visuais dadas pelo algoritmo ORB. Em seguida, a comparação entre frames consecutivos e o cálculo das transformações geométricas são realizadas, mediante o algoritmo de eliminação de correspondências atípicas, bPROSAC. Por fim, uma correção de inconsistências é efetuada para a reconstrução do mapa 3D e a estimação mais precisa da trajetória do robô, utilizando técnicas de otimização não lineares. Experimentos são realizados para mostrar a construção do mapa e o desempenho da proposta. / Doutor

Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-07-31T13:42:08Z No. of bitstreams: 1 EANES TORRES PEREIRA - TESE PPGCC 2012..pdf: 39887093 bytes, checksum: 570185e1726a2a0fa7462d7d12352db5 (MD5) / Made available in DSpace on 2018-07-31T13:42:08Z (GMT). No. of bitstreams: 1 EANES TORRES PEREIRA - TESE PPGCC 2012..pdf: 39887093 bytes, checksum: 570185e1726a2a0fa7462d7d12352db5 (MD5) Previous issue date: 2012-06 / Nesta tese, investiga-se o problema da detecção de faces que apresentam grandes variações de orientação. Foram identificados fatores capazes de influenciar os resultados quando determinadas métricas de avaliação são utilizadas. Por exemplo, se a métrica empregada leva em consideração as áreas de detecção obtidas pelos classificadores e as áreas rotuladas por humanos (groundtruth), a forma como as imagens detectadas são marcadas inteferirá nos resultados. Em relação ao aspecto de recorte das faces, os resultados experimentais comprovam que se forem incluídas regiões externas da face para treinamento, os resultados de detecção são melhorados. ara lidar com todos esses fatores, foi proposta e implementada uma abordagem para a detecção de faces que explora a invariância por treinamento para gerar uma árvore de classificadores com menor complexidade computacional do que outras abordagens propostas na literatura, capaz de lidar com grandes variações de orientação no plano da imagem. A fim de tornar factível o treinamento dos classificadores dessa árvore, é apresentada uma abordagem híbrida de paralelização para o método de treinamento de classificadores proposto por Viola e Jones (2004). A abordagem de detecção de faces proposta obteve resultados superiores àqueles obtidos por Rowley, Baluja e Kanade (1998b) e Viola e Jones (2004). Apenas uma das abordagens concorrentes, aquela proposta por Huang et al. (2007), obteve resultados superiores, porém por uma pequena diferença. Apesar disso, a abordagem proposta nesta tese possui menor complexidade computacional em termos de quantidade de níveis da árvore de classificadores e quantidade de nós de processamento. / In this thesis, the problem of detecting faces that present high variations of orientation is investigated. Some factores were identified that may infiuence the detection results when some evaluation metrics are used. For example, if the applied metric takes in consideration the detected áreas obtained by the classifiers and the human labeled áreas (groundtruth), the way as the detected images are marked will interfere in the computed results. In relation to the face image cropping aspect, the experimental results show that if externai regions of the faces are included for training, the detection results will be better. To deal with ali those factors, it was proposed and implemented an approach to face detection that explores the invariance by training to yield classifier tree with lower computational complexity than other approaches in the state of the art, and able to deal with high angle in-plane orientations. To make the training of the cascades of classifiers feasible, a hybrid parallel approach of the training method of Viola e Jones (2004) was proposed. The parallel approach is able to achieve superlinear speedup, as it was demonstrated in the experiments. The face detection approach obtained higher results than those obtained by Rowley, Baluja e Kanade (1998a), and Viola e Jones (2004). Only one of the evaluated approaches obtained higher results, that proposed by Huang et al. (2007). However, the approach proposed in this thesis has lower computational complexity in terms of quantity of leveis in the classifier tree, and quantity of processing nodes.

Submitted by Diogo Barreiros (diogo.barreiros@ufba.br) on 2017-03-10T14:39:59Z No. of bitstreams: 1 tese_alexandre_versao_final_bd.pdf: 3780030 bytes, checksum: 765f095f9626a12f3b43a6bf9fdb97f3 (MD5) / Approved for entry into archive by Vanessa Reis (vanessa.jamile@ufba.br) on 2017-03-10T14:52:25Z (GMT) No. of bitstreams: 1 tese_alexandre_versao_final_bd.pdf: 3780030 bytes, checksum: 765f095f9626a12f3b43a6bf9fdb97f3 (MD5) / Made available in DSpace on 2017-03-10T14:52:25Z (GMT). No. of bitstreams: 1 tese_alexandre_versao_final_bd.pdf: 3780030 bytes, checksum: 765f095f9626a12f3b43a6bf9fdb97f3 (MD5) / The automatic person re-identification (re-id) problem resides in matching an unknown person image to a database of previously labeled images of people. Among several issues to cope with this research field, person re-id has to deal with person appearance and environment variations. As such, discriminative features to represent a person identity must be robust regardless those variations. Comparison among two image features is commonly accomplished by distance metrics. Although features and distance metrics can be handcrafted or trainable, the latter type has demonstrated more potential to breakthroughs in achieving state-of-the-art performance over public data sets. A recent paradigm that allows to work with trainable features is deep learning, which aims at learning features directly from raw image data. Although deep learning has recently achieved significant improvements in person re-identification, found on some few recent works, there is still room for learning strategies, which can be exploited to increase the current state-of-the-art performance. In this work a novel deep learning strategy is proposed, called here as coarse-to-fine learning (CFL), as well as a novel type of feature, called convolutional covariance features (CCF), for person re-identification. CFL is based on the human learning process. The core of CFL is a framework conceived to perform a cascade network training, learning person image features from generic-to-specific concepts about a person. Each network is comprised of a convolutional neural network (CNN) and a deep belief network denoising autoenconder (DBN-DAE). The CNN is responsible to learn local features, while the DBN-DAE learns global features, robust to illumination changing, certain image deformations, horizontal mirroring and image blurring. After extracting the convolutional features via CFL, those ones are then wrapped in covariance matrices, composing the CCF. CCF and flat features were combined to improve the performance of person re-identification in comparison with component features. The performance of the proposed framework was assessed comparatively against 18 state-of-the-art methods by using public data sets (VIPeR, i-LIDS, CUHK01 and CUHK03), cumulative matching characteristic curves and top ranking references. After a thorough analysis, our proposed framework demonstrated a superior performance.