Mapas fotogramétricos são de extrema importância para monitorar grandes áreas periodicamente. Alguns exemplos são: monitoramento de florestas, plantas invasivas, crescimento urbano, etc. Estes mapas são comumente construídos utilizando imagens de satélites ou aviões. Para se obter um mapa com proporções reais, uma operação de distorção destas imagens é realizada utilizando informações fornecidas por Pontos de Controle em Solo e triangulando features naturais das imagens ou utilizando um outro mapa conhecido a priori. A utilização de VANTs (Veículos Aéreos Não Tripulados) mostra-se uma solução mais segura quando comparada a um avião devido a não existência de tripulação. É uma solução mais flexível quando comparada a satélites, pois um VANT pode voar algumas horas ou mesmo minutos após um vôo anterior, enquanto um satélite estará disponível novamente após alguns dias na mesma área. Algumas partes do mapa podem não ser visíveis devido a nuvens e o VANT pode sobrevoar a área novamente para recuperar estas partes (sobrevoaria abaixo das nuvens caso necessário). Um método de fusão sensorial estocástico é proposto e combina técnicas de Visão Computacional, sensores inerciais e GPS a fim de estimar um mapa esparso tridimensional e a posição do VANT simultaneamente utilizando a técnica conhecida como SLAM (Simultaneous Localization and Mapping). O mapa completo é gerado projetando as imagens no mapa esparso. A principal vantagem deste método é que o mapa é construído sem conhecimento a priori do terreno. As principais contribuições deste trabalho são: a integração de técnicas de SLAM na área de Aerofotogrametria e o desenvolvimento de um método que realiza o mapeamento 3D sem o uso de conhecimento a priori do terreno. / Photogrammetric maps are of extreme importance in order to monitor large areas periodically. Some examples are: monitoring of forests, invasive plants, urban growth, etc. These maps are commonly built using images from satellites or planes. In order to obtain a map with real proportions, an operation of distortion of these images is realized using information provided by Ground Control Points and triangulating natural features in the scene or using another a priori known map. The utilization of an Unmanned Aerial Vehicle (UAV) provides a safer solution when compared to a plane mainly due to the non existence of a crew. It is also a more flexible solution when compared to satellites because an UAV can fly again some hours or even minutes after a previous flight, while a satellite will be available in some days for the same area. Some parts of the map might not be visible because of clouds and the UAV needs to fly again to recover these parts (flying below the clouds if necessary). A stochastic sensor fusion method is proposed that combines computational vision techniques, inertial sensors and GPS in order to estimate both the three dimensional sparse map and the UAV position using the technique known as SLAM (Simultaneous Localization and Mapping). The complete map is generated projecting the images into the sparse map. The main advantage of this method is that the map is constructed without the use of a priori knowledge of the terrain. The main contributions of this work are: the integration of SLAM techniques into the Aerophotogrammetry field and the development of a method that can realize a 3D mapping without the use of a priori knowledge of the terrain.

Orientador: Celso Setsuo Kurashima. / Dissertação (mestrado) - Universidade Federal do ABC. Programa de Pós-Graduação em Engenharia de Informação.

O emprego de veículos autônomos é uma prática comumente adotada para a melhoria da produtividade no setor agrícola. No entanto, o custo computacional é um fator limitante na implementação desses dispositivos autônomos. A alternativa apresentada neste trabalho consistiu no desenvolvimento de um dispositivo de hardware dedicado para a navegação de robôs móveis agrícolas, o qual indica áreas navegáveis e não navegáveis, além do ângulo de inclinação do veículo em relação à linha de plantio. O desenvolvimento do projeto foi baseado em um método de extração de características visuais locais por meio do processamento de imagens coloridas obtidas por uma câmera de vídeo. O circuito foi implementado por meio de uma ferramenta de desenvolvimento baseado em um FPGA de baixo custo. O circuito consiste nas etapas de classificação, processamento morfológico e extração das linhas de navegação. Na primeira etapa, os pixels são classificados a partir do modelo de cores HSL em classes que representam as áreas passíveis e não passíveis de navegação. Posteriormente, a etapa de processamento morfológico realiza as tarefas de filtragem, agrupamento e extração de bordas. O processamento morfológico é realizado por meio de um arranjo de unidades de processamento dedicadas. Cada unidade pode realizar uma operação básica de morfologia matemática. O elemento estruturante utilizado na operação, bem como a operação realizada pela unidade, é configurado por meio de parâmetros do projeto. O processo de extração das linhas de orientação é realizado por meio do método de regressão linear por mínimos quadrados. A arquitetura proposta no projeto permitiu o processamento em tempo real de imagens para a aplicação de navegação autônoma de robôs móveis em ambientes agrícolas. / The use of autonomous vehicles is a generally adopted practice to improve the productivity in the agriculture sector. However, the computer requirements are a limiting factor for implementation of these autonomous devices. The alternative shown in this paper is the design of a dedicated hardware for the autonomous agricultural robot navigation. The project development was based on a local visual feature extraction method by processing digital images obtained from a color video camera. The circuit was implemented through a development tool based on a low cost FPGA. The circuit consists of stages of classification, morphological processing and guidance line extraction. In the first stage, the pixels are classified through HSL color model into classes that represent suitable and unsuitable area for navigation. Then, the morphological processing stage performs filtering, grouping and edge detection tasks. The morphological processing is carried out by an arrangement of dedicated processing units. Each unit can perform a basic operation of mathematical morphology. The structuring element used in the operation and the operation performed by the unit are configured through project parameters. The guidance line extraction process is performed through the linear regression method by least square. The architecture proposed in the design allowed the real-time image processing in autonomous robot navigation applications in agricultural environments.

Detecção de pedestres é uma importante área em visão computacional com o potencial de salvar vidas quando aplicada em veículos. Porém, essa aplicação exige detecções em tempo real, com alta acurácia e menor quantidade de falsos positivos possível. Durante os últimos anos, diversas ideias foram exploradas e os métodos mais recentes que utilizam arquiteturas profundas de redes neurais possibilitaram um grande avanço nesta área, melhorando significativamente o desempenho das detecções. Apesar desse progresso, a detecção de pedestres que estão distantes do veículo continua sendo um grande desafio devido às suas pequenas escalas na imagem, sendo necessária a avaliação da eficácia dos métodos atuais em evitar ou atenuar a gravidade dos acidentes de trânsito que envolvam pedestres. Dessa forma, como primeira proposta deste trabalho, foi realizado um estudo para avaliar a aplicabilidade dos métodos estado-da-arte para evitar colisões em cenários urbanos. Para isso, a velocidade e dinâmica do veículo, o tempo de reação e desempenho dos métodos de detecção foram considerados. Através do estudo, observou-se que em ambientes de tráfego rápido ainda não é possível utilizar métodos visuais de detecção de pedestres para assistir o motorista, pois nenhum deles é capaz de detectar pedestres que estão distantes do veículo e, ao mesmo tempo, operar em tempo real. Mas, ao considerar apenas pedestres em maiores escalas, os métodos tradicionais baseados em janelas deslizantes já conseguem atingir um bom desempenho e rápida execução. Dessa forma, com a finalidade de restringir a operação dos detectores apenas para pedestres em maiores escalas e assim, possibilitar a aplicação de métodos visuais em veículos, foi proposta uma configuração de câmeras que possibilitou obter imagens para um maior intervalo de distância à frente do veículo com pedestres em resolução quase duas vezes maior em comparação à uma câmera comercial. Resultados experimentais mostraram considerável melhora no desempenho das detecções, possibilitando superar a dificuldade causada pelas pequenas escalas dos pedestres nas imagens. / Pedestrian detection is an important area in computer vision with the potential to save lives when applied on vehicles. This application requires accurate detections and real-time operation, keeping the number of false positives as minimal as possible. Over the past few years, several ideas were explored, including approaches with deep network architectures, which have reached considerably better performances. However, detecting pedestrians far from the camera is still challenging due to their small sizes on images, making it necessary to evaluate the effectiveness of existing approaches on avoiding or reducing traffic accidents that involves pedestrians. Thus, as the first proposal of this work, a study was done to verify the state-of-the-art methods applicability for collision avoidance in urban scenarios. For this, the speed and dynamics of the vehicle, the reaction time and performance of the detection methods were considered. The results from this study show that it is still not possible to use a vision-based pedestrian detector for driver assistance on urban roads with fast moving traffic, since none of them is able to handle real-time pedestrian detection. However, for large-scale pedestrians on images, methods based on sliding window approach can already perform reliably well with fast inference time. Thus, in order to restrict the operation of detectors only for pedestrians in larger scales and enable the application of vision-based methods in vehicles, it was proposed a camera setup that provided to get images for a larger range of distances in front of the vehicle with pedestrians resolution almost twice as large compared to a commercial camera. Experimental results reveal a considerable enhancement on detection performance, overcoming the difficulty caused by the reduced scales that far pedestrians have on images.

Apesar da popularidade das câmeras onidirecionais aplicadas à robótica móvel e da importância do reconhecimento de objetos no universo mais amplo da robótica e da visão computacional, é difícil encontrar trabalhos que relacionem ambos na literatura especializada. Este trabalho visa avaliar um método para classificação de objetos em imagens onidirecionais, analisando sua eficácia e eficiência para ser aplicado em tarefas de auto-localização e mapeamento de ambientes feitas por robôs moveis. Tal método é construído a partir de um classificador de objetos, implementado através de máquinas de suporte vetorial, estendidas para a utilização de Aprendizagem de Múltiplos Núcleos. Também na construção deste método, uma etapa de retificação é aplicada às imagens onidirecionais, de modo a aproximá-las das imagens convencionais, às quais o classificador utilizado já demonstrou bons resultados. A abordagem de Múltiplos Núcleos se faz necessária para possibilitar a aplicação de três tipos distintos de detectores de características em imagens, ponderando, para cada classe, a importância de cada uma das características em sua descrição. Resultados experimentais atestam a viabilidade de tal proposta. / Despite the popularity of omnidirectional cameras used in mobile robotics, and the importance of object recognition in the broader universe of robotics and computer vision, it is difficult to find works that relate both in the literature. This work aims at performing the evaluation of a method for object classification in omnidirectional images, evaluating its effectiveness and efficience considering its application to tasks of self-localization and environment mapping made by mobile robots. The method is based on a multiple kernel learning extended support vector machine object classifier. Furthermore, an unwrapping step is applied to omnidirectional images, to make them similar to perspective images, to which the classifier used has already shown good results. The Multiple Kernels approach is necessary to allow the use of three distinct types of feature detectors in omnidirectional images by considering, for each class, the importance of each feature in the description. Experimental results demonstrate the feasibility of such a proposal.

Para ter uma aplicação real, um robô móvel deve poder desempenhar sua tarefa em ambientes desconhecidos. Uma arquitetura para robôs móveis que se adapte ao meio em que o robô se encontra é então desejável. Este trabalho apresenta uma arquitetura adaptativa para robôs móveis, de nome AAREACT, que aprende como coordenar comportamentos primitivos codificados por Campos Potenciais através de aprendizado por reforço. Cada comportamento utiliza a informação de apenas um tipo de sensor (visão, sonar ou odometria). O sensor de visão foi desenvolvido neste trabalho, e utiliza os tempos para colisão obtidos através da análise de seqüências de imagens para indicar a disposição dos objetos à frente do robô. A atuação da arquitetura proposta é comparada com a apresentada por uma arquitetura com coordenação fixa dos comportamentos, demonstrando melhor desempenho. Os resultados obtidos neste trabalho também apontam a alta capacidade de adaptação da arquitetura AAREACT. / It is desirable that mobile robots applied to real world applications perform their operations in previously unknown environments. Thus, a mobile robot architecture capable of adaptation is very suitable. This work presents an adaptive architecture for mobile robots called AAREACT, that has the ability of learning how to coordinate primitive behaviors codified by the Potential Fields method through reinforcement learning. Each behavior uses the information of a single sensor (vision, sonar or odometer). This work also brings details about the vision sensor\'s development, which uses time-to-crash information in order to detect distances to frontal obstacles. The proposed architecture\'s actuation is compared to that showed by an architecture that performs a fixed coordination of its behaviors, and shows a better performance. The obtained results also suggest that AAREACT has good adaptation skills.

Rastreamento visual em sequências de imagens tem sido muito estudado nos últimos 30 anos devido às inúmeras aplicações que possui em sistemas de visão computacional em tempo real; entretanto, poucos são os algoritmos disponíveis para que tal tarefa seja realizada com sucesso. Esta dissertação apresenta um método e uma arquitetura eficazes e eficientes para rastrear jogadores em jogos de futebol. A entrada do sistema consiste de vídeos capturados por câmeras estáticas instaladas em estádios de futebol. A saída é a trajetória descrita pelo jogador durante uma partida de futebol, dada no plano de imagem. O sistema possui dois estágios de processamento: inicialização e rastreamento. A inicialização do sistema é crítica no desempenho do rastreador e seu objetivo consiste em produzir uma estimativa aproximada da configuração e características de cada alvo, a qual é usada como uma estimativa inicial do estado pelo rastreador. O sistema de rastreamento utiliza Filtros de Kalman para modelar o contorno, posição e velocidade dos jogadores. Resultados são apresentados usando dados reais. Avaliações quantitativas são fornecidas e o sistema proposto é comparado com outro sistema correlato. Os experimentos mostram que o sistema proposto apresenta resultados bastante promissores. / Visual tracking in image sequences has been extensively studied in the last 30 years because of the many applications it has in real-time computer vision systems; however, there are few algorithms available for this task so that it is performed successfully. This work presents an effective and efficient system architecture and method to track players in soccer games. The system input consists of videos captured by static cameras installed in soccer stadiums. The output is the trajectory described by the player during a soccer match, given in the image plane. The system comprises two processing stages: initialization and tracking. The system startup is critical in the tracking performance and its goal is to produce a rough estimate of the configuration and characteristics of each target, which is used as an initial estimate of the state by the visual tracker. The tracking system uses Kalman filters to model the shape, position and speed of the players. Results are presented using real data. Quantitative assessments are provided and the proposed system is compared with related systems. The experiments show that our system can achieve very promising results.

Sistemas de multiprojeção podem oferecer alta resolução e grande quantidade de brilho por fundamentarem-se no uso de aglomerado de projetores e podem proporcionar uma qualidade visual superior aos sistemas de projeção tradicionais compostos por um projetor de alto desempenho. Considerando o custo elevado dos projetores de alto brilho e resolução, o uso de projetores convencionais em sistemas de multiprojeção pode representar uma redução sensível no custo de implantação sem comprometer a qualidade visual. Esta tese propõe a pesquisa e o desenvolvimento de um sistema de multiprojeção escalável com o objetivo de atingir resoluções nos limites do sistema de percepção visual humano. Este sistema é denominado como resolução retina. Para tanto, foi realizada a pesquisa e a proposta de um sistema de multiprojeção escalável inovador. A viabilidade deste sistema foi comprovada através do desenvolvimento do sistema de multiprojeção chamado Fast Fusion que dentre vários recursos permite a calibração automática dos projetores através de câmeras. Na implementação da biblioteca Fast Fusion, foram realizados aprimoramentos de algoritmos conhecidos na literatura tais como os algoritmos de calibração de projetores utilizando matrizes de homografia, além da proposta de uma arquitetura inédita para suportar grande quantidade de projetores, com centenas ou até mesmo milhares de projetores e computadores gráficos. O sistema de multiprojeção desenvolvido nesta tese foi utilizado na implementação de várias aplicações de realidade virtual nas áreas de aprendizagem, treinamento, simulação, entretenimento e turismo. Por fim, este trabalho apresenta uma análise de desempenho visual e computacional do sistema proposto. / Multi-projector systems offer both higher resolution and brightness by using a cluster of projectors, providing better visual quality when compared to traditional systems using a single high performance projector. When we consider the high cost associated with high-end projectors, the use of multiple low cost projectors can reduce considerably the cost of such installation. The goal of this thesis is to research such alternatives using clusters of projects to develop a scalable multi- projector system capable of achieving a high resolution display comparable to that of a human eye. We call such display the retina display. We proved the viability of such system through the development of a multi-projector system called Fast Fusion which automatically calibrates casually aligned projectors to properly blend different projections using cameras. Our Fast Fusion system improves known algorithms in the literature for projector calibration and blending using homographic matrices. Additionally, we propose a new architecture that supports a higher number of projectors than previous approaches - our solution supports hundreds or thousands of projectors to be used together, powered by a graphics cluster. The multi-projector system developed in this thesis has been validated on several virtual reality solutions by developing applications in diverse areas such as learning, training, simulation, entertainment and tourism. Finally, this thesis presents a thorough analysis of the visual and computational performance of our system.

Esta dissertação apresenta uma arquitetura de controle distribuída para um sistema de visão computacional propositada, modelada segundo uma abordagem de Inteligência Artificial Distribuída com ênfase em Sistemas Multi-Agentes. O principal problema abordado é o da integração de diversos módulos com tarefas e comportamentos diferentes em um sistema robótico, que utiliza visão computacional para perceber o mundo. Esta integração surge da organização de diversas soluções dedicadas a diferentes tarefas visuais, resultando na proposta de uma arquitetura constituída por uma sociedade de Agentes Autônomos (AAs), que comunicam entre si através de uma rede de comunicação descentralizada e totalmente conectada, sendo cada AA responsável por um comportamento independente, organizados segundo regras de comportamento e uma estrutura de autoridade. Essa arquitetura integra diversos módulos da cognição, como percepção visual, planejamento, controle e atuação. Como tentativa de validação experimental da proposta, essa arquitetura foi implementada em um sistema dotado de um manipulador robótico e uma câmera, trabalhando em um domínio de montagem. A estrutura básica da arquitetura foi desenvolvida segundo uma metodologia de projeto orientada a objetos e consiste em uma biblioteca de classes que definem o modelo dos agentes e as estruturas para as interações entre esses em uma sociedade. O sistema robótico proposto foi implementado na Célula Flexível de Montagem da Escola Politécnica da USP, tendo por objetivo realizar tarefas de montagens simples e visualmente guiadas. O sistema foi testado exaustivamente e os resultados experimentais indicaram algumas vantagens e desvantagens da metodologia empregada, possibilitando a definição de algumas diretrizes importantes para o projeto e implementação de sistemas robóticos inteligentes atuando no mundo real. / This dissertation presents a distributed control architecture for a purposive computer vision system, modeled according to a Distributed Artificial Intelligence approach, with emphasis in Multi-Agents Systems. The main problem addressed is the integration of several modules with different purposes and behaviors in a robotic system, which uses computer vision to perceive the world. This integration arises from the organization of several dedicated solutions to different visual tasks, resulting in the proposal of one architecture that consists of a society of Autonomous Agents, communicating with each other through a decentralized and fully connected network, where each AA is responsible for an independent behavior. This society is organized according to behavior rules and an authority structure. Furthermore, this architecture integrates several cognitive modules, like visual perception, planning, control and action. As an attempt of an experimental validation of the proposal, this architecture was implemented in a system composed of a robotic manipulator and one camera, working in an assembly domain. The basic structure of the architecture was developed according to an object oriented methodology and consists of a library of classes which defines the agents\' model and the structures needed for the interactions among these agents in a society. The proposed robotic system was implemented in the Flexible Assembly Cell of the Escola Politécnica da USP, with the objective of accomplishing simple and visually guided assembly tasks. The system was thoroughly tested and the experimental results indicated some advantages and inconveniences of the methodology, allowing the definition of some important guidelines for the design and implementation of intelligent robotic systems acting in the real world.

Esta tese apresenta um estudo sobre a implementação de sistema de detecção e reconhecimento de faces no processador CELL na plataforma CBE, utilizando um sistema Playstation 3. Inicialmente, diversas abordagens para reconhecimento e detecção de faces são estudadas, bem como arquiteturas de processador multi núcleos. São apresentadas três implementação, sendo a segunda implementação premiada com quarto colocado no IBM CELL UNIVERSITY CHALLENGE 2007 para desenvolvimento de programas para plataforma Cell BE. A terceira implementação apresenta os resultados interessantes relacionados a vetorização do processamento dos dados da detecção de objetos e os recursos adotados para obter o melhor desempenho. / This thesis presents a study of face detection implementation on CBE plataform and employ the system with Playstation 3 hardware. Several approaches for face detection and recognition are studied as well as multicore processor architetures. We implemented three versions of system. First implementation was a naive reference implementation with worst performance. Second implementation granted fourth prize in IBM CELL UNIVERSITY CHALLENGE 2007 that incentive development on CBE plataform. Third implementation had most interesting results with vectorized approaches on code of object detection.