A integração de sistemas de Visão Computacional com a Robótica Móvel é um campo de grande interesse na pesquisa. Este trabalho demonstra um método de localização global para Robôs Móveis Autônomos baseado na criação de uma memória visual, através da detecção e descrição de pontos de referência de imagens capturadas, com o método SURF, associados a dados de odometria, em um ambiente interno. O procedimento proposto, associado com conhecimento específico sobre o ambiente, permite que a localização seja obtida posteriormente pelo pareamento entre quadros memorizados e a cena atual observada pelo robô. Experimentos são conduzidos para mostrar a efetividade do método na localização robótica. Aprimoramentos para situações difíceis como travessia de portas são apresentados. Os resultados são analisados, e alternativas para navegação e possíveis futuros refinamentos discutidos / Integration of Computer Vision and Mobile Robotics systems is a field of great interest in research. This work demonstrates a method of global localization for Autonomous Mobile Robots based on the creation of a visual memory map, through detection and description of reference points from captured images, using the SURF method, associated to odometer data in a specific environment. The proposed procedure, coupled with specific knowledge of the environment, allows for localization to be achieved at a later stage through pairing of these memorized features with the scene being observed in real time. Experiments are conducted to show the effectiveness of the method for the localization of mobile robots in indoor environments. Improvements aimed at difficult situations such as traversing doors are presented. Results are analyzed and navigation alternatives and possible future refinements are discussed

O objetivo deste trabalho é desenvolver um sistema de navegação global para que veículos agrícolas autônomos possam executar missões em campos de cultivo através de um sistema de planejamento de trajetórias. Missões podem ser entendidas como sendo tarefas (p.ex.: de monitoramento, coleta de amostras, etc.) através de pequenas rotas que os veículos devem seguir ao longo de seus trabalhos diários, percorrendo a menor distância possível entre os pontos de origem e destino. O planejamento de trajetória foi dividido em etapas para facilitar o entendimento de cada uma delas. O mapeamento apresentado neste trabalho foi feito em regiões de cultivo de café nos estados de São Paulo e Minas Gerais. Os pontos do mapa foram amostrados utilizando um módulo receptor de sinal GPS (Global Positioning System) ao longo dos caminhos onde é possível a passagem do veículo dentro da plantação. Uma etapa importante para o sucesso deste sistema é a etapa de pré-processamento dos dados. Nesta etapa são inseridas as relações entre os pontos do mapeamento da área. As missões foram pré-definidas de modo a testar o cálculo do caminho de custo mínimo que é realizado através do algoritmo de Dijkstra. A cada ponto da rota é fornecido o ângulo de direção com o qual o veículo deve estar em relação ao Norte geográfico. De acordo com a mudança pretendida do ângulo de direção é proposta uma suavização nesta mudança através da alteração do percurso para um arco de circunferência. Neste caso, o raio de giro é informado. A última etapa consiste em fornecer a velocidade máxima de deslocamento do veículo em função da mudança de direção e velocidade angular máxima do centro de massa do veículo. O sistema proposto neste trabalho foi capaz de determinar o caminho com a menor distância entre dois pontos do mapeamento (coordenadas geográficas) e o calcular da distância entre os pontos. Embora a fórmula utilizada para calcular a distância entre duas coordenadas geográficas considerar o formato da Terra como sendo uma esfera, isto não gerou erro significativo para a aplicação proposta. A suavização proposta possibilitou, em alguns pontos, o aumento da velocidade de deslocamento por fazer a mudança do ângulo de direção de forma menos abrupta. / The objective of this work is to develop a global navigation system for autonomous agricultural vehicles can perform missions in crop fields through a system of path planning. Missions can be understood as tasks (eg monitoring, sampling, etc.). Through small routes that vehicles must follow throughout their daily jobs, traveling the shortest possible distance between the points of origin and destination. The path planning was divided into steps to make it easy to understand each one. The mapping presented in this work was done in coffee-growing regions in the state of São Paulo and Minas Gerais. The map points have been sampled using a GPS receiver module along the path where it is possible to move the vehicle within the plantation. An important step for the success of this system is the data pre-processing step. In this step are inserted the relations between the points of the mapping. The missions are predefined in order to test if the calculation of the minimum cost path made by Dijkstra algorithm is correct. At each point of the route is given the vehicle heading angle (vehicle position towards the geographic North). According to the intended change of the heading angle is proposed a smoothing method to smooth this change by changing the route to an arc. In this case, the turning radius is reported. The last step is to provide the maximum speed of the vehicle due to the change of direction and maximum angular speed of the center of mass. The system proposed in this paper was able to determine the path with the shortest distance between two points of the mapping (geographic coordinates) and calculate the distance between these points. Although the formula used to calculate the distance between two geographical coordinates consider the shape of the Earth as a sphere, this did not generate significant errors for the proposed application. The proposed smoothing allowed, in some cases, to increase the vehicle speed by making the change of heading angle less abrupt.

The population growth associated with natural resources shortage, food demand increasing and the lack of manpower for agricultural activities generate important challenges to agriculture and engineering. The challenges imply the improvement of productivity with fewer resources, This scenario is consisted parameters that generally are in opposite directions. This work presents the development of a rover to agriculture (R2A) to support agriculturescouting tasks, the tasks will be in the future important tools to improve the productivity and enable the use of less agricultural supplies. The research presents the development of a rover for agriculture (R2A) to support scouting tasks; tasks that in the future will improve productivity and allowed the use of less agricultural supplies. The study begins with a bibliographic review of Robots for agriculture, Rovers, and agricultural Rovers developed by different research institutions. After the review is presented the work methodology based on mechanic and mechatronic design methodologies; in the development of the methodology are presented the general crop characteristics, the proposed of scouting tasks, the benchmarking developing mathematical models, CAD (Computer Aided Design ) models, simulations and tests in order to know the different features of the Rovers and agricultural robots. Using the knowledge gained in the course of work is proposed the concept of a rover for agriculture R2A, the concept is compared in simulations, and developed the detailed design using CAE tools (Computer Aided Engineering) after it built a prototype and tested. As results are presented comparative simulations of R2A, their mathematical modeling, R2A simulations in ideally conditions highlighting their skills, and finally R2A tests and comparison are presented. / O crescimento populacional associado à escassez de recursos naturais, a crescente demanda alimentar e a falta de mão de obra para as actividades agrícolas geram importantes desafios para a agricultura e a engenharia. Os desafios implicam a melhoria da produtividade com menos recursos. O cenário é constituido por parâmetros que geralmente estão em direções opostas. O trabalho apresenta o desenvolvimento de um rover para agricultura (R2A) para suportar tarefas de Scouting, tarefas que no futuro melhorarão a produtividade e permitirão o uso de menos subministros agrícolas. O estudo começa pela revisão bibliográfica de Robôs para agricultura, Rovers e Rovers agrícolas desenvolvidos por diferentes instituições de pesquisa. Apos a revisão é apresentada a metodologia do trabalho baseada nas metodologias de projeto mecânico e mecatrônico; no desenvolvimento da metodologia são apresentadas as caraterísticas das culturas de maneira geral, a proposta de tarefas de Scouting, o benchmarking desenvolvendo modelos matemáticos, modelos CAD (Computer Aided Design) simulações e testes com o intuito de conhecer as diferentes caraterísticas dos Rovers e Robôs agrícolas. Usando o conhecimento no decorrer do trabalho é proposto o conceito do rover para agricultura R2A, o conceito é comparado em simulações, e feito o projeto detalhado usando ferramentas CAE (Computer Aided Enginnerring), após é construído o protótipo, e testado. Como resultados são apresentadas simulações comparativas do R2A, a sua modelagem matemática, simulações do R2A em condições ideais, destacando as suas capacidades, e finalmente são apresentados os testes e comparações do R2A.

Este trabalho aborda o problema de planejamento de caminhos em robótica móvel autônoma utilizando campos potenciais. Dentre as várias técnicas de campos potenciais para controlar robôs, encontram-se as técnica de Campos Potenciais de Khatib1 (CP), Campo Potencial Harmônico (CPH), Campo Potencial Orientado (CPO) e Campo Potencial Localmente Orientado (CPLO). As técnicas CPH, CPO e CPLO são chamadas de técnicas baseadas em Problema de Valor de Contorno (PVC), pois são obtidas a partir de soluções de Equações Diferenciais Parciais (EDP) Elípticas em uma determinada condição de contorno, é obtido um sistema planejador de caminhos. Tais técnicas necessitam de uma etapa de solução de sistemas lineares, na qual se utiliza métodos iterativos, decorrentes da aplicação do método de diferenças finitas como solucionador das EDP. No presente trabalho, as técnicas de Campos Potenciais baseados em PVC foram estudadas e implementadas (usando processamento sequencial e paralelo), de modo a obter resultados de forma mais rápida e confiável. Foram utilizadas arquiteturas paralelas do tipo manycore. Finalmente, são feitas análises comparativas entre os vários métodos implementados. Todos os métodos estão prontos para serem incorporados tanto no simulador quanto nos times de robôs em desenvolvimento pelo grupo Warthog Robotics / This works details the task o path planning in autonomous mobile robots using potential fields techniques. Among potential fields techniques to control robots, there are Khatibs Potential Field2 (KPF), Harmonic Potential Field (HPF), Oriented Potential Field (OPF) and Locally Oriented Potential Field (LOPF). The HPF, OPF and LOPF techniques are called Boundary Value Problem (BVP) based, bacause they are obtained from numerical solutions of Elliptic Partial Differential Equations (PDE) in a well-defined boundary condition. These techniques go through a step of solving linear systems, in which is used iterative methods, that came from numerical solution of PDE. In this work, potential fields BVP based was studied and coded (using sequential and parallel architectures), to obtain results more quickly and reliably. And, finally, a comparative analyses of the various methods implemented are made. All methods are ready to be incorporated in the intelligent systens that are being developed by Warthog Robotics

Apesar da popularidade das câmeras onidirecionais aplicadas à robótica móvel e da importância do reconhecimento de objetos no universo mais amplo da robótica e da visão computacional, é difícil encontrar trabalhos que relacionem ambos na literatura especializada. Este trabalho visa avaliar um método para classificação de objetos em imagens onidirecionais, analisando sua eficácia e eficiência para ser aplicado em tarefas de auto-localização e mapeamento de ambientes feitas por robôs moveis. Tal método é construído a partir de um classificador de objetos, implementado através de máquinas de suporte vetorial, estendidas para a utilização de Aprendizagem de Múltiplos Núcleos. Também na construção deste método, uma etapa de retificação é aplicada às imagens onidirecionais, de modo a aproximá-las das imagens convencionais, às quais o classificador utilizado já demonstrou bons resultados. A abordagem de Múltiplos Núcleos se faz necessária para possibilitar a aplicação de três tipos distintos de detectores de características em imagens, ponderando, para cada classe, a importância de cada uma das características em sua descrição. Resultados experimentais atestam a viabilidade de tal proposta. / Despite the popularity of omnidirectional cameras used in mobile robotics, and the importance of object recognition in the broader universe of robotics and computer vision, it is difficult to find works that relate both in the literature. This work aims at performing the evaluation of a method for object classification in omnidirectional images, evaluating its effectiveness and efficience considering its application to tasks of self-localization and environment mapping made by mobile robots. The method is based on a multiple kernel learning extended support vector machine object classifier. Furthermore, an unwrapping step is applied to omnidirectional images, to make them similar to perspective images, to which the classifier used has already shown good results. The Multiple Kernels approach is necessary to allow the use of three distinct types of feature detectors in omnidirectional images by considering, for each class, the importance of each feature in the description. Experimental results demonstrate the feasibility of such a proposal.

A detecção e reconhecimento de objetos é uma tarefa fundamental em aplicações relacionadas à navegação autônoma de robôs móveis e veículos inteligentes. Com a evolução tecnológica nos sistemas sensoriais, surgiram equipamentos capazes de detectar e representar os elementos presentes no ambiente de forma tridimensional, em estruturas chamadas nuvem de pontos. Os sensores 3D geralmente capturam um grande volume de pontos em curtos intervalos de tempo, o que demanda técnicas robustas para processamento dessa informação além de tolerância a eventuais ruídos nos dados. Uma abordagem frequentemente utilizada na área de Visão Computacional para redução de dimensionalidade é a extração de features robustas, armazenando um subconjunto de informações representativas e simplificadas do conjunto de dados. Esta tese apresenta uma metodologia de classificação de objetos em nuvens de pontos 3D através da extração de features 3D globais. Foi desenvolvido um novo descritor 3D invariante à escala, translação e rotação denominado 3D-CSD (3D-Contour Sample Distances) para representação da superfície dos objetos presentes no ambiente, e utilizado um método de aprendizado supervisionado para reconhecimento de padrões. Os experimentos realizados envolveram o uso de Redes Neurais Artificiais para o reconhecimento de diferentes classes de objetos, avaliando e validando a metodologia proposta. Os resultados obtidos demostraram a viabilidade da aplicação desta abordagem para o reconhecimento de objetos em sistemas de percepção 3D. / Objects detection and recognition is a critical task in applications for mobile robots and intelligent vehicles autonomous navigation. With the advent of many 3D sensors, environment elements can be detected and represented in three-dimensional mode, in structures known as point clouds. 3D sensors usually capture a large amount of points at high rates, requiring robust techniques to process this information and also deal with noise on input data. A common approach in the Computer Vision field for dimensionality reduction is the use of robust features extraction techniques. This way, only a subset with representative and simplified information from the dataset is processed. This thesis presents a methodology for objects recognition in 3D point clouds using global 3D features extraction. A novel 3D descriptor invariant to scale, translation and rotation named 3D-CSD (3D-Contour Sample Distances) was developed to represent the objects surface, and a supervised learning method used for pattern recognition. The experiments were performed using Artificial Neural Networks for the recognition of different classes of objects, evaluating and validating the proposed methodology. Obtained results demonstrated the feasibility of this approach application for object recognition in 3D perception systems.

De acordo com a Organização Mundial da Saúde,cerca de 1,2milhões de pessoas no mundo morrem em acidentes de trânsito. Sistemas de assistência ao motorista e veículos autônomos podem diminuir o número de acidentes. Dentre as várias demandas existentes para viabilizar essa tecnologia, sistemas computacionais de percepção ainda permanecem sem uma solução definitiva. Dois deles, detecção de obstáculos e de via navegável, normalmente fazem uso de algoritmos sofisticados como técnicas de aprendizado supervisionado, que mostram resultados impressionantes quando treinados com bases de dados bem definidas e diversificadas.Entretanto, construir, manter e atualizar uma base de dados com exemplos de vários lugares do mundo e em diversas situações é trabalhoso e complexo. Assim, métodos adaptativos e auto-supervisionados mostram-se como boas alternativas para sistemas de detecção do futuro próximo. Neste contexto, esta tese apresenta um método para estimar obstáculose via navegável através de sensores de baixo custo (câmeras estereoscópicas), sem o uso de técnicas de aprendizado de máquina e de diversas suposições normalmente utilizadas por trabalhos já disponíveis na literatura. Esses métodos utilizando sensor estereoscópico foram comparados fazendo uso de sensores do tipo 3D-LIDAR e mostraram resultados semelhantes. Este sistema poderá ser usado como uma fase pré-processamento de dados para melhorar ou viabilizar métodos adaptativos de aprendizado. / World wide, an estimated 1.2million lives are lostin road crashes each year and Advanced Driver Assistance Systems (ADAS) and Self-driving cars promise to reduce this number. Among the various issues to complete this technology, perception systems are still an unsolved issues. Normally two of them, obstacle detection and road detection, make use of sophisticated algorithms such as supervised machine learning methods which can perform with impressive results if it was trained with good data sets. Since it is a complex and an expensive job to create and maintain data bases of scenarios from the entire world, adaptive and/or self-supervised methods are good candidates for detection systems in the near future. Due that, this thesis present a method to estimate obsta- cles and estimate the road terrain using low cost sensors (stereo camera), avoiding supervised machine learning techniques and the most common assumptions used by works presented in literature. These methods were compared with 3D-LIDAR approaches achieving similar results and thus it can be used as a pre-processing step to improve or allow adaptive methods with machine learning systems.

Apesar da popularidade das câmeras onidirecionais aplicadas à robótica móvel e da importância do reconhecimento de objetos no universo mais amplo da robótica e da visão computacional, é difícil encontrar trabalhos que relacionem ambos na literatura especializada. Este trabalho visa avaliar um método para classificação de objetos em imagens onidirecionais, analisando sua eficácia e eficiência para ser aplicado em tarefas de auto-localização e mapeamento de ambientes feitas por robôs moveis. Tal método é construído a partir de um classificador de objetos, implementado através de máquinas de suporte vetorial, estendidas para a utilização de Aprendizagem de Múltiplos Núcleos. Também na construção deste método, uma etapa de retificação é aplicada às imagens onidirecionais, de modo a aproximá-las das imagens convencionais, às quais o classificador utilizado já demonstrou bons resultados. A abordagem de Múltiplos Núcleos se faz necessária para possibilitar a aplicação de três tipos distintos de detectores de características em imagens, ponderando, para cada classe, a importância de cada uma das características em sua descrição. Resultados experimentais atestam a viabilidade de tal proposta. / Despite the popularity of omnidirectional cameras used in mobile robotics, and the importance of object recognition in the broader universe of robotics and computer vision, it is difficult to find works that relate both in the literature. This work aims at performing the evaluation of a method for object classification in omnidirectional images, evaluating its effectiveness and efficience considering its application to tasks of self-localization and environment mapping made by mobile robots. The method is based on a multiple kernel learning extended support vector machine object classifier. Furthermore, an unwrapping step is applied to omnidirectional images, to make them similar to perspective images, to which the classifier used has already shown good results. The Multiple Kernels approach is necessary to allow the use of three distinct types of feature detectors in omnidirectional images by considering, for each class, the importance of each feature in the description. Experimental results demonstrate the feasibility of such a proposal.

O objetivo deste trabalho é desenvolver um sistema de navegação global para que veículos agrícolas autônomos possam executar missões em campos de cultivo através de um sistema de planejamento de trajetórias. Missões podem ser entendidas como sendo tarefas (p.ex.: de monitoramento, coleta de amostras, etc.) através de pequenas rotas que os veículos devem seguir ao longo de seus trabalhos diários, percorrendo a menor distância possível entre os pontos de origem e destino. O planejamento de trajetória foi dividido em etapas para facilitar o entendimento de cada uma delas. O mapeamento apresentado neste trabalho foi feito em regiões de cultivo de café nos estados de São Paulo e Minas Gerais. Os pontos do mapa foram amostrados utilizando um módulo receptor de sinal GPS (Global Positioning System) ao longo dos caminhos onde é possível a passagem do veículo dentro da plantação. Uma etapa importante para o sucesso deste sistema é a etapa de pré-processamento dos dados. Nesta etapa são inseridas as relações entre os pontos do mapeamento da área. As missões foram pré-definidas de modo a testar o cálculo do caminho de custo mínimo que é realizado através do algoritmo de Dijkstra. A cada ponto da rota é fornecido o ângulo de direção com o qual o veículo deve estar em relação ao Norte geográfico. De acordo com a mudança pretendida do ângulo de direção é proposta uma suavização nesta mudança através da alteração do percurso para um arco de circunferência. Neste caso, o raio de giro é informado. A última etapa consiste em fornecer a velocidade máxima de deslocamento do veículo em função da mudança de direção e velocidade angular máxima do centro de massa do veículo. O sistema proposto neste trabalho foi capaz de determinar o caminho com a menor distância entre dois pontos do mapeamento (coordenadas geográficas) e o calcular da distância entre os pontos. Embora a fórmula utilizada para calcular a distância entre duas coordenadas geográficas considerar o formato da Terra como sendo uma esfera, isto não gerou erro significativo para a aplicação proposta. A suavização proposta possibilitou, em alguns pontos, o aumento da velocidade de deslocamento por fazer a mudança do ângulo de direção de forma menos abrupta. / The objective of this work is to develop a global navigation system for autonomous agricultural vehicles can perform missions in crop fields through a system of path planning. Missions can be understood as tasks (eg monitoring, sampling, etc.). Through small routes that vehicles must follow throughout their daily jobs, traveling the shortest possible distance between the points of origin and destination. The path planning was divided into steps to make it easy to understand each one. The mapping presented in this work was done in coffee-growing regions in the state of São Paulo and Minas Gerais. The map points have been sampled using a GPS receiver module along the path where it is possible to move the vehicle within the plantation. An important step for the success of this system is the data pre-processing step. In this step are inserted the relations between the points of the mapping. The missions are predefined in order to test if the calculation of the minimum cost path made by Dijkstra algorithm is correct. At each point of the route is given the vehicle heading angle (vehicle position towards the geographic North). According to the intended change of the heading angle is proposed a smoothing method to smooth this change by changing the route to an arc. In this case, the turning radius is reported. The last step is to provide the maximum speed of the vehicle due to the change of direction and maximum angular speed of the center of mass. The system proposed in this paper was able to determine the path with the shortest distance between two points of the mapping (geographic coordinates) and calculate the distance between these points. Although the formula used to calculate the distance between two geographical coordinates consider the shape of the Earth as a sphere, this did not generate significant errors for the proposed application. The proposed smoothing allowed, in some cases, to increase the vehicle speed by making the change of heading angle less abrupt.

A área de robótica móvel se encontra numa fase de grande expansão, mas um dos obstáculos a ser vencido é o desenvolvimento de sistemas computacionais embarcados que combinem baixo consumo de energia com alta capacidade de processamento. A computação reconfigurável tem o potencial para atender esta demanda. Este trabalho visa avaliar as dificuldades no aproveitamento desta tecnologia através da implementação em hardware de um sistema de desvio de obstáculos para robôs móveis usando uma única câmera de baixo custo como sensor. Normalmente os algorítmos de fluxo óptico usados neste projeto são implementados inteiramente em software e sofrem várias restrições para poderem operar nos computadores embarcados nos robôs. O projeto descrito neste trabalho não tem estas restrições mas exige um esforço maior de desenvolvimento / The area of mobile robotics is undergoing a tremendous expansion, but one of the obstacles to be dealt with is the development of embedded computational systems that combine low power consumption and high performance. Reconfigurable computing has the potential to meet these requirements. This project is an evaluation of the complexities of fully exploiting this technology through the hardware implementation of an obstacle avoidance system for mobile robots using a single, low cost camera as its sensor. Normally, the optic flow algorithms used in this project are implemented entirely in software and so suffer several limitations in order to run on computers embedded in the robots. The hardware described here does not have the same limitations but requires more development effort