Este trabalho trata da coordenação de robôs heterogêneos que consiste em um robô helicóptero e em múltiplos robôs móveis com rodas, de modo que estes sigam um líder. Para atingirmos este objetivo, neste trabalho desenvolve-se a estimação da atitude e posição de um robô utilizando filtros robustos. Os filros realizam a fusão dos sinais de uma unidade de medida inercial de baixo custo e de um receptor GPS (Global Positioning System) considerando um modelo de corpo rígido formulado em termos de quatérnios. Resultados experimentais são apresentados baseados em um estudo comparativo entre os filtros robustos e o filtro de Kalman. Desenvolve-se o controle de um robô móvel com rodas deslizantes e de um robô helicóptero. Para realizar o controle robusto utilzia-se um regulador robusto recursivo. Simulaçõoes do robô móvel com rodas deslizantes e do robô helicóptero são apresentadas utilizando os parâmetros de um robô móvel Pioneer 3AT e de um robô helicóptero RMAX. Desenvolve-se também um mini robô helicóptero e uma base de movimento para realização de testes de controle do mini robô helicóptero constiste de um mini helimodelo e de um piloto automático baseado em um microprocessador com conectividade Wi-Fi, uma unidade de medida inercial e uma placa de controle de servos motores. E por fim, desenvolve-se a coordenação de robôs heterogêneos de modo que estes sigam um líder. Para isto é utilziado um controlador descentralizado e cooperativo cuja finalidade é gerar trajetórias de referência para que os robôs heterogênos se movimentem em formação rígida. / This research deals with the coordination of the heterogeneous robots, consisting of a robotic helicopter and multiple uheeled mobile robots, to achieve this aim this work develops the estimation of attitude, heading and positions of a robot based on robust filters. The filters perform the fusion of the signals of a low-cost inertial measurement unit and a GPS (Global Positioning System) receiver considering a rigid body model formulated in terms of quaternions. Experimental results are presented based on a comparative study of the robust filters and Kalman filter. It develops a robust control scheme of a ski-steering mobile robot and a robotic helicopter. The robust control is performed through a the robust recursive regulator. Simulations of the skid-steering mobile robot and a robotic helicopter are presented using the parameters of a Pioneer 3AT and a robotic helicopter RMAX. It also develops a mini robotic helicopter and a motion base to perform control test of a mini robotic helicopter. The mini robotic helicopter consists of a mini helicopter TREX 450 XL and an autopilot based on a microprocessor with Wi-Fi, an inertial measurement unit a servo control board. To finish, it develops the coordination of the heterogeneous robots in order to perform a leader strategy based on the concept of rigid formation.

O adequado deslocamento autônomo de robôs móveis entre fileiras de cultura agrícola implica a apropriada configuração estrutural do veículo, bem como considerar a detecção das filas de plantas ou árvores, e também o desenvolvimento de um sistema de controle de locomoção. Esta tese apresenta o desenvolvimento de um sistema de controle em malha fechada baseado na técnica de otimização H∞, que é aplicado no deslocamento entre fileiras de plantio de um robô móvel agrícola em escala reduzida. Mais especificamente, o foco deste trabalho é o seguimento de caminhos na cultura através da aplicação de técnicas de controle robusto. Duas questões foram fundamentais na elaboração da tese: 1) \"Quais são os métodos e procedimentos necessários para implementar a navegação autônoma de um protótipo de robô móvel entre fileiras de cultura agrícola?\" e, 2) \"É possível aplicar os conceitos relativos a sistemas de controle em malha fechada para solucionar o problema da navegação autônoma do robôs móveis entre fileiras de cultura agrícola?\". Primeiramente é apresentada uma revisão bibliográfica sobre robôs móveis agrícolas que tem locomoção baseada em rodas. Posteriormente, os conceitos relacionados com o projeto de controle baseado na técnica de otimização H∞ são fundamentados. Em seguida, são descritos os detalhes relacionados com a construção da plataforma robótica proposta, o projeto do controlador de caminho, as respectivas simulações e as especificações para a realização de testes em ambiente agrícola. Finalmente os resultados alcançados são apresentados. Conclui-se que o sistema de controle proposto se mostrou efetivo na realização da navegação autônoma do robô entre as fileiras da cultura previamente configuradas para a avaliação do seu desempenho. / Appropriate autonomous navigation of mobile robots between crop rows implies, besides appropriate structural configuration, considering detection of plants or trees in rows, as well as the development of a locomotion control system. Consequently, this thesis presents the development of a closed loop control system based on H∞ optimization technique, which is applied to control the navigation of a low scale car-like mobile robot between crop rows; more specifically, main focus of this work is tracking paths in the culture, by the application of robust control techniques. Two questions were fundamental in the development of the thesis: 1) which are the methods and procedures to implement the autonomous navigation of a mobile robot prototype between crop rows? And 2) is it possible to apply the concepts of closed-loop control systems to solve the problem of autonomous navigation of mobile robots between crop rows? Firstly, we provide a literature review on agricultural mobile robots whose mobility depends on wheels. Secondly, control systems design fundamentals based on the H∞ optimization technique are addressed. Thirdly, details related to the construction of the proposed robotic platform and also the design of the proposed path controller (including its simulation and specifications for testing within an agricultural environment) are described. Finally, results of our findings are presented. It is concluded that our control system showed to be effective in the realization of autonomous navigation between crop rows in agricultural environment, which was properly configured in order to evaluate the performance of our robot.

Os métodos de Aprendizagem por Reforço (AR) se mostram adequados para problemas de tomadas de decisões em diversos domínios por sua estrutura flexível e adaptável. Apesar de promissores, os métodos AR frequentemente tem seu campo de atuação prático restrito a problemas com espaço de estados de pequeno ou médio porte devido em muito à forma com que realizam a estimativa da função de avaliação. Nesta tese, uma nova abordagem de AR, denominada de Agente Topológico de Aprendizagem por Reforço (ATAR), inspirada em aprendizagem latente, é proposta para acelerar a aprendizagem por reforço através de um mecanismo alternativo de seleção dos pares estado-ação para atualização da estimativa da função de avaliação. A aprendizagem latente refere-se à aprendizagem animal que ocorre na ausência de reforço e que não é aparente até que um sinal de reforço seja percebido pelo agente. Este aprendizado faz com que um agente aprenda parcialmente uma tarefa mesmo antes que este receba qualquer sinal de reforço. Mapas Cognitivos são usualmente empregados para codificar a informação do ambiente em que o agente está imerso. Desta forma, o ATAR usa um mapa topológico, baseado em Mapas Auto-Organizáveis, para realizar as funções do mapa cognitivo e permitir um mecanismo simples de propagação das atualizações. O ATAR foi testado, em simulação, para planejamento de navegação de um robô móvel em ambientes inicialmente desconhecidos e não-estruturados. Comparações com outros seis algoritmos AR avaliaram comparativamente o desempenho do agente proposto na navegação. Os resultados obtidos são promissores e comparáveis com os algoritmos AR mais rápidos testados, alcançando em alguns ensaios desempenho superior aos dos demais algoritmos - principalmente nas simulações que consideram situações observadas em ambientes não-estruturados. Três características do ATAR original foram alteradas para tornar ainda mais viável sua aplicação prática: (i) mudanças no mapa topológico para reduzir o número de vértices, (ii) mudança na heurística usada na seleção das ações do agente e (iii) variações na estratégia de exploração do ATAR. Do ponto (i), foi proposto e implementado um novo mapa topológico, o Mapa Topológico Incremental Classificador MTIC, que a partir da classificação dos estados do ambiente gera os vértices de uma triangularização de Watson. O ponto (ii) criou um método aplicável a outros problemas de planejamento de trajetória em grafos denominado de Melhoria das trajetórias por detecção de ponto interior. O terceiro estudou estratégias direcionadas de exploração como uma opção para acelerar o aprendizado do ATAR. / Reinforcement Learning (RL) methods have shown to be a good choice for decision-making problems due to their flexible and adaptive characteristics. Despite such promising features, RL methods often have their practical application restricted to small or medium size (at state, or state-action, space) problems mainly because of their standard strategies for value function estimation. In this thesis, a new RL approach, called \"Topological Reinforcement Learning Agent\" - TRLA, is proposed to accelerate learning through an alternative mechanism to update the state-action value function. TRLA is inspired in latent learning, which refers to animal learning that occurs in the absence of reinforcements and that is not visible until an environmental reinforcement is perceived. This concept considers that part of a task can be learned even before the agent receives any indication of how to perform such a task. Cognitive Maps are usually used to encode information about the environment where the agent is immersed. Thus, the TRLA uses a topological map, based on Self-Organized Maps, to implement cognitive map functions and permit a new simple mechanism to execute the propagation of state-action updates. The chosen problem to test TRLA is the simulation of a mobile robot navigation in some initially unknown and unstructured environments. Performance comparisons of the TRLA with six other RL algorithms were carried out to the execution of the navigation task. The obtained results are very promising and comparable with some of faster RL algorithms simulated. In some experiments, the TRLA\'s performance overcomes the others especially in simulations with unstructured environments. Three characteristics of the original TRLA were modified to make it more suitable for real implementations: (i) changes in the topological map construction to reduce the vertices number, (ii) changes in the agents heuristic for action selection, and (iii) variations on the TRLAs strategy for exploration of the state-action space. In (i), a new procedure to construct topological maps was proposed and implemented, the Incremental Classifier Topological Map ICTM, which generates the vertices for a Watsons triangulation from the classification of the input states. In (ii), it was proposed a method to optimize trajectory planning problems based on graphs, denoted \"trajectory improvement from inner point detection\". The third point considers directed exploration strategies as an option for TRLA\'s learning acceleration.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-04-25T15:55:49Z No. of bitstreams: 1 larafurtadobastos.pdf: 4369558 bytes, checksum: 7b36e77b964a5ec919c2c9967a654a03 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-04-26T12:06:02Z (GMT) No. of bitstreams: 1 larafurtadobastos.pdf: 4369558 bytes, checksum: 7b36e77b964a5ec919c2c9967a654a03 (MD5) / Made available in DSpace on 2017-04-26T12:06:02Z (GMT). No. of bitstreams: 1 larafurtadobastos.pdf: 4369558 bytes, checksum: 7b36e77b964a5ec919c2c9967a654a03 (MD5) Previous issue date: 2016-09-08 / O presente trabalho apresenta a adaptação e utilização de um algoritmo da área de inteligência artificial evolucionária, bioinspirado no sistema de ecolocalização de morcegos, para resolver o problema da localização global de robôs móveis em ambientes bidimensionais com mapas conhecidos. Sabe-se, por meio da literatura, que a localização de robôs baseada apenas em dedução via hodometria, do inglês deduced reckoning ou dead-reckoning, acumula diversos erros de origem estocástica, os quais não podem ser eliminados de maneira determinística, fazendo-se necessários métodos de filtragem estatística para a correta obtenção da localização. Dentre as diversas alternativas conhecidas para solucionar o problema de localização, escolheu-se o Método Recursivo de Monte Carlo, também denominado por Filtro de Partículas, para comparação com os resultados obtidos pelo algoritmo de morcego, por suas características multimodais e não-paramétricas, sendo este um algoritmo clássico na área de localização robótica. O algoritmo de morcegos, do inglês Bat Algorithm, é um método recursivo de otimização de estados de um sistema que se encontra num ambiente multimodal. É bioinspirado nos sistemas de ecolocalização encontradas em morcegos e outros animais na natureza. Nos resultados de comparação entre ambos os métodos, a técnica proposta demonstrou melhores resultados tanto para o erro entre a localização real e a estimada pelos métodos quanto para o número de iterações necessárias para alcançar a solução e, consequentemente, o tempo de convergência do algoritmo. Para o desenvolvimento deste trabalho, utilizou-se o programa Matlab R integrado com a plataforma ROS, juntamente com o robô móvel terrestre Pioneer P3-DX para os resultados simulados e reais. / This work presents the adaptation and use an algorithm from evolutionary artificial intelligence area, bioinspired in the echolocation system of bats to solve the problem of global location for mobile robots in two-dimensional environments with known maps. It is widely known in literature that the localization of robots based only on deduced reckoning accumulates many stochastic errors, which cannot be eliminated deterministically, requesting statistical filtering methods to obtain the correct location. Among the various alternatives known to solve the problem of localization, we chose the Recursive Method of Monte Carlo, also kown as Particle Filter, for comparison purposes with the results obtained by the Bat Algorithm, because of its multimodal and nonparametric features, and alse because it is a classic algorithm in robotics localization area. The Bat Algorithm is a recursive optimization method of system states immerse in multimodal environments. It is bioinspired in the echolocation systems found in bats and other animals in nature. In comparison results between the two methods, the proposed technique showed the best results for both localization error and the number of iterations required to reach the solution, and consequently the algorithm convergence time. To develop this work, the Matlab software was used with the ROS framework along with the terrestrial mobile robot Pioneer P3-DX for simulated and real results.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-04-26T12:41:45Z No. of bitstreams: 1 leandroluizrezendedeoliveira.pdf: 11529978 bytes, checksum: 0d088d792c8861423c02cd09cfcdc538 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-04-26T13:54:24Z (GMT) No. of bitstreams: 1 leandroluizrezendedeoliveira.pdf: 11529978 bytes, checksum: 0d088d792c8861423c02cd09cfcdc538 (MD5) / Made available in DSpace on 2017-04-26T13:54:24Z (GMT). No. of bitstreams: 1 leandroluizrezendedeoliveira.pdf: 11529978 bytes, checksum: 0d088d792c8861423c02cd09cfcdc538 (MD5) Previous issue date: 2013-11-11 / O objetivo do presente trabalho é apresentar o desenvolvimento de um controle de trajetória para robôs móveis baseado em visão computacional, implementado no Framework ROS (Robotic Operating System). O ambiente do futebol de robôs foi utilizado como plataforma de teste da metodologia proposta. Para executar essa tarefa foi desenvolvido um algoritmo para o sistema de visão robótica, capaz de executar a calibração do sistema de captura de imagens e a identificação dos robôs no campo de acordo com a forma e a cor das etiquetas de identificação através da biblioteca OpenCV, a qual é integrada na estrutura fornecida pelo ROS. Os algoritmos elaborados de visão computacional, controle de alto nível e controle de baixo nível foram estruturados conforme as diretrizes do ROS, sendo assim denominados de nós. Os algoritmos de alto nível responsáveis pelo controle de trajetória, tratamento de imagem e controle são executados em um computador desktop ou notebook, ao passo que o algoritmo de baixo nível para controle é executado em uma plataforma Arduino embarcada no robô. O computador ou notebook e a plataforma Arduino embarcadas nos robôs trocam informações entre si de forma distribuída utilizando tópicos que interligam os nós e transmitem mensagens utilizando o padrão Publisher/Subscriber. Ainda é abordado o desenvolvimento do robô diferencial proposto, com seus dispositivos de controle, comunicação e tração. / The goal of this work is to present the development of a path control for mobile robots based on computer vision, implemented in ROS (Robotic Operating System) Framework. The robot soccer environment was used as test platform for the proposed methodology. To accomplish this task was developed an algorithm to the robotic vision system, able to perform the calibration of image capture system and the identification of robots in the field according to the shape and color identification labels through the OpenCV library, which is integrated into the structure provided by ROS. The algorithms developed for computer vision, high-level control and low-level control were structured according to the guidelines of the ROS, therefore called nodes. The algorithms responsible for the high-level path control, image processing and control are performed on a desktop computer or notebook, while the algorithm for low-level control is running on a platforms Arduino embedded in the robots. The computer or notebook and embedded platform Arduino exchange informations among themselves in a distributed manner using topics, interconnecting nodes and transmit messages using the Publisher/Subscriber default. Also is addresses the development of a differential robot proposed, with their control devices, communications and traction.

Made available in DSpace on 2016-12-12T20:22:52Z (GMT). No. of bitstreams: 1 Eduardo B Viecilli.pdf: 12003318 bytes, checksum: 049902e80d65ca85726715d69e30469a (MD5) Previous issue date: 2014-03-17 / Conselho Nacional de Desenvolvimento Científico e Tecnológico / Mobile robots should be able to seek (explore the environment and recognize the objects) autonomously and efficiently. This work developed a mobile robot capable of performing the search for a 3D object in an unknown environment, using only one depth camera (RGB + Depth) as sensor and executing a strategy of active vision. The Microsoft Kinect was adopted as sensor. Also a mobile robot (XKBO) was build using the Robot Operating System (ROS), and with its architecture adapted from the norm STANAG 4586. A new active exploration strategy was developed in which considers the effort of the robot to move to the frontier regions (occult areas), and the presence of traces of the object. The metrics used demonstrated that the use of depth cameras for visual search tasks have a potential for deployment because associates visual and depth information, allowing the robot to better understand the environment and the target object of the search. / Robôs móveis devem ter a capacidade de buscar (explorar o ambiente e reconhecer objetos) de forma autônoma e eficiente. Este trabalho desenvolveu um robô móvel capaz de executar a busca a um objeto (3D) em ambiente desconhecido, utilizando somente uma câmera de profundidade (RGB + distancia) como sensor e executando uma estratégia de visão ativa. A Microsoft Kinect foi a câmera adotada. Também construiu-se um robô móvel (XKBO) que utiliza o Sistema Operacional Robótico (ROS), e com a arquitetura adaptada da norma STANAG 4586. Foi possível usar algoritmos existentes para reconhecer objetos 3D usando o Kinect graças as ferramentas presentes no ROS. E o uso do Kinect facilitou a geração de mapas do ambiente. Desenvolveu-se uma nova estratégia de exploração ativa que considera o esforço de movimentação para as regiões de fronteiras (áreas ocultas), e a existência de indícios da presença do objeto. As métricas utilizadas demonstram que o uso de câmeras de profundidade para tarefas de busca tem potencial para evolução por associar informação visuais com as de profundidade, permitindo que o robô possa entender o ambiente e o objeto alvo da busca. Palavras-chave: Robô Móvel. Exploração. Busca Visual. Câmera RGB-D.

Uma meta procurada em inteligência artificial (IA) é o desenvolvimento de mecanismos inteligentes capazes de cumprir com objetivos preestabelecidos, de forma totalmente independente, em ambientes dinâmicos e complexos. Uma recente vertente das pesquisas em IA, os agentes autônomos, vem conseguindo resultados cada vez mais promissores para o cumprimento desta meta. A motivação deste trabalho é a proposição e implementação de um agente que aprenda a executar tarefas, sem a interferência de um tutor, em um ambiente não estruturado. A tarefa prática proposta para testar o agente é a navegação de um robô móvel em ambientes com diferentes configurações, e cujas estruturas são inicialmente desconhecidas pelo agente. O paradigma de aprendizagem por reforço, através de variações dos métodos de diferença temporal, foi utilizado para implementar o agente descrito nesta pesquisa. O resultado final obtido foi um agente autônomo que utiliza um algoritmo simples para desempenhar propriedades como: aprendizagem a partir de tabula rasa, aprendizagem incremental, planejamento deliberativo, comportamento reativo, capacidade de melhoria do desempenho e habilidade para gerenciar múltiplos objetivos. O agente proposto também apresenta um desempenho promissor em ambientes cuja estrutura se altera com o tempo, porém diante de certas situações seus comportamentos em tais ambientes tendem a se tornar inconsistentes. / One of the current goals of research in Artificial Intelligence is the proposition of intelligent entities that are able to reach a particular target in a dynamic and complex environment without help of a tutor. This objective has been becoming reality through the propositions of the autonomous agents. Thus, the main motivation of this work is to propose and implement an autonomous agent that can match the mentioned goals. This agent, a mobile robot, has to navigate in environments which are initially unknown and may have different structures. The agent learns through one of the main reinforcement learning strategies: temporal difference. The proposed autonomous employs a simple learning mechanisms with the following features: learns incrementally from tabula rasa, executes deliberative and reactive planning, improves its performance through interactions with the environment, and manages multiple objectives. The agent presented promising results when moving in a dynamic environment. However, there are situations in which the agent do not follow this last property.

Uma meta procurada em inteligência artificial (IA) é o desenvolvimento de mecanismos inteligentes capazes de cumprir com objetivos preestabelecidos, de forma totalmente independente, em ambientes dinâmicos e complexos. Uma recente vertente das pesquisas em IA, os agentes autônomos, vem conseguindo resultados cada vez mais promissores para o cumprimento desta meta. A motivação deste trabalho é a proposição e implementação de um agente que aprenda a executar tarefas, sem a interferência de um tutor, em um ambiente não estruturado. A tarefa prática proposta para testar o agente é a navegação de um robô móvel em ambientes com diferentes configurações, e cujas estruturas são inicialmente desconhecidas pelo agente. O paradigma de aprendizagem por reforço, através de variações dos métodos de diferença temporal, foi utilizado para implementar o agente descrito nesta pesquisa. O resultado final obtido foi um agente autônomo que utiliza um algoritmo simples para desempenhar propriedades como: aprendizagem a partir de tabula rasa, aprendizagem incremental, planejamento deliberativo, comportamento reativo, capacidade de melhoria do desempenho e habilidade para gerenciar múltiplos objetivos. O agente proposto também apresenta um desempenho promissor em ambientes cuja estrutura se altera com o tempo, porém diante de certas situações seus comportamentos em tais ambientes tendem a se tornar inconsistentes. / One of the current goals of research in Artificial Intelligence is the proposition of intelligent entities that are able to reach a particular target in a dynamic and complex environment without help of a tutor. This objective has been becoming reality through the propositions of the autonomous agents. Thus, the main motivation of this work is to propose and implement an autonomous agent that can match the mentioned goals. This agent, a mobile robot, has to navigate in environments which are initially unknown and may have different structures. The agent learns through one of the main reinforcement learning strategies: temporal difference. The proposed autonomous employs a simple learning mechanisms with the following features: learns incrementally from tabula rasa, executes deliberative and reactive planning, improves its performance through interactions with the environment, and manages multiple objectives. The agent presented promising results when moving in a dynamic environment. However, there are situations in which the agent do not follow this last property.