Orientador: Prof. Dr. Wagner Tanaka Botelho / Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Ciência da Computação, 2016. / A robotica movel tem se desenvolvido fortemente nas ultimas decadas. Os estudos de robôs com pernas, em especial, ganham destaque pela capacidade de transpor obstaculos com maior efetividade em relação aos demais meios de locomoção. Aliado a este estudo, encontra-se a robotica bioinspirada, que faz uso de elementos funcionais da natureza como inspiração para a robótica. A construção do prototipo do TB-Horse II, objetivo principal deste trabalho, é um robô quadrupede bioinspirado no cavalo. Este robô possui diversas aplicações, como por exemplo, no resgate de feridos, no transporte de cargas frágeis, entre outras. Entretanto, antes do seu desenvolvimento, foi realizado o estudo, análise e simulação do projeto em CAD-3D proposto na primeira vers~ao do robô, conhecida como TB-Horse I. Após a análise, juntamente com o estudo da biodinâmica do cavalo, foi poss'vel propor um novo projeto mecânico estrutural, simulado no Virtual Robot Experimentation Platform (V-REP) e desenvolvido no Autodesk Inventor, conhecido como TB-Horse II. A estabilidade do TB-Horse II foi analisada e validada no V-REP. O tamanho das pernas foi investigado e dois métodos matematicos foram propostos com base nos dados reais da locomoção do cavalo. O cavalo possui diversos tipos de andamentos, sendo a marcha a locomoção o utilizada neste trabalho. Neste estudo, pode-se concluir que o TB-Horse II teve maior estabilidade quando as pernas da frente são maiores que as traseiras. Além disso, o projeto eletrînico foi simulado no Proteus. Finalmente, o protótipo do TB-Horse II foi construído e validado no mundo real, em um terreno plano e sem obstáculos, juntamente com os circuitos eletrônicos. Vale ressaltar que uma estrutura de apoio foi construção para auxiliar na validação do TB-Horse II durante os experimentos. Este robô tem como pontos fortes uma estrutura mais parecida com o cavalo real e aliado a bioinspirac~ao o movimento, possibilita um controle maior da sua estabilidade. / The mobile robotics has been strongly developed in recent decades. The robots with legs are highlighted by the ability to overpass obstacles more eectively compared with other types of locomotion. The bio-inspired robotics use functional elements of natures for inspiration. The development of the TB-Horse II prototype is the main target of this work. It is a bio-inspired quadruped robot with biological features of horse locomotion. The robot can be used to rescue injured people, to carry fragile loads, among others applications. However, before its construction, it was necessary to analyze and simulate the CAD-3D structural mechanical design already developed in the rst version of the robot, called TB-Horse I. After that, and also with the study of horse biodynamic, it was possible to propose the TB-Horse II. The mechanical design of this robot has similarity with real horse, and also the stability is controlled because of its bio-inspiration. This robot was simulated in the Virtual Robot Experimentation Platform (V-REP), the mechanical structure was designed in the Autodesk Inventor and the electronic project was proposed and simulated using the Proteus software, before its implementation. The stability analysis of the robot was validated in V-REP. The leg length was investigated and two methods were proposed based on the real data of the horse's locomotion. It is important to point out that horse has dierent types of locomotion. However, the gait is used in the simulation and real experiment. Based on the results obtained, it is possible to conclude that the TB-Horse II had more stability when the front legs are longer than the rear legs. Finally, the robot prototype was developed and the experimental validation was realized on a at ground without obstacles. In order to avoid the robot to fall over unsafe and prevent it from being damaged in the experiments, a support structure was developed.

A navegação autônoma é uma tarefa fundamental na robótica móvel. Para que esta tarefa seja realizada corretamente é necessário um sistema inteligente de controle e navegação associado ao sistema sensorial. Este projeto apresenta o desenvolvimento de um sistema de controle para a navegação de veículos e robôs móveis autônomos. A abordagem utilizada neste trabalho utiliza Redes Neurais Artificiais para o aprendizado de Autômatos Finitos de forma que os robôs possam lidar com os dados provenientes de seus sensores mesmo estando sujeitos a imprecisões e erros e ao mesmo tempo permite que sejam consideradas as diferentes situações e estados em que estes robôs se encontram (contexto). Dessa forma, é possível decidir como agir para realizar o controle da sua movimentação, e assim executar tarefas de controle e navegação das mais simples até as mais complexas e de alto nível. Portanto, esta dissertação visa utilizar Redes Neurais Artificiais para reconhecer o estado atual (contexto) do robô em relação ao ambiente em que está inserido. Uma vez que seja identificado seu estado, o que pode inclusive incluir a identificação de sua posição em relação aos elementos presentes no ambiente, o robô será capaz de decidir qual a ação/comportamento que deverá ser executado. O sistema de controle e navegação irá implementar um Autômato Finito que a partir de um estado atual define uma ação corrente, sendo capaz de identificar a mudança de estados, e assim alternar entre diferentes comportamentos previamente definidos. De modo a validar esta proposta, diversos experimentos foram realizados através do uso de um simulador robótico (Player-Stage), e através de testes realizados com robôs reais (Pioneer P3-AT, SRV-1 e veículos automatizados) / Autonomous navigation is a fundamental task in mobile robotics. In order to accurately perform this task it is necessary an intelligent navigation and control system associated to the sensorial system. This project presents the development of a control system for autonomous mobile robots and vehicles navigation. The adopted approach uses Artificial Neural Networks for Finite State Machine learning, allowing the robots to deal with sensorial data even when this data is not precise and correct. Simultaneously, it allows the robots to consider the different situations and states they are inserted in (context detection). This way, it is possible to decide how to proceed with motion control and then execute navigation and control tasks from the most simple ones until the most complex and high level tasks. So, this work uses Artificial Neural Networks to recognize the robots current state (context) at the environment where it is inserted. Once the state is detected, including identification of robots position according to environment elements, the robot will be able to determine the action/- behavior to be executed. The navigation and control system implements a Finite State Machine deciding the current action from current state, being able to identify state changes, alternating between different previously defined behaviors. In order to validade this approach, many experiments were performed with the use of a robotic simulator (Player-Stage), and carrying out tests with real robots (Pioneer P3-AT, SRV-1 and autonomous vehicles)

Todos os dias a quantidade de veículos nas estradas em todo o mundo está aumentando. Este crescimento combinado com a negligência dos motoristas e alguns fatores externos, tais como estradas mal conservadas e condições climáticas adversas resultaram em um enorme aumento na quantidade de acidentes e, conseqüentemente, de mortes. Atualmente muitos grupos de pesquisa e empresas automotivas estão desenvolvendo e adaptando tecnologias que podem ser incorporadas nos veículos para reduzir esses números. Um exemplo interessante dessas tecnologias é a detecção e classificação de obstáculos móveis (veículos, pessoas, etc.) em ambientes urbanos. Este trabalho apresenta o desenvolvimento de algoritmos para identificação, rastreamento e previsão de obstáculos móveis, determinação de direções proibidas para tráfego do veículo e cálculo de trajetórias livres de colisões. Para isso, foram utilizados dados do sistema de medidas de distância, SICK LMS 291-S05, para monitorar o ambiente a frente do veículo de teste (um automóvel de passeio modificado). Com base nesses dados foi realizado um tratamento computacional através da técnica de Trackers para classificar todos os obstáculos detectados em duas classes principais: os obstáculos estáticos e móveis. Uma vez identificado o obstáculo, este será acompanhado mesmo no caso em que saia do campo de visão do sensor. Após a classificação dos obstáculos presentes no ambiente, suas posições são analisadas e direções proibidas para tráfego são determinadas peloalgoritmo Velocity Obstacle Approach. Finalmente é aplicada a técnica de cálculo de trajetórias E* que gera um caminho suave e livre de colisões. No caso de algum obstáculo obstruir ou gerar risco de colisão com o caminho gerado é possível recalcular a rota sem que o mapa do ambiente seja novamente completamente analisado. Os resultados obtidos demonstraram a aplicabilidade da metodologia utilizada. O algoritmo de Trackers detectou pedestres e veículos e determinou suas características dinâmicas. O algoritmo Velocity Obstacle Approach conseguiu acompanhar os obstáculos e foi capaz de determinar as direções proibidas e, finalmente, o algoritmo E* foi capaz de gerar trajetórias livre de obstáculos em ambientes desconhecidos. / Every day the number of vehicles on the roads around the world is increasing. This growth combined with the negligence of drivers and some external factors such as poorly maintained roads and adverse weather conditions resulted in a huge increase in the number of accidents and hence casualties. Currently many research groups and automotive companies are developing and adapting technologies that can be incorporated into vehicles to reduce these numbers. An interesting example of these technologies is the detection and classification of moving obstacles (vehicles, people, etc.) in urban environments. This dissertation presents the development of algorithms which main objective are identify, track and predict moving obstacles, determine prohibited directions of traffic and calculate collision free trajectories. In order to accomplish with such task, data from the laser sensor SICK LMS 291-S05 later treated using computational resources such as the Trackers technique was used to monitor the environment ahead of the test vehicle (a modified passenger car). The Trackers technique was used to classify all the hurdles identified in two main classes: static and mobile obstacles. Once the obstacle was identified, this still been followed even if they leave the field of vision sensor. After classification of obstacles in the environment, their positions are analyzed and prohibited for traffic directions are determined by the algorithm Velocity Obstacle Approach. Finally the technique is applied to calculate trajectories of E* that generates a smooth path and free of collisions. If any obstacle block, or create a risk of collision through the generated path, the trajectory can be recalculated without the need to fully re-analyze de environment map. The results demonstrated the applicability of the methodology used. The Trackers algorithm has detected pedestrians and vehicles determining their dynamic characteristics. The algorithm Velocity Obstacle Approach keep up with the obstacles and was able to determine the prohibited directions and, finally, E* the algorithm was able to generate obstacle-free paths in unknown environments.

Submitted by Geandra Rodrigues (geandrar@gmail.com) on 2018-03-27T13:16:05Z No. of bitstreams: 1 fabriciodeoliveiracoelho.pdf: 19075776 bytes, checksum: 5f9c07d95c6d348d64825d66fda1c6f3 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2018-03-27T13:40:24Z (GMT) No. of bitstreams: 1 fabriciodeoliveiracoelho.pdf: 19075776 bytes, checksum: 5f9c07d95c6d348d64825d66fda1c6f3 (MD5) / Made available in DSpace on 2018-03-27T13:40:24Z (GMT). No. of bitstreams: 1 fabriciodeoliveiracoelho.pdf: 19075776 bytes, checksum: 5f9c07d95c6d348d64825d66fda1c6f3 (MD5) Previous issue date: 2018-02-08 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Esse trabalho apresenta uma metodologia para a concepção de missões autônomas utilizando robôs móveis com tração diferencial em ambientes internos. As missões consistem em deslocar o robô até uma posição objetivo partindo de uma pose inicial. Para que as missões ocorram com sucesso, são implementados algoritmos de localização e planejamento de caminhos. Para localização, foi utilizado Filtro de Kalman Estendido (do inglês, Extended Kalman Filter EKF) para fundir a odometria com visão computacional. A visão é responsável por encontrar marcadores artificiais conhecidos como Ar codes que são alocados no ambiente. O planejamento é caracterizado por uma forma híbrida que corresponde a união de um método deliberativo e reativo. No Planejamento deliberativo, foi proposto e utilizado o método Direct-DRRT* cuja base é oriunda do RRT (Rapidly Exploring Random Tree). Além do RRT, esse planejador também apresenta características de dois outros métodos já presentes na literatura: RRT* e DRRT. O planejador deliberativo enviará para o reativo um conjunto de sub-objetivos que conecta a posição em que o robô se encontra até o objetivo final. O planejamento reativo é aplicado durante a missão e é o responsável pelo desvio de obstáculos dinâmicos que não foram mapeados. No Reativo, é utilizado o método dos Campos Potenciais Artificiais (CPA), que também se comporta como o controlador do robô durante a navegação. Para encontrar os obstáculos, utilizou-se o sensor de profundidade Asus Xtion, pois, a partir das imagens geradas por esse sensor, é possível encontrar as distâncias que os bloqueios se encontram. As informações desse sensor também será de grande valia na atualização do mapa. O sistema é integrado através da framework ROS (Robot Operating System). Todos os algoritmos foram implementados por meio da linguagem de programação Python. Os resultados do trabalho foram apresentados por meio do simulador Gazebo e testes práticos a partir da plataforma P3DX. Foram analisados o comportamento do robô em alguns problemas que podem ocorrer durante a navegação, como o sequestro e aparecimento mínimos locais. Ao final desse trabalho, apresentou-se a melhoria nos resultados do planejador de caminhos Direct-DRRT*, onde foi possível constatar a queda no tempo para obter um caminho, a quantidade de iterações, de nós e do comprimento do caminho em comparação aos outros métodos. No que tange à localização, essa dissertação obteve significativas melhoras comparado com o método que utiliza somente a odometria. Além desse resultado, esse trabalho também obteve sucesso em apresentar uma solução para a implementação de missões autônomas. / This work presents a design methodology for autonomous missions using mobile robots with differential traction in indoor environments. The missions consist of moving the robot to a goal position starting from an initial pose. For missions success, it is necessary to implement localization and path planning algorithms. For localization, Extended Kalman Filters (EKF) used to fuse odometry with computational vision. The view is responsible for finding artificial markers known as Ar codes that are presented in the environment. The planning is characterized by a hybrid form that corresponds to the union of a deliberative and reactive methods. In the Deliberative Planning, the Direct-DRRT * method, whose base is derived from the Rapidly Exploring Random Tree (RRT), is proposed and used. In addition to the RRT, this planner also presents characteristics of two other methods already presented in the literature, i.e. RRT * and DRRT. The deliberative planner sends to the reactive a set of sub-objectives that connects the initial position to the final goal. Reactive planning is applied during the mission and it is responsible for the dynamic obstacles avoidance that have not been mapped. In the reactive, the Artificial Potential Fields (APF) method is used, which also behaves as the robot controller during navigation. To find the obstacles, we use the sensor Asus Xtion, due to the possibility to find the distances that the locks are in the images generated by this sensor. All the algorithms were implemented through the programming language Python. The results of the work were presented through the simulator Gazebo and practical tests using the P3DX platform. We analyzed the robot behavior in some problems that may occur during navigation, such as kidnapped and local minimum appearance. At the end, the improvement in the results of the Direct-DRRT * path planner is also presented. It is possible to verify the decrease in the time to obtain a path, the number of iterations of nodes and the path length in comparison to other methods. Regarding the location, this dissertation has obtained significant improvements when compared to the methods that use only odometry. Besides, the work was also successful in presenting a solution for the autonomous missions implementation.

Este projeto apresenta uma metodologia aplicada à análise da viabilidade de se otimizar código fonte C para o processador embarcado Nios II. Esta metodologia utiliza ferramentas de análise de código que traçam o perfil da aplicação, identificando suas partes críticas em relação ao tempo de execução, as quais são o gprof e o performance counter. Para otimizar o código para o processador Nios II, são utilizadas tanto instruções customizadas quanto uma ferramenta automática de aceleração de código, o compilador C2H. Como casos de estudo, foram escolhidos três algoritmos devido à sua importância no campo da robótica móvel, sendo eles o gaxpy, o EKF e o SIFT. A partir da aplicação da metodologia para se otimizar cada um dos casos, foi comparada a eficiência tanto das ferramentas de análise de código, quanto das ferramentas de otimização, bem como a validade da metodologia proposta / This project presents a methodology applied to analyze the viability of C source code optimization for the Nios II embedded processor. This methodology utilizes the gprof and performance counter source code analysis tools to profile the source code of an application, and identify its critical time consuming parts. The optimization of C source code for the Nios II processor was performed using custom instructions and an automatic source code acceleration tool, the C2H compiler. Three algorithms were chosen as study cases, based on their importance to mobile robotics. Those were the gaxpy, EKF and SIFT algorithms. After applying the presented methodology to optimize each study case, efficiency comparisons were made between the source code analysis tools, as well between the optimization tools, in order to validate the presented methodology

Durante o processo de desenvolvimento de software a atividade de teste pode contribuir com a melhoria de qualidade, produtividade e redução de custos, por meio da aplicação de técnicas e critérios de teste. Esses instrumentos viabilizam a detecção de defeitos, minimizando a quantidade de falhas no produto final. Durante o desenvolvimento de sistemas robóticos móveis, técnicas VST (Virtual Simulation Tools/Technology) são enormemente utilizadas. Apesar dos testes usando simulação serem eficientes em alguns casos, eles não permitem uma sistematização da atividade de teste com relação à cobertura de código. Este projeto de doutorado contribui nessa direção, explorando essa lacuna e propondo uma abordagem de teste de integração híbrida, composta por teste funcional e estrutural, a qual explora defeitos relacionados à comunicação entre os processos do sistema robótico. Este estudo foi conduzido com base em conceitos explorados no teste de programas concorrentes, dado que os sistemas robóticos podem apresentar problemas similares aos encontrados nos programas concorrentes, como não determinismo, diferentes possibilidades de comunicação, entre outros. Durante o trabalho foi definida uma abordagem de teste de integração e critérios de cobertura aplicados a sistemas robóticos. Os estudos exploratórios conduzidos indicaram que a abordagem proposta é aplicável e pode contribuir para revelar defeitos não explorados pela simulação e técnicas de teste utilizadas anteriormente. / During the software development process the test activity contributes in terms of increased software quality, team productivity and cost reduction by application of techniques and test criteria. These mechanisms allow the defects detection, reducing the failures in the final product. In a robotic systems development context, VST techniques (Virtual Simulation Tools/Technology) are widely used. Although these approaches be efficient, in some cases they not allow great systematization of the test activity including code coverage analysis. This project explores this gap and proposes an approach for integration testing applied to robotic embedded systems, composed of functional and structural testing, looking for defects mainly related to the communication among processes of these systems. This study was initially conducted by mapping coverage criteria, defined for concurrent programs testing and exploring problems related to non-determinism, communication, and other undesired situations. During the project we defined an approach of integration testing and coverage criteria for mobile robotic systems. The exploratory case studies indicate that the proposed approach is applicable and can contributes to reveal defects not found using simulations or traditional testing of mobile robotic systems.

A navegação autônoma é um dos problemas fundamentais da robótica móvel. Para um robô executar esta tarefa, é necessário determinar a região segura para a navegação. Este trabalho propõe um sistema de identificação de superfícies navegáveis baseado em visão computacional utilizando redes neurais artificiais. Mais especificamente, é realizado um estudo sobre a utilização de diferentes atributos de imagem, como descritores estatísticos e elementos de espaços de cores, para serem utilizados como entrada das redes neurais artificiais que tem como tarefa a identificação de superfícies navegáveis. O sistema desenvolvido utiliza resultados de classificação de múltiplas configurações de redes neurais artificiais, onde a principal diferença entre elas é o conjunto de atributos de imagem utilizados como entrada. Essa combinação de diversas classificações foi realizada visando maior robustez e melhor desempenho na identificação de vias em diferentes cenários / Autonomous navigation is a fundamental problem in mobile robotics. In order to perform this task, a robot must identify the areas where it can navigate safely. This dissertation proposes a navigable terrain identification system based on computer vision and neural networks. More specifically, it is presented a study of image attributes, such as statistical decriptors and elements of different color spaces, that are used as neural neworks inputs for the navigable surfaces identification. The system developed combines the classification results of multiple neural networks topologies with different image attributes. This combination of classification results allows for improved efficient and robustenes in different scenarios

O adequado deslocamento autônomo de robôs móveis entre fileiras de cultura agrícola implica a apropriada configuração estrutural do veículo, bem como considerar a detecção das filas de plantas ou árvores, e também o desenvolvimento de um sistema de controle de locomoção. Esta tese apresenta o desenvolvimento de um sistema de controle em malha fechada baseado na técnica de otimização H∞, que é aplicado no deslocamento entre fileiras de plantio de um robô móvel agrícola em escala reduzida. Mais especificamente, o foco deste trabalho é o seguimento de caminhos na cultura através da aplicação de técnicas de controle robusto. Duas questões foram fundamentais na elaboração da tese: 1) \"Quais são os métodos e procedimentos necessários para implementar a navegação autônoma de um protótipo de robô móvel entre fileiras de cultura agrícola?\" e, 2) \"É possível aplicar os conceitos relativos a sistemas de controle em malha fechada para solucionar o problema da navegação autônoma do robôs móveis entre fileiras de cultura agrícola?\". Primeiramente é apresentada uma revisão bibliográfica sobre robôs móveis agrícolas que tem locomoção baseada em rodas. Posteriormente, os conceitos relacionados com o projeto de controle baseado na técnica de otimização H∞ são fundamentados. Em seguida, são descritos os detalhes relacionados com a construção da plataforma robótica proposta, o projeto do controlador de caminho, as respectivas simulações e as especificações para a realização de testes em ambiente agrícola. Finalmente os resultados alcançados são apresentados. Conclui-se que o sistema de controle proposto se mostrou efetivo na realização da navegação autônoma do robô entre as fileiras da cultura previamente configuradas para a avaliação do seu desempenho. / Appropriate autonomous navigation of mobile robots between crop rows implies, besides appropriate structural configuration, considering detection of plants or trees in rows, as well as the development of a locomotion control system. Consequently, this thesis presents the development of a closed loop control system based on H∞ optimization technique, which is applied to control the navigation of a low scale car-like mobile robot between crop rows; more specifically, main focus of this work is tracking paths in the culture, by the application of robust control techniques. Two questions were fundamental in the development of the thesis: 1) which are the methods and procedures to implement the autonomous navigation of a mobile robot prototype between crop rows? And 2) is it possible to apply the concepts of closed-loop control systems to solve the problem of autonomous navigation of mobile robots between crop rows? Firstly, we provide a literature review on agricultural mobile robots whose mobility depends on wheels. Secondly, control systems design fundamentals based on the H∞ optimization technique are addressed. Thirdly, details related to the construction of the proposed robotic platform and also the design of the proposed path controller (including its simulation and specifications for testing within an agricultural environment) are described. Finally, results of our findings are presented. It is concluded that our control system showed to be effective in the realization of autonomous navigation between crop rows in agricultural environment, which was properly configured in order to evaluate the performance of our robot.

Este trabalho propõe uma nova classe de algoritmos que permite o uso de heurísticas para aceleração do aprendizado por reforço. Esta classe de algoritmos, denominada \"Aprendizado Acelerado por Heurísticas\" (\"Heuristically Accelerated Learning\" - HAL), é formalizada por Processos Markovianos de Decisão, introduzindo uma função heurística H para influenciar o agente na escolha de suas ações, durante o aprendizado. A heurística é usada somente para a escolha da ação a ser tomada, não modificando o funcionamento do algoritmo de aprendizado por reforço e preservando muitas de suas propriedades. As heurísticas utilizadas nos HALs podem ser definidas a partir de conhecimento prévio sobre o domínio ou extraídas, em tempo de execução, de indícios que existem no próprio processo de aprendizagem. No primeiro caso, a heurística é definida a partir de casos previamente aprendidos ou definida ad hoc. No segundo caso são utilizados métodos automáticos de extração da função heurística H chamados \"Heurística a partir de X\" (\"Heuristic from X\"). Para validar este trabalho são propostos diversos algoritmos, entre os quais, o \"Q-Learning Acelerado por Heurísticas\" (Heuristically Accelerated Q-Learning - HAQL), que implementa um HAL estendendo o conhecido algoritmo Q-Learning, e métodos de extração da função heurística que podem ser usados por ele. São apresentados experimentos utilizando os algoritmos acelerados por heurísticas para solucionar problemas em diversos domínios - sendo o mais importante o de navegação robótica - e as heurísticas (pré-definidas ou extraídas) que foram usadas. Os resultados experimentais permitem concluir que mesmo uma heurística muito simples resulta em um aumento significativo do desempenho do algoritmo de aprendizado de reforço utilizado. / This work presents a new class of algorithms that allows the use of heuristics to speed up Reinforcement Learning (RL) algorithms. This class of algorithms, called \"Heuristically Accelerated Learning\" (HAL) is modeled using a convenient mathematical formalism known as Markov Decision Processes. To model the HALs a heuristic function that influences the choice of the actions by the agent during its learning is defined. As the heuristic is used only when choosing the action to be taken, the RL algorithm operation is not modified and many proprieties of the RL algorithms are preserved. The heuristic used in the HALs can be defined from previous knowledge about the domain or be extracted from clues that exist in the learning process itself. In the first case, the heuristic is defined from previously learned cases or is defined ad hoc. In the second case, automatic methods for the extraction of the heuristic function H called \"Heuristic from X\" are used. A new algorithm called Heuristically Accelerated Q-Learning is proposed, among others, to validate this work. It implements a HAL by extending the well-known RL algorithm Q-Learning. Experiments that use the heuristically accelerated algorithms to solve problems in a number of domains - including robotic navigation - are presented. The experimental results allow to conclude that even a very simple heuristic results in a significant performance increase in the used reinforcement learning algorithm.

A demanda por mais flexibilidade nas fábricas e serviços originou um aumento no volume de operações internas de carga e descarga, devido à maior diversidade dos elementos transportados. Logo, na busca por um fluxo de materiais mais eficiente, as empresas passaram a investir em soluções tecnológicas, entre elas, o uso de Automated Guided Vehicles (AGVs), por conta do custo mais atrativo e do avanço em relação aos primeiros AGVs, que até então dependiam de uma infraestrutura adicional para suportar a navegação. Muitos AGVs modernos possuem movimentação livre e são orientados por sistemas que utilizam sensores para interpretar o ambiente, sendo assim, tornar os AGVs autônomos despertou o interesse de pesquisadores na área de robótica móvel para o desenvolvimento de sistemas capazes de auxiliar e coordenar a navegação. Novas técnicas de localização, tal como a localização baseada em marcadores reflexivos, e a construção de armazéns com layouts estruturados para a navegação viabilizaram o uso de AGVs autônomos, entretanto sua utilização em armazéns existentes ainda é um desafio. Neste contexto, o Laboratório de Robótica Móvel (LabRom) do Grupo de Mecatrônica da EESC/USP, através do projeto do Armazém Inteligente, tem pesquisado os problemas de: roteamento, gerenciamento das baterias, navegação e auto-localização. Robôs autônomos precisam de um sistema de auto-localização eficiente e preciso para navegar com segurança, o qual depende de um mapa e da interpretação do ambiente utilizando sensores embarcados. Para alcançar esse objetivo este trabalho propõe um Sistema de Auto-localização baseado no Extended Kalman Filter (EKF) como solução. O sistema, desenvolvido em linguagem C, interage com outros dois sistemas: roteamento e navegação e foi implementado em um armazém simulado utilizando o software Player/Stage, mostrando ser confiável no fornecimento de uma estimativa de localização baseada em odometria e landmarks com localização conhecida. O sistema foi novamente testado utilizando a odometria de um robô móvel Pioneer P3-AT e os valores de um sensor de medição laser 2D SICK LMS200 extraídos de um ambiente indoor real. Para este teste foi construído um feature-based map a partir de um desenho de planta baixa no formato CAD e utilizou-se o algoritmo de segmentação Iterative End-Point Fit (IEPF) para interpretar o ambiente. Os resultados mostraram que as vantagens oferecidas pelas características padronizadas de um ambiente indoor, semelhante a um armazém, podem viabilizar o uso do Sistema de Auto-localização em armazéns existentes. / The demand for more flexibility in factories and services led to an increase in the volume of internal operations of loading and unloading, due to the greater diversity of elements transported. Hence, in the search for a more efficient materials flow, companies went to invest in technology solutions, among them, the use of Automated Guided Vehicles (AGVs), on account of the more attractive cost and improvement over the first AGVs, which hitherto depended of an additional infrastructure to support navigation. Many modern AGVs have free movement and are guided by systems that use sensors to interpret the environment, thus make AGVs autonomous aroused the interest of researchers in the mobile robotics field to development of systems able to assist and coordinate the navigation. New localization techniques, such as localization based on reflective markers, and the construction of warehouses with structured layouts for navigation did feasible the use of autonomous AGVs, however its use in existing warehouses is still a challenge. In this context, the Mobile Robotics Lab (LabRom) of the Mechatronics Group of EESC/USP, through the Intelligent Warehouse Project, has researched the problems: routing, battery management, navigation and self-localization. Autonomous robots need an efficient and accurate self-localization system to safely navigate, which depends on one map and of the interpretation of the environment using embedded sensors. To achieve this goal, this work proposes a Self-Localization System based on the Extended Kalman Filter (EKF) as a solution. The system, developed in C language, interacts with two other systems: routing and navigation and was implemented in a simulated warehouse using the Player/Stage software, showing to be reliable in providing an estimative of localization based on odometry and landmarks with known localization. The system was again tested using the odometry of mobile robot Pioneer P3-AT and the values of a 2D Laser Rangefinder SICK LMS200 extracted from a real indoor environment. For this test was built a feature-based map from a floor plan design in CAD format and was used the segmentation algorithm Iterative End-Point Fit (IEPF) to interpret the environment. The results showed that the advantages offered by the standard features of indoor environment, like a warehouse, can enable the use of the Self-Localization System on the existing warehouses.