Este trabalho apresenta o projeto de dois controladores robustos, baseados no critério H∞ não linear, para o acompanhamento de trajetória de robôs móveis com rodas (RMRs). Estes controladores estabilizam o sistema em malha fechada e garantem que a norma L2 induzida entre os sinais de entrada (distúrbios) e saída seja limitada por um nível de atenuação &#947 > 0. Para o projeto, as equações dinâmicas não lineares do robô são descritas na forma quase linear a parâmetros variantes (quase-LPV), sendo os parâmetros parte do estado. Os controladores são resolvidos via desigualdades matriciais lineares (DMLs) e equações algébricas de Ricatti (EAR). Resultados em simulação com um estudo comparativo entre essas duas estratégias de controle e um controlador proporcional derivativo (PD) em conjunto com um controlador do tipo torque calculado são apresentados. Além disso, a implementação de dois métodos de localização de RMRs através de imagens é realizada. / This work presents the design of two robust controllers, based on nonlinear H∞ approach, for tracking trajectory of wheeled mobile robots (WMRs). These controllers stabilize the close-loop system and guarantee that induced L2 norm between input (disturbances) and output signals be bounded by an attenuation level &#947 > 0. For the design, the nonlinear dynamic equations of the robot are described in quasi linear parameter varying (quasi-LPV) form being the parameters part of the states. The controllers are solved via linear matrix inequalities (LMIs) and algebraic Riccati equation (ARE). Simulation results with a comparison study among these two control strategies and a proportional-derivative (PD) controller plus calculated torque are presented. Moreover, implementation of two methods of localization of WMRs based on images is accomplished.

O mapeamento de ambientes é um dos maiores desafios para pesquisadores na área de navegação autônoma. As técnicas existentes estão divididas em dois importantes paradigmas, o mapeamento métrico e o topológico. Diversos métodos de mapeamento que combinam as vantagens de cada um desses paradigmas têm sido propostos. Este projeto consiste na adaptação e extensão de um sistema integrado para navegação autônoma de robôs móveis através do aperfeiçoamento da interface e também da incorporação de uma técnica de mapeamento topológico. Para isso, a técnica conhecida como Grade de Ocupação, utilizada em geral para mapeamento métrico é combinada com um método de esqueletização de imagens para a realização do mapeamento topológico. Além disso, transformações morfológicas de erosão e abertura, adequadas a ambientes reais, foram utilizadas, visando reduzir a influência de ruídos na abordagem proposta, uma vez que devido a ruídos inerentes as leituras sensoriais obtidas pelo robô, o mapa topológico gerado apresenta diversas linhas topológicas desnecessárias, dificultando consequentemente a tarefa de navegação autônoma. Vários experimentos foram executados para verificar a eficiência da combinação de técnicas proposta, tanto em nível de simulação quanto em um robô real. Os resultados obtidos demonstraram que a técnica de esqueletização de imagens combinada ao mapeamento métrico do ambiente é uma forma simples e viável de se obter as linhas topológicas do espaço livre do ambiente. A aplicação das transformações morfológicas demonstrou ser eficiente para a criação de mapas topológicos livres de ruído, uma vez que elimina grande parte das linhas topológicas geradas em conseqüência dos ruídos dos sensores do robô / Environment mapping has been a great challenge for many researchers in the autonomous navigation area. There are two important paradigms for mapping, metric and topological mapping. Several mapping methods that combine the advantages of each paradigm have been proposed. This project consists to the adaptation and extension of a mobile robots autonomous navigation integrated system by improving the interface and incorporation of a topological mapping technique. For this, the technique known as Occupation Grid for metric mapping is combined with an image skeletonization method used for topological mapping. This work also aims to propose a set of morphology transformations to generation of topological maps suitable for real environments, seeking to reduce influence of noise in performed mapping. The topological map generated through this combination presents several unnecessary topological lines, due noise inherent to the own robot ability of capturing sensor signals, hindering consequently the task of autonomous navigation. Several experiments have been performed to verify the efficiency of the proposed approach. The results obtained demonstrate that image skeletonization technique combined with the metric mapping is a simple and feasible method for obtaining the topological lines corresponding to free space of the environment. The application of the morphology transformations demonstrated to be a useful method to the creation of topological maps considerably less noise, since it eliminates most of the topological lines generated in consequence of noise in the sensors

Frequently, autonomous mobile robots use path planning algorithms as a component of its navigation system. Such algorithms have, as its primary goal, the identification of obstacles free paths, preferably optimal, so the robot reaches its goal point. In this context, there are several heuristics to solve this problem, each one assigned to different types of maps, robots and obstacles. These heuristics may perform on previously known, partially known or completely unknown environments. In this thesis it is presented a geometric approach inspired by Linear Elastic Networks and Configuration Space Traversal approaches, for completely unknown environments. / Frequentemente, robôs móveis autônomos possuem algoritmos de planejamento de caminho como um componente de seu sistema de navegação. Tais algoritmos têm como função primária a identificação de um caminho livre de obstáculos, preferencialmente otimizado, para que o robô alcance seu objetivo. Nesse âmbito, há diversas heurísticas para a solução desse problema, cada uma direcionada a tipos de mapas, robôs e obstáculos diferentes. Essas heurísticas podem ser adequadas para ambientes previamente conhecidos, parcialmente conhecidos ou completamente desconhecidos. Neste trabalho é apresentada uma abordagem geométrica inspirada nos métodos de Redes Elásticas Lineares e Travessia no Espaço de Configuração, para o caso de um ambiente completamente desconhecido.

Todos os dias a quantidade de veículos nas estradas em todo o mundo está aumentando. Este crescimento combinado com a negligência dos motoristas e alguns fatores externos, tais como estradas mal conservadas e condições climáticas adversas resultaram em um enorme aumento na quantidade de acidentes e, conseqüentemente, de mortes. Atualmente muitos grupos de pesquisa e empresas automotivas estão desenvolvendo e adaptando tecnologias que podem ser incorporadas nos veículos para reduzir esses números. Um exemplo interessante dessas tecnologias é a detecção e classificação de obstáculos móveis (veículos, pessoas, etc.) em ambientes urbanos. Este trabalho apresenta o desenvolvimento de algoritmos para identificação, rastreamento e previsão de obstáculos móveis, determinação de direções proibidas para tráfego do veículo e cálculo de trajetórias livres de colisões. Para isso, foram utilizados dados do sistema de medidas de distância, SICK LMS 291-S05, para monitorar o ambiente a frente do veículo de teste (um automóvel de passeio modificado). Com base nesses dados foi realizado um tratamento computacional através da técnica de Trackers para classificar todos os obstáculos detectados em duas classes principais: os obstáculos estáticos e móveis. Uma vez identificado o obstáculo, este será acompanhado mesmo no caso em que saia do campo de visão do sensor. Após a classificação dos obstáculos presentes no ambiente, suas posições são analisadas e direções proibidas para tráfego são determinadas peloalgoritmo Velocity Obstacle Approach. Finalmente é aplicada a técnica de cálculo de trajetórias E* que gera um caminho suave e livre de colisões. No caso de algum obstáculo obstruir ou gerar risco de colisão com o caminho gerado é possível recalcular a rota sem que o mapa do ambiente seja novamente completamente analisado. Os resultados obtidos demonstraram a aplicabilidade da metodologia utilizada. O algoritmo de Trackers detectou pedestres e veículos e determinou suas características dinâmicas. O algoritmo Velocity Obstacle Approach conseguiu acompanhar os obstáculos e foi capaz de determinar as direções proibidas e, finalmente, o algoritmo E* foi capaz de gerar trajetórias livre de obstáculos em ambientes desconhecidos. / Every day the number of vehicles on the roads around the world is increasing. This growth combined with the negligence of drivers and some external factors such as poorly maintained roads and adverse weather conditions resulted in a huge increase in the number of accidents and hence casualties. Currently many research groups and automotive companies are developing and adapting technologies that can be incorporated into vehicles to reduce these numbers. An interesting example of these technologies is the detection and classification of moving obstacles (vehicles, people, etc.) in urban environments. This dissertation presents the development of algorithms which main objective are identify, track and predict moving obstacles, determine prohibited directions of traffic and calculate collision free trajectories. In order to accomplish with such task, data from the laser sensor SICK LMS 291-S05 later treated using computational resources such as the Trackers technique was used to monitor the environment ahead of the test vehicle (a modified passenger car). The Trackers technique was used to classify all the hurdles identified in two main classes: static and mobile obstacles. Once the obstacle was identified, this still been followed even if they leave the field of vision sensor. After classification of obstacles in the environment, their positions are analyzed and prohibited for traffic directions are determined by the algorithm Velocity Obstacle Approach. Finally the technique is applied to calculate trajectories of E* that generates a smooth path and free of collisions. If any obstacle block, or create a risk of collision through the generated path, the trajectory can be recalculated without the need to fully re-analyze de environment map. The results demonstrated the applicability of the methodology used. The Trackers algorithm has detected pedestrians and vehicles determining their dynamic characteristics. The algorithm Velocity Obstacle Approach keep up with the obstacles and was able to determine the prohibited directions and, finally, E* the algorithm was able to generate obstacle-free paths in unknown environments.

Submitted by Geandra Rodrigues (geandrar@gmail.com) on 2018-03-27T13:16:05Z No. of bitstreams: 1 fabriciodeoliveiracoelho.pdf: 19075776 bytes, checksum: 5f9c07d95c6d348d64825d66fda1c6f3 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2018-03-27T13:40:24Z (GMT) No. of bitstreams: 1 fabriciodeoliveiracoelho.pdf: 19075776 bytes, checksum: 5f9c07d95c6d348d64825d66fda1c6f3 (MD5) / Made available in DSpace on 2018-03-27T13:40:24Z (GMT). No. of bitstreams: 1 fabriciodeoliveiracoelho.pdf: 19075776 bytes, checksum: 5f9c07d95c6d348d64825d66fda1c6f3 (MD5) Previous issue date: 2018-02-08 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Esse trabalho apresenta uma metodologia para a concepção de missões autônomas utilizando robôs móveis com tração diferencial em ambientes internos. As missões consistem em deslocar o robô até uma posição objetivo partindo de uma pose inicial. Para que as missões ocorram com sucesso, são implementados algoritmos de localização e planejamento de caminhos. Para localização, foi utilizado Filtro de Kalman Estendido (do inglês, Extended Kalman Filter EKF) para fundir a odometria com visão computacional. A visão é responsável por encontrar marcadores artificiais conhecidos como Ar codes que são alocados no ambiente. O planejamento é caracterizado por uma forma híbrida que corresponde a união de um método deliberativo e reativo. No Planejamento deliberativo, foi proposto e utilizado o método Direct-DRRT* cuja base é oriunda do RRT (Rapidly Exploring Random Tree). Além do RRT, esse planejador também apresenta características de dois outros métodos já presentes na literatura: RRT* e DRRT. O planejador deliberativo enviará para o reativo um conjunto de sub-objetivos que conecta a posição em que o robô se encontra até o objetivo final. O planejamento reativo é aplicado durante a missão e é o responsável pelo desvio de obstáculos dinâmicos que não foram mapeados. No Reativo, é utilizado o método dos Campos Potenciais Artificiais (CPA), que também se comporta como o controlador do robô durante a navegação. Para encontrar os obstáculos, utilizou-se o sensor de profundidade Asus Xtion, pois, a partir das imagens geradas por esse sensor, é possível encontrar as distâncias que os bloqueios se encontram. As informações desse sensor também será de grande valia na atualização do mapa. O sistema é integrado através da framework ROS (Robot Operating System). Todos os algoritmos foram implementados por meio da linguagem de programação Python. Os resultados do trabalho foram apresentados por meio do simulador Gazebo e testes práticos a partir da plataforma P3DX. Foram analisados o comportamento do robô em alguns problemas que podem ocorrer durante a navegação, como o sequestro e aparecimento mínimos locais. Ao final desse trabalho, apresentou-se a melhoria nos resultados do planejador de caminhos Direct-DRRT*, onde foi possível constatar a queda no tempo para obter um caminho, a quantidade de iterações, de nós e do comprimento do caminho em comparação aos outros métodos. No que tange à localização, essa dissertação obteve significativas melhoras comparado com o método que utiliza somente a odometria. Além desse resultado, esse trabalho também obteve sucesso em apresentar uma solução para a implementação de missões autônomas. / This work presents a design methodology for autonomous missions using mobile robots with differential traction in indoor environments. The missions consist of moving the robot to a goal position starting from an initial pose. For missions success, it is necessary to implement localization and path planning algorithms. For localization, Extended Kalman Filters (EKF) used to fuse odometry with computational vision. The view is responsible for finding artificial markers known as Ar codes that are presented in the environment. The planning is characterized by a hybrid form that corresponds to the union of a deliberative and reactive methods. In the Deliberative Planning, the Direct-DRRT * method, whose base is derived from the Rapidly Exploring Random Tree (RRT), is proposed and used. In addition to the RRT, this planner also presents characteristics of two other methods already presented in the literature, i.e. RRT * and DRRT. The deliberative planner sends to the reactive a set of sub-objectives that connects the initial position to the final goal. Reactive planning is applied during the mission and it is responsible for the dynamic obstacles avoidance that have not been mapped. In the reactive, the Artificial Potential Fields (APF) method is used, which also behaves as the robot controller during navigation. To find the obstacles, we use the sensor Asus Xtion, due to the possibility to find the distances that the locks are in the images generated by this sensor. All the algorithms were implemented through the programming language Python. The results of the work were presented through the simulator Gazebo and practical tests using the P3DX platform. We analyzed the robot behavior in some problems that may occur during navigation, such as kidnapped and local minimum appearance. At the end, the improvement in the results of the Direct-DRRT * path planner is also presented. It is possible to verify the decrease in the time to obtain a path, the number of iterations of nodes and the path length in comparison to other methods. Regarding the location, this dissertation has obtained significant improvements when compared to the methods that use only odometry. Besides, the work was also successful in presenting a solution for the autonomous missions implementation.

Orientador: Juan Francisco Camino dos Santos / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecânica / Made available in DSpace on 2018-08-22T20:54:00Z (GMT). No. of bitstreams: 1 Iossaqui_JulianoGoncalves_D.pdf: 6240978 bytes, checksum: 597b8a76b18670b60a9c6b9804b7b692 (MD5) Previous issue date: 2013 / Resumo: Esta tese trata do problema de controle de trajetórias de robôs móveis não holonômicos com deslizamento longitudinal das rodas. As estratégias de controle propostas são projetadas usando dois modelos, um cinemático e um dinâmico, que consideram os deslizamentos longitudinais das rodas como parâmetros desconhecidos. A primeira estratégia de controle consiste em um controlador adaptativo projetado com base em um modelo cinemático que utiliza como entrada de controle, as velocidades angulares das rodas. Essas velocidades angulares são fornecidas por uma lei de controle cinemática que utiliza estimativa dos parâmetros de deslizamento desconhecidos, obtidas por meio de uma lei de adaptação. A segunda estratégia de controle consiste em um controlador adaptativo projetado com base em um modelo dinâmico simplificado que utilizam como entrada de controle, forças de propulsão aplicadas no centro das rodas. A lei de controle, que fornece essas forças, é projetada aplicando-se a técnica backstepping ao modelo dinâmico reduzido, que foi obtido com a utilização do método da dinâmica inversa. Os parâmetros de deslizamento longitudinal desconhecidos, necessários para a utilização do método da dinâmica inversa, são estimados por uma lei de adaptação. O filtro de Kalman unscented também é utilizado para estimar os parâmetros de deslizamento desconhecidos. Essas estimativas são utilizadas, da mesma forma que as estimativas obtidas pela lei de adaptação, nas leis que fornecem as velocidades angulares e as forças de propulsão das rodas. As estratégias propostas, baseadas na teoria de controle adaptativo e na teoria de filtragem, diferenciam-se basicamente pela técnica que utilizam para estimar os parâmetros de deslizamento. No caso das estratégias adaptativas, a estabilidade do sistema em malha fechada é garantida pela teoria de Lyapunov. Simulações numéricas são realizadas para apresentar o desempenho das estratégias de controle propostas em termos do erro de postura do robô para diferentes perfis de deslizamento / Abstract: This thesis deals with the trajectory tracking control problem of nonholonomic mobile robots with longitudinal slip of the wheels. The proposed control strategies are designed using a kinematic model and a dynamic model which consider the longitudinal slip of the wheels as unknown parameters. The first proposed control strategy consists in an adaptive controller based on a kinematic model that uses the wheel angular velocities as control input. These angular velocities are provided by a kinematic control law which uses the unknown slip parameters estimated by an adaptive rule. The second proposed control strategy consists in an adaptive controller based on a simplified dynamic model that uses the thrust forces applied on the center of the wheels as control input. The control law that provides these thrust forces is designed using the backstepping technique applied to a reduced dynamic model obtained using the inverse dynamic method. The unknown longitudinal slip parameters necessary to use the inverse dynamic method are estimated by an adaptation rule. The unscented Kalman filter is also used to estimate the unknown slip parameters. These estimates are used, in the same way as the estimates obtained by the adaptation rule, by the control laws that provide the angular velocities and the thrust forces. The main difference between the proposed control strategies, based on the adaptive control theory and on the filtering theory, is given by the technique used to estimate the slip parameters. In the case of the adaptive strategies, the stability of the closed-loop system is ensured by the Lyapunov theory. Numerical simulations show the performance of the proposed control strategies in terms of the posture error of the robot with different wheels slip profiles / Doutorado

Orientadores: Douglas Eduardo Zampieri, Isabelle Fantoni Coichot / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecanica / Made available in DSpace on 2018-08-19T04:14:42Z (GMT). No. of bitstreams: 1 MirandaNeto_Arthurde_D.pdf: 4965049 bytes, checksum: 6d16ee5315ee6bbbfd893b534fde6729 (MD5) Previous issue date: 2011 / Resumo: Esta tese aborda o problema de evitamento de obstáculos para plataformas terrestres semie autônomas em ambientes dinâmicos e desconhecidos. Baseado num sistema monocular, propõe-se um conjunto de ferramentas que monitoram continuamente a estrada a frente do veículo, provendo-o de informações adequadas em tempo real. A partir de um algoritmo robusto de detecção da linha do horizonte é possível investigar dinamicamente somente a porção da estrada a frente do veículo, a fim de determinar a área de navegação, e da deteção de obstáculos. Uma área de navegação livre de obstáculos é então representa a partir de uma imagem multimodal 2D. Esta representação permite que um nível de segurança possa ser selecionado de acordo com o ambiente e o contexto de operação. A fim de reduzir o custo computacional, um método automático para descarte de imagens é proposto. Levando-se em conta a coerência temporal entre consecutivas imagens, uma nova metodologia de gerenciamento de energia (Dynamic Power Management) é aplicada ao sistema de percepção visual a fim de otimizar o consumo de energia. Estas propostas foram testadas em diferentes tipos de ambientes, e incluem a deteção da área de navegação, navegação reativa e estimação do risco de colisão. Uma característica das metodologias apresentadas é a independência em relação ao sistema de aquisição de imagem e do próprio veículo. Este sistema de percepção em tempo real foi avaliado a partir de diferentes bancos de testes e também a partir de dados reais obtidos por diferentes plataformas inteligentes. Em tarefas realizadas com uma plataforma semi-autônoma, testes foram conduzidos em velocidades acima de 100 Km/h. A partir de um sistema em malha aberta, deslocamentos reativos autônomos foram realizados com sucesso / Resumé: Les études développées dans ce projet doctoral ont concerné deux problématiques actuelles dans le domaine des systèmes robotiques pour la mobilité terrestre: premièrement, le problème associé à la navigation autonome et (semi)-autonome des véhicules terrestres dans un environnement inconnu ou partiellement connu. Cela constitue un enjeu qui prend de l'importance sur plusieurs fronts, notamment dans le domaine militaire. Récemment, l'agence DARPA1 aux États-Unis a soutenu plusieurs challenges sur cette problématique robotique; deuxièmement, le développement de systèmes d'assistance à la conduite basés sur la vision par ordinateur. Les acteurs de l'industrie automobile s'intéressent de plus en plus au développement de tels systèmes afin de rendre leurs produits plus sûrs et plus confortables à toutes conditions climatiques ou de terrain. De plus, grâce à l'électronique embarquée et à l'utilisation des systèmes visuels, une interaction avec l'environnement est possible, rendant les routes et les villes plus sûres pour les conducteurs et les piétons. L'objectif principal de ce projet doctoral a été le développement de méthodologies qui permettent à des systèmes mobiles robotisés de naviguer de manière autonome dans un environnement inconnu ou partiellement connu, basées sur la perception visuelle fournie par un système de vision monoculaire embarqué. Un véhicule robotisé qui doit effectuer des tâches précises dans un environnement inconnu, doit avoir la faculté de percevoir son environnement proche et avoir un degré minimum d'interaction avec celui-ci. Nous avons proposé un système de vision embarquée préliminaire, où le temps de traitement de l'information (point critique dans des systèmes de vision utilisés en temps-réel) est optimisé par une méthode d'identification et de rejet d'informations redondantes. Suite à ces résultats, on a proposé une étude innovante par rapport à l'état de l'art en ce qui concerne la gestion énergétique du système de vision embarqué, également pour le calcul du temps de collision à partir d'images monoculaires. Ainsi, nous proposons le développement des travaux en étudiant une méthodologie robuste et efficace (utile en temps-réel) pour la détection de la route et l'extraction de primitives d'intérêts appliquée à la navigation autonome des véhicules terrestres. Nous présentons des résultats dans un environnement réel, dynamique et inconnu. Afin d'évaluer la performance de l'algorithme proposé, nous avons utilisé un banc d'essai urbain et réel. Pour la détection de la route et afin d'éviter les obstacles, les résultats sont présents en utilisant un véhicule réel afin d'évaluer la performance de l'algorithme dans un déplacement autonome. Cette Thèse de Doctorat a été réalisée à partir d'un accord de cotutelle entre l' Université de Campinas (UNICAMP) et l'Université de Technologie de Compiègne (UTC), sous la direction du Professeur Docteur Douglas Eduardo ZAMPIERI, Faculté de Génie Mécanique, UNICAMP, Campinas, Brésil, et Docteur Isabelle FANTONI-COICHOT du Laboratoire HEUDIASYC UTC, Compiègne, France. Cette thèse a été soutenue le 26 août 2011 à la Faculté de Génie Mécanique, UNICAMP, devant un jury composé des Professeurs suivants / Abstract: This thesis addresses the problem of obstacle avoidance for semi- and autonomous terrestrial platforms in dynamic and unknown environments. Based on monocular vision, it proposes a set of tools that continuously monitors the way forward, proving appropriate road informations in real time. A horizon finding algorithm was developed to sky removal. This algorithm generates the region of interest from a dynamic threshold search method, allowing to dynamically investigate only a small portion of the image ahead of the vehicle, in order to road and obstacle detection. A free-navigable area is therefore represented from a multimodal 2D drivability road image. This multimodal result enables that a level of safety can be selected according to the environment and operational context. In order to reduce processing time, this thesis also proposes an automatic image discarding criteria. Taking into account the temporal coherence between consecutive frames, a new Dynamic Power Management methodology is proposed and applied to a robotic visual machine perception, which included a new environment observer method to optimize energy consumption used by a visual machine. This proposal was tested in different types of image texture (road surfaces), which includes free-area detection, reactive navigation and time-to-collision estimation. A remarkable characteristic of these methodologies is its independence of the image acquiring system and of the robot itself. This real-time perception system has been evaluated from different test-banks and also from real data obtained by two intelligent platforms. In semi-autonomous tasks, tests were conducted at speeds above 100 Km/h. Autonomous displacements were also carried out successfully. The algorithms presented here showed an interesting robustness / Doutorado / Mecanica dos Sólidos e Projeto Mecanico / Doutor em Engenharia Mecânica

Orientador: Fernando José Von Zuben / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-20T00:09:41Z (GMT). No. of bitstreams: 1 Arruda_RodrigoLopesSettide_M.pdf: 2295891 bytes, checksum: 4f5f4bc8f219b0c3c27239520027d496 (MD5) Previous issue date: 2012 / Resumo: Com o uso de sistemas cognitivos em uma crescente gama de aplicações, criou-se uma grande expectativa e elevada demanda por máquinas cada vez mais autônomas, inteligentes e criativas na solução de problemas reais. Em diversos casos, os desafios demandam capacidade de aprendizado e adaptação. Este trabalho lida com conceitos de aprendizagem por reforço e discorre sobre as principais abordagens de solução e variações de problemas. Em seguida, constrói uma proposta híbrida incorporando outras ideias em aprendizagem de máquina, validando-a com experimentos simulados. Os experimentos permitem apontar as principais vantagens da metodologia proposta, a qual está fundamentada em sua capacidade de lidar com cenários de espaços contínuos e, também, de aprender uma política ótima enquanto segue outra, exploratória. A arquitetura proposta é híbrida, baseada em uma rede neural perceptron multi-camadas acoplada a um aproximador de funções denominado wirefitting. Esta arquitetura é coordenada por um algoritmo adaptativo e dinâmico que une conceitos de programação dinâmica, análise de Monte Carlo, aprendizado por diferença temporal e elegibilidade. O modelo proposto é utilizado para resolver problemas de controle ótimo, por meio de aprendizagem por reforço, em cenários com variáveis contínuas e desenvolvimento não-linear. Duas instâncias diferentes de problemas de controle, reconhecidas na literatura pertinente, são apresentadas e testadas com a mesma arquitetura / Abstract: With the evergrowing use of cognitive systems in various applications, it has been created a high expectation and a large demand for machines more and more autonomous, intelligent and creative in real world problem solving. In several cases, the challenges ask for high adaptive and learning capability. This work deals with the concepts of reinforcement learning, and reasons on the main solution approaches and problem variations. Subsequently, it builds a hybrid proposal incorporating other machine learning ideas, so that the proposal is validated with simulated experiments. The experiments allow to point out the main advantages of the proposed methodology, founded on its capability to handle continuous space environments, and also to learn an optimal policy while following an exploratory policy. The proposed architecture is hybrid in the sense that it is based on a multi-layer perceptron neural network coupled with a function approximator called wire-fitting. The referred architecture is coordinated by a dynamic and adaptive algorithm which merges concepts from dynamic programming, Monte Carlo analysis, temporal difference learning, and eligibility. The proposed model is used to solve optimal control problems, by means of reinforcement learning, in scenarios endowed with continuous variables and nonlinear development. Two different instances of control problems, well discussed in the pertinent literature, are presented and tested with the same architecture / Mestrado / Engenharia de Computação / Mestre em Engenharia Elétrica

La capacité des robots mobiles à se localiser précisément par rapport à leur environnement est indispensable à leur autonomie. Pour ce faire, les robots exploitent les données acquises par des capteurs qui observent leur état interne, tels que centrales inertielles ou l’odométrie, et les données acquises par des capteurs qui observent l’environnement, telles que les caméras et les Lidars. L’exploitation de ces derniers capteurs a suscité le développement de solutions qui estiment conjointement la position du robot et la position des éléments dans l'environnement, appelées SLAM (Simultaneous Localization and Mapping). Pour gérer le bruit des données provenant des capteurs, les solutions pour le SLAM sont mises en œuvre dans un contexte probabiliste. Les premiers développements étaient basés sur le filtre de Kalman étendu, mais des développements plus récents utilisent des modèles graphiques probabilistes pour modéliser le problème d’estimation et de le résoudre grâce à techniques d’optimisation. Cette thèse exploite cette dernière approche et propose deux techniques distinctes pour les véhicules terrestres autonomes: une utilisant la vision monoculaire, l’autre un Lidar. L’absence d’information de profondeur dans les images obtenues par une caméra a mené à l’utilisation de paramétrisations spécifiques pour les points de repères qui isolent la profondeur inconnue dans une variable, concentrant la grande incertitude sur la profondeur dans un seul paramètre. Une de ces paramétrisations, nommé paramétrisation pour l’angle de parallaxe (ou PAP, Parallax Angle Parametrization), a été introduite dans le contexte du problème d’ajustement de faisceaux, qui traite l’ensemble des données en une seule étape d’optimisation globale. Nous présentons comment exploiter cette paramétrisation dans une approche incrémentale de SLAM à base de modèles graphiques, qui intègre également les mesures de mouvement du robot. Les Lidars peuvent être utilisés pour construire des solutions d’odométrie grâce à un recalage séquentiel des nuages de points acquis le long de la trajectoire. Nous définissons une couche basée sur les modèles graphiques au dessus d’une telle couche d’odométrie, qui utilise l’algorithme ICP (Iterative Closest Points). Des repères clefs (keyframes) sont définis le long de la trajectoire du robot, et les résultats de l’algorithme ICP sont utilisés pour construire un graphe de poses, exploité pour résoudre un problème d’optimisation qui permet la correction de l’ensemble de la trajectoire du robot et de la carte de l’environnement à suite des fermetures de boucle.Après une introduction à la théorie des modèles graphiques appliquée au problème de SLAM, le manuscrit présente ces deux approches. Des résultats simulés et expérimentaux illustrent les développements tout au long du manuscrit, en utilisant des jeux des données classiques et obtenus au laboratoire. / A strong requirement to deploy autonomous mobile robots is their capacity to localize themselves with a certain precision in relation to their environment. Localization exploits data gathered by sensors that either observe the inner states of the robot, like acceleration and speed, or the environment, like cameras and Light Detection And Ranging (LIDAR) sensors. The use of environment sensors has triggered the development of localization solutions that jointly estimate the robot position and the position of elements in the environment, referred to as Simultaneous Localization and Mapping (SLAM) approaches. To handle the noise inherent of the data coming from the sensors, SLAM solutions are implemented in a probabilistic framework. First developments were based on Extended Kalman Filters, while a more recent developments use probabilistic graphical models to model the estimation problem and solve it through optimization. This thesis exploits the latter approach to develop two distinct techniques for autonomous ground vehicles: oneusing monocular vision, the other one using LIDAR. The lack of depth information in camera images has fostered the use of specific landmark parametrizations that isolate the unknown depth in one variable, concentrating its large uncertainty into a single parameter. One of these parametrizations, named Parallax Angle Parametrization, was originally introduced in the context of the Bundle Adjustment problem, that processes all the gathered data in a single global optimization step. We present how to exploit this parametrization in an incremental graph-based SLAM approach in which robot motion measures are also incorporated. LIDAR sensors can be used to build odometry-like solutions for localization by sequentially registering the point clouds acquired along a robot trajectory. We define a graphical model layer on top of a LIDAR odometry layer, that uses the Iterative Closest Points (ICP) algorithm as registration technique. Reference frames are defined along the robot trajectory, and ICP results are used to build a pose graph, used to solve an optimization problem that enables the correction of the robot trajectory and the environment map upon loop closures. After an introduction to the theory of graphical models applied to SLAM problem, the manuscript depicts these two approaches. Simulated and experimental results illustrate the developments throughout the manuscript, using classic and in-house datasets.

In this dissertation, we propose and study methods for information transfer within a swarm of mobile robots that coordinately move, or flock, in a common direction. We define information transfer as the process whereby robots share directional information in order to coordinate their heading direction. We identify two paradigms of information transfer: explicit information transfer and implicit information transfer. <p><p>In explicit information transfer, directional information is transferred via communication. Explicit information transfer requires mobile robots equipped with a a communication device. We propose novel communication strategies for explicit information transfer, and we perform flocking experiments in different situations: with one or two desired directions of motion that can be static or change over time. We perform experiments in simulation and with real robots. Furthermore, we show that the same explicit information transfer strategies can also be applied to another collective behavior: collective transport with obstacle avoidance. <p><p>In implicit information transfer, directional information is transferred without communication. We show that a simple motion control method is sufficient to guarantee cohesive and aligned motion without resorting to communication or elaborate<p>sensing. We analyze the motion control method for its capability to achieve flocking with and without a desired direction of motion, both in simulation and using real robots. Furthermore, to better understand its underlying mechanism, we study this<p>method using tools of statistical physics, showing that the process can be explained in terms of non-linear elasticity and energy-cascading dynamics. / Doctorat en Sciences de l'ingénieur / info:eu-repo/semantics/nonPublished