Graças aos avanços tecnológicos nas áreas da computação, eletrônica embarcada e mecatrônica a robótica está cada vez mais presente no cotidiano da pessoas. Nessas últimas décadas, uma infinidade de ferramentas e métodos foram desenvolvidos no campo da Robótica Móvel. Um exemplo disso são os sistemas inteligentes embarcados nos veículos de passeio. Tais sistemas auxiliam na condução através de sensores que recebem informações do ambiente e algoritmos que analisam os dados e tomam decisões para realizar uma determinada tarefa, como por exemplo estacionar um carro. Este trabalho tem por objetivo apresentar estudos realizados no desenvolvimento de um controlador inteligente capaz de estacionar um veículo simulado em vagas paralelas, na qual seja possível entrar com uma única manobra. Para isso, foi necessário realizar estudos envolvendo a modelagem de ambientes, cinemática veicular e sensores, os quais foram implementados em um ambiente de simulação desenvolvido em C# com o Visual Studio 2008. Em seguida é realizado um estudo sobre as três etapas do estacionamento, que consistem em procurar uma vaga, posicionar o veículo e manobrá-lo. Para realizar a manobra foi adotada a trajetória em S desenvolvida e muito utilizada em outros trabalhos encontrados na literatura da área. A manobra consiste em posicionar corretamente duas circunferências com um raio de esterçamento do veículo. Sendo assim, foi utilizado um controlador robusto baseado em aprendizado supervisionado utilizando Redes Neurais Artificiais (RNA), pois esta abordagem apresenta grande robustez com relação à presença de ruídos no sistema. Este controlador recebe dados de dois sensores laser (um fixado na frente do veículo e o outro na parte traseira), da odometria e de orientação de um sensor inercial. Os dados adquiridos desses sensores e a etapa da manobra em que o veículo está, servem de entrada para o controlador. Este é capaz de interpretar tais dados e responder a esses estímulos de forma correta em aproximadamente 99% dos casos. Os resultados de treinamento e de simulação se mostraram muito satisfatórios, permitindo que o carro controlador pela RNA pudesse estacionar corretamente em uma vaga paralela. / Thanks to technological advances in the fields of computer science, embedded electronics and mechatronics, robotics is increasingly more present in people\'s lives. On the past few decades a great variety of tools and methods were developed in the Mobile Robotics field, e.g. the passenger vehicles with smart embedded systems. Such systems help drivers through sensors that acquire information from the surrounding environment and algorithms which process this data and make decisions to perform a task, like parking a car. This work aims to present the studies performed on the development of a smart controller able to park a simulated vehicle in parallel parking spaces, where a single maneuver is enough to enter. To accomplish this, studies involving the modeling of environments, vehicle kinematics and sensors were conducted, which were implemented in a simulated environment developed in C# with Visual Studio 2008. Next, a study about the three stages of parking was carried out, which consists in looking for a slot, positioning the vehicle and maneuvering it. The \"S\" trajectory was adopted and developed to maneuver the vehicle, since it is well known and highly used in related works found in the literature of this field. The maneuver consists in the correct positioning of two circumferences with the possible steering radius of the vehicle. For this task, a robust controller based on supervised learning using Artificial Neural Networks (ANN) was employed, since this approach has great robustness regarding the presence of noise in the system. This controller receives data from two laser sensors (one attached on the front of the vehicle and the other on the rear), from the odometry and from the inertial orientation sensor. The data acquired from these sensors and the current maneuver stage of the vehicle are the inputs of the controller, which interprets these data and responds to these stimuli in a correct way in approximately 99% of the cases. The results of the training and simulation were satisfactory, allowing the car controlled by the ANN to correctly park in a parallel slot.

Graças aos avanços tecnológicos nas áreas da computação, eletrônica embarcada e mecatrônica a robótica está cada vez mais presente no cotidiano da pessoas. Nessas últimas décadas, uma infinidade de ferramentas e métodos foram desenvolvidos no campo da Robótica Móvel. Um exemplo disso são os sistemas inteligentes embarcados nos veículos de passeio. Tais sistemas auxiliam na condução através de sensores que recebem informações do ambiente e algoritmos que analisam os dados e tomam decisões para realizar uma determinada tarefa, como por exemplo estacionar um carro. Este trabalho tem por objetivo apresentar estudos realizados no desenvolvimento de um controlador inteligente capaz de estacionar um veículo simulado em vagas paralelas, na qual seja possível entrar com uma única manobra. Para isso, foi necessário realizar estudos envolvendo a modelagem de ambientes, cinemática veicular e sensores, os quais foram implementados em um ambiente de simulação desenvolvido em C# com o Visual Studio 2008. Em seguida é realizado um estudo sobre as três etapas do estacionamento, que consistem em procurar uma vaga, posicionar o veículo e manobrá-lo. Para realizar a manobra foi adotada a trajetória em S desenvolvida e muito utilizada em outros trabalhos encontrados na literatura da área. A manobra consiste em posicionar corretamente duas circunferências com um raio de esterçamento do veículo. Sendo assim, foi utilizado um controlador robusto baseado em aprendizado supervisionado utilizando Redes Neurais Artificiais (RNA), pois esta abordagem apresenta grande robustez com relação à presença de ruídos no sistema. Este controlador recebe dados de dois sensores laser (um fixado na frente do veículo e o outro na parte traseira), da odometria e de orientação de um sensor inercial. Os dados adquiridos desses sensores e a etapa da manobra em que o veículo está, servem de entrada para o controlador. Este é capaz de interpretar tais dados e responder a esses estímulos de forma correta em aproximadamente 99% dos casos. Os resultados de treinamento e de simulação se mostraram muito satisfatórios, permitindo que o carro controlador pela RNA pudesse estacionar corretamente em uma vaga paralela. / Thanks to technological advances in the fields of computer science, embedded electronics and mechatronics, robotics is increasingly more present in people\'s lives. On the past few decades a great variety of tools and methods were developed in the Mobile Robotics field, e.g. the passenger vehicles with smart embedded systems. Such systems help drivers through sensors that acquire information from the surrounding environment and algorithms which process this data and make decisions to perform a task, like parking a car. This work aims to present the studies performed on the development of a smart controller able to park a simulated vehicle in parallel parking spaces, where a single maneuver is enough to enter. To accomplish this, studies involving the modeling of environments, vehicle kinematics and sensors were conducted, which were implemented in a simulated environment developed in C# with Visual Studio 2008. Next, a study about the three stages of parking was carried out, which consists in looking for a slot, positioning the vehicle and maneuvering it. The \"S\" trajectory was adopted and developed to maneuver the vehicle, since it is well known and highly used in related works found in the literature of this field. The maneuver consists in the correct positioning of two circumferences with the possible steering radius of the vehicle. For this task, a robust controller based on supervised learning using Artificial Neural Networks (ANN) was employed, since this approach has great robustness regarding the presence of noise in the system. This controller receives data from two laser sensors (one attached on the front of the vehicle and the other on the rear), from the odometry and from the inertial orientation sensor. The data acquired from these sensors and the current maneuver stage of the vehicle are the inputs of the controller, which interprets these data and responds to these stimuli in a correct way in approximately 99% of the cases. The results of the training and simulation were satisfactory, allowing the car controlled by the ANN to correctly park in a parallel slot.

A navegação autônoma é um dos problemas fundamentais na área da robótica móvel. Algoritmos capazes de conduzir um robô até o seu destino de maneira segura e eficiente são um pré-requisito para que robôs móveis possam executar as mais diversas tarefas que são atribuídas a eles com sucesso. Dependendo da complexidade do ambiente e da tarefa que deve ser executada, a programação de algoritmos de navegação não é um problema de solução trivial. Esta tese trata do desenvolvimento de sistemas de navegação autônoma baseados em técnicas de aprendizado supervisionado. Mais especificamente, foram abordados dois problemas distintos: a navegação de robôs/- veículos em ambientes urbanos e a navegação de robôs em ambientes não estruturados. No primeiro caso, o robô/veículo deve evitar obstáculos e se manter na via navegável, a partir de exemplos fornecidos por um motorista humano. No segundo caso, o robô deve identificar e evitar áreas irregulares (maior vibração), reduzindo o consumo de energia. Nesse caso, o aprendizado foi realizado a partir de informações obtidas por sensores. Em ambos os casos, algoritmos de aprendizado supervisionado foram capazes de permitir que os robôs navegassem de maneira segura e eficiente durante os testes experimentais realizados / Autonomous navigation is a fundamental problem in the field of mobile robotics. Algorithms capable of driving a robot to its destination safely and efficiently are a prerequisite for mobile robots to successfully perform different tasks that may be assigned to them. Depending on the complexity of the environment and the task to be executed, programming of navigation algorithms is not a trivial problem. This thesis approaches the development of autonomous navigation systems based on supervised learning techniques. More specifically, two distinct problems have been addressed: a robot/vehicle navigation in urban environments and robot navigation in unstructured environments. In the first case, the robot/vehicle must avoid obstacles and keep itself in the road based on examples provided by a human driver. In the second case, the robot should identify and avoid unstructured areas (higher vibration), reducing energy consumption. In this case, learning was based on information obtained by sensors. In either case, supervised learning algorithms have been capable of allowing the robots to navigate in a safe and efficient manner during the experimental tests

Neste mestrado propõe-se um estudo sobre o controle automático de sistemas dinâmicos para o problema de coordenação de robôs móveis. Os movimentos coordenados serão realizados em função de um líder e qualquer robô da formação pode assumir a liderança de maneira aleatória. Os robôs trocam informação através de um grafo direcionado (dígrafo) de comunicação, definido a-priori e, movimentos estáveis são gerados através de uma lei de controle descentralizada baseada nas coordenadas dos robôs. Além disso, as equações dinâmicas não lineares dos robôs são descritas na forma de espaço de estado sendo os parâmetros das matrizes dependentes da velocidade angular das rodas. Esta representação, conhecida como Quase Linear a Parâmetros Variantes (Quase-LPV), é utilizada no projeto de controle H \'INFINITO\' não linear para sistemas dinâmicos. Para garantir a estabilidade da formação quando há alternância de líder ou remoção de robôs, foi feito o controle robusto e controle tolerante a falhas para um grupo de robôs móveis com rodas (RMRs). O controle robusto é baseado em controle H \'INFINITO\' não linear via realimentação do estado e controle H \'INFINITO\' não linear via realimentação da saída. O controle tolerante a falhas é baseado em controle H \'INFINITO\' por realimentação da saída de sistemas lineares sujeitos a saltos Markovianos para garantir a estabilidade da formação quando um dos robôs é perdido durante o movimento coordenado. Resultados em simulação são apresentados para os controladores utilizados. / This dissertation proposes a study on the automatic control of dynamic systems to the problem of coordination of mobile robots. The coordinated motions are performed with the robots following a leader, and any robot of the formation can assume the leadership randomly. The robots exchange informations according to a pre-specified communication directed graph (digraph). Stable motions are generated by a decentralized control law based on the robots coordinates. In addition, the nonlinear dynamic equations of the robots are described in state-space form where the parameters matrices depend on the angular velocities of the wheels. This representation, known as Quasi-Linear Parameter Varying (Quasi-LPV), is useful for control designs based on nonlinear H \'INFINITE\' approaches. To ensure the stability formation when there is alternation of leader or one of the robots is removed, we made a robust control and fault tolerant control for a group of wheeled mobile robots (WMRs). The robust approach is based on state feedback nonlinear H \'INFINITE\' control and output feedback nonlinear H \'INFINITE\' control. The fault tolerant approach is based on output feedback H \'INFINITE\' control of Markovian jump linear systems to ensure stability of the formation when one of the robots is lost during the coordinated motion. Results in simulation are presented for the controllers used.

Coordenação de robôs móveis é um tópico importante de pesquisa dado que existem tarefas que podem ser desenvolvidas de forma mais eficiente e com menor custo por um grupo de robôs do que por um só robô. Nesta dissertação é apresentado um estudo sobre coordenação de robôs móveis para o problema de navegação em ambientes externos. Para isso, foi desenvolvido um sistema de localização utilizando os dados de odometria e do receptor GPS, e um sistema de desvio de obstáculos para planejar a trajetória livre de obstáculos. Os movimentos coordenados foram realizados em função de um líder e qualquer robô da formação pode assumir a liderança. A liderança é assumida pelo robô que ultrapassar a distância mínima a um obstáculo. Movimentos estáveis são gerados através de uma lei de controle descentralizada baseada nas coordenadas dos robôs. Para garantir a estabilidade da formação quando há alternância de líder ou remoção de robôs, foi feito controle tolerante a falhas para um grupo de robôs móveis. O controle tolerante a falhas é baseado em controle H \'INFINITO\' por realimentação da saída de sistemas lineares sujeitos a saltos Markovianos para garantir a estabilidade da formação quando um dos robôs é perdido durante o movimento coordenado. Os resultados do sistema de localização mostram que o uso de filtro robusto para a fusão de dados produz uma melhor estimativa da posição do robô móvel. Os resultados também mostram que o sistema de desvio de obstáculos é capaz de gerar uma trajetória livre de obstáculos em ambientes desconhecidos. E por fim, os resultados do sistema de coordenação mostram que o grupo de robôs mantém a formação desejada percorrendo a trajetória de referência na presença de distúrbios ou quando um robô sai da formação. / Coordination of mobile robots is an important topic of research because there are tasks that may be too difficult for a single robot to perform alone, these tasks can be performed more efficiently and cheaply by a group of mobile robots. This dissertation presents a study on the coordination of mobile robots to the problem of navigation in outdoor environments. To solve this problem, a localization system using data from odometry and GPS receiver, and an obstacle avoidance system to plan the collision-free trajectory, were developed. The coordinated motions are performed by the robots that follow a leader, and any robot of the formation can assume the leadership. The leadership is assumed by a robot when it exceeds the threshold distance to an obstacle. Stable motions are generated by a decentralized control law based on the robots coordinates. To ensure the stability formation when there is alternation of leader or one of the robots is removed, we made a fault tolerant control for a group of mobile robots. The fault tolerant approach is based on output feedback H \'INFINITE\' control of Markovian jump linear systems to ensure stability of the formation when one of the robots is lost during the coordinated motion. The results of the localization system show that the use of robust filter for data fusion produces a better estimation of the mobile robots position. The results also show that the obstacle avoidance system is capable of generating a path free from obstacles in unknown environments. Finally, the results of the coordination system show that the group of robots maintain the desired formation along the reference trajectory in the presence of disturbance or removal of one of them.

Na área de robótica móvel autônoma é importante que o robô siga uma trajetória livre de obstáculos. Estes podem ser desde obstáculos estáticos, como paredes e cadeiras em um ambiente interno, ou mesmo obstáculos móveis, como pessoas caminhando na calçada e carros passando pela rua, quando consideramos ambientes externos. No caso de um ambiente estático, o problema pode ser resolvido planejando uma trajetória livre de colisões, sendo que não é necessário um replanejamento se todos os obstáculos estáticos foram considerados. Para ambientes onde os obstáculos estão em constante movimento, é necessário um constante replanejamento da trajetória para que se evite colisões. Alternativamente, pode ser verificada a possibilidade de se manter na rota planejada, alterando apenas a velocidade de cruzeiro do robô para que este desvie dos obstáculos móveis. Este trabalho propõe uma metodologia para calcular uma velocidade de cruzeiro para o robô de forma a minimizar a probabilidade de colisão com os obstáculos detectados pelos seus sensores. A escolha da variação de velocidade para o robô considera a sua velocidade atual, e as velocidades estimadas para os obstáculos. A metodologia para resolução deste problema é apresentada considerando incertezas na posição do robô e obstáculos. São apresentados resultados de simulação que exemplificam a aplicação da metodologia. / Following a free path is an important issue in the area of autonomous mobile robotics. The obstacles can be anything from walls and chairs in an indoor environment, or they can also be people walking on the sidewalk and cars moving through the street. In the case of a static environment, the problem can be solved by planning a path free from collisions, thus it is not essential another path planning as all static obstacles were considered. For an environment were the obstacles are constantly moving, it is necessary an unceasing path replanning to avoid possible collisions. Alternatively, keeping the robot on the previously calculated path can be verified modifying the robot\'s traffic velocity to avoid moving obstacles. Our proposal is to calculate a velocity for the robot which minimizes its collision probability with moving obstacles detected by its sensors. Varying the robot\'s velocity takes into account its current velocity and the estimated velocities of obstacles. The methodology for solving this problem is presented regarding uncertainties in robots and obstacles\' positions. Results from simulations that exemplifies an application for the methodology are presented.

Avanços nas pesquisas em Veículos Agrícolas Autônomos (VAA\'s) e de Robôs Agrícolas Móveis (RAM\'s) têm sido conquistados nos últimos anos. Entretanto, um número limitado de trabalhos foca o desenvolvimento das estruturas destes veículos. O presente trabalho apresenta uma revisão de materiais encontrados na literatura e no mercado. Estudou-se modelagem cinemática de veículos autônomos que possuem configurações de suas estruturas projetadas para ter mobilidade melhorada. Estudaram-se estruturas mecânicas de máquinas que atuam em vários estádios de desenvolvimento de lavouras típicas brasileiras. Baseado no levantamento e esse estudo, foi projetado e construído um veículo com conceito modular e de pórtico para ser uma plataforma robótica no qual é utilizado para o sensoriamento em área agrícola. Uma modelagem cinemática simplificada do veículo foi realizada, fundamentada nos conceitos básicos de cinemáticas em robôs móveis. Por fim é apresentado o desenvolvimento da estrutura em pórtico do veículo. Pretende-se que o resultado auxilie no desenvolvimento de projeto de VAA\'s. / Advance on AAV (Autonomous Agriculture Vehicle) and MAR (Mobile Agriculture Robots) research are noticed in the recent years. However, a limited number of works focus in the structure development of such vehicles. This work introduces a review of the materials found in literature and market. Kinematics models of Autonomous Vehicles that have its structures designed to have mobility improved have been studied. It was studied mechanical structures of machines that act in various stages of typical brazilians crops. Based on this study and survey, a vehicle has been built with a modular concept and portal frame structure format to be used as a robotic platform in which it performs remote sensing in agricultural areas. A simplified Kinematic model have been done using basics concepts of mobile robots kinematics. At the end of this work is presented the portal frame structure development. The results obtained may assist in the design development of AAV\'s.

O emprego de sistemas computacionais na Agricultura de Precisão (AP) fomenta a automação de processos e tarefas aplicadas nesta área, precisamente voltadas à inspeção e análise de culturas agrícolas, e locomoção guiada/autônoma de robôs móveis. Neste contexto, no presente trabalho foi proposta a aplicação de técnicas de visão computacional nas tarefas citadas, desenvolvidas em abordagens distintas, a serem aplicadas em uma plataforma de robô móvel agrícola, em desenvolvimento no NEPAS/EESC/USP. Para o problema de locomoção do robô (primeira abordagem), foi desenvolvida uma arquitetura de aquisição, processamento e análise de imagens com o objetivo de segmentar, classificar e reconhecer padrões de navegação das linhas de plantio, como referências de guiagem do robô móvel, entre plantações de laranja, milho e cana. Na segunda abordagem, tais técnicas de processamento de imagens são aplicadas também na inspeção e localização das culturas laranja (primário) e milho (secundário), para análise de suas características naturais, localização e quantificação. Para as duas abordagens, a estratégia adotada nas etapas de processamento de imagens abrange: filtragem no domínio espacial das imagens adquiridas; pré-processamento nos espaços de cores RGB e HSV; segmentação não supervisionada JSEG customizada à quantização de cores em regiões não homogêneas nestes espaços de cores; normalização e extração de características dos histogramas das imagens pré-processadas para os conjuntos de treinamento e teste através da análise das componentes principais; reconhecimento de padrões e classificação cognitiva e estatística. A metodologia desenvolvida contemplou bases de dados para cada abordagem entre 700 e 900 imagens de cenas naturais sob condições distintas de aquisição, apresentando resultados significativos quanto ao algoritmo de segmentação nas duas abordagens, mas em menor grau em relação à localização de gramíneas, sendo que os milhos requerem outras técnicas de segmentação, que não aplicadas apenas em quantização de regiões não homogêneas. A classificação estatística, Bayes e Bayes Ingênuo, mostrou-se superior à cognitiva RNA e Fuzzy nas duas abordagens, e posterior construção dos mapas de classe no espaço de cores HSV. Neste mesmo espaço de cores, a quantificação e localização de frutos apresentaram melhores resultados que em RGB. Com isso, as cenas naturais nas duas abordagens foram devidamente processadas, de acordo com os materiais e métodos empregados na segmentação, classificação e reconhecimento de padrões, fornecendo características intrínsecas e distintas das técnicas de visão computacional propostas a cada abordagem. / The use of computer systems in Precision Agriculture (PA) promotes the processes automation and its applied tasks, specifically the inspection and analysis of agricultural crops, and guided/autonomous locomotion of mobile robots. In this context, it was proposed in the present work the application of computer vision techniques on such mentioned tasks, developed in different approaches, to be applied in an agricultural mobile robot platform, under development at NEPAS/EESC/USP. For agricultural mobile robot locomotion, an architecture for the acquisition, image processing and analysis was built, in order to segment, classify and recognize patterns of planting rows, as references way points for guiding the mobile robot. In the second approach, such image processing techniques were applied also in the inspection and location of the orange crop (primary) and maize crop (secondary) aiming its natural features, location and quantification. For both mentioned approaches, the adopted image processing steps include: filtering in the spatial domain for acquired images; pre-processing in RGB and HSV color spaces; JSEG unsupervised segmentation algorithm, applied to color quantization in non-homogeneous regions; normalization and histograms feature extraction of preprocessed images for training and test sets, fulfilled by the principal components analysis (PCA); pattern recognition and cognitive and statistical classification. The developed methodology includes sets of 700 and 900 images databases for each approach of natural scenes under different conditions of acquisition, providing great results on the segmentation algorithm, but not as appropriate as in the location of maize grass, considering other segmentation techniques, applied not only in the quantization of non-homogeneous regions. Statistical classification, Bayes and Naive Bayes, outperforms the cognitives Fuzzy and ANN on two approaches and subsequent class maps construction in HSV color space. Quantification and localization of fruits had more accurate results in HSV than RGB. Thus, natural scenes in two approaches were properly processed, according to the materials and methods employed in segmentation, classification and pattern recognition, providing intrinsic and different features of the proposed computer vision techniques to each approach.

Este trabalho propõe uma nova classe de algoritmos que permite o uso de heurísticas para aceleração do aprendizado por reforço. Esta classe de algoritmos, denominada \"Aprendizado Acelerado por Heurísticas\" (\"Heuristically Accelerated Learning\" - HAL), é formalizada por Processos Markovianos de Decisão, introduzindo uma função heurística H para influenciar o agente na escolha de suas ações, durante o aprendizado. A heurística é usada somente para a escolha da ação a ser tomada, não modificando o funcionamento do algoritmo de aprendizado por reforço e preservando muitas de suas propriedades. As heurísticas utilizadas nos HALs podem ser definidas a partir de conhecimento prévio sobre o domínio ou extraídas, em tempo de execução, de indícios que existem no próprio processo de aprendizagem. No primeiro caso, a heurística é definida a partir de casos previamente aprendidos ou definida ad hoc. No segundo caso são utilizados métodos automáticos de extração da função heurística H chamados \"Heurística a partir de X\" (\"Heuristic from X\"). Para validar este trabalho são propostos diversos algoritmos, entre os quais, o \"Q-Learning Acelerado por Heurísticas\" (Heuristically Accelerated Q-Learning - HAQL), que implementa um HAL estendendo o conhecido algoritmo Q-Learning, e métodos de extração da função heurística que podem ser usados por ele. São apresentados experimentos utilizando os algoritmos acelerados por heurísticas para solucionar problemas em diversos domínios - sendo o mais importante o de navegação robótica - e as heurísticas (pré-definidas ou extraídas) que foram usadas. Os resultados experimentais permitem concluir que mesmo uma heurística muito simples resulta em um aumento significativo do desempenho do algoritmo de aprendizado de reforço utilizado. / This work presents a new class of algorithms that allows the use of heuristics to speed up Reinforcement Learning (RL) algorithms. This class of algorithms, called \"Heuristically Accelerated Learning\" (HAL) is modeled using a convenient mathematical formalism known as Markov Decision Processes. To model the HALs a heuristic function that influences the choice of the actions by the agent during its learning is defined. As the heuristic is used only when choosing the action to be taken, the RL algorithm operation is not modified and many proprieties of the RL algorithms are preserved. The heuristic used in the HALs can be defined from previous knowledge about the domain or be extracted from clues that exist in the learning process itself. In the first case, the heuristic is defined from previously learned cases or is defined ad hoc. In the second case, automatic methods for the extraction of the heuristic function H called \"Heuristic from X\" are used. A new algorithm called Heuristically Accelerated Q-Learning is proposed, among others, to validate this work. It implements a HAL by extending the well-known RL algorithm Q-Learning. Experiments that use the heuristically accelerated algorithms to solve problems in a number of domains - including robotic navigation - are presented. The experimental results allow to conclude that even a very simple heuristic results in a significant performance increase in the used reinforcement learning algorithm.

Neste mestrado propõe-se um estudo sobre o controle automático de sistemas dinâmicos para o problema de coordenação de robôs móveis. Os movimentos coordenados serão realizados em função de um líder e qualquer robô da formação pode assumir a liderança de maneira aleatória. Os robôs trocam informação através de um grafo direcionado (dígrafo) de comunicação, definido a-priori e, movimentos estáveis são gerados através de uma lei de controle descentralizada baseada nas coordenadas dos robôs. Além disso, as equações dinâmicas não lineares dos robôs são descritas na forma de espaço de estado sendo os parâmetros das matrizes dependentes da velocidade angular das rodas. Esta representação, conhecida como Quase Linear a Parâmetros Variantes (Quase-LPV), é utilizada no projeto de controle H \'INFINITO\' não linear para sistemas dinâmicos. Para garantir a estabilidade da formação quando há alternância de líder ou remoção de robôs, foi feito o controle robusto e controle tolerante a falhas para um grupo de robôs móveis com rodas (RMRs). O controle robusto é baseado em controle H \'INFINITO\' não linear via realimentação do estado e controle H \'INFINITO\' não linear via realimentação da saída. O controle tolerante a falhas é baseado em controle H \'INFINITO\' por realimentação da saída de sistemas lineares sujeitos a saltos Markovianos para garantir a estabilidade da formação quando um dos robôs é perdido durante o movimento coordenado. Resultados em simulação são apresentados para os controladores utilizados. / This dissertation proposes a study on the automatic control of dynamic systems to the problem of coordination of mobile robots. The coordinated motions are performed with the robots following a leader, and any robot of the formation can assume the leadership randomly. The robots exchange informations according to a pre-specified communication directed graph (digraph). Stable motions are generated by a decentralized control law based on the robots coordinates. In addition, the nonlinear dynamic equations of the robots are described in state-space form where the parameters matrices depend on the angular velocities of the wheels. This representation, known as Quasi-Linear Parameter Varying (Quasi-LPV), is useful for control designs based on nonlinear H \'INFINITE\' approaches. To ensure the stability formation when there is alternation of leader or one of the robots is removed, we made a robust control and fault tolerant control for a group of wheeled mobile robots (WMRs). The robust approach is based on state feedback nonlinear H \'INFINITE\' control and output feedback nonlinear H \'INFINITE\' control. The fault tolerant approach is based on output feedback H \'INFINITE\' control of Markovian jump linear systems to ensure stability of the formation when one of the robots is lost during the coordinated motion. Results in simulation are presented for the controllers used.