The goal of this thesis is to develop an intuitive, adaptive, and flexible architecture for controlling intelligent mobile robots. This architecture is a hybrid architecture that combines deliberative planning, reactive control, finite state automata, behaviour trees and uses competition for behaviour selection. This behaviour selection is based on a task manager, which selects behaviours based on approximations of their applicability to the current situation and the expected reward value for performing that behaviour. One important feature of this architecture is that it makes important behavioural information explicit using Extensible Markup Language (XML). This explicit representation is an important part in making the architecture easy to debug and extend. The utility, intuitiveness and flexibility of this architecture is shown in an evaluation of this architecture against older control programs that lack such explicit behavioural representation. This evaluation was carried out by developing behaviours for several common robotic tasks and demonstrating common problems that arose during the course of this development. / February 2006

The goal of this thesis is to develop an intuitive, adaptive, and flexible architecture for controlling intelligent mobile robots. This architecture is a hybrid architecture that combines deliberative planning, reactive control, finite state automata, behaviour trees and uses competition for behaviour selection. This behaviour selection is based on a task manager, which selects behaviours based on approximations of their applicability to the current situation and the expected reward value for performing that behaviour. One important feature of this architecture is that it makes important behavioural information explicit using Extensible Markup Language (XML). This explicit representation is an important part in making the architecture easy to debug and extend. The utility, intuitiveness and flexibility of this architecture is shown in an evaluation of this architecture against older control programs that lack such explicit behavioural representation. This evaluation was carried out by developing behaviours for several common robotic tasks and demonstrating common problems that arose during the course of this development.

The goal of this thesis is to develop an intuitive, adaptive, and flexible architecture for controlling intelligent mobile robots. This architecture is a hybrid architecture that combines deliberative planning, reactive control, finite state automata, behaviour trees and uses competition for behaviour selection. This behaviour selection is based on a task manager, which selects behaviours based on approximations of their applicability to the current situation and the expected reward value for performing that behaviour. One important feature of this architecture is that it makes important behavioural information explicit using Extensible Markup Language (XML). This explicit representation is an important part in making the architecture easy to debug and extend. The utility, intuitiveness and flexibility of this architecture is shown in an evaluation of this architecture against older control programs that lack such explicit behavioural representation. This evaluation was carried out by developing behaviours for several common robotic tasks and demonstrating common problems that arose during the course of this development.

Este trabalho propõe uma nova classe de algoritmos que permite o uso de heurísticas para aceleração do aprendizado por reforço. Esta classe de algoritmos, denominada \"Aprendizado Acelerado por Heurísticas\" (\"Heuristically Accelerated Learning\" - HAL), é formalizada por Processos Markovianos de Decisão, introduzindo uma função heurística H para influenciar o agente na escolha de suas ações, durante o aprendizado. A heurística é usada somente para a escolha da ação a ser tomada, não modificando o funcionamento do algoritmo de aprendizado por reforço e preservando muitas de suas propriedades. As heurísticas utilizadas nos HALs podem ser definidas a partir de conhecimento prévio sobre o domínio ou extraídas, em tempo de execução, de indícios que existem no próprio processo de aprendizagem. No primeiro caso, a heurística é definida a partir de casos previamente aprendidos ou definida ad hoc. No segundo caso são utilizados métodos automáticos de extração da função heurística H chamados \"Heurística a partir de X\" (\"Heuristic from X\"). Para validar este trabalho são propostos diversos algoritmos, entre os quais, o \"Q-Learning Acelerado por Heurísticas\" (Heuristically Accelerated Q-Learning - HAQL), que implementa um HAL estendendo o conhecido algoritmo Q-Learning, e métodos de extração da função heurística que podem ser usados por ele. São apresentados experimentos utilizando os algoritmos acelerados por heurísticas para solucionar problemas em diversos domínios - sendo o mais importante o de navegação robótica - e as heurísticas (pré-definidas ou extraídas) que foram usadas. Os resultados experimentais permitem concluir que mesmo uma heurística muito simples resulta em um aumento significativo do desempenho do algoritmo de aprendizado de reforço utilizado. / This work presents a new class of algorithms that allows the use of heuristics to speed up Reinforcement Learning (RL) algorithms. This class of algorithms, called \"Heuristically Accelerated Learning\" (HAL) is modeled using a convenient mathematical formalism known as Markov Decision Processes. To model the HALs a heuristic function that influences the choice of the actions by the agent during its learning is defined. As the heuristic is used only when choosing the action to be taken, the RL algorithm operation is not modified and many proprieties of the RL algorithms are preserved. The heuristic used in the HALs can be defined from previous knowledge about the domain or be extracted from clues that exist in the learning process itself. In the first case, the heuristic is defined from previously learned cases or is defined ad hoc. In the second case, automatic methods for the extraction of the heuristic function H called \"Heuristic from X\" are used. A new algorithm called Heuristically Accelerated Q-Learning is proposed, among others, to validate this work. It implements a HAL by extending the well-known RL algorithm Q-Learning. Experiments that use the heuristically accelerated algorithms to solve problems in a number of domains - including robotic navigation - are presented. The experimental results allow to conclude that even a very simple heuristic results in a significant performance increase in the used reinforcement learning algorithm.

Graças aos avanços tecnológicos nas áreas da computação, eletrônica embarcada e mecatrônica a robótica está cada vez mais presente no cotidiano da pessoas. Nessas últimas décadas, uma infinidade de ferramentas e métodos foram desenvolvidos no campo da Robótica Móvel. Um exemplo disso são os sistemas inteligentes embarcados nos veículos de passeio. Tais sistemas auxiliam na condução através de sensores que recebem informações do ambiente e algoritmos que analisam os dados e tomam decisões para realizar uma determinada tarefa, como por exemplo estacionar um carro. Este trabalho tem por objetivo apresentar estudos realizados no desenvolvimento de um controlador inteligente capaz de estacionar um veículo simulado em vagas paralelas, na qual seja possível entrar com uma única manobra. Para isso, foi necessário realizar estudos envolvendo a modelagem de ambientes, cinemática veicular e sensores, os quais foram implementados em um ambiente de simulação desenvolvido em C# com o Visual Studio 2008. Em seguida é realizado um estudo sobre as três etapas do estacionamento, que consistem em procurar uma vaga, posicionar o veículo e manobrá-lo. Para realizar a manobra foi adotada a trajetória em S desenvolvida e muito utilizada em outros trabalhos encontrados na literatura da área. A manobra consiste em posicionar corretamente duas circunferências com um raio de esterçamento do veículo. Sendo assim, foi utilizado um controlador robusto baseado em aprendizado supervisionado utilizando Redes Neurais Artificiais (RNA), pois esta abordagem apresenta grande robustez com relação à presença de ruídos no sistema. Este controlador recebe dados de dois sensores laser (um fixado na frente do veículo e o outro na parte traseira), da odometria e de orientação de um sensor inercial. Os dados adquiridos desses sensores e a etapa da manobra em que o veículo está, servem de entrada para o controlador. Este é capaz de interpretar tais dados e responder a esses estímulos de forma correta em aproximadamente 99% dos casos. Os resultados de treinamento e de simulação se mostraram muito satisfatórios, permitindo que o carro controlador pela RNA pudesse estacionar corretamente em uma vaga paralela. / Thanks to technological advances in the fields of computer science, embedded electronics and mechatronics, robotics is increasingly more present in people\'s lives. On the past few decades a great variety of tools and methods were developed in the Mobile Robotics field, e.g. the passenger vehicles with smart embedded systems. Such systems help drivers through sensors that acquire information from the surrounding environment and algorithms which process this data and make decisions to perform a task, like parking a car. This work aims to present the studies performed on the development of a smart controller able to park a simulated vehicle in parallel parking spaces, where a single maneuver is enough to enter. To accomplish this, studies involving the modeling of environments, vehicle kinematics and sensors were conducted, which were implemented in a simulated environment developed in C# with Visual Studio 2008. Next, a study about the three stages of parking was carried out, which consists in looking for a slot, positioning the vehicle and maneuvering it. The \"S\" trajectory was adopted and developed to maneuver the vehicle, since it is well known and highly used in related works found in the literature of this field. The maneuver consists in the correct positioning of two circumferences with the possible steering radius of the vehicle. For this task, a robust controller based on supervised learning using Artificial Neural Networks (ANN) was employed, since this approach has great robustness regarding the presence of noise in the system. This controller receives data from two laser sensors (one attached on the front of the vehicle and the other on the rear), from the odometry and from the inertial orientation sensor. The data acquired from these sensors and the current maneuver stage of the vehicle are the inputs of the controller, which interprets these data and responds to these stimuli in a correct way in approximately 99% of the cases. The results of the training and simulation were satisfactory, allowing the car controlled by the ANN to correctly park in a parallel slot.

Graças aos avanços tecnológicos nas áreas da computação, eletrônica embarcada e mecatrônica a robótica está cada vez mais presente no cotidiano da pessoas. Nessas últimas décadas, uma infinidade de ferramentas e métodos foram desenvolvidos no campo da Robótica Móvel. Um exemplo disso são os sistemas inteligentes embarcados nos veículos de passeio. Tais sistemas auxiliam na condução através de sensores que recebem informações do ambiente e algoritmos que analisam os dados e tomam decisões para realizar uma determinada tarefa, como por exemplo estacionar um carro. Este trabalho tem por objetivo apresentar estudos realizados no desenvolvimento de um controlador inteligente capaz de estacionar um veículo simulado em vagas paralelas, na qual seja possível entrar com uma única manobra. Para isso, foi necessário realizar estudos envolvendo a modelagem de ambientes, cinemática veicular e sensores, os quais foram implementados em um ambiente de simulação desenvolvido em C# com o Visual Studio 2008. Em seguida é realizado um estudo sobre as três etapas do estacionamento, que consistem em procurar uma vaga, posicionar o veículo e manobrá-lo. Para realizar a manobra foi adotada a trajetória em S desenvolvida e muito utilizada em outros trabalhos encontrados na literatura da área. A manobra consiste em posicionar corretamente duas circunferências com um raio de esterçamento do veículo. Sendo assim, foi utilizado um controlador robusto baseado em aprendizado supervisionado utilizando Redes Neurais Artificiais (RNA), pois esta abordagem apresenta grande robustez com relação à presença de ruídos no sistema. Este controlador recebe dados de dois sensores laser (um fixado na frente do veículo e o outro na parte traseira), da odometria e de orientação de um sensor inercial. Os dados adquiridos desses sensores e a etapa da manobra em que o veículo está, servem de entrada para o controlador. Este é capaz de interpretar tais dados e responder a esses estímulos de forma correta em aproximadamente 99% dos casos. Os resultados de treinamento e de simulação se mostraram muito satisfatórios, permitindo que o carro controlador pela RNA pudesse estacionar corretamente em uma vaga paralela. / Thanks to technological advances in the fields of computer science, embedded electronics and mechatronics, robotics is increasingly more present in people\'s lives. On the past few decades a great variety of tools and methods were developed in the Mobile Robotics field, e.g. the passenger vehicles with smart embedded systems. Such systems help drivers through sensors that acquire information from the surrounding environment and algorithms which process this data and make decisions to perform a task, like parking a car. This work aims to present the studies performed on the development of a smart controller able to park a simulated vehicle in parallel parking spaces, where a single maneuver is enough to enter. To accomplish this, studies involving the modeling of environments, vehicle kinematics and sensors were conducted, which were implemented in a simulated environment developed in C# with Visual Studio 2008. Next, a study about the three stages of parking was carried out, which consists in looking for a slot, positioning the vehicle and maneuvering it. The \"S\" trajectory was adopted and developed to maneuver the vehicle, since it is well known and highly used in related works found in the literature of this field. The maneuver consists in the correct positioning of two circumferences with the possible steering radius of the vehicle. For this task, a robust controller based on supervised learning using Artificial Neural Networks (ANN) was employed, since this approach has great robustness regarding the presence of noise in the system. This controller receives data from two laser sensors (one attached on the front of the vehicle and the other on the rear), from the odometry and from the inertial orientation sensor. The data acquired from these sensors and the current maneuver stage of the vehicle are the inputs of the controller, which interprets these data and responds to these stimuli in a correct way in approximately 99% of the cases. The results of the training and simulation were satisfactory, allowing the car controlled by the ANN to correctly park in a parallel slot.

Este trabalho propõe uma nova classe de algoritmos que permite o uso de heurísticas para aceleração do aprendizado por reforço. Esta classe de algoritmos, denominada \"Aprendizado Acelerado por Heurísticas\" (\"Heuristically Accelerated Learning\" - HAL), é formalizada por Processos Markovianos de Decisão, introduzindo uma função heurística H para influenciar o agente na escolha de suas ações, durante o aprendizado. A heurística é usada somente para a escolha da ação a ser tomada, não modificando o funcionamento do algoritmo de aprendizado por reforço e preservando muitas de suas propriedades. As heurísticas utilizadas nos HALs podem ser definidas a partir de conhecimento prévio sobre o domínio ou extraídas, em tempo de execução, de indícios que existem no próprio processo de aprendizagem. No primeiro caso, a heurística é definida a partir de casos previamente aprendidos ou definida ad hoc. No segundo caso são utilizados métodos automáticos de extração da função heurística H chamados \"Heurística a partir de X\" (\"Heuristic from X\"). Para validar este trabalho são propostos diversos algoritmos, entre os quais, o \"Q-Learning Acelerado por Heurísticas\" (Heuristically Accelerated Q-Learning - HAQL), que implementa um HAL estendendo o conhecido algoritmo Q-Learning, e métodos de extração da função heurística que podem ser usados por ele. São apresentados experimentos utilizando os algoritmos acelerados por heurísticas para solucionar problemas em diversos domínios - sendo o mais importante o de navegação robótica - e as heurísticas (pré-definidas ou extraídas) que foram usadas. Os resultados experimentais permitem concluir que mesmo uma heurística muito simples resulta em um aumento significativo do desempenho do algoritmo de aprendizado de reforço utilizado. / This work presents a new class of algorithms that allows the use of heuristics to speed up Reinforcement Learning (RL) algorithms. This class of algorithms, called \"Heuristically Accelerated Learning\" (HAL) is modeled using a convenient mathematical formalism known as Markov Decision Processes. To model the HALs a heuristic function that influences the choice of the actions by the agent during its learning is defined. As the heuristic is used only when choosing the action to be taken, the RL algorithm operation is not modified and many proprieties of the RL algorithms are preserved. The heuristic used in the HALs can be defined from previous knowledge about the domain or be extracted from clues that exist in the learning process itself. In the first case, the heuristic is defined from previously learned cases or is defined ad hoc. In the second case, automatic methods for the extraction of the heuristic function H called \"Heuristic from X\" are used. A new algorithm called Heuristically Accelerated Q-Learning is proposed, among others, to validate this work. It implements a HAL by extending the well-known RL algorithm Q-Learning. Experiments that use the heuristically accelerated algorithms to solve problems in a number of domains - including robotic navigation - are presented. The experimental results allow to conclude that even a very simple heuristic results in a significant performance increase in the used reinforcement learning algorithm.