abstract: Toward the ambitious long-term goal of a fleet of cooperating Flexible Autonomous Machines operating in an uncertain Environment (FAME), this thesis addresses various control objectives for ground vehicles. There are two main objectives within this thesis, first is the use of visual information to control a Differential-Drive Thunder Tumbler (DDTT) mobile robot and second is the solution to a minimum time optimal control problem for the robot around a racetrack. One method to do the first objective is by using the Position Based Visual Servoing (PBVS) approach in which a camera looks at a target and the position of the target with respect to the camera is estimated; once this is done the robot can drive towards a desired position (x_ref, z_ref). Another method is called Image Based Visual Servoing (IBVS), in which the pixel coordinates (u,v) of markers/dots placed on an object are driven towards the desired pixel coordinates (u_ref, v_ref) of the corresponding markers. By doing this, the mobile robot gets closer to a desired pose (x_ref, z_ref, theta_ref). For the second objective, a camera-based and noncamera-based (v,theta) cruise-control systems are used for the solution of the minimum time problem. To set up the minimum time problem, optimal control theory is used. Then a direct method is implemented by discretizing states and controls of the system. Finally, the solution is obtained by modeling the problem in AMPL and submitting to the nonlinear optimization solver KNITRO. Simulation and experimental results are presented. The DDTT-vehicle used within this thesis has different components as summarized below: (1) magnetic wheel-encoders/IMU for inner-loop speed-control and outer-loop directional control, (2) Arduino Uno microcontroller-board for encoder-based inner-loop speed-control and encoder-IMU-based outer-loop cruise-directional-control, (3) Arduino motor-shield for inner-loop speed-control, (4) Raspberry Pi II computer-board for outer-loop vision-based cruise-position-directional-control, (5) Raspberry Pi 5MP camera for outer-loop cruise-position-directional control. Hardware demonstrations shown in this thesis are summarized: (1) PBVS without pan camera, (2) PBVS with pan camera, (3) IBVS with 1 marker/dot, (4) IBVS with 2 markers, (5) IBVS with 3 markers, (6) camera and (7) noncamera-based (v,theta) cruise control system for the minimum time problem. / Dissertation/Thesis / Masters Thesis Electrical Engineering 2016

Submitted by Fernando Souza (fernandoafsou@gmail.com) on 2017-08-10T11:47:56Z No. of bitstreams: 1 arquivototal.pdf: 11498612 bytes, checksum: 9182e9402b0905c4209bc405c726f8cc (MD5) / Made available in DSpace on 2017-08-10T11:47:56Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 11498612 bytes, checksum: 9182e9402b0905c4209bc405c726f8cc (MD5) Previous issue date: 2017-02-17 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / With the advance in the research of mobile robots localization algorithms, the need for natural landmark identification and recognition has increased. The detection of natural landmarks is a challenging task because their appearance can be different in shape and design and, as well, they suffer influence of the environment illumination. As an example, a typical 2D object recognition algorithm may not be able to handle the large optical variety of doors and staircases in large corridors. On another direction, recent improvements in low-cost 3D sensors (of the type RGB-D) enable robots to perceive the environment as a 3D spatial structure. Thus, using this new technology, an algorithm for natural landmark identification and recognition based on images acquired from an RGB-D camera is proposed. Basically, during the identification phase that is a first step for working with landmarks, the algorithm exploits the basic structural knowledge about the landmarks by extracting their edges and creating a cloud of edge points. In the next, the recognition phase, the edges are used with a proposed on-the-fly unsupervised recognition algorithm in order to demonstrate the effectiveness of the approach in recognizing doors and staircases. Two methods of recognition have been proposed and results show that a general technique of the two methods passes from the 96 of accuracy. Future approaches propose a mix of these two methods for better results of recognition, as well as inclusion of new objects such as drinking fountains, dumps and compare this modified approach with other approaches that require training, such as nearest K-neighbors, Bayes and neural networks . / Com o avanço na pesquisa de algoritmos de localização de robôs móveis, a necessidade de identificação e reconhecimento de pontos de referência naturais aumentou. A detecção de marcos naturais é uma tarefa desafiadora, porque a sua aparência pode ser diferente em forma e design e, também, eles sofrem influência da iluminação do ambiente. Como um exemplo, um algoritmo de reconhecimento de objeto 2D típico pode não ser capaz de lidar com a grande variedade óptica de portas e escadas em corredores grandes. Em outra direção, as melhorias recentes em sensores 3D de baixo custo (do tipo RGB-D) permitem aos robôs perceber o ambiente como uma estrutura espacial 3D. Assim, usando esta nova tecnologia, um algoritmo para identificação e reconhecimento de marco natural baseado em imagens adquiridas a partir de uma câmera RGB-D é proposto. Basicamente, durante a fase de identificação que é um primeiro passo para trabalhar com marcos, o algoritmo explora o conhecimento estrutural básico sobre os pontos de referência, extraindo suas bordas e criando uma nuvem de pontos de borda. No próxima, a fase de reconhecimento, as arestas são usadas com um algoritmo de reconhecimento não supervisionado proposto on-the-fly para demonstrar a eficácia da abordagem no reconhecimento de portas e escadarias. Dois métodos de Reconhecimento foram propostos e resultados mostram que a eficiência geral dos dois métodos passa dos 96% de Precisão de reconhecimento. Abordagens futuras propõem-se a fusão dos dois métodos para melhores resultados no reconhecimento, bem como inclusão de novos objetos como bebedouros, lixeiras e comparar essa abordagem modificada com outras abordagens que necessitam de treinamento, como K-Neighbouring mais próximo, Bayes e redes neurais.

Submitted by Fernando Souza (fernandoafsou@gmail.com) on 2017-08-11T14:01:11Z No. of bitstreams: 1 arquivototal.pdf: 11420527 bytes, checksum: 9c4b07869f327f3f311a4d4c15f0210b (MD5) / Made available in DSpace on 2017-08-11T14:01:11Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 11420527 bytes, checksum: 9c4b07869f327f3f311a4d4c15f0210b (MD5) Previous issue date: 2017-02-16 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / Anti-collision systems are based on sensing and estimating the mobile robot pose (coordinates and orientation), with respect to its environment. Obstacles detection, path planning and pose estimation are primordial to ensure the autonomy and safety of the robot, in order to reduce the risk of collision with objects and living beings that share the same space. For this, the use of RGB-D sensors, such as the Microsoft Kinect, has become popular in the last years, for being relative accurate and low cost sensors. In this work we propose a new 3D anti-collision algorithm based on Artificial Potential Field method, that is able to make a mobile robot pass between closely spaced obstacles, minimizing the oscillations during the cross. We develop our Unmanned Ground Vehicles (UGV) system on a ’Turtlebot 2’ platform, with which we perform the experiments. / Sistemas anti-colisão são baseados na percepção e estimação da pose do robô móvel (coordenadas e orientação), em referência ao ambiente em que ele se encontra. A detecção de obstáculos, planejamento de caminhos e estimação da pose são fundamentais para assegurar a autonomia e a segurança do robô, no intuito de reduzir o risco de colisão com objetos ou pessoas que dividem o mesmo espaço. Para isso, o uso de sensores RGB-Ds, tal como o Microsoft Kinect, vem se tornando popular nos últimos anos, por serem sensores relativamente precisos e de baixo custo. Nesse trabalho nós propomos um novo algoritmo anti-colisão 3D baseado no método de Campo Potencial Artificial, que é capaz de fazer um robô móvel passar em espaços estreitos, entre obstáculos, minimizando as oscilações, que é uma característica comum desse tipo de método, durante seu deslocamento. Foi desenvolvido um sistema para plataforma robótica ’Turtlebot 2’, o qual foi utilizado para realizar todos os experimentos.

Made available in DSpace on 2014-12-17T14:54:54Z (GMT). No. of bitstreams: 1 SamaherniMD_TESE.pdf: 1906280 bytes, checksum: 4c045dfdea855b9b5837f362598733e7 (MD5) Previous issue date: 2010-02-01 / This thesis presents a new structure of robust adaptive controller applied to mobile robots (surface mobile robot) with nonholonomic constraints. It acts in the dynamics and kinematics of the robot, and it is split in two distinct parts. The first part controls the robot dynamics, using variable structure model reference adaptive controllers. The second part controls the robot kinematics, using a position controller, whose objective is to make the robot to reach any point in the cartesian plan. The kinematic controller is based only on information about the robot configuration. A decoupling method is adopted to transform the linear model of the mobile robot, a multiple-input multiple-output system, into two decoupled single-input single-output systems, thus reducing the complexity of designing the controller for the mobile robot. After that, a variable structure model reference adaptive controller is applied to each one of the resulting systems. One of such controllers will be responsible for the robot position and the other for the leading angle, using reference signals generated by the position controller. To validate the proposed structure, some simulated and experimental results using differential drive mobile robots of a robot soccer kit are presented. The simulator uses the main characteristics of real physical system as noise and non-linearities such as deadzone and saturation. The experimental results were obtained through an C++ program applied to the robot soccer kit of Microrobot team at the LACI/UFRN. The simulated and experimental results are presented and discussed at the end of the text / Esta tese apresenta o desenvolvimento de uma nova estrutura de controlador adaptativo robusto aplicado a sistemas rob?ticos m?veis com rodas (rob? m?vel de superf?cie) e restri??es n?o-holon?micas de movimento. Este controlador atua tanto na din?mica como na cinem?tica do rob?, e pode ser dividido em duas partes distintas. A primeira parte controla a din?mica, atrav?s da utiliza??o de controladores adaptativos por modelo de refer?ncia e estrutura vari?vel. A segunda parte controla a cinem?tica do rob? atrav?s de um controlador de posi??o, cujo objetivo ? fazer com que o rob? seja capaz de atingir um ponto qualquer no plano cartesiano, sendo que este controlador cinem?tico ? baseado apenas em informa??es da configura??o do rob?. O trabalho aplica um m?todo de desacoplamento para transformar o modelo linear do rob? m?vel, que ? um sistema com m?ltiplas entradas e m?ltiplas sa?das, em dois sistemas desacoplados com apenas uma entrada e uma sa?da cada um, para reduzir a complexidade do projeto do controlador. Em seguida, aplica-se um controlador adaptativo por modelo de refer?ncia e estrutura vari?vel a cada um dos sistemas resultantes. Um controlador ser? respons?vel pelo posicionamento e o outro pela orienta??o do rob?, sendo que estes controladores utilizam como refer?ncias sinais provenientes do controlador cinem?tico de posi??o. Para comprovar o funcionamento da estrutura proposta, obteve-se resultados simulados e experimentais para o rob? m?vel com acionamento diferencial de um kit de futebol de rob?s. O simulador possui as principais caracter?sticas do sistema f?sico real, dentre as quais podem-se destacar os ru?dos de entradas e as n?o-linearidades como zona morta e satura??o. Os resultados experimentais foram obtidos atrav?s de um programa desenvolvido em C++ e aplicado a um kit de futebol de rob?s da empresa Microrobot no Laborat?rio de Acionamento, Controle e Instrumenta??o da Universidade Federal do Rio Grande do Norte (LACI/UFRN). Os resultados simulados e experimentais s?o apresentados e discutidos ao final da tese

Made available in DSpace on 2014-12-17T14:56:03Z (GMT). No. of bitstreams: 1 DiogoPFP.pdf: 929475 bytes, checksum: cfb18a5bf43c92f6830aa123446e6f33 (MD5) Previous issue date: 2001-08-31 / The main task and one of the major mobile robotics problems is its navigation process. Conceptualy, this process means drive the robot from an initial position and orientation to a goal position and orientation, along an admissible path respecting the temporal and velocity constraints. This task must be accomplished by some subtasks like robot localization in the workspace, admissible path planning, trajectory generation and motion control. Moreover, autonomous wheeled mobile robots have kinematics constraints, also called nonholonomic constraints, that impose the robot can not move everywhere freely in its workspace, reducing the number of feasible paths between two distinct positions. This work mainly approaches the path planning and trajectory generation problems applied to wheeled mobile robots acting on a robot soccer environment. The major dificulty in this process is to find a smooth function that respects the imposed robot kinematic constraints. This work proposes a path generation strategy based on parametric polynomials of third degree for the 'x' and 'y' axis. The 'theta' orientation is derived from the 'y' and 'x' relations in such a way that the generated path respects the kinematic constraint. To execute the trajectory, this work also shows a simple control strategy acting on the robot linear and angular velocities / Um dos maiores problemas em rob?tica m?vel diz respeito ? sua navega??o. Conceitualmente, o ato de navegar em rob?tica consiste em guiar um rob? em um espa?o de trabalho durante um determinado intervalo de tempo, por um caminho que possa ser percorrido e que leve o rob? de uma posi??o e orienta??o iniciais para uma posi??o e orienta??o finais. Esta ? a principal tarefa que um rob? m?vel deve executar. Ela implica em subproblemas que s?o a localiza??o do rob? no espa?o de trabalho, o planejamento de um caminho admiss?vel, a gera??o de uma trajet?ria e, por fim, a sua execu??o. Al?m disso, rob?s m?veis aut?nomos com rodas possuem restri??es cinem?ticas, chamadas tamb?m de restri??es n?o-holon?micas, que fazem com que o rob? n?o possa se mover livremente em seu espa?o de trabalho, limitando a quantidade de caminhos admiss?veis entre duas posi??es distintas. Este trabalho aborda principalmente os subproblemas do planejamento de caminho e gera??o de trajet?ria aplicado a minirrob?s m?veis com rodas que atuam em um projeto de futebol de rob?s. O maior desafio para a navega??o destes ve?culos ? determinar uma fun??o cont?nua que respeite suas restri??es cinem?ticas e evolua no tempo segundo as restri??es impostas pelo problema quanto ? posi??o e orienta??o iniciais e finais e quanto ? velocidade do movimento. Prop?e-se uma estrat?gia de gera??o de caminho baseada em polin?mios param?tricos de terceiro grau em 'x' e 'y'. A orienta??o 'theta' do minirrob? ? obtida da rela??o entre 'y' e 'x' de modo que os caminhos gerados respeitem a restri??o cinem?tica imposta. Para que a trajet?ria seja executada e os resultados experimentais validados ? apresentada uma estrat?gia simples de controle que atua sobre as velocidades linear e angular desenvolvidas pelo rob? m?vel

Made available in DSpace on 2014-12-17T14:56:19Z (GMT). No. of bitstreams: 1 LuizHRS_DISSERT.pdf: 5685489 bytes, checksum: 6c8bd08a9e57fe6ca72df5d1593b834d (MD5) Previous issue date: 2014-01-24 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior / This work intends to show a new and few explored SLAM approach inside the simultaneous localization and mapping problem (SLAM). The purpose is to put a mobile robot to work in an indoor environment. The robot should map the environment and localize itself in the map. The robot used in the tests has an upward camera and encoders on the wheels. The landmarks in this built map are light splotches on the images of the camera caused by luminaries on the ceil. This work develops a solution based on Extended Kalman Filter to the SLAM problem using a developed observation model. Several developed tests and softwares to accomplish the SLAM experiments are shown in details / Este trabalho visa mostrar uma abordagem pouco explorada do problema de mapeamento e localiza??o simult?neos (SLAM). Comfimde trabalhar emumambiente fechado, uma plataforma rob?tica m?vel deve construir um mapa do ambiente e se localizar dentro deste mapa. A plataforma rob?tica utilizada possui uma c?mera voltada para o teto (ascendente) e odometria para as rodas. As marcas que comp?em o mapa s?o manchas luminosas na imagem capturada pela c?mera causadas pelas lumin?rias no teto. Este trabalho desenvolve uma solu??o baseada no Filtro de Kalman Estendido para o SLAM com um modelo de observa??o desenvolvido. Diversos testes e programas desenvolvidos para realiza??o do SLAM s?o apresentados em detalhes

Este trabalho trata da coordenação de robôs heterogêneos que consiste em um robô helicóptero e em múltiplos robôs móveis com rodas, de modo que estes sigam um líder. Para atingirmos este objetivo, neste trabalho desenvolve-se a estimação da atitude e posição de um robô utilizando filtros robustos. Os filros realizam a fusão dos sinais de uma unidade de medida inercial de baixo custo e de um receptor GPS (Global Positioning System) considerando um modelo de corpo rígido formulado em termos de quatérnios. Resultados experimentais são apresentados baseados em um estudo comparativo entre os filtros robustos e o filtro de Kalman. Desenvolve-se o controle de um robô móvel com rodas deslizantes e de um robô helicóptero. Para realizar o controle robusto utilzia-se um regulador robusto recursivo. Simulaçõoes do robô móvel com rodas deslizantes e do robô helicóptero são apresentadas utilizando os parâmetros de um robô móvel Pioneer 3AT e de um robô helicóptero RMAX. Desenvolve-se também um mini robô helicóptero e uma base de movimento para realização de testes de controle do mini robô helicóptero constiste de um mini helimodelo e de um piloto automático baseado em um microprocessador com conectividade Wi-Fi, uma unidade de medida inercial e uma placa de controle de servos motores. E por fim, desenvolve-se a coordenação de robôs heterogêneos de modo que estes sigam um líder. Para isto é utilziado um controlador descentralizado e cooperativo cuja finalidade é gerar trajetórias de referência para que os robôs heterogênos se movimentem em formação rígida. / This research deals with the coordination of the heterogeneous robots, consisting of a robotic helicopter and multiple uheeled mobile robots, to achieve this aim this work develops the estimation of attitude, heading and positions of a robot based on robust filters. The filters perform the fusion of the signals of a low-cost inertial measurement unit and a GPS (Global Positioning System) receiver considering a rigid body model formulated in terms of quaternions. Experimental results are presented based on a comparative study of the robust filters and Kalman filter. It develops a robust control scheme of a ski-steering mobile robot and a robotic helicopter. The robust control is performed through a the robust recursive regulator. Simulations of the skid-steering mobile robot and a robotic helicopter are presented using the parameters of a Pioneer 3AT and a robotic helicopter RMAX. It also develops a mini robotic helicopter and a motion base to perform control test of a mini robotic helicopter. The mini robotic helicopter consists of a mini helicopter TREX 450 XL and an autopilot based on a microprocessor with Wi-Fi, an inertial measurement unit a servo control board. To finish, it develops the coordination of the heterogeneous robots in order to perform a leader strategy based on the concept of rigid formation.

Orientador: Paulo Roberto Gardel Kurka / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecânica / Made available in DSpace on 2018-08-16T16:41:02Z (GMT). No. of bitstreams: 1 DiazEspinosa_CarlosAndres_M.pdf: 5130242 bytes, checksum: 334f37aa82bbde2c9ddbfe192baa7c48 (MD5) Previous issue date: 2010 / Resumo: O presente trabalho descreve uma técnica de navegação autônoma, utilizando imagens estereoscópicas de câmeras para estimar o movimento de um robô em um ambiente desconhecido. Um método de correlação de pontos em imagens unidimensionais é desenvolvido para a identificação de pontos homólogos de duas imagens em uma cena. Utilizam-se métodos de segmentação de bordas ou contornos para extrair as principais características inerentes nas imagens. Constrói-se um mapa de profundidade dos pontos da imagem com maior similitude dentre os objetos visíveis no ambiente, utilizando um processo de triangulação. Finalmente a estimação do movimento bidimensional do robô é calculada aproveitando a relação epipolar entre dois ou mais pontos em pares de imagens. Experimentos realizados em ambientes virtuais e testes práticos verificam a viabilidade e robustez dos métodos em aplicações de navegação robótica / Abstract: The present work describes a technique for autonomous navigation using stereoscopic camera images to estimate the movement of a robot in an unknown environment. A onedimensional image point correlation method is developed for the identification of similar image points of a scene. Boundary or contour segments are used to extract the principal characteristics of the images. A depth map is built for the points with grater similarity, among the scene objects depicted, using a triangulation process. Finally, the bi-dimensional movement of a robot is estimated through epipolar relations between two or more correlated points in pairs of images. Virtual ambient and practical robot tests are preformed to evaluate the viability of employment and robustness of the proposed techniques / Mestrado / Mecanica dos Sólidos e Projeto Mecanico / Mestre em Engenharia Mecânica

O adequado deslocamento autônomo de robôs móveis entre fileiras de cultura agrícola implica a apropriada configuração estrutural do veículo, bem como considerar a detecção das filas de plantas ou árvores, e também o desenvolvimento de um sistema de controle de locomoção. Esta tese apresenta o desenvolvimento de um sistema de controle em malha fechada baseado na técnica de otimização H∞, que é aplicado no deslocamento entre fileiras de plantio de um robô móvel agrícola em escala reduzida. Mais especificamente, o foco deste trabalho é o seguimento de caminhos na cultura através da aplicação de técnicas de controle robusto. Duas questões foram fundamentais na elaboração da tese: 1) \"Quais são os métodos e procedimentos necessários para implementar a navegação autônoma de um protótipo de robô móvel entre fileiras de cultura agrícola?\" e, 2) \"É possível aplicar os conceitos relativos a sistemas de controle em malha fechada para solucionar o problema da navegação autônoma do robôs móveis entre fileiras de cultura agrícola?\". Primeiramente é apresentada uma revisão bibliográfica sobre robôs móveis agrícolas que tem locomoção baseada em rodas. Posteriormente, os conceitos relacionados com o projeto de controle baseado na técnica de otimização H∞ são fundamentados. Em seguida, são descritos os detalhes relacionados com a construção da plataforma robótica proposta, o projeto do controlador de caminho, as respectivas simulações e as especificações para a realização de testes em ambiente agrícola. Finalmente os resultados alcançados são apresentados. Conclui-se que o sistema de controle proposto se mostrou efetivo na realização da navegação autônoma do robô entre as fileiras da cultura previamente configuradas para a avaliação do seu desempenho. / Appropriate autonomous navigation of mobile robots between crop rows implies, besides appropriate structural configuration, considering detection of plants or trees in rows, as well as the development of a locomotion control system. Consequently, this thesis presents the development of a closed loop control system based on H∞ optimization technique, which is applied to control the navigation of a low scale car-like mobile robot between crop rows; more specifically, main focus of this work is tracking paths in the culture, by the application of robust control techniques. Two questions were fundamental in the development of the thesis: 1) which are the methods and procedures to implement the autonomous navigation of a mobile robot prototype between crop rows? And 2) is it possible to apply the concepts of closed-loop control systems to solve the problem of autonomous navigation of mobile robots between crop rows? Firstly, we provide a literature review on agricultural mobile robots whose mobility depends on wheels. Secondly, control systems design fundamentals based on the H∞ optimization technique are addressed. Thirdly, details related to the construction of the proposed robotic platform and also the design of the proposed path controller (including its simulation and specifications for testing within an agricultural environment) are described. Finally, results of our findings are presented. It is concluded that our control system showed to be effective in the realization of autonomous navigation between crop rows in agricultural environment, which was properly configured in order to evaluate the performance of our robot.

Os métodos de Aprendizagem por Reforço (AR) se mostram adequados para problemas de tomadas de decisões em diversos domínios por sua estrutura flexível e adaptável. Apesar de promissores, os métodos AR frequentemente tem seu campo de atuação prático restrito a problemas com espaço de estados de pequeno ou médio porte devido em muito à forma com que realizam a estimativa da função de avaliação. Nesta tese, uma nova abordagem de AR, denominada de Agente Topológico de Aprendizagem por Reforço (ATAR), inspirada em aprendizagem latente, é proposta para acelerar a aprendizagem por reforço através de um mecanismo alternativo de seleção dos pares estado-ação para atualização da estimativa da função de avaliação. A aprendizagem latente refere-se à aprendizagem animal que ocorre na ausência de reforço e que não é aparente até que um sinal de reforço seja percebido pelo agente. Este aprendizado faz com que um agente aprenda parcialmente uma tarefa mesmo antes que este receba qualquer sinal de reforço. Mapas Cognitivos são usualmente empregados para codificar a informação do ambiente em que o agente está imerso. Desta forma, o ATAR usa um mapa topológico, baseado em Mapas Auto-Organizáveis, para realizar as funções do mapa cognitivo e permitir um mecanismo simples de propagação das atualizações. O ATAR foi testado, em simulação, para planejamento de navegação de um robô móvel em ambientes inicialmente desconhecidos e não-estruturados. Comparações com outros seis algoritmos AR avaliaram comparativamente o desempenho do agente proposto na navegação. Os resultados obtidos são promissores e comparáveis com os algoritmos AR mais rápidos testados, alcançando em alguns ensaios desempenho superior aos dos demais algoritmos - principalmente nas simulações que consideram situações observadas em ambientes não-estruturados. Três características do ATAR original foram alteradas para tornar ainda mais viável sua aplicação prática: (i) mudanças no mapa topológico para reduzir o número de vértices, (ii) mudança na heurística usada na seleção das ações do agente e (iii) variações na estratégia de exploração do ATAR. Do ponto (i), foi proposto e implementado um novo mapa topológico, o Mapa Topológico Incremental Classificador MTIC, que a partir da classificação dos estados do ambiente gera os vértices de uma triangularização de Watson. O ponto (ii) criou um método aplicável a outros problemas de planejamento de trajetória em grafos denominado de Melhoria das trajetórias por detecção de ponto interior. O terceiro estudou estratégias direcionadas de exploração como uma opção para acelerar o aprendizado do ATAR. / Reinforcement Learning (RL) methods have shown to be a good choice for decision-making problems due to their flexible and adaptive characteristics. Despite such promising features, RL methods often have their practical application restricted to small or medium size (at state, or state-action, space) problems mainly because of their standard strategies for value function estimation. In this thesis, a new RL approach, called \"Topological Reinforcement Learning Agent\" - TRLA, is proposed to accelerate learning through an alternative mechanism to update the state-action value function. TRLA is inspired in latent learning, which refers to animal learning that occurs in the absence of reinforcements and that is not visible until an environmental reinforcement is perceived. This concept considers that part of a task can be learned even before the agent receives any indication of how to perform such a task. Cognitive Maps are usually used to encode information about the environment where the agent is immersed. Thus, the TRLA uses a topological map, based on Self-Organized Maps, to implement cognitive map functions and permit a new simple mechanism to execute the propagation of state-action updates. The chosen problem to test TRLA is the simulation of a mobile robot navigation in some initially unknown and unstructured environments. Performance comparisons of the TRLA with six other RL algorithms were carried out to the execution of the navigation task. The obtained results are very promising and comparable with some of faster RL algorithms simulated. In some experiments, the TRLA\'s performance overcomes the others especially in simulations with unstructured environments. Three characteristics of the original TRLA were modified to make it more suitable for real implementations: (i) changes in the topological map construction to reduce the vertices number, (ii) changes in the agents heuristic for action selection, and (iii) variations on the TRLAs strategy for exploration of the state-action space. In (i), a new procedure to construct topological maps was proposed and implemented, the Incremental Classifier Topological Map ICTM, which generates the vertices for a Watsons triangulation from the classification of the input states. In (ii), it was proposed a method to optimize trajectory planning problems based on graphs, denoted \"trajectory improvement from inner point detection\". The third point considers directed exploration strategies as an option for TRLA\'s learning acceleration.