Este trabalho apresenta uma arquitetura de hardware, baseada em FPGA (Field-Programmable Gate Array) e com multi-câmeras, para o problema de localização e mapeamento simultâneos - SLAM (Simultaneous Localization And Mapping) aplicada a sistemas robóticos embarcados. A arquitetura é composta por módulos de hardware altamente especializados para a localização do robô e para geração do mapa do ambiente de navegação em tempo real com features extraídas de imagens obtidas diretamente de câmeras CMOS a uma velocidade de 30 frames por segundo. O sistema é totalmente embarcado em FPGA e apresenta desempenho superior em, pelo menos, uma ordem de magnitude em relaçãoo às implementações em software processadas por computadores pessoais de última geração. Esse desempenho deve-se à exploração do paralelismo em hardware junto com o processamento em pipeline e às otimizações realizadas nos algoritmos. As principais contribuições deste trabalho são as arquiteturas para o filtro de Kalman estendido - EKF (Extended Kalman Filter) e para a detecção de features baseada no algoritmo SIFT (Scale Invariant Feature Transform). A complexidade para a implementaçãoo deste trabalho pode ser considerada alta, uma vez que envolve uma grande quantidade de operações aritméticas e trigonométricas em ponto utuante e ponto fixo, um intenso processamento de imagens para extração de features e verificação de sua estabilidade e o desenvolvimento de um sistema de aquisição de imagens para quatro câmeras CMOS em tempo real. Adicionalmente, foram criadas interfaces de comunicação para o software e o hardware embarcados no FPGA e para o controle e leitura dos sensores do robô móvel. Além dos detalhes e resultados da implementação, neste trabalho são apresentados os conceitos básicos de mapeamento e o estado da arte dos algoritmos SLAM com visão monocular e estéreo / This work presents a hardware architecture for the Simultaneous Localization And Mapping (SLAM) problem applied to embedded robots. This architecture, which is based on FPGA and multi-cameras, is composed by highly specialized blocks for robot localization and feature-based map building in real time from images read directly from CMOS cameras at 30 frames per second. The system is completely embedded on an FPGA and its performance is at least one order of magnitude better than a high end PC-based implementation. This result is achieved by investigating the impact of several hardwareorientated optimizations on performance and by exploiting hardware parallelism along with pipeline processing. The main contributions of this work are the architectures for the Extended Kalman Filter (EKF) and for the feature detection system based on the SIFT (Scale Invariant Feature Transform). The complexity to implement this work can be considered high, as it involves a significant number of arithmetic and trigonometric operations in oating and fixed-point format, an intensive image processing for feature detection and stability checking, and the development of an image acquisition system from four CMOS cameras in real time. In addition, communication interfaces were created to integrate software and hardware embedded on FPGA and to control the mobile robot base and to read its sensors. Finally, besides the implementation details and the results, this work also presents basic concepts about mapping and state-of-the-art algorithms for SLAM with monocular and stereo vision.

Navegação autônoma é um tópico abrangente cuja atenção por parte da comunidade de robôs móveis vemaumentando ao longo dos anos. O problema consiste em guiar um robô de forma inteligente por um determinado percurso sem ajuda humana. Esta dissertação apresenta um sistema de navegação para ambientes abertos baseado em visão estéreo. Uma câmera estéreo é utilizada na captação de imagens do ambiente e, utilizando o mapa de disparidades gerado por um método estéreo semi-global, dois métodos de detecção de obstáculos são utilizando para segmentar as imagens em regiões navegáveis e não navegáveis. Posteriormente esta classificação é utilizada em conjunto com um método de desvio de obstáculos, resultando em um sistema completo de navegação autônoma. Os resultados obtidos por está dissertação incluem a avaliação de dois métodos estéreo, esta sendo favorável ao método estéreo empregado (semi-global). Foram feitos testes visando avaliar a qualidade e custo computacional de dois métodos para detecção de obstáculos, um baseado em plano e outro baseado em cone. Tais testes deixaram claras as limitações de ambos os métodos e levaram a uma implementação paralela do método baseado em cone. Utilizando uma unidade de processamento gráfico, a versão paralelizada do método baseado em cone atingiu um ganho no tempo computacional de aproximadamente dez vezes. Por fim, os resultados demonstrarão o sistema completo em funcionamento, onde a plataforma robótica utilizada, um veículo elétrico, foi capaz de desviar de pessoas e cones alcançando seu objetivo seguramente / Autonomous navigation is a broad topic that has received increasing attention from the community of mobile robots over the years. The problem is to guide a robot in a smart way for a certain route without human help. This dissertation presents a navigation system for open environments based on stereo vision. A stereo camera is used to capture images of the environment and based on the disparity map generated by a semi-global stereo method, two obstacle detection methods are used to segment the images into navigable and non-navigable regions. Subsequently, this classification is employed in conjunction with a obstacle avoidance method, resulting in a complete autonomous navigation system. The results include an evaluation two stereo methods, this being favorable to the employed stereo method (semi-global). Tests were performed to evaluate the quality and computational cost of two methods for obstacle detection, a plane based one and a cone based. Such tests have left clear the limitations of both methods and led to a parallel implementation of the cone based method. Using a graphics processing unit, a parallel version of the cone based method reached a gain in computational time of approximately ten times. Finally, the results demonstrate the complete system in operation, where the robotic platform used, an electric vehicle, was able to dodge people and cones reaching its goal safely

Dans cette thèse, nous nous intéressons au problème du suivi en convoi, désigné en anglais par le terme platooning, où un train de robots essaie de suivre un chemin décrit par le leader. Ce chemin, n'étant pas prédéfini mais généré au cours du suivi, est inconnu de tous les robots suiveurs. Dans ce travail, nous choisissons une approche décentralisée locale où chaque robot du convoi observe son voisinage et calcule son contrôle de façon à avoir un suivi stable (absence d'oscillations) et précis (erreur latérale aussi faible que possible). Cette thèse étudie plus précisément le comportement latéral d'un robot du convoi et propose deux contrôleurs s'appuyant sur la mémorisation du chemin suivi par son prédécesseur. Un premier algorithme de contrôle Memo-LAT (Memorization and Look-Ahead Target) calcule une commande latérale continue en utilisant une loi de contrôle analytique. La stabilité de Memo-LAT n'étant pas toujours garantie, nous proposons l'algorithme de contrôle NOC (Non-Oscillatory Convergence) qui prend en compte la courbure du chemin à suivre dans le calcul du comportement latéral. NOC combine une approche géométrique avec une recherche heuristique pour calculer une commande discrète permettant au robot de suivre avec précision le chemin de son prédécesseur sans oscillation. / This thesis deals with the platooning problem which aims to concieve a control algorithm allowing a convoy of vehicles to follow their leader's path. This path, which is initially undefined and unknown to all the following robots, is generated as the leader moves. In this thesis, we choose a local decentralized approach in which each robot of the platoon uses its local perceptions to compute its own commands aiming to achieve a stable (no oscillations) and precise (with a lateral error as small as possible) platooning. More precisely, this thesis studies the lateral behavior of a platoon's robot and introduces two controllers based on the memorization of the robot's predecessor's path. The first algorithm, Memo-LAT (Memorization and Look-Ahead Target), computes a continuous lateral command using an analytic control law. As the stability of Memo-LAT is not always guaranteed, we present NOC (Non-Oscillatory Convergence), a control algorithm which takes into account the path's curvature in the robot's lateral behavior's computation. NOC combines a geometric approach to a heuristic search method to compute a discrete command allowing the robot to follow precisely and without oscillations its predecessor's path

Supondo-se que os robôs coexistirão conosco num futuro próximo, é então evidente a necessidade de Arquiteturas de Controle Inteligentes voltadas para a Interação Humano-Robô. Portanto, este trabalho desenvolveu uma Organização de Arquitetura de Controle Inteligente comportamental, cujo objetivo principal é permitir que o robô interaja com as pessoas de maneira intuitiva e que motive a colaboração entre pessoas e robôs. Para isso, um módulo emocional sintético, embasado na teoria bidimensional de emoções, foi integrado para promover a adaptação dos comportamentos do robô, implementados por Esquemas Motores, e a comunicação de seu estado interno de modo inteligível. Esta Organização subsidiou a implantação da Arquitetura de Controle em uma aplicação voltada para a área assistencial da saúde, consistindo, destarte, em um estudo de caso em robótica social assistiva como ferramenta auxiliar para educação especial. Os experimentos realizados demonstraram que a arquitetura de controle desenvolvida é capaz de atender aos requisitos da aplicação, conforme estipulado pelos especialistas consultados. Isto posto, esta tese contribui com o projeto de uma arquitetura de controle capaz de agir mediante a avaliação subjetiva baseada em crenças cognitivas das emoções, o desenvolvimento de um robô móvel de baixo-custo, e a elaboração do estudo de caso em educação especial. / Assuming that robots will coexist with humans in the near future, it is conspicuous the need of Intelligent Control Architectures suitable for Human-Robot Interaction. Henceforth, this research has developed a behavioral Control Architecture Organization, whose main purpose is to allow the intuitive interaction of robot and people, thus fostering the collaboration between them. To this end, a synthetic emotional module, based on the Circumplex emotion theory, promoted the adaptation of the robot behaviors, implemented using Motor Schema theory, and the communication of its internal state. This Organization supported the adoption of the Control Architecture into an assistive application, which consists of the case study of assistive social robots as an auxiliary tool for special education. The experiments have demonstrated that the developed control architecture was able to meet the requirements of the application, which were conceived according to the opinion of the consulted experts. Thereafter, this thesis contributes with the design of a control architecture that is able to act upon the subjective evaluation based on cognitive beliefs of emotions, the development of a low-cost mobile robot, and the development of the case study in special education.

Este trabalho trata do estudo de concepções de arquitetura do controle aplicadas aos robôs móveis autônomos e da proposição de um delas à instrumentação e controle em tempo real de um modelo de embarcação naval de alto desempenho. Tal veículo remotamente operado foi desenvolvido como parte das atividades do projeto temático "Comportamento em Ondas de Embarcações de Alto Desempenho" (proc.Fapesp 1997/13090-3). Realizou-se uma investigação dos diversos paradigmas de inteligência artificial que orientaram a evolução dos robôs móveis autônomos até o presente momento e, em particular, as concepções baseadas em modelos sócio-antropológicos e computacionais (teoria de agentes e orientação a objetos) através de sua aplicação à implementação de um sistema de aquisição e controle orientado a objetos, modelado através da UML (Unified Modeling Language), para o veículo mencionado. Testes de validação da arquitetura do controle foram realizados, sendo obtidos resultados experimentais que permitiram análises a respeito da dinâmica, manobrabilidade e navegação do veículo, as quais sugerem vários aperfeiçoamentos para o sistema de hardware e software em trabalhos futuros. / This work deals with the study of control architecture approaches applied to autonomous mobile robots, and proposes one of them for the control system of a self-propelled high speed ship model. Such unmanned vehicle was developed for the research project “Comportamento em Ondas de Embarcações de Alto Desempenho” (proc. FAPESP 1997/13090-3). A number of artificial intelligence paradigms, related to the autonomous robot evolution up to now, were investigated. Models based on the socio-anthropological paradigm and the corresponding computer science approaches, i.e. agent theory and object-oriented modeling, were emphasized. Object-oriented control software based on the UML (Unified Modeling Language) was designed for the real-time embedded system of the ship model. Validation tests of the control architecture were carried out. Experimental results, related to vehicle dynamics, maneuverability and navigation were acquired by the embedded system and analyzed in this work. These results suggest a number of improvements for future works on the software and hardware systems.

Navegação autônoma é um tópico abrangente cuja atenção por parte da comunidade de robôs móveis vemaumentando ao longo dos anos. O problema consiste em guiar um robô de forma inteligente por um determinado percurso sem ajuda humana. Esta dissertação apresenta um sistema de navegação para ambientes abertos baseado em visão estéreo. Uma câmera estéreo é utilizada na captação de imagens do ambiente e, utilizando o mapa de disparidades gerado por um método estéreo semi-global, dois métodos de detecção de obstáculos são utilizando para segmentar as imagens em regiões navegáveis e não navegáveis. Posteriormente esta classificação é utilizada em conjunto com um método de desvio de obstáculos, resultando em um sistema completo de navegação autônoma. Os resultados obtidos por está dissertação incluem a avaliação de dois métodos estéreo, esta sendo favorável ao método estéreo empregado (semi-global). Foram feitos testes visando avaliar a qualidade e custo computacional de dois métodos para detecção de obstáculos, um baseado em plano e outro baseado em cone. Tais testes deixaram claras as limitações de ambos os métodos e levaram a uma implementação paralela do método baseado em cone. Utilizando uma unidade de processamento gráfico, a versão paralelizada do método baseado em cone atingiu um ganho no tempo computacional de aproximadamente dez vezes. Por fim, os resultados demonstrarão o sistema completo em funcionamento, onde a plataforma robótica utilizada, um veículo elétrico, foi capaz de desviar de pessoas e cones alcançando seu objetivo seguramente / Autonomous navigation is a broad topic that has received increasing attention from the community of mobile robots over the years. The problem is to guide a robot in a smart way for a certain route without human help. This dissertation presents a navigation system for open environments based on stereo vision. A stereo camera is used to capture images of the environment and based on the disparity map generated by a semi-global stereo method, two obstacle detection methods are used to segment the images into navigable and non-navigable regions. Subsequently, this classification is employed in conjunction with a obstacle avoidance method, resulting in a complete autonomous navigation system. The results include an evaluation two stereo methods, this being favorable to the employed stereo method (semi-global). Tests were performed to evaluate the quality and computational cost of two methods for obstacle detection, a plane based one and a cone based. Such tests have left clear the limitations of both methods and led to a parallel implementation of the cone based method. Using a graphics processing unit, a parallel version of the cone based method reached a gain in computational time of approximately ten times. Finally, the results demonstrate the complete system in operation, where the robotic platform used, an electric vehicle, was able to dodge people and cones reaching its goal safely

Supondo-se que os robôs coexistirão conosco num futuro próximo, é então evidente a necessidade de Arquiteturas de Controle Inteligentes voltadas para a Interação Humano-Robô. Portanto, este trabalho desenvolveu uma Organização de Arquitetura de Controle Inteligente comportamental, cujo objetivo principal é permitir que o robô interaja com as pessoas de maneira intuitiva e que motive a colaboração entre pessoas e robôs. Para isso, um módulo emocional sintético, embasado na teoria bidimensional de emoções, foi integrado para promover a adaptação dos comportamentos do robô, implementados por Esquemas Motores, e a comunicação de seu estado interno de modo inteligível. Esta Organização subsidiou a implantação da Arquitetura de Controle em uma aplicação voltada para a área assistencial da saúde, consistindo, destarte, em um estudo de caso em robótica social assistiva como ferramenta auxiliar para educação especial. Os experimentos realizados demonstraram que a arquitetura de controle desenvolvida é capaz de atender aos requisitos da aplicação, conforme estipulado pelos especialistas consultados. Isto posto, esta tese contribui com o projeto de uma arquitetura de controle capaz de agir mediante a avaliação subjetiva baseada em crenças cognitivas das emoções, o desenvolvimento de um robô móvel de baixo-custo, e a elaboração do estudo de caso em educação especial. / Assuming that robots will coexist with humans in the near future, it is conspicuous the need of Intelligent Control Architectures suitable for Human-Robot Interaction. Henceforth, this research has developed a behavioral Control Architecture Organization, whose main purpose is to allow the intuitive interaction of robot and people, thus fostering the collaboration between them. To this end, a synthetic emotional module, based on the Circumplex emotion theory, promoted the adaptation of the robot behaviors, implemented using Motor Schema theory, and the communication of its internal state. This Organization supported the adoption of the Control Architecture into an assistive application, which consists of the case study of assistive social robots as an auxiliary tool for special education. The experiments have demonstrated that the developed control architecture was able to meet the requirements of the application, which were conceived according to the opinion of the consulted experts. Thereafter, this thesis contributes with the design of a control architecture that is able to act upon the subjective evaluation based on cognitive beliefs of emotions, the development of a low-cost mobile robot, and the development of the case study in special education.

Sofisticadas técnicas para estimação de modelos baseadas em simulação, os filtros de partículas ou métodos de Monte Carlo Seqüenciais, foram empregadas recentemente para solucionar diversos problemas difícieis no campo da robótica móvel. No entanto, o sucesso dos fitros de partículas limitou-se à computação de parâmetros em espaços de baixa dimensionalidade. Os atuais esforços de pesquisa em robótica móvel têm comecado a explorar certas propriedades estruturais de seus domnios de aplicação que envolvem a utilização de filtros de partculas em espacos de maior dimensão, aumentando consideravelmente a complexidade da simulação envolvida. Simulações estatsticas dessa natureza requerem uma grande quantidade de numeros pseudo-aleatorios que possam ser gerados eficientemente e atendam a certos criterios de qualidade. O processo de geração de numeros pseudo-aleatorios torna-se o ponto crtico de tais aplicações em termos de desempenho. Neste contexto, a computação reconguravel insere-se como uma tecnologia capaz de satisfazer a demanda por alto desempenho das grandes simulações estatsticas pois sistemas baseados em arquiteturas reconguraveis possuem o potencial de mapear computação em hardware visando aumento de eficiência sem comprometer seriamente sua exibilidade. Tecnologias reconguraveis também possui o atrativo de um baixo consumo de energia, uma caracterstica essencial para os futuros robôs moveis embarcados. Esta dissertação apresenta a implementação um sistema embarcado baseado em FPGA e projetado para solucionar o problema de localização de robôs por meio de tecnicas probabilsticas. A parte fundamental de todo este sistema e um veloz gerador de numeros aleatorios mapeado ao hardware reconguravel que foi capaz de atender rígidos criterios estatsticos de qualidade / Sophisticated techniques for estimation of models based on simulation, particle filters or Sequential Monte Carlo Methods, were recently used to solve many difficult problems in the field of mobile robotics. However, the success of particle filters was limited to the computation of parameters in low dimensionality spaces. The current research efforts in mobile robotics have begun to explore some structural properties of their application\'s domain involving the use of particle filters in spaces of a higher dimension, greatly increasing the complexity of the involved simulation. Statistical simulations of this nature require a lot of pseudorandom numbers that can be generated efficiently and meet certain quality criteria. The process of generating pseudorandom number becomes the critical point of such applications in terms of performance. In this context, reconfigurable computing is a technology capable of meeting the demand for high performance of large statistical simulations because systems based on reconfigurable architectures have the potential to map computation to hardware aiming to increase eficiency without a serious drawback in exibility. Reconfigurable technologies are also attractive because of their low energy consume, a essential feature for the future mobile robots. This dissertation presents an implementation of a FPGA based embedded system designed to solve the robot localization problem by the means of probabilistic technics. The fundamental part from the whole system is a fast random number generator mapped to reconfigurable hardware wich atends a rigid quality criteria

Este trabalho trata do estudo de concepções de arquitetura do controle aplicadas aos robôs móveis autônomos e da proposição de um delas à instrumentação e controle em tempo real de um modelo de embarcação naval de alto desempenho. Tal veículo remotamente operado foi desenvolvido como parte das atividades do projeto temático "Comportamento em Ondas de Embarcações de Alto Desempenho" (proc.Fapesp 1997/13090-3). Realizou-se uma investigação dos diversos paradigmas de inteligência artificial que orientaram a evolução dos robôs móveis autônomos até o presente momento e, em particular, as concepções baseadas em modelos sócio-antropológicos e computacionais (teoria de agentes e orientação a objetos) através de sua aplicação à implementação de um sistema de aquisição e controle orientado a objetos, modelado através da UML (Unified Modeling Language), para o veículo mencionado. Testes de validação da arquitetura do controle foram realizados, sendo obtidos resultados experimentais que permitiram análises a respeito da dinâmica, manobrabilidade e navegação do veículo, as quais sugerem vários aperfeiçoamentos para o sistema de hardware e software em trabalhos futuros. / This work deals with the study of control architecture approaches applied to autonomous mobile robots, and proposes one of them for the control system of a self-propelled high speed ship model. Such unmanned vehicle was developed for the research project “Comportamento em Ondas de Embarcações de Alto Desempenho" (proc. FAPESP 1997/13090-3). A number of artificial intelligence paradigms, related to the autonomous robot evolution up to now, were investigated. Models based on the socio-anthropological paradigm and the corresponding computer science approaches, i.e. agent theory and object-oriented modeling, were emphasized. Object-oriented control software based on the UML (Unified Modeling Language) was designed for the real-time embedded system of the ship model. Validation tests of the control architecture were carried out. Experimental results, related to vehicle dynamics, maneuverability and navigation were acquired by the embedded system and analyzed in this work. These results suggest a number of improvements for future works on the software and hardware systems.

For an autonomous outdoor mobile robot ability to detect roads existing around is a vital capability. Unstructured roads are among the toughest challenges for a mobile robot both in terms of detection and navigation. Even though mobile robots use various sensors to interact with their environment, being a comparatively low-cost and rich source of information, potential of cameras should be fully utilized. This research aims to systematically investigate the potential use of streaming camera images in detecting unstructured roads. The investigation focused on the use of methods employing Artificial Neural Networks (ANNs). An exhaustive test process is followed where different kernel sizes and feature vectors are varied systematically where trainings are carried out via backpropagation in a feed-forward ANN. The thesis also claims a contribution in the creation of test data where truth images are created almost in realtime by making use of the dexterity of human hands. Various road profiles v ranging from human-made unstructured roads to trails are investigated. Output of ANNs indicating road regions is justified against the vanishing point computed in the scene and a heading vector is computed that is to keep the robot on the road. As a result, it is shown that, even though a robot cannot fully rely on camera images for heading computation as proposed, use of image based heading computation can provide a useful assistance to other sensors present on a mobile robot.