Os robôs móveis e de serviço vêm assumindo um papel cada vez mais amplo e importante junto à sociedade moderna. Um tipo importante de robô móvel autônomo são os robôs voltados para a vigilância e segurança em ambientes internos (indoor). Estes robôs móveis de vigilância permitem a execução de tarefas repetitivas de monitoramento de ambientes, as quais podem inclusive apresentar riscos à integridade física das pessoas, podendo assim ser executadas de modo autônomo e seguro pelo robô. Este trabalho teve por objetivo o desenvolvimento dos principais módulos que compõem a arquitetura de um sistema robótico de vigilância, que incluem notadamente: (i) a aplicação de sensores com percepção 3D (Kinect) e térmica (Câmera FLIR), de relativo baixo custo, junto a este sistema robótico; (ii) a detecção de intrusos (pessoas) através do uso conjunto dos sensores 3D e térmico; (iii) a navegação de robôs móveis autônomos com detecção e desvio de obstáculos, para a execução de tarefas de monitoramento e vigilância de ambientes internos; (iv) a identificação e reconhecimento de elementos do ambiente que permitem ao robô realizar uma navegação baseada em mapas topológicos. Foram utilizados métodos de visão computacional, processamento de imagens e inteligência computacional para a realização das tarefas de vigilância. O sensor de distância Kinect foi utilizado na percepção do sistema robótico, permitindo a navegação, desvio de obstáculos, e a identificação da posição do robô em relação a um mapa topológico utilizado. Para a tarefa de detecção de pessoas no ambiente foram utilizados os sensores Kinect e câmera térmica FLIR, integrando os dados fornecidos por ambos sensores, e assim, permitindo obter uma melhor percepção do ambiente e também permitindo uma maior confiabilidade na detecção de pessoas. Como principal resultado deste trabalho foi desenvolvido um iii sistema, capaz de navegar com o uso de um mapa topológico global, capaz de se deslocar em um ambiente interno evitando colisões, e capaz de detectar a presença de seres humanos (intrusos) no ambiente. O sistema proposto foi testado em situações reais com o uso de um robô móvel Pioneer P3AT equipado com os sensores Kinect e com uma Câmera FLIR, realizando as tarefas de navegação definidas com sucesso. Outras funcionalidades foram implementadas, como o acompanhamento da pessoa (follow me) e o reconhecimento de comandos gestuais, onde a integração destes módulos com o sistema desenvolvido constituem-se de trabalhos futuros propostos / Mobile robots and service robots are increasing their applications and importance in our modern society. An important type of autonomous mobile robot application is indoor monitoring and surveillance tasks. The adoption of mobile robots for indoor surveillance tasks allows the execution of repetitive environment patrolling, which may even pose risks to the physical integrity of persons. Thus these activities can be autonomously and safely performed by security robots. This work aimed at the development of key modules and components that integrates the general architecture of a surveillance robotic system, including: (i) the development and application of a 3D perception sensor (Kinect) and a thermal sensor (FLIR camera), representing a relatively low-cost solution for mobile robot platforms; (ii) the intruder detection (people) in the environment, through the joint use of 3D and thermal sensors; (iii) the autonomous navigation of mobile robots within obstacle detection and avoidance, performing the monitoring and surveillance tasks of indoor environments; (iv) the identification and recognition of environmental features that allow the robot to perform a navigation based on topological maps. We used methods from Computer Vision, Image Processing and Computational Intelligence to carry out the implementation of the mobile robot surveillance modules. The proximity and distance measurement sensor adopted in the robotic perception system was the Kinect, allowing navigation, obstacle avoidance, and identifying key positions of the robot with respect to a topological map. For the intruder detection task we used a Kinect sensor together with a FLIR thermal camera, integrating the data obtained from both sensors, and thus allowing a better understanding of the environment, and also allowing a greater reliability in people detection. As a main result of this work, it has been v developed a system capable of navigating using a global topological map, capable of moving itself autonomously into an indoor environment avoiding collisions, and capable of detect the presence of humans (intruders) into the environment. The proposed system has been tested in real situations with the use of a Pioneer P3AT mobile robot equipped with Kinect and FLIR camera sensors, performing successfully the defined navigation tasks. Other features have also been implemented, such as following a person and recognizing gestures, proposed as future works to be integrated into the developed system

Planejamento de movimento tem o propósito de determinar quais movimentos o robô deve realizar para que alcance posições ou configurações desejadas no ambiente sem que ocorram colisões com obstáculos. É comum na robótica móvel simplificar o planejamento de movimento representando o robô pelas coordenadas do seu centro e desconsiderando qualquer restrição cinemática e dinâmica de movimento. Entretanto, a maioria dos robôs móveis possuem restrições cinemáticas não-holonômicas, e para algumas tarefas e robôs, é importante considerar tais restrições juntamente com o modelo dinâmico do robô na tarefa de planejamento. Assim é possível determinar um caminho que possa ser de fato seguido pelo robô. Nesse trabalho é proposto um método de planejamento cinemático-dinâmico que permite planejar trajetórias para robôs móveis usando malhas de estados. Essa abordagem considera a cinemática e a dinâmica do robô para gerar trajetórias possíveis de serem executadas e livre de colisões com obstáculos. Quando obstáculos não representados no mapa são detectados pelos sensores do robô, uma nova trajetória é gerada para desviar desses obstáculos. O planejamento de movimento utilizando malhas de estados foi associado a um algoritmo de desvio de obstáculos baseado no método da janela dinâmica (DWA). Esse método é responsável pelo controle de seguimento de trajetória, garantindo a segurança na realização da tarefa durante a navegação. As trajetórias planejadas foram executadas em duas plataformas distintas. Essas plataformas foram utilizadas em tarefas de navegação em ambientes simulados interno e externo e em ambientes reais. Para navegação em ambientes internos utilizou-se o robô móvel Pioneer 3AT e para navegação em ambientes externos utilizou-se o veículo autônomo elétrico CaRINA 1 que está sendo desenvolvido no ICMC-USP com apoio do Instituto Nacional de Ciência e Tecnologia em Sistemas Embarcados Críticos (INCT-SEC). / Motion planning aims to determine which movements the robot must accomplish to reach a desired position or configuration in the environment without the occurrence of collisions with obstacles. It is common in mobile robotics to simplify the motion planning representing the robot by the coordinates of its center of gravity and ignoring any kinematic and dynamic constraint motion. However, most mobile robots have non-holonomic kinematic constraints, and for some tasks and robots, it is important to consider these constraints together with the dynamic model of the robot in task planning. Thus it is possible to determine a path that can actually be followed by the robot. Here we propose a method for kinematic-dynamic path planning using lattice states. This approach considers the kinematic and dynamic of the robot to generate generate feasible trajectories free of collisions with obstacles. When obstacles not represented on the map are detected by the sensors of the robot, a new trajectory is generated to avoid these obstacles. The motion planning using lattice state was associated with an obstacle avoidance algorithm based on the dynamic window approach (DWA). This method is responsible for trajectory tracking to ensure safety in navigation tasks. This method was applied in two distinct platforms. These platforms were used for navigation tasks in both indoor and outdoor simulated environments, as well as, in real environments. For navigation in indoor environments we used a Pioneer 3AT robot and for outdoor navigation we used the autonomous electric vehicle CaRINA1 being developed at ICMC-USP with support National Institute of Science and Technology in Critical Embedded Systems (INCT-SEC).

Este trabalho apresenta o projeto de dois controladores robustos, baseados no critério H∞ não linear, para o acompanhamento de trajetória de robôs móveis com rodas (RMRs). Estes controladores estabilizam o sistema em malha fechada e garantem que a norma L2 induzida entre os sinais de entrada (distúrbios) e saída seja limitada por um nível de atenuação &#947 > 0. Para o projeto, as equações dinâmicas não lineares do robô são descritas na forma quase linear a parâmetros variantes (quase-LPV), sendo os parâmetros parte do estado. Os controladores são resolvidos via desigualdades matriciais lineares (DMLs) e equações algébricas de Ricatti (EAR). Resultados em simulação com um estudo comparativo entre essas duas estratégias de controle e um controlador proporcional derivativo (PD) em conjunto com um controlador do tipo torque calculado são apresentados. Além disso, a implementação de dois métodos de localização de RMRs através de imagens é realizada. / This work presents the design of two robust controllers, based on nonlinear H∞ approach, for tracking trajectory of wheeled mobile robots (WMRs). These controllers stabilize the close-loop system and guarantee that induced L2 norm between input (disturbances) and output signals be bounded by an attenuation level &#947 > 0. For the design, the nonlinear dynamic equations of the robot are described in quasi linear parameter varying (quasi-LPV) form being the parameters part of the states. The controllers are solved via linear matrix inequalities (LMIs) and algebraic Riccati equation (ARE). Simulation results with a comparison study among these two control strategies and a proportional-derivative (PD) controller plus calculated torque are presented. Moreover, implementation of two methods of localization of WMRs based on images is accomplished.

Com a necessidade de substituir o trabalho humano em áreas de risco, ambientes impróprios ou inalcançáveis, diversos centros de pesquisas e universidades têm desenvolvido aplicações e estratégias de controle para robôs móveis. Porém, o alto custo na aquisição de um ou mais protótipos para estudos e desenvolvimento de novas tecnologias pode se tornar um fator limitante para o incremento dessas pesquisas. Como parte de uma solução para contornar esta eventual limitação em robótica móvel, uma arquitetura de baixo custo, modular e expansível é apresentada neste trabalho. São apresentadas também as metodologias de desenvolvimento dos módulos, os algoritmos de controle, as interfaces de comunicação e os principais componentes utilizados para desenvolvimento do robô móvel ZEUS, cujo sistema eletrônico de controle é a implementação da arquitetura proposta. Análise de custo, resultados experimentais de sensoriamento e navegação concluem este trabalho. / With the need to replace human work in risk\'s areas, improper or unreachable environments, several research centers, and universities have developed applications and strategies for mobile robots control. However, the high acquisition cost of one or more prototypes used for research and in development of new technologies may become a limiting factor. As part of the solution to get a round any such limitation on mobile robotics, a modular and expandable low-cost architecture is presented in this work. There are also presented the methodologies for modules development, the algorithms of control, the communication interfaces and the main components used for the development of ZEUS mobile robot, whose electronic system control is the implementation of the proposed architecture. Analysis of cost, experimental results of the sensing and the navigation system conclude this work.

In order to improve the comfort of power wheelchair users, it is proposed in this dissertation the implementation of a position and orientation control system which allow the users to travel the desired trajectories safely, without the need for constant interaction with the device command system. To reach this objective, it is proposed a methodology for the implementation of a control system, able to drive the vehicle from an initial position to the desired one or make it follow a specified trajectory, from commands received in the system. The proposed control system is based on a cascade control law, composed by a nonlinear pose controller and a velocity tracking controller. Two velocity control strategies are proposed. The first one uses a velocity controller composed of two joint-independent Proportional-Integral controllers while the second one uses a velocity controller based on the dynamic model, which is linearized by a state-feedback. The methods are implemented using the ros_control package, provided by the framework Robot Operating System (ROS). The evaluation of the proposed methods is done with a differential-drive mobile robot, which has the same kinematic configuration as the majority of commercial power wheelchairs. The results of dynamic-model parameter identification, as well as the convergence of the controlled variables by using the proposed control methods, are presented. The results demonstrate that the methods achieve the proposed control objectives.

Cette thèse étudie les mécanismes de sélection de l'action et de choix de stratégie tels qu'ils apparaissent à travers des expériences animales et des enregistrements neurobiologiques. Nous proposons ensuite des modèles biologiquement plausibles de la sélection de l'action. L'objectif est de mieux comprendre le fonctionnement du cerveau chez les êtres vivants et de pouvoir endéduire des architectures de contrôle bio-inspirées, plus robustes et adaptées à l'environnement. Les modèles étudiés sont réalisés avec des réseaux de neurones artificiels, permettant de modéliser des régions cérébrales et ainsi pouvoir simuler le fonctionnement du cerveau, ce qui permet de tester nos hypothèses sur des robots et des agents virtuels.L'étude de la sélection de l'action pour des robots mobiles implique plusieurs approches. La sélection de l'action peut être étudiée du point de vue du choix entre plusieurs actions basiques, e.g. un choix binaire aller à gauche ou à droite. Ceci passe forcément par l'acquisition et la catégorisation d'instants et d'événements spéciaux, perçus ou effectués, qui représentent des contextes dans lesquels la perception change, le comportement est modifié ou bien la sélection est réalisée. Ainsi, la thèse traite aussi de l'acquisition, la catégorisation et l'encodage de ces événements importants dans la sélection del'action.Enfin, on s'intéressera à la sélection de l'action du point de vue de la sélection de stratégie. Les différents comportements peuvent être dirigés consciemment ou bien être des automatismes acquis avec l'habitude. Le but ici est d'explorer différentes approches pour que le robot puisse développer ces deux capacités, mais aussi d'étudier les interactions entre ces types de mécanismes dans la cadre de tâches de navigation.Les travaux de cette thèse se basent sur la modélisation du fonctionnement de différentes boucles hippocampo-cortico-basales impliquées dans des tâches de navigation, de sélection de l'action et de catégorisations multimodales. En particulier, nous avons un modèle de l'hippocampe permettant d'apprendre des associations spatio-temporelles et des conditionnements multimodaux entre des événements perceptifs. Il se base sur des associations sensorimotrices entre des cellules appelées cellules de lieu qui sont associées avec des actions pour définir des comportements cohérents. Le modèle fait aussi intervenir des cellules de transition hippocampiques, permettant de faire des prédictions temporelles sur les événements futurs. Celles-ci permettent l'apprentissagede séquences spatio-temporelles, notamment du fait qu'elles représentent le substrat neuronal à l'apprentissage d'une carte cognitive, située elle au niveau du cortex préfrontal et/ou pariétal.Ce type de carte permet de planifier des chemins à suivre en fonction des motivations du robot, ce qui permet de rejoindre différents buts précédemment découverts dans l'environnement. / This thesis aims at studying the different mechanisms involved in action selection and decision making processes, according to animal experiments and neurobiological recordings. For that matter, we propose several biologically plausible models for action selection. The goal is to achieve a better understanding of the animal's brain functions. This gives us the opportunity todevelop bioinspired control architectures for robots that are more robust and adaptative to a real environement. These models are based on Artificial Neural Networks, allowing us to test our hypotheses on simulations of different brain regions and function, implemented on robots and virtual agents.Action selection for mobile robots can be approached from different angles. This process can be seen as the selection between two possibilities, e.g. go left or go right. Those mechanisms involve the ability to learn and categorize specific events, encoding contexts where a change in the perception is perceived, a change in the behavior is noticed or the decision is made. There-fore, this thesis studies those capacities of acquisition, categorisation and coding of different events that can be relevant for action selection.We also, approach the action selection as a strategy selection. The different behaviors are guided consciously or through automated behavior learned as habits. We investigate different possibilities allowing a robot to develop those capacities. Also, we aim at studying interactions that can emerge between those mechanisms during navigational behaviors.The work presented in this these is based on the modelisation of the hippocampo-cotico-basal loops involved in the navigational behaviors, the action selection and the multimodal categorisation of events. We base our models on a previous model of the hippocampus for the learning of spatio-temporal associations and for multimodal conditionning of perceptive events. It is based on sensorimotor associations between place cells and actions to achieve navigational behaviors. The model involves also a specific type of hippocampic cells, named transition cells, for temporal prediction of future events. This capacity allows the model to learn spatio-temporal sequences, and it represents the neural substrate for the learning of a cognitive map, hypothesised to be localized in prefrontal and/or parietal areas. This kind of topological map allows to plan the behavior of the robot according to its motivations, which is used in goal orientedexperiments to achieve goals and capture rewards.

Os robôs móveis e de serviço vêm assumindo um papel cada vez mais amplo e importante junto à sociedade moderna. Um tipo importante de robô móvel autônomo são os robôs voltados para a vigilância e segurança em ambientes internos (indoor). Estes robôs móveis de vigilância permitem a execução de tarefas repetitivas de monitoramento de ambientes, as quais podem inclusive apresentar riscos à integridade física das pessoas, podendo assim ser executadas de modo autônomo e seguro pelo robô. Este trabalho teve por objetivo o desenvolvimento dos principais módulos que compõem a arquitetura de um sistema robótico de vigilância, que incluem notadamente: (i) a aplicação de sensores com percepção 3D (Kinect) e térmica (Câmera FLIR), de relativo baixo custo, junto a este sistema robótico; (ii) a detecção de intrusos (pessoas) através do uso conjunto dos sensores 3D e térmico; (iii) a navegação de robôs móveis autônomos com detecção e desvio de obstáculos, para a execução de tarefas de monitoramento e vigilância de ambientes internos; (iv) a identificação e reconhecimento de elementos do ambiente que permitem ao robô realizar uma navegação baseada em mapas topológicos. Foram utilizados métodos de visão computacional, processamento de imagens e inteligência computacional para a realização das tarefas de vigilância. O sensor de distância Kinect foi utilizado na percepção do sistema robótico, permitindo a navegação, desvio de obstáculos, e a identificação da posição do robô em relação a um mapa topológico utilizado. Para a tarefa de detecção de pessoas no ambiente foram utilizados os sensores Kinect e câmera térmica FLIR, integrando os dados fornecidos por ambos sensores, e assim, permitindo obter uma melhor percepção do ambiente e também permitindo uma maior confiabilidade na detecção de pessoas. Como principal resultado deste trabalho foi desenvolvido um iii sistema, capaz de navegar com o uso de um mapa topológico global, capaz de se deslocar em um ambiente interno evitando colisões, e capaz de detectar a presença de seres humanos (intrusos) no ambiente. O sistema proposto foi testado em situações reais com o uso de um robô móvel Pioneer P3AT equipado com os sensores Kinect e com uma Câmera FLIR, realizando as tarefas de navegação definidas com sucesso. Outras funcionalidades foram implementadas, como o acompanhamento da pessoa (follow me) e o reconhecimento de comandos gestuais, onde a integração destes módulos com o sistema desenvolvido constituem-se de trabalhos futuros propostos / Mobile robots and service robots are increasing their applications and importance in our modern society. An important type of autonomous mobile robot application is indoor monitoring and surveillance tasks. The adoption of mobile robots for indoor surveillance tasks allows the execution of repetitive environment patrolling, which may even pose risks to the physical integrity of persons. Thus these activities can be autonomously and safely performed by security robots. This work aimed at the development of key modules and components that integrates the general architecture of a surveillance robotic system, including: (i) the development and application of a 3D perception sensor (Kinect) and a thermal sensor (FLIR camera), representing a relatively low-cost solution for mobile robot platforms; (ii) the intruder detection (people) in the environment, through the joint use of 3D and thermal sensors; (iii) the autonomous navigation of mobile robots within obstacle detection and avoidance, performing the monitoring and surveillance tasks of indoor environments; (iv) the identification and recognition of environmental features that allow the robot to perform a navigation based on topological maps. We used methods from Computer Vision, Image Processing and Computational Intelligence to carry out the implementation of the mobile robot surveillance modules. The proximity and distance measurement sensor adopted in the robotic perception system was the Kinect, allowing navigation, obstacle avoidance, and identifying key positions of the robot with respect to a topological map. For the intruder detection task we used a Kinect sensor together with a FLIR thermal camera, integrating the data obtained from both sensors, and thus allowing a better understanding of the environment, and also allowing a greater reliability in people detection. As a main result of this work, it has been v developed a system capable of navigating using a global topological map, capable of moving itself autonomously into an indoor environment avoiding collisions, and capable of detect the presence of humans (intruders) into the environment. The proposed system has been tested in real situations with the use of a Pioneer P3AT mobile robot equipped with Kinect and FLIR camera sensors, performing successfully the defined navigation tasks. Other features have also been implemented, such as following a person and recognizing gestures, proposed as future works to be integrated into the developed system

O mapeamento de ambientes é um dos maiores desafios para pesquisadores na área de navegação autônoma. As técnicas existentes estão divididas em dois importantes paradigmas, o mapeamento métrico e o topológico. Diversos métodos de mapeamento que combinam as vantagens de cada um desses paradigmas têm sido propostos. Este projeto consiste na adaptação e extensão de um sistema integrado para navegação autônoma de robôs móveis através do aperfeiçoamento da interface e também da incorporação de uma técnica de mapeamento topológico. Para isso, a técnica conhecida como Grade de Ocupação, utilizada em geral para mapeamento métrico é combinada com um método de esqueletização de imagens para a realização do mapeamento topológico. Além disso, transformações morfológicas de erosão e abertura, adequadas a ambientes reais, foram utilizadas, visando reduzir a influência de ruídos na abordagem proposta, uma vez que devido a ruídos inerentes as leituras sensoriais obtidas pelo robô, o mapa topológico gerado apresenta diversas linhas topológicas desnecessárias, dificultando consequentemente a tarefa de navegação autônoma. Vários experimentos foram executados para verificar a eficiência da combinação de técnicas proposta, tanto em nível de simulação quanto em um robô real. Os resultados obtidos demonstraram que a técnica de esqueletização de imagens combinada ao mapeamento métrico do ambiente é uma forma simples e viável de se obter as linhas topológicas do espaço livre do ambiente. A aplicação das transformações morfológicas demonstrou ser eficiente para a criação de mapas topológicos livres de ruído, uma vez que elimina grande parte das linhas topológicas geradas em conseqüência dos ruídos dos sensores do robô / Environment mapping has been a great challenge for many researchers in the autonomous navigation area. There are two important paradigms for mapping, metric and topological mapping. Several mapping methods that combine the advantages of each paradigm have been proposed. This project consists to the adaptation and extension of a mobile robots autonomous navigation integrated system by improving the interface and incorporation of a topological mapping technique. For this, the technique known as Occupation Grid for metric mapping is combined with an image skeletonization method used for topological mapping. This work also aims to propose a set of morphology transformations to generation of topological maps suitable for real environments, seeking to reduce influence of noise in performed mapping. The topological map generated through this combination presents several unnecessary topological lines, due noise inherent to the own robot ability of capturing sensor signals, hindering consequently the task of autonomous navigation. Several experiments have been performed to verify the efficiency of the proposed approach. The results obtained demonstrate that image skeletonization technique combined with the metric mapping is a simple and feasible method for obtaining the topological lines corresponding to free space of the environment. The application of the morphology transformations demonstrated to be a useful method to the creation of topological maps considerably less noise, since it eliminates most of the topological lines generated in consequence of noise in the sensors

Nos últimos anos, a área de robôs aéreos vêm se tornando cada vez mais importantes no dia-a-dia, em diversos usos, em que se pode destacar: segurança pública e particular, agricultura de precisão, registro fotográfico de eventos, serviços de entregas e apoio a diversas outras áreas, como monitoramento ambiental.Para que tais robôs aéreos possam cumprir suas mais variadas tarefas, faz-se necessária uma etapa de planejamento de movimento, que consiste em encontrar um caminho factível entre a postura atual e uma postura final (também chamada de postura alvo ou meta) do robô aéreo. Neste trabalho, a tarefa de planejamento de movimento é abordada para o caso tridimensional em ambientes dinâmicos, nos quais não se assume que todos os obstáculos permanecerão fixos ao longo do trajeto. Derivado da Teoria de Campos Potenciais Harmônicos, os Campos Potenciais Modificados (CPM) permitem a distorção do campo potencial favorecendo uma direção específica de chegada a postura meta. Tais CPM resultam em um planejador de movimentos para ambientes dinâmicos e multidimensionais, em especial, o caso tridimensional. / In recent years, aerial robots have become increasingly important in day-to-day situations, in several uses, in which we can highlight: public and private security, precision agriculture, photographic record of events, delivery and support to several other areas, such as environmental monitoring. In order for aerial robots perform their broad range of tasks, a motion planning step is necessary. Motion planning consists in finding a feasible path between the current posture and a final posture (also called target posture or goal) of a robot. In this work, the task of motion planning is approached in three-dimensional and dynamic environments, in which it is not assumed that all the obstacles will remain fixed along the trajectory. Derived from Harmonic Potential Field Theory, Modified Potential Fields (MPF) allows a controlled distortion of the potential field, as an example, towards a specific direction of arrival to the target posture. Such MPF results in a motion planner for dynamic and multidimensional environments, especially the three-dimensional case.

A fast simulated annealing algorithm is developed for automatic object recognition. The normalized correlation coefficient is used as a measure of the match between a hypothesized object and an image. Templates are generated on-line during the search by transforming model images. Simulated annealing reduces the search time by orders of magnitude with respect to an exhaustive search. The algorithm is applied to the problem of how landmarks, for example, traffic signs, can be recognized by an autonomous vehicle or a navigating robot. The algorithm works well in noisy, real-world images of complicated scenes for model images with high information content.