A integração de sistemas de Visão Computacional com a Robótica Móvel é um campo de grande interesse na pesquisa. Este trabalho demonstra um método de localização global para Robôs Móveis Autônomos baseado na criação de uma memória visual, através da detecção e descrição de pontos de referência de imagens capturadas, com o método SURF, associados a dados de odometria, em um ambiente interno. O procedimento proposto, associado com conhecimento específico sobre o ambiente, permite que a localização seja obtida posteriormente pelo pareamento entre quadros memorizados e a cena atual observada pelo robô. Experimentos são conduzidos para mostrar a efetividade do método na localização robótica. Aprimoramentos para situações difíceis como travessia de portas são apresentados. Os resultados são analisados, e alternativas para navegação e possíveis futuros refinamentos discutidos / Integration of Computer Vision and Mobile Robotics systems is a field of great interest in research. This work demonstrates a method of global localization for Autonomous Mobile Robots based on the creation of a visual memory map, through detection and description of reference points from captured images, using the SURF method, associated to odometer data in a specific environment. The proposed procedure, coupled with specific knowledge of the environment, allows for localization to be achieved at a later stage through pairing of these memorized features with the scene being observed in real time. Experiments are conducted to show the effectiveness of the method for the localization of mobile robots in indoor environments. Improvements aimed at difficult situations such as traversing doors are presented. Results are analyzed and navigation alternatives and possible future refinements are discussed

Esta tese tem por objetivo estudar a precisão de uma nova estrutura robótica para operações de fresamento, em substituição às convencionais maquinas-ferramentas seriais, especialmente as fresadoras e os centros de usinagem CNC. A estrutura proposta está baseada no conceito da cinemática paralela, tendo a análise da precisão sido realizada em função do mapeamento dos erros de posicionamento da ferramenta de corte dentro do espaço de trabalho disponível, durante operação de fresamento de acabamento, aplicando modelagem matemática. A motivação está na busca por altos desempenhos e as estruturas robóticas paralelas possuem diversas vantagens perante as estruturas seriais: construção modular, massa reduzida, altas velocidades/acelerações. Por outro lado, há ainda problemas a serem solucionados, como: garantia da precisão, otimização do espaço de trabalho e redução/eliminação de singularidades. A metodologia aplicada no desenvolvimento deste trabalho compreende quatro etapas: a proposta de uma nova estrutura robótica desenvolvida a partir de métodos de síntese existentes; o desenvolvimento de modelos matemáticos para caracterizar o seu comportamento cinemático; a identificação das fontes de erro que influenciam no desvio de posição da ferramenta; a elaboração de modelos matemáticos e algorítmos computacionais para analisar o grau de influência de cada fonte de erro identificada. Desenvolvemos uma estrutura robótica de topologia assimétrica 2UPS+PRP, com as seguintes características: mobilidade 3 com três translações no espaço, reduzido número de componentes e movimento na direção z independente dos movimentos nas direções x e y. Apresentamos os algoritmos computacionais para mapear os erros cinemáticos, geométricos e elásticos através da discretização do espaço de trabalho disponível, baseado nas matrizes Jacobianas e no princípio do trabalho virtual. Com relação aos mapeamentos dos desvios de posição da ferramenta obtidos, chegamos a algumas conclusões. Os maiores erros cinemáticos ocorreram quando as imprecisões impostas aos dois membros motores laterais tinham sinais contrários. Os erros geométricos com tolerâncias dimensionais na classe de trabalho IT5, foram os mais relevantes dentre os erros considerados. Os erros elásticos, considerando forças de usinagem de acabamento, foram os menos relevantes entre os erros considerados, sendo expressiva a influência da rigidez das juntas universais e esféricas. A utilização do princípio do trabalho virtual, com parâmetros de rigidez concentrados, mostrou ser eficaz e eficiente, comparado ao SMA (análise da matriz estrutural) e ao FEM (método dos elementos finitos), devido ao menor trabalho para o desenvolvimento da sua formulação e ao tempo computacional reduzido para o seu processamento. / This thesis has the purpose to study the precision of a new robotic structure for milling operations, in substitution to the conventional serial machine-tools, specialy the CNC milling machines and cutting centers. The proposed structure is based on the parallel kinematics concept and the precision analysis was realized, applying mathematical models, to obtain the positioning errors mapping of the cutting tool in the available workspace, during finishing milling operations. The motivation is on the search higher performances and the parallel robotic structures have several advantages to the serial structures: modular construction, lightness, high velocities/acelerations. Otherwise, there are still problems to be solved, like: guaranty of precision, workspace optimization and reduction/elimination of singularities. The methodology applied for the development of this work involves four steps: the proposal of a new robotic structure developed using existing synthesis methods; the development of mathematical models to characterize its kinematic behavior; the error sources identification that influences the deviation of the tool position; the elaboration of mathematical models and computer algorithms to analyse the influence level of each identified error source. We developed one assymmetric robotic structure 2UPS+PRP, with the following characteristics: mobility 3 with three translations in the space, reduced number of componentes and displacement in z direction independent from the displacents in the x and y directions. We presented the computer algorithms to map the kinematic, geometric and elastic errors, throw the discretization of the available workspace, based on the Jacobian matrices and the virtual work principle. With regard to the tool position deviation mappings obtained, we reach to some conclusions. The major kinematic errors occurred when the imprecisions imposed to the two lateral actuatores had opposed signals. The geometric errors with dimensional tolerances in the IT5 work class, were the more relevant among the considered errors. The elastic errors, considering finishing manufacturing forces, were the less relevent among the considered errors, being expressive the influence of the rigidity of the universal and spherical jounts. The utilization of the virtual work principle and concentrated rigidity parameters, showed to be efficacious and efficient, compared to the SMA (astructural matrice analisis) and the FEM (finite elements methode), because of the minor work to develop its formulations end the reduced computer time to its prosecution.

Este trabalho apresenta o desenvolvimento de um ambiente de estudos para Telereabilitação Robótica utilizando jogos cooperativos desenvolvidos com o ambiente de desenvolvimento Unity e comunicação via sockets baseados em TCP/IP. Para tanto, fez-se necessário a implementação de um programa de controle de comunicação, um jogo e um sistema robótico. A fim de estudar este ambiente, foram implementados três métodos de comunicação entre o sistema robótico e o jogo, de acordo com a literatura. Os métodos são: Controle Teleoperado Direto (PD Simétrico), Controle Teleoperado por Variáveis de Ondas e Controle Teleoperado através de Ambiente Virtual. Para realizar a avaliação destes métodos foram implementados quatro simulações de atraso de comunicação, onde os seguintes parâmetros foram avaliados: estabilidade das mensagens enviadas e recebidas, sincronismos dos motores do sistema robótico e seus parâmetros (torque e velocidade) e sincronismo do sistema robótico com o ambiente lúdico (jogo). As situações de atraso criadas foram de: 1 milissegundo, 300 milissegundos, 600 milissegundos e 900 milissegundos. Todos os métodos implementados se mostraram suscetíveis a altos índices de atraso (especialmente ao testarmos atrasos artificiais de 600 e 900 milissegundos). O método que apresentou menores falhas foi o de controle de variáveis de ondas. / This dissertation presents the development of an study environment for telerehabilitation robotics using cooperative games developed with Unity (Game Engine) and communication with sockets based on TCP/IP protocol. For this purpose, it was necessary to implement a control program of communication, one game and a robotic system. To study this environment, three methods of communication between the robotic system and the game according to the literature were implemented. These methods are: Direct Teleoperated Control (symmetrical PD), Teleoperated Control for Wave Variables and Teleoperated Control through Virtual Environment. In order to evaluate these methods were implemented four simulations delay of communication, where the following parameters were evaluated: stability of messages sent and received, timings of the motors of the robotic system and its parameters (torque and speed) and timing of the robotic system with playful environment (game). The delay simulations were created: 1 millisecond, 300 milliseconds, 600 milliseconds and 900 milliseconds. All implemented methods proved susceptible to high rates of delay (especially when we test artificial delays of 600 and 900 milliseconds). The method presented minor flaws was the Teleoperated Control for Wave Variables.

Um componente fundamental no sistema de um robô móvel consiste na habilidade de localizar-se acuradamente, o que envolve estimar sua postura em relação a uma representação global do espaço. A especificação geral de uma abordagem de localização baseada em dados sensoriais possui uma estimativa inicial da postura do robô e usa os dados coletados pelos sensores, em conjunto com um mapa do ambiente, para produzir uma estimativa mais precisa da postura, que oferece um valor de maior confiança em relação à postura real do robô. Uma dificuldade é que os dados sensoriais são corrompidos por erros de medidas derivados de diversas fontes, como ruídos, quantização, dispositivos de digitalização, deslizamentos do robô, entre outras. Sensores distintos medem diferentes propriedades físicas, corrompidas por diversos erros de medida. O uso de dados oriundos de vários sensores fornece informação redundante e complementar, que pode ser processada para derivar uma estimativa combinada com o objetivo de aumentar a confiança na estimativa final da postura. Nesta dissertação é proposto ELViS, um sistema que estima a localização de um robô móvel equipado com odômetros, uma câmera de vídeo e um semi-anel frontal de 8 sonares, o qual opera, com sucesso, em um ambiente interno, estruturado e estático. Assume-se que o robô navega sobre uma superfície plana e que diversos segmentos de retas possam ser identificados nas imagens do ambiente. Para aumentar a seletividade dos marcos visuais e diminuir a complexidade computacional no processamento e correspondência dos dados com os modelos, elementos do ambiente são representados por modelos minimalistas, possibilitando o uso do ELViS em um grande número de aplicações onde o custo ou tempo de execução sejam fatores limitantes. ELViS foi implementado e testado utilizando dois estimadores baseados em Filtro de Kalman. Os resultados, obtidos com robôs reais e em simulações, indicam direções bastante promissoras. / A key component of a mobile robot system is the ability to localize itself accurately, which involves estimating its pose with respect to some global representation of space. The general specification of a sensor-based localization approach starts with an initial estimate of the robot\'s pose and uses sensor data in conjunction with a map to produce a refined pose estimate that has an increased confidence about the true pose of the robot. One of the main difficulties is that sensor data is corrupted by measurement errors. These errors can arise from noise, quantization, digitalization artifacts, wheel slippage, and other such sources. Different sensors measure different physical properties, which are corrupted by different sources of measurement errors. The use of data from multiple sensors provides redundant and complementary information that can be processed to obtain a combined estimate aiming at an increase in the confidence of the final pose estimate. In this work we propose ELViS, a system that estimates the localization of a mobile robot equipped with odometers, a video camera and a frontal semi-ring of 8 sonar sensors, and that operates successfully in stationary and structured indoor environments. It is assumed that the robot navigates on flat surfaces and that straight lines can be identified in the environment image acquired by the camera. To increase selectivity of the landmarks and reduce computational complexity in data processing and matching to the map, environment features are represented using minimalist models in the map. This allows the use of ELViS in a large number of applications where tight budget or execution time constraints exist. ELViS has been implemented and tested using two estimators based on the Kalman Filter. The results, obtained with the real robots and in series of simulation runs, indicate promising directions.

A principal forma de transporte de petróleo e derivados, entre outras substâncias, são os dutos, e um dos processos críticos relacionados é a sua inspeção periódica, que é necessária e obrigatória, de alto custo devido à sua complexidade, e que na maioria das vezes são realizadas manualmente, em procedimentos demorados, pouco confiáveis e insalubres devido ao meio e aos riscos a que o trabalhador é exposto. Este trabalho tem o objetivo de testar diversas aplicações e situações de um sistema de inspeção de dutos robótico desenvolvido. O interesse de observação foi a praticidade e facilidade de montagem e desmontagem do equipamento sobre a tubulação, a agilidade dos graus de liberdade propostos para o sistema, a flexibilidade do equipamento para utilização de diferentes métodos de inspeção, a rapidez e confiabilidade dos resultados de inspeção por ultrassom para varredura de espessuras em busca de corrosão generalizada interna de uma tubulação e a capacidade de precisão e resolução desta inspeção por ultrassom. Para abordar estes pontos, foram realizados uma série de testes, inicialmente para verificação do bom funcionamento dos graus de liberdade do sistema, e posteriormente com métodos diferenciados de inspeção, como testes para medição geométrica externa de uma tubulação, testes com sistemas de ultrassom embarcado em laboratório e em campo com diferentes malhas de inspeção e com um ou múltiplos cabeçotes, e para diferentes tubulações e formatos de redução de espessuras de parede na tubulação. / The main way for transporting petroleum and substances alike is through ducts, and one of the most critic processes involved is the periodic inspection, wich is necessary and mandatory, with a high cost due to its complexity, and, in most cases, done manually in long time consuming procedures and with little reliability and high risk for the workers involved. This work is intended to test various situations of a robotic inspection system developed. The observation interest was the practicity and easiness of assembling and disassembling the equipment on the pipes, the agility of degrees of freedom proposed for the system, the flexibility of the equipment for the use in different methods of inspection, the quickness and reliability of the results by ultrasound for scanning different thicknesses of a duct in search of "generalized internal corrosion" and the level of precision and resolution of this ultrasound scan. To approach this topics, a series of test were conducted, at first to check if the degrees of freedom of the system were working as intended and afterwards with different methods of inspection, such as external geometric measurements of the pipes, tests with onboard ultrasound systems in lab and on the field with different inspection grades and with one or multiple ultrasound sensors, and for different kinds of pipes and thickness reduction shapes of the pipe's walls.

Nos últimos anos, observamos o alvorecer de uma grande quantidade de aplicações que utilizam robôs autônomos. Para que um robô seja considerado verdadeiramente autônomo, é primordial que ele possua a capacidade de aprender sobre o ambiente no qual opera. Métodos de SLAM (Localização e Mapeamento Simultâneos) constroem um mapa do ambiente por onde o robô trafega ao mesmo tempo em que estimam a trajetória correta do robô. No entanto, para obter um mapa completo do ambiente de forma autônoma é preciso guiar o robô por todo o ambiente, o que é feito no problema de exploração. Câmeras são sensores baratos que podem ser utilizadas para a construção de mapas 3D. Porém, o problema de exploração em mapas gerados por métodos de SLAM monocular, i.e. que extraem informações de uma única câmera, ainda é um problema em aberto, pois tais métodos geram mapas esparsos ou semi-densos, que são inadequados para navegação e exploração. Para tal situação, é necessário desenvolver métodos de exploração capazes de lidar com a limitação das câmeras e com a falta de informação nos mapas gerados por SLAMs monoculares. Propõe-se uma estratégia de exploração que utilize mapas volumétricos locais, gerados através das linhas de visão, permitindo que o robô navegue em segurança. Nestes mapas locais, são definidos objetivos que levem o robô a explorar o ambiente desviando de obstáculos. A abordagem proposta visa responder a questão fundamental em exploração: "Para onde ir?". Além disso, busca determinar corretamente quando o ambiente está suficientemente explorado e a exploração deve parar. A abordagem proposta é avaliada através de experimentos em um ambiente simples (i.e. apenas uma sala) e em um ambiente compostos por diversas salas. / In recent years, we have seen the dawn of a large number of applications that use autonomous robots. For a robot to be considered truly autonomous, it is primordial that it has the ability to learn about the environment in which it operates. SLAM (Simultaneous Location and Mapping) methods build a map of the environment while estimating the robot’s correct trajectory. However, to autonomously obtain a complete map of the environment, it is necessary to guide the robot throughout the environment, which is done in the exploration problem. Cameras are inexpensive sensors that can be used for building 3D maps. However, the exploration problem in maps generated by monocular SLAM methods (i.e. that extract information from a single camera) is still an open problem, since such methods generate sparse or semi-dense maps that are ill-suitable for navigation and exploration. For such a situation, it is necessary to develop exploration methods capable of dealing with the limitation of the cameras and the lack of information in the maps generated by monocular SLAMs. We proposes an exploration strategy that uses local volumetric maps, generated using the lines of sight, allowing the robot to safely navigate. In these local maps, objectives are defined to lead the robot to explore the environment while avoiding obstacles. The proposed approach aims to answer the fundamental question in exploration: "Where to go?". In addition, it seeks to determine correctly when the environment is sufficiently explored and the exploration must stop. The effectiveness of the proposed approach is evaluated in experiments on single and multi-room environments.

Um componente fundamental no sistema de um robô móvel consiste na habilidade de localizar-se acuradamente, o que envolve estimar sua postura em relação a uma representação global do espaço. A especificação geral de uma abordagem de localização baseada em dados sensoriais possui uma estimativa inicial da postura do robô e usa os dados coletados pelos sensores, em conjunto com um mapa do ambiente, para produzir uma estimativa mais precisa da postura, que oferece um valor de maior confiança em relação à postura real do robô. Uma dificuldade é que os dados sensoriais são corrompidos por erros de medidas derivados de diversas fontes, como ruídos, quantização, dispositivos de digitalização, deslizamentos do robô, entre outras. Sensores distintos medem diferentes propriedades físicas, corrompidas por diversos erros de medida. O uso de dados oriundos de vários sensores fornece informação redundante e complementar, que pode ser processada para derivar uma estimativa combinada com o objetivo de aumentar a confiança na estimativa final da postura. Nesta dissertação é proposto ELViS, um sistema que estima a localização de um robô móvel equipado com odômetros, uma câmera de vídeo e um semi-anel frontal de 8 sonares, o qual opera, com sucesso, em um ambiente interno, estruturado e estático. Assume-se que o robô navega sobre uma superfície plana e que diversos segmentos de retas possam ser identificados nas imagens do ambiente. Para aumentar a seletividade dos marcos visuais e diminuir a complexidade computacional no processamento e correspondência dos dados com os modelos, elementos do ambiente são representados por modelos minimalistas, possibilitando o uso do ELViS em um grande número de aplicações onde o custo ou tempo de execução sejam fatores limitantes. ELViS foi implementado e testado utilizando dois estimadores baseados em Filtro de Kalman. Os resultados, obtidos com robôs reais e em simulações, indicam direções bastante promissoras. / A key component of a mobile robot system is the ability to localize itself accurately, which involves estimating its pose with respect to some global representation of space. The general specification of a sensor-based localization approach starts with an initial estimate of the robot\'s pose and uses sensor data in conjunction with a map to produce a refined pose estimate that has an increased confidence about the true pose of the robot. One of the main difficulties is that sensor data is corrupted by measurement errors. These errors can arise from noise, quantization, digitalization artifacts, wheel slippage, and other such sources. Different sensors measure different physical properties, which are corrupted by different sources of measurement errors. The use of data from multiple sensors provides redundant and complementary information that can be processed to obtain a combined estimate aiming at an increase in the confidence of the final pose estimate. In this work we propose ELViS, a system that estimates the localization of a mobile robot equipped with odometers, a video camera and a frontal semi-ring of 8 sonar sensors, and that operates successfully in stationary and structured indoor environments. It is assumed that the robot navigates on flat surfaces and that straight lines can be identified in the environment image acquired by the camera. To increase selectivity of the landmarks and reduce computational complexity in data processing and matching to the map, environment features are represented using minimalist models in the map. This allows the use of ELViS in a large number of applications where tight budget or execution time constraints exist. ELViS has been implemented and tested using two estimators based on the Kalman Filter. The results, obtained with the real robots and in series of simulation runs, indicate promising directions.

En los últimos años, la solución al problema del SLAM (Simultaneous Localization and Mapping, Localización y Mapeado Simultáneo) ha sido ampliamente tratado ya que es una de las tareas más importantes dentro del campo de la robótica móvil. El SLAM consiste en crear el mapa del entorno desconocido por el cual el robot se está moviendo y, al mismo tiempo, localizar a dicho robot dentro del mapa. La gran mayoría de las soluciones aportadas por la literatura actual permiten el uso de cualquier sensor que capture información del entorno. A pesar de no ofrecer la misma precisión que un láser 3D, las cámaras están siendo cada vez más utilizadas para la resolución de problemas de SLAM y navegación además, se está produciendo un auge en el uso de cámaras omnidireccionales (cámaras que capturan imágenes de 360#) ya que la información capturada (conocida como características visuales) es mucho mayor que la que ofrece una cámara normal. Aunque se puede utilizar visión para resolver el SLAM de tipo métrico (construye mapas donde se conoce la posición exacta de los obstáculos y del robot), las soluciones que utilizan visión para resolver el SLAM topológico son más comunes. El SLAM topológico se basa en la construcción del mapa de forma similar a la forma en que los humanos nos orientamos en nuestro entorno. En el SLAM topológico se construyen mapas topológicos que representan el entorno como una serie de puntos (zonas, regiones, localizaciones) donde es posible encontrar al robot y almacenan las relaciones de vecindad entre los distintos puntos del mapa, es decir, permite conocer cómo llegar de un punto a otro del entorno. En esta tesis proponemos el uso de imágenes omnidireccionales para resolver el problema del mapeado y la localización topológica a partir de dos aproximaciones distintas: la primera desde una perspectiva incremental y no supervisada y la segunda des del enfoque del aprendizaje supervisado. El primer método que proponemos es un algoritmo de localización y mapeado topológico incremental y no supervisado basado en información viii visual. El mapa creado por dicho algoritmo es un grafo donde los puntos (zonas) del entorno se representan por nodos y las relaciones de vecindad son las aristas del grafo. Puesto que el algoritmo utiliza imágenes omnidireccionales, los nodos agrupan todas aquellas imágenes que describen la misma escena y, por tanto, comparten características visuales parecidas. Así, para la construcción de mapas topológicos con información visual, el algoritmo de mapeado topológico necesita resolver en primer lugar el problema de reconocimiento de escenas o cierre de ciclo. Nuestro algoritmo de comparación de imágenes se basa en la estructura local que forman las características visuales para establecer cuáles son los emparejamientos de características válidos. Para eliminar los falsos positivos que aparecen al emparejar las características individualmente, planteamos la utilización de grafos como estructuras que proporcionan información útil sobre las relaciones de vecindad de las características o puntos invariantes. De este modo comprobamos la consistencia no solamente de un único emparejamiento, sino la de un conjunto de características que tienen algún tipo de relación. El segundo método propuesto es un algoritmo de aprendizaje supervisado que selecciona las mejores características que describen a cada nodo y un algoritmo de localización basado en el mapa topológico aprendido. En los mapas topológicos cada nodo está compuesto por varias imágenes que describen una zona del entorno. La selección de una única imagen para definir el nodo puede no ser suficiente para describirlo en su totalidad, mientras que el uso de todas las imágenes puede consumir un tiempo prohibitivo. Nuestro método de aprendizaje del mapa topológico selecciona las mejores características (entre todas las imágenes de cada nodo) que describen a los nodos. El algoritmo de localización utiliza las características seleccionadas para determinar cuál es el nodo del mapa al que pertenece la imagen capturada. Para conseguir los mejores resultados en los dos métodos propuestos, estudiaremos diferentes algoritmos de segmentación de la imagen en regiones además de los algoritmos de extracción de características visuales más utilizados en la literatura.

Tese de mestrado integrado. Engenharia Electrotécnica e de Computadores - Major Automação. Faculdade de Engenharia. Universidade do Porto. 2008

Dissertação apresentada para obtenção do grau de Mestre em Engenharia Electrotécnica e de Computadores (Área de Especialização de Sistemas), na Faculdade de Engenharia da Universidade do Porto, sob a orientação do Prof. Dr. José António Tenreiro Machado