Der vorliegende Beitrag stellt einen Entwurf für eine flexible und robuste Steuerungsarchitektur für Roboter- und Fertigungssysteme vor. Dabei wurde versucht ein offenes Konzept zu realisieren, welches einen vereinfachten Engineeringprozess ermöglicht. Hierzu wird innerhalb der Steuerung eine Trennung zwischen einem funktionellen verhaltensbasierten und einem ablauforientierten Modell vorgeschlagen. Dieser Ansatz wird durch die Verwendung von Aktionsprimitiven innerhalb einer hybriden Robotersteuerung ermöglicht. Diese garantieren durch ihre ausgeprägte Modularität eine hohe Flexibilität und Erweiterbarkeit des entstandenen Systems. Im Beitrag wird sowohl der entstandene Entwurf diskutiert als auch eine prototypische objektorientierte Implementierung vorgestellt sowie erste Ergebnisse präsentiert. / This paper presents a framework for a flexible and robust control architecture for robotic systems. The design incorporates an application independent system concept which allows a simplified engineering process. For this purpose a distinction between a functional behavioural and a sequential control system model is proposed. This approach is based on the utilisation of action primitives within a hybrid control architecture. The use of these primitives affords a high level of modularity through increasing flexibility and expandability of the resulting system. In this paper the proposed framework will be discussed as well as a prototypical object-oriented implementation and first results.

Aquesta tesi s'emmarca dins del projecte CICYT TAP 1999-0443-C05-01. L'objectiu d'aquest projecte és el disseny, implementació i avaluació de robots mòbils, amb un sistema de control distribuït, sistemes de sensorització i xarxa de comunicacions per realitzar tasques de vigilància. Els robots han de poder-se moure per un entorn reconeixent la posició i orientació dels diferents objectes que l'envolten. Aquesta informació ha de permetre al robot localitzar-se dins de l'entorn on es troba per poder-se moure evitant els possibles obstacles i dur a terme la tasca encomanada. El robot ha de generar un mapa dinàmic de l'entorn que serà utilitzat per localitzar la seva posició. L'objectiu principal d'aquest projecte és aconseguir que un robot explori i construeixi un mapa de l'entorn sense la necessitat de modificar el propi entorn. Aquesta tesi està enfocada en l'estudi de la geometria dels sistemes de visió estereoscòpics formats per dues càmeres amb l'objectiu d'obtenir informació geomètrica 3D de l'entorn d'un vehicle. Aquest objectiu tracta de l'estudi del modelatge i la calibració de càmeres i en la comprensió de la geometria epipolar. Aquesta geometria està continguda en el que s'anomena emph{matriu fonamental}. Cal realitzar un estudi del càlcul de la matriu fonamental d'un sistema estereoscòpic amb la finalitat de reduir el problema de la correspondència entre dos plans imatge. Un altre objectiu és estudiar els mètodes d'estimació del moviment basats en la geometria epipolar diferencial per tal de percebre el moviment del robot i obtenir-ne la posició. Els estudis de la geometria que envolta els sistemes de visió estereoscòpics ens permeten presentar un sistema de visió per computador muntat en un robot mòbil que navega en un entorn desconegut. El sistema fa que el robot sigui capaç de generar un mapa dinàmic de l'entorn a mesura que es desplaça i determinar quin ha estat el moviment del robot per tal de emph{localitzar-se} dins del mapa.La tesi presenta un estudi comparatiu dels mètodes de calibració de càmeres més utilitzats en les últimes dècades. Aquestes tècniques cobreixen un gran ventall dels mètodes de calibració clàssics. Aquest mètodes permeten estimar els paràmetres de la càmera a partir d'un conjunt de punts 3D i de les seves corresponents projeccions 2D en una imatge. Per tant, aquest estudi descriu un total de cinc tècniques de calibració diferents que inclouen la calibració implicita respecte l'explicita i calibració lineal respecte no lineal. Cal remarcar que s'ha fet un gran esforç en utilitzar la mateixa nomenclatura i s'ha estandaritzat la notació en totes les tècniques presentades. Aquesta és una de les dificultats principals a l'hora de poder comparar les tècniques de calibració ja què cada autor defineix diferents sistemes de coordenades i diferents conjunts de paràmetres. El lector és introduït a la calibració de càmeres amb la tècnica lineal i implícita proposada per Hall i amb la tècnica lineal i explicita proposada per Faugeras-Toscani. A continuació es passa a descriure el mètode a de Faugeras incloent el modelatge de la distorsió de les lents de forma radial. Seguidament es descriu el conegut mètode proposat per Tsai, i finalment es realitza una descripció detallada del mètode de calibració proposat per Weng. Tots els mètodes són comparats tant des del punt de vista de model de càmera utilitzat com de la precisió de la calibració. S'han implementat tots aquests mètodes i s'ha analitzat la precisió presentant resultats obtinguts tant utilitzant dades sintètiques com càmeres reals.Calibrant cada una de les càmeres del sistema estereoscòpic es poden establir un conjunt de restriccions geomètri ques entre les dues imatges. Aquestes relacions són el que s'anomena geometria epipolar i estan contingudes en la matriu fonamental. Coneixent la geometria epipolar es pot: simplificar el problema de la correspondència reduint l'espai de cerca a llarg d'una línia epipolar; estimar el moviment d'una càmera quan aquesta està muntada sobre un robot mòbil per realitzar tasques de seguiment o de navegació; reconstruir una escena per aplicacions d'inspecció, propotipatge o generació de motlles. La matriu fonamental s'estima a partir d'un conjunt de punts en una imatges i les seves correspondències en una segona imatge. La tesi presenta un estat de l'art de les tècniques d'estimació de la matriu fonamental. Comença pels mètode lineals com el dels set punts o el mètode dels vuit punts, passa pels mètodes iteratius com el mètode basat en el gradient o el CFNS, fins arribar las mètodes robustos com el M-Estimators, el LMedS o el RANSAC. En aquest treball es descriuen fins a 15 mètodes amb 19 implementacions diferents. Aquestes tècniques són comparades tant des del punt de vista algorísmic com des del punt de vista de la precisió que obtenen. Es presenten el resultats obtinguts tant amb imatges reals com amb imatges sintètiques amb diferents nivells de soroll i amb diferent quantitat de falses correspondències.Tradicionalment, l'estimació del moviment d'una càmera està basada en l'aplicació de la geometria epipolar entre cada dues imatges consecutives. No obstant el cas tradicional de la geometria epipolar té algunes limitacions en el cas d'una càmera situada en un robot mòbil. Les diferencies entre dues imatges consecutives són molt petites cosa que provoca inexactituds en el càlcul de matriu fonamental. A més cal resoldre el problema de la correspondència, aquest procés és molt costós en quant a temps de computació i no és gaire efectiu per aplicacions de temps real. En aquestes circumstàncies les tècniques d'estimació del moviment d'una càmera solen basar-se en el flux òptic i en la geometria epipolar diferencial. En la tesi es realitza un recull de totes aquestes tècniques degudament classificades. Aquests mètodes són descrits unificant la notació emprada i es remarquen lessemblances i les diferencies entre el cas discret i el cas diferencial de la geometria epipolar. Per tal de poder aplicar aquests mètodes a l'estimació de moviment d'un robot mòbil, aquest mètodes generals que estimen el moviment d'una càmera amb sis graus de llibertat, han estat adaptats al cas d'un robot mòbil que es desplaça en una superfície plana. Es presenten els resultats obtinguts tant amb el mètodes generals de sis graus de llibertat com amb els adaptats a un robot mòbil utilitzant dades sintètiques i seqüències d'imatges reals.Aquest tesi finalitza amb una proposta de sistema de localització i de construcció d'un mapa fent servir un sistema estereoscòpic situat en un robot mòbil. Diverses aplicacions de robòtica mòbil requereixen d'un sistema de localització amb l'objectiu de facilitar la navegació del vehicle i l'execució del les trajectòries planificades. La localització es sempre relativa al mapa de l'entorn on el robot s'està movent. La construcció de mapes en un entorn desconegut és una tasca important a realitzar per les futures generacions de robots mòbils. El sistema que es presenta realitza la localització i construeix el mapa de l'entorn de forma simultània. A la tesi es descriu el robot mòbil GRILL, que ha estat la plataforma de treball emprada per aquesta aplicació, amb el sistema de visió estereoscòpic que s'ha dissenyat i s'ha muntat en el robot. També es descriu tots el processos que intervenen en el sistema de localització i construcció del mapa. La implementació d'aquest processos ha estat possible gràcies als estudis realitzats i presentats prèviament (calibració de càmeres, estimació de la matriu fonamental, i estimació del moviment) sense els quals no s'hauria pogut plantejar aquest sistema. Finalment es presenten els mapes en diverses trajectòries realitzades pel robot GRILL en el laboratori.Les principals contribucions d'aquest treball són:·Un estat de l'art sobre mètodes de calibració de càmeres. El mètodes són comparats tan des del punt de vista del model de càmera utilitzat com de la precisió dels mètodes.·Un estudi dels mètodes d'estimació de la matriu fonamental. Totes les tècniques estudiades són classificades i descrites des d'un punt de vista algorísmic.·Un recull de les tècniques d'estimació del moviment d'una càmera centrat en el mètodes basat en la geometria epipolar diferencial. Aquestes tècniques han estat adaptades per tal d'estimar el moviment d'un robot mòbil.·Una aplicació de robòtica mòbil per tal de construir un mapa dinàmic de l'entorn i localitzar-se per mitja d'un sistema estereoscòpic. L'aplicació presentada es descriu tant des del punt de vista del maquinari com del programari que s'ha dissenyat i implementat. / Human eyes have been widely studied by the scientific community so that its operation principle is widely known. Computer vision tries to copy the way human beings perceive visual information by means of using cameras acting as eyeballs and computers aspiring to process this information in an --intelligent way". The complex task of being conscious of reality is obviously divided into a set of simpler problems which covers from image acquisition to scene description. One of the main applications is robot perception in which a mobile robot is equipped with a computer vision system. Robots may be able to navigate around an unknown structured environment acquiring visual information of their surroundings with the aim of estimating the position and orientation of every obstacle. Moreover, the pose of the vehicle has to be estimated as accurate as possible. Hence, the motion of the vehicle might be also computed allowing the localization of the vehicle with respect to the 3D map.This thesis is focused on the study of the geometry involved in stereo vision systems composed by two cameras with the aim of obtaining 3D geometric information of the vehicle surroundings. This objective deals to the study of camera modelling and calibration and the comprehension of the epipolar geometry. Then, the computation of the fundamental matrix of a stereoscopic system is surveyed with the aim of reducing the correspondence problem between both image planes. An accurate estimation of the fundamental matrix allows us not only to compute 3D information of the vehicle environments, but to validate it. Nevertheless, the traditional case of the epipolar geometry has some limitations in the common case of a single camera attached to a mobile robot. Disparities between two consecutive images are rather small at common image rates leading to numerical inaccuracies on the computation of the fundamental matrix. Then, another objective is the study of general vision-based egomotion estimation methods based on the differential epipolar constraint with the aim of perceiving the robot movement instead of its position. The study of the geometry involved in stereo vision systems leads us to present a computer vision system mounted on a vehicle which navigates in an unknown environment. Two main tasks are faced: a) the localization of the vehicle; and b) the building of an absolute 3D map. / El sistema de visión humano ha sido ampliamente estudiado por la comunidad científica de forma que su principio de funcionamiento es profundamente conocido. La Visión por Computador trata de copiar la forma que nosotros los humanos percibimos la información visual por medio del uso de cámaras actuando como ojos y un ordenador aspirando a procesar toda la información de "forma inteligente". La compleja tarea de ser consciente de la realidad es obviamente dividida en un conjunto de problemas mucho más simples, los cuales abarcan des de la adquisición de la imagen a la descripción de la escena. Una de las numerosas aplicaciones es la percepción por parte de un robot, donde un robot móvil es equipado con un sistema informático de visión por computador. Estos robots deben ser capaces de navegar a lo largo de un entorno estructurado desconocido mediante la adquisición de información visual de su alrededor, con el objetivo de estimar la posición y orientación de todos los obstáculos. Además, la posición del vehículo debe ser estimada de la forma más precisa posible. De esta forma, el movimiento del vehículo puede ser también calculado lo que permite la localización del vehículo con respeto al mapa 3D.Esta tesis profundiza en el estudio de la geometría existente en los sistemas de visión estéreo compuestos por dos cámaras con la intención de obtener información geométrica 3D del entorno del vehículo. Este objetivo lleva consigo la necesidad inicial de realizar un estudio de modelado de la cámara y calibración, y la compensación de la geometría epipolar. A continuación, el cálculo de la matriz fundamental de un sistema esteresocópico es analizado para reducir el problema de la correspondencia entre ambos planos de la imagen. Una estimación precisa de la matriz fundamental nos permite no solamente obtener la información 3D del entorno, sino también validar la misma. No obstante, la geometría epipolar tradicional sufre algunas limitaciones en el caso de una cámara montada en un robot móvil. La disparidad entre dos imágenes consecutivas es realmente mínima trabajando a velocidad estándar lo que conlleva a errores numéricos en el cálculo de la matriz fundamental. Por esta razón, otro objetivo es el estudio de los métodos de estimación del movimiento basados en la geometría epipolar diferencial con el objetivo de pervivir el movimiento del robot y su posición.El estudio de la geometría inmersa en los sistemas de visión estéreo nos lleva a presentar un sistema de visión por computador montado en un vehículo capaz de navegar en un entorno desconocido. Dos tareas básicas son consideradas: a) la localización del vehículo; y b) la construcción de un mapa 3D absoluto.

L'experiència de l'autor en la temàtica d'agents intel·ligents i la seva aplicació als robots que emulen el joc de futbol han donat el bagatge suficient per poder encetar i proposar la temàtica plantejada en aquesta tesi: com fer que un complicat robot pugui treure el màxim suc de l'autoconeixement de l'estructura de control inclosa al seu propi cos físic, i així poder cooperar millor amb d'altres agents per optimitzar el rendiment a l'hora de resoldre problemes de cooperació. Per resoldre aquesta qüestió es proposa incorporar la dinàmica del cos físic en les decisions cooperatives dels agents físics unificant els móns de l'automàtica, la robòtica i la intel·ligència artificial a través de la noció de capacitat: la capacitat vista com a entitat on els enginyers de control dipositen el seu coneixement, i a la vegada la capacitat vista com la utilitat on un agent hi diposita el seu autoconeixement del seu cos físic que ha obtingut per introspecció. En aquesta tesi es presenta l'arquitectura DPAA que s'organitza seguint una jerarquia vertical en tres nivells d'abstracció o mòduls control, supervisor i agent, els quals presenten una estructura interna homogènia que facilita les tasques de disseny de l'agent. Aquests mòduls disposen d'un conjunt específic de capacitats que els permeten avaluar com seran les accions que s'executaran en un futur. En concret, al mòdul de control (baix nivell d'abstracció) les capacitats consisteixen en paràmetres que descriuen el comportament dinàmic i estàtic que resulta d'executar un controlador determinat, és a dir, encapsulen el coneixement de l'enginyer de control. Així, a través dels mecanismes de comunicació entre mòduls aquest coneixement pot anar introduint-se als mecanismes de decisió dels mòduls superiors (supervisor i agent) de forma que quan els paràmetres dinàmics i estàtics indiquin que pot haver-hi problemes a baix nivell, els mòduls superiors es poden responsabilitzar d'inhibir o no l'execució d'algunes accions. Aquest procés top-down intern d'avaluació de la viabilitat d'executar una acció determinada s'anomena procés d'introspecció. Es presenten diversos exemples per tal d'il·lustrar com es pot dissenyar un agent físic amb dinàmica pròpia utilitzant l'arquitectura DPAA com a referent. En concret, es mostra tot el procés a seguir per dissenyar un sistema real format per dos robots en formació de comboi, i es mostra com es pot resoldre el problema de la col·lisió utilitzant les capacitats a partir de les especificacions de disseny de l'arquitectura DPAA. Al cinquè capítol s'hi exposa el procés d'anàlisi i disseny en un domini més complex: un grup de robots que emulen el joc del futbol. Els resultats que s'hi mostren fan referència a l'avaluació de la validesa de l'arquitectura per resoldre el problema de la passada de la pilota. S'hi mostren diversos resultats on es veu que és possible avaluar si una passada de pilota és viable o no. Encara que aquesta possibilitat ja ha estat demostrada en altres treballs, l'aportació d'aquesta tesi està en el fet que és possible avaluar la viabilitat a partir de l'encapsulament de la dinàmica en unes capacitats específiques, és a dir, és possible saber quines seran les característiques de la passada: el temps del xut, la precisió o inclòs la geometria del moviment del robot xutador. Els resultats mostren que la negociació de les condicions de la passada de la pilota és possible a partir de capacitats atòmiques, les quals inclouen informació sobre les característiques de la dinàmica dels controladors. La complexitat del domini proposat fa difícil comparar els resultats amb els altres treballs. Cal tenir present que els resultats mostrats s'han obtingut utilitzant un simulador fet a mida que incorpora les dinàmiques dels motors dels robots i de la pilota. En aquest sentit cal comentar que no existeixen treballs publicats sobre el problema de la passada en què es tingui en compte la dinàmica dels robots.El present treball permet assegurar que la inclusió de paràmetres dinàmics en el conjunt de les capacitats de l'agent físic permet obtenir un millor comportament col·lectiu dels robots, i que aquesta millora es deu al fet que en les etapes de decisió els agents utilitzen informació relativa a la viabilitat sobre les seves accions: aquesta viabilitat es pot calcular a partir del comportament dinàmic dels controladors. De fet, la definició de capacitats a partir de paràmetres dinàmics permet treballar fàcilment amb sistemes autònoms heterogenis: l'agent físic pot ser conscient de les seves capacitats d'actuació a través de mecanismes interns d'introspecció, i això permet que pugui prendre compromisos amb altres agents físics.

Este trabalho tem como objetivo o estudo de uma área da robótica chamada robótica móvel. Um robô móvel deve realizar uma navegação segura e esta é a principal motivação deste trabalho. Para tal foi desenvolvido um simulador de robótica móvel com visualização em 3D. Um dos grandes interesses na área de robótica móvel é a utilização de algoritmos de inteligência artificial. O objetivo deste trabalho é a utilização e simulação de inteligência artificial para o controle destinado ao desvio de obstáculos. As simulações são dinâmicas, ou seja, o robô não tem informação previa do cenário. Os algoritmos de inteligência artificial implementadas neste trabalho são lógica Fuzzy e Neurofuzzy. As contribuições do simulador são: a simulação e visualização em 3D com o cenário modelado em um programa CAD/3D, permite testar diversas configurações antes de testar o robô real, simula o ruído de sensores, utiliza lógica fuzzy e neurofuzzy para o desvio de obstáculos. Os resultados mostram a capacidade do sistema fuzzy para lidar com os dados ruidosos dos sensores assim como a influência das variáveis antecedentes e conseqüentes do sistema fuzzy de no comportamento do robô móvel para o desvio de obstáculos além da capacidade do sistema neurofuzzy de aprender a partir dos dados de treinamento mostrando uma melhoria no resultado das simulações. / This work has as objective the study of an area of the robotics named mobile robotics. A mobile robot must navigate in a safe way and this is the main motivation of this work. To do that a mobile robotics simulator with 3D visualization was developed. One of the great interests in mobile robotics is using artificial intelligence algorithms. The main point of this work is using and simulate artificial intelligence applied in obstacle avoidance control. The simulations are dynamics it means that the robot do not have previous information about the scenery. The artificial intelligence algorithms developed in this work are Fuzzy and Neurofuzzy logics. The simulator contributions are that the simulation and 3D visualization where the scenery is a 3D model from a CAD/3D software besides allows to test many configurations before testing the real robot and simulates noise from sensors and uses fuzzy and neurofuzzy logics to obstacle avoidance. The results show the fuzzy system capability to deal with the noisy data from sensors and how fuzzy variables influences the mobile robot behavior in obstacle avoidance besides the ability of neurofuzzy system to learn from training data showing improvements in the simulation results.

Made available in DSpace on 2016-12-12T17:38:31Z (GMT). No. of bitstreams: 1 Marlon Alcantara.pdf: 7618831 bytes, checksum: 4f3eda2c23fb87ff3373687e72470feb (MD5) Previous issue date: 2012-05-28 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Barcodes, already common in commercial environments and supermarkets, are applied in various situations as a way to record and acquire data automatically and quickly, using electronic devices. Barcodes do not incorporate features that allow identification of their position and orientation during the reading process, these resources are essential in everal areas, such as Augmented Reality (AR) and Mobile Robotics (MR). This paper shows a survey of applications in AR and MR and it was observed that several technologies are used for data logging and acquisition of position and orientation, at the same time or not, such as sensors, cameras and maps. Therefore, we developed a barcode with capacity to acquire position and orientation in a three-dimensional space. The development of barcode enriched, called QRPO, was reached through the calculation of the Direct Linear Transformation on a standard two-dimensional barcode, like QR Code with square shape, which allowed the extraction of translation, rotation and scale parameters using the capture device as reference, in this case, a low-cost webcam. With this, we developed QRPO versions to be applied both in Augmented Reality (using no edge) and in Mobile Robotics (using an edge): for the first, we made programs and tests which validated the robustness and efficiency calculating the position and orientation, and correctness of reading data, for the second, we created a solution to the problem of exploring an unknown environment, called mouse-cheese problem, from its conception to the definition of the movement control strategy, passing through deployment and testing. This application demonstrated that it is possible, with a single camera, to conduct a mobile robot acquiring position, orientation and data efficiently and avoiding the use of additional sensors, only using the QRPO. Thus, the result of this work, the QRPO, represents a new enriched barcode with the capacity of data representation and acquisition of position and orientation with wide applicability. / Os códigos de barras, já comuns em ambientes comerciais e supermercados, são aplicados em diversas situações como meio de registrar e adquirir, automática e rapidamente, dados por meio de leitura por dispositivos eletrônicos. Os códigos de barras não incorporam recursos que permitam a identificação de sua posição e orientação nos momentos de leitura, recursos estes essenciais em diversas áreas, como a Realidade Aumentada (RA) e Robótica Móvel (RM). Este trabalho fez um levantamento das aplicações em RA e RM e constatou-se que diversas tecnologias são utilizadas para registro de dados e aquisição de posição e orientação, às vezes juntas e às vezes isolada, tais como sensores, câmeras e mapas. Por isto, foi desenvolvido um código de barras com capacidade de aquisição de posição e orientação no espaço tridimensional. A elaboração do código de barras enriquecido, denominado QRPO, foi alcançada por meio do cálculo da Transformada Linear Direta sobre um código de barra bidimensional padronizado, do tipo QR Code e com forma quadrada, o que permitiu a extração dos parâmetros de translação, rotação e escala com referência ao dispositivo de captura, no caso uma webcam de baixo custo. Com isto, foram desenvolvidas versões do QRPO para serem aplicadas tanto para Realidade Aumentada (sem uso de uma borda) quanto para Robótica Móvel (com o uso da borda): para a primeira, foram feitos programas e testes que validaram a robustez e eficiência no cálculo da posição e orientação e a corretude na leitura de dados; para a segunda, foi elaborada uma solução para o problema de exploração de um ambiente desconhecido, denominado problema do rato-queijo , desde a sua concepção até a definição da estratégia de controle de movimentação, passando pela implantação e testes. Esta aplicação demonstrou que é possível com uma única câmera, conduzir um robô móvel adquirindo posição, orientação e dados de forma eficiente e dispensando o uso de sensores adicionais, apenas com o uso do QRPO. Assim, o resultado deste trabalho, o QRPO, representa um novo código de barras enriquecido com a capacidade de representação de dados e aquisição de posição e orientação e com ampla aplicabilidade.

Este trabalho tem como objetivo o estudo de uma área da robótica chamada robótica móvel. Um robô móvel deve realizar uma navegação segura e esta é a principal motivação deste trabalho. Para tal foi desenvolvido um simulador de robótica móvel com visualização em 3D. Um dos grandes interesses na área de robótica móvel é a utilização de algoritmos de inteligência artificial. O objetivo deste trabalho é a utilização e simulação de inteligência artificial para o controle destinado ao desvio de obstáculos. As simulações são dinâmicas, ou seja, o robô não tem informação previa do cenário. Os algoritmos de inteligência artificial implementadas neste trabalho são lógica Fuzzy e Neurofuzzy. As contribuições do simulador são: a simulação e visualização em 3D com o cenário modelado em um programa CAD/3D, permite testar diversas configurações antes de testar o robô real, simula o ruído de sensores, utiliza lógica fuzzy e neurofuzzy para o desvio de obstáculos. Os resultados mostram a capacidade do sistema fuzzy para lidar com os dados ruidosos dos sensores assim como a influência das variáveis antecedentes e conseqüentes do sistema fuzzy de no comportamento do robô móvel para o desvio de obstáculos além da capacidade do sistema neurofuzzy de aprender a partir dos dados de treinamento mostrando uma melhoria no resultado das simulações. / This work has as objective the study of an area of the robotics named mobile robotics. A mobile robot must navigate in a safe way and this is the main motivation of this work. To do that a mobile robotics simulator with 3D visualization was developed. One of the great interests in mobile robotics is using artificial intelligence algorithms. The main point of this work is using and simulate artificial intelligence applied in obstacle avoidance control. The simulations are dynamics it means that the robot do not have previous information about the scenery. The artificial intelligence algorithms developed in this work are Fuzzy and Neurofuzzy logics. The simulator contributions are that the simulation and 3D visualization where the scenery is a 3D model from a CAD/3D software besides allows to test many configurations before testing the real robot and simulates noise from sensors and uses fuzzy and neurofuzzy logics to obstacle avoidance. The results show the fuzzy system capability to deal with the noisy data from sensors and how fuzzy variables influences the mobile robot behavior in obstacle avoidance besides the ability of neurofuzzy system to learn from training data showing improvements in the simulation results.

This research project took part in the SENA project (Autonomous Embedded Navigation System), which was developed at the Mobile Robotics Lab of the Mechatronics Group at the Engineering School of São Carlos, University of São Paulo (EESC - USP) in collaboration with the São Carlos Institute of Physics. Aiming for an autonomous behavior in the prototype vehicle this dissertation focused on deploying some machine learning algorithms to support its perception. These algorithms enabled the vehicle to execute articial-intelligence tasks, such as prediction and memory retrieval for object classication. Even though in autonomous navigation there are several perception, cognition and actuation tasks, this dissertation focused only on perception, which provides the vehicle control system with information about the environment around it. The most basic information to be provided is the existence of objects (obstacles) around the vehicle. In formation about the sort of object it is also provided, i.e., its classication among cars, pedestrians, stakes, the road, as well as the scale of such an object and its position in front of the vehicle. The environmental data was acquired by using a camera and a Velodyne LiDAR. A ceiling analysis of the object detection pipeline was used to simulate the proposed methodology. As a result, this analysis estimated that processing specic regions in the PDF Compressor Pro xii image (i.e., Regions of Interest, or RoIs), where it is more likely to nd an object, would be the best way of improving our recognition system, a process called image normalization. Consequently, experimental results in a data-fusion approach using laser data and images, in which RoIs were found using the LiDAR data, showed that the fusion approach can provide better object detection and classication compared with the use of either camera or LiDAR alone. Deploying a data-fusion classication using RoI method can be executed at 6 Hz and with 100% precision in pedestrians and 92.3% in cars. The fusion also enabled road estimation even when there were shadows and colored road markers in the image. Vision-based classier supported by LiDAR data provided a good solution for multi-scale object detection and even for the non-uniform illumination problem. / Este projeto de pesquisa fez parte do projeto SENA (Sistema Embarcado de Navegação Autônoma), ele foi realizado no Laboratório de Robótica Móvel do Grupo de Mecatrônica da Escola de Engenharia de São Carlos (EESC), em colaboração com o Instituto de Física de São Carlos (IFSC). A grande motivação do projeto SENA é o desenvolvimento de tecnologias assistidas e autônomas que possam atender às necessidades de diferentes tipos de motoristas (inexperientes, idosos, portadores de limitações, etc.). Vislumbra-se que a aplicação em larga escala desse tipo de tecnologia, em um futuro próximo, certamente reduzirá drasticamente a quantidade de pessoas feridas e mortas em acidentes automobilísticos em estradas e em ambientes urbanos. Nesse contexto, este projeto de pesquisa teve como objetivo proporcionar informações relativas ao ambiente ao redor do veículo, ao sistema de controle e de tomada de decisão embarcado no veículo autônomo. As informações mais básicas fornecidas são as posições dos objetos (obstáculos) ao redor do veículo; além disso, informações como o tipo de objeto (ou seja, sua classificação em carros, pedestres, postes e a própria rua mesma), assim como o tamanho deles. Os dados do ambiente são adquiridos através do emprego de uma câmera e um Velodyne LiDAR. Um estudo do tipo ceiling foi usado para simular a metodologia da detecção dos obstáculos. Estima-se que , após realizar o estudo, que analisar regiões especificas da imagem, chamadas de regiões de interesse, onde é mais provável encontrar um obstáculo, é o melhor jeito de melhorar o sistema de reconhecimento. Observou-se na implementação da fusão dos sensores que encontrar regiões de interesse usando LiDAR, e classificá-las usando visão artificial fornece um melhor resultado na hora de compará-lo com os resultados ao usar apenas câmera ou LiDAR. Obteve-se uma classificação com precisão de 100% para pedestres e 92,3% para carros, rodando em uma frequência de 6 Hz. A fusão dos sensores também forneceu um método para estimar a estrada mesmo quando esta tinha sombra ou faixas de cor. Em geral, a classificação baseada em visão artificial e LiDAR mostrou uma solução para detecção de objetos em várias escalas e mesmo para o problema da iluminação não uniforme do ambiente.

Les agents robotiques mobiles ou aériens sont confrontés au besoin de planifier des actions avec information incomplètesur l'état du monde. Dans ce contexte, cette thèse propose un cadre de modélisation et de résolution de problèmes deplanification de perception et de mission pour un drone hélicoptère qui évolue dans un environnement incertain etpartiellement observé afin de détecter et de reconnaître des cibles. Nous avons fondé notre travail sur les ProcessusDécisionnels Markoviens Partiellement Observables (POMDP), car ils proposent un schéma d'optimisation général pour lestâches de perception et de décision à long terme. Une attention particulière est donnée à la modélisation des sortiesincertaines de l'algorithme de traitement d'image en tant que fonction d'observation. Une analyse critique de la mise enoeuvre en pratique du modèle POMDP et du critère d'optimisation associé est proposée. Afin de respecter les contraintes desécurité et de sûreté de nos robots aériens, nous proposons ensuite une approche pour tenir compte des propriétés defaisabilité d'actions dans des domaines partiellement observables : le modèle AC-POMDP, qui sépare l'informationconcernant la vérification des propriétés du modèle, de celle qui renseigne sur la nature des cibles. Enfin, nous proposonsun cadre d'optimisation et d'exécution en parallèle de politiques POMDP en temps contraint. Ce cadre est basé sur uneoptimisation anticipée et probabilisée des états d'exécution futurs du système. Nous avons embarqué ce cadrealgorithmique sur les hélicoptères autonomes de l'Onera, et l'avons testé en vol et en environnement réel sur une missionde détection et reconnaissance de cibles. / Mobile and aerial robots are faced to the need of planning actions with incomplete information about the state of theworld. In this context, this thesis proposes a modeling and resolution framework for perception and mission planningproblems where an autonomous helicopter must detect and recognize targets in an uncertain and partially observableenvironment. We founded our work on Partially Observable Markov Decision Processes (POMDPs), because it proposes ageneral optimization framework for perception and decision tasks under long-term horizon. A special attention is given tothe outputs of the image processing algorithm in order to model its uncertain behavior as a probabilistic observationfunction. A critical study on the POMDP model and its optimization criterion is also conducted. In order to respect safetyconstraints of aerial robots, we then propose an approach to properly handle action feasibility constraints in partiallyobservable domains: the AC-POMDP model, which distinguishes between the verification of environmental properties andthe information about targets' nature. Furthermore, we propose a framework to optimize and execute POMDP policies inparallel under time constraints. This framework is based on anticipated and probabilistic optimization of future executionstates of the system. Finally, we embedded this algorithmic framework on-board Onera's autonomous helicopters, andperformed real flight experiments for multi-target detection and recognition missions.

Nous nous sommes intéressés dans cette thèse au problème d'ordonnancement temps réel dur multiprocesseur tolérant aux fautes pour des tâches non préemptives périodiques strictes pouvant être combinées avec des tâches préemptives. Nous avons proposé des solutions à ce problème et les avons implantées dans le logiciel SynDEx puis nous les avons testées sur une application de suivi de véhicules électriques CyCabs. Nous avons d'abord présenté un état de l'art sur les systèmes temps réel embarqués et plus précisément sur l'ordonnancement classique monoprocesseur et multiprocesseur de tâches préemptives périodiques. Comme nous nous intéressons aux applications de contrôle/commande temps réel critiques, les traitements de capteurs/actionneurs et les traitements de commande de procédés ne doivent pas avoir de gigue. Pour ces raisons nous avons aussi présenté un état de l'art sur l'ordonnancement des tâches non-préemptives périodiques strictes. Par ailleurs nous avons présenté un état de l'art sur la tolérance aux fautes. Comme nous nous sommes intéressés aux fautes matérielles, nous avons présenté les deux types de redondances : logicielle et matérielle. Les analyses d'ordonnançabilité existantes de tâches non préemptives périodiques strictes dans le cas monoprocesseur ayant de faibles taux de succès d'ordonnancement, nous avons proposé une nouvelle analyse d'ordonnançabilité. Nous avons présenté une stratégie d'ordonnancement qui consiste à ordonnancer une tâche candidate avec un ensemble de tâches déjà ordonnancée. Nous avons utilisé cette stratégie pour ordonnancer des tâches harmoniques et non harmoniques, et nous avons proposé des nouvelles conditions d'ordonnançabilité. Afin d'améliorer le taux de succès d'ordonnancement de tâches non préemptives périodiques strictes, nous avons proposé de garder certaines tâches non préemptives périodiques strictes et d'y ajouter des tâches préemptives périodiques non strictes ne traitant ni les entrées/sorties ni le contrôle/commande. Nous avons ensuite étudié le problème d'ordonnancement multiprocesseur selon une approche partitionnée. Ce problème est résolu en utilisant trois algorithmes. Le premier algorithme effectue une analyse d'ordonnançabilité monoprocesseur et assigne chaque tâche sur éventuellement plusieurs processeurs. Le deuxième algorithme transforme le graphe de tâches dépendantes en un graphe déroulé où chaque tâche est répétée un nombre de fois égal au rapport entre le PPCM des autres périodes et sa période. Le troisième algorithme exploite les résultats des deux algorithmes précédents pour choisir sur quel processeur ordonnancer une tâche et calculer sa date de début d'exécution. Nous avons ensuite proposé d'étendre l'étude d'ordonnançabilité temps réel multiprocesseur précédente pour qu'elle soit tolérante aux fautes de processeurs et de bus de communication. Nous avons proposé un algorithme qui permet de transformer le graphe de tâches dépendantes en y ajoutant des tâches et des dépendances de données répliques et des tâches de sélection permettant de choisir la réplique de tâches allouée à un processeur non fautif. Nous avons étudié séparément les problèmes de tolérance aux fautes pour des processeurs, des bus de communication, et enfin des processeur et des bus de communication. Finalement nous avons étendu les trois algorithmes vus précédemment d'analyse d'ordonnançabilité, de déroulement et d'ordonnancement afin qu'ils soient tolérants aux fautes. Nous avons ensuite présenté les améliorations apportées au logiciel SynDEx tant sur le plan de l'analyse d'ordonnançabilité et l'algorithme d'ordonnancement, que sur le plan de la tolérance aux fautes. Finalement nous avons présenté les travaux expérimentaux concernant l'application de suivi de CyCabs. Nous avons modifié l'architecture des CyCabs en y intégrant des microcontrôleurs dsPICs et nous avons testé la tolérance aux fautes de dsPICs et du bus CAN sur une application de suivi de CyCab. / In this thesis, we studied the fault-tolerant multiprocessor hard real-time scheduling of non-preemptive strict periodic tasks which could be combined with preemptive tasks. We proposed solutions that we implemented into the SynDEx software, then we tested these solutions on an electric vehicle following. First, we present a state of the art on real-time embedded systems and more specificaly on the classical uniprocesseur and multiprocessor scheduling of preemptive periodic tasks. Since we were interested in critical real-time control applications, sensor/actuators computations and processes control must not have jitter. For these reasons, we also presented a state of the art of the scheduling of non-preemptive strict periodic tasks. Also, we presented a state of the art on fault-tolerance. As we were interested in hardware faults, we presented two types of redundancies: software and hardware. Presently, existing schedulability analyses of non-preemptive strict periodic tasks have low schedulability success ratios, thus we proposed a new schedulability analysis. We first presented a scheduling strategy which consists in scheduling a candidate task whereas a task set is already scheduled. We used this strategy to solve the problem of scheduling harmonic and non-harmonic tasks, and we proposed new schedulability conditions. In order to improve the scheduling success ratio of non-preemptive strict periodic tasks, we proposed to keep some non preemptive strict periodic tasks and to add preemptive periodic tasks which are neither dedicated to input/output nor to control. Then, we studied the multiprocessor scheduling problem using the partitioned approach. In order to solve this problem we proposed three algorithms. The first algorithm performs a uniprocessor schedulability analysis and assigns each task according to a schedulability condition to possibly several processors. The second algorithm transforms the dependent task graph into an unrolled graph where each task is repeated a number of times equal to the ratio between the LCM of all tasks periods and its period. The third algorithm exploits the two precedent algorithms to choose, with a cost function, on which processor it will schedule a task previously assigned to several processors, and it computes the first start times of each task. Then, we extended the multiprocessor schedulability analysis to be tolerant to processor and bus media faults. We proposed an algorithm which transforms the dependent task graph by adding redundant tasks, redundant dependencies, and selecting tasks. The latter allow to choose the redundant task allocated to non faulty processors. We studied separately the processor fault-tolerance problem, the bus fault-tolerant problem, and finally both processor and bus fault-tolerant problem. Finally, we extended the schedulability analysis algorithms, the unrolling algorithm and the scheduling algorithm to be fault-tolerant. Then, we presented the improvements provided to the SynDEx software for the schedulability analysis algorithm, the scheduling algorithm and the fault-tolerance algorithm. Finally, we conducted some experiments on the electric vehicle following called CyCab. We modified the hardware architecture of the CyCab to integrate dsPICs microcontrolers, and we tested dsPICs and CAN buses fault-tolerant on the CyCabs following.

Robots are operating for longer times and collecting much more data than just a few years ago. In this setting we are interested in exploring ways of modeling the environment, segmenting out areas of interest and keeping track of the segmentations over time, with the purpose of building 4D models (i.e. space and time) of the relevant parts of the environment. Our approach relies on repeatedly observing the environment and creating local maps at specific locations. The first question we address is how to choose where to build these local maps. Traditionally, an operator defines a set of waypoints on a pre-built map of the environment which the robot visits autonomously. Instead, we propose a method to automatically extract semantically meaningful regions from a point cloud representation of the environment. The resulting segmentation is purely geometric, and in the context of mobile robots operating in human environments, the semantic label associated with each segment (i.e. kitchen, office) can be of interest for a variety of applications. We therefore also look at how to obtain per-pixel semantic labels given the geometric segmentation, by fusing probabilistic distributions over scene and object types in a Conditional Random Field. For most robotic systems, the elements of interest in the environment are the ones which exhibit some dynamic properties (such as people, chairs, cups, etc.), and the ability to detect and segment such elements provides a very useful initial segmentation of the scene. We propose a method to iteratively build a static map from observations of the same scene acquired at different points in time. Dynamic elements are obtained by computing the difference between the static map and new observations. We address the problem of clustering together dynamic elements which correspond to the same physical object, observed at different points in time and in significantly different circumstances. To address some of the inherent limitations in the sensors used, we autonomously plan, navigate around and obtain additional views of the segmented dynamic elements. We look at methods of fusing the additional data and we show that both a combined point cloud model and a fused mesh representation can be used to more robustly recognize the dynamic object in future observations. In the case of the mesh representation, we also show how a Convolutional Neural Network can be trained for recognition by using mesh renderings. Finally, we present a number of methods to analyse the data acquired by the mobile robot autonomously and over extended time periods. First, we look at how the dynamic segmentations can be used to derive a probabilistic prior which can be used in the mapping process to further improve and reinforce the segmentation accuracy. We also investigate how to leverage spatial-temporal constraints in order to cluster dynamic elements observed at different points in time and under different circumstances. We show that by making a few simple assumptions we can increase the clustering accuracy even when the object appearance varies significantly between observations. The result of the clustering is a spatial-temporal footprint of the dynamic object, defining an area where the object is likely to be observed spatially as well as a set of time stamps corresponding to when the object was previously observed. Using this data, predictive models can be created and used to infer future times when the object is more likely to be observed. In an object search scenario, this model can be used to decrease the search time when looking for specific objects. / <p>QC 20171009</p>