L'objectif de cette thèse est de réaliser des missions diverses de navigation autonome en environnement intérieur et encombré avec des robots terrestres. La perception de l'environnement est assurée par un banc stéréo embarqué sur le robot et permet entre autres de calculer la localisation de l'engin grâce à un algorithme d'odométrie visuelle. Mais quand la qualité de la scène perçue par les caméras est faible, la localisation visuelle ne peut pas être calculée de façon précise. Deux solutions sont proposées pour remédier à ce problème. La première solution est l'utilisation d'une méthode de fusion de données multi-capteurs pour obtenir un calcul robuste de la localisation. La deuxième solution est la prédiction de la qualité de scène future afin d'adapter la trajectoire du robot pour s'assurer que la localisation reste précise. Dans les deux cas, la boucle de commande est basée sur l'utilisation de la commande prédictive afin de prendre en compte les différents objectifs de la mission : ralliement de points, exploration, évitement d'obstacles. Une deuxième problématique étudiée est la navigation par points de passage avec évitement d'obstacles mobiles à partir des informations visuelles uniquement. Les obstacles mobiles sont détectés dans les images puis leur position et vitesse sont estimées afin de prédire leur trajectoire future et ainsi de pouvoir anticiper leur déplacement dans la stratégie de commande. De nombreuses expériences ont été réalisées en situation réelle et ont permis de montrer l'efficacité des solutions proposées. / The aim of this thesis is to perform various autonomous navigation missions in indoor and cluttered environments with mobile robots. The environment perception is ensured by an embedded stereo-rig and a visual odometry algorithm which computes the localization of the robot. However, when the quality of the scene perceived by the cameras is poor, the visual localization cannot be computed with a high precision. Two solutions are proposed to tackle this problem. The first one is the data fusion from multiple sensors to perform a robust computation of the localization. The second solution is the prediction of the future scene quality in order to adapt the robot's trajectory to ensure that the localization remains accurate. In the two cases, the control loop is based on model predictive control, which offers the possibility to consider simultaneously the different objectives of the mission : waypoint navigation, exploration, obstacle avoidance. A second issue studied is waypoint navigation with avoidance of mobile obstacles using only the visual information. The mobile obstacles are detected in the images and their position and velocity are estimated in order to predict their future trajectory and consider it in the control strategy. Numerous experiments were carried out and demonstrated the effectiveness of the proposed solutions.

Home environments are changing as more technological devices are used to improve daily life. The growing demand for high technology in our homes means that robot integration will soon arrive. Home devices are evolving in a connected paradigm in which data flows to perform efficient home task management. Heterogeneous home robots connected in a network can establish a workflow that complements their capabilities and so increases performance within a mission execution. This work addresses the definition and requirements of a robot-group mission in the home context. The proposed solution relies on a network of smart resources, which are defined as cyber-physical systems that provide high-level service execution. Firstly, control middleware architecture is introduced as the execution base for the Smart resources. Next, the Smart resource topology and its integration within a robotic platform are addressed. Services supplied by Smart resources manage their execution through a robot behavior architecture. Robot behavior execution is hierarchically organized through a mission definition that can be established as an individual or collective approach. Environment model and interaction tasks characterize the operation capabilities of each robot within a mission. Mission goal achievement in a heterogeneous group is enhanced through the complement of the interaction capabilities of each robot. To offer a clearer explanation, a full use case is presented in which two robots cooperate to execute a mission and the previously detailed steps are evaluated. Finally, some of the obtained results are discussed as conclusions and future works is introduced. / Los entornos domésticos se encuentran sometidos a un proceso de cambio gracias al empleo de dispositivos tecnológicos que mejoran la calidad de vida de las personas. La creciente demanda de alta tecnología en los hogares señala una próxima incorporación de la robótica de servicio. Los dispositivos domésticos están evolucionando hacia un paradigma de conexión en el cual la información fluye para ofrecer una gestión más eficiente. En este entorno, robots heterogéneos conectados a la red pueden establecer un flujo de trabajo que ofreciendo nuevas soluciones y incrementando la eficiencia en la ejecución de tareas. Este trabajo aborda la definición y los requisitos necesarios para la ejecución de misiones en grupos de robots heterogéneos en entornos domésticos. La solución propuesta se apoya en una red de Smart resources, que son definidos como sistemas ciber-físicos que proporcionan servicios de alto nivel. En primer lugar, se presenta la arquitectura del middleware de control en la cual se basa la ejecución de los Smart resources. A continuación se detalla la topología de los Smart resources, así como su integración en plataformas robóticas. Los servicios proporcionados por los Smart resources gestionan su ejecución mediante una arquitectura de comportamientos para robots. La ejecución de estos comportamientos se organiza de forma jerárquica mediante la definición de una misión con un objetivo establecido de forma individual o colectiva a un grupo de robots. Dentro de una misión, las tareas de modelado e interacción con el entorno define las capacidades de operación de los robots dentro de una misión. Mediante la integración de un grupo heterogéneo de robots sus diversas capacidades son complementadas para el logro un objetivo común. A fin de caracterizar esta propuesta, los mecanismos presentados en este documento se evaluarán en detalle a lo largo de una serie experimentos en los cuales un grupo de robots heterogéneos ejecutan una misión colaborativa para alcanzar un objetivo común. Finalmente, los resultados serán discutidos a modo de conclusiones dando lugar el establecimiento de un trabajo futuro. / Els entorns domèstics es troben sotmesos a un procés de canvi gràcies a l'ocupació de dispositius tecnològics que milloren la qualitat de vida de les persones. La creixent demanda d'alta tecnologia a les llars assenyala una propera incorporació de la robòtica de servei. Els dispositius domèstics estan evolucionant cap a un paradigma de connexió en el qual la informació flueix per oferir una gestió més eficient. En aquest entorn, robots heterogenis connectats a la xarxa poden establir un flux de treball que ofereix noves solucions i incrementant l'eficiència en l'execució de tasques. Aquest treball aborda la definició i els requisits necessaris per a l'execució de missions en grups de robots heterogenis en entorns domèstics. La solució proposada es recolza en una xarxa de Smart resources, que són definits com a sistemes ciber-físics que proporcionen serveis d'alt nivell. En primer lloc, es presenta l'arquitectura del middleware de control en la qual es basa l'execució dels Smart resources. A continuació es detalla la tipologia dels Smart resources, així com la seva integració en plataformes robòtiques. Els serveis proporcionats pels Smart resources gestionen la seva execució mitjançant una arquitectura de comportaments per a robots. L'execució d'aquests comportaments s'organitza de forma jeràrquica mitjançant la definició d'una missió amb un objectiu establert de forma individual o col·lectiva a un grup de robots. Dins d'una missió, les tasques de modelatge i interacció amb l'entorn defineix les capacitats d'operació dels robots dins d'una missió. Mitjançant la integració d'un grup heterogeni de robots seves diverses capacitats són complementades per a l'assoliment un objectiu comú. Per tal de caracteritzar aquesta proposta, els mecanismes presentats en aquest document s'avaluaran en detall mitjançant d'una sèrie experiments en els quals un grup de robots heterogenis executen una missió col·laborativa per aconseguir un objectiu comú. Finalment, els resultats seran discutits a manera de conclusions donant lloc a l'establiment d'un treball futur. / Munera Sánchez, E. (2017). MISSION-ORIENTED HETEROGENEOUS ROBOT COOPERATION BASED ON SMART RESOURCES EXECUTION [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/88404 / TESIS

LIDAR (2D) has been widely used for mapping, localization and navigation in mobile robotics. However, its usage is limited to simple environments. This problem can be solved by adding more sensors and processing these data together. This paper explores a method how measurements from a stereo camera and LIDAR are fused to dynamical mapping. An occupancy grid map from LIDAR data is used as prerequisite and extended by a 2D grid map from stereo camera. This approach is based on the ground plane estimation in disparity map acquired from the stereo vision. For the ground plane detection, RANSAC and Least Squares methods are used. After obstacles determination, 2D occupancy map is generated. The output of this method is 2D map as a fusion of complementary maps from LIDAR and camera. Experimental results obtained from RUDA robot and MIT Stata Center Data Set are good enough to determine that this method is a benefit, although my implementation is still a prototype. In this paper, we present the applied methods, analyze the results and discuss the modifications and possible extensions to get better results.

Der vorliegende Beitrag stellt einen Entwurf für eine flexible und robuste Steuerungsarchitektur für Roboter- und Fertigungssysteme vor. Dabei wurde versucht ein offenes Konzept zu realisieren, welches einen vereinfachten Engineeringprozess ermöglicht. Hierzu wird innerhalb der Steuerung eine Trennung zwischen einem funktionellen verhaltensbasierten und einem ablauforientierten Modell vorgeschlagen. Dieser Ansatz wird durch die Verwendung von Aktionsprimitiven innerhalb einer hybriden Robotersteuerung ermöglicht. Diese garantieren durch ihre ausgeprägte Modularität eine hohe Flexibilität und Erweiterbarkeit des entstandenen Systems. Im Beitrag wird sowohl der entstandene Entwurf diskutiert als auch eine prototypische objektorientierte Implementierung vorgestellt sowie erste Ergebnisse präsentiert. / This paper presents a framework for a flexible and robust control architecture for robotic systems. The design incorporates an application independent system concept which allows a simplified engineering process. For this purpose a distinction between a functional behavioural and a sequential control system model is proposed. This approach is based on the utilisation of action primitives within a hybrid control architecture. The use of these primitives affords a high level of modularity through increasing flexibility and expandability of the resulting system. In this paper the proposed framework will be discussed as well as a prototypical object-oriented implementation and first results.

3D object detection is the task of detecting the full 3D pose of objects relative to an autonomous platform. It is an important perception system that can be used to plan actions according to the behavior of other dynamic objects in an environment. Due to the poor generalization of object detectors trained and tested on different datasets, this thesis concerns the utilization of unsupervised domain adaptation to train object detectors fit for mobile robotics without any labeled training data. To tackle the problem a novel approach Unsupervised Adversarial Domain Adaptation 3D (UADA3D) is presented to adapt LiDAR-based detectors, through drawing inspiration from the success of adversarial adaptation for 2D object detection in RGB images. The method adds learnable discriminator layers that discriminate between the features and bounding box predictions in the labeled source and unlabeled target data. The gradients are then reversed through gradient reversal layers during backpropagation to the base detector, which in turn learns to extract features that are similar between the domains in order to fool the discriminator. The method works for multi-class detection by simultaneous adaptation of all classes in an end-to-end trainable network and works for both point-based and voxel-based single-stage detectors. The results show that the proposed method increases detection scores for adaptation from dense to sparse point clouds and from simulated data toward the data of a mobile delivery robot, successfully handling the two relevant domain gaps given by differences in marginal and conditional probability distributions. / 3D-objektdetektering handlar om att upptäcka hela 3D-positionen för objekt i förhållande till en autonom plattform. Det är ett viktigt perceptionsystem som kan användas för att planera åtgärder baserat på beteendet hos andra dynamiska objekt i en miljö. På grund av den dåliga generaliseringen av objektavkännare som tränats och testats på olika datamängder, handlar denna avhandling om användningen av osuperviserad domänanpassning för att träna objektavkännare som är anpassade för mobila robotar utan några märkta träningsdata. För att tackla problemet presenteras ett nytt tillvägagångssätt Unsupervised Adversarial Domain Adaptation 3D (UADA3D) för att anpassa LiDAR-baserade avkännare, genom att ta inspiration från framgången av mospelaranpassning för 2D-objektdetektering i RGB-bilder. Metoden lägger till inlärbara diskriminatorlager som diskriminerar mellan egenskaperna och prediktionerna i annoterad käll- och oannoterad måldata. Gradienterna är sedan reverserae genom gradientreversering under bakåtpropagering till basdetekorn, som i sin tur lär sig att extrahera egenskaper som är liknande mellan domänerna för att lura diskriminatorn. Metoden fungerar för flerklassdetektering genom samtidig anpassning av alla klasser i ett end-to-end-träningsbart nätverk och fungerar för både punktbaserade och voxelbaserade enstegs detektorere. Resultaten visar att den föreslagna metoden förbättrar detektionen för domänanpassning från täta till glesa punktmoln och från simulerad data till data från en mobil leveransrobot, därmed hanterar metoden framgångsrikt de två relevanta domänskillnaderna i marginella- och betingade sannolikhetsfördelningar.

Die Kartierung und Lokalisierung eines mobilen Roboters in seiner Umgebung ist eine wichtige Voraussetzung für dessen Autonomie. In dieser Arbeit wird der Einsatz eines 3D-Laserscanners zur Erfüllung dieser Aufgaben untersucht. Durch die optimierte Anordnung eines rotierenden 2D-Laserscanners werden hochauflösende Bereiche vorgegeben. Zudem wird mit Hilfe von ICP die Kartierung und Lokalisierung im Stillstand durchgeführt. Bei der Betrachtung zur Verbesserung der Bewegungsschätzung wird auch eine Möglichkeit zur Lokalisierung während der Bewegung mit 3D-Scans vorgestellt. Die vorgestellten Algorithmen werden durch Experimente mit realer Hardware evaluiert.

Dans un contexte industriel aéronautique où les problématiques de sécurité constituent un facteur différentiateur clé, l’objectif de cette thèse est de répondre à la problématique ambitieuse de la réduction des accidents de type opérationnel. Les travaux de recherche s’inscrivent dans le domaine des systèmes d’alarmes pour l’évitement de collision qui ne font pas une analyse approfondie des solutions d’évitement par rapport à la situation de danger. En effet, les situations d’urgence en vol ne bénéficient pas à ce jour d’une représentation et d’un guide des solutions associées formels. Bien que certains systèmes d’assistance existent et qu’une partie de la connaissance associée aux situations d’urgence ait pu être identifiée, la génération dynamique d’une séquence de manœuvres sous fortes contraintes de temps et dans un environnement non connu à l’avance représente une voie d’exploration nouvelle. Afin de répondre à cette question et de rendre objective la notion de danger, les travaux de recherche présentés dans cette thèse mettent en confrontation la capacité d’évolution d’un aéronef dans son environnement immédiat avec une enveloppe physique devenant contraignante. Afin de mesurer ce danger, les travaux de recherche ont conduit à construire un module de trajectoires capable d’explorer l’espace en 3D. Cela a permis de tirer des enseignements en terme de flexibilité des manœuvres d’évitement possibles à l’approche du sol. De plus l’elicitation des connaissances des pilotes et des experts d’Airbus Helicopters (ancien Eurocopter) mis en situation d’urgence dans le cas d’accidents reconstitués en simulation a conduit à un ensemble de paramètres pour l’utilisation de la méthode multicritère PROMETHEE II dans le processus de prise de décision relatif au choix de la meilleure trajectoire d’évitement et par conséquent à la génération d’alarmes anti-collision. / In the aeronautics industrial context, the issues related to the safety constitute a highly differentiating factor. This PhD thesis addresses the challenge of operational type accident reduction. The research works are positioned and considered within the context of existing alerting equipments for collision avoidance, who don’t report a thorough analysis of the avoidance manoeuvres with respect to a possible threat. Indeed, in-flight emergency situations are various and do not all have a formal representation of escape procedures to fall back on. Much of operational accident scenarios are related to human mistakes. Even if systems providing assistance already exist, the dynamic generation of a sequence of manoeuvres under high constraints in an unknown environment remain a news research axis, and a key development perspective. In order to address this problematic and make the notion of danger objective, the research works presented in this thesis confront the capabilities of evolution of an aircraft in its immediate environment with possible physical constraints. For that purpose, the study has conducted to generate a module for trajectory generation in the 3D space frame, capable of partitioning and exploring the space ahead and around the aircraft. This has allowed to draw conclusions in terms of flexibility of escape manoeuvres on approach to the terrain. Besides, the elicitation of the Airbus Helicopters (former Eurocopter) experts knowledge put in emergency situations, for reconstituted accident scenarios in simulation, have permitted to derive a certain number of criteria and rules for parametrising the multicriteria method PROMETHEE II in the process for the relative decision-making of the best avoidance trajectory solution. This has given clues for the generation of new alerting rules to prevent the collisions.

Die Kartierung und Lokalisierung eines mobilen Roboters in seiner Umgebung ist eine wichtige Voraussetzung für dessen Autonomie. In dieser Arbeit wird der Einsatz eines 3D-Laserscanners zur Erfüllung dieser Aufgaben untersucht. Durch die optimierte Anordnung eines rotierenden 2D-Laserscanners werden hochauflösende Bereiche vorgegeben. Zudem wird mit Hilfe von ICP die Kartierung und Lokalisierung im Stillstand durchgeführt. Bei der Betrachtung zur Verbesserung der Bewegungsschätzung wird auch eine Möglichkeit zur Lokalisierung während der Bewegung mit 3D-Scans vorgestellt. Die vorgestellten Algorithmen werden durch Experimente mit realer Hardware evaluiert.