The presence of autonomous systems is becoming more and more common in today’s society.The contexts in which these kind of systems appear are numerous and the variations arelarge, from large and complex systems like autonomous mining platforms to smaller, moreeveryday useful systems like the self-guided vacuum cleaner. It is essential for a completelyself-supported mobile robot placed in unknown, dynamic or unstructured environments tobe able to localise itself and find its way through maps. This localisation problem is stillnot completely solved although the idea of completely autonomous systems arose in thehuman society centuries ago. Its complexity makes it a wide-spread field of reasearch evenin present days. In this work, the localisation problem is approached with an appearance based method forplace recognition. The objective is to develop an algorithm for fast pose hypotheses generationfrom a map. A database containing very low resolution images from urban environmentsis built and very short image retrieval times are made possible by application of imagedimension reduction. The evaluation of the database shows that it has real time potential becausea set of pose hypotheses can be generated in 3-25 hundreds of a second depending onthe tuning of the database. The probability of finding a correct pose suggestion among thegenerated hypotheses is as high as 87%, even when only a few hypotheses are retrieved fromthe database.

Dans le cadre de la robotique mobile, des progrès significatifs ont été obtenus au cours des trois dernières décennies pour la cartographie et la localisation. La plupart des projets de recherche traitent du problème de SLAM métrique. Les techniques alors développées sont sensibles aux erreurs liées à la dérive ce qui restreint leur utilisation à des environnements de petite échelle. Dans des environnements de grande taille, l’utilisation de cartes topologiques, qui sont indépendantes de l’information métrique, se présentent comme une alternative aux approches métriques.Cette thèse porte principalement sur le problème de la construction de cartes topologiques pour la navigation de robots mobiles dans des environnements urbains de grande taille, en utilisant des caméras omnidirectionnelles. La principale contribution de cette thèse est la résolution efficace et avec précision du problème de fermeture de boucles, problème qui est au coeur de tout algorithme de cartographie topologique. Le cadre de cartographie topologique éparse / hiérarchique proposé allie une approche de partionnement de séquence d’images (ISP) par regroupement des images visuellement similaires dans un noeud avec une approche de détection de fermeture de boucles permettant de connecter ces noeux. Le graphe topologique alors obtenu représente l’environnement du robot. L’algorithme de fermeture de boucle hiérarchique développé permet d’extraire dans un premier temps les noeuds semblables puis, dans un second temps, l’image la plus similaire. Cette détection de fermeture de boucles hiérarchique est rendue efficace par le stockage du contenu des cartes éparses sous la forme d’une structure de données d’indexation appelée fichier inversé hiérarchique (HIF). Nous proposons de combiner le score de pondération TFIDF avec des contraintes spatiales et la fréquence des amers détectés pour obtenir une meilleur robustesse de la fermeture de boucles. Les résultats en terme de densité et précision des cartes obtenues et d’efficacité sont évaluées et comparées aux résultats obtenus avec des approches de l’état de l’art sur des séquences d’images omnidirectionnelles acquises en milieu extérieur. Au niveau de la précision des détections de boucles, des résultats similaires ont été observés vis-à-vis des autres approches mais sans étape de vérification utilisant la géométrie épipolaire. Bien qu’efficace, l’approche basée sur HIF présente des inconvénients comme la faible densité des cartes et le faible taux de détection des boucles. Une seconde technique de fermeture de boucle a alors été développée pour combler ces lacunes. Le problème de la faible densité des cartes est causé par un sur-partionnement de la séquence d’images. Celui-ci est résolu en utilisant des vecteurs de descripteurs agrégés localement (VLAD) lors de l’étape de ISP. Une mesure de similarité basée sur une contrainte spatiale spécifique à la structure des images omnidirectionnelles a également été développée. Des résultats plus précis sont obtenus, même en présence de peu d’appariements. Les taux de réussite sont meilleurs qu’avec FABMAP 2.0, la méthode la plus utilisée actuellement, sans étape supplémentaire de vérification géométrique.L’environnement est souvent supposé invariant au cours du temps : la carte de l’environnement est construite lors d’une phase d’apprentissage puis n’est pas modifiée ensuite. Une gestion de la mémoire à long terme est nécessaire pour prendre en compte les modifications dans l’environnement au cours du temps. La deuxième contribution de cette thèse est la formulation d’une approche de gestion de la mémoire visuelle à long terme qui peut être utilisée dans le cadre de cartes visuelles topologiques et métriques. Les premiers résultats obtenus sont encourageants. (...) / Over the last three decades, research in mobile robotic mapping and localization has seen significant progress. However, most of the research projects these problems into the SLAM framework while trying to map and localize metrically. As metrical mapping techniques are vulnerable to errors caused by drift, their ability to produce consistent maps is limited to small scale environments. Consequently, topological mapping approaches which are independent of metrical information stand as an alternative to metrical approaches in large scale environments. This thesis mainly deals with the loop closure problem which is the crux of any topological mapping algorithm. Our main aim is to solve the loop closure problem efficiently and accurately using an omnidirectional imaging sensor. Sparse topological maps can be built by representing groups of visually similar images of a sequence as nodes of a topological graph. We propose a sparse / hierarchical topological mapping framework which uses Image Sequence Partitioning (ISP) to group visually similar images of a sequence as nodes which are then connected on occurrence of loop closures to form a topological graph. A hierarchical loop closure algorithm that can first retrieve the similar nodes and then perform an image similarity analysis on the retrieved nodes is used. An indexing data structure called Hierarchical Inverted File (HIF) is proposed to store the sparse maps to facilitate an efficient hierarchical loop closure. TFIDF weighting is combined with spatial and frequency constraints on the detected features for improved loop closure robustness. Sparsity, efficiency and accuracy of the resulting maps are evaluated and compared to that of the other two existing techniques on publicly available outdoor omni-directional image sequences. Modest loop closure recall rates have been observed without using the epi-polar geometry verification step common in other approaches. Although efficient, the HIF based approach has certain disadvantages like low sparsity of maps and low recall rate of loop closure. To address these shortcomings, another loop closure technique using spatial constraint based similarity measure on omnidirectional images has been proposed. The low sparsity of maps caused by over-partitioning of the input sequence has been overcome by using Vector of Locally Aggregated Descriptors (VLAD) for ISP. Poor resolution of the omnidirectional images causes fewer feature matches in image pairs resulting in reduced recall rates. A spatial constraint exploiting the omnidirectional image structure is used for feature matching which gives accurate results even with fewer feature matches. Recall rates better than the contemporary FABMAP 2.0 approach have been observed without the additional geometric verification. The second contribution of this thesis is the formulation of a visual memory management approach suitable for long term operability of mobile robots. The formulated approach is suitable for both topological and metrical visual maps. Initial results which demonstrate the capabilities of this approach have been provided. Finally, a detailed description of the acquisition and construction of our multi-sensor dataset is provided. The aim of this dataset is to serve the researchers working in the mobile robotics and vision communities for evaluating applications like visual SLAM, mapping and visual odometry. This is the first dataset with omnidirectional images acquired on a car-like vehicle driven along a trajectory with multiple loops. The dataset consists of 6 sequences with data from 11 sensors including 7 cameras, stretching 18 kilometers in a semi-urban environmental setting with complete and precise ground-truth.

No description available.

In many situations after a big catastrophe such as the one in Fukushima, the disaster area is highly dangerous for humans to enter. It is in such environments that a semi-autonomous robot could limit the risks to humans by exploring and mapping the area on its own. This thesis intends to design and implement a software based SLAM system which has potential to run in real-time using a Kinect 2 sensor as input. The focus of the thesis has been to create a system which allows for efficient storage and representation of the map, in order to be able to explore large environments. This is done by separating the map in different abstraction levels corresponding to local maps connected by a global map. During the implementation, this structure has been kept in mind in order to allow modularity. This makes it possible for each sub-component in the system to be exchanged if needed. The thesis is broad in the sense that it uses techniques from distinct areas to solve the sub-problems that exist. Some examples being, object detection and classification, point-cloud registration and efficient 3D-based occupancy trees. / I många situationer efter en stor katastrof, såsom den i Fukushima, är området ytterst farligt för människor att vistas. Det är i sådana miljöer som semi-autonomarobotar kan begränsa risken för människor genom att utforska och kartlägga området på egen hand. Det här exjobbet fokuserar på att designa och implementera ett mjukvarubaserat SLAM system med real-tids potential användandes en Kinect 2 sensor. Exjobbet har fokuserat på att skapa ett system som tillåter effektiv lagring och representering av kartan för att tillåta utforskning utav stora områden. Det görs genom att separera kartan i olika abstraktionsnivåer, vilka korresponderar mot lokala kartor sammankopplade med en global karta. Strukturen av system har tagit hänsyn till under utvecklingen för att tillåta modularitet. Vilket gör det möjligt att byta ut komponenter i systemet. Det här exjobbet är brett i det avseende att det använder tekniker från flera olika områden för att lösa de sub-problem som finns. Några exempel är objektdetektion och klassificering, punkt-molnsregistrering och effektiva 3D-baserade okupationsträd. / Después de grandes catástrofes, cómo la reciente en Fukushima, está demasiado peligroso para permitir humanes a entrar. En estás situaciones estaría más preferible entrar con un robot semi-automático que puede explorar, crear un mapa de la ambiente y encontrar los riesgos que hay. Está obra intente de diseñar e implementar un sistema SLAM, con la potencial de crear está mapa en tiempo real, utilizando una camera Kinect 2. En el centro de la tesis está el diseño de una mapa que será eficiente alojar y manejar, para ser utilizado explorando áreas grandes. Se logra esto por la manera de la separación del mapa en distintas niveles de abstracción qué corresponde a mapas métricos locales y una mapa topológica que conecta estas. La estructura del sistema ha sido considerado para permitir utilizar varios tipos de sensores, además que permitir cambiar ciertas partes de la sistema. Esté tesis cobra distintas áreas cómo lo de detección de objetos, estimación de la posición del sistema, registrar nubes de puntos y alojamiento de 3D-mapas.

Dans cette thèse, nous présentons une nouvelle méthode de cartographie visuelle hybride qui exploite des informations métriques, topologiques et sémantiques. Notre but est de réduire le coût calculatoire par rapport à des techniques de cartographie purement métriques. Comparé à de la cartographie topologique, nous voulons plus de précision ainsi que la possibilité d’utiliser la carte pour le guidage de robots. Cette méthode hybride de construction de carte comprend deux étapes. La première étape peut être vue comme une carte topo-métrique avec des nœuds correspondants à certaines régions de l’environnement. Ces cartes sont ensuite complétées avec des données métriques aux nœuds correspondant à des sous-séquences d’images acquises quand le robot revenait dans des zones préalablement visitées. La deuxième étape augmente ce modèle en ajoutant des informations sémantiques. Une classification est effectuée sur la base des informations métriques en utilisant des champs de Markov conditionnels (CRF) pour donner un label sémantique à la trajectoire locale du robot (la route dans notre cas) qui peut être "doit", "virage" ou "intersection". L’information métrique des secteurs de route en virage ou en intersection est conservée alors que la métrique des lignes droites est effacée de la carte finale. La fermeture de boucle n’est réalisée que dans les intersections ce qui accroît l’efficacité du calcul et la précision de la carte. En intégrant tous ces nouveaux algorithmes, cette méthode hybride est robuste et peut être étendue à des environnements de grande taille. Elle peut être utilisée pour la navigation d’un robot mobile ou d’un véhicule autonome en environnement urbain. Nous présentons des résultats expérimentaux obtenus sur des jeux de données publics acquis en milieu urbain pour démontrer l’efficacité de l’approche proposée. / In this thesis, a novel vision based hybrid mapping framework which exploits metric, topological and semantic information is presented. We aim to obtain better computational efficiency than pure metrical mapping techniques, better accuracy as well as usability for robot guidance compared to the topological mapping. A crucial step of any mapping system is the loop closure detection which is the ability of knowing if the robot is revisiting a previously mapped area. Therefore, we first propose a hierarchical loop closure detection framework which also constructs the global topological structure of our hybrid map. Using this loop closure detection module, a hybrid mapping framework is proposed in two step. The first step can be understood as a topo-metric map with nodes corresponding to certain regions in the environment. Each node in turn is made up of a set of images acquired in that region. These maps are further augmented with metric information at those nodes which correspond to image sub-sequences acquired while the robot is revisiting the previously mapped area. The second step augments this model by using road semantics. A Conditional Random Field based classification on the metric reconstruction is used to semantically label the local robot path (road in our case) as straight, curved or junctions. Metric information of regions with curved roads and junctions is retained while that of other regions is discarded in the final map. Loop closure is performed only on junctions thereby increasing the efficiency and also accuracy of the map. By incorporating all of these new algorithms, the hybrid framework presented can perform as a robust, scalable SLAM approach, or act as a main part of a navigation tool which could be used on a mobile robot or an autonomous car in outdoor urban environments. Experimental results obtained on public datasets acquired in challenging urban environments are provided to demonstrate our approach.

Proteins are chain molecules built from amino acids. The precise sequence of the 20 different types of amino acids in a protein chain defines into which structure a protein folds, and the three-dimensional structure in turn specifies the biological function of the protein. The reliable folding of proteins is a prerequisite for their robust function. Misfolding can lead to protein aggregates that cause severe diseases, such as Alzheimer's, Parkinson's, or the variant Creutzfeldt-Jakob disease. Small single-domain proteins often fold without experimentally detectable metastable intermediate states. The folding dynamics of these proteins is thought to be governed by a single transition-state barrier between the unfolded and the folded state. The transition state is highly instable and cannot be observed directly. However, mutations in which a single amino acid of the protein is substituted by another one can provide indirect access. The mutations slightly change the transition-state barrier and, thus, the folding and unfolding times of the protein. The central question is how to reconstruct the transition state from the observed changes in folding times. In this habilitation thesis, a novel method to extract structural information on transition states from mutational data is presented. The method is based on (i) the cooperativity of structural elements such as alpha-helices and beta-hairpins, and (ii) on splitting up mutation-induced free-energy changes into components for these elements. By fitting few parameters, the method reveals the degree of structure formation of alpha-helices and beta-hairpins in the transition state. In addition, it is shown in this thesis that the folding routes of small single-domain proteins are dominated by loop-closure dependencies between the structural elements. / Proteine sind Kettenmoleküle, die aus einzelnen Aminosäuren aufgebaut sind. Die genaue Sequenz der 20 verschiedenartigen Aminosäuren innerhalb der Proteinkette bestimmt dabei, in welche spezielle Struktur sich ein Protein faltet. Die dreidimensionale Struktur bestimmt wiederum die Funktion der Proteine. Doch nur korrekt gefaltet kann ein Protein seine Funktion erfüllen. Fehler bei der Faltung können zu Proteinaggregaten führen, die schwere Krankheiten wie Alzheimer, Parkinson oder das Creutzfeldt-Jakob-Syndrom hervorrufen. Viele kleine Proteine falten ohne experimentell beobachtbare metastabile Zwischenzustände. Entscheidend für die Faltungsdynamik dieser Proteine ist der Übergangszustand zwischen dem ungefalteten und gefalteten Zustand. Der Übergangszustand ist instabil und kann nicht direkt beobachtet werden. Einen indirekten Zugang ermöglichen jedoch Mutationen eines Proteins, bei denen einzelne Aminosäuren ausgetauscht werden. Die Mutationen verändern geringfügig die Übergangszustandsbarriere, und damit die Faltungs- und Entfaltungszeiten des Proteins. Die zentrale Frage ist, wie sich der Übergangszustand aus den beobachteten Änderungen der Faltungszeit rekonstruieren lässt. In dieser Habilitationsschrift wird eine neuartige Methode zur Rekonstruktion von Übergangszuständen aus Mutationsdaten vorgestellt. Die Methode beruht auf (i) der Kooperativität von Strukturelementen wie alpha-Helizes und beta-Haarnadeln, und (ii) der Aufspaltung von mutationsinduzierten Veränderungen der freien Energie in Komponenten für diese Strukturelemente. Die Modellierung der experimentellen Daten verrät, in welchem Grad alpha-Helizes and beta-Haarnadeln im Übergangszustand strukturiert sind. Zudem wird in dieser Habilitationsschrift gezeigt, dass die Faltungswege vieler kleiner Proteine durch Schleifenschließungsbeziehungen zwischen den Strukturelementen dominiert werden.

The major part of this thesis has been devoted to path and motion generation synthesis of spatial mechanisms. For the first time kinematic synthesis methods have been developed based on the algebra of exponential rotation matrices. Besides modeling spatial pairs such as spheric, cylindric and Hook&#039 / s joints by combinations of revolute and prismatic joints and applying Denavit-Hartenberg&#039 / s convention, general loop closure equations have been presented for path and motion generation synthesis of any spatial mechanism with lower kinematic pairs. In comparison to the existing synthesis methods the main advantage of the methods presented in this thesis is that, general loop closure equations have been presented for any kind of spatial mechanism with lower kinematic pairs. Besides these methods enable the designer to benefit the advantages of the algebra of exponential rotation matrices. In order to verify the applicability of the synthesis methods presented in this thesis, the general loop closure equations of RSHR, RCCR and RSSR-SC mechanisms have been determined and then using these equations six numerical examples have been solved. Some tables have been presented based on the determined loop closure equations which reveal useful information about the number of precision points or positions that can be considered for the kinematic synthesis of the above mentioned mechanisms and the number of free parameters. In numerical examples, the mechanisms have been synthesized based on the general loop closure equations and the synthesis algorithms presented in the thesis. Although in some cases semi-analytical solutions have been obtained, in most of the cases, the loop closure equations were solved by computer programs written by Mathcad. The input angle-output angle diagrams drawn at the end of each numerical example illustrate the motion continuity of the mechanisms and that branching has been avoided. Detailed information has been given about the computer programs and the difficulties which may arise while synthesizing spatial mechanisms. In addition to the above mentioned points, a mobility analysis has been done for the RCCR mechanism and some inequalities have been obtained in terms of the link lengths. The swing angle diagram of the RCCR linkage has been drawn too.

Le travail de thèse présenté dans ce mémoire a permis le développement d’une nouvelle méthode de détection de boucles dans la trajectoire d’un robot mobile. Celle-ci se base, contrairement à celles existantes, sur l’utilisation de données proprioceptives et est ainsi totalement découplée des problématiques de localisation et cartographie auxquelles elle est généralement associée. L’utilisation de l’analyse par intervalles a permis, dans notre contexte de mesures à erreurs bornées, de calculer deux temps pour lesquels la position du robot est identique alors qu’un mouvement significatif a pu être observé entre ces deux instants. La méthode est automatique et ne nécessite que la connaissance des équations d’état du robot ainsi que les mesures de vitesse effectuées au cours de sa mission. Les résultats de l’algorithme sur données réelles, issues d’une expérience effectuée en milieu sous-marin, sont très satisfaisants et ont permis de prouver l’existence et l’unicité de plus de la moitié des boucles observées dans la trajectoire du robot. / The work presented in this thesis deals with a new method for loop detection in the trajectory of a mobile robot. It is based on the use of proprioceptive measures, whereas other methods use exteroceptive measures. This makes this method totally independent from the simultaneous localisation and mapping problems that they are generally coupled with. The use of interval analysis allowed us, in this bounded error context, to compute two instants for which the position of the robot is identical although a significant movement has been observed between these moments. The method is automatic and only requires the knowledge of the state equations of the robot as well as the velocity measures carried out during its mission. The results of the true data algorithm, derived from an experiment carried out underwater, are very satisfactory and made it possible to prove the existence and uniqueness of more than half of the loops observed in the trajectory of the robot.

No description available.

Dans plusieurs tâches de la robotique, la vision est considérée comme l’élément essentiel avec lequel la perception de l’environnement ou l’interaction avec d’autres utilisateurs peut se réaliser. Néanmoins, les artefacts potentiellement présents dans les images capturées rendent la tâche de reconnaissance et d’interprétation de l’information visuelle extrêmement compliquée. Il est de ce fait, très important d’utiliser des primitives robustes, stables et ayant un taux de répétabilité élevé afin d’obtenir de bonnes performances. Cette thèse porte sur les problèmes de localisation et de détection de fermeture de boucle d’un robot mobile en utilisant la saillance visuelle. Les résultats en termes de précision et d’efficacité des applications de localisation et de détection de fermeture sont évalués et comparés aux résultats obtenus avec des approches de l’état de l’art sur différentes séquences d’images acquises en milieu extérieur. Le principal inconvénient avec les modèles proposés pour l’extraction de zones de saillance est leur complexité de calcul, ce qui conduit à des temps de traitement important. Afin d’obtenir un traitement en temps réel, nous présentons dans ce mémoire l’implémentation du détecteur de régions saillantes sur la plate forme reconfigurable DreamCam. / In several tasks of robotics, vision is considered to be the essential element by which the perception of the environment or the interaction with other users can be realized. However, the potential artifacts in the captured images make the task of recognition and interpretation of the visual information extremely complicated. It is therefore very important to use robust, stable and high repeatability rate primitives to achieve good performance. This thesis deals with the problems of localization and loop closure detection for a mobile robot using visual saliency. The results in terms of accuracy and efficiency of localization and closure detection applications are evaluated and compared to the results obtained with the approaches provided in literature, both applied on different sequences of images acquired in outdoor environnement. The main drawback with the models proposed for the extraction of salient regions is their computational complexity, which leads to significant processing time. To obtain a real-time processing, we present in this thesis also the implementation of the salient region detector on the reconfigurable platform DreamCam.