For the navigation of mobile robots cheap procedures for the position and direction determination of the robot vehicle, with an accuracy from one up to some few cm - are necessary. Two novel and unique solutions with active landmarks are described. The first procedure use grid net lines, e.g. realized with some lasers placed in the room. The second procedure works with microwave transmitters as landmarks. should thereby / Für die Navigation von autonomen Fahrzeugen - z.B. eingesetzt im Bereich der Lagerlogistik - sind kostengünstige Verfahren für die Positions- und Richtungsbestimmung mit einer Genauigkeit von einem bis zu wenigen cm notwendig. Es werden 2 neuartige Verfahren hierfür vorgestellt, welche beide aktive Landmarken einsetzen. Das erste Verfahren arbeitet mit mehreren Netzlinien, welche z.B. mit Lasern im Raum aufgebaut werden. Beim zweiten Verfahren wird mit Mikrowellenlandmarken durch eine Laufzeitmessung die Positionsbestimmung ermöglicht.

Recently, mobile robots with visual perception working in dynamic environments have been extensively investigated because this method of perception offers a large amount of environmental information. Optical flow perception is an important class of visual perception because it offers powerful perception methods and it offers both egomotion and structure from motion estimation. Especially advantageous is the fact that optical flow perception does not require a priori knowledge of the working environment and can work with minimum hardware, i.e. a mono-camera as the main navigation sensor. In this thesis, a new approach of optical flow-based perception through qualitative interpretations is developed. Compared to the classical metric approaches for optical flow perception, this approach uses much simpler arithmetic and requires less computation time because of the use of qualitative optical flow interpretations. The qualitative optical flow interpretations provide mobile robots with visual perception a more detailed image of their 3D working environment, e.g. obstacle positions and indoor object types. By using fuzzy logic for the interpretations, the optical flow perception becomes simple and intelligent in a bioinspired manner and moreover gains robustness under noisy conditions in the working environment. On the other hand, this thesis develops a generic modular structure of a behavior-based control system with three clearly separate modules for perception, motion control, and path planning. These modules are connected by simple IO interfaces. The system concept is independent of the specific type of perception. The designed behaviors are functionally classified into two separated modules, concerning collision-free motion control and goal oriented path planning. The hierarchical organization of these behaviors makes the operation of the control system more efficient and enables an easy adjustment of behaviors. Some of the behaviors use fuzzy logic concepts, which result in flexible and smooth robotic motion. Furthermore a new scheme for topological path planning in combination with fuzzy-based behaviors is developed for the goal-oriented navigation of a mobile robot. This combination allows a mobile robot to perform topological path planning in a real environment without metric information regarding its global and local positions. This enables an easy adjustment of topological path planning for different sensor perceptions or landmarks by just changing the topological map data. The performance of the optical flow-based perception embedded in the behavior-based control system with the topological path planning has been successfully tested through experiments in a real environment under most realistic conditions including relevant noise effects, e.g. unfavorable lightning conditions, non-standard objects, image processing limitations, image noise, etc. / Heutzutage werden mobile Roboter zunehmend mit Kameras ausgestattet, da diese eine Vielzahl von Informationen über die Umgebung bereitstellen. Die Perzeption mit Hilfe des optischen Flusses ist eine wichtige Methode der Bildverarbeitung, da sie eine leistungsfähige Umgebungserfassung und die Nachahmung biologisch-inspirierter Prozesse erlaubt. Dabei können sowohl Informationen zur Eigenbewegung als auch Daten über die Struktur der Umgebung gewonnen werden. Besonders vorteilhaft ist hierbei einerseits die Tatsache, dass keinerlei a-priori-Informationen über die Umwelt benötigt werden und anderseits die geringen Hardwareansprüche von Kamerasystemen. So kann beispielsweise eine einfache Monokamera als Hauptsensor zur Navigation für den mobilen Roboter verwendet werden. In der vorliegenden Arbeit wird ein neuer Ansatz zur optischen Fluss basierten Perzeption mittels qualitativer Interpretation entwickelt. Verglichen mit klassischen metrischen Methoden, arbeitet der vorgestellte Ansatz dabei mit einer simpleren Arithmetik und benötigt weniger Rechenzeit. Die qualitative Verarbeitung des optischen Flusses bietet dem Roboter ein detaillierteres Bild der dreidimensionalen Arbeitsumgebung. So können beispielsweise Hindernispositionen ermittelt und Objekttypen im Innenraum erfasst werden. Durch die Verwendung von Fuzzy-Logik bei der Interpretation der visuellen Information gestaltet sich die Umgebungserfassung mit Hilfe des optischen Flusses sehr einfach und erlaubt eine bioinspirierte intelligente Entscheidungsfindung, die auch robust gegenüber realen gestörten Umgebungsbedingungen ist. Weiterhin wird in der vorliegenden Arbeit eine generische modulare Struktur für eine verhaltensbasierte Steuerung mit drei klar getrennten Modulen für Perzeption, Bewegungssteuerung und Pfadplanung vorgestellt. Diese Module werden über einfache Schnittstellen miteinander verbunden. Dadurch ist das entstandene System auch auf andere Perzeptionsmethoden mobiler Roboter anwendbar. Die realisierten Verhaltensmuster werden dabei funktionsorientiert in zwei Module eingeordnet: Ein Modul sichert hierbei die kollisionsfreie Bewegungssteuerung, ein weiteres realisiert die zielorientierte Pfadplanung. Die hierarchische Organisation dieser Verhaltensmuster ermöglicht ein effizientes und einfaches Vorgehen bei der Modifikation der hinterlegten Eigenschaften. Dabei nutzen manche dieser Verhaltensmuster wiederum Konzepte der Fuzzy-Logik, um die Roboterbewegung so flexibel und leichtgängig zu realisieren, wie es bei biologischen Systemen der Fall ist. Für die zielorientierte Navigation eines mobilen Roboters wurde in einem dritten Schwerpunkt eine neue Methode für die topologische Pfadplanung in Kombination mit Fuzzy-Logik-basierten Verhalten entwickelt. Diese Kombination ermöglicht dem Roboter die topologische Pfadplanung in einer realen Umgebung ohne jegliche Verwendung von metrischen Informationen in Bezug auf seine Position und Orientierung. Dadurch kann die Pfadplanung durch einfache Modifikationen der topologischen Kartendaten für verschiedene Perzeptionssensoren oder Landmarkenrepräsentationen angepasst werden. Die Leistungsfähigkeit der Perzeption mittels des optischen Flusses innerhalb der verhaltensbasierten Steuerung zusammen mit der topologischen Pfadplanung wird anhand von Experimenten mit einem mobilen Roboter in einer realen Umgebung gezeigt. Dabei werden auch unterschiedlichste Bedingungen, wie sich ändernden Lichtverhältnissen, unbekannten Objekten, Einschränkungen bei der Bildverarbeitung sowie Bildrauschen berücksichtigt.

Die Kartierung und Lokalisierung eines mobilen Roboters in seiner Umgebung ist eine wichtige Voraussetzung für dessen Autonomie. In dieser Arbeit wird der Einsatz eines 3D-Laserscanners zur Erfüllung dieser Aufgaben untersucht. Durch die optimierte Anordnung eines rotierenden 2D-Laserscanners werden hochauflösende Bereiche vorgegeben. Zudem wird mit Hilfe von ICP die Kartierung und Lokalisierung im Stillstand durchgeführt. Bei der Betrachtung zur Verbesserung der Bewegungsschätzung wird auch eine Möglichkeit zur Lokalisierung während der Bewegung mit 3D-Scans vorgestellt. Die vorgestellten Algorithmen werden durch Experimente mit realer Hardware evaluiert.

Die Kartierung und Lokalisierung eines mobilen Roboters in seiner Umgebung ist eine wichtige Voraussetzung für dessen Autonomie. In dieser Arbeit wird der Einsatz eines 3D-Laserscanners zur Erfüllung dieser Aufgaben untersucht. Durch die optimierte Anordnung eines rotierenden 2D-Laserscanners werden hochauflösende Bereiche vorgegeben. Zudem wird mit Hilfe von ICP die Kartierung und Lokalisierung im Stillstand durchgeführt. Bei der Betrachtung zur Verbesserung der Bewegungsschätzung wird auch eine Möglichkeit zur Lokalisierung während der Bewegung mit 3D-Scans vorgestellt. Die vorgestellten Algorithmen werden durch Experimente mit realer Hardware evaluiert.

This work aims at providing a novel camera motion estimation pipeline from large collections of unordered omnidirectional images. In oder to keep the pipeline as general and flexible as possible, cameras are modelled as unit spheres, allowing to incorporate any central camera type. For each camera an unprojection lookup is generated from intrinsics, which is called P2S-map (Pixel-to-Sphere-map), mapping pixels to their corresponding positions on the unit sphere. Consequently the camera geometry becomes independent of the underlying projection model. The pipeline also generates P2S-maps from world map projections with less distortion effects as they are known from cartography. Using P2S-maps from camera calibration and world map projection allows to convert omnidirectional camera images to an appropriate world map projection in oder to apply standard feature extraction and matching algorithms for data association. The proposed estimation pipeline combines the flexibility of SfM (Structure from Motion) - which handles unordered image collections - with the efficiency of PGO (Pose Graph Optimization), which is used as back-end in graph-based Visual SLAM (Simultaneous Localization and Mapping) approaches to optimize camera poses from large image sequences. SfM uses BA (Bundle Adjustment) to jointly optimize camera poses (motion) and 3d feature locations (structure), which becomes computationally expensive for large-scale scenarios. On the contrary PGO solves for camera poses (motion) from measured transformations between cameras, maintaining optimization managable. The proposed estimation algorithm combines both worlds. It obtains up-to-scale transformations between image pairs using two-view constraints, which are jointly scaled using trifocal constraints. A pose graph is generated from scaled two-view transformations and solved by PGO to obtain camera motion efficiently even for large image collections. Obtained results can be used as input data to provide initial pose estimates for further 3d reconstruction purposes e.g. to build a sparse structure from feature correspondences in an SfM or SLAM framework with further refinement via BA. The pipeline also incorporates fixed extrinsic constraints from multi-camera setups as well as depth information provided by RGBD sensors. The entire camera motion estimation pipeline does not need to generate a sparse 3d structure of the captured environment and thus is called SCME (Structureless Camera Motion Estimation).:1 Introduction 1.1 Motivation 1.1.1 Increasing Interest of Image-Based 3D Reconstruction 1.1.2 Underground Environments as Challenging Scenario 1.1.3 Improved Mobile Camera Systems for Full Omnidirectional Imaging 1.2 Issues 1.2.1 Directional versus Omnidirectional Image Acquisition 1.2.2 Structure from Motion versus Visual Simultaneous Localization and Mapping 1.3 Contribution 1.4 Structure of this Work 2 Related Work 2.1 Visual Simultaneous Localization and Mapping 2.1.1 Visual Odometry 2.1.2 Pose Graph Optimization 2.2 Structure from Motion 2.2.1 Bundle Adjustment 2.2.2 Structureless Bundle Adjustment 2.3 Corresponding Issues 2.4 Proposed Reconstruction Pipeline 3 Cameras and Pixel-to-Sphere Mappings with P2S-Maps 3.1 Types 3.2 Models 3.2.1 Unified Camera Model 3.2.2 Polynomal Camera Model 3.2.3 Spherical Camera Model 3.3 P2S-Maps - Mapping onto Unit Sphere via Lookup Table 3.3.1 Lookup Table as Color Image 3.3.2 Lookup Interpolation 3.3.3 Depth Data Conversion 4 Calibration 4.1 Overview of Proposed Calibration Pipeline 4.2 Target Detection 4.3 Intrinsic Calibration 4.3.1 Selected Examples 4.4 Extrinsic Calibration 4.4.1 3D-2D Pose Estimation 4.4.2 2D-2D Pose Estimation 4.4.3 Pose Optimization 4.4.4 Uncertainty Estimation 4.4.5 PoseGraph Representation 4.4.6 Bundle Adjustment 4.4.7 Selected Examples 5 Full Omnidirectional Image Projections 5.1 Panoramic Image Stitching 5.2 World Map Projections 5.3 World Map Projection Generator for P2S-Maps 5.4 Conversion between Projections based on P2S-Maps 5.4.1 Proposed Workflow 5.4.2 Data Storage Format 5.4.3 Real World Example 6 Relations between Two Camera Spheres 6.1 Forward and Backward Projection 6.2 Triangulation 6.2.1 Linear Least Squares Method 6.2.2 Alternative Midpoint Method 6.3 Epipolar Geometry 6.4 Transformation Recovery from Essential Matrix 6.4.1 Cheirality 6.4.2 Standard Procedure 6.4.3 Simplified Procedure 6.4.4 Improved Procedure 6.5 Two-View Estimation 6.5.1 Evaluation Strategy 6.5.2 Error Metric 6.5.3 Evaluation of Estimation Algorithms 6.5.4 Concluding Remarks 6.6 Two-View Optimization 6.6.1 Epipolar-Based Error Distances 6.6.2 Projection-Based Error Distances 6.6.3 Comparison between Error Distances 6.7 Two-View Translation Scaling 6.7.1 Linear Least Squares Estimation 6.7.2 Non-Linear Least Squares Optimization 6.7.3 Comparison between Initial and Optimized Scaling Factor 6.8 Homography to Identify Degeneracies 6.8.1 Homography for Spherical Cameras 6.8.2 Homography Estimation 6.8.3 Homography Optimization 6.8.4 Homography and Pure Rotation 6.8.5 Homography in Epipolar Geometry 7 Relations between Three Camera Spheres 7.1 Three View Geometry 7.2 Crossing Epipolar Planes Geometry 7.3 Trifocal Geometry 7.4 Relation between Trifocal, Three-View and Crossing Epipolar Planes 7.5 Translation Ratio between Up-To-Scale Two-View Transformations 7.5.1 Structureless Determination Approaches 7.5.2 Structure-Based Determination Approaches 7.5.3 Comparison between Proposed Approaches 8 Pose Graphs 8.1 Optimization Principle 8.2 Solvers 8.2.1 Additional Graph Solvers 8.2.2 False Loop Closure Detection 8.3 Pose Graph Generation 8.3.1 Generation of Synthetic Pose Graph Data 8.3.2 Optimization of Synthetic Pose Graph Data 9 Structureless Camera Motion Estimation 9.1 SCME Pipeline 9.2 Determination of Two-View Translation Scale Factors 9.3 Integration of Depth Data 9.4 Integration of Extrinsic Camera Constraints 10 Camera Motion Estimation Results 10.1 Directional Camera Images 10.2 Omnidirectional Camera Images 11 Conclusion 11.1 Summary 11.2 Outlook and Future Work Appendices A.1 Additional Extrinsic Calibration Results A.2 Linear Least Squares Scaling A.3 Proof Rank Deficiency A.4 Alternative Derivation Midpoint Method A.5 Simplification of Depth Calculation A.6 Relation between Epipolar and Circumferential Constraint A.7 Covariance Estimation A.8 Uncertainty Estimation from Epipolar Geometry A.9 Two-View Scaling Factor Estimation: Uncertainty Estimation A.10 Two-View Scaling Factor Optimization: Uncertainty Estimation A.11 Depth from Adjoining Two-View Geometries A.12 Alternative Three-View Derivation A.12.1 Second Derivation Approach A.12.2 Third Derivation Approach A.13 Relation between Trifocal Geometry and Alternative Midpoint Method A.14 Additional Pose Graph Generation Examples A.15 Pose Graph Solver Settings A.16 Additional Pose Graph Optimization Examples Bibliography