This dissertation presents controller design methodologies for a formation of cooperative mobile robots to perform trajectory tracking and convoy protection tasks. Two major problems related to multi-agent formation control are addressed, namely the time-delay and optimality problems. For the task of trajectory tracking, a leader-follower based system structure is adopted for the controller design, where the selection criteria for controller parameters are derived through analyses of characteristic polynomials. The resulting parameters ensure the stability of the system and overcome the steady-state error as well as the oscillation behavior under time-delay effect. In the convoy protection scenario, a decentralized coordination strategy for balanced deployment of mobile robots is first proposed. Based on this coordination scheme, optimal controller parameters are generated in both centralized and decentralized fashion to achieve dynamic convoy protection in a unified framework, where distributed optimization technique is applied in the decentralized strategy. This unified framework takes into account the motion of the target to be protected, and the desired system performance, for instance, minimal energy to spend, equal inter-vehicle distance to keep, etc. Both trajectory tracking and convoy protection tasks are demonstrated through simulations and real-world hardware experiments based on the robotic equipment at Department of Computer Science VII, University of Würzburg. / Diese Dissertation handelt sich um Controller Entwurfsmethoden für eine Bildung von kooperativen mobile Roboter auf Bahnverfolgung und Konvoischutz Aufgaben. Zwei große Probleme zu Multi-Agenten-Formation Steuerung werden angesprochen, nämlich die Zeitverzögerung und Optimalitätsprobleme. Für die Aufgabe der Bahnverfolgung wird eine Leader-Follower-basiertes System für den Reglerentwurf angenommen, in dem die Auswahlkriterien für die Reglerparameter durch Analysen von charakteristischen Polynome abgeleitet werden. Die herauskommenden Parameter sorgen für die Stabilität des Systems und vermeiden die Steady-State Fehler sowie das Schwingungsverhalten unter Zeitverzögerungseffekt. In der Konvoischutz Szenario wird eine dezentrale Koordinationsstrategie zur ausgewogenen Einsatz mobiler Roboter zum ersten Mal vorgeschlagen. Auf der Grundlage dieser Abstimmungsschema werden optimale Reglerparameter in zentrale und dezentrale Weise für den dynamischen Konvoischutz in einem einheitlichen Rahmen erzeugt, in dem verteilten Optimierungstechnik in der dezentralen Strategie angewendet ist. Diese einheitlichen Rahmen berücksichtigt die Bewegung des zuschützenden Ziels, und die gewünschte Systemleistung, zum Beispiel, einen minimalen ausgegebene Energie, und einen gleichen Zwischenfahrzeugabstand, usw. Die Aufgaben der Bahnverfolgung und des Konvoischutzes werden durch Simulationen und realen Hardware-Experimente auf der Basis der Roboterausrüstungen am Institut für Informatik VII, Universität Würzburg demonstriert.

3D point clouds are a de facto standard for 3D documentation and modelling. The advances in laser scanning technology broadens the usability and access to 3D measurement systems. 3D point clouds are used in many disciplines such as robotics, 3D modelling, archeology and surveying. Scanners are able to acquire up to a million of points per second to represent the environment with a dense point cloud. This represents the captured environment with a very high degree of detail. The combination of laser scanning technology with photography adds color information to the point clouds. Thus the environment is represented more realistically. Full 3D models of environments, without any occlusion, require multiple scans. Merging point clouds is a challenging process. This thesis presents methods for point cloud registration based on the panorama images generated from the scans. Image representation of point clouds introduces 2D image processing methods to 3D point clouds. Several projection methods for the generation of panorama maps of point clouds are presented in this thesis. Additionally, methods for point cloud reduction and compression based on the panorama maps are proposed. Due to the large amounts of data generated from the 3D measurement systems these methods are necessary to improve the point cloud processing, transmission and archiving. This thesis introduces point cloud processing methods as a novel framework for the digitisation of archeological excavations. The framework replaces the conventional documentation methods for excavation sites. It employs point clouds for the generation of the digital documentation of an excavation with the help of an archeologist on-site. The 3D point cloud is used not only for data representation but also for analysis and knowledge generation. Finally, this thesis presents an autonomous indoor mobile mapping system. The mapping system focuses on the sensor placement planning method. Capturing a complete environment requires several scans. The sensor placement planning method solves for the minimum required scans to digitise large environments. Combining this method with a navigation system on a mobile robot platform enables it to acquire data fully autonomously. This thesis introduces a novel hole detection method for point clouds to detect obscured parts of a captured environment. The sensor placement planning method selects the next scan position with the most coverage of the obscured environment. This reduces the required number of scans. The navigation system on the robot platform consist of path planning, path following and obstacle avoidance. This guarantees the safe navigation of the mobile robot platform between the scan positions. The sensor placement planning method is designed as a stand alone process that could be used with a mobile robot platform for autonomous mapping of an environment or as an assistant tool for the surveyor on scanning projects. / 3D-Punktwolken sind der de facto Standard bei der Dokumentation und Modellierung in 3D. Die Fortschritte in der Laserscanningtechnologie erweitern die Verwendbarkeit und die Verfügbarkeit von 3D-Messsystemen. 3D-Punktwolken werden in vielen Disziplinen verwendet, wie z.B. in der Robotik, 3D-Modellierung, Archäologie und Vermessung. Scanner sind in der Lage bis zu einer Million Punkte pro Sekunde zu erfassen, um die Umgebung mit einer dichten Punktwolke abzubilden und mit einem hohen Detaillierungsgrad darzustellen. Die Kombination der Laserscanningtechnologie mit Methoden der Photogrammetrie fügt den Punktwolken Farbinformationen hinzu. Somit wird die Umgebung realistischer dargestellt. Vollständige 3D-Modelle der Umgebung ohne Verschattungen benötigen mehrere Scans. Punktwolken zusammenzufügen ist eine anspruchsvolle Aufgabe. Diese Arbeit stellt Methoden zur Punktwolkenregistrierung basierend auf aus den Scans erzeugten Panoramabildern vor. Die Darstellung einer Punktwolke als Bild bringt Methoden der 2D-Bildverarbeitung an 3D-Punktwolken heran. Der Autor stellt mehrere Projektionsmethoden zur Erstellung von Panoramabildern aus 3D-Punktwolken vor. Außerdem werden Methoden zur Punktwolkenreduzierung und -kompression basierend auf diesen Panoramabildern vorgeschlagen. Aufgrund der großen Datenmenge, die von 3D-Messsystemen erzeugt wird, sind diese Methoden notwendig, um die Punktwolkenverarbeitung, -übertragung und -archivierung zu verbessern. Diese Arbeit präsentiert Methoden der Punktwolkenverarbeitung als neuartige Ablaufstruktur für die Digitalisierung von archäologischen Ausgrabungen. Durch diesen Ablauf werden konventionellen Methoden auf Ausgrabungsstätten ersetzt. Er verwendet Punktwolken für die Erzeugung der digitalen Dokumentation einer Ausgrabung mithilfe eines Archäologen vor Ort. Die 3D-Punktwolke kommt nicht nur für die Anzeige der Daten, sondern auch für die Analyse und Wissensgenerierung zum Einsatz. Schließlich stellt diese Arbeit ein autonomes Indoor-Mobile-Mapping-System mit Fokus auf der Positionsplanung des Messgeräts vor. Die Positionsplanung bestimmt die minimal benötigte Anzahl an Scans, um großflächige Umgebungen zu digitalisieren. Kombiniert mit einem Navigationssystem auf einer mobilen Roboterplattform ermöglicht diese Methode die vollautonome Datenerfassung. Diese Arbeit stellt eine neuartige Erkennungsmethode für Lücken in Punktwolken vor, um verdeckte Bereiche der erfassten Umgebung zu bestimmen. Die Positionsplanung bestimmt als nächste Scanposition diejenige mit der größten Abdeckung der verdeckten Umgebung. Das Navigationssystem des Roboters besteht aus der Pfadplanung, der Pfadverfolgung und einer Hindernisvermeidung um eine sichere Fortbewegung der mobilen Roboterplattform zwischen den Scanpositionen zu garantieren. Die Positionsplanungsmethode wurde als eigenständiges Verfahren entworfen, das auf einer mobilen Roboterplattform zur autonomen Kartierung einer Umgebung zum Einsatz kommen oder einem Vermesser bei einem Scanprojekt als Unterstützung dienen kann.

Imagine a technology that automatically creates a full 3D thermal model of an environment and detects temperature peaks in it. For better orientation in the model it is enhanced with color information. The current state of the art for analyzing temperature related issues is thermal imaging. It is relevant for energy efficiency but also for securing important infrastructure such as power supplies and temperature regulation systems. Monitoring and analysis of the data for a large building is tedious as stable conditions need to be guaranteed for several hours and detailed notes about the pose and the environment conditions for each image must be taken. For some applications repeated measurements are necessary to monitor changes over time. The analysis of the scene is only possible through expertise and experience. This thesis proposes a robotic system that creates a full 3D model of the environment with color and thermal information by combining thermal imaging with the technology of terrestrial laser scanning. The addition of a color camera facilitates the interpretation of the data and allows for other application areas. The data from all sensors collected at different positions is joined in one common reference frame using calibration and scan matching. The first part of the thesis deals with 3D point cloud processing with the emphasis on accessing point cloud data efficiently, detecting planar structures in the data and registering multiple point clouds into one common coordinate system. The second part covers the autonomous exploration and data acquisition with a mobile robot with the objective to minimize the unseen area in 3D space. Furthermore, the combination of different modalities, color images, thermal images and point cloud data through calibration is elaborated. The last part presents applications for the the collected data. Among these are methods to detect the structure of building interiors for reconstruction purposes and subsequent detection and classification of windows. A system to project the gathered thermal information back into the scene is presented as well as methods to improve the color information and to join separately acquired point clouds and photo series. A full multi-modal 3D model contains all the relevant geometric information about the recorded scene and enables an expert to fully analyze it off-site. The technology clears the path for automatically detecting points of interest thereby helping the expert to analyze the heat flow as well as localize and identify heat leaks. The concept is modular and neither limited to achieving energy efficiency nor restricted to the use in combination with a mobile platform. It also finds its application in fields such as archaeology and geology and can be extended by further sensors. / Man stelle sich eine Technologie vor, die automatisch ein vollständiges 3D-Thermographiemodell einer Umgebung generiert und Temperaturspitzen darin erkennt. Zur besseren Orientierung innerhalb des Modells ist dieses mit Farbinformationen erweitert. In der Analyse temperaturrelevanter Fragestellungen sind Thermalbilder der Stand der Technik. Darunter fallen Energieeffizienz und die Sicherung wichtiger Infrastruktur, wie Energieversorgung und Systeme zur Temperaturregulierung. Die Überwachung und anschließende Analyse der Daten eines großen Gebäudes ist aufwändig, da über mehrere Stunden stabile Bedingungen garantiert und detaillierte Aufzeichnungen über die Aufnahmeposen und die Umgebungsverhältnisse für jedes Wärmebild erstellt werden müssen. Einige Anwendungen erfordern wiederholte Messungen, um Veränderungen über die Zeit zu beobachten. Eine Analyse der Szene ist nur mit Erfahrung und Expertise möglich. Diese Arbeit stellt ein Robotersystem vor, das durch Kombination von Thermographie mit terrestrischem Laserscanning ein vollständiges 3D Modell der Umgebung mit Farb- und Temperaturinformationen erstellt. Die ergänzende Farbkamera vereinfacht die Interpretation der Daten und eröffnet weitere Anwendungsfelder. Die an unterschiedlichen Positionen aufgenommenen Daten aller Sensoren werden durch Kalibrierung und Scanmatching in einem gemeinsamen Bezugssystem zusammengefügt. Der erste Teil der Arbeit behandelt 3D-Punktwolkenverarbeitung mit Schwerpunkt auf effizientem Punktzugriff, Erkennung planarer Strukturen und Registrierung mehrerer Punktwolken in einem gemeinsamen Koordinatensystem. Der zweite Teil beschreibt die autonome Erkundung und Datenakquise mit einem mobilen Roboter, mit dem Ziel, die bisher nicht erfassten Bereiche im 3D-Raum zu minimieren. Des Weiteren wird die Kombination verschiedener Modalitäten, Farbbilder, Thermalbilder und Punktwolken durch Kalibrierung ausgearbeitet. Den abschließenden Teil stellen Anwendungsszenarien für die gesammelten Daten dar, darunter Methoden zur Erkennung der Innenraumstruktur für die Rekonstruktion von Gebäuden und der anschließenden Erkennung und Klassifizierung von Fenstern. Ein System zur Rückprojektion der gesammelten Thermalinformation in die Umgebung wird ebenso vorgestellt wie Methoden zur Verbesserung der Farbinformationen und zum Zusammenfügen separat aufgenommener Punktwolken und Fotoreihen. Ein vollständiges multi-modales 3D Modell enthält alle relevanten geometrischen Informationen der aufgenommenen Szene und ermöglicht einem Experten, diese standortunabhängig zu analysieren. Diese Technologie ebnet den Weg für die automatische Erkennung relevanter Bereiche und für die Analyse des Wärmeflusses und vereinfacht somit die Lokalisierung und Identifikation von Wärmelecks für den Experten. Das vorgestellte modulare Konzept ist weder auf den Anwendungsfall Energieeffizienz beschränkt noch auf die Verwendung einer mobilen Plattform angewiesen. Es ist beispielsweise auch in Feldern wie der Archäologie und Geologie einsetzbar und kann durch zusätzliche Sensoren erweitert werden.

This work is composed of three main parts: remote control of mobile systems via Internet, ad-hoc networks of mobile robots, and remote control of mobile robots via 3G telecommunication technologies. The first part gives a detailed state of the art and a discussion of the problems to be solved in order to teleoperate mobile robots via the Internet. The focus of the application to be realized is set on a distributed tele-laboratory with remote experiments on mobile robots which can be accessed world-wide via the Internet. Therefore, analyses of the communication link are used in order to realize a robust system. The developed and implemented architecture of this distributed tele-laboratory allows for a smooth access also with a variable or low link quality. The second part covers the application of ad-hoc networks for mobile robots. The networking of mobile robots via mobile ad-hoc networks is a very promising approach to realize integrated telematic systems without relying on preexisting communication infrastructure. Relevant civilian application scenarios are for example in the area of search and rescue operations where first responders are supported by multi-robot systems. Here, mobile robots, humans, and also existing stationary sensors can be connected very fast and efficient. Therefore, this work investigates and analyses the performance of different ad-hoc routing protocols for IEEE 802.11 based wireless networks in relevant scenarios. The analysis of the different protocols allows for an optimization of the parameter settings in order to use these ad-hoc routing protocols for mobile robot teleoperation. Also guidelines for the realization of such telematics systems are given. Also traffic shaping mechanisms of application layer are presented which allow for a more efficient use of the communication link. An additional application scenario, the integration of a small size helicopter into an IP based ad-hoc network, is presented. The teleoperation of mobile robots via 3G telecommunication technologies is addressed in the third part of this work. The high availability, high mobility, and the high bandwidth provide a very interesting opportunity to realize scenarios for the teleoperation of mobile robots or industrial remote maintenance. This work analyses important parameters of the UMTS communication link and investigates also the characteristics for different data streams. These analyses are used to give guidelines which are necessary for the realization of or industrial remote maintenance or mobile robot teleoperation scenarios. All the results and guidelines for the design of telematic systems in this work were derived from analyses and experiments with real hardware. / Diese Arbeit gliedert sich in drei Hauptteile: Fernsteuerung mobiler Systeme über das Internet, ad-hoc Netzwerke mobiler Roboter und Fernsteuerung mobiler Roboter über Mobilfunktechnologien der 3. Generation. Im ersten Teil werden ein ausführlicher Stand der Technik und eine Diskussion der bei der Fernsteuerung mobiler Roboter über das Internet zu lösenden Probleme gegeben. Der Fokus der zu realisierenden Anwendung in diesem Teil der Arbeit liegt auf einem verteilten Tele-Labor mit Experimenten zu mobilen Robotern, welche über das Internet weltweit zugänglich sind. Hierzu werden Link-Analysen der zugrundeliegenden Kommunikationsinfrastruktur zu Hilfe genommen, um ein robustes System zu realisieren. Die entwickelte und implementierte Architektur des verteilten Tele-Labors erlaubt einen reibungslosen Zugang auch für Verbindungen mit variabler oder schlechter Linkqualität. Im zweiten Teil werden ad-hoc Netzwerke mobiler Roboter behandelt. Die Vernetzung mobiler Roboter über mobile ad-hoc Netzwerke ist eine vielversprechende Möglichkeit um integrierte Telematiksysteme zu realisieren ohne auf zuvor existierende Infrastruktur angewiesen zu sein. Relevante Einsatzszenarien im zivilen Bereich sind zum Beispiel Such- und Rettungsszenarien, in denen die Rettungskräfte vor Ort durch vernetzte Multi-Roboter Systeme unterstütz werden. Hier werden dann mobile Roboter, Menschen und gegebenenfalls auch vorhandene stationäre Sensoren schnell und effizient vernetzt. In dieser Arbeit werden dazu verschieden ad-hoc Routing-Protokolle für IEEE 802.11 basierte Drahtlosnetzwerke in relevanten Szenarien untersucht und deren Leistungsfähigkeit verglichen. Die Analyse der verschiedenen Protokolle erlaubt eine Optimierung der Parametereinstellung, um diese ad-hoc Routing-Protokolle zur Fernsteuerung mobiler Roboter nutzbar zu machen. Weiterhin werden Richtlinien zur Realisierung solcher Telematiksysteme erarbeitet und Mechanismen zur Verkehrsformung auf Applikationsebene präsentiert, die eine effizientere Nutzung der vorhandenen Kommunikationskanäle erlauben. Als weiteres Anwendungsbeispiel ist die Integration eines ferngesteuerten Kleinhubschraubers in ein IP basiertes ad-hoc Netz beschrieben. Der dritte Teil der Arbeit beschäftigt sich mit der Fernsteuerung mobiler Roboter über Mobilfunktechnologien der 3. Generation. Die hohe Verfügbarkeit der UMTS-Technologie mit der verbundenen Mobilität und der gleichzeitigen hohen Bandbreite bietet hier eine interessante Möglichkeit um die Fernsteuerung mobiler Roboter oder auch interaktive Fernwartungsszenarien zu realisieren. In der vorliegenden Arbeit werden wichtige Parameter der UMTS Verbindung analysiert und auch die Charakteristiken der Verbindung für verschiedene Verkehrsströme ermittelt. Diese dienen dann zur Erstellung von Richtlinien, die zur Umsetzung der interaktive Fernwartungsszenarien oder auch der Fernsteuerung mobiler Roboter nötig sind. Die in dieser Arbeit erstellten Richtlinien zum Entwurf von Telematiksystemen wurden aus Analysen und Experimenten mit realer Hardware abgeleitet.

Aufgrund vieler Verbesserungen der Behandlungsmethoden im Laufe der letzten 60 Jahre, erlaubt die Strahlentherapie heutzutage präzise Behandlungen von statischen Tumoren. Jedoch birgt die Bestrahlung von sich bewegenden Tumoren noch große Herausforderungen in sich, da bewegliche Tumore oft den Behandlungsstrahl verlassen. Dabei reduziert sich die Strahlendosis im Tumor während sich diese im umliegenden gesunden Gewebe erhöht. Diese Forschungsarbeit zielt darauf ab, die Grenzen der Strahlentherapie zu erweitern, um präzise Behandlungen von beweglichen Tumoren zu ermöglichen. Der Fokus der Arbeit liegt auf der Erstellung eines Echtzeitsystems zur aktiven Kompensation von Tumorbewegungen durch robotergestützte Methoden. Während Behandlungen befinden sich Patienten auf einer Patientenliege, mit der statische Lagerungsfehler vor Beginn einer Behandlung korrigiert werden. Die in dieser Arbeit verwendete Patientenliege "HexaPOD" ist ein paralleler Manipulator mit sechs Freiheitsgraden, der große Lasten innerhalb eines eingeschränkten Arbeitsbereichs präzise positionieren kann. Obwohl der HexaPOD ursprünglich nicht für dynamische Anwendungen konzipiert wurde, wird dieser für eine dauerhafte Bewegungskompensation eingesetzt, in dem Patienten so bewegt werden, dass Tumore präzise im Zentralstrahl während der Dauer einer gesamten Behandlung verbleiben. Um ein echtzeitfähiges Kompensationssystem auf Basis des HexaPODs zu realisieren, muss eine Reihe an Herausforderungen bewältigt werden. Echtzeitaspekte werden einerseits durch die Verwendung eines harten Echtzeitbetriebssystems abgedeckt, andererseits durch die Messung und Schätzung von Latenzzeiten aller physikalischen Größen im System, z.B. Messungen der Tumor- und Atemposition. Neben der konsistenten und durchgängigen Berücksichtigung von akkuraten Zeitinformation, werden alle software-induzierten Latenzen adaptiv ausgeglichen. Dies erfordert Vorhersagen der Tumorposition in die nahe Zukunft. Zahlreiche Prädiktoren zur Atem- und Tumorpositionsvorhersage werden vorgeschlagen und anhand verschiedenster Metriken evaluiert. Erweiterungen der Prädiktionsalgorithmen werden eingeführt, die sowohl Atem- als auch Tumorpositionsinformationen fusionieren, um Vorhersagen ohne explizites Korrelationsmodell zu ermöglichen. Die Vorhersagen bestimmen den zukünftigen Bewegungspfad des HexaPODs, um Tumorbewegungen zu kompensieren. Dazu werden verschiedene Regler entwickelt, die eine Trajektorienverfolgung mit dem HexaPOD ermöglichen. Auf der Basis von linearer und nicht-linearer dynamischer Modellierung des HexaPODs mit Methoden der Systemidentifikation, wird zunächst ein modellprädiktiver Regler entwickelt. Ein zweiter Regler wird auf Basis einer Annahme über das Arbeitsprinzip des internen Reglers im HexaPOD entworfen. Schließlich wird ein dritter Regler vorgeschlagen, der beide vorhergehenden Regler miteinander kombiniert. Für jeden dieser Regler werden vergleichende Ergebnisse aus Experimenten mit realer Hardware und menschlichen Versuchspersonen präsentiert und diskutiert. Darüber hinaus wird die geeignete Wahl von freien Parametern in den Reglern vorgestellt. Neben einer präzisen Verfolgung der Referenztrajektorie spielt der Patientenkomfort eine entscheidende Rolle für die Akzeptanz des Systems. Es wird gezeigt, dass die Regler glatte Trajektorien realisieren können, um zu garantieren, dass sich Patienten wohl fühlen während ihre Tumorbewegung mit Genauigkeiten im Submillimeterbereich ausgeglichen wird. Gesamtfehler werden im Kompensationssystem analysiert, in dem diese zu Trajektorienverfolgungsfehlern und Prädiktionsfehlern in Beziehung gesetzt werden. Durch Ausnutzung von Eigenschaften verschiedener Prädiktoren wird gezeigt, dass die Startzeit des Systems bis die Verfolgung der Referenztrajektorie erreicht ist, wenige Sekunden beträgt. Dies gilt insbesondere für den Fall eines initial ruhenden HexaPODs und ohne Vorwissen über Tumorbewegungen. Dies zeigt die Eignung des Systems für die sehr kurz fraktionierten Behandlungen von Lungentumoren. Das Tumorkompensationssystem wurde ausschließlich auf Basis von klinischer Standard-Hardware entwickelt, die in vielen Behandlungsräumen zu finden ist. Durch ein einfaches und flexibles Design können Behandlungsräume in kosteneffizienter Weise um Möglichkeiten der Bewegungskompensation ergänzt werden. Darüber hinaus werden aktuelle Behandlungsmethoden wie intensitätsmodulierte Strahlentherapie oder Volumetric Modulated Arc Therapy in keiner Weise eingeschränkt. Aufgrund der Unterstützung verschiedener Kompensationsmodi kann das System auf alle beweglichen Tumore angewendet werden, unabhängig davon ob die Bewegungen vorhersagbar (Lungentumore) oder nicht vorhersagbar (Prostatatumore) sind. Durch Integration von geeigneten Methoden zur Tumorpositionsbestimmung kann das System auf einfache Weise zur Kompensation von anderen Tumoren erweitert werden. / Radiation therapy today, on account of improvements in treatment procedures over the last 60 years, allows precise treatment of static tumors inside the human body. However, irradiation of moving tumors is still a challenging task as moving tumors often leave the treatment beam and the radiation dose delivered to the tumor reduces simultaneously increasing that on healthy tissue. This research work aims to push the frontiers of radiation therapy in order to enable precise treatment of moving tumors with focus on research and development of a unique real-time system enabling active motion compensation through robotic means to compensate tumor motion. During treatment, patients lie on a treatment couch which is normally used for static position corrections of patient set-up errors prior to radiation treatment. The treatment couch used, called HexaPOD, is a parallel manipulator with six degrees of freedom which can precisely position heavy loads inside a small region. Despite the HexaPOD not initially built with dynamics in mind, it is used in this work for sustained motion compensation by moving patients such that tumors stay precisely located at the center of the treatment beam during the complete course of treatment. In order to realize real-time tumor motion compensation by means of the HexaPOD, several challanges need to be addressed. Real-time aspects are covered by the adoption of a hard real-time operation system in combination with measurement and estimation of latencies of all physical quantities in the compensation system such as tumor or breathing position measurements. Accurate timing information is respected consistently in the whole system and all software-induced latencies are adaptively compensated for. This requires knowledge of future tumor positions from predictors. Several predictors for breathing and tumor motion predictions are proposed and evaluated in terms of a variety of different performance metrics. Extensions to prediction algorithms are introduced fusing both breathing and tumor position information to allow for predictions without the need of an explicit correlation model. Predictions determine the future motion path of the HexaPOD in order to compensate for tumor motion. Several control schemes are developed to enable reference tracking for the HexaPOD. Based on linear and non-linear dynamic modelling of the HexaPOD with system identification methods, a first controller is derived in the form of a model predictive controller. A second controller is proposed based on an assumption of the working principle of the HexaPOD's internal controller. Finally, a third controller is derived as combination of the first and second one. For each of these controllers, comparative results with real hardware experiments and humans in the loop as well as choices of free parameters are presented and discussed. Apart from precise tracking, emphasis is placed on patient comfort which is of crucial importance for acceptance of the system. It is demonstrated that smooth trajectories can be realized by the controllers to guarantee that patients feel comfortable while their tumor motion is compensated at sub-millimeter accuracies. Overall errors of the system are analyzed by relating them to tracking and prediction errors. By exploiting the properties of different predictors, it is shown that the startup time until tracking is reached can be reduced to only a few seconds, even in the case of an initially at-rest HexaPOD and with no initial knowledge of tumor motion. This makes the system especially suitable for the relatively short-fractionated treatment sessions for lung tumors. The tumor motion compensation system has been developed solely based on standard clinical hardware, found in most treatment rooms. With a simple and flexible design, existing treatment can be updated in a cost-efficient way to introduce motion compensation capabilities. Simultaneously, the system does not impose any constraints on state-of-the-art treatment types such as intensity modulated radiotherapy or volumetric modulated arc therapy. Supporting different compensation modes, the system can be applied to any moving tumor whether its motion is predictable (lung tumors) or unpredictable (prostate tumors). By integration of adequate tumor position determination methods, the system can be easily extended to other tumors as well.

Die Begutachtung, der Handel und das Sammeln von Kunstgegenständen findet nicht ausschließlich analog statt. Die Firma 4ARTechnologies entwickelt Softwarelösungen für das digitale Kollektionsmanagement physischer und digitaler Kunst. Mittels Applikationen auf mobilen Endgeräten können Nutzer ihre Gemälde registrieren, authentifizieren und periodisch präzise Zustandsberichte erstellen. Die Erstellung von Zustandsberichten führt jedoch aufgrund von menschlichen Limitierungen zu Problemen in der Handhabung der Applikation und soll mithilfe eines mobilen Roboters automatisiert werden. Das Ziel dieser Arbeit ist die Entwicklung einer Navigation für einen mobilen Roboter. Diese soll folgendes Problem lösen: Lokalisierung eines Gemäldes, kollisionsfreie Annäherung und horizontal-mittige Positionierung davor. Zielplattform dieser Software ist das mobile Betriebssystem iOS. Für die Lösung wurden Verfahren der Navigation mobiler Roboter und der computergestützten Erkennung von Bildern untersucht. Die Navigationssoftware nutzt zur Zielfindung das Feature-Matching aus der OpenCV-Bibliothek. Für die Schätzung der eigenen Position werden relative Lokalisierungverfahren wie Posenverfolgung und Odometrie eingesetzt. Die Abbildung der Umgebung sowie der Bewegungsverlauf des Roboters werden auf einer topologischen Karte dargestellt. Mittels implementiertem BUG3-Algorithmus werden Hindernisse umfahren.:1. Einleitung 1.1. Problembeschreibung und thematische Abgrenzung 1.2. Aufbau Roboter 1.3. Randbedingungen und Anforderungen 2. Theoretische Grundlagen 2.1. Robotik 2.1.1. Mobile Robotik 2.2. Navigation 2.2.1. Lokalisierung 2.2.2. Kartierung 2.2.3. SLAM 2.2.4. Pfadfindung 2.2.5. Augmented Reality 2.3. Computer Vision 2.3.1. OpenCV 2.3.2. Vorlagen Erkennung 2.3.3. Template-basiertes Matching 2.3.4. Feature-basiertes Matching 3. Praktische Umsetzung 3.1. Programmablauf der Navigation 3.1.1. Verbindung mit dem Roboter 3.1.2. Initiale Exploration 3.1.3. Lokalisation und Annäherung 3.1.4. Kollisionsvermeidung 3.1.5. Zielanfahrt und Positionierung 4. Tests 4.1. Störfaktoren 5. Fazit und Ausblick 5.1. Fazit 5.2. Ausblick / The appraisal, trading and collecting of art objects does not only take place analogously. The company 4ARTechnologies develops software solutions for the digital collection management of physical and digital art. Using applications on mobile devices, users can register and authenticate their paintings and periodically create precise condition reports. The creation of condition reports leads to problems in handling the application due to human limitations and should be automated with the help of a mobile robot. The goal of this work is the development of a navigation system for a mobile robot. This should solve the following problem: Localization of a painting and the collision-free arrival and horizontal-center position in front of it. The target platform of this software is the mobile operating system iOS. Several methods, including the navigation of mobile robots and the computer-aided recognition of images were examined for the solution. The navigation software uses feature matching from the Open-CV library to find the destination. Relative localization methods such as pose tracking and odometry are used to estimate the robots own position. The environment and the movement of the robot are shown in a topological map. Obstacles are bypassed using the implemented BUG3 algorithm.:1. Einleitung 1.1. Problembeschreibung und thematische Abgrenzung 1.2. Aufbau Roboter 1.3. Randbedingungen und Anforderungen 2. Theoretische Grundlagen 2.1. Robotik 2.1.1. Mobile Robotik 2.2. Navigation 2.2.1. Lokalisierung 2.2.2. Kartierung 2.2.3. SLAM 2.2.4. Pfadfindung 2.2.5. Augmented Reality 2.3. Computer Vision 2.3.1. OpenCV 2.3.2. Vorlagen Erkennung 2.3.3. Template-basiertes Matching 2.3.4. Feature-basiertes Matching 3. Praktische Umsetzung 3.1. Programmablauf der Navigation 3.1.1. Verbindung mit dem Roboter 3.1.2. Initiale Exploration 3.1.3. Lokalisation und Annäherung 3.1.4. Kollisionsvermeidung 3.1.5. Zielanfahrt und Positionierung 4. Tests 4.1. Störfaktoren 5. Fazit und Ausblick 5.1. Fazit 5.2. Ausblick

Vector Symbolic Architectures (VSA) combine a hypervector space and a set of operations on these vectors. Hypervectors provide powerful and noise-robust representations and VSAs are associated with promising theoretical properties for approaching high-level cognitive tasks. However, a major drawback of VSAs is the lack of opportunities to learn them from training data. Their power is merely an effect of good (and elaborate) design rather than learning. We exploit high-level knowledge about the structure of reactive robot problems to learn a VSA based on training data. We demonstrate preliminary results on a simple navigation task. Given a successful demonstration of a navigation run by pairs of sensor input and actuator output, the system learns a single hypervector that encodes this reactive behaviour. When executing (and combining) such VSA-based behaviours, the advantages of hypervectors (i.e. the representational power and robustness to noise) are preserved. Moreover, a particular beauty of this approach is that it can learn encodings for behaviours that have exactly the same form (a hypervector) no matter how complex the sensor input or the behaviours are.

In this thesis, the development of a stereo camera system for an intelligent tool is presented. The task of the system is to identify and localise objects so that the tool can guide a robot. Different approaches to object detection have been implemented and evaluated and the systems ability to localise objects has been tested. The results show that the system can achieve a localisation accuracy below 5 mm.

Thermal spectrum cameras are gaining interest in many applications due to their long wavelength which allows them to operate under low light and harsh weather conditions. One disadvantage of thermal cameras is their limited visual interpretability for humans, which limits the scope of their applications. In this thesis, we try to address this problem by investigating the possibility of transforming thermal infrared (TIR) images to perceptually realistic visible spectrum (VIS) images by using Convolutional Neural Networks (CNNs). Existing state-of-the-art colorization CNNs fail to provide the desired output as they were trained to map grayscale VIS images to color VIS images. Instead, we utilize an auto-encoder architecture to perform cross-spectral transformation between TIR and VIS images. This architecture was shown to quantitatively perform very well on the problem while producing perceptually realistic images. We show that the quantitative differences are insignificant when training this architecture using different color spaces, while there exist clear qualitative differences depending on the choice of color space. Finally, we found that a CNN trained from day time examples generalizes well on tests from night time.

Training data is the bottleneck for training Convolutional Neural Networks. A larger dataset gives better accuracy though also needs longer training time. It is shown by finetuning neural networks on synthetic rendered images, that the mean average precision increases. This method was applied to two different datasets with five distinctive objects in each. The first dataset consisted of random objects with different geometric shapes. The second dataset contained objects used to assemble IKEA furniture. The neural network with the best performance, trained on 5400 images, achieved a mean average precision of 0.81 on a test which was a sample of a video sequence. Analysis of the impact of the factors dataset size, batch size, and numbers of epochs used in training and different network architectures were done. Using synthetic images to train CNN’s is a promising path to take for object detection where access to large amount of annotated image data is hard to come by.