Flugzeug- und satellitengestützte Zeilenkameras ermöglichen eine sehr ökonomische Aufnahme von hoch aufgelösten Luftbildern mit großer Schwadbreite. Eine ungleichförmige Bewegung der Kamera kann sich auf die Bildqualität auswirken. Deswegen ist es unerlässlich, schnelle Orientierungsänderungen der Kamera mit angemessener Genauigkeit und Messrate zu erfassen. Deshalb ist es unerlässlich, die Orientierung der Kamera genau zu messen, um sicher zu stellen, dass die resultierenden Bilder in einem Nachbearbeitungsschritt geometrisch korrigiert werden können. Angemessene High-End-Navigationssysteme sind groß und teuer und ihre Genauigkeit und Messrate dennoch für viele denkbare Anwendungen unzureichend. Aus diesen Gründen besteht ein großes Interesse an Methoden zur Unterstützung der Orientierungsmessung durch die Nutzung optischer Informationen vom Hauptobjektiv bzw. Teleskop. In dieser Arbeit werden zwei unterschiedliche Verfahren vorgestellt, die es erlauben, schnelle Orientierungsänderungen der Kamera auf optischem Wege zu ermitteln. Ersteres basiert auf zusätzlichen Bildsensoren mit kleiner Fläche. Der optische Fluss auf diesen Bildsensoren wird ermittelt und zur Bestimmung von Orientierungsänderungen beliebiger Fernerkundungssysteme verwendet. Das zweite Verfahren beruht ausschließlich auf den Inhalten der Zeilenbilder und der gemessenen Kameratrajektorie. Hierfür macht sich das Verfahren die typische Geometrie multispektraler Zeilenkameras zu Nutze. Zunächst werden homologe Punkte in den möglicherweise stark verzerrten Zeilenbildern unterschiedlicher Spektralbänder extrahiert. Diese Punkte werden dann dazu benutzt, die Orientierungsänderungen der Kamera zu ermitteln. Schließlich wird gezeigt, dass es möglich ist, die absolute Orientierung einer luftgestützten Zeilenkamera anhand der optisch ermittelten Orientierungsänderungen hochgenau zu ermitteln. / Airborne and spaceborne line cameras allow a very economic acquisition of high resolution and wide swath images of the Earth. They generate two-dimensional images while rotating or translating, which causes a non-rigid image geometry. Nonuniform motion of the camera can negatively affect the image quality. Due to this, a key requirement for line cameras is that fast orientation changes have to be measured with a very high rate and precision. Therefore, it is essential to measure the camera’s orientation accurately to ensure that the resulting imagery products can be geometrically corrected in a later processing step. Adequate high-end measurement systems are large and expensive and their angular and temporal resolution can be still too low for many possible applications. Due to these reasons there is great interest in approaches to support the orientation measurement by using optical information received through the main optics or telescope. In this thesis two different approaches are presented that allow the determination of a line camera’s orientation changes optically. One approach to determine fast orientation changes is based on small auxiliary frame image sensors. The optical flow on these sensors is determined and used to derive orientation changes of any remote sensing system. The second approach does not require any additional sensors to determine orientation changes. It relies only on the images of a line camera and a rough estimate of its trajectory by taking advantage of the typical geometry of multi-spectral line cameras. In a first step homologous points are detected within the distorted images of different spectral bands. These points are used to calculate the orientation changes of the camera with a high temporal and angular resolution via bundle adjustment. Finally it is shown how the absolute exterior orientation of an airborne line camera can completely be derived from the optically determined orientation changes.

This paper presents a bio-inspired approach for optical flow data interpretation based on fuzzy inference decision making for visual mobile robot navigation. The interpretation results of regionally averaged optical flow patterns with pyramid segmentation of the optical flow field deliver fuzzy topological and topographic information of the surrounding environment (topological structure from motion). It allows a topological localization in a global map as well as controlled locomotion (obstacle avoidance, goal seeking) in a changing and dynamic environment. The topological optical flow processing is embedded in a behavior based mobile robot navigation system which uses only a mono-camera as primary navigation sensor. The paper discusses the optical flow processing approach as well as the rule based fuzzy inference algorithms used. The implemented algorithms have been tested successfully with synthetic image data for a first verification and parameter tuning as well as in a real office environment with real image data.

No description available.

This paper presents a bio-inspired approach for optical flow data interpretation based on fuzzy inference decision making for visual mobile robot navigation. The interpretation results of regionally averaged optical flow patterns with pyramid segmentation of the optical flow field deliver fuzzy topological and topographic information of the surrounding environment (topological structure from motion). It allows a topological localization in a global map as well as controlled locomotion (obstacle avoidance, goal seeking) in a changing and dynamic environment. The topological optical flow processing is embedded in a behavior based mobile robot navigation system which uses only a mono-camera as primary navigation sensor. The paper discusses the optical flow processing approach as well as the rule based fuzzy inference algorithms used. The implemented algorithms have been tested successfully with synthetic image data for a first verification and parameter tuning as well as in a real office environment with real image data.

Die zunehmende Überalterung der Bevölkerung in Europa und speziell in Deutschland stellt die Gesellschaft vor große personelle und finanzielle Herausforderungen. Diese Problematik wird im Forschungsfeld Ambient Assisted Living (AAL) adressiert. AAL hat die Zielsetzung, ältere Menschen bei Aktivitäten des täglichen Lebens zu unterstützen. Ein wesentliches Element hierbei ist die Vernetzung verschiedener Systeme im Haushalt, sodass das Verhalten einer Person erfasst werden kann. Angehörige und medizinisches Personal können somit im Notfall automatisiert verständigt werden. Hierfür ist das Monitoring von Vitalparametern ein wichtiger Baustein, da damit der momentane Gesundheitszustand einer Person erfasst und analysiert werden kann. Konventionelle Systeme zur Bestimmung von Vitalparametern erfordern eine direkte Applizierung am Körper und werden häufig als störend empfunden. Verfahren, welche auf einer kontaktlosen, optischen Erkennung von Vitalparametern mittels Bildverarbeitung basieren, können diese Problematik lösen. Allerdings sind bestehende Verfahren eher ungeeignet, da sie die notwendigen Anforderungen an Genauigkeit und Robustheit nicht erfüllen. Diese Dissertation leistet einen Beitrag, um diese Lücke zu schließen und genaue, robuste Verfahren zur Bestimmung von Vitalparametern mit intelligenten Verfahren der Bildverarbeitung zu untersuchen. Hierfür werden die Vitalparameter der Herzfrequenz, der Respirationsfrequenz und der Sauerstoffsättigung analysiert. Auf Grundlage einer Quantifizierung der beiden stärksten Störquellen, der Intensitäts- und Bewegungsartefakte, wird ein neues Verfahren, die Ratio-Methode, zur Herzfrequenzbestimmung vorgestellt. Zur Beseitigung dieser beiden Störquellen wird ein weiteres Verfahren präsentiert, welches auf einem individuellen, situationsabhängigen Hautfarbenmodell, einem erweiterten KLT-Tracking, einer ICA, einer Kanalextraktion sowie einer adaptiven Filterung beruht. Aus der Evaluierung geht hervor, dass der gemittelte RMSE für alle Szenarien stets unter einer Schwelle von 3 BPM liegt. Die Ermittlung der Respirationsfrequenz im sichtbaren Wellenlängenbereich wird mit Methoden des optischen Flusses, einer PCA sowie einer FFT analysiert. Es wird gezeigt, dass sich der gemittelte RMSE für alle Testfälle unterhalb von 2,5 Atemzyklen pro Minute befindet. Als weiterer Vitalparameter wird die Sauerstoffsättigung untersucht. Dabei werden sowohl Systeme bestehend aus einer Kamera als auch aus zwei Kameras betrachtet. Neben dem sichtbaren Wellenlängenbereich wird die Vitalparameterbestimmung auch im mittleren Infrarotbereich analysiert. Die Untersuchung fokussiert sich dabei auf die Vitalparameter der Respirations- und der Herzfrequenz. Um die Einsatzfähigkeit von Vitalparametern im Bereich AAL realistisch zu evaluieren, werden Messungen in der AAL-Testwohnung der TU Chemnitz durchgeführt und analysiert. Dabei hat sich herausgestellt, dass sowohl die Herz- als auch die Respirationsfrequenz zuverlässig erfasst werden können. Zudem wird gezeigt, dass neben perspektivischen Kameras auch omnirektionale Kameras zur Bestimmung von Vitalparametern geeignet sind. In einer weiteren Untersuchung erfolgt die Analyse für die Vitalparameterbestimmung bei Dunkelheit im nahen Infrarotbereich. Neben dem Bereich AAL eröffnen sich weitere Anwendungsszenarien auf den folgenden Feldern: Fahrerüberwachung im Fahrzeug, Detektion des plötzlichen Kindstods, E-Rehabilitation und Triage im Krankenhaus. / Europe, in particular Germany, is facing the problem of a steadily ageing society. This development goes hand in hand with a higher demand for technical assistance systems, which can assist elderly people with their self-determined living. A key element is the interconnection of different systems in the home environment in order to recognise the behaviour of a person. In case of an emergency, relatives and medical personnel can be notified automatically. In order to ensure that functionality, the monitoring of vital parameters is a crucial element to determine and to analyse the health status of a person. Conventional systems that determine vital parameters require body contact and are therefore uncomfortable for the person who wars such as system. In contrast to that, contact-less optical methods based on image processing do not share these problems. However, existing methods in this field do not fulfil the requirements regarding accuracy and robustness. This thesis contributes to close this gap by investigating accurate and robust methods to determine vital parameters by means of highly sophisticated image processing techniques. To that aim, vital parameters such as the heart rate, the respiration rate and the oxygen saturation are considered. On the basis of the quantisation of intensity and motion artefacts, a new method, the so-called ratio method, is introduced to determine the heart. In order to eliminate these artefacts another method based on an individual, scene depending skin colour model, an extended KLT tracking, an ICA, a channel selection and an adaptive filtering is presented. The evaluation shows that the mean RMSE is always below a threshold of 3 BPM. The determination of the respiration rate in the visual spectrum is realised by using optical flow, a PCA and an FFT. It can be shown that the mean RMSE is below a threshold of 2.5 breath cycles per minute for all test cases. For the oxygen saturation two setups consisting of one and two cameras respectively are investigated. Determining vital parameters is not limited to the visual spectrum. It is as well feasible to analyse long-wavelength thermal images in order to determine the heart rate and the respiration rate, which was also studied in this thesis. For a realistic evaluation the developed algorithms in the field of AAL, measurements in the AAL living lab of TU Chemnitz are conducted and analysed. It can be demonstrated that the heart rate and the respiration rate can be reliably detected. Moreover, it can be shown that omni-directional cameras can be used in the home environment for vital parameter extraction. Furthermore, this thesis provides the evidence that the determination of the heart rate and the respiration rate is also possible in case of short-wavelength infrared light. Besides the field of AAL, there exist more application areas such as driver monitoring, detection of sudden infant death syndrome, e-rehabilitation or triage in hospital.

Recently, mobile robots with visual perception working in dynamic environments have been extensively investigated because this method of perception offers a large amount of environmental information. Optical flow perception is an important class of visual perception because it offers powerful perception methods and it offers both egomotion and structure from motion estimation. Especially advantageous is the fact that optical flow perception does not require a priori knowledge of the working environment and can work with minimum hardware, i.e. a mono-camera as the main navigation sensor. In this thesis, a new approach of optical flow-based perception through qualitative interpretations is developed. Compared to the classical metric approaches for optical flow perception, this approach uses much simpler arithmetic and requires less computation time because of the use of qualitative optical flow interpretations. The qualitative optical flow interpretations provide mobile robots with visual perception a more detailed image of their 3D working environment, e.g. obstacle positions and indoor object types. By using fuzzy logic for the interpretations, the optical flow perception becomes simple and intelligent in a bioinspired manner and moreover gains robustness under noisy conditions in the working environment. On the other hand, this thesis develops a generic modular structure of a behavior-based control system with three clearly separate modules for perception, motion control, and path planning. These modules are connected by simple IO interfaces. The system concept is independent of the specific type of perception. The designed behaviors are functionally classified into two separated modules, concerning collision-free motion control and goal oriented path planning. The hierarchical organization of these behaviors makes the operation of the control system more efficient and enables an easy adjustment of behaviors. Some of the behaviors use fuzzy logic concepts, which result in flexible and smooth robotic motion. Furthermore a new scheme for topological path planning in combination with fuzzy-based behaviors is developed for the goal-oriented navigation of a mobile robot. This combination allows a mobile robot to perform topological path planning in a real environment without metric information regarding its global and local positions. This enables an easy adjustment of topological path planning for different sensor perceptions or landmarks by just changing the topological map data. The performance of the optical flow-based perception embedded in the behavior-based control system with the topological path planning has been successfully tested through experiments in a real environment under most realistic conditions including relevant noise effects, e.g. unfavorable lightning conditions, non-standard objects, image processing limitations, image noise, etc. / Heutzutage werden mobile Roboter zunehmend mit Kameras ausgestattet, da diese eine Vielzahl von Informationen über die Umgebung bereitstellen. Die Perzeption mit Hilfe des optischen Flusses ist eine wichtige Methode der Bildverarbeitung, da sie eine leistungsfähige Umgebungserfassung und die Nachahmung biologisch-inspirierter Prozesse erlaubt. Dabei können sowohl Informationen zur Eigenbewegung als auch Daten über die Struktur der Umgebung gewonnen werden. Besonders vorteilhaft ist hierbei einerseits die Tatsache, dass keinerlei a-priori-Informationen über die Umwelt benötigt werden und anderseits die geringen Hardwareansprüche von Kamerasystemen. So kann beispielsweise eine einfache Monokamera als Hauptsensor zur Navigation für den mobilen Roboter verwendet werden. In der vorliegenden Arbeit wird ein neuer Ansatz zur optischen Fluss basierten Perzeption mittels qualitativer Interpretation entwickelt. Verglichen mit klassischen metrischen Methoden, arbeitet der vorgestellte Ansatz dabei mit einer simpleren Arithmetik und benötigt weniger Rechenzeit. Die qualitative Verarbeitung des optischen Flusses bietet dem Roboter ein detaillierteres Bild der dreidimensionalen Arbeitsumgebung. So können beispielsweise Hindernispositionen ermittelt und Objekttypen im Innenraum erfasst werden. Durch die Verwendung von Fuzzy-Logik bei der Interpretation der visuellen Information gestaltet sich die Umgebungserfassung mit Hilfe des optischen Flusses sehr einfach und erlaubt eine bioinspirierte intelligente Entscheidungsfindung, die auch robust gegenüber realen gestörten Umgebungsbedingungen ist. Weiterhin wird in der vorliegenden Arbeit eine generische modulare Struktur für eine verhaltensbasierte Steuerung mit drei klar getrennten Modulen für Perzeption, Bewegungssteuerung und Pfadplanung vorgestellt. Diese Module werden über einfache Schnittstellen miteinander verbunden. Dadurch ist das entstandene System auch auf andere Perzeptionsmethoden mobiler Roboter anwendbar. Die realisierten Verhaltensmuster werden dabei funktionsorientiert in zwei Module eingeordnet: Ein Modul sichert hierbei die kollisionsfreie Bewegungssteuerung, ein weiteres realisiert die zielorientierte Pfadplanung. Die hierarchische Organisation dieser Verhaltensmuster ermöglicht ein effizientes und einfaches Vorgehen bei der Modifikation der hinterlegten Eigenschaften. Dabei nutzen manche dieser Verhaltensmuster wiederum Konzepte der Fuzzy-Logik, um die Roboterbewegung so flexibel und leichtgängig zu realisieren, wie es bei biologischen Systemen der Fall ist. Für die zielorientierte Navigation eines mobilen Roboters wurde in einem dritten Schwerpunkt eine neue Methode für die topologische Pfadplanung in Kombination mit Fuzzy-Logik-basierten Verhalten entwickelt. Diese Kombination ermöglicht dem Roboter die topologische Pfadplanung in einer realen Umgebung ohne jegliche Verwendung von metrischen Informationen in Bezug auf seine Position und Orientierung. Dadurch kann die Pfadplanung durch einfache Modifikationen der topologischen Kartendaten für verschiedene Perzeptionssensoren oder Landmarkenrepräsentationen angepasst werden. Die Leistungsfähigkeit der Perzeption mittels des optischen Flusses innerhalb der verhaltensbasierten Steuerung zusammen mit der topologischen Pfadplanung wird anhand von Experimenten mit einem mobilen Roboter in einer realen Umgebung gezeigt. Dabei werden auch unterschiedlichste Bedingungen, wie sich ändernden Lichtverhältnissen, unbekannten Objekten, Einschränkungen bei der Bildverarbeitung sowie Bildrauschen berücksichtigt.

Eine Voraussetzung um einen Flugregler für Flugroboter zu realisieren, ist die Wahrnehmung der Bewegungen dieses Roboters. Diese Arbeit beschreibt einen Ansatz zur Schätzung der Bewegung eines autonomen Flugroboters unter Verwendung relativ einfacher, leichter und kostengünstiger Sensoren. Mittels eines Erweiterten Kalman Filters werden Beschleunigungssensoren, Gyroskope, ein Ultraschallsensor, sowie ein Sensor zu Messung des optischen Flusses zu einer robusten Bewegungsschätzung kombiniert. Dabei wurden die einzelnen Sensoren hinsichtlich der Eigenschaften experimentell untersucht, welche für die anschließende Erstellung des Filters relevant sind. Am Ende werden die Resultate des Filters mit den Ergebnissen einer Simulation und eines externen Tracking-Systems verglichen.

Eine Voraussetzung um einen Flugregler für Flugroboter zu realisieren, ist die Wahrnehmung der Bewegungen dieses Roboters. Diese Arbeit beschreibt einen Ansatz zur Schätzung der Bewegung eines autonomen Flugroboters unter Verwendung relativ einfacher, leichter und kostengünstiger Sensoren. Mittels eines Erweiterten Kalman Filters werden Beschleunigungssensoren, Gyroskope, ein Ultraschallsensor, sowie ein Sensor zu Messung des optischen Flusses zu einer robusten Bewegungsschätzung kombiniert. Dabei wurden die einzelnen Sensoren hinsichtlich der Eigenschaften experimentell untersucht, welche für die anschließende Erstellung des Filters relevant sind. Am Ende werden die Resultate des Filters mit den Ergebnissen einer Simulation und eines externen Tracking-Systems verglichen.

Die Stixel-Welt ist eine neuartige und vielseitig einsetzbare Zwischenrepräsentation zur effizienten Beschreibung dreidimensionaler Szenen. Heutige stereobasierte Sehsysteme ermöglichen die Bestimmung einer Tiefenmessung für nahezu jeden Bildpunkt in Echtzeit. Das erlaubt zum einen die Anwendung neuer leistungsfähiger Algorithmen, doch gleichzeitig steigt die zu verarbeitende Datenmenge und der dadurch notwendig werdende Aufwand massiv an. Gerade im Hinblick auf die limitierte Rechenleistung jener Systeme, wie sie in der videobasierten Fahrerassistenz zum Einsatz kommen, ist dies eine große Herausforderung. Um dieses Problem zu lösen, bietet die Stixel-Welt eine generische Abstraktion der Rohdaten des Sensors. Jeder Stixel repräsentiert individuell einen Teil eines Objektes im Raum und segmentiert so die Umgebung in Freiraum und Objekte. Die Arbeit stellt die notwendigen Verfahren vor, um die Stixel-Welt mittels dynamischer Programmierung in einem einzigen globalen Optimierungsschritt in Echtzeit zu extrahieren. Dieser Prozess wird durch eine Vielzahl unterschiedlicher Annahmen über unsere von Menschenhand geschaffene Umgebung gestützt. Darauf aufbauend wird ein Kalmanfilter-basiertes Verfahren zur präzisen Bewegungsschätzung anderer Objekte vorgestellt. Die Arbeit stellt umfangreiche Bewertungen der zu erwartenden Leistungsfähigkeit aller vorgestellten Verfahren an. Dafür kommen sowohl vergleichende Ansätze als auch diverse Referenzsensoren, wie beispielsweise LIDAR, RADAR oder hochpräzise Inertialmesssysteme, zur Anwendung. Die Stixel-Welt ist eine extrem kompakte Abstraktion der dreidimensionalen Umgebung und bietet gleichzeitig einfachsten Zugriff auf alle essentiellen Informationen der Szene. Infolge dieser Arbeit war es möglich, die Effizienz vieler auf der Stixel-Welt aufbauender Algorithmen deutlich zu verbessern. / The Stixel World is a novel and versatile medium-level representation to efficiently bridge the gap between pixel-based processing and high-level vision. Modern stereo matching schemes allow to obtain a depth measurement for almost every pixel of an image in real-time, thus allowing the application of new and powerful algorithms. However, it also results in a large amount of measurement data that has to be processed and evaluated. With respect to vision-based driver assistance, these algorithms are executed on highly integrated low-power processing units that leave no room for algorithms with an intense calculation effort. At the same time, the growing number of independently executed vision tasks asks for new concepts to manage the resulting system complexity. These challenges are tackled by introducing a pre-processing step to extract all required information in advance. Each Stixel approximates a part of an object along with its distance and height. The Stixel World is computed in a single unified optimization scheme. Strong use is made of physically motivated a priori knowledge about our man-made three-dimensional environment. Relying on dynamic programming guarantees to extract the globally optimal segmentation for the entire scenario. Kalman filtering techniques are used to precisely estimate the motion state of all tracked objects. Particular emphasis is put on a thorough performance evaluation. Different comparative strategies are followed which include LIDAR, RADAR, and IMU reference sensors, manually created ground truth data, and real-world tests. Altogether, the Stixel World is ideally suited to serve as the basic building block for today''s increasingly complex vision systems. It is an extremely compact abstraction of the actual world giving access to the most essential information about the current scenario. Thanks to this thesis, the efficiency of subsequently executed vision algorithms and applications has improved significantly.