Current methods of robot task teaching and learning have several limitations: highly-trained personnel are usually required to teach robots specific tasks; service-robot systems are limited in learning different types of tasks utilizing the same system; and the teacher’s expertise in the task is not well exploited. A human-inspired robot-task teaching and learning method is developed in this research with the aim of allowing general users to teach different object-manipulation tasks to a service robot, which will be able to adapt its learned tasks to new task setups. The proposed method was developed to be interactive and intuitive to the user. In a closed loop with the robot, the user can intuitively teach the tasks, track the learning states of the robot, direct the robot attention to perceive task-related key state changes, and give timely feedback when the robot is practicing the task, while the robot can reveal its learning progress and refine its knowledge based on the user’s feedback. The human-inspired method consists of six teaching and learning stages: 1) checking and teaching the needed background knowledge of the robot; 2) introduction of the overall task to be taught to the robot: the hierarchical task structure, and the involved objects and robot hand actions; 3) teaching the task step by step, and directing the robot to perceive important state changes; 4) demonstration of the task in whole, and offering vocal subtask-segmentation cues in subtask transitions; 5) robot learning of the taught task using a flexible vote-based algorithm to segment the demonstrated task trajectories, a probabilistic optimization process to assign obtained task trajectory episodes (segments) to the introduced subtasks, and generalization of the taught task trajectories in different reference frames; and 6) robot practicing of the learned task and refinement of its task knowledge according to the teacher’s timely feedback, where the adaptation of the learned task to new task setups is achieved by blending the task trajectories generated from pertinent frames. An agent-based architecture was designed and developed to implement this robot-task teaching and learning method. This system has an interactive human-robot teaching interface subsystem, which is composed of: a) a three-camera stereo vision system to track user hand motion; b) a stereo-camera vision system mounted on the robot end-effector to allow the robot to explore its workspace and identify objects of interest; and c) a speech recognition and text-to-speech system, utilized for the main human-robot interaction. A user study involving ten human subjects was performed using two tasks to evaluate the system based on time spent by the subjects on each teaching stage, efficiency measures of the robot’s understanding of users’ vocal requests, responses, and feedback, and their subjective evaluations. Another set of experiments was done to analyze the ability of the robot to adapt its previously learned tasks to new task setups using measures such as object, target and robot starting-point poses; alignments of objects on targets; and actual robot grasp and release poses relative to the related objects and targets. The results indicate that the system enabled the subjects to naturally and effectively teach the tasks to the robot and give timely feedback on the robot’s practice performance. The robot was able to learn the tasks as expected and adapt its learned tasks to new task setups. The robot properly refined its task knowledge based on the teacher’s feedback and successfully applied the refined task knowledge in subsequent task practices. The robot was able to adapt its learned tasks to new task setups that were considerably different from those in the demonstration. The alignments of objects on the target were quite close to those taught, and the executed grasping and releasing poses of the robot relative to objects and targets were almost identical to the taught poses. The robot-task learning ability was affected by limitations of the vision-based human-robot teleoperation interface used in hand-to-hand teaching and the robot’s capacity to sense its workspace. Future work will investigate robot learning of a variety of different tasks and the use of more robot in-built primitive skills.

Interventional magnetic resonance imaging (MRI) aims at performing minimally invasive percutaneous interventions, such as tumor ablations and biopsies, under MRI guidance. During such interventions, the acquired MR image planes are typically aligned to the surgical instrument (needle) axis and to surrounding anatomical structures of interest in order to efficiently monitor the advancement in real-time of the instrument inside the patient's body. Object tracking inside the MRI is expected to facilitate and accelerate MR-guided interventions by allowing to automatically align the image planes to the surgical instrument. In this PhD thesis, an image-based workflow is proposed and refined for automatic image plane alignment. An automatic tracking workflow was developed, performing detection and tracking of a passive marker directly in clinical real-time images. This tracking workflow is designed for fully automated image plane alignment, with minimization of tracking-dedicated time. Its main drawback is its inherent dependence on the slow clinical MRI update rate. First, the addition of motion estimation and prediction with a Kalman filter was investigated and improved the workflow tracking performance. Second, a complementary optical sensor was used for multi-sensor tracking in order to decouple the tracking update rate from the MR image acquisition rate. Performance of the workflow was evaluated with both computer simulations and experiments using an MR compatible testbed. Results show a high robustness of the multi-sensor tracking approach for dynamic image plane alignment, due to the combination of the individual strengths of each sensor.

The mission of the research presented in this thesis is to give computers the power to sense and react to human activities. Without the ability to sense the surroundings and understand what humans are doing, computers will not be able to provide active, timely, appropriate, and considerate services to the humans. To accomplish this mission, the work stands on the shoulders of two giants: Machine learning and ubiquitous computing. Because of the ubiquity of sensor-enabled mobile and wearable devices, there has been an emerging opportunity to sense, learn, and infer human activities from the sensor data by leveraging state-of-the-art machine learning algorithms. While having shown promising results in human activity recognition, most existing approaches using supervised or semi-supervised learning have two fundamental problems. Firstly, most existing approaches require a large set of labeled sensor data for every target class, which requires a costly effort from human annotators. Secondly, an unseen new activity cannot be recognized if no training samples of that activity are available in the dataset. In light of these problems, a new approach in this area is proposed in our research. This thesis presents our novel approach to address the problem of human activity recognition when few or no training samples of the target activities are available. The main hypothesis is that the problem can be solved by the proposed NuActiv activity recognition framework, which consists of modeling the hierarchical and sequential structure of human activities, as well as bringing humans in the loop of model training. By injecting human knowledge about the hierarchical nature of human activities, a semantic attribute representation and a two-layer attribute-based learning approach are designed. To model the sequential structure, a probabilistic graphical model is further proposed to take into account the temporal dependency of activities and attributes. Finally, an active learning algorithm is developed to reinforce the recognition accuracy using minimal user feedback. The hypothesis and approaches presented in this thesis are validated by two case studies and real-world experiments on exercise activities and daily life activities. Experimental results show that the NuActiv framework can effectively recognize unseen new activities even without any training data, with up to 70-80% precision and recall rate. It also outperforms supervised learning with limited labeled data for the new classes. The results significantly advance the state of the art in human activity recognition, and represent a promising step towards bridging the gap between computers and humans.

Bei der Entwicklung neuartiger und innovativer Fahrerassistenzsysteme kommt der Positions- und Ausrichtungsbestimmung von Fahrzeugen eine Schlüsselrolle zu. Dabei entscheidet die Güte der Positionsbestimmung über die Qualität, die Robustheit und den Einsatzbereich des Gesamtsystems. Verbesserungen in der Positionsbestimmung führen zu einer besseren Performanz bzw. sind die Grundvoraussetzung für die Realisierung dieser Fahrerassistenzsysteme. Ein Beispiel für solch ein neuartiges Fahrerassistenzsystem, welches auf eine hochgenaue Positionsbestimmung baut, ist der BMW TrackTrainer. Dieses Assistenzsystem soll den "normalgeübten" Autofahrer beim schnellen Erlernen der Ideallinie auf Rennstrecken unterstützen, indem das Fahrzeug die Rennstrecke völlig autonom auf einer vorher aufgezeichneten Ideallinie umrundet, während der Teilnehmer sich die Strecke aus Fahrerperspektive einprägt. Für die Realisierung eines derartigen Assistenzsystems ist eine hochgenaue Positionsbestimmung im cm-Bereich notwendig. Bisher wurde dafür eine GPS-gestützte Inertialplattform eingesetzt, welche unter guten GPS-Empfangsbedingungen die Anforderungen an die Positionierung erfüllt. Bei schlechten GPS-Empfangsbedingungen, wie sie beispielsweise auf der international bekannten Rennstrecke Nürburgring Nordschleife aufgrund von Verdeckung und Abschattung der Satellitensignale durch stark bebautes oder bewaldetes Gebiet auftreten, liefert das Positionierungssystem keine ausreichend genauen Werte, wodurch das autonome Fahren verhindert wird. Zwar gibt es neben GPS auch weitere Positionsbestimmungssysteme, die aber für den Einsatz auf Rennstrecken entweder zu ungenau sind, oder einen zu hohen Rüstaufwand erfordern würden. Um diese Lücke zu schließen, wurde im Rahmen dieser Arbeit ein hochgenaues Positionsbestimmungssystem entwickelt und evaluiert, welches auch unter schlechten GPS-Empfangsbedingungen den Anforderungen des autonomen Fahren auf Rennstrecken genügt und auf einer Fusion verschiedener Signalquellen in einem Positionsfilter beruht. Folgende Signalquellen wurden hinsichtlich Genauigkeit sowie Praxistauglichkeit für den Einsatz auf Rennstrecken experimentell untersucht: - GPS-gestützte Inertialplattform (GPS/INS) - Fahrzeugsensoren mit erweitertem Fahrzeugmodell - Digitaler Kompass - Laser-Reflexlichtschranken - Servo-Tachymeter - LIDAR-basierte Randbebauungserkennung - Videobasierte Spurerkennung - Digitale Karte. Obwohl eine GPS-gestützte Inertialplattform (GPS/INS) unter schlechten GPS-Empfangsbedingungen keine ausreichend genauen Positionswerte im cm-Bereich liefert, besitzt dieses System dennoch eine hohe Robustheit und Langzeitstabilität und stellt damit eine sehr gute Grundlage für die Positionsbestimmung auf Rennstrecken dar. Fahrzeugsensoren, bestehend aus Raddrehzahl- und Gierratensensor, schreiben die Fahrzeugposition mit Hilfe der Koppelnavigationsgleichung relativ für ca. 10s ohne eine Messung absoluter Positionswerte fort. Um die bestehenden Genauigkeitsanforderungen zu erfüllen, muss jedoch ab einer Geschwindigkeit von 30km/h das Fahrzeugmodell um eine Schwimmwinkelschätzung erweitert werden. Ein digitaler Kompass eignet sich nachweislich nicht für die Positionsbestimmung auf Rennstrecken. Hier treten aufgrund von magnetischen Interferenzen zu große Messfehler der Fahrzeugausrichtung auf, die eine Positionsstützung ungeeignet machen. Bei Referenzmessungen mit einem Servo-Tachymeter konnte die geforderte Genauigkeit dieser Messeinrichtung bei Fahrzeuggeschwindigkeiten kleiner 30km/h nachgewiesen werden. Bei höheren Geschwindigkeiten liefert das System jedoch keine Ergebnisse, was den Einsatz auf Rennstrecken ausschließt. Auf den Boden gerichtete Laser-Reflexlichtschranken können sehr präzise die Überfahrt über eine Bodenmarkierung detektieren. Da diese Überfahrten beim autonomen Fahren auf Rennstrecken nur sehr selten auftreten, ist diese Positionierungsmethode nicht geeignet. Mit Hilfe einer LIDAR-basierten Randbebauungserkennung kann die Fahrzeugposition in Kombination mit einer hochgenauen digitalen Karte der Randbebauung auf ca. 20-30cm genau geschätzt werden. Schwierigkeiten bereiten hier jedoch Unregelmäßigkeiten in der Geometrie der Randbebauung. Während parallel verlaufende Leitplanken neben der Strecke sehr gut erfasst werden können, liefern Sträucher, Erdwälle, etc. ungenaue Messergebnisse. Somit ist die LIDAR-basierte Randbebauungserkennung ein bedingt geeignetes System zur Positionsstützung auf Rennstrecken. Als vielversprechendster Ansatz zur Verbesserung der Positions- und Ausrichtungsbestimmung auf Rennstrecken konnte der Einsatz einer visuellen Spurerkennung in Verbindung mit einer hochgenauen digitalen Karte der Spurmarkierungen identifiziert werden. Hierfür wurde eine sich in Vorserie befindliche Bildverarbeitungseinheit der Firma MobileEye mit einer eigens entwi-ckelten Spurerkennung verglichen. Letztere bietet den Vorteil, Systemwissen über den Verlauf der Fahrspurmarkierung sowie negative Effekte der Fahrzeugeigendynamik mit in den Signalver-arbeitungsprozess einfließen zu lassen. Bei Vergleichsfahrten auf dem BMW eigenem Testgelände in Aschheim konnte der Vorteil der Spurdatenrückführung nachgewiesen werden. Die erwei-terte Spurerkennung hatte nachweislich gegenüber der Vorserienbildverarbeitung eine höhere Verfügbarkeit von gültigen Messwerten. Bei Messfahrten auf der Nordschleife stellte sich jedoch das Vorseriensystem von MobileEye als das deutlich robustere Spurerkennungssystem heraus. Hier führten verschmutzte Fahrbahnmarkierungen, schnell wechselnde Lichtverhältnisse sowie sonstige Straßenbeschriftungen dazu, dass die erweiterte Spurerkennung weitaus weniger gültige Messwerte lieferte als das Vorseriensystem. Aus diesem Grund fiel für Fahrten mit schlechten visuellen Bedingungen die Wahl auf das Vorserienbildverarbeitungssystem. Für den Entwurf des Positionsfilters wurden letztlich folgende Signalquellen verwendet: - GPS-gestützte Inertialplattform (GPS/INS) - Fahrzeugsensoren mit erweitertem Fahrzeugmodell - Videobasierte Spurerkennung in Kombination mit einer selbst aufgezeichneten hochge-nauen Karte der Spurmarkierungen der Teststrecke. Als Fusionsalgorithmus wurde ein erweiterter Kalman-Filter eingesetzt, da sich dieser besonders für die Zusammenführung unterschiedlicher Sensormessdaten eignet. Um eine optimale Zustandsschätzung der Fahrzeugposition und Ausrichtung zu erhalten, mussten die verwendeten Signalquellen zunächst zeitlich synchronisiert sowie auf Plausibilität geprüft werden. Als Synchronisationspunkt wurde der Messzeitpunkt der Signalquelle mit der größten Latenz verwendet. Dieser wurde mit 163ms durch für die videobasierte Spurerkennung bestimmt. Da jedoch eine verzögerte Positionsschätzung für eine stabile Reglung des Fahrzeugs für das autonome Fahren ungenügend ist, wurde die geschätzte Fahrzeugposition am Ausgang des Kalman-Filters mit Hilfe der Koppelnavigationsgleichung sowie der Fahrzeugsensoren auf den aktuellen Zeitpunkt (Latenz = 0s) prädiziert. Für die Detektion systematischer Fehler wie Radschlupf, falsch erkannte Spurmarkierung und GPS-Mehrwegeausbreitung kamen robuste Signalplausibilisierungsalgorithmen zum Einsatz. So erfolgte die Plausibilisierung der Spurerkennung unter anderem über die selbst aufgezeichnete hochgenaue Karte der Spurmarkierungen, da eine Spurerkennung nur da sinnvoll ist, wo Spurmarkierungsstützpunkte in hinterlegt sind. Für die Gültigkeitsüberprüfung der GPS-Messwerte wurde ein GPS-Offset-Beobachter entwickelt und angewendet. Die Evaluierung des entwickelten Positionsfilters wurde im Rahmen der Arbeit am Beispiel des BMW TrackTrainers auf drei ausgewählten Teststrecken mit steigendem Schwierigkeitsniveau (Verschlechterung der GPS-Empfangsbedingungen) durchgeführt. Hierfür wurde die in Echtzeit geschätzte Fahrzeugposition mit einer durch Post-Processing korrigierten Positionslösung referenziert. Die Auswertung der Ergebnisse bewies, dass der entwickelte Positionsfilter durch die Fusion einer GPS-gestützten Inertialplattform, den Fahrzeugsensoren zur Messung von Gierrate und Raddrehzahlen sowie einer visuellen Spurerkennung in Kombination mit einer hochgenauen Karte der Fahrspurmarkierungen die Anforderungen des autonomen Fahrens auch unter schlechten GPS-Empfangsbedingungen erfüllt. Mit diesem, im Rahmen der Arbeit entwickelten, hoch-genauen Positionsbestimmungssystem konnte erstmalig am 21.10.2009 das autonome Fahren auf der Nürburgring Nordschleife nachgewiesen werden.

Cette thèse traite la problématique d'estimation de la pose (position relative et orientation) d'un corps rigide en mouvement dans l’espace 3D par fusion de données issues de capteurs inertiels et visuels. Les mesures inertielles sont fournies à partir d’une centrale inertielle composée de gyroscopes 3 axes et d’accéléromètres 3 axes. Les données visuelles sont issues d’une caméra. Celle-ci est positionnée sur le corps rigide en mouvement, elle fournit des images représentatives du champ visuel perçu. Ainsi, les mesures implicites des directions des lignes, supposées fixes dans l’espace de la scène, projetées sur le plan de l’image seront utilisées dans l’algorithme d’estimation de l’attitude. La démarche consistait d’abord à traiter le problème de la mesure issue du capteur visuel sur une longue séquence en utilisant les caractéristiques de l’image. Ainsi, un algorithme de suivi de lignes a été proposé en se basant sur les techniques de calcul du flux optique des points extraits des lignes à suivre et utilisant une approche de mise en correspondance par minimisation de la distance euclidienne. Par la suite, un observateur conçu dans l’espace SO(3) a été proposé afin d’estimer l’orientation relative du corps rigide dans la scène 3D en fusionnant les données issues de l’algorithme de suivi de lignes avec les données des gyroscopes. Le gain de l’observateur a été élaboré en utilisant un filtre de Kalman de type M.E.K.F. (Multiplicative Extended Kalman Filter). Le problème de l’ambigüité du signe dû à la mesure implicite des directions des lignes a été considéré dans la conception de cet observateur. Enfin, l’estimation de la position relative et de la vitesse absolue du corps rigide dans la scène 3D a été traitée. Deux observateurs ont été proposés : le premier est un observateur en cascade avec découplage entre l’estimation de l’attitude et l’estimation de la position. L’estimation issue de l’observateur d’attitude alimente un observateur non linéaire utilisant des mesures issues des accéléromètres afin de fournir une estimation de la position relative et de la vitesse absolue du corps rigide. Le deuxième observateur, conçu quant à lui directement dans SE(3) , utilise un filtre de Kalman de type M.E.K.F afin d’estimer la pose par fusion de données inertielles (accéléromètres, gyromètres) et des données visuelles. Les performances des méthodes proposées sont illustrées et validées par différents résultats de simulation / AbstractThis thesis addresses the problems of pose estimation of a rigid body moving in 3D space by fusing data from inertial and visual sensors. The inertial measurements are provided from an I.M.U. (Inertial Measurement Unit) composed by accelerometers and gyroscopes. Visual data are from cameras, which positioned on the moving object, provide images representative of the perceived visual field. Thus, the implicit measure directions of fixed lines in the space of the scene from their projections on the plane of the image will be used in the attitude estimation. The approach was first to address the problem of measuring visual sensors after a long sequence using the characteristics of the image. Thus, a line tracking algorithm has been proposed based on optical flow of the extracted points and line matching approach by minimizing the Euclidean distance. Thereafter, an observer in the SO(3) space has been proposed to estimate the relative orientation of the object in the 3D scene by merging the data from the proposed lines tracking algorithm with Gyro data. The observer gain was developed using a Kalman filter type M.E.K.F. (Multiplicative Extended Kalman Filter). The problem of ambiguity in the sign of the measurement directions of the lines was considered in the design of the observer. Finally, the estimation of the relative position and the absolute velocity of the rigid body in the 3D scene have been processed. Two observers were proposed: the first one is an observer cascaded with decoupled from the estimation of the attitude and position estimation. The estimation result of the attitude observer feeds a nonlinear observer using measurements from the accelerometers in order to provide an estimate of the relative position and the absolute velocity of the rigid body. The second observer, designed directly in SE (3) for simultaneously estimating the position and orientation of a rigid body in 3D scene by fusing inertial data (accelerometers, gyroscopes), and visual data using a Kalman filter (M.E.K.F.). The performance of the proposed methods are illustrated and validated by different simulation results

Indoor air quality is a measure of clean air with comfort conditions and depiction of lower concentration of air pollutants. It is tedious task to achieve all quality measures at a time with smart energy consumption. This research aims to come up with a solution of how to improve smart ventilation system in order to get clean indoor air with less consumption of electric energy. Many studies showed that scheduled ventilation system has proven to be a good solution to this problem. For this purpose, a long-term sensor data of smart ventilation system Renson healthbox and Luvians data is studied which is operated in Dalarnas villa. This research investigates how this system works in two modes and to improve it by customized scheduling.A regression model is constructed in which the relationship between airflow and CO2 is shown. For this purpose, correlation analysis is used in which the connection of bonds between each data features are analyzed. After the feature selection, as a result from correlation matrix, regression analysis is used to find out whether the selected features are linearly related or not. Regression analysis also used for the intent to quantify a model to estimate the flowrate and CO2. A mathematical model is also build to simulate the flowrate and CO2 with energy consumption.The results showed that, in order to provide better indoor air quality with efficient energy consumption, a necessary modification of the fan schedule should be done in a way that fan must be started little bit earlier to avoid harmful particles reach their upper threshold limits. This can result in reduction of fan’s maximum speed hence consumption of less energy is achieved.

Bei der Entwicklung neuartiger und innovativer Fahrerassistenzsysteme kommt der Positions- und Ausrichtungsbestimmung von Fahrzeugen eine Schlüsselrolle zu. Dabei entscheidet die Güte der Positionsbestimmung über die Qualität, die Robustheit und den Einsatzbereich des Gesamtsystems. Verbesserungen in der Positionsbestimmung führen zu einer besseren Performanz bzw. sind die Grundvoraussetzung für die Realisierung dieser Fahrerassistenzsysteme. Ein Beispiel für solch ein neuartiges Fahrerassistenzsystem, welches auf eine hochgenaue Positionsbestimmung baut, ist der BMW TrackTrainer. Dieses Assistenzsystem soll den "normalgeübten" Autofahrer beim schnellen Erlernen der Ideallinie auf Rennstrecken unterstützen, indem das Fahrzeug die Rennstrecke völlig autonom auf einer vorher aufgezeichneten Ideallinie umrundet, während der Teilnehmer sich die Strecke aus Fahrerperspektive einprägt. Für die Realisierung eines derartigen Assistenzsystems ist eine hochgenaue Positionsbestimmung im cm-Bereich notwendig. Bisher wurde dafür eine GPS-gestützte Inertialplattform eingesetzt, welche unter guten GPS-Empfangsbedingungen die Anforderungen an die Positionierung erfüllt. Bei schlechten GPS-Empfangsbedingungen, wie sie beispielsweise auf der international bekannten Rennstrecke Nürburgring Nordschleife aufgrund von Verdeckung und Abschattung der Satellitensignale durch stark bebautes oder bewaldetes Gebiet auftreten, liefert das Positionierungssystem keine ausreichend genauen Werte, wodurch das autonome Fahren verhindert wird. Zwar gibt es neben GPS auch weitere Positionsbestimmungssysteme, die aber für den Einsatz auf Rennstrecken entweder zu ungenau sind, oder einen zu hohen Rüstaufwand erfordern würden. Um diese Lücke zu schließen, wurde im Rahmen dieser Arbeit ein hochgenaues Positionsbestimmungssystem entwickelt und evaluiert, welches auch unter schlechten GPS-Empfangsbedingungen den Anforderungen des autonomen Fahren auf Rennstrecken genügt und auf einer Fusion verschiedener Signalquellen in einem Positionsfilter beruht. Folgende Signalquellen wurden hinsichtlich Genauigkeit sowie Praxistauglichkeit für den Einsatz auf Rennstrecken experimentell untersucht: - GPS-gestützte Inertialplattform (GPS/INS) - Fahrzeugsensoren mit erweitertem Fahrzeugmodell - Digitaler Kompass - Laser-Reflexlichtschranken - Servo-Tachymeter - LIDAR-basierte Randbebauungserkennung - Videobasierte Spurerkennung - Digitale Karte. Obwohl eine GPS-gestützte Inertialplattform (GPS/INS) unter schlechten GPS-Empfangsbedingungen keine ausreichend genauen Positionswerte im cm-Bereich liefert, besitzt dieses System dennoch eine hohe Robustheit und Langzeitstabilität und stellt damit eine sehr gute Grundlage für die Positionsbestimmung auf Rennstrecken dar. Fahrzeugsensoren, bestehend aus Raddrehzahl- und Gierratensensor, schreiben die Fahrzeugposition mit Hilfe der Koppelnavigationsgleichung relativ für ca. 10s ohne eine Messung absoluter Positionswerte fort. Um die bestehenden Genauigkeitsanforderungen zu erfüllen, muss jedoch ab einer Geschwindigkeit von 30km/h das Fahrzeugmodell um eine Schwimmwinkelschätzung erweitert werden. Ein digitaler Kompass eignet sich nachweislich nicht für die Positionsbestimmung auf Rennstrecken. Hier treten aufgrund von magnetischen Interferenzen zu große Messfehler der Fahrzeugausrichtung auf, die eine Positionsstützung ungeeignet machen. Bei Referenzmessungen mit einem Servo-Tachymeter konnte die geforderte Genauigkeit dieser Messeinrichtung bei Fahrzeuggeschwindigkeiten kleiner 30km/h nachgewiesen werden. Bei höheren Geschwindigkeiten liefert das System jedoch keine Ergebnisse, was den Einsatz auf Rennstrecken ausschließt. Auf den Boden gerichtete Laser-Reflexlichtschranken können sehr präzise die Überfahrt über eine Bodenmarkierung detektieren. Da diese Überfahrten beim autonomen Fahren auf Rennstrecken nur sehr selten auftreten, ist diese Positionierungsmethode nicht geeignet. Mit Hilfe einer LIDAR-basierten Randbebauungserkennung kann die Fahrzeugposition in Kombination mit einer hochgenauen digitalen Karte der Randbebauung auf ca. 20-30cm genau geschätzt werden. Schwierigkeiten bereiten hier jedoch Unregelmäßigkeiten in der Geometrie der Randbebauung. Während parallel verlaufende Leitplanken neben der Strecke sehr gut erfasst werden können, liefern Sträucher, Erdwälle, etc. ungenaue Messergebnisse. Somit ist die LIDAR-basierte Randbebauungserkennung ein bedingt geeignetes System zur Positionsstützung auf Rennstrecken. Als vielversprechendster Ansatz zur Verbesserung der Positions- und Ausrichtungsbestimmung auf Rennstrecken konnte der Einsatz einer visuellen Spurerkennung in Verbindung mit einer hochgenauen digitalen Karte der Spurmarkierungen identifiziert werden. Hierfür wurde eine sich in Vorserie befindliche Bildverarbeitungseinheit der Firma MobileEye mit einer eigens entwi-ckelten Spurerkennung verglichen. Letztere bietet den Vorteil, Systemwissen über den Verlauf der Fahrspurmarkierung sowie negative Effekte der Fahrzeugeigendynamik mit in den Signalver-arbeitungsprozess einfließen zu lassen. Bei Vergleichsfahrten auf dem BMW eigenem Testgelände in Aschheim konnte der Vorteil der Spurdatenrückführung nachgewiesen werden. Die erwei-terte Spurerkennung hatte nachweislich gegenüber der Vorserienbildverarbeitung eine höhere Verfügbarkeit von gültigen Messwerten. Bei Messfahrten auf der Nordschleife stellte sich jedoch das Vorseriensystem von MobileEye als das deutlich robustere Spurerkennungssystem heraus. Hier führten verschmutzte Fahrbahnmarkierungen, schnell wechselnde Lichtverhältnisse sowie sonstige Straßenbeschriftungen dazu, dass die erweiterte Spurerkennung weitaus weniger gültige Messwerte lieferte als das Vorseriensystem. Aus diesem Grund fiel für Fahrten mit schlechten visuellen Bedingungen die Wahl auf das Vorserienbildverarbeitungssystem. Für den Entwurf des Positionsfilters wurden letztlich folgende Signalquellen verwendet: - GPS-gestützte Inertialplattform (GPS/INS) - Fahrzeugsensoren mit erweitertem Fahrzeugmodell - Videobasierte Spurerkennung in Kombination mit einer selbst aufgezeichneten hochge-nauen Karte der Spurmarkierungen der Teststrecke. Als Fusionsalgorithmus wurde ein erweiterter Kalman-Filter eingesetzt, da sich dieser besonders für die Zusammenführung unterschiedlicher Sensormessdaten eignet. Um eine optimale Zustandsschätzung der Fahrzeugposition und Ausrichtung zu erhalten, mussten die verwendeten Signalquellen zunächst zeitlich synchronisiert sowie auf Plausibilität geprüft werden. Als Synchronisationspunkt wurde der Messzeitpunkt der Signalquelle mit der größten Latenz verwendet. Dieser wurde mit 163ms durch für die videobasierte Spurerkennung bestimmt. Da jedoch eine verzögerte Positionsschätzung für eine stabile Reglung des Fahrzeugs für das autonome Fahren ungenügend ist, wurde die geschätzte Fahrzeugposition am Ausgang des Kalman-Filters mit Hilfe der Koppelnavigationsgleichung sowie der Fahrzeugsensoren auf den aktuellen Zeitpunkt (Latenz = 0s) prädiziert. Für die Detektion systematischer Fehler wie Radschlupf, falsch erkannte Spurmarkierung und GPS-Mehrwegeausbreitung kamen robuste Signalplausibilisierungsalgorithmen zum Einsatz. So erfolgte die Plausibilisierung der Spurerkennung unter anderem über die selbst aufgezeichnete hochgenaue Karte der Spurmarkierungen, da eine Spurerkennung nur da sinnvoll ist, wo Spurmarkierungsstützpunkte in hinterlegt sind. Für die Gültigkeitsüberprüfung der GPS-Messwerte wurde ein GPS-Offset-Beobachter entwickelt und angewendet. Die Evaluierung des entwickelten Positionsfilters wurde im Rahmen der Arbeit am Beispiel des BMW TrackTrainers auf drei ausgewählten Teststrecken mit steigendem Schwierigkeitsniveau (Verschlechterung der GPS-Empfangsbedingungen) durchgeführt. Hierfür wurde die in Echtzeit geschätzte Fahrzeugposition mit einer durch Post-Processing korrigierten Positionslösung referenziert. Die Auswertung der Ergebnisse bewies, dass der entwickelte Positionsfilter durch die Fusion einer GPS-gestützten Inertialplattform, den Fahrzeugsensoren zur Messung von Gierrate und Raddrehzahlen sowie einer visuellen Spurerkennung in Kombination mit einer hochgenauen Karte der Fahrspurmarkierungen die Anforderungen des autonomen Fahrens auch unter schlechten GPS-Empfangsbedingungen erfüllt. Mit diesem, im Rahmen der Arbeit entwickelten, hoch-genauen Positionsbestimmungssystem konnte erstmalig am 21.10.2009 das autonome Fahren auf der Nürburgring Nordschleife nachgewiesen werden.:1. Einleitung 1 1.1. Bedeutung der Positionsbestimmung für moderne Fahrerassistenzsysteme 1 1.2. Kernaufgaben des autonomen Fahrens 3 1.3. Hochgenaue Positionsbestimmung für das autonome Fahren auf Rennstrecken 5 1.4. Zielsetzung der Arbeit und gewählter Lösungsweg 8 2. Grundlagen zur Positionsbestimmung 9 2.1. Allgemeines 9 2.1.1. Definitionen 9 2.1.2. Klassifikationen 9 2.1.3. Koordinatensysteme 11 2.1.4. Transformationen 13 2.2. Ortungsprinzipien 15 2.2.1. Koppelnavigation 16 2.2.2. Inertialnavigation 19 2.2.3. Trilateration/Pseudorange 23 2.2.4. Hyperbelnavigation 24 2.2.5. Triangulation 25 2.2.6. Zellortung 26 2.2.7. Map-Matching 26 2.2.8. Sensordatenfusion mit Erweitertem Kalman-Filter 27 2.3. Existierende Positionsbestimmungssysteme 29 2.3.1. GPS/Glonass/Galileo 29 2.3.2. GPS-gestützte Inertialplattform 33 2.3.3. Mobilfunkortung 34 2.3.4. WLAN-Ortung 34 2.3.5. Tachymeter 35 2.3.6. CAIROS 36 2.4. Sensorik im Fahrzeug 37 2.4.1. RADAR 38 2.4.2. LIDAR 38 2.4.3. Videokamera 39 2.4.4. Raddrehzahlsensor 39 2.4.5. Sensorcluster aus Beschleunigungs- und Gierratensensoren 39 2.4.6. Gierratensensor 40 2.4.7. Beschleunigungssensor 40 2.4.8. Kompass 41 2.5. Positionsbestimmung autonom fahrender Systeme 41 2.5.1. Transportwesen 42 2.5.2. Landwirtschaft 42 2.5.3. Öffentlicher Personennahverkehr 42 2.5.4. Militär 43 2.5.5. Automobilindustrie 43 2.6. Schlussfolgerung und Konkretisierung der Aufgabestellung 45 3. Ausgangssituation 46 3.1. Bewertung einer GPS-gestützten Inertialplattform auf ausgewählten Teststrecken 46 3.2. Rahmenbedingungen der Rennstrecke 49 3.3. Präzisierung der Genauigkeitsanforderungen 50 3.4. Vorauswahl potenzieller Signalquellen 51 3.5. Schlussfolgerung 54 4. Experimentelle Untersuchung und Bewertung potenzieller Signalquellen 56 4.1. GPS/INS 56 4.2. Fahrzeugsensoren und erweitertes Fahrzeugmodell 63 4.3. Digitale Karte 68 4.4. Digitaler Kompass 69 4.5. Videokamera mit Spurerkennung 72 4.6. Laser-Reflexlichtschranke 75 4.7. Servotachymeter 77 4.8. LIDAR-basierte Randbebauungserkennung 81 4.9. Schlussfolgerung und Auswahl geeigneter Signalquellen für die Fusion 84 5. Optimierung eines Ortungsverfahrens mittels visueller Spurerkennung 86 5.1. Hochgenaue digitale Karte für Spurmarkierungen 86 5.1.1. Straßenmodellierung 86 5.1.2. Vermessung der Spurmarkierungen 87 5.1.3. Aufbereitung der Spurmarkierungen 89 5.1.4. Map-Matching 98 5.2. Erweiterte Spurerkennung 99 5.2.1. Prädiktion des Spurverlaufs im Videobild 99 5.2.2. Kantendetektion im Videobild 101 5.2.3. Berechnung der Parameter des Spurmodells 105 5.2.4. Rollwinkelschätzung und Korrektur der erweiterten Bildverarbeitung 107 5.2.5. Vergleich zweier Spurerkennungssysteme 108 5.3. Schlussfolgerung 111 6. Fusion der Signalquellen 112 6.1. Messdatensynchronisierung 112 6.2. Signalplausibilisierung 114 6.3. Sensordatenfusion 117 6.4. Schnittstelle für das Autonome Fahren 120 6.5. Zusammenfassung 124 7. Validierung des Gesamtsystems 125 7.1. Referenzsystem 125 7.2. Experimentelle Ergebnisse auf ausgewählten Teststrecken 126 7.3. Schlussfolgerung 133 8. Zusammenfassung und Ausblick 134 Literaturverzeichnis 136 Abkürzungsverzeichnis 142 Liste der Formelzeichen 143

It is a dilemma problem to achieve both these two goals: a) to maintain a best indoor air quality and b) to use a most efficient energy for a house at the same time. One of the outstanding components involving these goals is a smart ventilation system in the house. Smart ventilation strategies, including demand-controlled ventilation (DCV), have been of great interests and some studies believe that DCV strategies have the potential for energy reductions for all ventilation systems. This research aims to improve smart ventilation system, in aspects of energy consumption, indoor CO2 concentrations and living comfortness, by analyzing long-term sensor data. Based on a case study on an experimental house -- Dalarnas Villa, this research investigates how the current two ventilations modes work in the house and improves its ventilation system by developing customized ventilation schedules. A variety of data analysis methods were used in this research. Clustering analysis is used to identify the CO2 patterns and hence determine the residents living patterns; correlation analysis and regression analysis are used to quantify a model to estimate fan energy consumption; a mathematical model is built to simulation the CO2 decreasing when the house is under 0 occupancy. And finally, two customized schedules are created for a typical workday and holiday, respectively, which show advantages in all aspects of energy consumption, CO2 concentrations and living comfortness, compared with the current ventilation modes.

Aujourd'hui, la plupart des internautes ont leurs données dispersées dans plusieurs appareils, applications et services. La gestion et le contrôle de ses données sont de plus en plus difficiles. Dans cette thèse, nous adoptons le point de vue selon lequel l'utilisateur devrait se voir donner les moyens de récupérer et d'intégrer ses données, sous son contrôle total. À ce titre, nous avons conçu un système logiciel qui intègre et enrichit les données d'un utilisateur à partir de plusieurs sources hétérogènes de données personnelles dans une base de connaissances RDF. Le logiciel est libre, et son architecture innovante facilite l'intégration de nouvelles sources de données et le développement de nouveaux modules pour inférer de nouvelles connaissances. Nous montrons tout d'abord comment l'activité de l'utilisateur peut être déduite des données des capteurs de son téléphone intelligent. Nous présentons un algorithme pour retrouver les points de séjour d'un utilisateur à partir de son historique de localisation. À l'aide de ces données et de données provenant d'autres capteurs de son téléphone, d'informations géographiques provenant d'OpenStreetMap, et des horaires de transports en commun, nous présentons un algorithme de reconnaissance du mode de transport capable de retrouver les différents modes et lignes empruntés par un utilisateur lors de ses déplacements. L'algorithme reconnaît l'itinéraire pris par l'utilisateur en retrouvant la séquence la plus probable dans un champ aléatoire conditionnel dont les probabilités se basent sur la sortie d'un réseau de neurones artificiels. Nous montrons également comment le système peut intégrer les données du courrier électronique, des calendriers, des carnets d'adresses, des réseaux sociaux et de l'historique de localisation de l'utilisateur dans un ensemble cohérent. Pour ce faire, le système utilise un algorithme de résolution d'entité pour retrouver l'ensemble des différents comptes utilisés par chaque contact de l'utilisateur, et effectue un alignement spatio-temporel pour relier chaque point de séjour à l'événement auquel il correspond dans le calendrier de l'utilisateur. Enfin, nous montrons qu'un tel système peut également être employé pour faire de la synchronisation multi-système/multi-appareil et pour pousser de nouvelles connaissances vers les sources. Les résultats d'expériences approfondies sont présentés. / Typical Internet users today have their data scattered over several devices, applications, and services. Managing and controlling one's data is increasingly difficult. In this thesis, we adopt the viewpoint that the user should be given the means to gather and integrate her data, under her full control. In that direction, we designed a system that integrates and enriches the data of a user from multiple heterogeneous sources of personal information into an RDF knowledge base. The system is open-source and implements a novel, extensible framework that facilitates the integration of new data sources and the development of new modules for deriving knowledge. We first show how user activity can be inferred from smartphone sensor data. We introduce a time-based clustering algorithm to extract stay points from location history data. Using data from additional mobile phone sensors, geographic information from OpenStreetMap, and public transportation schedules, we introduce a transportation mode recognition algorithm to derive the different modes and routes taken by the user when traveling. The algorithm derives the itinerary followed by the user by finding the most likely sequence in a linear-chain conditional random field whose feature functions are based on the output of a neural network. We also show how the system can integrate information from the user's email messages, calendars, address books, social network services, and location history into a coherent whole. To do so, it uses entity resolution to find the set of avatars used by each real-world contact and performs spatiotemporal alignment to connect each stay point with the event it corresponds to in the user's calendar. Finally, we show that such a system can also be used for multi-device and multi-system synchronization and allow knowledge to be pushed to the sources. We present extensive experiments.

No description available.