This thesis presents a framework for a hybrid model-free marker-less inertial-visual camera pose tracking with an integrated sensor fusion mechanism. The proposed solution addresses the fundamental problem of pose recovery in computer vision and robotics and provides an improved solution for wide-area pose tracking that can be used on mobile platforms and in real-time applications. In order to arrive at a suitable pose tracking algorithm, an in-depth investigation was conducted into current methods and sensors used for pose tracking. Preliminary experiments were then carried out on hybrid GPS-Visual as well as wireless micro-location tracking in order to evaluate their suitability for camera tracking in wide-area or GPS-denied environments. As a result of this investigation a combination of an inertial measurement unit and a camera was chosen as the primary sensory inputs for a hybrid camera tracking system. After following a thorough modelling and mathematical formulation process, a novel and improved hybrid tracking framework was designed, developed and evaluated. The resulting system incorporates an inertial system, a vision-based system and a recursive particle filtering-based stochastic data fusion and state estimation algorithm. The core of the algorithm is a state-space model for motion kinematics which, combined with the principles of multi-view camera geometry and the properties of optical flow and focus of expansion, form the main components of the proposed framework. The proposed solution incorporates a monitoring system, which decides on the best method of tracking at any given time based on the reliability of the fresh vision data provided by the vision-based system, and automatically switches between visual and inertial tracking as and when necessary. The system also includes a novel and effective self-adjusting mechanism, which detects when the newly captured sensory data can be reliably used to correct the past pose estimates. The corrected state is then propagated through to the current time in order to prevent sudden pose estimation errors manifesting as a permanent drift in the tracking output. Following the design stage, the complete system was fully developed and then evaluated using both synthetic and real data. The outcome shows an improved performance compared to existing techniques, such as PTAM and SLAM. The low computational cost of the algorithm enables its application on mobile devices, while the integrated self-monitoring, self-adjusting mechanisms allow for its potential use in wide-area tracking applications.

Introduktion: I Sverige har vårdrelaterade infektioner blivit en av de vanligaste vårdskadorna och på avdelningar med stora patientflöden, som till exempel på röntgenavdelningar, finns en ökad risk för smittspridning. Patienters olika medicinska tillstånd och skiftande miljöer de kommer från bidrar till en varierad bakterieflora på röntgenavdelningar. Syfte: Syftet med denna integrativa litteraturstudie var att beskriva hur röntgensjuksköterskor tillsammans med övrig hälso- och sjukvårdspersonal kan arbeta för att minska spridningen av vårdrelaterade infektioner med hjälp av basala hygienrutiner. Metod: Utifrån tre frågeställningar angående vårdrelaterade infektioner eftersöktes vetenskapliga artiklar i databaserna PubMed och CINAHL. 17 Artiklar granskades efter inspiration från Willman, Stoltz och Bahtsevani (2006) och analyserades enligt Whittemore och Knafls (2005) fem steg. Resultat: Av artiklarna som hittades tog två kategorier och sex underkategorier form. Kategorierna omfattade kontamineringsrisk och metoder och hjälpmedel för att hindra smittspridning med underkategorier som patienten, omgivning och utrustning. Slutsats: Röntgensjuksköterskor och utrustningen de använder i den dagliga omvårdnaden är en risk för smittspridning. Följsamheten av de basala hygienrutinerna behöver höjas och för att detta ska uppnås kan förbättringsarbeten användas. / Introduction: Healthcare-associated infections has become one of the more frequent injuries related to healthcare in Sweden and in departments with a great flow of patients, as in a radiology department, there is an increased risk for spread of contagion. The different medical conditions of patients and the variation of environments they come from contribute to a varying bacterial flora in a radiology department. Aim: The aim of this integrative literature review was to describe how radiology nurses, along with other healthcare professionals, can work to reduce the spread of healthcare-associated infections by means of basic hygiene routines. Method: Based on three formulated questions regarding healthcare-associated infections scientific articles were scoured in the databases PubMed and Cinahl. 17 articles were reviewed with inspiration from Willman, Stoltz och Bahtsevani (2006) and were analyzed with Whittemore and Knafl’s (2005) five steps. Result: From the articles two categories and six subcategories were formed. The categories contained risks of contamination and methods and aids to prevent contagion with subcategories such as the patient, the surroundings and equipment. Conclusion: Radiography nurses and the equipment used in daily care is a risk of contagion. The adherence to basic hygiene routines needs to be raised and for this to be achieved improvement interventions can be used.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

L'objectif de ce travail est de développer des méthodes avancées d'apprentissage pour l’analyse et l'interprétation automatique du mouvement humain à partir de sources d'information diverses, telles que les images, les vidéos, les cartes de profondeur, les données de type “MoCap” (capture de mouvement), les signaux audio et les données issues de capteurs inertiels. A cet effet, nous proposons plusieurs modèles neuronaux et des algorithmes d’entrainement associés pour l’apprentissage supervisé et semi-supervisé de caractéristiques. Nous proposons des approches de modélisation des dépendances temporelles, et nous montrons leur efficacité sur un ensemble de tâches fondamentales, comprenant la détection, la classification, l’estimation de paramètres et la vérification des utilisateurs (la biométrie). En explorant différentes stratégies de fusion, nous montrons que la fusion des modalités à plusieurs échelles spatiales et temporelles conduit à une augmentation significative des taux de reconnaissance, ce qui permet au modèle de compenser les erreurs des classifieurs individuels et le bruit dans les différents canaux. En outre, la technique proposée assure la robustesse du classifieur face à la perte éventuelle d’un ou de plusieurs canaux. Dans un deuxième temps nous abordons le problème de l’estimation de la posture de la main en présentant une nouvelle méthode de régression à partir d’images de profondeur. Dernièrement, dans le cadre d’un projet séparé (mais lié thématiquement), nous explorons des modèles temporels pour l'authentification automatique des utilisateurs de smartphones à partir de leurs habitudes de tenir, de bouger et de déplacer leurs téléphones. Dans ce contexte, les données sont acquises par des capteurs inertiels embraqués dans les appareils mobiles. / The research goal of this work is to develop learning methods advancing automatic analysis and interpreting of human motion from different perspectives and based on various sources of information, such as images, video, depth, mocap data, audio and inertial sensors. For this purpose, we propose a several deep neural models and associated training algorithms for supervised classification and semi-supervised feature learning, as well as modelling of temporal dependencies, and show their efficiency on a set of fundamental tasks, including detection, classification, parameter estimation and user verification. First, we present a method for human action and gesture spotting and classification based on multi-scale and multi-modal deep learning from visual signals (such as video, depth and mocap data). Key to our technique is a training strategy which exploits, first, careful initialization of individual modalities and, second, gradual fusion involving random dropping of separate channels (dubbed ModDrop) for learning cross-modality correlations while preserving uniqueness of each modality-specific representation. Moving forward, from 1 to N mapping to continuous evaluation of gesture parameters, we address the problem of hand pose estimation and present a new method for regression on depth images, based on semi-supervised learning using convolutional deep neural networks, where raw depth data is fused with an intermediate representation in the form of a segmentation of the hand into parts. In separate but related work, we explore convolutional temporal models for human authentication based on their motion patterns. In this project, the data is captured by inertial sensors (such as accelerometers and gyroscopes) built in mobile devices. We propose an optimized shift-invariant dense convolutional mechanism and incorporate the discriminatively-trained dynamic features in a probabilistic generative framework taking into account temporal characteristics. Our results demonstrate, that human kinematics convey important information about user identity and can serve as a valuable component of multi-modal authentication systems.

One fundamental task in robotics is random bin-picking, where it is important to be able to detect an object in a bin and estimate its pose to plan the motion of a robotic arm. For this purpose, this thesis work aimed to investigate and evaluate algorithms for 6D pose estimation when the object was given by a CAD model. The scene was given by a point cloud illustrating a partial 3D view of the bin with multiple instances of the object. Two algorithms were thus implemented and evaluated. The first algorithm was an approach based on Point Pair Features, and the second was Fast Global Registration. For evaluation, four different CAD models were used to create synthetic data with ground truth annotations. It was concluded that the Point Pair Feature approach provided a robust localization of objects and can be used for bin-picking. The algorithm appears to be able to handle different types of objects, however, with small limitations when the object has flat surfaces and weak texture or many similar details. The disadvantage with the algorithm was the execution time. Fast Global Registration, on the other hand, did not provide a robust localization of objects and is thus not a good solution for bin-picking.

This thesis describes the addition of novel Geometric Guides to a generative Computer-Aided Design (CAD) application that supports early-stage concept generation. The application generates and evolves abstract 3D shapes, used to inspire the form of new product concepts. It was previously a conventional Interactive Evolutionary system where users selected shapes from evolving populations. However, design industry users wanted more control over the shapes, for example by allowing the system to influence the proportions of evolving forms. The solution researched, developed, integrated and tested is a more cooperative human-machine system combining classic user interaction with innovative geometric analysis. In the literature review, different types of Interactive Evolutionary Computation (IEC), Pose Normalisation (PN), Shape Comparison, and Minimum-Volume Bounding Box approaches are compared, with some of these technologies identified as applicable for this research. Using its Application Programming Interface, add-ins for the Siemens NX CAD system have been developed and integrated with an existing Interactive Evolutionary CAD system. These add-ins allow users to create a Geometric Guide (GG) at the start of a shape exploration session. Before evolving shapes can be compared with the GG, they must be aligned and scaled (known as Pose Normalisation in the literature). Computationally-efficient PN has been achieved using geometric functions such as Bounding Box for translation and scaling, and Principle Axes for the orientation. A shape comparison algorithm has been developed that is based on the principle of non-intersecting volumes. This algorithm is also implemented with standard, readily available geometric functions, is conceptually simple, accessible to other researchers and also offers appropriate efficacy. Objective geometric testing showed that the PN and Shape Comparison methods developed are suitable for this guiding application and can be efficiently adapted to enhance an Interactive Evolutionary Design system. System performance with different population sizes was examined to indicate how best to use the new guiding capabilities to assist users in evolutionary shape searching. This was backed up by participant testing research into two user interaction strategies. A Large Background Population (LBP) approach where the GG is used to select a sub-set of shapes to show to the user was shown to be the most effective. The inclusion of Geometric Guides has taken the research from the existing aesthetic focused tool to a system capable of application to a wider range of engineering design problems. This system supports earlier design processes and ideation in conceptual design and allows a designer to experiment with ideas freely to interactively explore populations of evolving solutions. The design approach has been further improved, and expanded beyond the previous quite limited scope of form exploration.

Ego-motion sensors are commonly used for pose estimation in Simultaneous Localization And Mapping (SLAM) algorithms. Inertial Measurement Units (IMUs) are popular sensors but suffer from integration drift over longer time scales. To remedy the drift they are often used in combination with additional sensors, such as a LiDAR. Pose estimation is used when scans, produced by these additional sensors, are being matched. The matching of scans can be computationally heavy as one scan can contain millions of data points. Methods exist to simplify the problem of finding the relative pose between sensor data, such as the Normal Distribution Transform SLAM algorithm. The algorithm separates the point cloud data into a voxelgrid and represent each voxel as a normal distribution, effectively decreasing the amount of data points. Registration is based on a function which converges to a minimum. Sub-optimal conditions can cause the function to converge at a local minimum. To remedy this problem this thesis explores the benefits of combining IMU sensor data to estimate the pose to be used in the NDT SLAM algorithm.

La circulation des tramways peut produire des vibrations se propageant dans le sol, et induire une gêne pour les personnes résidant et travaillant dans les bâtiments voisins de la voie. Par conséquent, lors de la réalisation d'une ligne de tramway, il est important de considérer ces phénomènes vibratoires. Dans ce contexte, l'objectif de ce travail est double. Premièrement, les procédures expérimentales permettant d'analyser les vibrations générées par le tramway sont présentées, prenant en compte notamment : la vitesse et le type de rame (deux constructeurs), le type de pose (classique ou sur dalle flottante), et les caractéristiques du sol. Le traitement des données expérimentales fournit des informations sur le sol (procédure Sasw), une validation du comportement de la voie (mobilités de transfert voie-sol et réceptance du rail) en comparaison avec les données constructeurs, et l'estimation des efforts dynamiques exercés par les essieux sur les rails (mesures de vibrations sur un bogie porteur). Le second objectif correspond à la validation des modèles numériques (prenant en compte la voie et le sol) pour la prédiction des vibrations générées. Les efforts dynamiques provenant des essieux sont estimés à partir de rugosités simplifiées pour les rails et les roues, ces rugosités étant validées par comparaison avec les mesures. Les équations couplées sont résolues dans le domaine des nombres d'onde, à l'aide de transformées de Fourier (une ou deux dimensions). L'effet de la rotation de la dalle flottante ou d'assise est pris en compte et intervient de façon significative dans la réponse du sol. Étant donné que la précision des amplitudes vibratoires calculées dans le cas d'un passage de tramway est correcte, ce travail peut être utilisé pour l'analyse et la validation de nouvelles lignes de tramways.

La démocratisation des terminaux mobiles telle que les téléphones cellulaires, les PDAs et les tablettes PC a rendu possible le déploiement de la réalité augmentée dans des environnements en extérieur à grande échelle. Cependant, afin de mettre en oeuvre de tels systèmes, différentes problématiques doivent êtres traitées. Parmi elle, la localisation représente l?une des plus importantes. En effet, l?estimation de la position et de l?orientation (appelée pose) du point de vue (de la caméra ou de l?utilisateur) permet de recaler les objets virtuels sur les parties observées de la scène réelle. Dans nos travaux de thèse, nous présentons un système de localisation original destiné à des environnements à grande échelle qui utilise une approche basée vision sans marqueur pour l?estimation de la pose de la caméra. Cette approche se base sur des points caractéristiques naturels extraits des images. Etant donné que ce type d?approche est sensible aux variations de luminosité, aux occultations et aux mouvements brusques de la caméra, qui sont susceptibles de survenir dans l?environnement extérieur, nous utilisons deux autres types de capteurs afin d?assister le processus de vision. Dans nos travaux, nous voulons démontrer la faisabilité d?un schéma de suppléance dans des environnements extérieurs à large échelle. Le but est de fournir un système palliatif à la vision en cas de défaillance permettant également de réinitialiser le système de vision en cas de besoin. Le système de localisation vise à être autonome et adaptable aux différentes situations rencontrées.

Dans cette thèse, nous nous intéressons aux problématiques liées à l'indexation et à la recherche d'objets 3D par le contenu. Dans un cadre plus particulier, nous nous sommes penchés sur des méthodes d'indexation multi-vues, caractérisant la forme à l'aide de projections 2D de l'objet en trois-dimensions. Dans un premier temps, nous introduisons une nouvelle approche de normalisation et d'alignement des objets 3D nécessaire à notre processus d'indexation. La définition de la position et de l'échelle s'appuie sur la sphère minimale englobante qui offre des propriétés intéressantes pour notre caractérisation multi-vues de la forme. En ce qui concerne la recherche de l'alignement optimal, nous proposons un estimateur permettant de comparer deux poses différentes en s'appuyant sur des résultats obtenus en psychologie cognitive. Dans une seconde partie, nous définissons trois nouveaux descripteurs de forme basés sur des projections 2D. Le premier décrit la forme d'une silhouette à l'aide d'un ensemble de pixels. Le second, utilise des informations de convexités et de concavités pour décrire le contour des projections de nos objets 3D. Enfin, le dernier utilise des informations d'orientation de la surface 3D. Finalement, le processus de recherche que nous introduisons permet d'interroger la base de données à l'aide d'objets 3D, de photos ou de dessins au trait. Afin de garantir une recherche efficace en temps et en pertinence des résultats, nous proposons deux optimisations. La première s'appuie sur la fusion de résultats tandis que la seconde élimine rapidement les objets éloignés de la requête au moyen d'un élagage précoce.