Une des innovations technologiques majeures de ces dernières années a été le lancement des caméras de profondeur qui peuvent être utilisées dans un large spectre d’applications, notamment pour la robotique, la vision par ordinateur, l’automatisation, etc. Ces dispositifs ont ouvert de nouvelles opportunités pour la recherche scientifique appliquée au domaine médical. Dans le cadre de cette thèse, nous évaluerons l’apport potentiel de l’utilisation du capteur de profondeur grand public « Kinect V2 » dans l’optique de répondre à des problématiques cliniques actuelles en radiothérapie ainsi qu’en réanimation. Le traitement par radiothérapie étant administré sur plusieurs séances, l'un des objectifs clés de ce traitement est le positionnement quotidien du patient dont la précision est impactée par les mouvements respiratoires. D’autre part, les mouvements de la machine ainsi que les éventuels mouvements du patient peuvent entraîner des collisions machine/machine ou machine/patient. Nous proposons un système de détection surfacique pour la gestion des mouvements inter- et intrafractions en radiothérapie externe. Celui-ci est basé sur un algorithme rigide de recalage surfacique pour estimer la position de traitement et un système de détection de collisions en temps réel pour satisfaire les conditions de sécurité durant le traitement. Les résultats obtenus sont encourageants et montrent un bon accord avec les systèmes cliniques. Coté réanimation médicale, la recherche de nouveaux dispositifs non invasifs et sans contact tend à optimiser la prise en charge des patients. La surveillance non invasive de la respiration des patients sous ventilation spontanée est capitale pour les patients instables mais aucun système de suivi à distance n’existe à ce jour. Dans ce contexte, nous proposons un système de mesure sans contact capable de calculer les paramètres ventilatoires en observant les changements morphologiques de la zone thoracique des patients. La méthode développée donne une précision de mesures cliniquement acceptable. / In recent years, one of the major technological innovations has been the introduction of depth cameras that can be used in a wide range of applications, including robotics, computer vision, automation, etc. These devices have opened up new opportunities for scientific research applied to the medical field. In this thesis, we will evaluate the potential use of the "Kinect V2" depth camera in order to respond to current clinical issues in radiotherapy and resuscitation in intensive care unit.Given that radiotherapy treatment is administered over several sessions, one of the key task is to daily reposition the patient in the same way as during the planning session.The precision of such repositioning is impacted by the respiratory motion. On the other hand, the movements of the machine as well as the possible movements of the patient can lead to machine / machine or machine /patient collisions. We propose a surface detection system for the management of inter and intra-fraction motion in external radiotherapy. This system is based on a rigid surface registration algorithm to estimate the treatment position and a real-time collision detection system to ensure patient safety during the treatment.Obtained results are encouraging and show a good agreement with available clinical systems.Concerning medical resuscitation, there is a need for new non-invasive and non-contact devices in order to optimize patient care. Non-invasive monitoring of spontaneous breathing for unstable patients is crucial in the intensive care unit. In this context, we propose a non-contact measurement system capable of calculating the parameters of patient's ventilation by observing thoracic morphological movements. The developed method gives a clinically acceptable precision. Such system is the first to solve previously described issue.

L’objectif de cette thèse CIFRE est d’étudier et de tirer parti des derniers appareils mobiles du marché pour générer des 3D des pièces observées. De nous jours, ces appareils intègrent un grand nombre de capteurs, tel que des capteurs inertiels, des cameras RGB, et depuis peu, des capteurs de profondeur. Sans compter la présence de l’écran tactile qui offre une interface pour interagir avec l’utilisateur. Un cas d’usage typique de ces modèles 3D est la génération de plans d’intérieur, ou de fichiers CAO 3D (conception assistée par ordinateur) appliques a l’industrie du bâtiment. Le modèle permet d’esquisser les travaux de rénovation d’un appartement, ou d’évaluer la fidélité d’un chantier en cours avec le modèle initial. Pour le secteur de l’immobilier, la génération automatique de plans et modèles 3D peut faciliter le calcul de la surface habitable et permet de proposer des visites virtuelles a d’éventuels acquéreurs. Concernant le grand public, ces modèles 3D peuvent être intégrés a des jeux en réalité mixte afin d’offrir une expérience encore plus immersive, ou pour des applications de réalité augmentée, telles que la décoration d’intérieur. La thèse a trois contributions principales. Nous commençons par montrer comment le problème classique de détection des points de fuite dans une image, peut être revisite pour tirer parti de l’utilisation de données inertielles. Nous proposons un algorithme simple et efficace de détection de points de fuite reposant sur l’utilisation du vecteur gravite obtenu via ces données. Un nouveau jeu de données contenant des photos avec des données inertielles est présenté pour l’évaluation d’algorithmes d’estimation de points de fuite et encourager les travaux ultérieurs dans cette direction. Dans une deuxième contribution, nous explorons les approches d’odométrie visuelle de l’état de l’art qui exploitent des capteurs de profondeur. Localiser l’appareil mobile en temps réel est fondamental pour envisager des applications reposant sur la réalité augmentée. Nous proposons une comparaison d’algorithmes existants développés en grande partie pour ordinateur de bureau, afin d’étudier si leur utilisation sur un appareil mobile est envisageable. Pour chaque approche considérée, nous évaluons la précision de la localisation et les performances en temps de calcul sur mobile. Enfin, nous présentons une preuve de concept d’application permettant de générer le plan d’une pièce, en utilisant une tablette du projet Tango, équipée d’un capteur RGB-D. Notre algorithme effectue un traitement incrémental des données 3D acquises au cours de l’observation de la pièce considérée. Nous montrons comment notre approche utilise les indications de l’utilisateur pour corriger pendant la capture le modèle de la pièce. / Room layout generation is the problem of generating a drawing or a digital model of an existing room from a set of measurements such as laser data or images. The generation of floor plans can find application in the building industry to assess the quality and the correctness of an ongoing construction w.r.t. the initial model, or to quickly sketch the renovation of an apartment. Real estate industry can rely on automatic generation of floor plans to ease the process of checking the livable surface and to propose virtual visits to prospective customers. As for the general public, the room layout can be integrated into mixed reality games to provide a better immersiveness experience, or used in other related augmented reality applications such room redecoration. The goal of this industrial thesis (CIFRE) is to investigate and take advantage of the state-of-the art mobile devices in order to automate the process of generating room layouts. Nowadays, modern mobile devices usually come a wide range of sensors, such as inertial motion unit (IMU), RGB cameras and, more recently, depth cameras. Moreover, tactile touchscreens offer a natural and simple way to interact with the user, thus favoring the development of interactive applications, in which the user can be part of the processing loop. This work aims at exploiting the richness of such devices to address the room layout generation problem. The thesis has three major contributions. We first show how the classic problem of detecting vanishing points in an image can benefit from an a-priori given by the IMU sensor. We propose a simple and effective algorithm for detecting vanishing points relying on the gravity vector estimated by the IMU. A new public dataset containing images and the relevant IMU data is introduced to help assessing vanishing point algorithms and foster further studies in the field. As a second contribution, we explored the state of-the-art of real-time localization and map optimization algorithms for RGB-D sensors. Real-time localization is a fundamental task to enable augmented reality applications, and thus it is a critical component when designing interactive applications. We propose an evaluation of existing algorithms for the common desktop set-up in order to be employed on a mobile device. For each considered method, we assess the accuracy of the localization as well as the computational performances when ported on a mobile device. Finally, we present a proof of concept of application able to generate the room layout relying on a Project Tango tablet equipped with an RGB-D sensor. In particular, we propose an algorithm that incrementally processes and fuses the 3D data provided by the sensor in order to obtain the layout of the room. We show how our algorithm can rely on the user interactions in order to correct the generated 3D model during the acquisition process.

Ce travail présente deux nouveaux systèmes simples d'analyse de la marche humaine grâce à une caméra de profondeur (Microsoft Kinect) placée devant un sujet marchant sur un tapis roulant conventionnel, capables de détecter une marche saine et celle déficiente. Le premier système repose sur le fait qu'une marche normale présente typiquement un signal de profondeur lisse au niveau de chaque pixel avec moins de hautes fréquences, ce qui permet d'estimer une carte indiquant l'emplacement et l'amplitude de l'énergie de haute fréquence (HFSE). Le second système analyse les parties du corps qui ont un motif de mouvement irrégulier, en termes de périodicité, lors de la marche. Nous supposons que la marche d'un sujet sain présente partout dans le corps, pendant les cycles de marche, un signal de profondeur avec un motif périodique sans bruit. Nous estimons, à partir de la séquence vidéo de chaque sujet, une carte montrant les zones d'irrégularités de la marche (également appelées énergie de bruit apériodique). La carte avec HFSE ou celle visualisant l'énergie de bruit apériodique peut être utilisée comme un bon indicateur d'une éventuelle pathologie, dans un outil de diagnostic précoce, rapide et fiable, ou permettre de fournir des informations sur la présence et l'étendue de la maladie ou des problèmes (orthopédiques, musculaires ou neurologiques) du patient. Même si les cartes obtenues sont informatives et très discriminantes pour une classification visuelle directe, même pour un non-spécialiste, les systèmes proposés permettent de détecter automatiquement les individus en bonne santé et ceux avec des problèmes locomoteurs. / This work presents two new and simple human gait analysis systems based on a depth camera (Microsoft Kinect) placed in front of a subject walking on a conventional treadmill, capable of detecting a healthy gait from an impaired one. The first system presented relies on the fact that a normal walk typically exhibits a smooth motion (depth) signal, at each pixel with less high-frequency spectral energy content than an abnormal walk. This permits to estimate a map for that subject, showing the location and the amplitude of the high-frequency spectral energy (HFSE). The second system analyses the patient's body parts that have an irregular movement pattern, in terms of periodicity, during walking. Herein we assume that the gait of a healthy subject exhibits anywhere in the human body, during the walking cycles, a depth signal with a periodic pattern without noise. From each subject’s video sequence, we estimate a saliency color map showing the areas of strong gait irregularities also called aperiodic noise energy. Either the HFSE or aperiodic noise energy shown in the map can be used as a good indicator of possible pathology in an early, fast and reliable diagnostic tool or to provide information about the presence and extent of disease or (orthopedic, muscular or neurological) patient's problems. Even if the maps obtained are informative and highly discriminant for a direct visual classification, even for a non-specialist, the proposed systems allow us to automatically detect maps representing healthy individuals and those representing individuals with locomotor problems.