Abstract: The interest of major space agencies in the world for vision sensors in their mission designs has been increasing over the years. Indeed, cameras offer an efficient solution to address the ever-increasing requirements in performance. In addition, these sensors are multipurpose, lightweight, proven and a low-cost technology. Several researchers in vision sensing for space application currently focuse on the navigation system for autonomous pin-point planetary landing and for sample and return missions to small bodies. In fact, without a Global Positioning System (GPS) or radio beacon around celestial bodies, high-accuracy navigation around them is a complex task. Most of the navigation systems are based only on accurate initialization of the states and on the integration of the acceleration and the angular rate measurements from an Inertial Measurement Unit (IMU). This strategy can track very accurately sudden motions of short duration, but their estimate diverges in time and leads normally to high landing error. In order to improve navigation accuracy, many authors have proposed to fuse those IMU measurements with vision measurements using state estimators, such as Kalman filters. The first proposed vision-based navigation approach relies on feature tracking between sequences of images taken in real time during orbiting and/or landing operations. In that case, image features are image pixels that have a high probability of being recognized between images taken from different camera locations. By detecting and tracking these features through a sequence of images, the relative motion of the spacecraft can be determined. This technique, referred to as Terrain-Relative Relative Navigation (TRRN), relies on relatively simple, robust and well-developed image processing techniques. It allows the determination of the relative motion (velocity) of the spacecraft. Despite the fact that this technology has been demonstrated with space qualified hardware, its gain in accuracy remains limited since the spacecraft absolute position is not observable from the vision measurements. The vision-based navigation techniques currently studied consist in identifying features and in mapping them into an on-board cartographic database indexed by an absolute coordinate system, thereby providing absolute position determination. This technique, referred to as Terrain-Relative Absolute Navigation (TRAN), relies on very complex Image Processing Software (IPS) having an obvious lack of robustness. In fact, these software depend often on the spacecraft attitude and position, they are sensitive to illumination conditions (the elevation and azimuth of the Sun when the geo-referenced database is built must be similar to the ones present during mission), they are greatly influenced by the image noise and finally they hardly manage multiple varieties of terrain seen during the same mission (the spacecraft can fly over plain zone as well as mountainous regions, the images may contain old craters with noisy rims as well as young crater with clean rims and so on). At this moment, no real-time hardware-in-the-loop experiment has been conducted to demonstrate the applicability of this technology to space mission. The main objective of the current study is to develop autonomous vision-based navigation algorithms that provide absolute position and surface-relative velocity during the proximity operations of a planetary mission (orbiting phase and landing phase) using a combined approach of TRRN and TRAN technologies. The contributions of the study are: (1) reference mission definition, (2) advancements in the TRAN theory (image processing as well as state estimation) and (3) practical implementation of vision-based navigation. / Résumé: L’intérêt des principales agences spatiales envers les technologies basées sur la vision artificielle ne cesse de croître. En effet, les caméras offrent une solution efficace pour répondre aux exigences de performance, toujours plus élevées, des missions spatiales. De surcroît, ces capteurs sont multi-usages, légers, éprouvés et peu coûteux. Plusieurs chercheurs dans le domaine de la vision artificielle se concentrent actuellement sur les systèmes autonomes pour l’atterrissage de précision sur des planètes et sur les missions d’échantillonnage sur des astéroïdes. En effet, sans système de positionnement global « Global Positioning System (GPS) » ou de balises radio autour de ces corps célestes, la navigation de précision est une tâche très complexe. La plupart des systèmes de navigation sont basés seulement sur l’intégration des mesures provenant d’une centrale inertielle. Cette stratégie peut être utilisée pour suivre les mouvements du véhicule spatial seulement sur une courte durée, car les données estimées divergent rapidement. Dans le but d’améliorer la précision de la navigation, plusieurs auteurs ont proposé de fusionner les mesures provenant de la centrale inertielle avec des mesures d’images du terrain. Les premiers algorithmes de navigation utilisant l’imagerie du terrain qui ont été proposés reposent sur l’extraction et le suivi de traits caractéristiques dans une séquence d’images prises en temps réel pendant les phases d’orbite et/ou d’atterrissage de la mission. Dans ce cas, les traits caractéristiques de l’image correspondent à des pixels ayant une forte probabilité d’être reconnus entre des images prises avec différentes positions de caméra. En détectant et en suivant ces traits caractéristiques, le déplacement relatif du véhicule (la vitesse) peut être déterminé. Ces techniques, nommées navigation relative, utilisent des algorithmes de traitement d’images robustes, faciles à implémenter et bien développés. Bien que cette technologie a été éprouvée sur du matériel de qualité spatiale, le gain en précision demeure limité étant donné que la position absolue du véhicule n’est pas observable dans les mesures extraites de l’image. Les techniques de navigation basées sur la vision artificielle actuellement étudiées consistent à identifier des traits caractéristiques dans l’image pour les apparier avec ceux contenus dans une base de données géo-référencées de manière à fournir une mesure de position absolue au filtre de navigation. Cependant, cette technique, nommée navigation absolue, implique l’utilisation d’algorithmes de traitement d’images très complexes souffrant pour le moment des problèmes de robustesse. En effet, ces algorithmes dépendent souvent de la position et de l’attitude du véhicule. Ils sont très sensibles aux conditions d’illuminations (l’élévation et l’azimut du Soleil présents lorsque la base de données géo-référencée est construite doit être similaire à ceux observés pendant la mission). Ils sont grandement influencés par le bruit dans l’image et enfin ils supportent mal les multiples variétés de terrain rencontrées pendant la même mission (le véhicule peut survoler autant des zones de plaine que des régions montagneuses, les images peuvent contenir des vieux cratères avec des contours flous aussi bien que des cratères jeunes avec des contours bien définis, etc.). De plus, actuellement, aucune expérimentation en temps réel et sur du matériel de qualité spatiale n’a été réalisée pour démontrer l’applicabilité de cette technologie pour les missions spatiales. Par conséquent, l’objectif principal de ce projet de recherche est de développer un système de navigation autonome par imagerie du terrain qui fournit la position absolue et la vitesse relative au terrain d’un véhicule spatial pendant les opérations à basse altitude sur une planète. Les contributions de ce travail sont : (1) la définition d’une mission de référence, (2) l’avancement de la théorie de la navigation par imagerie du terrain (algorithmes de traitement d’images et estimation d’états) et (3) implémentation pratique de cette technologie.

Ce manuscrit de thèse présente l’étude des techniques de super-résolution latérale en nanoscopie optique, qui est une des nouvelles techniques d'imagerie haute résolution, aujourd'hui largement utilisée en biophysique et en imagerie médicale, pour imager et caractériser des nanostructures, tout en conservant les avantages de l'imagerie optique en champ lointain comme un vaste champ, la visualisation et l’analyse en temps réel…Un des défis futurs de la microscopie 3D super-résolue est d’éviter l’utilisation des marqueurs fluorescents. La microscopie interférométrique fait partie des techniques d’imagerie 3D sans marquage permettant la détection de nanostructures. Pour améliorer le pouvoir de détection de ce système optique, un premier protocole de traitement d’images a été développé et implémenté, permettant ainsi de révéler des structures initialement non mesurables. Puis, pour améliorer la résolution latérale du système, une nouvelle technique combinant l’interférométrie et le principe du nano-jet photonique a été développée permettant l’observation d’objets de taille inférieure à la limite de diffraction de l’instrument optique. / This manuscript presents the study of the lateral super-resolution techniques in optical nanoscopy, which is a new high-resolution imaging method now widely used in biophysics and medical imaging, to observe and measure nanostructures, with the advantages of far field optical imaging, such as a large field of view, visualization and analysis in real time…One of the future challenges of 3D super resolution microscopy is to avoid the use of fluorescent markers. Interferometric microscopy is a 3D label-free imaging technique enabling the detection of nanostructures. To improve the detection capability of this optical system, a first version of a protocol composed of image processing methods was developed and implemented, revealing structures initially unmeasurable. Then, to improve the lateral resolution of the system, a new technique combining interferometry and the principle of the photonic nano-jet has been developed, thus allowing the observation of objects of a size smaller than the diffraction limit of the optical instrument.

La présente thèse traite de méthodes en microscopie holographique numérique (MHN) en couleurs, avec un éclairage de cohérence spatiale partielle. Le principal inconvénient de la microscopie optique classique est sa faible profondeur de champ, rendant difficile l’observation de phénomènes dynamiques dans des échantillons épais. Au contraire, la MHN offre une reconstruction en profondeur grâce à la propagation numérique de l’hologramme. La MHN interférométrique donne aussi le contraste quantitatif de la phase, utile pour analyser des objets transparents. Un éclairage à plusieurs longueurs d’onde dans une configuration appropriée permet la MHN en couleurs. L’imagerie en flux et en couleurs de particules en MHN est ici développée, avec une méthode pour la correction automatique de la balance des couleurs et des défauts permanents. Elle est appliquée pour l’analyse du plancton dans des échantillons d’eau de surface et fournit des images de haute qualité pour les intensité et phase optiques. En outre, la réduction du bruit obtenue en diminuant la cohérence spatiale de l’éclairage en MHN est également étudiée, avec deux modèles évaluant quantitativement ce phénomène en fonction de la cohérence spatiale de la lumière et de la distance entre la source de bruit et le plan d’enregistrement. De plus, la MHN différentielle est aussi abordée. Celle-ci fournit les phases différentielles, la phase étant calculée par intégration. Cependant, les défauts présents conduisent à des aberrations lors du calcul de la phase, qui affectent sa qualité et empêchent la reconstruction holographique. Un traitement spécifique est développé, permettant la reconstruction numérique en profondeur. Enfin, en MHN, un critère est essentiel pour déterminer automatiquement la distance de netteté de l’objet. Deux critères de netteté sont ici mis au point, fonctionnant indépendamment de la nature de l’objet observé (amplitude, phase ou mixte). L’un, monochromatique, est basé sur l’analyse de l’amplitude et sur un filtrage passe-haut ;l’autre, qui détecte rapidement le plan de netteté en MHN en couleurs, compare la phase dans le domaine de Fourier entre les couleurs. Les méthodes développées dans la thèse montrent le potentiel élevé de la MHN en couleurs avec un éclairage partiellement cohérent spatialement, suggérant un avenir prometteur pour cette technique. / The thesis deals with methods and developments in color digital holographic microscopy (DHM), with a partial spatial coherence illumination. The principal drawback of classical optical microscopy is its poor depth of field, which makes difficult the observation of dynamic phenomena in thick samples. On the contrary, DHM provides reconstruction in depth thanks to numeric propagation of the recorded hologram. Another feature of interferometric DHM is the quantitative phase contrast imaging, useful for analyzing transparent objects. Usual DHM is limited to monochromatic case, but multispectral illumination in an appropriate setup leads to color DHM. Color in-flow imaging of particles in DHM is developed in the thesis, with a method for the automatic correction of color balance and permanent defects. It is applied to analyze plankton microorganisms in untreated pond water samples, and provides high quality images, for both optical phase and intensity. Moreover, noise reduction obtained when decreasing the spatial coherence of the illumination in DHM is also investigated in the thesis, with the development of two models that quantitatively assess the noise reduction as a function of both the spatial coherence of the illumination, and the defocus distance of the noise source. Furthermore, differential DHM (DDHM) is also studied in the thesis. As DHM gives the optical phase, DDHM provides differential phases, from which phase is retrieved by integration. However, misalignments and defects give some aberrations, which affect phase quality and hinder refocusing. A specific hologram processing is developed, giving an accurate phase image and enabling holographic reconstruction in depth. Finally, in DHM, a criterion is essential to automatically achieve the refocusing distance of the object. Two refocusing criteria are developed in the thesis, both working independently of the nature of the observed object (amplitude, phase, or both mixed). The first one, monochromatic, is based on amplitude analysis and on a high-pass filtering process. The second one, which gives fast refocusing in multispectral DHM, compares the phase in the Fourier domain among wavelengths. Methods developed in the thesis show the high potential of color DHM with a partial spatial coherence illumination, suggesting a promising future for this technique. / Doctorat en Sciences de l'ingénieur et technologie / info:eu-repo/semantics/nonPublished

En imagerie par résonance magnétique (IRM) interventionnelle, des interventions percutanées minimalement-invasives (biopsies, ablations de tumeurs,...) sont réalisées sous guidage IRM. Lors de l’intervention, les plans de coupe acquis sont alignés sur l’outil chirurgical et les régions anatomiques d’intérêt afin de surveiller la progression de l’outil dans le corps du patient en temps réel. Le suivi d’objets dans l’IRM facilite et accélère les interventions guidées par IRM en permettant d’aligner automatiquement les plans de coupe avec l’outil chirurgical. Dans cette thèse, un système d’alignement automatique des plans de coupe établi sur une séquence IRM clinique est développé. Celui-ci réalise automatiquement la détection et le suivi d’un marqueur passif directement dans les images IRM tout en minimisant le temps d’imagerie dédié à la détection. L’inconvénient principal de cette approche est sa dépendance au temps d’acquisition de la séquence IRM clinique utilisée. Dans un premier temps, les performances du suivi ont pu être améliorées grâce à l’estimation et la prédiction du mouvement suivi par un filtre de Kalman. Puis un capteur optique complémentaire a été ajouté pour réaliser un suivi multi-capteurs, découplant ainsi la fréquence de rafraichissement du suivi de la fréquence de rafraichissement des images IRM. La performance du système développé a été évaluée par des simulations et des expériences utilisant un banc d’essai compatible IRM. Les résultats montrent une bonne robustesse du suivi multi-capteurs pour l’alignement des plans de coupe grâce à la combinaison des qualités individuelles de chaque capteur. / Interventional magnetic resonance imaging (MRI) aims at performing minimally invasive percutaneous interventions, such as tumor ablations and biopsies, under MRI guidance. During such interventions, the acquired MR image planes are typically aligned to the surgical instrument (needle) axis and to surrounding anatomical structures of interest in order to efficiently monitor the advancement in real-time of the instrument inside the patient’s body. Object tracking inside the MRI is expected to facilitate and accelerate MR-guided interventions by allowing to automatically align the image planes to the surgical instrument. In this PhD thesis, an image-based workflow is proposed and refined for automatic image plane alignment. An automatic tracking workflow was developed, performing detection and tracking of a passive marker directly in clinical real-time images. This tracking workflow is designed for fully automated image plane alignment, with minimization of tracking-dedicated time. Its main drawback is its inherent dependence on the slow clinical MRI update rate. First, the addition of motion estimation and prediction with a Kalman filter was investigated and improved the workflow tracking performance. Second, a complementary optical sensor was used for multi-sensor tracking in order to decouple the tracking update rate from the MR image acquisition rate. Performance of the workflow was evaluated with both computer simulations and experiments using an MR compatible testbed. Results show a high robustness of the multi-sensor tracking approach for dynamic image plane alignment, due to the combination of the individual strengths of each sensor.