La mise en correspondance d'images multimodales est devenue un axe de recherche essentiel en traitement d'images quels que soient les domaines d'applications. Dans le cadre médical, de nombreuses modalités d'imagerie permettent d'explorer l'organisme mais la grande diversité des phénomènes physiques mis en jeu implique que les organes seront analysés selon des points de vue très différents, spécifiques à chacune des modalités. La fusion d'images multimodales permet de palier cette difficulté en exploitant la complémentarité des différentes modalités pour extraire des données nouvelles par la juxtaposition des données initiales et faisant ainsi de la mise en correspondance un élément d'analyse incontournable. La présente étude est orientée sur la recalage et la mise en correspondance de données issues de systèmes d'imageries projective et tomographique d'angiographie cérébrale. L'angiographie par rayons X (2D) est la référence actuelle pour l'étude des vaisseaux intracrâniens mais elle souffre d'un manque de flexibilité et d'absence d'informations tridimensionnelles. Le recalage et la mise en correspondance de cette modalité avec l'Imagerie par Résonance Magnétique permet, d'une part de compléter les données de l'image radiologique et, d'autre part, de valider les innovations technologiques apportées aux dernières générations d'imageurs. La méthode proposée se base sur un recalage automatique et rigide entre les deux modalités. L'originalité de l'approche réside en l'absence de marqueurs ou référentiels externes, basant ainsi le recalage uniquement sur les caractéristiques anatomiques individuelles. Les retombées médicales de ce travail sont multiples tant dans le domaine diagnostique que thérapeutique. A titres d'exemples, une information fine et précise de la vascularisation peut se révéler être décisive dans un cadre neurochirurgical et la mise en correspondance d'images acquises à des instants différents permet un suivi plus objectif d'une pathologie.

Les maladies ostéoarticulaires constituent une part importante des pathologies qui touchent l'appareil locomoteur humain et elles ont un impact majeur quant à l'individu et à la société. Dans ce cadre les études cinématiques présentent un outil permettant aux cliniciens une évaluation de l'état des articulations. Ces études passent par une estimation du mouvement des structures osseuses. Plusieurs approches sont actuellement utilisées dans cet objectif : passant par le suivi de marqueurs externes (fixés sur la peau), internes (fixés sur les os), la palpation, et le recalage d'images médicales (radiographies, CT, IRM). Cette dernière approche a été retenue en proposant un recalage 2D 3D pour l'estimation des positions des structures osseuses. Dans une première partie, on tire profit de la particularité d'une nouvelle modalité radiologique bi-planes basse dose (EOS) pour proposer une méthode originale et particulièrement bien adaptée et qui utilise le théorème classique de la coupe centrale de Fourier. Pour cela, dans un premier temps, au travers d'un état de l'art des approches classiques de l'estimation de mouvements, nous réalisons une classification originale multi critères (invasivité, précision, généricité) afin de bien situer les apports de cette nouvelle modalité. Dans un deuxième temps, nous proposons une alternative au schéma classique de recalage 2D 3D qui présente plusieurs avantages. Le recalage effectué dans le domaine fréquentiel établit un lien élégant entre les données 2D et 3D ce qui permet d'éviter la simulation des radiographies. La recherche des deux composantes du mouvement rigide, rotation et translation, est effectuée d'une manière séquentielle. D'abord, la rotation est déterminée par une optimisation itérative d'une métrique dépendant des modules des données. La translation se déduit, alors, directement en utilisant les phases. Une deuxième partie est consacré à la mise en oeuvre pratique de la méthode et à l'évaluation de l'implémentation sur des données de plus en plus complexes allant des données synthétiques, des fantômes puis des données EOS réelles composées de radiographies frontales et sagittales et d'une seule reconstruction 3D. Ceci permet de valider la méthode dans des conditions réelles d'acquisition. L'application de notre méthode de recalage pour l'estimation de mouvement de différentes structures : fémur, tibia, prothèses de genou et de hanche, nous a permis d'illustrer la généricité de l'approche proposée.

La cystoscopie est actuellement l'examen clinique de référence permettant l'exploration visuelle des parois internes de la vessie. Le cystoscope (instrument utilisé pour cet examen) permet d'acquérir une séquence vidéo des parois épithéliales de la vessie. Cependant, chaque image de la séquence vidéo ne visualise qu'une surface réduite de quelques centimètres carrés de la paroi. Les travaux réalisés dans le cadre de cette thèse ont pour objectif de construire une carte 3D reproduisant d'une manière fidèle les formes et les textures des parois internes de la vessie. Une telle représentation de l'intérieur de la vessie permettrait d'améliorer l'interprétation des données acquises lors d'un examen cystoscopique. Pour atteindre cet objectif, un nouvel algorithme flexible est proposé pour le calibrage de systèmes cystoscopiques à vision active. Cet algorithme fournit les paramètres nécessaires à la reconstruction précise de points 3D sur la portion de surface imagée à chaque instant donné de la séquence vidéo cystoscopique. Ainsi, pour chaque acquisition de la séquence vidéo, un ensemble de quelques points 3D/2D et une image 2D est disponible. L'objectif du deuxième algorithme proposé dans cette thèse est de ramener l'ensemble des données obtenues pour une séquence dans un repère global pour générer un nuage de points 3D et une image panoramique 2D représentant respectivement la forme 3D et la texture de la totalité de la paroi imagée dans la séquence vidéo. Cette méthode de cartographie 3D permet l'estimation simultanée des transformations 3D rigides et 2D perspectives liant respectivement les positions du cystoscope et les images de paires d'acquisitions consécutives. Les résultats obtenus sur des fantômes réalistes de vessie montrent que ces algorithmes permettent de calculer des surfaces 3D reproduisant les formes à retrouver.

Pour comprendre et diagnostiquer des pathologies telles que la scoliose qui affectent l'organisation spatiale de notre squelette, il est essentiel d'aborder ces problématiques en trois dimensions. Dans le cadre de leur collaboration franco-canadienne, le Laboratoire de Biomécanique et le Laboratoire de recherche en Imagerie et Orthopédie ont développé des méthodes de reconstruction 3D du squelette à partir de radiographies biplanes, notamment à partir du système de radiographie base dose EOS (Biospace Med, Paris). Ces techniques permettent une analyse clinique globale du patient, en position debout et avec très peu d'irradiations. Néanmoins, le temps de reconstruction reste contraignant pour une utilisation en routine clinique. L'objectif de cette thèse est donc de progresser dans l'automatisation des méthodes de reconstruction 3D à partir de radiographies biplanes. Les méthodes développées seront appliquées au rachis thoracique et lombaire, dans le contexte spécifique de l'étude de la scoliose. Une méthode de reconstruction s'appuyant sur une description paramétrée du rachis et sur des inférences statistiques longitudinales et transversales a été proposée et évaluée. Cette méthode permet, à partir de la saisie opérateur de quelques repères anatomiques dans les radiographies, d'obtenir très rapidement (2min 30s) une reconstruction 3D pré-personnalisée du rachis ainsi que des paramètres cliniques dédiés au diagnostic de la scoliose. Une reconstruction 3D plus précise peut être obtenue en un temps relativement réduit (10min) à partir d'ajustement opérateurs du modèle, qui s'auto-améliore par inférences au fur et à mesure des retouches. Afin de poursuivre la semi-automatisation de cette méthode, des techniques de recalage 2D/3D par traitement d'image, basées sur la segmentation des radiographies mais également sur des mesures de similarités entre des radiographies simulées et les clichés réels ont été proposées. Ces algorithmes s'appuient sur des modèles pseudo-volumiques de vertèbres, plus réalistes que les modèles surfaciques couramment utilisés. Les techniques de recalage ont été intégrées dans le protocole de reconstruction utilisant une description paramétrée du rachis et des inférences, pour proposer et évaluer une nouvelle méthode de reconstruction. Ce travail de thèse ouvre des perspectives concrètes en termes d'utilisation de telles méthodes en routine clinique et permet de poser des bases importantes pour automatiser les méthodes de reconstruction 3D à partir de radiographies biplanes de l'ensemble du squelette.

La coronarographie et la tomoscintigraphie (SPECT, de l'anglais "Single Photon Emission Computed<br />Tomography") sont deux techniques d'imagerie utilisées couramment pour diagnostiquer les maladies<br />cardiovasculaires. La première modalité est constituée de séquences d'images à rayon X visualisant chacune,<br />dans un même plan, les artères coronaires situées sur la face avant et la face arrière du coeur. Les images à<br />rayons X fournissent des informations anatomiques liées à l'arbre artériel et mettent en évidence d'éventuels<br />rétrécissements des artères (sténoses). La modalité SPECT (imagerie nucléaire) fournit une représentation 3D<br />de la perfusion du volume myocardique. Cette information fonctionnelle permet la visualisation de régions<br />myocardiques souffrant de défauts d'irrigations. Le but du travail présenté est de superposer, en 3D, les<br />informations fonctionnelles et anatomiques pour établir un lien visuel entre des lésions artérielles et leurs<br />conséquences en termes de défauts d'irrigation. Dans la représentation 3D choisie pour faciliter le diagnostic, la<br />structure d'un arbre artériel schématique, comprenant les sténoses, est placée sur le volume de perfusion. Les<br />données initiales sont constituées d'une liste de points représentatifs de l'arbre artériel (points d'arrivée et de<br />départs de segments d'artères, bifurcations, sténoses, etc.) marqués par le coronarographiste dans les images à<br />rayons X des différentes incidences. Le volume de perfusion est ensuite projeté sous les incidences des images<br />de coronarographie. Un algorithme de recalage superposant les images à rayons X et les projections SPECT<br />correspondantes fournit les paramètres des transformations géométriques ramenant les points marqués dans les<br />images à rayons X dans une position équivalente dans les images SPECT. Un algorithme de reconstruction 3D<br />permet ensuite de placer les points artériels et les sténoses sur le volume de perfusion et de former un arbre<br />schématique servant de repère au clinicien. Une base de données formée de 28 patients a été utilisée pour<br />effectuer 40 superpositions 3D de données anatomo-fonctionnelles. Ces reconstructions ont montré que la<br />représentation 3D est suffisamment précise pour permettre d'établir visuellement un lien entre sténoses et<br />défauts de perfusions. Nos algorithmes de superpositions 3D ont ensuite été complétés pour remplacer la<br />modalité SPECT par les données de l'examen bimodal TEP/CT (Tomographie par Emission de<br />Positons/Tomodensitométrie). Les données d'un cas clinique trimodal TEP/CT/coronarographie ont été utilisées<br />pour vérifier l'adéquation de nos algorithmes à la nouvelle modalité d'imagerie.

Cette thèse s'intéresse au recalage de données issues de capteurs 3D et multispectraux pour l'étude du patrimoine.Lorsque l'on étudie ce type d'objet, il y a souvent peu de points saillants naturels entre ces jeux de données complémentaires. Par ailleurs, l'utilisation de mires optiques est proscrite.Notre problème est donc de recaler des données multimodales sans points caractéristiques.Nous avons développé une méthode de recalage basé sur le suivi des systèmes d'acquisition en utilisant des techniques issues de la photogrammétrie.Des simulations nous ont permis d'évaluer la précision de la méthode dans trois configurations qui représentent des cas typiques dans l'étude d'objets du patrimoine.Ces simulations ont montré que l'on peut atteindre une précision du suivi de 0.020 mm spatialement et 0.100 mrad angulairement en utilisant quatre caméras 5 Mpx lorsque l'on numérise une zone de 400 mm x 700 mm.La précision finale du recalage repose sur le succès d'une série de calibrations optiques et géométriques, ainsi que sur leur stabilité pour la durée du processus d'acquisition.Plusieurs tests ont permis d'évaluer la précision du suivi et du recalage de plusieurs jeux de données indépendants; d'abord seulement 3D, puis 3D et multispecrales.Enfin, nous avons étendu notre méthode d'estimation de la réflectance à partir des données multispectrales lorsque celles-ci sont recalées sur un modèle 3D.

Ette thèse s’inscrit dans le contexte de la réalité augmentée (RA). La problématique majeure consiste à calculer la pose d’une caméra en temps réel. Ce calcul doit être effectué en respectant trois critères principaux : précision, robustesse et rapidité. Dans le cadre de cette thèse, nous introduisons certaines méthodes permettant d’exploiter au mieux les primitives des images. Dans notre cas, les primitives sont des points que nous allons détecter puis décrire dans une image. Pour ce faire, nous nous basons sur la texture de cette image. Nous avons dans un premier temps mis en place une architecture favorisant le calcul rapide de la pose, sans perdre en précision ni en robustesse. Nous avons pour cela exploité une phase hors ligne, où nous reconstruisons la scène en 3D. Nous exploitons les informations que nous obtenons lors de cette phase hors ligne afin de construire un arbre de voisinage. Cet arbre lie les images de la base de données entre elles. Disposer de cet arbre nous permet de calculer la pose de la caméra plus efficacement en choisissant les images de la base de données jugées les plus pertinentes. Nous rendant compte que la phase de description et de comparaison des primitives n’est pas suffisamment rapide, nous en avons optimisé les calculs. Cela nous a mené jusqu’à proposer notre propre descripteur. Pour cela, nous avons dressé un schéma générique basé sur la théorie de l’information qui englobe une bonne part des descripteurs binaires, y compris un descripteur récent nommé BOLD [BTM15]. Notre objectif a été, comme pour BOLD, d’augmenter la stabilité aux changements d’orientation du descripteur produit. Afin de réaliser cela, nous avons construit un nouveau schéma de sélection hors ligne plus adapté à la procédure de mise en correspondance en ligne. Cela permet d’intégrer ces améliorations dans le descripteur que nous construisons. Procéder ainsi permet d’améliorer les performances du descripteur notamment en terme de rapidité en comparaison avec les descripteurs de l’état de l’art. Nous détaillons dans cette thèse les différentes méthodes que nous avons mises en place afin d’optimiser l’estimation de la pose d’une caméra. Nos travaux ont fait l’objet de 2 publications (1 nationale et 1 internationale) et d’un dépôt de brevet. / This thesis belongs within the context of augmented reality. The main issue resides in estimating a camera pose in real-time. This estimation should be done following three main criteria: precision, robustness and computation efficiency.In the frame of this thesis we established methods enabling better use of image primitives. As far as we are concerned, we limit ourselves to keypoint primitives. We first set an architecture enabling faster pose estimation without loss of precision or robustness. This architecture is based on using data collected during an offline phase. This offline phase is used to construct a 3D point cloud of the scene. We use those data in order to build a neighbourhood graph within the images in the database. This neighbourhood graph enables us to select the most relevant images in order to compute the camera pose more efficiently. Since the description and matching processes are not fast enough with SIFT descriptor, we decided to optimise the bottleneck parts of the whole pipeline. It led us to propose our own descriptor. Towards this aim, we built a framework encompassing most recent binary descriptors including a recent state-of-the-art one named BOLD. We pursue a similar goal to BOLD, namely to increase the stability of the produced descriptors with respect to rotations. To achieve this goal, we have designed a novel offline selection criterion which is better adapted to the online matching procedure introduced in BOLD.In this thesis we introduce several methods used to estimate camera poses more efficiently. Our work has been distinguished by two publications (a national and an international one) as well as with a patent application.

Cette thèse s'intéresse au recalage de données issues de capteurs 3D et multispectraux pour l'étude du patrimoine.Lorsque l'on étudie ce type d'objet, il y a souvent peu de points saillants naturels entre ces jeux de données complémentaires. Par ailleurs, l'utilisation de mires optiques est proscrite.Notre problème est donc de recaler des données multimodales sans points caractéristiques.Nous avons développé une méthode de recalage basé sur le suivi des systèmes d'acquisition en utilisant des techniques issues de la photogrammétrie.Des simulations nous ont permis d'évaluer la précision de la méthode dans trois configurations qui représentent des cas typiques dans l'étude d'objets du patrimoine.Ces simulations ont montré que l'on peut atteindre une précision du suivi de 0.020 mm spatialement et 0.100 mrad angulairement en utilisant quatre caméras 5 Mpx lorsque l'on numérise une zone de 400 mm x 700 mm.La précision finale du recalage repose sur le succès d'une série de calibrations optiques et géométriques, ainsi que sur leur stabilité pour la durée du processus d'acquisition.Plusieurs tests ont permis d'évaluer la précision du suivi et du recalage de plusieurs jeux de données indépendants; d'abord seulement 3D, puis 3D et multispecrales.Enfin, nous avons étendu notre méthode d'estimation de la réflectance à partir des données multispectrales lorsque celles-ci sont recalées sur un modèle 3D. / The concern and interest of this PhD thesis is the registration of featureless 3D and multispectral datasets describing cultural heritage objects.In this context, there are few natural salient features between the complementary datasets, and the use of targets is generally proscribed.We thus develop a technique based on the photogrammetric tracking of the acquisition systems in use.A series of simulations was performed to evaluate the accuracy of our method in three configurations chosen to represent a variety of cultural heritage objects.These simulations show that we can achieve a spatial tracking accuracy of 0.020 mm and an angular accuracy of 0.100 mrad using four 5 Mpx cameras when digitizing an area of 400 mm x 700 mm. The accuracy of the final registration relies on the success of a series of optical and geometrical calibrations and their stability for the duration of the full acquisition process.The accuracy of the tracking and registration was extensively tested in laboratory settings. We first evaluated the potential for multiview 3D registration. Then, the method was used for to project of multispectral images on 3D models.Finally, we used the registered data to improve the reflectance estimation from the multispectral datasets

La cystoscopie est actuellement l'examen clinique de référence permettant l'exploration visuelle des parois internes de la vessie. Le cystoscope (instrument utilisé pour cet examen) permet d'acquérir une séquence vidéo des parois épithéliales de la vessie. Cependant, chaque image de la séquence vidéo ne visualise qu'une surface réduite de quelques centimètres carrés de la paroi. Les travaux réalisés dans le cadre de cette thèse ont pour objectif de construire une carte 3D reproduisant d'une manière fidèle les formes et les textures des parois internes de la vessie. Une telle représentation de l'intérieur de la vessie permettrait d'améliorer l'interprétation des données acquises lors d'un examen cystoscopique. Pour atteindre cet objectif, un nouvel algorithme flexible est proposé pour le calibrage de systèmes cystoscopiques à vision active. Cet algorithme fournit les paramètres nécessaires à la reconstruction précise de points 3D sur la portion de surface imagée à chaque instant donné de la séquence vidéo cystoscopique. Ainsi, pour chaque acquisition de la séquence vidéo, un ensemble de quelques points 3D/2D et une image 2D est disponible. L'objectif du deuxième algorithme proposé dans cette thèse est de ramener l'ensemble des données obtenues pour une séquence dans un repère global pour générer un nuage de points 3D et une image panoramique 2D représentant respectivement la forme 3D et la texture de la totalité de la paroi imagée dans la séquence vidéo. Cette méthode de cartographie 3D permet l'estimation simultanée des transformations 3D rigides et 2D perspectives liant respectivement les positions du cystoscope et les images de paires d'acquisitions consécutives. Les résultats obtenus sur des fantômes réalistes de vessie montrent que ces algorithmes permettent de calculer des surfaces 3D reproduisant les formes à retrouver / Cystoscopy is currently the reference clinical examination for visual exploration of the inner walls of the bladder. A cystoscope (instrument used in this examination) allows for video acquisition of the bladder epithelium. Nonetheless, each frame of the video displays only a small area of few squared centimeters. This work aims to build 3D maps representing the 3D shape and the texture of the inner walls of the bladder. Such maps should improve and facilitate the interpretation of the cystoscopic data. To reach this purpose, a new flexible algorithm is proposed for the calibration of cystoscopic active vision systems. This algorithm provides the required parameters to achieve accurate reconstruction of 3D points on the surface part imaged at each given moment of the video cystoscopy. Thus, available data for each acquisition are a set of few 3D points (and their corresponding 2D projections) and a 2D image. The aim of the second algorithm described in this work is to place all the data obtained for a sequence in a global coordinate system to generate a 3D point cloud and a 2D panoramic image representing respectively the 3D shape and the texture of the bladder wall imaged in the video. This 3D cartography method allows for the simultaneous estimation of 3D rigid transformations and 2D perspective transformations. These transformations give respectively the link between cystoscope positions and between images of consecutive acquisitions. The results obtained on realistic bladder phantoms show that the proposed method generates 3D surfaces recovering the ground truth shapes