L’angioplastie coronarienne est une intervention guidée par rayons X et réalisée par voie endovasculaire qui restaure le diamètre des vaisseaux coronaires réduit par accumulation de corps gras au sein de leurs parois. Lors de cette procédure, un guide est introduit à partir d’une artère qui peut être située au poignet ou au niveau de l’aine. La technique consiste alors à amener dans le vaisseau pathologique un ballonnet gonflable dans la zone rétrécie, localisée grâce à l’injection préalable d’un produit de contraste. Le gonflement du ballonnet élargit l’artère et s’accompagne en général de la pose d’un stent, structure métallique capable de renforcer la paroi. Le geste clinique peut être facilité en intégrant aux images le détail de la nature de la paroi, information disponible avec un scanner 3D. Le but de cette thèse est de proposer une méthode de recalage déformable pour superposer cette information 3D à des images angiographiques 2D per-opératoire en déformant le modèle 3D afin qu’il suive la dynamique cardiaque capturée dans les images angiographiques. Nous introduisons un algorithme de segmentation capable de segmenter automatiquement les vaisseaux principaux dans ces images angiographiques. Ensuite, nous présentons une approche de suivi du vaisseau 3D pathologique dans une séquence 2D+t combinant appariements et déformation d’une courbe spline. Enfin, nous décrivons l’extension au suivi d'un arbre vasculaire 3D, représenté par un arbre dont les arcs sont des courbes splines, dans une séquence 2D+t. Nous avons privilégié les approches applicables avec une seule projection angiographique, bien adapté au déroulement usuel des procédures cliniques. La performance des algorithmes a fait l’objet d’évaluations quantitatives sur des données réelles incluant 30 images pour la segmentation et 23 séquences pour le recalage. / Coronary angioplasty is an X-ray guided intervention, which aims at recovering the diameter of coronary vessels when the accumulation of fat in the vessel wall reduced it. During this procedure, a guide-wire is inserted in the blood vessel located at the wrist or groin. This guide-wire brings into the pathologic vessel a balloon at the level of the fat accumulation, thanks to a previous contrast injection which highlights the lesion. The balloon is inflated and very frequently a thin mesh tube of metallic wires (stent), which is wrapped around the balloon, is then expanded during the balloon inflation. The procedure could benefit from additional information on the nature of the inner wall, available on 3D CT scan. The aim of the thesis is to propose a dynamic registration to superimpose this 3D information onto the intraoperative 2D angiographic sequence, by deforming the 3D model so that it can follow the cardiac motion captured thanks to the angiographic images. We introduce a segmentation algorithm able to automatically segment the main vessels of the angiographic images. Then, we present a tracking approach of the 3D pathologic vessel in a 2D+t sequence combining pairings and the deformation of a spline curve. Finally, we describe the extension to the 3D vascular tree tracking represented by a tree, whose edges are spline curves, in a 2D+t sequence. We favored approaches that are applicable to a single angiographic projection, which is well adapted to the usual process of clinical procedures. All the proposed methods have been tested on real data, consisting of 30 angiographic images for the segmentation algorithm and 23 angiographic sequences for the registration algorithms.

Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d’interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l’utilisateur. Ce travail vise à animer l’avatar à partir d’une acquisition 3D des gestes de l’utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d’un PC grand public équipé d’une webcam. L’approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d’une part et de l’image d’autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d’images monoculaires provient des ambiguïtés 3D/2D et de l’absence d’information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d’hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l’attitude des bras par l’extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l’incertitude sur la profondeur. Enfin, l’évaluation est accélérée par calcul sur GPU. En conclusion, l’algorithme proposé permet un suivi 3D robuste en temps-réel à partir d’une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur. / Networked 3D virtual environments allow multiple users to interact with each other over the Internet. Users can share some sense of telepresence by remotely animating an avatar that represents them. However, avatar control may be tedious and still render user gestures poorly. This work aims at animating a user’s avatar from real time 3D motion capture by monoscopic computer vision, thus allowing virtual telepresence to anyone using a personal computer with a webcam. The approach followed consists of registering a 3D articulated upper-body model to a video sequence. This involves searching iteratively for the best match between features extracted from the 3D model and from the image. A two-step registration process matches regions and then edges. The first contribution of this thesis is a method of allocating computing iterations under real-time constrain that achieves optimal robustness and accuracy. The major issue for robust 3D tracking from monocular images is the 3D/2D ambiguities that result from the lack of depth information. Particle filtering has become a popular framework for propagating multiple hypotheses between frames. As a second contribution, this thesis enhances particle filtering for 3D/2D registration under limited computation constrains with a number of heuristics, the contribution of which is demonstrated experimentally. A parameterization of the arm pose based on their end-effector is proposed to better model uncertainty in the depth direction. Finally, evaluation is accelerated by computation on GPU. In conclusion, the proposed algorithm is demonstrated to provide robust real-time 3D body tracking from a single webcam for a large variety of gestures including partial occlusions and motion in the depth direction.

Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d'interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l'utilisateur. Ce travail vise à animer l'avatar à partir d'une acquisition 3D des gestes de l'utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d'un PC grand public équipé d'une webcam. L'approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d'une part et de l'image d'autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d'images monoculaires provient des ambiguïtés 3D/2D et de l'absence d'information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d'hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l'attitude des bras par l'extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l'incertitude sur la profondeur. Enfin, l'évaluation est accélérée par calcul sur GPU. En conclusion, l'algorithme proposé permet un suivi 3D robuste en temps-réel à partir d'une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur.

L'étude des cellules souches est l'un des champs de recherches les plus importants dans le domaine biomédical. La vision par ordinateur et le traitement d'images ont été fortement mis en avant dans ce domaine pour le développement de solutions automatiques de culture et d'observation de cellules. Ce travail de thèse propose une nouvelle méthodologie pour l'observation et la modélisation de la prolifération de cellule souche neuronale sous microscope à contraste de phase. À chaque observation réalisée par le microscope durant la prolifération, notre système extrait un modèle en trois dimensions de la structure de cellules observées. Cela est réalisé par une suite de processus d'analyse, synthèse et sélection. Premièrement, une analyse de la séquence d'images de contraste de phase permet la segmentation de la neurosphère et des cellules la constituant. À partir de ces informations, combinées avec des connaissances a priori sur les cellules et le protocole de culture, plusieurs modèles 3-D possibles sont générés. Ces modèles sont finalement évalués et sélectionnés par rapport à l¿image d¿observation, grâce à une méthode de recalage 3-D vers 2-D. A travers cette approche, nous présentons un outil automatique de visualisation et d'observation de la prolifération de cellule souche neuronale sous microscope à contraste de phase. / The study of stem cells is one of the most important fields of research in the biomedical field. Computer vision and image processing have been greatly emphasized in this area for the development of automated solutions for culture and observation of cells. This work proposes a new methodology for observing and modelling the proliferation of neural stem cell under a phase contrast microscope. At each time lapse observation performed by the microscope during the proliferation, the system determines a three-dimensional model of the structure formed by the observed cells. This is achieved by a framework combining analysis, synthesis and selection process. First, an analysis of the images from the microscope segments the neurosphere and the constituent cells. With this analysis, combined with prior knowledge about the cells and their culture protocol, several 3-D possible models are generated through a synthesis process. These models are finally selected and evaluated according to their likelihood with the microscope image using a 3-D to 2-D registration method. Through this approach, we present an automatic visualisation tool and observation of the proliferation of neural stem cell under a phase contrast microscope.

L'étude des cellules souches est l'un des champs de recherches les plus importants dans le domaine biomédical. La vision par ordinateur et le traitement d'images ont été fortement mis en avant dans ce domaine pour le développement de solutions automatiques de culture et d'observation de cellules. Ce travail de thèse propose une nouvelle méthodologie pour l'observation et la modélisation de la prolifération de cellule souche neuronale sous microscope à contraste de phase. À chaque observation réalisée par le microscope durant la prolifération, notre système extrait un modèle en trois dimensions de la structure de cellules observées. Cela est réalisé par une suite de processus d'analyse, synthèse et sélection. Premièrement, une analyse de la séquence d'images de contraste de phase permet la segmentation de la neurosphère et des cellules la constituant. À partir de ces informations, combinées avec des connaissances a priori sur les cellules et le protocole de culture, plusieurs modèles 3-D possibles sont générés. Ces modèles sont finalement évalués et sélectionnés par rapport à l¿image d¿observation, grâce à une méthode de recalage 3-D vers 2-D. A travers cette approche, nous présentons un outil automatique de visualisation et d'observation de la prolifération de cellule souche neuronale sous microscope à contraste de phase.

Nous présentons dans cette étude nos travaux concernant le recalage 3D/2D d'images de dissection aortique. Son but est de de proposer une visualisation de données médicales, qui pourra servir dans le contexte de l'assistance peropératoire durant les procédures endovasculaires.Pour effectuer cette tâche, nous avons proposé un modèle paramétrique de l'aorte, appelé enveloppe tubulaire. Il sert à exprimer la forme globale et les déformations de l'aorte, à l'aide d'un nombre minimal de paramètres.L'enveloppe tubulaire est utilisée par les algorithmes de recalage proposés dans cette étude.Notre méthode originale consiste à proposer un recalage par calcul direct de la transformation entre image 2D, i.e. sans procéssus d'optimisation, et est appelée recalage par ITD .Les descripteurs, que nous avons définis pour le cas des images d'aorte, permettent de trouver rapidement un alignement grossier des données. Nous proposons également l'extension de notre approche pour la mise en correspondance des images 3Det 2D.La chaîne complète du recalage 3D/2D, que nous présentons dans ce document, est composée de la technique ITD et de méthodes précises iconiques et hybrides. L'intégration de notre algorithme basé sur les descripteurs en tant qu'étape d'initialisation réduit le temps de calcul nécessaire et augmente l'efficacité du recalage, par rapport aux approches classiques.Nous avons testé nos méthodes avec des images médicales, issues de patients trîtés par procédures endovasculaires. Les résultats ont été vérifiés par les spécialistes cliniques et ont été jugés satisfaisants; notre chaine de recalage pourrait ainsi être exploitée dans les salles d'interventions à l'avenir. / In this study, we present our works related to 3D/2D image registrationfor aorti dissition. Its aim is to propose a visualization of medial datawhih an be used by physians during endovas ular proedures.For this purpose, we have proposed a parametrimodel of aorta, alleda Tubular Envelope. It is used to express the global shape and deformationsof the aorta, by a minimal number of parameters. The tubular envelope isused in our image registration algorithms.The registration by ITD (Image Transformation Descriptors) is our ori-ginal method of image alignment : itomputes the rigid 2D transformation between data sets diretly, without any optimization process.We provide thedefinition of this method, as well as the proposition of several descriptors' formulae, in the base of images of aorta. The technique allows us to quickly and a poarse alignment between data. We also propose the extension of theoriginal approach for the registration of 3D and 2D images.The complete chain of 3D/2D image registration techniques, proposedin this document, consists of the ITD stage, followed by an intensity basedhybrid method. The use of our 3D/2D algorithm, based on the image trans-formation descriptors as an initialization phase, reduces the computing timeand improves the efficiency of the presented approach.We have tested our registration methods for the medical images of several patients after endovasular treatment. Results have been approved by our clinical specialists and our approach.We have tested our registration methods for the medical images of several patients after endovascular treatment. Results have been approved by our clinical specialists and our approach may appear in the intervention rooms in the futur.

Dans cette thèse, nous présentons une méthode de segmentation d’images radiographiques des membres inférieurs en régions d’intérêt (ROIs), une méthode de recalage rigide tridimensionnel (3D) / bidimensionnel (2D) des prothèses du genou sur les deux images biplanaires radiographiques calibrées et une méthode de reconstruction 3D des membres inférieurs à partir de deux images biplanaires radiographiques calibrées. Le premier article présente une méthode de segmentation de rotule, astragale et bassin des images radiographiques en régions d’intérêt basée sur la fusion de multi-atlas et superpixels. Cette méthode utilise l’apprentissage d’une base de données d’images radiographiques de ces os segmentées manuellement et recalées entre elles pour estimer un ensemble de superpixels permettant de tenir compte de toute la variabilité locale et non linéaire existante dans la base, puis la propagation d’étiquettes basée sur le concept d’entropie pour raffiner la carte de segmentations en régions internes afin d’obtenir le résultat final. Le deuxième article présente une méthode de recalage rigide 3D / 2D des composants tibiaux et fémoraux de prothèse du genou sur deux images biplanaires radiographiques calibrées. Cette méthode utilise une mesure de similarité hybride basée sur les notions de contours et régions puis un algorithme d’optimisation stochastique pour estimer la position des composants. La similarité basée sur les régions est stable et robuste contre les bruits. Cependant, cette mesure n’est pas précise car le nombre de pixels aux contours est inférieur au celui à l’intérieur de la région. Au contraire, la similarité basée sur les contours est précise mais plus sensible au bruit ou à d’autres artefacts existant dans les images. C’est pourquoi la combinaison de ces deux similarités fournit une méthode de recalage robuste et précise. Le troisième article représente une méthode statistique biplanaire de reconstruction 3D de rotule, astragale et bassin. Cette méthode utilise un algorithme de réduction de dimensionnalité pour définir un modèle déformable paramétrique qui contient toutes les déformations statistiques admissibles apprises à partir d’une base de données des structures osseuses. Puis un algorithme d’optimisation stochastique est utilisé pour minimiser la différence entre la projection des contours / régions des modèles surfaciques osseux avec ceux segmentés sur les deux images radiographiques. / In this thesis, we present a segmentation method of lower limbs of X-ray images into regions of interest (ROIs), a three-dimensional (3D) / two-dimensional (2D) rigid registration method of knee implant components to biplanar X-ray images, and a 3D reconstruction method of the lower limbs using biplanar X-ray images. The first paper presents a superpixel and multi-atlas-based segmentation method of the patella, talus, and pelvis into regions of interest. This method uses a training dataset of pre-segmented and co-registered X-ray images of these bones to estimate a collection of superpixels allowing to take into account all the nonlinear and local variability existing in the dataset, then a propagation of label based on the entropy concept for refining the segmentation map into internal regions to the final result. The second paper presents a 3D / 2D rigid registration method of tibial and femoral components of knee implants to calibrated biplanar X-ray images. This method uses a hybrid edge- and region-based similarity measure then a stochastic optimization algorithm to estimate the component position. The region-based similarity is stable and robust to noise. However, this measure is not precise because the number of pixels in the border is fewer than the number of pixels inside the region. On the contrary, the edge-based similarity is accurate but more sensitive to noise or other artifacts existing in the images. That’s why the combination of these two similarity types provides a robust and accurate registration method. The third paper presents a statistical biplanar 3D reconstruction method of the patella, talus, and pelvis. This method uses a dimensionality reduction algorithm to define a deformable parametric model which contains all admissible statistical deformations learned from the bone structure dataset. Then a stochastic optimization algorithm is used to minimize the difference between the contour / region projection of bone models and the contours / regions in two segmented X-ray images.