La reconstruction 3D consiste à acquérir des images d’un objet, et à s’en servir pour en estimer un modèle 3D. Dans ce manuscrit, nous développons une méthode de reconstruction basée sur la modélisation par squelette. Cette méthode a l’avantage de renvoyer un modèle 3D qui est un objet virtuel complet (i.e. fermé) et aisément éditable, grâce à la structure du squelette. Enfin, l’objet acquis n’a pas besoin d’être texturé, et entre 3 et 5 images sont suffisantes pour la reconstruction. Dans une première partie, nous étudions les aspects 2D de l’étude. En effet, l’estimation d’un squelette 3D nécessite d’étudier la formation de la silhouette de l’objet à partir de son squelette, et donc les propriétés de sa projection perspective, appelée squelette perspectif. Cette étude est suivie par notre première contribution : un algorithme d’estimation de la projection perspective d’un squelette 3D curviligne, constitué d’un ensemble de courbes. Cet algorithme a toutefois tendance, comme beaucoup d’algorithmes estimant un squelette, à générer des branches peu informatives, notamment sur une image rastérisée. Notre seconde contribution est donc un algorithme d’estimation de squelette 2D, capable de prendre en compte la discrétisation du contour de la forme 2D, et d’éviter ces branches peu informatives. Cet algorithme, d’abord conçu pour estimer un squelette classique, est ensuite généralisé à l’estimation d’un squelette perspectif. Dans une seconde partie, nous estimons le squelette 3D d’un objet à partir de ses projections. Tout d’abord, nous supposons que le squelette de l’objet 3D à reconstruire est curviligne. Ainsi, chaque squelette perspectif estimé correspond à la projection du squelette 3D de l’objet, sous différents points de vue. La topologie du squelette étant affectée par la projection, nous proposons notre troisième contribution, l’estimation de la topologie du squelette 3D à partir de l’ensemble de ses projections. Une fois celle-ci estimée, la projection d’une branche 3D du squelette est identifiée sur chaque image, i.e. sur chacun des squelettes perspectifs. Avec cette identification, nous pouvons trianguler les branches du squelette 3D, ce qui constitue notre quatrième contribution : nous sommes donc en mesure d’estimer un squelette curviligne associé à un ensemble d’images d’un objet. Toutefois, les squelettes 3D ne sont pas tous constitués d’un ensemble de courbes : certains d’entre eux possèdent aussi des parties surfaciques. Notre dernière contribution, pour reconstruire des squelettes 3D surfaciques, est une nouvelle approche pour l’estimation d’un squelette 3D à partir d’images : son principe est de faire grandir le squelette 3D, sous les contraintes données par les images de l’objet. / The principle of 3D reconstruction is to acquire one or more images of an object, and to use it to estimate a 3D model of the object. In this manuscript, we develop a reconstruction method based on a particular model, the skeleton. The main advantages of our reconstruction approach are: we do reconstruct a whole, complete objet, and thanks to the skeleton structure, easily editable. Moreover, the method we propose allows us to free ourselves from constraints related to more classical reconstruction methods: the reconstructed object does not need to be textured, and between 3 and 5 images are sufficient to perform the reconstruction. In the first part, we focus on the 2D aspects of the work. Indeed, before estimating a 3D skeleton, we study the perspective silhouette of the object, and thus evaluate the properties of the perspective projection of the skeleton. Thus, our first contribution is an algorithm estimating the perspective projection of a curvilinear 3D skeleton, consisting of a set of curves. This algorithm, however, like most skeletonisation algorithms, tends to generate non-informative branches, in particular on a rasterized image. Our second contribution is thus an original 2D skeleton estimation algorithm, able to take into account the noise on the contour of the 2D shape, and to avoid uninformative skeleton branches. This algorithm, first designed to estimate a classical skeleton, is then generalized for computing a perspective skeleton. In a second part, we estimate the 3D skeleton of an object from its projections. First, we assume that the skeleton of the considered object is curvilinear. Thus, each estimated perspective skeleton corresponds to the projection of the 3D skeleton, from several viewpoints. The topology of the skeleton is however affected by the perspective projection, so we propose our third contribution: the estimation of the topology of the 3D skeleton based on its projections. Once this topology is estimated, for any 3D branch of the skeleton we indentify its projections on each image, that is a branch on each of the perspective skeletons. From this identification, we triangulate the branches of the 3D skeleton, which is our fourth contribution. Thus, we are able to estimate a curvilinear skeleton associated with a set of images of a 3D object. However, 3D skeletons are not necessarily made up of a set of curves, and some of them also have surface parts. Our last contribution is a new approach for the estimation of a general 3D skeleton (with surface parts) from images, which principle is to increase the 3D skeleton under the constraints given by the different images of the object.

Pour comprendre et diagnostiquer les pathologies qui affectent l’organisation spatialede notre squelette, il est essentiel d’aborder ces problématiques en 3D. Le CT-Scan et l’IRMsont des modalités d’imagerie couramment utilisées en milieu clinique pour étudier en 3D notresystème musculosquelettique. La plupart de ces systèmes d’imagerie proposent une acquisitioncouchée sur laquelle les effets gravitaires ne sont pas pris en compte. Le CT-Scan est unemodalité particulièrement irradiante et l’IRM est plus spécifiquement dédiée à l’étude des tissusmous. Le système EOS permet de reconstruire en 3D les os à partir d’une paire deradiographies biplanes à faible dose d’irradiation. En plus, le système EOS propose uneacquisition en position debout, prenant en compte les effets gravitaires. Cette thèse contribue àl’amélioration des méthodes de reconstruction 3D des membres inférieurs à partir des radiosbiplanes. Dans le cadre de thèse on a proposé et évalué : 1) Une méthode de reconstruction3D des membres inférieurs s’appuyant sur des modèles paramétrés et des inférencesstatistiques. 2) Une méthode d’auto-amélioration de la reconstruction 3D des membresinférieurs en utilisant du traitement d’images local et le recalcul d’inférences statistiques. 3)Enfin, des méthodes utilisant des critères de similarité d’images et des critères morphologiquespour détecter de manière automatique le côté médial et latéral du fémur et du tibia. Le but estd’éviter l’inversion par l’opérateur de condyles fémoraux et plateaux tibiaux, affectant la valeurdes paramètres cliniques, surtout les torsions. La méthode de reconstruction proposée dans lecadre de cette thèse est intégrée dans le logiciel sterEOS® et utilisée dans une soixantained’hôpitaux au monde. Les méthodes développées dans le cadre de cette thèse ont permis deprogresser vers la reconstruction semi-automatisée, précise et robuste du membre inférieur / For a better understanding and diagnosis of the pathologies affecting the spatialorganization of our skeleton it is necessary to address them in 3D. CT-Scan and MRI areimaging modalities commonly used to study the musculoskeletal system in 3D. Moreover,patients are recorded in reclining position thus gravity effect can’t be taken into account.Furthermore, CT-Scan exposes patient to high radiation doses and MRI is used mostly tocharacterize soft tissues. With the EOS system, from a pair of low dose biplanar radiographs wecan reconstruct bones in 3D, and the radiographs are recorded in standing position thus gravityeffects are considered. This thesis contributes to the improvement of the 3D reconstructionmethods of lower limbs from biplanar radiographs. In this thesis we have proposed andevaluated: 1) A 3D reconstruction method of the lower limbs based on parametric models andstatistical inferences. 2) A method for the auto-improvement of the 3D reconstruction of thelower limbs. This method combines image processing and the recalculation of the statisticalinferences. 3) Finally, methods based on similarity measures and shape criteria were used todetect automatically the medial and lateral side of the femur and tibia. The aim of thesemethods is to avoid the inversion of the femoral and tibial condyles in biplanar radiographs.These inversions have an impact in the calculation of clinical measurements, particularly thetorsional ones. The reconstruction method proposed in this thesis is already integrated withinthe sterEOS® software, available in 60 hospitals around the world. The methods developed inthis thesis have led us to a semi-automatic, accurate and robust reconstruction of lower limbs.

Les méthodes de microscopie de super-résolution (SRM) telles que la microscopie PALM (photoactivated localization microscopy), STORM (stochastic optical reconstruction microscopy), BALM (binding-activated localization microscopy) et le DNA-PAINT, représentent un nouvel ensemble de techniques de microscopie optique qui permettent de surpasser la limite de diffraction ( > 200 nm dans le spectre visible). Ces méthodes sont basées sur la localisation de la fluorescence de molécules uniques, et peuvent atteindre des résolutions de l'ordre du nanomètres (~20 nm latéralement et 50 nm axialement). Les techniques SRM ont un large spectre d'applications dans les domaines de la biologie et de la biophysique, rendant possible l'accès à l'information tant dynamique que structurale de structures connues ou non, in vivo et in vitro. Beaucoup d'efforts ont été fournis durant la dernière décennie afin d'élargir le potentiel de ces méthodes en développant des méthodes de localisation à la fois plus précise et plus rapide, d'améliorer la photophysique des fluorophores, de développer des algorithmes pour obtenir une information quantitative et augmenter la précision de localisation, etc. Cependant, très peu de méthodes ont été développées pour examiner l'hétérogénéité des images et extraire les informations statistiquement pertinent à partir de plusieurs milliers d'images individuelles super-résolues. Dans mon travail de thèse, je me suis spécifiquement attaquée à ces limitations en: (1) construisant des objets de dimensions nanométriques et de structures bien définies, avec la possibilité d'être adaptés aux besoins. Ces objets sont basés sur les origamis d'ADN. (2) développant des approches de marquage afin d'acquérir des images homogènes de ces objets. (3) implémentant des outils statistiques dans le but d'améliorer l'analyse et la validation d'images. Ces outils se basent sur des méthodes de reconstruction de molécules uniques communément appliquées aux reconstructions d'images de microscopie électronique. J'ai spécifiquement appliqué ces développements à la reconstruction de formes 3D de deux origamis d'ADN modèles (en une et trois dimensions). Je montre comment ces méthodes permettent la dissection de l'hétérogénéité de l'échantillon, et la combinaison d'images similaires afin d'améliorer le rapport signal sur bruit. La combinaison de différentes classes moyennes ont permis la reconstruction des formes tridimensionnelles des origamis d'ADN. Particulièrement, car cette méthode utilise la projection 2D de différentes vues d'une même structure, elle permet la récupération de résolutions isotropes en trois dimensions. Des fonctions spécifiques ont été adaptées à partir de méthodologies existantes afin de quantifier la fiabilité des reconstructions et de leur résolution. A l'avenir, ces développements seront utiles pour la reconstruction 3D de tous types d'objets biologiques pouvant être observés à haute résolution par des méthodologies dérivées de PALM, STORM ou PAINT. / Super resolution microscopy (SRM) methods such as photoactivated localization microscopy (PALM), stochastic optical reconstruction microscopy (STORM), binding-activated localization microscopy (BALM) and DNA-PAINT represent a new collection of light microscopy techniques that allow to overpass the diffraction limit barrier ( > 200 nm in the visible spectrum). These methods are based on the localization of bursts of fluorescence from single fluorophores, and can reach nanometer resolutions (~20 nm in lateral and 50 nm in axial direction, respectively). SRM techniques have a broad spectrum of applications in the field of biology and biophysics, allowing access to structural and dynamical information of known and unknown biological structures in vivo and in vitro. Many efforts have been made over the last decade to increase the potential of these methods by developing more precise and faster localization techniques, to improve fluorophore photophysics, to develop algorithms to obtain quantitative information and increase localization precision, etc. However, very few methods have been developed to dissect image heterogeneity and to extract statistically relevant information from thousands of individual super-resolved images. In my thesis, I specifically tackled these limitations by: (1) constructing objects with nanometer dimensions and well-defined structures with the possibility of be tailored to any need. These objects are based on DNA origami. (2) developing labeling approaches to homogeneously image these objects. These approaches are based on adaptations of BALM and DNA-PAINT microscopies. (3) implemented statistical tools to improve image analysis and validation. These tools are based on single-particle reconstruction methods commonly applied to image reconstruction in electron microscopy.I specifically applied these developments to reconstruct the 3D shape of two model DNA origami (in one and three dimensions). I show how this method permits the dissection of sample heterogeneity, and the combination of similar images in order to improve the signal-to-noise ratio. The combination of different average classes permitted the reconstruction of the three dimensional shape of DNA origami. Notably, because this method uses the 2D projections of different views of the same structure, it permits the recovery of isotropic resolutions in three dimensions. Specific functions were adapted from previous methodologies to quantify the reliability of the reconstructions and their resolution.In future, these developments will be helpful for the 3D reconstruction of any biological object that can be imaged at super resolution by PALM, STORM or PAINT-derived methodologies.

Nous présentons une approche de rendu à base d'images (IBR) qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes dépendent des modèles 3D et donnent lieu à des rendus de qualité réduite avec beaucoup d'artefacts. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie 3D. Nous utilisons un warp d'image guidé par des cartes de profondeur quasi-denses qui donnent lieu à beaucoup moins d'artefacts. En se basant sur cette approche, nous avons développé une méthode entièrement automatique permettant de traiter les scènes complexes. Nous sur-segmentons les images d’entrées en superpixels qui limitent les occlusions sur les bords des objets. Nous introduisons la synthèse de profondeur pour créer une approximation de cette profondeur mal reconstruite dans certaines régions et calculons les warps sur les superpixels pour synthétiser le résultat final. Nous comparons nos résultats à de nombreuses approches récentes. Nous avons analysé les artefacts de l'IBR d'un point de vue perceptif en comparant les artefacts générés par le mélange de plusieurs images avec ceux des transitions temporelles brusques et avons élaboré une méthodologie pour la sélection d'un compromis idéal entre les deux. Nous avons également analysé les distorsions perspectives et avons développé un modèle quantitatif qui permet de prédire les distorsions en fonction des paramètres de capture et de visualisation. Comme application, nous avons mis en œuvre un système de réalité virtuelle qui utilise l'IBR à la place de l'infographie traditionnelle. / We present image-based rendering (IBR) approaches that allow free viewpoint walkthroughs of urban scenes using just a few photographs as input. Previous approaches depend upon 3D models which give artifacts as the quality of 3D model degrades. In this thesis, we propose image-based approximations to compensate for the lack of accurate 3D geometry. In the first project, we use discontinuous shape-preserving image warp guided by quasi-dense depth maps which gives far fewer rendering artifacts than previous approaches. We build upon this approach in the second project by developing a completely automated solution that is capable of handling more complex scenes. We oversegment input images into superpixels that capture all occlusion boundaries. We introduce depth synthesis to create approximate depth in very poorly reconstructed regions and compute shape-preserving warps on superpixels to synthesize the final result. We also compare our results to many recent approaches. We analyze IBR artifacts from a perceptual point of view. In the first study, we compare artifacts caused by blending multiple images with abrupt temporal transitions and develop guidelines for selecting the ideal tradeoff. We use vision science in another study to investigate perspective distortions and develop a quantitative model that predicts distortions as a function of capture and viewing parameters. We use guidelines from these experiments to motivate the design of our own IBR systems. We demonstrate the very first virtual reality system that uses IBR instead of traditional computer graphics. This drastically reduces the cost of modeling 3D scenes while producing highly realistic walkthroughs.

RERUME: Les modèles personnalisés 3D sont de plus en plus demandés pour la planification chirurgicale et les recherches en biomécanique. L’objectif principal de cette thèse cotutelle était d’améliorer la méthode de reconstruction 3D à partir des images radiographies biplanes proposée par Lagacé, Ohl et al., afin que celle-ci puisse être plus facilement utilisée en clinique et qu’elle puisse permettre d’aider à la planification chirurgicale et/ou l’évaluation post-chirurgicale. Le système de radiographie biplane EOS à faible dose d’irradiation est le résultat d’une collaboration entre la société EOS imaging, l’institut biomécanique humaine Georges Charpak d’Arts et Métiers ParisTech, le laboratoire de recherche en imagerie et orthopédie (LIO) de l’école de technologie supérieure de Montréal, Georges Charpak, Jean Dubousset et Gabriel Kalifa (Dubousset et al. 2010). Le principe du détecteur de rayon X est basé sur les travaux développés par le Prof. Charpak, qui réduit significativement la dose de rayonnement comparé à la radiographie standard (Dubousset et al. 2010) Quatorze indices cliniques utilisés plus ou moins couramment en clinique pour le diagnostic et le suivi des pathologies de l’épaule et pour la planification chirurgicale et son évaluation post-opératoire ont été calculé. La justesse est acceptable (biais <1 mm sauf la distance sous acrominale) et une reproductibilité (2 fois écart-type inférieur à 5 mm ou 5° sauf 2 paramètres) qui est similaire à ce qui est présenté dans la littérature. L’approche proposée apporte sur une amélioration de la reconstruction dans un contexte où il serait intéressant qu’elle devienne utilisable en routine clinique. Bien que les améliorations soient encore nécessaires, cette contribution apporte une pierre à l’analyse de l’articulation intacte et pathologique et est prometteuse quant à la possibilité de son implantation dans la routine clinique pour évaluer les interventions chirurgicales en pré- et post-opératoire. / Three-dimensional subject-specific models are increasingly requested for surgical planning and research in biomechanics. The main objective of this cotutelle thesis was to improve the 3D reconstruction method using biplane radiography images proposed by Lagacé, Ohl et al., in order to facilitate its application in clinic, especially to assist surgical planning and/or post-surgical evaluation. The low-dose biplane radiography EOS was used and an improvement to the reconstruction method was proposed. Fourteen clinical indices used more or less routinely in clinical diagnosis for monitoring of shoulder disorders and for surgical planning and postoperative evaluation were calculated and evaluated. The accuracy is acceptable and reproducibility is similar to what is presented in the literature. The proposed approach brings an improvement of reconstruction in a context where it would be interesting for clinical routine use. Although improvements are required, this contribution brings a stone to the analysis of intact and pathological joint and is promising as to the possibility of its presence in the clinical routine for evaluating pre- and post-operative surgery.

La création d'une maquette numérique d'un bâtiment existant nécessite le relevé du bâtiment. Le scanner laser terrestre est largement utilisé pour atteindre cet objectif. Il permet d'obtenir la géométrie des objets sous forme de nuages de points. Il fournit une grande quantité de données précises de manière très rapide et avec un niveau élevé de détails. Malheureusement, le passage du nuage de points à la maquette numérique reste actuellement largement manuel en raison du volume important de données et des processus qui sont difficiles à automatiser. Cette démarche est chronophage et source d'erreurs. Un défi majeur aujourd'hui est donc d'automatiser le processus menant à la reconstruction 3D de bâtiments existants à partir de nuages de points. L'objectif de cette thèse est de développer une chaîne de traitements permettant d'extraire automatiquement le maximum d'informations du nuage de points d'un bâtiment en vue d'intégrer le résultat dans un logiciel de BIM. / The creation of an as-built BIM requires the acquisition of the as-is conditions of existing buildings. Terrestrial laser scanning (TLS) is widely used to achieve this goal. Indeed, laser scanners permit to collect information about object geometry in form of point clouds. They provide a large amount of accurate data in a very fast way and with a high level of details. Unfortunately, the scan-to-BIM process remains currently largely a manual process because of the huge amount of data and because of processes, which are difficult to automate. It is time consuming and error-prone. A key challenge today is thus to automate the process leading to 3D reconstruction of existing buildings from point clouds. The aim of this thesis is to develop a processing chain to extract the maximum amount of information from a building point cloud in order to integrate the result in a BIM software.

L’objectif de cette thèse est de développer des méthodes permettant la cartographie d’un environnement tridimensionnel de grande dimension en combinant radar panoramique MMW et caméras optiques. Contrairement aux méthodes existantes de fusion de données multi-capteurs, telles que le SLAM, nous souhaitons réaliser un capteur de type RGB-D fournissant directement des mesures de profondeur enrichies par l’apparence (couleur, texture...). Après avoir modélisé géométriquement le système radar/caméra, nous proposons une méthode de calibrage originale utilisant des correspondances de points. Pour obtenir ces correspondances, des cibles permettant une mesure ponctuelle aussi bien par le radar que la caméra ont été conçues. L’approche proposée a été élaborée pour pouvoir être mise en oeuvre dans un environnement libre et par un opérateur non expert. Deuxièmement, une méthode de reconstruction de points tridimensionnels sur la base de correspondances de points radar et image a été développée. Nous montrons par une analyse théorique des incertitudes combinées des deux capteurs et par des résultats expérimentaux, que la méthode proposée est plus précise que la triangulation stéréoscopique classique pour des points éloignés comme on en trouve dans le cas de cartographie d’environnements extérieurs. Enfin, nous proposons une stratégie efficace de mise en correspondance automatique des données caméra et radar. Cette stratégie utilise deux caméras calibrées. Prenant en compte l’hétérogénéité des données radar et caméras, l’algorithme développé commence par segmenter les données radar en régions polygonales. Grâce au calibrage, l’enveloppe de chaque région est projetée dans deux images afin de définir des régions d’intérêt plus restreintes. Ces régions sont alors segmentées à leur tour en régions polygonales générant ainsi une liste restreinte d’appariement candidats. Un critère basé sur l’inter corrélation et la contrainte épipolaire est appliqué pour valider ou rejeter des paires de régions. Tant que ce critère n’est pas vérifié, les régions sont, elles même, subdivisées par segmentation. Ce processus, favorise l’appariement de régions de grande dimension en premier. L’objectif de cette approche est d’obtenir une cartographie sous forme de patchs localement denses. Les méthodes proposées, ont été testées aussi bien sur des données de synthèse que sur des données expérimentales réelles. Les résultats sont encourageants et montrent, à notre sens, la faisabilité de l’utilisation de ces deux capteurs pour la cartographie d’environnements extérieurs de grande échelle. / The main goal of this PhD work is to develop 3D mapping methods of large scale environment by combining panoramic radar and cameras. Unlike existing sensor fusion methods, such as SLAM (simultaneous localization and mapping), we want to build a RGB-D sensor which directly provides depth measurement enhanced with texture and color information. After modeling the geometry of the radar/camera system, we propose a novel calibration method using points correspondences. To obtain these points correspondences, we designed special targets allowing accurate point detection by both the radar and the camera. The proposed approach has been developed to be implemented by non-expert operators and in unconstrained environment. Secondly, a 3D reconstruction method is elaborated based on radar data and image point correspondences. A theoretical analysis is done to study the influence of the uncertainty zone of each sensor on the reconstruction method. This theoretical study, together with the experimental results, show that the proposed method outperforms the conventional stereoscopic triangulation for large scale outdoor scenes. Finally, we propose an efficient strategy for automatic data matching. This strategy uses two calibrated cameras. Taking into account the heterogeneity of cameras and radar data, the developed algorithm starts by segmenting the radar data into polygonal regions. The calibration process allows the restriction of the search by defining a region of interest in the pair of images. A similarity criterion based on both cross correlation and epipolar constraint is applied in order to validate or reject region pairs. While the similarity test is not met, the image regions are re-segmented iteratively into polygonal regions, generating thereby a shortlist of candidate matches. This process promotes the matching of large regions first which allows obtaining maps with locally dense patches. The proposed methods were tested on both synthetic and real experimental data. The results are encouraging and prove the feasibility of radar and vision sensor fusion for the 3D mapping of large scale urban environment.

Ce travail de thèse porte sur la modélisation dynamique 3D du rein et le suivi d’une tumeur de cet organe. Il s’inscrit dans le projet KiTT (Kidney Tumor Tracking) qui regroupe des chercheurs issus de plusieurs domaines : la modélisation géométrique, la radiologie et l’urologie. Le cadre de cette thèse suit une tendance de mini-invasivité des gestes chirurgicaux observée ces dernières années (HIFU, coelioscopie). Sa finalité est d’aboutir à un nouveau protocole de destruction de tumeurs rénales totalement non-invasif, par la diffusion d’agents physiques (ondes d’ultrasons) à travers la peau et focalisés sur la tumeur. Devant le mouvement et la déformation que le rein présente au cours du cycle respiratoire, la problématique de ces travaux de recherche est de connaître en permanence la position de la tumeur afin d’ajuster à moyen terme la diffusion des ondes en conséquence. / This Ph.D. thesis deals with the 3D dynamic modeling of the kidney and tracking a tumor of this organ. It is in line with the KiTT project (Kidney Tumor Tracking) which gathers researchers from different fileds: geometric modeling, radiology and urology. This work arised from the tendency of nowadays surgical gestures to be less and less invasive (HIFU, coelioscopy). Its goal is to result in a totally non-invasive protocol of kidney tumors eradication by transmitting ultrasound waves through the skin without breaking in it. As the kidney presents motions and deformations during the breathing phase, the main issue is to know the kidney and tumor positions at any time in order to adjust the waves accordingly.

Dans le domaine du raffinage, les mesures morphologiques de particules sont devenues indispensables pour caractériser les supports de catalyseurs. À travers ces paramètres, on peut remonter aux spécificités physico-chimiques des matériaux étudiés. Une des techniques d'acquisition utilisées est la tomographie électronique (ou nanotomographie). Des volumes 3D sont reconstruits à partir de séries de projections sous différents angles obtenues par microscopie électronique en transmission (MET). Cette technique permet d'acquérir une réelle information tridimensionnelle à l'échelle du nanomètre. Les projections sont obtenues en utilisant les possibilités d'inclinaison du porte objet d'un MET. À cause des limitations mécaniques de ce porte objet (proximité avec les lentilles magnétiques et déplacement nanométrique), on ne peut acquérir qu'un nombre assez restreint de projections, celles-ci étant limitées à un intervalle angulaire fixe. D'autre part, l'inclinaison du porte objet est accompagnée d'un déplacement mécanique nanométrique non parfaitement contrôlé. Ces déplacements doivent être corrigés après l'acquisition par un alignement des projections suivant le même axe 3D de rotation. Cette étape est un pré-requis à la reconstruction tomographique. Nous suggérons d'utiliser une méthode de reconstruction tomographique par une approche de type "problème inverse". Cette méthode permet d'aligner des projections et de corriger les lacunes de l'acquisition de l'objet observé en introduisant de façon pertinente des informations a priori. Ces informations sont donc basées à la fois sur la physique de l'acquisition (nature physique des images MET, géométrie et limitation spécifique de l'acquisition des projections, etc...) et sur la nature des objets à reconstruire (nombre et répartition des phases, critères morphologiques de type de connexité, etc...). L'algorithme proposé permet de réaliser la reconstruction nanotomographique avec une grande précision et un temps de calculs réduit considérablement par rapport à la technique classique. Nous avons testé avec succès notre méthode pour les projections réelles de différents supports de catalyseur / In oil refining industry, morphological measurements of particles have become an essential part in the characterization of catalyst supports. Through these parameters, one can infer the specific physicochemical properties of the studied materials. One of the main acquisition techniques is electron tomography (or nanotomography). 3D volumes are reconstructed from sets of projections from different angles made by a transmission electron microscope (TEM). This technique provides a real three-dimensional information at the nanometric scale. Projections are obtained by tilting the specimen port in the microscope. The tilt mechanism has two drawbacks: a rather limited angular range and mechanical shifts, which are difficult to deal with, knowing that these shifts must be corrected after the acquisition by an alignment of projections. This alignment step is a prerequisite for the tomographic reconstruction. Our work deals with a wholly "inverse problem" approach for aligning projections and reducing artifacts due to missing projections by introducing in a relevant way certain a priori informations. These informations are jointly based on the physics of acquisition (physical nature of the TEM images, geometry and specific limitation on the acquisition of projections...) and on the nature of objects to be reconstructed (number and distribution of phases, morphological criteria such as connectivity ...). This approach is described in an algorithmic way. The implementation of this algorithm shows higher precision reconstruction and smaller computation time compared to earlier techniques. We successfully tested our method for real projections of different catalyst supports

Dans le domaine de la vision par ordinateur, l’estimation de la structure d’une scène 3D à partir d’images 2D constitue un problème fondamental. Parmi les applications concernées par cette problématique, nous nous sommes intéressés dans le cadre de cette thèse à la modélisation d’un environnement urbain. Nous nous sommes intéressés à la reconstruction de scènes 3D à partir d’images monoculaires générées par un véhicule en mouvement. Ici, plusieurs défis se posent à travers les différentes étapes de la chaine de traitement inhérente à la reconstruction 3D. L’un de ces défis vient du fait de l’absence de zones suffisamment texturées dans certaines scènes urbaines, d’où une reconstruction 3D (un nuage de points 3D) trop éparse. De plus, du fait du mouvement du véhicule, d’une image à l’autre il n’y a pas toujours un recouvrement suffisant entre différentes vues consécutives d’une même scène. Dans ce contexte, et ce afin de lever les verrous ci-dessus mentionnés, nous proposons d’estimer, de reconstruire, la structure d’une scène 3D par morceaux en se basant sur une hypothèse de planéité. Nous proposons plusieurs améliorations à la chaine de traitement associée à la reconstruction 3D. D’abord, afin de structurer, de représenter, la scène sous la forme d’entités planes nous proposons une nouvelle méthode de reconstruction 3D, basée sur le regroupement de pixels similaires (superpixel segmentation), qui à travers une représentation multi-échelle pondérée fusionne les informations de couleur et de mouvement. Cette méthode est basée sur l’estimation de la probabilité de discontinuités locales aux frontières des régions calculées à partir du gradient (gradientbased boundary probability estimation). Afin de prendre en compte l’incertitude liée à l’estimation du mouvement, une pondération par morceaux est appliquée à chaque pixel en fonction de cette incertitude. Cette méthode génère des regroupements de pixels (superpixels) non contraints en termes de taille et de forme. Pour certaines applications, telle que la reconstruction 3D à partir d’une séquence d’images, des contraintes de taille sont nécessaires. Nous avons donc proposé une méthode qui intègre à l’algorithme SLIC (Simple Linear Iterative Clustering) l’information de mouvement. L’objectif étant d’obtenir une reconstruction 3D plus dense qui estime mieux la structure de la scène. Pour atteindre cet objectif, nous avons aussi introduit une nouvelle distance qui, en complément de l’information de mouvement et de données images, prend en compte la densité du nuage de points. Afin d’augmenter la densité du nuage de points utilisé pour reconstruire la structure de la scène sous la forme de surfaces planes, nous proposons une nouvelle approche qui mixte plusieurs méthodes d’appariement et une méthode de flot optique dense. Cette méthode est basée sur un système de pondération qui attribue un poids pré-calculé par apprentissage à chaque point reconstruit. L’objectif est de contrôler l’impact de ce système de pondération, autrement dit la qualité de la reconstruction, en fonction de la précision de la méthode d’appariement utilisée. Pour atteindre cet objectif, nous avons appliqué un processus des moindres carrés pondérés aux données reconstruites pondérées par les calculés par apprentissage, qui en complément de la segmentation par morceaux de la séquence d’images, permet une meilleure reconstruction de la structure de la scène sous la forme de surfaces planes. Nous avons également proposé un processus de gestion des discontinuités locales aux frontières de régions voisines dues à des occlusions (occlusion boundaries) qui favorise la coplanarité et la connectivité des régions connexes. L’ensemble des modèles proposés permet de générer une reconstruction 3D dense représentative à la réalité de la scène. La pertinence des modèles proposés a été étudiée et comparée à l’état de l’art. Plusieurs expérimentations ont été réalisées afin de démontrer, d’étayer, la validité de notre approche / In computer vision, the 3D structure estimation from 2D images remains a fundamental problem. One of the emergent applications is 3D urban modelling and mapping. Here, we are interested in street-level monocular 3D reconstruction from mobile vehicle. In this particular case, several challenges arise at different stages of the 3D reconstruction pipeline. Mainly, lacking textured areas in urban scenes produces low density reconstructed point cloud. Also, the continuous motion of the vehicle prevents having redundant views of the scene with short feature points lifetime. In this context, we adopt the piecewise planar 3D reconstruction where the planarity assumption overcomes the aforementioned challenges.In this thesis, we introduce several improvements to the 3D structure estimation pipeline. In particular, the planar piecewise scene representation and modelling. First, we propose a novel approach that aims at creating 3D geometry respecting superpixel segmentation, which is a gradient-based boundary probability estimation by fusing colour and flow information using weighted multi-layered model. A pixel-wise weighting is used in the fusion process which takes into account the uncertainty of the computed flow. This method produces non-constrained superpixels in terms of size and shape. For the applications that imply a constrained size superpixels, such as 3D reconstruction from an image sequence, we develop a flow based SLIC method to produce superpixels that are adapted to reconstructed points density for better planar structure fitting. This is achieved by the mean of new distance measure that takes into account an input density map, in addition to the flow and spatial information. To increase the density of the reconstructed point cloud used to performthe planar structure fitting, we propose a new approach that uses several matching methods and dense optical flow. A weighting scheme assigns a learned weight to each reconstructed point to control its impact to fitting the structure relative to the accuracy of the used matching method. Then, a weighted total least square model uses the reconstructed points and learned weights to fit a planar structure with the help of superpixel segmentation of the input image sequence. Moreover, themodel handles the occlusion boundaries between neighbouring scene patches to encourage connectivity and co-planarity to produce more realistic models. The final output is a complete dense visually appealing 3Dmodels. The validity of the proposed approaches has been substantiated by comprehensive experiments and comparisons with state-of-the-art methods