Dans le domaine du raffinage, les mesures morphologiques de particules sont devenues indispensables pour caractériser les supports de catalyseurs. À travers ces paramètres, on peut remonter aux spécificités physico-chimiques des matériaux étudiés. Une des techniques d'acquisition utilisées est la tomographie électronique (ou nanotomographie). Des volumes 3D sont reconstruits à partir de séries de projections sous différents angles obtenues par microscopie électronique en transmission (MET). Cette technique permet d'acquérir une réelle information tridimensionnelle à l'échelle du nanomètre. Les projections sont obtenues en utilisant les possibilités d'inclinaison du porte objet d'un MET. À cause des limitations mécaniques de ce porte objet (proximité avec les lentilles magnétiques et déplacement nanométrique), on ne peut acquérir qu'un nombre assez restreint de projections, celles-ci étant limitées à un intervalle angulaire fixe. D'autre part, l'inclinaison du porte objet est accompagnée d'un déplacement mécanique nanométrique non parfaitement contrôlé. Ces déplacements doivent être corrigés après l'acquisition par un alignement des projections suivant le même axe 3D de rotation. Cette étape est un pré-requis à la reconstruction tomographique. Nous suggérons d'utiliser une méthode de reconstruction tomographique par une approche de type "problème inverse". Cette méthode permet d'aligner des projections et de corriger les lacunes de l'acquisition de l'objet observé en introduisant de façon pertinente des informations a priori. Ces informations sont donc basées à la fois sur la physique de l'acquisition (nature physique des images MET, géométrie et limitation spécifique de l'acquisition des projections, etc...) et sur la nature des objets à reconstruire (nombre et répartition des phases, critères morphologiques de type de connexité, etc...). L'algorithme proposé permet de réaliser la reconstruction nanotomographique avec une grande précision et un temps de calculs réduit considérablement par rapport à la technique classique. Nous avons testé avec succès notre méthode pour les projections réelles de différents supports de catalyseur / In oil refining industry, morphological measurements of particles have become an essential part in the characterization of catalyst supports. Through these parameters, one can infer the specific physicochemical properties of the studied materials. One of the main acquisition techniques is electron tomography (or nanotomography). 3D volumes are reconstructed from sets of projections from different angles made by a transmission electron microscope (TEM). This technique provides a real three-dimensional information at the nanometric scale. Projections are obtained by tilting the specimen port in the microscope. The tilt mechanism has two drawbacks: a rather limited angular range and mechanical shifts, which are difficult to deal with, knowing that these shifts must be corrected after the acquisition by an alignment of projections. This alignment step is a prerequisite for the tomographic reconstruction. Our work deals with a wholly "inverse problem" approach for aligning projections and reducing artifacts due to missing projections by introducing in a relevant way certain a priori informations. These informations are jointly based on the physics of acquisition (physical nature of the TEM images, geometry and specific limitation on the acquisition of projections...) and on the nature of objects to be reconstructed (number and distribution of phases, morphological criteria such as connectivity ...). This approach is described in an algorithmic way. The implementation of this algorithm shows higher precision reconstruction and smaller computation time compared to earlier techniques. We successfully tested our method for real projections of different catalyst supports

Dans le domaine de la vision par ordinateur, l’estimation de la structure d’une scène 3D à partir d’images 2D constitue un problème fondamental. Parmi les applications concernées par cette problématique, nous nous sommes intéressés dans le cadre de cette thèse à la modélisation d’un environnement urbain. Nous nous sommes intéressés à la reconstruction de scènes 3D à partir d’images monoculaires générées par un véhicule en mouvement. Ici, plusieurs défis se posent à travers les différentes étapes de la chaine de traitement inhérente à la reconstruction 3D. L’un de ces défis vient du fait de l’absence de zones suffisamment texturées dans certaines scènes urbaines, d’où une reconstruction 3D (un nuage de points 3D) trop éparse. De plus, du fait du mouvement du véhicule, d’une image à l’autre il n’y a pas toujours un recouvrement suffisant entre différentes vues consécutives d’une même scène. Dans ce contexte, et ce afin de lever les verrous ci-dessus mentionnés, nous proposons d’estimer, de reconstruire, la structure d’une scène 3D par morceaux en se basant sur une hypothèse de planéité. Nous proposons plusieurs améliorations à la chaine de traitement associée à la reconstruction 3D. D’abord, afin de structurer, de représenter, la scène sous la forme d’entités planes nous proposons une nouvelle méthode de reconstruction 3D, basée sur le regroupement de pixels similaires (superpixel segmentation), qui à travers une représentation multi-échelle pondérée fusionne les informations de couleur et de mouvement. Cette méthode est basée sur l’estimation de la probabilité de discontinuités locales aux frontières des régions calculées à partir du gradient (gradientbased boundary probability estimation). Afin de prendre en compte l’incertitude liée à l’estimation du mouvement, une pondération par morceaux est appliquée à chaque pixel en fonction de cette incertitude. Cette méthode génère des regroupements de pixels (superpixels) non contraints en termes de taille et de forme. Pour certaines applications, telle que la reconstruction 3D à partir d’une séquence d’images, des contraintes de taille sont nécessaires. Nous avons donc proposé une méthode qui intègre à l’algorithme SLIC (Simple Linear Iterative Clustering) l’information de mouvement. L’objectif étant d’obtenir une reconstruction 3D plus dense qui estime mieux la structure de la scène. Pour atteindre cet objectif, nous avons aussi introduit une nouvelle distance qui, en complément de l’information de mouvement et de données images, prend en compte la densité du nuage de points. Afin d’augmenter la densité du nuage de points utilisé pour reconstruire la structure de la scène sous la forme de surfaces planes, nous proposons une nouvelle approche qui mixte plusieurs méthodes d’appariement et une méthode de flot optique dense. Cette méthode est basée sur un système de pondération qui attribue un poids pré-calculé par apprentissage à chaque point reconstruit. L’objectif est de contrôler l’impact de ce système de pondération, autrement dit la qualité de la reconstruction, en fonction de la précision de la méthode d’appariement utilisée. Pour atteindre cet objectif, nous avons appliqué un processus des moindres carrés pondérés aux données reconstruites pondérées par les calculés par apprentissage, qui en complément de la segmentation par morceaux de la séquence d’images, permet une meilleure reconstruction de la structure de la scène sous la forme de surfaces planes. Nous avons également proposé un processus de gestion des discontinuités locales aux frontières de régions voisines dues à des occlusions (occlusion boundaries) qui favorise la coplanarité et la connectivité des régions connexes. L’ensemble des modèles proposés permet de générer une reconstruction 3D dense représentative à la réalité de la scène. La pertinence des modèles proposés a été étudiée et comparée à l’état de l’art. Plusieurs expérimentations ont été réalisées afin de démontrer, d’étayer, la validité de notre approche / In computer vision, the 3D structure estimation from 2D images remains a fundamental problem. One of the emergent applications is 3D urban modelling and mapping. Here, we are interested in street-level monocular 3D reconstruction from mobile vehicle. In this particular case, several challenges arise at different stages of the 3D reconstruction pipeline. Mainly, lacking textured areas in urban scenes produces low density reconstructed point cloud. Also, the continuous motion of the vehicle prevents having redundant views of the scene with short feature points lifetime. In this context, we adopt the piecewise planar 3D reconstruction where the planarity assumption overcomes the aforementioned challenges.In this thesis, we introduce several improvements to the 3D structure estimation pipeline. In particular, the planar piecewise scene representation and modelling. First, we propose a novel approach that aims at creating 3D geometry respecting superpixel segmentation, which is a gradient-based boundary probability estimation by fusing colour and flow information using weighted multi-layered model. A pixel-wise weighting is used in the fusion process which takes into account the uncertainty of the computed flow. This method produces non-constrained superpixels in terms of size and shape. For the applications that imply a constrained size superpixels, such as 3D reconstruction from an image sequence, we develop a flow based SLIC method to produce superpixels that are adapted to reconstructed points density for better planar structure fitting. This is achieved by the mean of new distance measure that takes into account an input density map, in addition to the flow and spatial information. To increase the density of the reconstructed point cloud used to performthe planar structure fitting, we propose a new approach that uses several matching methods and dense optical flow. A weighting scheme assigns a learned weight to each reconstructed point to control its impact to fitting the structure relative to the accuracy of the used matching method. Then, a weighted total least square model uses the reconstructed points and learned weights to fit a planar structure with the help of superpixel segmentation of the input image sequence. Moreover, themodel handles the occlusion boundaries between neighbouring scene patches to encourage connectivity and co-planarity to produce more realistic models. The final output is a complete dense visually appealing 3Dmodels. The validity of the proposed approaches has been substantiated by comprehensive experiments and comparisons with state-of-the-art methods

This work focuses on analysing and improving feature detection and matching. After creating an initial framework of study, four main areas of work are researched. These areas make up the main chapters within this thesis and focus on using the Scale Invariant Feature Transform (SIFT).The preliminary analysis of the SIFT investigates how this algorithm functions. Included is an analysis of the SIFT feature descriptor space and an investigation into the noise properties of the SIFT. It introduces a novel use of the a contrario methodology and shows the success of this method as a way of discriminating between images which are likely to contain corresponding regions from images which do not. Parameter analysis of the SIFT uses both parameter sweeps and genetic algorithms as an intelligent means of setting the SIFT parameters for different image types utilising a GPGPU implementation of SIFT. The results have demonstrated which parameters are more important when optimising the algorithm and the areas within the parameter space to focus on when tuning the values. A multi-exposure, High Dynamic Range (HDR), fusion features process has been developed where the SIFT image features are matched within high contrast scenes. Bracketed exposure images are analysed and features are extracted and combined from different images to create a set of features which describe a larger dynamic range. They are shown to reduce the effects of noise and artefacts that are introduced when extracting features from HDR images directly and have a superior image matching performance. The final area is the development of a novel, 3D-based, SIFT weighting technique which utilises the 3D data from a pair of stereo images to cluster and class matched SIFT features. Weightings are applied to the matches based on the 3D properties of the features and how they cluster in order to attempt to discriminate between correct and incorrect matches using the a contrario methodology. The results show that the technique provides a method for discriminating between correct and incorrect matches and that the a contrario methodology has potential for future investigation as a method for correct feature match prediction.

Ces travaux s’inscrivent dans le cadre du projet VIPA « Véhicule Individuel Public Autonome », au cours duquel le LASMEA et ses partenaires ont mis au point des véhicules capables de naviguer automatiquement, sans aucune infrastructure extérieure dédiée, dans des zones urbaines (parkings, zones piétonnes, aéroports). Il est doté de deux caméras, l’une à l’avant, et l’autre à l’arrière. Avant son déploiement, le véhicule doit tout d’abord être étalonné et conduit manuellement afin de reconstruire la carte d’amers visuels dans laquelle il naviguera ensuite automatiquement. Les travaux de cette thèse ont pour but de développer et de mettre en oeuvre des méthodes souples permettant d’étalonner cet ensemble de caméras dont les champs de vue sont totalement disjoints. Après une étape préalable d’étalonnage intrinsèque et un état de l’art sur les systèmes multi-caméra, nous développons et mettons en oeuvre différentes méthodes d’étalonnage extrinsèque (déterminant les poses relatives des caméras à champs de vue disjoints). La première méthode présentée utilise un miroir plan pour créer un champ de vision commun aux différentes caméras. La seconde approche consiste à manoeuvrer le véhicule pendant que chaque caméra observe une scène statique composée de cibles (dont la détection est sous-pixellique). Dans la troisième approche, nous montrons que l’étalonnage extrinsèque peut être obtenu simultanément à la reconstruction 3D (par exemple lors de la phase d’apprentissage), en utilisant des points d’intérêt comme amers visuels. Pour cela un algorithme d’ajustement de faisceaux multi-caméra a été développé avec une implémentation creuse. Enfin, nous terminons par un étalonnage déterminant l’orientation du système multi-caméra par rapport au véhicule. / My research was involved in the VIPA « Automatic Electric Vehicle for Passenger Transportation » project. During which, the LASMEA and its partnerships have developed vehicles able to navigate autonomously, without any outside dedicated infrastructure in an urban environment (parking lots, pedestrian areas, airports). Two cameras are rigidly embedded on a vehicle : one at the front, another at the back. Before being available for autonomous navigation tasks, the vehicle have to be calibrated and driven manually in order to build a visual 3D map (calibration and learning steps). Then, the vehicle will use this map to localize itself and drive autonomously. The goals of this thesis are to develop and apply user friendly methods, which calibrate this set of nonoverlapping cameras. After a first step of intrinsic calibration and a state of the art on multi-camera rigs, we develop and test several methods to extrinsically calibrate non-overlapping cameras (i.e. estimate the camera relative poses). The first method uses a planar mirror to create an overlap between views of the different cameras. The second procedure consists in manoeuvring the vehicle while each camera observes a static scene (composed of a set of targets, which are detected accurately). In a third procedure, we solve the 3D reconstruction and the extrinsic calibration problems simultaneously (the learning step can be used for that purpose) relying on visual features such as interest points. To achieve this goal a multi-camera bundle adjustment is proposed and implemented with a sparse data structures. Lastly, we present a calibration of the orientation of a multi-camera rig relative to the vehicle.

This diploma thesis deals with 3D reconstruction of objects using image analysis methods. The work includes mathematical theory associated with this problem, a procedure for creating 2D sharp images and 3D reconstruction itself. The outputs are 2D sharp images, 3D models, stl models. Different kinds of data are analyzed.

V posledním desetiletí došlo ke zvýšení zájmu o užití 3D dat k biometrické identifikaci osob. Možná vůbec největší výzkum proběhl v oblasti 3D rozpoznávání podle obličeje, přičemž je v současné době dostupných vícero komerčních zařízení. V oblastni rozpoznávání podle 3D geometrie ruky byl v minulých letech proveden určitý výzkum jehož výsledkem však nebylo žádné komerční zařízení. Nezávisle na tomto výzkumu se v posledních letech velmi rozšířil trh s cenově dostupnými 3D sensory, což potenciálně umožňuje jejich nasazení v mnoha typech biometrických systémů. Hlavním cílem této práce je vytvořit funkční vzorek bezdotykového systému pro rozpoznávání osob podle 3D geometrie ruky, který bude používat novou levnou kameru RealSense 3D vyvíjenou v současné době firmou Intel. Jedním z problémů při použití RealSense kamery je její velmi malý form factor, který je příčinou nižší kvality výsledných snímků v porovnání s velmi drahými alternativami, které byly použity v již dříve zmíněném výzkumu 3D biometrických systémů. Práce se snaží analyzovat robustnost různých 2D a 3D příznaků a vyzkoušet několik různých přístupů k jejich fúzi. Rovněž je vyhodnocena výkonnost výsledného systému, kde je ukázáno, že navržené řešení dosahuje výsledků porovnatelných se state-of-the-art.

2D to 3D reconstruction is an ill-posed problem in the field of Autonomous Robot Navigation. Many practitioners are tend to utilize the enormous success of Deep Learning techniques like CNN, ANN etc to solve tasks related to this 2D to 3D reconstruction. Generally, every deep learning model involves implementation of different optimizers related to the tasks to lower the possible negativity in its results and selection of hyper parameter values for these optimizers during the process of training the model with required dataset.Selection of this optimizer hyper-parameters requires in-depth knowledge and trials and errors. So proposing optimal hyper parameters for optimizers results in no waste in computational resources and time.Hence solution for the selected task cab found easily. The main objective of this research is to propose optimal hyper parameter values of various deep learning optimizers related to 2D to 3D reconstruction and proposing best optimizer among them in terms of computational time and resources To achieve the goal of this study two research methods are used in our work. The first one is a Systematic Literature Review; whose main goal is to reveal the widely selected and used optimizers for 2D to 3D reconstruction model using 3D Deep Learning techniques.The second, an experimental methodology is deployed, whose main goal is to propose the optimal hyper parameter values for respective optimizers like Adam, SGD+Momentum, Adagrad, Adadelta and Adamax which are used in 3D reconstruction models. In case of the computational time, Adamax optimizer outperformed all other optimizers used with training time (1970min), testing time (3360 min), evaluation-1 (16 min) and evaluation-2 (14 min).In case of Average Point cloud points, Adamax outperformed all other optimizers used with Mean value of 28451.04.In case of pred->GT and GT->pred values , Adamax optimizer outperformed all other optimizers with mean values of 4.742 and 4.600 respectively. Point Cloud Images with respective dense cloud points are obtained as results of our experiment.From the above results,Adamax optimizer is proved to be best in terms of visualization of Point Cloud images with optimal hyper parameter values as below:Epochs : 1000    Learning Rate : 1e-2    Chunk size : 32    Batch size : 32.  In this study,'Adamax' optimizer with optimal hyper para meter values and better Point Cloud Image is proven to be the best optimizer that can be used in a 2D to 3D reconstruction related task that deals with Point Cloud images

Dissertation deals with analysis and design of optoelectronic and photogrammetric measuring systems. Specific design of optoelectronic contactless flat object area meters with analysis of attainable measurement accuracy is described. Next part is dedicated to stereophotogrammetry - principles of 3D reconstructions, methods of camera self-calibration and matching points in images are described. The analysis of attainable accuracy of monitored parameters is discussed too. Finally, the test program with implemented described routines is introduced. This test program enables practical aplication of stereophotogrammetric system for taking spatial coordinates of 3D objects.

This work describes 3D reconstruction using stereo vision. It presents methods for automatic localization of corresponding points in both images and their reprojection into 3D space. Application created can be used for navigation of a robot and object avoidance. Second part of the document describes chosen components of the robot. Path finding algorithms are also discussed, particulary Voronoi's diagram.

This thesis focuses on reconstruction of 3D environment model from a set of photographs followed by camera localization. It describes basic principles and techniques used to create environmental models and techniques for camera pose estimation from 2D camera points to 3D model points. It also examines the influence of parameters on the quality of reconstruction and the possibilities of localization. It compares the quality of the descriptors in the process of creation of the model and based on localization it allows to implement augmented reality.