Cette thèse contribue au problème de la reconstruction 3D pour les surfaces déformables avec une seule caméra. Afin de modéliser la déformation de la surface, nous considérons l’isométrie puisque de nombreuses déformations d’objets réels sont quasi-isométriques. L’isométrie implique que, lors de sa déformation, la surface ne peut pas être étirée ou compressée. Nous étudions deux problèmes. Le premier est le problème basé sur une modèle 3D de référence et une seule image. L’état de l’art propose une méthode locale et analytique de calcul direct de profondeur sous l’hypothèse d’isométrie. Dans cette méthode, la solution pour le gradient de la profondeur n’est pas utilisée. Nous prouvons que cette méthode s’avère instable lorsque la géométrie de la caméra tend à être affine. Nous fournissons des méthodes alternatives basées sur les solutions analytiques locales des quantités de premier ordre, telles que les gradients de profondeur ou les normales de la surface. Nos méthodes sont stables dans toutes les géométries de projection. Dans le deuxième type de problème de reconstruction sans modèle 3D de référence, on obtient les formes de l’objet à partir d’un ensemble d’images où il apparaît déformé. Nous fournissons des solutions locales et globales basées sur le modéle de la caméra perspective. Dans la méthode locale ou par point, nous résolvons pour la normale de la surface en chaque point en supposant que la surface est infinitésimalement plane. Nous calculons ensuite la surface par intégration. Dans la méthode globale, nous trouvons une relaxation convexe du problème. Celle-ci est basée sur la relaxation de l’isométrie en contrainte d’inextensibilité et sur la maximisation de la profondeur en chaque point de la surface. Cette solution combine toutes les contraintes en un seul programme d’optimisation convexe qui calcule la profondeur et utilise une représentation éparse de la surface. Nous détaillons les expériences approfondies qui ont été réalisées pour démontrer l’efficacité de chacune des méthodes. Les expériences montrent que notre solution libre de modèle de référence local fonctionne mieux que la plupart des méthodes précédentes. Notre méthode local avec un modèle 3D de référence et notre méthode globale sans modèle 3D apportent de meilleurs résultats que les méthodes de l’état de l’art en étant robuste au bruit de la correspondance. En particulier, nous sommes en mesure de reconstruire des déformations complexes, non-lisses et d’articulations avec la seconde méthode; alors qu’avec la première, nous pouvons reconstruire avec précision de déformations larges à partir d’images prises avec des très longues focales. / This thesis contributes to the problem of 3D reconstruction for deformable surfaces using a single camera. In order to model surface deformation, we use the isometric prior because many real object deformations are near-isometric. Isometry implies that the surface cannot stretch or compress. We tackle two different problems. The first is called Shape-from-Template where the object’s deformed shape is computed from a single image and a texture-mapped 3D template of the object surface. Previous methods propose a differential model of the problem and compute the local analytic solutions. In the methods the solution related to the depth-gradient is discarded and only the depth solution is used. We demonstrate that the depth solution lacks stability as the projection geometry tends to affine. We provide alternative methods based on the local analytic solutions of first-order quantities, such as the depth-gradient or surface normals. Our methods are stable in all projection geometries. The second type of problem, called Non-Rigid Shape-from-Motion is the more general templatefree reconstruction scenario. In this case one obtains the object’s shapes from a set of images where it appears deformed. We contribute to this problem for both local and global solutions using the perspective camera. In the local or point-wise method, we solve for the surface normal at each point assuming infinitesimal planarity of the surface. We then compute the surface by integration. In the global method we find a convex relaxation of the problem. This is based on relaxing isometry to inextensibility and maximizing the surface’s average depth. This solution combines all constraints into a single convex optimization program to compute depth and works for a sparse point representation of the surface. We detail the extensive experiments that were used to demonstrate the effectiveness of each of the proposed methods. The experiments show that our local template-free solution performs better than most of the previous methods. Our local template-based method and our global template-free method performs better than the state-of-the-art methods with robustness to correspondence noise. In particular, we are able to reconstruct difficult, non-smooth and articulating deformations with the latter; while with the former we can accurately reconstruct large deformations with images taken at very long focal lengths.

This thesis presents a 3D reconstruction approach to the detection of static obstacles from a single rear view parking camera. Corner features are tracked to estimate the vehicle’s motion and to perform multiview triangulation in order to reconstruct the scene. We model the camera motion as planar motion and use the knowledge of the camera pose to efficiently solve motion parameters. Based on the observed motion, we selected snapshots from which the scene is reconstructed. These snapshots guarantee a sufficient baseline between the images and result in more robust scene modeling. Multiview triangulation of a feature is performed only if the feature obeys the epipolar constraint. Triangulated features are semantically labelled according to their 3D location. Obstacle features are spatially clustered to reduce false detections. Finally, the distance to the nearest obstacle cluster is reported to the driver.

The recent advances in the field of computer vision have brought many of the laboratory algorithms into the realm of industry. However, one problem that still remains open in the field of 3D vision is the problem of noise. The challenging problem of 3D structure recovery from images is highly sensitive to the presence of input data that are contaminated by errors that do not conform to ideal assumptions. Tackling the problem of extreme data, or outliers has led to many robust methods in the field that are able to handle moderate levels of outliers and still provide accurate outputs. However, this problem remains open, especially for higher noise levels and so it has been the goal of this thesis to address the issue of robustness with respect to two central problems in 3D computer vision. The two problems are highly related and they have been presented together within a Structure from Motion (SfM) context. The first, is the problem of robustly estimating the fundamental matrix from images whose correspondences contain high outlier levels. Even though this area has been extensively studied, two algorithms have been proposed that significantly speed up the computation of the fundamental matrix and achieve accurate results in scenarios containing more than 50% outliers. The presented algorithms rely on ideas from the field of robust statistics in order to develop guided sampling techniques that rely on information inferred from residual analysis. The second, problem addressed in this thesis is the robust estimation of camera intrinsic parameters from fundamental matrices, or self-calibration. Self-calibration algorithms are notoriously unreliable for general cases and it is shown that the existing methods are highly sensitive to noise. In spite of this, robustness in self-calibration has received little attention in the literature. Through experimental results, it is shown that it is essential for a real-world self-calibration algorithm to be robust. In order to introduce robustness to the existing methods, three robust algorithms have been proposed that utilize existing constraints for self-calibration from the fundamental matrix. However, the resulting algorithms are less affected by noise than existing algorithms based on these constraints. This is an important milestone since self-calibration offers many possibilities by providing estimates of camera parameters without requiring access to the image acquisition device. The proposed algorithms rely on perturbation theory, guided sampling methods and a robust root finding method for systems of higher order polynomials. By adding robustness to self-calibration it is hoped that this idea is one step closer to being a practical method of camera calibration rather than merely a theoretical possibility.

Content: The composition, working principle and the image acquisition procedure of nano-CT were introduced. A dried piece of blue stock of chrome-tanned cattle hide was chosen for this work and a sequence of 2356 images was obtained. 3D visible digital models (5mm*3.5mm*3.5mm) of leather fiber bundle braided network (Figure 1) and the interspace between fiber bundles (Figure 2) were reconstructed. The inner structure and composition of leather were shown accurately and intuitively in the form of 2D sectional images and 3D image. Based on the 3D model, the diameter, volume, surface area and other parameters of the fiber bundles, the pore structure and inclusions were measured and calculated. Take-Away: 1. 3D visible digital model of leather fiber bundle braided network was reconstructed. 2. The inner structure and composition of leather were shown accurately and intuitively in the form of 2D sectional images and 3D image.

This master’s thesis deals with vehicles speed measurement. The first part is a theoreticalanalysis with an overview of the measurement devices, which are being used nowadays.The second part of the thesis focuses on creating a method for vehicles speed measure-ment in a common traffic situaction. Measurement is based on digital image processingfrom a camera and determining the movement in the image.For movement determination is used license plate detection and other possible methodsare explained in the thesis for future improvement.Created measurement method is using vehicle with known proportions for visual scenecalibration. The MATLAB programming environment is used to detect license plate andfor calibration.Test measurement is conducted in the thesis, which is compared with other referencespeed measurement method.The purpose of the thesis is to use the proposed method to reduce the cost of measuringthe speed of vehicles and contribute to safety and smoothness on the roads.

We address the problem of estimating a high quality dense depth map from a single RGB input image. We start out with a baseline encoder-decoder convolutional neural network architecture and pose the question of how the global processing of information can help improve overall depth estimation. To this end, we propose a transformer-based architecture block that divides the depth range into bins whose center value is estimated adaptively per image. The final depth values are estimated as linear combinations of the bin centers. We call our new building block AdaBins. Our results show a decisive improvement over the state-of-the-art on several popular depth datasets across all metrics. We also validate the effectiveness of the proposed block with an ablation study.

The thesis falls within the field of computer vision. It describes the development of the software environment for 3D data processing. The thesis deals with the design of C++ classes suitable for scene description and representation of bonding conditions between scenes elements. There is also discussed the solution of camera calibration, geometric distortion identification and 3D coordinates reconstruction. The solving of these tasks is augmented with planarity and linearity conditions, which support projection equations and augment the computational ability of the environment.

La reconstruction 3D multi-vue atteint désormais un niveau de maturité industrielle : des utilisateurs non-experts peuvent produire des modèles 3D large-échelle de qualité à l'aide de logiciels commerciaux. Ces reconstructions utilisent des capteurs haut de gamme comme des LIDAR ou des appareils photos de type DSLR, montés sur un trépied et déplacés autour de la scène. Ces protocoles d'acquisition sont mal adaptés à l’inspection d’infrastructures de grande taille, à géométrie complexe. Avec l'évolution rapide des capacités des micro-drones, il devient envisageable de leur confier ce type de tâche. Un tel choix modifie les données d’acquisition : on passe d’un ensemble restreint de photos de qualité, soigneusement acquises par l’opérateur, à une séquence d'images à cadence vidéo, sujette à des variations de qualité image dues, par exemple, au bougé et au défocus.Les données vidéo posent problème aux logiciels de photogrammétrie du fait de la combinatoire élevée engendrée par le grand nombre d’images. Nous proposons d’exploiter l’intégralité des images en deux étapes. Au cours de la première, la reconstruction 3D est obtenue en sous-échantillonnant temporellement la séquence, lors de la seconde, la restitution haute résolution de texture est obtenue en exploitant l'ensemble des images. L'intérêt de la texture est de permettre de visualiser des détails fins du modèle numérisé qui ont été perdus dans le bruit géométrique de la reconstruction. Cette augmentation de qualité se fait via des techniques de Super Résolution (SR).Pour atteindre cet objectif nous avons conçu et réalisé une chaîne algorithmique prenant, en entrée, la séquence vidéo acquise et fournissant, en sortie, un modèle 3D de la scène avec une texture sur-résolue. Cette chaîne est construite autour d’un algorithme de reconstruction 3D multi-vues de l’état de l’art pour la partie géométrique.Une contribution centrale de notre chaîne est la méthode de recalage employée afin d’atteindre la précision sub-pixellique requise pour la SR. Contrairement aux données classiquement utilisées en SR, nos prises de vues sont affectées par un mouvement 3D, face à une scène à géométrie 3D, ce qui entraîne des mouvements image complexes. La précision intrinsèque des méthodes de reconstruction 3D est insuffisante pour effectuer un recalage purement géométrique, ainsi nous appliquons un raffinement supplémentaire par flot optique. Le résultat de cette méthode de restitution de texture SR est d'abord comparée qualitativement à une approche concurrente de l’état de l’art.Ces appréciations qualitatives sont renforcées par une évaluation quantitative de qualité image. Nous avons à cet effet élaboré un protocole d’évaluation quantitatif de techniques de SR appliquées sur des surfaces 3D. Il est fondé sur l'utilisation de mires fractales binaires, initialement proposées par S. Landeau. Nous avons étendu ces idées au contexte de SR sur des surfaces courbes. Cette méthode est employée ici pour valider les choix de notre méthode de SR, mais elle s'applique à l'évaluation de toute texturation de modèle 3D.Enfin, les surfaces spéculaires présentes dans les scènes induisent des artefacts au niveau des résultats de SR en raison de la perte de photoconsistence des pixels au travers des images à fusionner. Pour traiter ce problème nous avons proposé deux méthodes correctives permettant de recaler photométriquement nos images et restaurer la photoconsistence. La première méthode est basée sur une modélisation des phénomènes d’illumination dans un cas d'usage particulier, la seconde repose sur une égalisation photométrique locale. Les deux méthodes testées sur des données polluées par une illumination variable s'avèrent effectivement capables d'éliminer les artefacts. / Multi-view 3D reconstruction techniques have reached industrial level maturity : non-expert users are now able to use commercial software to produce quality, large scale, 3D models. These reconstructions use top of the line sensors such as LIDAR or DSLR cameras, mounted on tripods and moved around the scene. Such protocols are not designed to efficiently inspect large infrastructures with complex geometry. As the capabilities of micro-drones progress at a fast rate, it is becoming possible to delegate such tasks to them. This choice induces changes in the acquired data : rather than a set of carefully acquired images, micro-drones will produce a video sequence with varying image quality, due to such flaws as motion blur and defocus. Processing video data is challenging for photogrammetry software, due to the high combinatorial cost induced by the large number of images. We use the full image sequence in two steps. Firstly, a 3D reconstruction is obtained using a temporal sub-sampling of the data, then a high resolution texture is built from the full sequence. Texture allows the inspector to visualize small details that may be lost in the noise of the geometric reconstruction. We apply Super Resolution techniques to achieve texture quality augmentation. To reach this goal we developed an algorithmic pipeline that processes the video input and outputs a 3D model of the scene with super resolved texture. This pipeline uses a state of the art 3D reconstruction software for the geometric reconstruction step. The main contribution of this pipeline is the image registration method used to achieve the sub-pixel accuracy required for Super Resolution. Unlike the data on which Super Resolution is generally applied, our viewpoints are subject to relative 3D motion and are facing a scene with 3D geometry, which makes the motion field all the more complex. The intrinsic precision of current 3D reconstruction algorithms is insufficient to perform a purely geometric registration. Instead we refine the geometric registration with an optical flow algorithm. This approach is qualitatively to a competing state of the art method. qualitative comparisons are reinforced by a quantitative evaluation of the resulting image quality. For this we developed a quantitative evaluation protocol of Super Resolution techniques applied to 3D surfaces. This method is based on the Binary Fractal Targets proposed by S. Landeau. We extended these ideas to the context of curved surfaces. This method has been used to validate our choice of Super Resolution algorithm. Finally, specularities present on the scene surfaces induce artefacts in our Super Resolution results, due to the loss of photoconsistency among the set of images to be fused. To address this problem we propose two corrective methods designed to achieve photometric registration of our images and restore photoconsistency. The first method is based on a model of the illumination phenomena, valid in a specific setting, the second relies on local photometric equalization among the images. When tested on data polluted by varying illumination, both methods were able to eliminate these artefacts.

L'objectif de ces travaux de thèse consiste à mettre en place des solutions algorithmiques permettant de reconstruire un modèle 3D éditable d'un environnement intérieur à l'aide d'une tablette équipée d'un capteur de profondeur.Ces travaux s'inscrivent dans le contexte de la rénovation d'intérieur. Les normes Européennes poussent à la rénovation énergétique et à la modélisation 3D des bâtiments existants. Des outils professionnels utilisant des capteurs de type LIDAR permettent de reconstruire des nuages de points de très grande qualité, mais sont coûteux et longs à mettre en œuvre. De plus, il est très difficile d'identifier automatiquement les constituants d'un bâtiment pour en exporter un modèle 3D éditable complet.Dans le cadre de la rénovation d’intérieur, il n'est pas nécessaire de disposer des informations sur l'ensemble du bâtiment, seules les principales dimensions et surfaces sont nécessaires. Nous pouvons alors envisager d'automatiser complètement le processus de modélisation 3D.La mise sur le marché de capteurs de profondeur intégrables sur tablettes, et l'augmentation des capacités de calcul de ces dernières nous permet d'envisager l'adaptation d'algorithmes de reconstruction 3D classiques à ces supports.Au cours de ces travaux, nous avons envisagé deux approches de reconstruction 3D différentes. La première approche s'appuie sur des méthodes de l'état de l'art. Elle consiste à générer un maillage 3D d'un environnement intérieur en temps réel sur tablette, puis d'utiliser ce maillage 3D pour identifier la structure globale du bâtiment (murs, portes et fenêtres). La deuxième approche envisagée consiste à générer un modèle 3D éditable en temps réel, sans passer par un maillage intermédiaire. De cette manière beaucoup plus d'informations sont disponibles pour pouvoir détecter les éléments structuraux. Nous avons en effet à chaque instant donné un nuage de points complet ainsi que l'image couleur correspondante. Nous avons dans un premier temps mis en place deux algorithmes de segmentation planaire en temps réel. Puis, nous avons mis en place un algorithme d'analyse de ces plans permettant d'identifier deux plans identiques sur plusieurs prises de vue différentes. Nous sommes alors capables d'identifier les différents murs contenus dans l'environnement capturé, et nous pouvons mettre à jour leurs informations géométriques en temps réel. / This thesis works consisted to implement algorithmic solutions to reconstruct an editable 3D model of an indoor environment using a tablet equipped with a depth sensor.These works are part of the context of interior renovation. European standards push for energy renovation and 3D modeling of existing buildings. Professional tools using LIDAR-type sensors make it possible to reconstruct high-quality point clouds, but are costly and time-consuming to implement. In addition, it is very difficult to automatically identify the constituents of a building to export a complete editable 3D model.As part of the interior renovation, it is not necessary to have information on the whole building, only the main dimensions and surfaces are necessary. We can then consider completely automating the 3D modeling process.The recent development of depth sensors that can be integrated on tablets, and the improvement of the tablets computation capabilities allows us to consider the adaptation of classical 3D reconstruction algorithms to these supports.During this work, we considered two different 3D reconstruction approaches. The first approach is based on state-of-the-art methods. It consists of generating a 3D mesh of an interior environment in real time on a tablet, then using this 3D mesh to identify the overall structure of the building (walls, doors and windows). The second approach envisaged is to generate a 3D editable model in real time, without passing through an intermediate mesh. In this way much more information is available to be able to detect the structural elements. We have in fact at each given time a complete point cloud as well as the corresponding color image. In a first time we have set up two planar segmentation algorithms in real time. Then, we set up an analysis algorithm of these plans to identify two identical planes on different captures. We are then able to identify the different walls contained in the captured environment, and we can update their geometric information in real-time.

Ces travaux de thèse ont été menés dans le contexte du projet ANR blanc "Real Time and True Temperature measurement" (R3T), dédié à la métrologie thermique à partir de mesures dans l'infrarouge. L'estimation d'une température vraie à partir d'une mesure de température apparente par une caméra infrarouge, exploite un modèle radiométrique dans lequel apparaît des facteurs qui dépendent de la nature et de la forme de l'objet considéré. Ces travaux portent sur la construction d'un modèle géométrique de l'objet à partir de caméras infrarouges déplacées par un robot autour d'un objet.Ces caméras, par rapport à des caméras standards, ont des caractéristiques spécifiques : faible résolution, peu de texture. Afin de faciliter la mise en œuvre et de minimiser la complexité du système final, nous avons choisi une approche de stéréovision non calibrée. Nous avons donc un banc de stéréovision infrarouge embarqué sur un robot cartésien, pour acquérir plusieurs vues de l'objet d'intérêt ; les principales étapes concernent la rectification non calibrée des images acquises par le banc stéréo, puis le calibrage des caméras rectifiées et de la relation main-œil sans utilisation de mire, puis la construction de modèles 3D locaux denses et le recalage de ces modèles partiels pour construire un modèle global de l'objet. Les contributions portent sur les deux premières étapes, rectification et calibrage pour la stéréovision. Pour la rectification non calibrée, il est proposé une approche d'optimisation sous contraintes qui estime les homographies, à appliquer sur ces images pour les rectifier, sans calcul préalable de la matrice Fondamentale, tout en minimisant les déformations projectives entre images d'origine et images rectifiées. La fonction coût est calculée à partir de la distance de Sampson avec une décomposition de la matrice fondamentale. Deux types de contraintes, géométriques et algébriques, sont comparés pour minimiser les déformations projectives. L'approche proposée est comparée aux méthodes proposées par Loop et Zhang, Hartley, Mallon et al... sur des jeux de données classiques de la littérature. Il est montré que les résultats sont au moins équivalents sur des images classiques et meilleurs sur des images de faible qualité comme des images infrarouges.Pour le calibrage sans mire, l'auteur propose de calibrer les caméras ainsi que la transformation main-œil, indispensable dès lors que le banc stéréo est porté par un robot, en une seule étape ; l'une des originalités est que cette méthode permet de calibrer les caméras préalablement rectifiées et ainsi de minimiser le nombre de paramètres à estimer. De même plusieurs critères sont proposés et évalués par de nombreux résultats sur des données de synthèse et sur des données réelles. Finalement, les méthodes de stéréovision testées pour ce contexte applicatif sont rapidement décrites ; des résultats expérimentaux acquis sur des objets sont présentés ainsi que des comparaisons vis-à-vis d'une vérité terrain connue / This dissertation was lead in the context of the R3T project (Real Time and True Temperature measurement), dedicated to metrology from thermal infrared measurements. The estimation of true temperature from apparent temperature measurement by an infrared camera uses a radiometric model which depends on nature and shape of the considered object. This work focuses on the construction of a geometric model from infrared cameras moved by a robot around an object.Those cameras, in comparison with standard ones, have specific characteristics : low resolution, low texture. To minimize the complexity and easily implement the final system, we chose a stereo approach using uncalibrated cameras. So we have an infrared stereoring embeded on a Cartesian robot, to acquire multiple views of the object of interest. First, the main steps implemented concern uncalibrated images rectification and autocalibration of infrared stereoring and hand-eye transformation without use of a calibration pattern. Then, the reconstruction of locals 3D models and the merge of these models was done to reach a global model of the object. The contributions cover the first two stages, rectification and autocalibration, for the other stereo reconstruction steps, different algorithms were tested and the best was chosen for our application.For the uncalibrated images rectification, an optimization approach under constraints is proposed. The estimation of rectification homographies is done, without the Fundamental matrix determination, while minimizing the distortion between original and corrected images. The cost function is based on the Sampson's distance with breakdown of the Fundamental matrix. Two constraints, geometrical and analytical, are compared to minimize distortion. The proposed approach is compared to methods proposed by Loop and Zhang, Hartley, Mallon et al ... on data sets from state of art. It is shown that the results are at least equivalent on conventional images and better on low quality images such as infrared images.For the autocalibration, the author proposes to calibrate cameras and hand-eye transformation, essential whenever the stereoring is embedded on a robot, in one step. One of the originality is that this method allows to calibrate rectified cameras and so minimize the number of parameters to estimate. Similarly, several criteria are proposed and evaluated by numerous results on synthetic and real data.Finally, all methods of stereovision tested for this application context are briefly described, the experimental results obtained on objects are presented and compared to ground truth