Ce mémoire présente une nouvelle méthode pour l’acquisition 3D basée sur la lumière structurée. Cette méthode unifie les techniques de depth from focus (DFF) et depth from defocus (DFD) en utilisant une projection dynamique (dé)focalisée. Avec cette approche, le système d’acquisition d’images est construit de manière à conserver la totalité de l’objet nette sur toutes les images. Ainsi, seuls les motifs projetés sont soumis aux déformations de défocalisation en fonction de la profondeur de l’objet. Quand les motifs projetés ne sont pas focalisés, leurs Point Spread Function (PSF) sont assimilées à une distribution gaussienne. La profondeur finale est calculée en utilisant la relation entre les PSF de différents niveaux de flous et les variations de la profondeur de l’objet. Notre nouvelle estimation de la profondeur peut être utilisée indépendamment. Elle ne souffre pas de problèmes d’occultation ou de mise en correspondance. De plus, elle gère les surfaces sans texture et semi-réfléchissante. Les résultats expérimentaux sur des objets réels démontrent l’efficacité de notre approche, qui offre une estimation de la profondeur fiable et un temps de calcul réduit. La méthode utilise moins d’images que les approches DFF et contrairement aux approches DFD, elle assure que le PSF est localement unique / This paper presents a novel 3D recovery method based on structured light. This method unifies depth from focus (DFF) and depth from defocus (DFD) techniques with the use of a dynamic (de)focused projection. With this approach, the image acquisition system is specifically constructed to keep a whole object sharp in all of the captured images. Therefore, only the projected patterns experience different defocused deformations according to the object’s depths. When the projected patterns are out of focus, their Point Spread Function (PSF) is assumed to follow a Gaussian distribution. The final depth is computed by the analysis of the relationship between the sets of PSFs obtained from different blurs and the variation of the object’s depths. Our new depth estimation can be employed as a stand-alone strategy. It has no problem with occlusion and correspondence issues. Moreover, it handles textureless and partially reflective surfaces. The experimental results on real objects demonstrate the effective performance of our approach, providing reliable depth estimation and competitive time consumption. It uses fewer input images than DFF, and unlike DFD, it ensures that the PSF is locally unique.

Ces travaux de thèse constituent la première étape d'une réflexion sur la conception d'un système participatif visant la reconstruction et la visualisation de l'espace urbain de la ville de Reims au cours du temps. Dans ces travaux, nous abordons les problèmes de reconnaissance, de reconstruction et géoréférencement spatio-temporel. Ce projet s'appuie sur l'exploitation des sources historiques iconographiques et contextuelles hétérogènes et éparses, dont une collection de cartes postales anciennes et le cadastre actuel géoréférencé.Dans l'objectif d'un travail participatif, il s'avère nécessaire de procurer une aide efficace à l'utilisateur lorsqu'il apporte de nouvelles connaissances dans le système. Une solution robuste doit être apportée en raison de multiples évolutions ou déformations du modèle urbain à travers le temps. Nous avons développé une solution répondant à ce besoin. Elle s'appuie sur des briques de traitement complémentaires, en interaction avec l'utilisateur et s'insère naturellement dans une approche incrémentale de reconstruction. Nous proposons une solution permettant d'extraire, de reconstruire en 3D et de visualiser des bâtiments multi-façades présents dans les cartes postales sans disposer des dimensions réelles des bâtiments. La construction du modèle repose sur l'identification de façades 2D. Elle est obtenue au travers de l'analyse du contenu de l'image. Cette phase d'identification permet de procéder à la reconstruction de modèles 3D, d'extraire des textures 2D associées à ces modèles ainsi que d'enrichir dynamiquement notre système. Les caractéristiques retrouvées dans les images infèrent une estimation sur leur datation, et l'alignement des modèles reconstruits avec le cadastre sur le géoréférencement des bâtiments. Le système ainsi construit constitue une amorce pour la conception d'un système d'information géographique participatif 3D+T permettant aux citoyens de Reims de s'approprier l'histoire de leur ville. / This thesis is the first step toward the design of a Volunteered system for the reconstruction and visualization of urban space in the city of Reims through time. In this work, we address the problems of spatio-temporal recognition, reconstruction and georeferencing. This project relies on the use of heterogeneous and sparse iconographic and contextual historical data, particularly a collection of old postcards and the current cadastral map.With the aim of a Volunteered work, it is necessary to provide useful help to the user when bringing new knowledge into the system. A robust solution is required due to multiple changes of the urban model through time. We have developed a solution to meet those needs. This process fits in an incremental approach of reconstruction and will be completed by a user. We propose to extract, reconstruct and visualize 3D multi-façade buildings from old postcards with no knowledge on their real dimensions. The construction of the models is based on 2D façades identification. It can be obtained through image analysis. This identification allows the reconstruction of 3D models, the extraction of their associated 2D façades textures and the enhancement of the system. The features found in the images infer an estimate of their dating, and the alignment of the models with the cadastral map allows there georeferencing. The system thus constructed is a primer for the design of a Volunteered 3D+T GIS for Reims citizens to capture the history of their city.

Ces travaux s'inscrivent dans le cadre d'un projet de recherche translationnel visant à améliorer la conception des corsets orthopédiques de traitement de la scoliose par la mise en place, par méthode inverse, d'un modèle biomécanique global, simplifié et personnalisé, propre au tronc de chaque patient scoliotique. Ils constituent la première étape de ce projet, à savoir, développer et mettre en œuvre des techniques, outils et protocoles permettant, d'une part, la construction d'un modèle géométrique 3D de la surface externe et des éléments internes du tronc du patient à partir de radiographies bi-planes issues d'un équipement standard et du système Model Maker (Proteor), et d'autre part, la mesure des pressions exercées par le corset ainsi que leur recalage sur les géométries reconstruites. Des reconstructions géométriques 3D du tronc avec et sans corset ainsi que des mesures de pressions ont été réalisées pour 11 patients. La conception d'un unique dispositif de calibration associé à un protocole spécifique permet l'acquisition des différentes données quasi sans déplacements du patient. Sa facilité de transport, d'installation et son faible coût, associés à un temps d'acquisition ne pénalisant pas le confort du patient, rendent envisageable son utilisation en routine clinique. L'utilisation de modèles géométriques paramétriques, associée à des équations de prédiction des paramètres anatomiques, permet d'obtenir une initialisation rapide des géométries des éléments internes du tronc à partir d'un nombre réduit de points anatomiques à numériser. Les mesures de la pression exercée par le corset, effectuées à l'aide d'un dispositif innovant muni de capteurs entièrement réalisés en fibres textiles lui permettant d'épouser parfaitement les courbes anatomiques, ont mis en avant les variations de correction, non négligeables, qu'entraînent la modification de la position du patient. / This thesis is a part of a translational research project to improve scoliosis orthopedic brace design through the use, by inverse method, of a simplified and personalized comprehensive biomechanical model for each scoliotic patient’s trunk. It represents the first step of this project, namely, to develop and to implement methods, tools and protocols allowing, on one hand, 3D reconstruction of the external shape and internal components of patient’s trunk from biplanar X-rays (performed with a standard device) and the Model Maker system (Proteor), and on the other hand, measurements of the pressure infered by the brace and their registration on the reconstructed geometry. 3D modeling of the trunk with and without brace as well as pressure measurement were carried out on 11 patients. The development of a common calibration device associated to a specific protocol allows data acquisition nearly without displacements of the patient. Its ease of transportation, installation and a low cost associated with an acquisition time which not penalize the patient’s comfort make possible its use in clinical routine. The use of parametrics geometrical models associated with prediction equations of anatomical parameters provides fast initialization of the geometries of trunk’s internal elements from a reduced number of anatomical landmarks to digitize. Measurements of the pressure infered by the brace, performed thanks to an innovative device made of pressure-sensitive textile fibers allowing it to perfectly fit anatomical curves, have highlighted significant correction variations according to the patient’s position.

L'objectif de cette thèse concerne l'analyse automatique d'images de façades de bâtiments à partir de descriptions formelles à priori de formes géométriques. Ces informations suggérées par un utilisateur permettent de modéliser, de manière formelle, des contraintes spatiales plus ou moins dures quant à la segmentation sémantique produite par le système. Ceci permet de se défaire de deux principaux écueils inhérents aux méthodes d'analyse de façades existantes qui concernent d'une part la coûteuse fidélité de la segmentation résultante aux données visuelles de départ, d'autre part, la spécificité architecturale des règles imposées lors du processus de traitement. Nous proposons d'explorer au travers de cette thèse, différentes méthodes alternatives à celles proposées dans la littérature en exploitant un formalisme de représentation d'à priori de haut niveau d'abstraction, les propriétés engendrées par ces nouvelles méthodes ainsi que les outils de résolution mis en œuvres par celles-ci. Le système résultant est évalué tant quantitativement que qualitativement sur de multiples bases de données standards et par le biais d'études comparatives à des approches à l'état de l'art en la matière. Parmi nos contributions, nous pouvons citer la combinaison du formalisme des grammaires de graphes exprimant les variations architecturales de façades de bâtiments et les modèles graphiques probabilistes modélisant l'énergie attribuée à une configuration paramétrique donnée, dans un schéma d'optimisation par minimisation d'énergie; ainsi qu'une nouvelle approche par programmation linéaire d'analyse avec à priori de formes. Enfin, nous proposons un formalisme flexible de ces à priori devançant de par ses performances les méthodes à l'état de l'art tout en combinant les avantages de la généricité de contraintes simples manuellement imposées par un utilisateur, à celles de la précision de la segmentation finale qui se faisait jusqu'alors au prix d'un encodage préliminaire restrictif de règles grammaticales complexes propres à une famille architecturale donnée. Le système décrit permet également de traiter avec robustesse des scènes comprenant des objets occultants et pourrait encore être étendu notamment afin de traiter l'extension tri-dimensionnelle de la sémantisation d'environnements urbains sous forme de nuages de points 3D ou d'une analyse multi-image de bâtiments / The aim of this work is to propose a framework for facade segmentation with user-defined shape priors. In such a framework, the user specifies a shape prior using a rigorously defined shape prior formalism. The prior expresses a number of hard constraints and soft preference on spatial configuration of segments, constituting the final segmentation. Existing approaches to the problem are affected by a compromise between the type of constraints, the satisfaction of which can be guaranteed by the segmentation algorithm, and the capability to approximate optimal segmentations consistent with a prior. In this thesis we explore a number of approaches to facade parsing that combine prior formalism featuring high expressive power, guarantees of conformance of the resulting segmentations to the prior, and effective inference. We evaluate the proposed algorithms on a number of datasets. Since one of our focus points is the accuracy gain resulting from more effective inference algorithms, we perform a fair comparison to existing methods, using the same data term. Our contributions include a combination of graph grammars for expressing variation of facade structure with graphical models encoding the energy of models of given structures for different positions of facade elements. We also present the first linear formulation of facade parsing with shape priors. Finally, we propose a shape prior formalism that enables formulating the problem of optimal segmentation as the inference in a Markov random field over the standard four-connected grid of pixels. The last method advances the state of the art by combining the flexibility of a user-defined grammar with segmentation accuracy that was reserved for frameworks with pre-defined priors before. It also enables handling occlusions by simultaneously recovering the structure of the occluded facade and segmenting the occluding objects. We believe that it can be extended in many directions, including semantizing three-dimensional point clouds and parsing images of general urban scenes

O objetivo deste trabalho é reconhecer gestos em tempo real apenas com o uso de câmeras, sem marcadores, roupas ou qualquer outro tipo de sensor. A montagem do ambiente de captura é simples, com apenas duas câmeras e um computador. O fundo deve ser estático, e contrastar com o usuário. A ausência de marcadores ou roupas especiais dificulta a tarefa de localizar os membros. A motivação desta tese é criar um ambiente de realidade virtual para treino de goleiros, que possibilite corrigir erros de movimentação, posicionamento e de escolha do método de defesa. A técnica desenvolvida pode ser aplicada para qualquer atividade que envolva gestos ou movimentos do corpo. O reconhecimento de gestos começa com a detecção da região da imagem onde se encontra o usuário. Nessa região, localizamos as regiões mais salientes como candidatas a extremidades do corpo, ou seja, mãos, pés e cabeça. As extremidades encontradas recebem um rótulo que indica a parte do corpo que deve representar. Um vetor com as coordenadas das extremidades é gerado. Para descobrir qual a pose do usuário, o vetor com as coordenadas das suas extremidades é classificado. O passo final é a classificação temporal, ou seja, o reconhecimento do gesto. A técnica desenvolvida é robusta, funcionando bem mesmo quando o sistema foi treinado com um usuário e aplicado a dados de outro. / Our aim in this work is to recognize gestures in real time with cameras, without markers or special clothes. The capture environment setup is simple, uses just two cameras and a computer. The background must be static, and its colors must be different the users. The absence of markers or special clothes difficults the location of the users limbs. The motivation of this thesis is to create a virtual reality environment for goalkeeper training, but the technique can be applied in any activity that involves gestures or body movements. The recognition of gestures starts with the background subtraction. From the foreground, we locate the more proeminent regions as candidates to body extremities, that is, hands, feet and head. The found extremities receive a label that indicates the body part it may represent. To classify the users pose, the vector with the coordinates of his extremities is compared to keyposes and the best match is selected. The final step is the temporal classification, that is, the gesture recognition. The developed technique is robust, working well even when the system was trained with an user and applied to another users data.

This master's thesis focuses on 3D reconstruction of vehicles passing in front of a traffic surveillance camera. Calibration process of surveillance camera is first introduced and the relation of automatic calibration with 3D information about observed traffic is described. Furthermore, Structure from Motion, SLAM, and optical flow algorithms are presented. A set of experiments with feature matching and the Structure from Motion algorithm is carried out to examine results on images of passing vehicles. Afterwards, the Structure from Motion pipeline is modified. Instead of using SIFT features, DeepMatching algorithm is utilized to obtain quasi-dense point correspondences for the subsequent reconstruction phase. Afterwards, reconstructed models are refined by applying additional constraints specific to the vehicle reconstruction task. The resultant models are then evaluated. Lastly, observations and acquired information about the process of vehicle reconstruction are utilized to form proposals for prospective design of an entirely custom pipeline that would be specialized for 3D reconstruction of passing vehicles.

This thesis deals with the processing of stereo images. It described the principles of calibration and rectification of stereo images. The thesis described several methods for finding important points. SURF method is then implemented for practical solution. Finding correspondences is realized using the methods of image processing library OpenCV. Reconstructed spatial coordinates of points and write by the format specified VRML97. Finally, there is introduced evaluated accuracy of spatial data acquisition and comparison of computational cost generated programs.

<div> <div> <div> <p>In this thesis work, we propose computer vision techniques for 3D reconstruction and object height measurement using a single camera and multi-laser emitters, which have an intersection on the projected image plane. Time-division and color division methods are first investigated for our structured light system. Although the color division method offers better accuracy for object height measurement, it requires the laser emitters equipped with different color lights. Furthermore, the color division method is sensitive to light exposure in the measurement environment. Next, a new multi-level random sample consensus (MLRANSAC) algorithm has been developed. The proposed MLRANSAC method not only offers high accuracy for object height measurement but also eliminates the requirement for the laser emitters with different colors. Our experiment results have validated the effectiveness of the MLRANSAC algorithm. </p> </div> </div> </div>

3D reconstruction can be used in forensic science to reconstruct crime scenes and objects so that measurements and further information can be acquired off-site. It is desirable to use image based reconstruction methods but there is currently no procedure available for determining the uncertainty of such reconstructions. In this thesis the uncertainty of Structure from Motion is investigated. This is done by exploring the literature available on the subject and compiling the relevant information in a literary summary. Also, Monte Carlo simulations are conducted to study how the feature position uncertainty affects the uncertainty of the parameters estimated by bundle adjustment. The experimental results show that poses of cameras that contain few image correspondences are estimated with higher uncertainty. The poses of such cameras are estimated with lesser uncertainty if they have feature correspondences in cameras that contain a higher number of projections.

La caractérisation tridimensionnelle de matériaux anciens plats est restée une activité non évidente à accomplir par des méthodes classiques de tomographie à rayons X en raison de leur morphologie anisotrope et de leur géométrie aplatie.Pour surmonter les limites de ces méthodologies, une modalité d'imagerie basée sur le rayonnement diffusé Compton est étudiée dans ce travail. La tomographie classique aux rayons X traite les données de diffusion Compton comme du bruit ajouté au processus de formation d'image, tandis que dans la tomographie du rayonnement diffusé, les conditions sont définies de sorte que la diffusion inélastique devienne le phénomène dominant dans la formation d'image. Dans ces conditions, les rotations relatives entre l'échantillon et la configuration d'imagerie ne sont plus nécessaires. Mathématiquement, ce problème est résolu par la transformée de Radon conique. Le problème direct où la sortie du système est l'image spectrale obtenue à partir d'un objet d'entrée est modélisé. Dans le problème inverse une estimation de la distribution tridimensionnelle de la densité électronique de l'objet d'entrée à partir de l'image spectrale est proposée. La faisabilité de cette méthodologie est supportée par des simulations numériques. / Three-dimensional characterization of flat ancient material objects has remained a challenging activity to accomplish by conventional X-ray tomography methods due to their anisotropic morphology and flattened geometry.To overcome the limitations of such methodologies, an imaging modality based on Compton scattering is studied in this work. Classical X-ray tomography treats Compton scattering data as noise in the image formation process, while in Compton scattering tomography the conditions are set such that Compton data become the principal image contrasting agent. Under these conditions, we are able to avoid relative rotations between the sample and the imaging setup. Mathematically this problem is addressed by means of the conical Radon transform. A model of the direct problem is presented where the output of the system is the spectral image obtained from an input object. The inverse problem is addressed to estimate the 3D distribution of the electronic density of the input object from the spectral image. The feasibility of this methodology is supported by numerical simulations.