Ces travaux s’inscrivent dans le cadre du projet VIPA « Véhicule Individuel Public Autonome », au cours duquel le LASMEA et ses partenaires ont mis au point des véhicules capables de naviguer automatiquement, sans aucune infrastructure extérieure dédiée, dans des zones urbaines (parkings, zones piétonnes, aéroports). Il est doté de deux caméras, l’une à l’avant, et l’autre à l’arrière. Avant son déploiement, le véhicule doit tout d’abord être étalonné et conduit manuellement afin de reconstruire la carte d’amers visuels dans laquelle il naviguera ensuite automatiquement. Les travaux de cette thèse ont pour but de développer et de mettre en oeuvre des méthodes souples permettant d’étalonner cet ensemble de caméras dont les champs de vue sont totalement disjoints. Après une étape préalable d’étalonnage intrinsèque et un état de l’art sur les systèmes multi-caméra, nous développons et mettons en oeuvre différentes méthodes d’étalonnage extrinsèque (déterminant les poses relatives des caméras à champs de vue disjoints). La première méthode présentée utilise un miroir plan pour créer un champ de vision commun aux différentes caméras. La seconde approche consiste à manoeuvrer le véhicule pendant que chaque caméra observe une scène statique composée de cibles (dont la détection est sous-pixellique). Dans la troisième approche, nous montrons que l’étalonnage extrinsèque peut être obtenu simultanément à la reconstruction 3D (par exemple lors de la phase d’apprentissage), en utilisant des points d’intérêt comme amers visuels. Pour cela un algorithme d’ajustement de faisceaux multi-caméra a été développé avec une implémentation creuse. Enfin, nous terminons par un étalonnage déterminant l’orientation du système multi-caméra par rapport au véhicule. / My research was involved in the VIPA « Automatic Electric Vehicle for Passenger Transportation » project. During which, the LASMEA and its partnerships have developed vehicles able to navigate autonomously, without any outside dedicated infrastructure in an urban environment (parking lots, pedestrian areas, airports). Two cameras are rigidly embedded on a vehicle : one at the front, another at the back. Before being available for autonomous navigation tasks, the vehicle have to be calibrated and driven manually in order to build a visual 3D map (calibration and learning steps). Then, the vehicle will use this map to localize itself and drive autonomously. The goals of this thesis are to develop and apply user friendly methods, which calibrate this set of nonoverlapping cameras. After a first step of intrinsic calibration and a state of the art on multi-camera rigs, we develop and test several methods to extrinsically calibrate non-overlapping cameras (i.e. estimate the camera relative poses). The first method uses a planar mirror to create an overlap between views of the different cameras. The second procedure consists in manoeuvring the vehicle while each camera observes a static scene (composed of a set of targets, which are detected accurately). In a third procedure, we solve the 3D reconstruction and the extrinsic calibration problems simultaneously (the learning step can be used for that purpose) relying on visual features such as interest points. To achieve this goal a multi-camera bundle adjustment is proposed and implemented with a sparse data structures. Lastly, we present a calibration of the orientation of a multi-camera rig relative to the vehicle.

V posledním desetiletí došlo ke zvýšení zájmu o užití 3D dat k biometrické identifikaci osob. Možná vůbec největší výzkum proběhl v oblasti 3D rozpoznávání podle obličeje, přičemž je v současné době dostupných vícero komerčních zařízení. V oblastni rozpoznávání podle 3D geometrie ruky byl v minulých letech proveden určitý výzkum jehož výsledkem však nebylo žádné komerční zařízení. Nezávisle na tomto výzkumu se v posledních letech velmi rozšířil trh s cenově dostupnými 3D sensory, což potenciálně umožňuje jejich nasazení v mnoha typech biometrických systémů. Hlavním cílem této práce je vytvořit funkční vzorek bezdotykového systému pro rozpoznávání osob podle 3D geometrie ruky, který bude používat novou levnou kameru RealSense 3D vyvíjenou v současné době firmou Intel. Jedním z problémů při použití RealSense kamery je její velmi malý form factor, který je příčinou nižší kvality výsledných snímků v porovnání s velmi drahými alternativami, které byly použity v již dříve zmíněném výzkumu 3D biometrických systémů. Práce se snaží analyzovat robustnost různých 2D a 3D příznaků a vyzkoušet několik různých přístupů k jejich fúzi. Rovněž je vyhodnocena výkonnost výsledného systému, kde je ukázáno, že navržené řešení dosahuje výsledků porovnatelných se state-of-the-art.

This thesis is specialized on composition of workplace for experiments flowing from optical interferometry. Here are described laboratory exercise servant for demonstration basic principles of interferometry. In more details is described method measurement of height profile objects with method white light interferometry.

My paper work deals with the 3D active triangular method of building reconstruction. First, there was a measuring triangular system created. Then the way of its automatic calibration was proposed and consequently also performed. Also algorithms for the automatic detection of the sample projected were proposed. Algoriths were presented with several sample buildings. The result of these algorithms are 3D models of individual buildings. In the end achieved results nd restrictions of the system proposed were assessed.

Dans un contexte industriel, la tomographie 3D par rayons X vise à imager virtuellement une pièce afin d'en contrôler l'intérieur. Le volume virtuel de la pièce est obtenu par un algorithme de reconstruction, prenant en entrées les projections de rayons X qui ont été envoyés à travers la pièce. Beaucoup d'incertitudes résident dans ces projections à cause de phénomènes non contrôlés tels que la diffusion et le durcissement de faisceau, causes d'artefacts dans les reconstructions conventionnelles par rétroprojection filtrée. Afin de compenser ces incertitudes, les méthodes de reconstruction dites itératives tentent de faire correspondre la reconstruction à un modèle a priori, ce qui, combiné à l'information apportée par les projections, permet d'améliorer la qualité de reconstruction. Dans ce contexte, cette thèse propose de nouvelles méthodes de reconstruction itératives pour le contrôle de pièces produites par le groupe SAFRAN. Compte tenu de nombreuses opérations de projection et de rétroprojection modélisant le processus d'acquisition, les méthodes de reconstruction itératives peuvent être accélérées grâce au calcul parallèle haute performance sur processeur graphique (GPU). Dans cette thèse, les implémentations sur GPU de plusieurs paires de projecteur-rétroprojecteur sont décrites. En particulier, une nouvelle implémentation pour la paire duale dite à empreinte séparable est proposée. Beaucoup de pièces produites par SAFRAN pouvant être vues comme des volumes constants par morceaux, un modèle a priori de Gauss-Markov-Potts est introduit, à partir duquel est déduit un algorithme de reconstruction et de segmentation conjointes. Cet algorithme repose sur une approche bayésienne permettant d'expliquer le rôle de chacun des paramètres. Le caractère polychromatique des rayons X par lequel s'expliquent la diffusion et le durcissement de faisceau est pris en compte par l'introduction d'un modèle direct séparant les incertitudes sur les projections. Allié à un modèle de Gauss-Markov-Potts sur le volume, il est montré expérimentalement que ce nouveau modèle direct apporte un gain en précision et en robustesse. Enfin, l'estimation des incertitudes sur la reconstruction est traitée via l'approche bayésienne variationnelle. Pour obtenir cette estimation en un temps de calcul raisonnable, il est montré qu'il est nécessaire d'utiliser une paire duale de projecteur-rétroprojecteur. / In industry, 3D X-ray Computed Tomography aims at virtually imaging a volume in order to inspect its interior. The virtual volume is obtained thanks to a reconstruction algorithm based on projections of X-rays sent through the industrial part to inspect. In order to compensate uncertainties in the projections such as scattering or beam-hardening, which are cause of many artifacts in conventional filtered backprojection methods, iterative reconstruction methods bring further information by enforcing a prior model on the volume to reconstruct, and actually enhance the reconstruction quality. In this context, this thesis proposes new iterative reconstruction methods for the inspection of aeronautical parts made by SAFRAN group. In order to alleviate the computational cost due to repeated projection and backprojection operations which model the acquisition process, iterative reconstruction methods can take benefit from the use of high-parallel computing on Graphical Processor Unit (GPU). In this thesis, the implementation on GPU of several pairs of projector and backprojector is detailed. In particular, a new GPU implementation of the matched Separable Footprint pair is proposed. Since many of SAFRAN's industrial parts are piecewise-constant volumes, a Gauss-Markov-Potts prior model is introduced, from which a joint reconstruction and segmentation algorithm is derived. This algorithm is based on a Bayesian approach which enables to explain the role of each parameter. The actual polychromacy of X-rays, which is responsible for scattering and beam-hardening, is taken into account by proposing an error-splitting forward model. Combined with Gauss-Markov-Potts prior on the volume, this new forward model is experimentally shown to bring more accuracy and robustness. At last, the estimation of the uncertainties on the reconstruction is investigated by variational Bayesian approach. In order to have a reasonable computation time, it is highlighted that the use of a matched pair of projector and backprojector is necessary.

In der heutigen Filmindustrie bietet das 3D-Design ein anerkanntes Mittel, um virtuelle Welten oder Charaktere zu erschaffen. Doch das 3D-Design dringt mittlerweile auch in andere Bereiche vor, so etwa der Medizin und der Architektur. Dabei bietet die virtuelle Rekonstruktion auch vielfältige Möglichkeiten für die Archäologie/Ägyptologie. Beispielsweise können von kleineren Objekten oder Papyri virtuelle 3D-Modelle erstellt werden. Der große Vorteil dabei ist, dass die Originale nicht beschädigt werden und mehrere Wissenschaftler zur gleichen Zeit an ein und demselben Objekt forschen können. Selbst für die Bauforschung dürfte das 3D-Design immer bedeutender werden. Gebäude, die sich heute nur in ihren Grundrissen erhalten haben, können mithilfe des 3D-Designs nahezu vollständig rekonstruiert werden. Nicht zu unterschätzen ist dabei auch die Wirkung, die virtuelle Rekonstruktionen von ägyptischen Tempeln, Gräbern, Gebäuden auf die Gesellschaft erzielen. Durch die 3DRekonstruktionen kann nicht nur Wissenschaftlern, sondern auch Interessierten ein anschaulicher Eindruck von der Lebenswelt des Alten Ägypten vermittelt werden. Bislang steht das 3D-Design allerdings in dem Ruf, besonders schwer erlernbar und sehr kostenintensiv zu sein. Doch gibt es neben einigen aufwendigen 3D-Design-Programmen auch nahezu kostenfreie Alternativen, die man sowohl privat wie beruflich nutzen kann. Diese Programme sind dabei sehr anwenderfreundlich gestaltet und relativ leicht zu erlernen. Ziel des Vortrages ist es, diese Programme und ihre Möglichkeiten für die Ägyptologie vorzustellen.

Nous présentons une nouvelle approche pour la modélisation d'objets 3D de haute qualité à partir de séquences d'images en rotation partiellement calibrées. L'algorithme est capable: de calibrer la caméra (la pose et la longueur focale), de reconstruire la géométrie 3D et de créer une carte de texture. Par rapport à d'autres méthodes plus classiques, le calibrage est réalisé à partir d'un ensemble de silhouettes comme seule source d'information. Nous développons le concept de cohérence d'un ensemble de silhouettes généré par un objet 3D. Nous discutons d'abord la notion de cohérence de silhouettes et définissons un critère pratique pour l'estimer. Ce critère dépend à la fois des silhouettes et des paramètres des caméras qui les ont générées. Ces paramètres peuvent être estimés pour le problème de modélisation 3D en maximisant la cohérence globale des silhouettes. La méthode de reconstruction 3D est fondée sur l'utilisation d'un modèle déformable classique, qui définit le cadre dans lequel nous pouvons fusionner l'information de la texture et des silhouettes pour reconstruire la géométrie 3D. Cette fusion est accomplie en définissant deux forces basées sur les images: une force définie par la texture et une autre définie par les silhouettes. La force de texture est calculée en deux étapes: une approche corrélation multi-stéréo par décision majoritaire, et une étape de diffusion du vecteur gradient (GVF). En raison de la haute résolution de l'approche par décision majoritaire, une version multi-résolution du GVF a été développée. En ce qui concerne la force des silhouettes, une nouvelle formulation de la contrainte des silhouettes est dérivée. Elle fournit une manière robuste d'intégrer les silhouettes dans l'évolution du modèle déformable. A la fin de l'évolution, cette force fixe les contours générateurs du modèle 3D. Finalement, une carte de texture est calculée à partir des images originales et du modèle 3D reconstruit.

La scoliose idiopathique de l’adolescent est une déformation 3D du rachis. La littérature comporte une multitude d’études sur la prédiction de l’évolution et l’identification de facteurs de risque de progression. Pour l’instant les facteurs de risque établis sont l’amplitude de la déformation, la maturité squelettique et le type de courbure. Plusieurs autres champs ont été explorés comme les aspects génétiques, biochimiques, mécaniques, posturaux et topographiques, sans vraiment apporter beaucoup de précision à la prédiction de l’évolution. L’avancement de la technologie permet maintenant de générer des reconstructions 3D du rachis à l’aide des radiographies standard et d’obtenir des mesures de paramètres 3D. L’intégration de ces paramètres 3D dans un modèle prédictif représente une avenue encore inexplorée qui est tout à fait logique dans le contexte de cette déformation 3D du rachis. L’objectif général de cette thèse est de développer un modèle de prédiction de l’angle de Cobb à maturité squelettique à partir de l’information disponible au moment de la première visite, soit l’angle de Cobb initial, le type de courbure, l’âge osseux et des paramètres 3D du rachis. Dans une première étude, un indice d’âge osseux a été développé basé sur l’ossification de l’apophyse iliaque et sur le statut du cartilage triradié. Cet indice comporte 3 stades et le second stade, qui est défini par un cartilage triradié fermé avec maximum 1/3 d’ossification de l’apophyse iliaque, représente le moment pendant lequel la progression de la scoliose idiopathique de l’adolescent est la plus rapide. Une seconde étude rétrospective a permis de mettre en évidence le potentiel des paramètres 3D pour améliorer la prédiction de l’évolution. Il a été démontré qu’à la première visite il existe des différences pour 5 paramètres 3D du rachis entre un groupe de patients qui sera éventuellement opéré et un groupe qui ne progressera pas. Ces paramètres sont : la moyenne da la cunéiformisation 3D des disques apicaux, la rotation intervertébrale à la jonction inférieure de la courbure, la torsion, le ratio hauteur/largeur du corps vertébral de T6 et de la colonne complète. Les deux dernières études sont basées sur une cohorte prospective de 133 patients avec une scoliose idiopathique de l’adolescent suivi dès leur première visite à l’hôpital jusqu’à maturité squelettique. Une première étude a permis de mettre en évidence les différences morphologiques à la première visite entre les patients ayant progresser de plus ou moins de 6°. Des différences ont été mise en évidence pour la cyphose, l’angle de plan de déformation maximal, la rotation ntervertébrale l’apex, la torsion et plusieurs paramètres de «slenderness». Ensuite une seconde étude a permis de développer un modèle prédictif basé sur un modèle linéaire général en incluant l’indice d’âge osseux développé dans la première étude, le type de courbure, l’amplitude de l’angle de Cobb à la première visite, l’angle de déformation du plan maximale, la cunéiformisation 3D des disques T3-T4, T8-­T9, T11-­T12 et la somme des cunéiformisation 3D de tous les disques thoraciques et lombaires. Le coefficient de détermination multiple pour cette modélisation est de 0.715. Le modèle prédictif développé renforce l’importance de considérer la scoliose idiopathique dans les trois dimensions et il permettra d’optimiser la prédiction de l’évolution au moment de la première visite. / Prediction of curve progression remains a challenge for the clinicians at the first visit for a patient with adolescent idiopathic scoliosis. Prediction of progression is based on curve type, curve magnitude and skeletal or chronological age. The failure to accurately predict the risk of progression can lead to inadequate treatment, as well as unnecessary medical visits and radiographs. Three-­dimensional evaluation is currently more popular in the scoliosis research community either for classification or treatment planning. The global objective of this thesis was to develop a predictive model of the final Cobb angle in adolescent idiopathic scoliosis based on 3D spine parameters and on skeletal age, curve type and curve magnitude. The first study was to develop a skeletal maturity system based on ossification of iliac apophysis and triradiate cartilage status, two details available on routine radiographs. A 3 stages system was develop with the second stage being associated to the rapid acceleration phase of the deformation. The second stage corresponds to a closed triradiate cartilage and a maximum of 1/3 of the iliac apophysis ossification. The second study was a retrospective case control study. It showed the potential for 3D parameters to help predict the evolution. 3D spinal parameters at first visit of a group of patient eventually treated with surgery and a group who had no progression revealed statistical differences for: mean 3D wedging of the apical disks, lower junctional vertebral axial rotation, torsion and T6 and whole spine height/width ratio were all significantly affected. The last study was a prospective cohort study based on an adolescent idiopathic scoliosis group followed from first visit to skeletal maturity. A general linear model was developed based on 3D spinal parameters and on curve type, Cobb angle at first visit and with the 3 stages skeletal maturity system developed in the first study. The predictive model obtained has a determination coefficient of 0,715. Included 3D parameters predictors were: the angle of the plane of maximal curvature, the 3D wedging of T3-­T4, T8-­T9 and T11-­T12 disks, and the sum of 3D wedging of all thoracic and lumbar disks. The predictive model developed reinforced the importance of considering adolescent idiopathic scoliosis in a three-­‐dimensional point of view. This model will also optimise the prediction of evolution at first visit.

L'objectif principal de ce travail est le développement de recherches en modélisation 3D du bâti. En particulier, la recherche en reconstruction 3D de bâtiment est un sujet très développé depuis les années 90. Malgré tout, il paraît nécessaire de poursuivre les recherches dans cet axe étant données que les approches actuelles consacrées à la reconstruction 3D de bâtiment (bien qu'efficaces) rencontrent encore des difficultés en terme de généralisation, de cohérence et de précision. Par ailleurs, les récents développements des systèmes d'acquisitions de rues tel que les systèmes de cartographie mobile ouvrent de nouvelles perspectives d'amélioration de la modélisation des bâtiments dans le sens ou les données terrestres (très précises et résolus) peuvent être exploitées avec davantage de cohérence (en comparaison à l'aérien) pour enrichir les modèles de bâtiments au niveau des façades (la géométrie, la texture).Ainsi, des approches de modélisation aériennes et terrestres sont individuellement proposées. Au niveau aérien, nous décrivons une approche directe et dépourvu d'extraction et d'assemblage de primitives géométriques en vue de la reconstruction 3D de modèles polyédriques simples de bâtiments à partir d'un jeu d'images aériennes calibrées. Au niveau terrestre, plusieurs approches qui décrivent essentiellement un pipeline pour la modélisation 3D des façades urbaines sont proposées; à savoir, la segmentation et classification de nuage de rues urbaines, la modélisation géométrique des façades urbaines et le texturage des façades urbaines comportant des occultations causées par d'autres objets du mobilier urbains / The aim of this work is to develop research on 3D building modeling. In particular, the research in aerial-based 3D building reconstruction is a topic very developed since 1990. However, it is necessary to pursue the research since the actual approaches for 3D massive building reconstruction (although efficient) still encounter problems in generalization, coherency, accuracy. Besides, the recent developments of street acquisition systems such as Mobile Mapping Systems open new perspectives for improvements in building modeling in the sense that the terrestrial data (very dense and accurate) can be exploited with more performance (in comparison to the aerial investigation) to enrich the building models at facade level (e.g., geometry, texturing).Hence, aerial and terrestrial based building modeling approaches are individually proposed. At aerial level, we describe a direct and featureless approach for simple polyhedral building reconstruction from a set of calibrated aerial images. At terrestrial level, several approaches that essentially describe a 3D urban facade modeling pipeline are proposed, namely, the street point cloud segmentation and classification, the geometric modeling of urban facade and the occlusion-free facade texturing

Les travaux réalisés dans cette thèse s'inscrivent dans le cadre du développement de techniques de mesure optiques pour la mécanique des fluides visant la reconstruction de volumes de particules 3D pour ensuite en déduire leurs déplacements. Cette technique de mesure volumique appelée encore Tomo-PIV est apparue en 2006 et a fait l'objet d'une multitude de travaux ayant pour objectif l'amélioration de la reconstruction qui représente l'une des principales étapes de cette technique de mesure. Les méthodes proposées en littérature ne prennent pas forcément en compte la forme particulière des objets à reconstruire et ne sont pas suffisamment robustes pour faire face au bruit présent dans les images. Pour pallier à ce déficit, nous avons proposé une méthode de reconstruction tomographique, appelée (IOD-PVRMPP), qui se base sur les processus ponctuels marqués. Notre méthode permet de résoudre le problème de manière parcimonieuse. Elle facilite l'introduction de l'information à priori et résout les problèmes de mémoire liés aux approches dites "basées voxels". La reconstruction d'un ensemble de particules 3D est obtenue en minimisant une fonction d'énergie ce qui définit le processus ponctuel marqué. A cet effet, nous utilisons un algorithme de recuit simulé basé sur les méthodes de Monte-Carlo par Chaines de Markov à Saut Réversible (RJMCMC). Afin d'accélérer la convergence du recuit simulé, nous avons développé une méthode d'initialisation permettant de fournir une distribution initiale de particules 3D base sur la détection des particules 2D localisées dans les images de projections. Enfin cette méthode est appliquée à des écoulements fluides soit simulé, soit issu d'une expérience dans un canal turbulent à surface libre. L'analyse des résultats et la comparaison de cette méthode avec les méthodes classiques montrent tout l'intérêt de ces approches parcimonieuses. / The research work fulfilled in this thesis fit within the development of optical measurement techniques for fluid mechanics. They are particularly related to 3D particle volume reconstruction in order to infer their movement. This volumetric measurement technic, called Tomo-PIV has appeared on 2006 and has been the subject of several works to enhance the reconstruction, which represents one of the most important steps of this measurement technique. The proposed methods in Literature don't necessarily take into account the particular form of objects to reconstruct and they are not sufficiently robust to deal with noisy images. To deal with these challenges, we propose a tomographic reconstruction method, called (IOD-PVRMPP), and based on marked point processes. Our method allows solving the problem in a parsimonious way. It facilitates the introduction of prior knowledge and solves memory problem, which is inherent to voxel-based approaches. The reconstruction of a 3D particle set is obtained by minimizing an energy function, which defines the marked point process. To this aim, we use a simulated annealing algorithm based on Reversible Jump Markov Chain Monte Carlo (RJMCMC) method. To speed up the convergence of the simulated annealing, we develop an initialization method, which provides the initial distribution of 3D particles based on the detection of 2D particles located in projection images. Finally, this method is applied to simulated fluid flow or real one produced in an open channel flow behind a turbulent grid. The results and the comparisons of this method with classical ones show the great interest of this parsimonious approach.