Comprendre, analyser et modéliser l'environment 3D à partir d'images provenant de caméras et d'appareils photos est l'un des défis majeurs actuel de recherche en vision par ordinateur. Cette thèse s'interesse à plusieurs aspects géométriques et photometriques liés à la reconstruction de surface à partir de plusieurs caméras calibrées. La reconstruction 3D est vue comme un problème de rendu inverse, et vise à minimiser une fonctionnelle d'énergie afin d'optimiser un maillage triangulaire représentant la surface à reconstruire. L'énergie est définie via un modèle génératif faisant naturellement apparaître des attributs tels que la visibilité ou la photométrie. Ainsi, l'approche présentée peut indifférement s'adapter à divers cas d'application tels que la stéréovision multi-vues, la stéréo photométrique multi-vues ou encore le "shape from shading" multi-vues. Plusieurs approches sont proposées afin de résoudre les problèmes de correspondances de l'apparence pour des scènes non Lambertiennes, dont l'apparence varie en fonction du point de vue. La segmentation, la stéréo photométrique ou encore la réciprocité d'Helmholtz sont des éléments étudiés afin de contraindre la reconstruction. L'exploitation de ces contraintes dans le cadre de reconstruction multi-vues permet de reconstruire des modèles complets 3D avec une meilleure qualité.

L'objectif général de cette thèse est d'appliquer une méthode d'optimisation polynomiale basée sur la théorie des moments à certains problèmes de vision artificielle. Ces problèmes sont en général non convexes et classiquement résolus à l'aide de méthodes d'optimisation locale. Ces techniques ne convergent généralement pas vers le minimum global et nécessitent de fournir une estimée initiale proche de la solution exacte. Les méthodes d'optimisation globale permettent d'éviter ces inconvénients. L'optimisation polynomiale basée sur la théorie des moments présente en outre l'avantage de prendre en compte des contraintes. Dans cette thèse nous étendrons cette méthode aux problèmes de minimisation d'une somme d'un grand nombre de fractions rationnelles. De plus, sous certaines hypothèses de "faible couplage" ou de "parcimonie" des variables du problème, nous montrerons qu'il est possible de considérer un nombre important de variables tout en conservant des temps de calcul raisonnables. Enfin nous appliquerons les méthodes proposées aux problèmes de vision par ordinateur suivants : minimisation des distorsions projectives induites par le processus de rectification d'images, estimation de la matrice fondamentale, reconstruction 3D multi-vues avec et sans distorsions radiales.

Dans ces travaux nous nous intéressons aux formulations variationnelles pour résoudre des problèmes mal posés du traitement d'images. Nous nous focalisons principalement sur le calcul du flot optique dans les séquences d'images ainsi que la reconstruction 3D à partir d'une séquence d'images 2D. Comme ces problèmes sont mal posés au sens où ils sont sous-contraints, on utilise souvent des techniques de régularisation spatiale pour obtenir l'unicité de la solution. Nous nous proposons d'introduire d'autres contraintes dans la formulation du problème pour limiter l'importance de cette régularisation, voire pour la supprimer complètement. Ces contraintes sont dérivées des informations a priori sur les conditions expérimentales. Dans un premier chapitre, nous examinons un cas d'étude tiré de l'imagerie biologique: il s'agit d'acquisitions multi-focales de vésicules géantes, nous en exploitons alors la topologie sphérique pour divers problèmes tels que le suivi, la segmentation, l'estimation du flot optique et la reconstruction 3D. Ces contraintes sont donc d'ordre spatiales. Dans un second chapitre, nous étudions la possibilité de tirer partie de l'information temporelle présente dans les séquences d'images. Cette information est alors modélisée par une équation d'évolution. La difficulté à lever est de résoudre conjointement cette équation et les contraintes qui dérivent du problème de traitement d'images. Nous utilisons alors le formalisme de l'assimilation variationnelle de données dans une formulation dite ''faible'' car nous attribuons une erreur sur l'équation d'évolution. Bien que l'équation d'évolution décrive imparfaitement la dynamique, nous montrons que l'on peut résoudre le problème mal posé de l'estimation du flot optique sans recourir à la régularisation. Nous montrons également que lorsque les informations sont manquantes, il est possible de fournir une estimation réaliste du flot optique, ceci permet de gérer les cas difficiles d'occultations. Enfin, dans un dernier chapitre, nous résumons des travaux parallèles portant sur la résolution variationnelle de problèmes non linéaires de traitement d'images, des travaux sur l'occupation des sols en imagerie satellitaire haute définition et enfin sur le suivi multi-cibles.

L'écoulement gazeux inspiratoire dans les Voies Aériennes Supérieures (VAS) nasales est étudié en condition stationnaire numériquement et expérimentalement dans trois géométries choisies pour leur caractère particulièrement réaliste : une géométrie nasale post mortem issue d'un modèle de tête plastinée, et deux géométries VAS (l'une « saine », l'autre « pathologique ») obtenues in vivo à partir de données tomodensitométriques de patients. Le modèle de « nez plastiné » est lui aussi scannographié et sa géométrie est numériquement reconstruite en 3D. L'étude numérique (calcul CFD) consiste à résoudre les équations de Navier-Stokes dans chaque géométrie reconstruite en 3D après facétisation (sur Amira) puis génération de différents maillages volumiques (Amira ou Gambit TGrid), en régime laminaire et/ou turbulent et des débits inspiratoires jusqu'à 1 L/s. L'étude expérimentale consiste à mesurer les relations chute de pression - débit (jusqu'à 1,5 L/s) entre la région d'entrée du nez et la sortie des VAS, sur le modèle de nez plastiné et sur le modèle physique des VAS saines obtenu par stéréolithographie. Après définition des sections d'intérêt de chaque modèle sur des critères anatomiques et mécaniques, l'axe central est défini par tronçon comme la ligne joignant les points médians des sections et leur validation est faite à l'aide de la méthode de réflexion acoustique sur le modèle de nez plastiné. Les résultats concernent: (i) la comparaison expérimentale-numérique conduite sur la chute de pression globale dans deux modèles qui montre un écart inférieur à 10% jusqu'à un débit de 0,4 L/s ; (ii) la caractérisation comparée des trois géométries à partir de l'évolution sur l'axe du nez des valeurs d'aire, de diamètre hydraulique et du nombre de Reynolds local ; (iii) l'importance relative, au demeurant très variable en fonction de la géométrie de chaque modèle, des trois courants délimités par les cornets inférieur, moyen et supérieur ; (iv) les pertes de charge et les variations d'énergie cinétique en fonction du nombre de Reynolds, définis globalement ou par tronçon. Dans l'ensemble, les résultats révèlent le caractère complexe de l'écoulement nasal : essentiellement laminaire mais perturbé par la succession des changements géométriques le long de l'axe nasal, présentant une similitude entre narines gauche et droite dans la géométrie de nez plastiné mais non observée dans la géométrie in vivo, probablement en raison des phénomènes vaso-moteurs. Cette étude confirme l'intérêt d'utiliser la CFD dans la géométrie nasale propre à chaque patient.

Nous présentons une approche de rendu à base d'images (IBR) qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes dépendent des modèles 3D et donnent lieu à des rendus de qualité réduite avec beaucoup d'artefacts. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie 3D. Nous utilisons un warp d'image guidé par des cartes de profondeur quasi-denses qui donnent lieu à beaucoup moins d'artefacts. En se basant sur cette approche, nous avons développé une méthode entièrement automatique permettant de traiter les scènes complexes. Nous sur-segmentons les images d'entrées en superpixels qui limitent les occlusions sur les bords des objets. Nous introduisons la synthèse de profondeur pour créer une approximation de cette profondeur mal reconstruite dans certaines régions et calculons les warps sur les superpixels pour synthétiser le résultat final. Nous comparons nos résultats à de nombreuses approches récentes. Nous avons analysé les artefacts de l'IBR d'un point de vue perceptif en comparant les artefacts générés par le mélange de plusieurs images avec ceux des transitions temporelles brusques et avons élaboré une méthodologie pour la sélection d'un compromis idéal entre les deux. Nous avons également analysé les distorsions perspectives et avons développé un modèle quantitatif qui permet de prédire les distorsions en fonction des paramètres de capture et de visualisation. Comme application, nous avons mis en œuvre un système de réalité virtuelle qui utilise l'IBR à la place de l'infographie traditionnelle.

Dans ce travail, méthodes d'estimation basées sur des images, également connu sous le nom de méthodes directes, sont étudiées qui permettent d'éviter l'extraction de caractéristiques et l'appariement complètement. L'objectif est de produire pose 3D précis et des estimations de la structure. Les fonctions de coût présenté minimiser l'erreur du capteur, car les mesures ne sont pas transformés ou modifiés. Dans la caméra photométrique estimation de la pose, rotation 3D et les paramètres de traduction sont estimées en minimisant une séquence de fonctions de coûts à base d'image, qui sont des non-linéaires en raison de la perspective projection et la distorsion de l'objectif. Dans l'image la structure basée sur le raffinement, d'autre part, de la structure 3D est affinée en utilisant un certain nombre de vues supplémentaires et un coût basé sur l'image métrique. Les principaux domaines d'application dans ce travail sont des reconstitutions d'intérieur, la robotique et la réalité augmentée. L'objectif global du projet est d'améliorer l'image des méthodes d'estimation fondées, et pour produire des méthodes de calcul efficaces qui peuvent être accueillis dans des applications réelles. Les principales questions pour ce travail sont : Qu'est-ce qu'une formulation efficace pour une image 3D basé estimation de la pose et de la structure tâche de raffinement ? Comment organiser calcul afin de permettre une mise en œuvre efficace en temps réel ? Quelles sont les considérations pratiques utilisant l'image des méthodes d'estimation basées sur des applications telles que la réalité augmentée et la reconstruction 3D ?

Le but de cette thèse est d'étudier l'adéquation des approches parallèles à l'imagerie 3D, en prenant comme problème cible de la reconstruction d'images 3D en tomographie par rayons X. L'évolution technologique des systèmes d'acquisition, du premier scanner au Morphomètre, a généré de nouvelles problématiques au niveau des méthodes de reconstruction et au niveau des besoins informatiques. Une première partie est consacrée aux fondements de la tomographie assistée par ordinateur et à la présentation des machines parallèles. L'évolution des machines de calcul intensif, du Cray 1 au Cray T3D, permet de résoudre des problèmes de taille croissante. Dans la deuxième partie, nous définissons la méthodologie suivie pour paralléliser les algorithmes de reconstruction. Nous identifions les opérateurs de base (projection et rétroprojection) sur lesquel est porté l'effort de parallélisation. Nous définissons deux approches de parallélisation (locale et globale). Différentes versions optimisées de ces algorithmes parallèles sont présentées prenant en compte d'une part la minimisation des temps de communications (recouvrement calcul/communication, communication sur un arbre binaire) et d'autre part la régulation de charge (partitionnement adaptatif). Dans la troisième partie, à partir de ces opérateurs parallélisés, nous construisons trois méthodes de reconstruction parallèles : une méthode analytique (la méthode de Feldkamp) et deux méthodes algébriques (la méthode Art par blocs et méthode SIRT). Les algorithmes sont expérimentés sur différentes machines parallèles : Maspar, Réseau de stations Sun, Ferme de processeurs Alpha, Paragon d'Intel, IBM SP1 et Cray T3D. Pour assurer la portabilité sur les différentes machines, nous avons utilisé PVM. Nous évaluons nos performances et nous montrons nos résultats de reconstruction 3D à partir de données simulées. Puis, nous présentons des reconstructions 3D effectués sur le Cray T3D, à partir de données expérimentales du Morphomètre, prototype de scanner X 3D.

Ces travaux s'inscrivent dans le cadre du projet VIPA " Véhicule Individuel Public Autonome ", au cours duquel le LASMEA et ses partenaires ont mis au point des véhicules capables de naviguer automatiquement, sans aucune infrastructure extérieure dédiée, dans des zones urbaines (parkings, zones piétonnes, aéroports). Il est doté de deux caméras, l'une à l'avant, et l'autre à l'arrière. Avant son déploiement, le véhicule doit tout d'abord être étalonné et conduit manuellement afin de reconstruire la carte d'amers visuels dans laquelle il naviguera ensuite automatiquement. Les travaux de cette thèse ont pour but de développer et de mettre en oeuvre des méthodes souples permettant d'étalonner cet ensemble de caméras dont les champs de vue sont totalement disjoints. Après une étape préalable d'étalonnage intrinsèque et un état de l'art sur les systèmes multi-caméra, nous développons et mettons en oeuvre différentes méthodes d'étalonnage extrinsèque (déterminant les poses relatives des caméras à champs de vue disjoints). La première méthode présentée utilise un miroir plan pour créer un champ de vision commun aux différentes caméras. La seconde approche consiste à manoeuvrer le véhicule pendant que chaque caméra observe une scène statique composée de cibles (dont la détection est sous-pixellique). Dans la troisième approche, nous montrons que l'étalonnage extrinsèque peut être obtenu simultanément à la reconstruction 3D (par exemple lors de la phase d'apprentissage), en utilisant des points d'intérêt comme amers visuels. Pour cela un algorithme d'ajustement de faisceaux multi-caméra a été développé avec une implémentation creuse. Enfin, nous terminons par un étalonnage déterminant l'orientation du système multi-caméra par rapport au véhicule.

La thèse s'inscrit dans le domaine de la vision par ordinateur. Il s'agit, dans un environnement intérieur inconnu, partiellement connu ou connu de trouver la position et l'orientation d'une camera mobile en temps réel à partir d'une séquence vidéo prise par cette même camera. Le sujet implique également la reconstruction 3D de l'environnement. Les algorithmes de vision seront implémentés et testés sur des plateformes massivement parallèles. Processing the video sequence of a indoor camera in motion we have to find the position and angle of the camera in real time. We will use a single prime lens camera. It may involve an unknown, partially known or well known environment. A big part of the computation is the 3D reconstruction of the scene. The algorithms used to locate the camera will be implemented and tested on GPU.

L’objectif de ce travail est de reconstruire en 3D des objets archéologiques en environnement sousmarin. Une méthode de fusion est proposée afin d’obtenir une carte 3D à partir de données sonar et du système de stéréovision sous marin.Le manuscrit est décomposé en deux parties principales : Dans une première partie, la reconstruction d’objets 3D est réalisée à partir d’un système utilisant une paire de caméras stéréoscopiques. La seconde partie utilise les données 3D de l’environnement sous marin à partir d’un sonar multifaisceaux. Ensuite, les deux informations sont mises en correspondance, données optiques et acoustiques, nécessitant de prendre en compte les différentes résolutions de ces deux capteurs.La première partie se concentre sur le système optique permettant la reconstruction 3D des objets avec la paire stéréoscopique. Le travail se fait à partir de la séquence vidéo enregistrée par des plongeurs dans des environnements dont la complexité est croissante (piscine, lac, mer). L’utilisation d’une mire de calibration sous marine permet la calibration de chaque caméra afin d’en exprimer le modèle interne, puis de déterminer les paramètres externes de rotation et de translation entre les deux caméras stéréoscopiques.La difficulté de ce travail est de construire une reconstruction 3D à partir de la séquence vidéo stéréoscopique et d’extraire les paires d’images permettant d’y parvenir.La recherche de points d’intérêts et leur mise en correspondance est réalisée en appliquant la méthode de RANSAC. La triangulation des informations pertinentes des images 2D vers le nuage de points 3D est réalisée à partir du modèle à projection centrale et l’estimation de la distance euclidienne. La texture et le rendu 3D sont ensuite obtenus par rétropropagation de ces informations dans les images 2D. La séquence temporelle des images permet une reconstruction 3D des points de l’objet en estimant les différentes transformations entre les paires d’image et en se basant sur une méthode type Structure From Motion.La seconde partie permet d’effectuer la fusion de ce modèle 3D avec la carte acoustique fournie par le sonar multifaisceaux. Afin de guider l’alignement des deux modèles, une initialisation manuelle est nécessaire, en sélectionnant des points d’intérêt sur les deux nuages de points. La mise en correspondance est finalisée par un algorithme d’Iterative Closest Points.Ce travail a permis la création d’une carte 3D multimodale utilisant un modèle 3D obtenu à partir d’une séquence vidéo et d’une carte acoustique. / The objective of this work is to create the 3D reconstruction of the archaeologicalobjects in underwater environment. The fusion technique is present, to obtainedthe 3D maps from the optical and acoustic systems. This work is divided intotwo main parts; First, we created the 3D reconstruction of the underwater scenesfrom the optic system by using the stereo cameras. Second, we created the 3Dinformaton of the underwater environment from the acoustic system by using themultibeam sonar. And we merge the two different types of map, i.e. from the opticand acoustic, which is all the more difficult for different task because of differentresolutions.The first part focus on the optical system used, to carry out the 3D reconstruc-tion by using the stereoscopic device. The underwater video and images sequencefor this work were acquired by divers in different underwater environment such asthe sea, the lake and the pool. First using a stereo camera to take a video of a cali-bration chessboard to calibrate the parameters of the camera, the intrinsic parame-ters are estimated for each camera, and then the external parameters are estimatedto determine the rotation matrix and translation vector of the stereo camera.The aims of this work is to create 3D reconstruction from multiple images.In each images pair,the features of interest are selected and matched across im-age pairs. An additional outlier removal step is performed based on the RANSACmethod. Triangulation of the inlier features from the 2D images space into a sparse3D points cloud is done by using a pinhole camera model and Euclidean distanceestimation. Then, the texture and rendering of the 3D stereo model are processed.The tempolral sequence of images is processed into a set of local 3D reconstructionwith estimate of coordinate transformation between temporally adjacent 3D localreconstruction by using the SFM method.The second part consists of fusing the 3D model obtained previously with theacoustic map. To align the two 3D models (optical model and acoustic model), we use a first approximate registration by selecting manually few points on each cloud.To increase the accuracy of this registration, we use analgorithm ICP (IterativeClosest Point).In this work we created a 3D underwatermultimodal map performedusingglobal 3D reconstruction model and an acousticglobal map.