L’objectif général de cette thèse est d’appliquer une méthode d’optimisation polynomiale basée sur la théorie des moments à certains problèmes de vision artificielle. Ces problèmes sont en général non convexes et classiquement résolus à l’aide de méthodes d’optimisation locales Ces techniques ne convergent généralement pas vers le minimum global et nécessitent de fournir une estimée initiale proche de la solution exacte. Les méthodes d’optimisation globale permettent d’éviter ces inconvénients. L’optimisation polynomiale basée sur la théorie des moments présente en outre l’avantage de prendre en compte des contraintes. Dans cette thèse nous étendrons cette méthode aux problèmes de minimisation d’une somme d’un grand nombre de fractions rationnelles. De plus, sous certaines hypothèses de "faible couplage" ou de "parcimonie" des variables du problème, nous montrerons qu’il est possible de considérer un nombre important de variables tout en conservant des temps de calcul raisonnables. Enfin nous appliquerons les méthodes proposées aux problèmes de vision par ordinateur suivants : minimisation des distorsions projectives induites par le processus de rectification d’images, estimation de la matrice fondamentale, reconstruction 3D multi-vues avec et sans distorsions radiales. / The overall objective of this thesis is to apply a polynomial optimization method, based on moments theory, on some vision problems. These problems are often nonconvex and they are classically solved using local optimization methods. Without additional hypothesis, these techniques don’t converge to the global minimum and need to provide an initial estimate close to the exact solution. Global optimization methods overcome this drawback. Moreover, the polynomial optimization based on moments theory could take into account particular constraints. In this thesis, we extend this method to the problems of minimizing a sum of many rational functions. In addition, under particular assumptions of "sparsity", we show that it is possible to deal with a large number of variables while maintaining reasonable computation times. Finally, we apply these methods to particular computer vision problems: minimization of projective distortions due to image rectification process, Fundamental matrix estimation, and multi-view 3D reconstruction with and without radial distortions.

Une des applications de l’échographie médicale est celle de l’ophtalmologie qui pose de nombreux problèmes spécifiques liés en partie à la faible dimension de l’oeil et à la précision importante que requièrent les mesures intraoculaires. En effet, avec le développement de la chirurgie réfractive qui regroupe ensemble des techniques capables de corriger les erreurs de réfraction et l’avènement des implants intraoculaires, le chirurgien ophtalmologiste est amené à surveiller la tolérance et les effets secondaires de ces implants sur les structures du segment antérieur. L’échographie à haute fréquence apporte la résolution suffisante pour cette tâche. Cependant, le développement de l’échographie 3D permet une extension des applications ophtalmologiques notamment pour le dimensionnement des implants en préopératoire. La modélisation 3D du segment antérieur permet d’étudier le comportement des implants et surtout de dessiner à terme un implant « sur mesure » pour le patient. C’est dans ce contexte que nous présentons une méthode originale de segmentation et de reconstruction 3D du segment antérieur par échographique haute fréquence en utilisant l’ajustement de modèles 3D. Nous utilisons un système échographique 3D de type main-libre, composé d’une sonde échographique haute fréquence, et d’un module de localisation actif comprenant une caméra et des marqueurs infrarouges. Ce système échographique 3D nous permet d’obtenir des images avec des informations de positionnement dans l’espace tridimensionnel associées. Nous avons ainsi pu mettre en place toute une chaîne d’acquisitions et de traitements des images échographiques. Nous créons, à partir d’images échographiques du segment antérieur oculaire, des modèles de référence 3D réalistes. Nous proposons ainsi une méthode d’ajustement de modèles 3D de référence sur des données 3D échographiques via l’utilisation de l’algorithme de recalage ICP. Nous avons également sélectionné et adapté différentes méthodes pour l’évaluation de l’approche de reconstruction proposée. Ces méthodes permettent de mettre en valeur la précision de ces reconstructions. / Ophthalmology is one of the clinical application fields of ultrasound imaging, for which numerous specific issues arise, related in part to the eye’s small anatomical dimensions combined with the high level of accuracy requirements associated with intraocular measurements. Indeed, since the development of refractive surgery including all the techniques dedicated to the correction of refractive errors, as well as the emergence of intraocular lens (IOL), ophthalmic surgeons have to monitor overall acceptance as well as secondary effects related to these implants on the structures of the anterior eye segment. High frequency ultrasound imaging provides the required spatial resolution for this task. However, the development of 3D ultrasound imaging allows for the development of new applications in ophthalmology, for instance pre-operative dimensioning of the lens. 3D modelling of the anterior eye segment therefore allows studying the IOL behaviour and may help designing future personalized IOL tailored for each patient. Within this context, we present an original 3D segmentation and reconstruction method based on 3D models registration, dedicated to the anterior eye segment acquired in high frequency ultrasound imaging. We used a 3D ultrasound free-hand acquisition system, composed of a high frequency ultrasound probe and a localization module based on a camera and infrared markers. This 3D ultrasound system provides images along with associated 3D spatial positioning information. We were therefore able to develop an entire ultrasound images acquisition and processing chain. This allowed us creating realistic reference 3D models from sequences of ultrasound images of the anterior eye segment. We thus propose a method based on the iterative closest point (ICP) algorithm for the registration of the 3D reference models to 3D ultrasound acquired data. We have also selected and adapted various methods for the evaluation of the proposed reconstruction process. These methods highlight the accuracy of the obtained reconstructions.

Dans le cadre de l'acquisition de l'information de profondeur de scènes texturées, un processus d'estimation de la profondeur basé sur la méthode de reconstruction 3D « Shape from Focus » est présenté dans ce manuscrit. Les deux étapes fondamentales de cette approche sont l'acquisition de la séquence d'images de la scène par sectionnement optique et l'évaluation de la netteté locale pour chaque pixel des images acquises. Deux systèmes d'acquisition de cette séquence d'images sont présentés ainsi que les traitements permettant d'exploiter celle-ci pour la suite du processus d'estimation de la profondeur. L'étape d'évaluation de la netteté des pixels passe par la comparaison des différents opérateurs de mesure de netteté. En plus des opérateurs usuels, deux nouveaux opérateurs basés sur les descripteurs généralisés de Fourier sont proposés. Une méthode nouvelle et originale de comparaison est développée et permet une analyse approfondie de la robustesse à différents paramètres des divers opérateurs. Afin de proposer une automatisation du processus de reconstruction, deux méthodes d'évaluation automatique de la netteté sont détaillées. Finalement, le processus complet de reconstruction est appliqué à des scènes agronomiques, mais également à une problématique du domaine de l'analyse de défaillances de circuits intégrés afin d'élargir les domaines d'utilisation / In the context of the acquisition of depth information for textured scenes, a depth estimation process based on a 3D reconstruction method called "shape from focus" is proposed in this thesis. The two crucial steps of this approach are the image sequence acquisition of the scene by optical sectioning and the local sharpness evaluation for each pixel of the acquired images. Two acquisition systems have been developed and are presented as well as different image processing techniques that enable the image exploitation for the depth estimation process. The pixel sharpness evaluation requires comparison of different focus measure operators in order to determine the most appropriate ones. In addition to the usual focus measure operators, two news operators based on generalized Fourier descriptors are presented. A new and original comparison method is developped and provides a further analysis of the robustness to various parameters of the focus measure operators. In order to provide an automatic version of the reconstruction process, two automatic sharpness evaluation methods are detailed. Finally, the whole reconstruction process is applied to agronomic scenes, but also to a problematic in failure analysis domain aiming to expand to other applications

Le phénomène d'îlot de chaleur urbain engendre de l'inconfort thermique auprès des habitants. Améliorer le microclimat en zone urbaine est donc l'une des préoccupations des aménageurs. La végétalisation des villes s'avère une solution prometteuse, car l'évapotranspiration des plantes etles ombres portées des arbres ont un impact significatif sur le bilan thermique de l'atmosphère alentour. Un défi majeur aujourd'hui est le développement d'un modèle de simulation microclimatique capable de reproduire les conditions climatiques d'une rue, voire d'un quartier urbain végétalisé, dans l'objectif de proposer un outil d'aide à la décision pour l'aménagement des villes durables. L'objectif de cette thèse est d'étudier comment prendre en compte la végétation et plus particulièrement les arbres, dans un modèle microclimatique 30 afin de simuler le microclimat d'un quartier. Deux modèles, LASER/F et RATP sont appliqués à l'échelle d'un arbre et d'un parc urbain pour mener à bien cette étude. / The urban heat island phenomenon causes thermal discomfort to residents. lmproving the microclimate in urban areas is therefore one of the concerns of urban plan ners. The greening of cities (with lawns, trees, green roofs, etc.) is a promising solution, as the transpiration of plants and the shadows of trees have a significant impact on the thermal balance of the surrounding atmosphere. This act must be planned to optimize the benefits of vegetation. A key challenge today is thus the development of a microclimatic simulation model capable of reproducing the climatic conditions of a street, or even a vegetated urban neighborhood, with the aim of proposinga decision support tool for the development of sustainable cities. The aim of this thesis is to study how to consider vegetation and especially trees, in a 30 microclimatic model to simulate the microclimate of a neighborhood. Two models, LASER/F and RATP were applied at the scale of a tree and an urban park to carry out this study.

L’appariement d’images est un sujet central de recherche en vision par ordinateur. La recherche sur cette problématique s’est longuement concentrée sur ses aspects optiques, mais ses aspects géométriques ont reçu beaucoup moins d’attention. Cette thèse promeut l’utilisation de la géométrie pour compléter les informations optique dans les tâches de mise en correspondance d’images. Tout d’abord, nous nous penchons sur les méthodes globales pour lesquelles les occlusions et arêtes vives posent des défis. Dans ces scenarios, le résultat est fortement dépendant de la contribution du terme de régularisation. À l'aide d’une caractérisation géométrique de ce comportement, nous formulons une méthode d’appariement qui dirige les lignes de la grille loin des régions problématiques. Bien que les méthodes variationnelles fournissent des résultats qui se comportent bien en général, les méthodes locales basées sur la propagation de correspondances fournissent des résultats qui s’adaptent mieux à divers structures 3D mais au détriment de la cohérence globale de la surface reconstruite. Par conséquent, nous présentons une nouvelle méthode de propagation guidée par des reconstructions locales de surface / AbstractImage matching is a central research topic in computer vision which has been mainly focused on optical aspects. The aim of the work presented herein consists in the direct use of geometry to complement optical information in the tasks of 2D matching. First, we focus on global methods based on the calculus of variations. In such methods occlusions and sharp features raise difficult challenges. In these scenarios only the contribution of the regularizer accounts for results. Based on a geometric characterization of this behaviour, we formulate a variational matching method that steers grid lines away from problematic regions. While variational methods provide well behaved results, local methods based on match propagation provide results that adapt closely to varying 3D structures although choppy in nature. Therefore, we present a novel method to propagate matches using local information about surface regularity correcting 3D positions along with corresponding 2D matchings

La rénovation et la réhabilitation énergétique du parc de bâtiment est un des grands défis identifiés pour les décennies à venir. Devant cet impératif d'une rénovation d'ampleur du parc construit, les solutions techniques utilisant des ossatures rapportées sont employées de plus en plus fréquemment car elles permettent de combiner performance thermique, renouvellement esthétique et ajouts fonctionnels. Une des difficultés dans l'amélioration et l'automatisation des projets de rénovation est liée à la connaissance de la géométrie du bâti existant. Des plans de l'état existant ne sont pas toujours disponibles, et dans le cas échéant, ne sont pas forcément exacts en raison de modifications apportées au bâti et non documentées ou d'écarts initiaux entre les plans et la réalisation. Après une étude bibliographique des méthodes existantes détaillées dans le chapitre 1. Les travaux menés dans le cadre d'une collaboration entre le CRITT Bois et le CRAN ont permis de développer une méthode automatique de reconstruction 3D du modèle de bâtiments à partir de nuages de points obtenus par scanner LASER terrestre. La méthode proposée se décompose en trois phases principales. La première phase détaillée dans le deuxième chapitre, consiste à segmenter le nuage de points en plusieurs plans représentants les façades du bâtiment. L'exploitation de la colorimétrie durant la phase de segmentation du nuage de points permet une réduction importante de la complexité de l'algorithme de segmentation géométrique. L'approche consiste à effectuer dans un premier temps une classification préalable du nuage de points en se basant sur les informations colorimétriques de chaque point. Puis, dans un second temps, il s'agit d'effectuer une segmentation géométrique du nuage de points en utilisant un algorithme de segmentation robuste (RANSAC). Le chapitre 3 présente la deuxième phase qui consiste à modéliser le pas d'échantillonnage de la surface à partir duquel on définit le seuil d'extraction des points de contours. Le but étant d'améliorer la fiabilité d'extraction des points de contours, ainsi que l'approximation de l'erreur sur le modèle. Le chapitre 4 détaille les principales étapes de la reconstruction d'un modèle filaire. Dans un premier temps les régions définies par les points de contours sont classées en Régions d'Irrégularités (RI), Régions d'Eléments Architecturaux (REA) comme les fenêtres et Régions de Façade (RF) représentées par les contours extérieurs de la façade. La deuxième étape consiste à modéliser les différentes régions, par un maillage de Delaunay pour les RI, et des polyèdres pour les RF et REA. La dernière étape calcule une approximation de l'erreur sur le modèle. Les tests de fiabilité de la méthode ont été réalisés sur des chantiers réels conduits par des industriels de la construction et de la rénovation. Il en ressort que la qualité de la reconstruction 3D reste fortement dépendante des facteurs d'acquisition ainsi que de la surface numérisée. L'approximation de l'erreur de modélisation permet ainsi de prévoir à l'avance les erreurs sur le modèle CAO. / The renovation and the improvement of the energy efficiency of existing housing stock is one of big challenges identified for coming decades. In front of this imperative, timber based elements for building renovation are more and more used due to their substantial improvement of the building insulation, aesthetic renewal and functional additions. However, this technology faces some difficulties, one of them is the improvement of the renovation projects automation, which is bound to the knowledge of the existing built geometry. The plans representing the existing state of the building are not always available, and if so, they may be not exact, because the modifications made on the building are usually undocumented. After a literature review of existing methods which are detailed the first chapter. The work within the framework of cooperation between the CRITTBois and CRAN have allowed to develop an automatic method for 3D building CAD model reconstruction from point clouds acquired by a terrestrial LASER scanner. The proposed method is composed of three main phases. The first one detailed in the second chapter, consists in segmenting the point cloud into planar patches representing the building facades. To decrease the segmentation algorithm complexity, the colorimetric information is also considered. The approach consists in making a colorimetric classification of the point cloud in a first step, then a geometrical segmentation of the point cloud using a robust segmentation algorithm (RANSAC). The third chapter presents the second phase of our approach consists in surface sampling steps modeling and boundary point extraction. Here, we consider a local threshold defined according to the approximated surface sampling steps. The aim of considering local threshold is to improve the reliability of the boundary point extraction algorithm and approximating the CAD model error. The last chapter presents the main three steps of the boundary model reconstruction method. The first step consists in classifying the regions defined by their boundary points into three types of regions: Irregularity Region (IR), Architectural Element Region (AER) as windows, and Facades Regions (FR) which represent the building facades defined by their outer boundaries. The second step consists in modeling these regions considering a Delaunay triangulation for the IR and a polyhedral model for the AER and the FR. The third step consists in making an approximation of the error in the model. The method reliability tests were conducted on real projects; they were performed by industrial construction and renovation professionals. The tests show that the quality of the 3D reconstruction remains strongly dependent to the acquisition factors and the scanned surface properties. Also, the approximation of the modeling error can predict in advance the errors on the CAD model.

Le corps humain compte plus de 200 types cellulaires différents possédant une copie identique du génome mais exprimant un ensemble différent de gènes. Le contrôle de l'expression des gènes est assuré par un ensemble de mécanismes de régulation agissant à différentes échelles de temps et d'espace. Plusieurs maladies ont pour cause un dérèglement de ce système, notablement les certains cancers, et de nombreuses applications thérapeutiques, comme la médecine régénérative, reposent sur la compréhension des mécanismes de la régulation géniques. Ce travail de thèse propose, dans une première partie, un algorithme d'annotation (GABI) pour identifier les motifs récurrents dans les données de séquençage haut-débit. La particularité de cet algorithme est de prendre en compte la variabilité observée dans les réplicats des expériences en optimisant le taux de faux positif et de faux négatif, augmentant significativement la fiabilité de l'annotation par rapport à l'état de l'art. L'annotation fournit une information simplifiée et robuste à partir d'un grand ensemble de données. Appliquée à une base de données sur l'activité des régulateurs dans l'hématopoieïse, nous proposons des résultats originaux, en accord avec de précédentes études. La deuxième partie de ce travail s'intéresse à l'organisation 3D du génome, intimement lié à l'expression génique. Elle est accessible grâce à des algorithmes de reconstruction 3D à partir de données de contact entre chromosomes. Nous proposons des améliorations à l'algorithme le plus performant du domaine actuellement, ShRec3D, en permettant d'ajuster la reconstruction en fonction des besoins de l'utilisateur. / The human body has more than 200 different cell types each containing an identical copy of the genome but expressing a different set of genes. The control of gene expression is ensured by a set of regulatory mechanisms acting at different scales of time and space. Several diseases are caused by a disturbance of this system, notably some cancers, and many therapeutic applications, such as regenerative medicine, rely on understanding the mechanisms of gene regulation. This thesis proposes, in a first part, an annotation algorithm (GABI) to identify recurrent patterns in the high-throughput sequencing data. The particularity of this algorithm is to take into account the variability observed in experimental replicates by optimizing the rate of false positive and false negative, increasing significantly the annotation reliability compared to the state of the art. The annotation provides simplified and robust information from a large dataset. Applied to a database of regulators activity in hematopoiesis, we propose original results, in agreement with previous studies. The second part of this work focuses on the 3D organization of the genome, intimately linked to gene expression. This structure is now accessible thanks to 3D reconstruction algorithm from contact data between chromosomes. We offer improvements to the currently most efficient algorithm of the domain, ShRec3D, allowing to adjust the reconstruction according to the user needs.

Les environnements 3D immersifs et collaboratifs en ligne sont en pleine émergence. Ils posent les problématiques du sentiment de présence au sein des mondes virtuels, de l'immersion et des capacités d'interaction. Les systèmes 3D multi-caméra permettent, sur la base d'une information photométrique, d'extraire une information géométrique (modèle 3D) de la scène observée. Il est alors possible de calculer un modèle numérique texturé en temps-réel qui est utilisé pour assurer la présence de l'utilisateur dans l'espace numérique. Dans le cadre de cette thèse nous avons étudié comment coupler la capacité de présence fournie par un tel système avec une immersion visuelle et des interactions co-localisées. Ceci a mené à la réalisation d'une application qui couple un visio-casque, un système de suivi optique et un système multi-caméra. Ainsi l'utilisateur peut visualiser son modèle 3D correctement aligné avec son corps et mixé avec les objets virtuels. Nous avons aussi mis en place une expérimentation de télépresence sur 3 sites (Bordeaux, Grenoble, Orléans) qui permet à plusieurs utilisateurs de se rencontrer en 3D et de collaborer à distance. Le modèle 3D texturé donne une très forte impression de présence de l'autre et renforce les interactions physiques grâce au langage corporel et aux expressions faciales. Enfin, nous avons étudié comment extraire une information de vitesse à partir des informations issues des caméras, grâce au flot optique et à des correspondances 2D et 3D, nous pouvons estimer le déplacement dense du modèle 3D. Cette donnée étend les capacités d'interaction en enrichissant le modèle 3D. / Online immersive and collaborative 3D environments are emerging very fast. They raise the issues of sensation of presence within virtual worlds, immersion and interaction capabilities. Multi-camera 3D systems allow to extract geometrical information (3D model) of the observed scene using the photometric information. It enables calculation of a numerical textured model in real-time, which is then used to ensure the user's presence in cyberspace. In this thesis we have studied how to pair the ability of presence, obtained from such a system, with visual immersion and co-located interactions. This led to the realization of an application that combines a head mounted display, an optical tracking system and a multi-camera system. Thus, the user can view his 3D model correctly aligned with his own body and mixed with virtual objects. We also have implemented an experimental telepresence application featuring three sites (Bordeaux, Grenoble, Orleans) that allows multiple users to meet in 3D and collaborate remotely. Textured 3D model gives a very strong sense of presence of each other and strengthens the physical interactions, thanks to body language and facial expressions. Finally, we studied how to extract 3D velocity information from the cameras images; using 2D optical flow and 2D and 3D correspondences, we can estimate the dense displacement of the 3D model. This data extend the interaction capabilities by enriching the 3D model.

Les travaux présentés dans ce manuscrit concernent le domaine de la localisation et la reconstruction 3D par vision artificielle. Dans ce contexte, la trajectoire d’une caméra et la structure3D de la scène filmée sont initialement estimées par des algorithmes linéaires puis optimisées par un algorithme non-linéaire, l’ajustement de faisceaux. Cette thèse présente tout d’abord une technique de recherche de l’amplitude de déplacement (recherche linéaire), ou line search pour les algorithmes de minimisation itérative. La technique proposée est non itérative et peut être rapidement implantée dans un ajustement de faisceaux traditionnel. Cette technique appelée recherche linéaire algébrique globale (G-ALS), ainsi que sa variante à deux dimensions (Two way-ALS), accélèrent la convergence de l’algorithme d’ajustement de faisceaux. L’approximation de l’erreur de reprojection par une distance algébrique rend possible le calcul analytique d’une amplitude de déplacement efficace (ou de deux pour la variante Two way-ALS), par la résolution d’un polynôme de degré 3 (G-ALS) ou 5 (Two way-ALS). Nos expérimentations sur des données simulées et réelles montrent que cette amplitude, optimale en distance algébrique, est performante en distance euclidienne, et permet de réduire le temps de convergence des minimisations. Une difficulté des algorithmes de localisation en temps réel par la vision (SLAM monoculaire) est que la trajectoire estimée est souvent affectée par des dérives : dérives d’orientation, de position et d’échelle. Puisque ces algorithmes sont incrémentaux, les erreurs et approximations sont cumulées tout au long de la trajectoire, et une dérive se forme sur la localisation globale. De plus, un système de localisation par vision peut toujours être ébloui ou utilisé dans des conditions qui ne permettent plus temporairement de calculer la localisation du système. Pour résoudre ces problèmes, nous proposons d’utiliser un capteur supplémentaire mesurant les déplacements de la caméra. Le type de capteur utilisé varie suivant l’application ciblée (un odomètre pour la localisation d’un véhicule, une centrale inertielle légère ou un système de navigation à guidage inertiel pour localiser une personne). Notre approche consiste à intégrer ces informations complémentaires directement dans l’ajustement de faisceaux, en ajoutant un terme de contrainte pondéré dans la fonction de coût. Nous évaluons trois méthodes permettant de sélectionner dynamiquement le coefficient de pondération et montrons que ces méthodes peuvent être employées dans un SLAM multi-capteur temps réel, avec différents types de contrainte, sur l’orientation ou sur la norme du déplacement de la caméra. La méthode est applicable pour tout autre terme de moindres carrés. Les expérimentations menées sur des séquences vidéo réelles montrent que cette technique d’ajustement de faisceaux contraint réduit les dérives observées avec les algorithmes de vision classiques. Ils améliorent ainsi la précision de la localisation globale du système. / The works presented in this manuscript are in the field of computer vision, and tackle the problem of real-time vision based localization and 3D reconstruction. In this context, the trajectory of a camera and the 3D structure of the filmed scene are initially estimated by linear algorithms and then optimized by a nonlinear algorithm, bundle adjustment. The thesis first presents a new technique of line search, dedicated to the nonlinear minimization algorithms used in Structure-from-Motion. The proposed technique is not iterative and can be quickly installed in traditional bundle adjustment frameworks. This technique, called Global Algebraic Line Search (G-ALS), and its two-dimensional variant (Two way-ALS), accelerate the convergence of the bundle adjustment algorithm. The approximation of the reprojection error by an algebraic distance enables the analytical calculation of an effective displacement amplitude (or two amplitudes for the Two way-ALS variant) by solving a degree 3 (G-ALS) or 5 (Two way-ALS) polynomial. Our experiments, conducted on simulated and real data, show that this amplitude, which is optimal for the algebraic distance, is also efficient for the Euclidean distance and reduces the convergence time of minimizations. One difficulty of real-time tracking algorithms (monocular SLAM) is that the estimated trajectory is often affected by drifts : on the absolute orientation, position and scale. Since these algorithms are incremental, errors and approximations are accumulated throughout the trajectory and cause global drifts. In addition, a tracking vision system can always be dazzled or used under conditions which prevented temporarily to calculate the location of the system. To solve these problems, we propose to use an additional sensor measuring the displacement of the camera. The type of sensor used will vary depending on the targeted application (an odometer for a vehicle, a lightweight inertial navigation system for a person). We propose to integrate this additional information directly into an extended bundle adjustment, by adding a constraint term in the weighted cost function. We evaluate three methods (based on machine learning or regularization) that dynamically select the weight associated to the constraint and show that these methods can be used in a real time multi-sensor SLAM, and validate them with different types of constraint on the orientation or on the scale. Experiments conducted on real video sequences show that this technique of constrained bundle adjustment reduces the drifts observed with the classical vision algorithms and improves the global accuracy of the positioning system.

Dans ce travail, méthodes d'estimation basées sur des images, également connu sous le nom de méthodes directes, sont étudiées qui permettent d'éviter l'extraction de caractéristiques et l'appariement complètement. L'objectif est de produire pose 3D précis et des estimations de la structure. Les fonctions de coût présenté minimiser l'erreur du capteur, car les mesures ne sont pas transformés ou modifiés. Dans la caméra photométrique estimation de la pose, rotation 3D et les paramètres de traduction sont estimées en minimisant une séquence de fonctions de coûts à base d'image, qui sont des non-linéaires en raison de la perspective projection et la distorsion de l'objectif. Dans l'image la structure basée sur le raffinement, d'autre part, de la structure 3D est affinée en utilisant un certain nombre de vues supplémentaires et un coût basé sur l'image métrique. Les principaux domaines d'application dans ce travail sont des reconstitutions d'intérieur, la robotique et la réalité augmentée. L'objectif global du projet est d'améliorer l'image des méthodes d'estimation fondées, et pour produire des méthodes de calcul efficaces qui peuvent être accueillis dans des applications réelles. Les principales questions pour ce travail sont : Qu'est-ce qu'une formulation efficace pour une image 3D basé estimation de la pose et de la structure tâche de raffinement ? Comment organiser calcul afin de permettre une mise en œuvre efficace en temps réel ? Quelles sont les considérations pratiques utilisant l'image des méthodes d'estimation basées sur des applications telles que la réalité augmentée et la reconstruction 3D ? / In this work, image based estimation methods, also known as direct methods, are studied which avoid feature extraction and matching completely. Cost functions use raw pixels as measurements and the goal is to produce precise 3D pose and structure estimates. The cost functions presented minimize the sensor error, because measurements are not transformed or modified. In photometric camera pose estimation, 3D rotation and translation parameters are estimated by minimizing a sequence of image based cost functions, which are non-linear due to perspective projection and lens distortion. In image based structure refinement, on the other hand, 3D structure is refined using a number of additional views and an image based cost metric. Image based estimation methods are usable whenever the Lambertian illumination assumption holds, where 3D points have constant color despite viewing angle. The main application domains in this work are indoor 3D reconstructions, robotics and augmented reality. The overall project goal is to improve image based estimation methods, and to produce computationally efficient methods which can be accomodated into real applications. The main questions for this work are : What is an efficient formulation for an image based 3D pose estimation and structure refinement task ? How to organize computation to enable an efficient real-time implementation ? What are the practical considerations of using image based estimation methods in applications such as augmented reality and 3D reconstruction ?