Les travaux réalisés au cours de cette thèse s'inscrivent dans les problématiques de localisation d'un véhicule par vision. Nous nous plaçons en particulier dans le cas de parcours sur de longues distances, c'est à dire plusieurs kilomètres. Les méthodes actuelles de localisation et cartographie simultanées souffrent de problèmes de dérives qui les rendent difficilement exploitables après plusieurs centaines de mètres. Nous proposons dans ce mémoire de pallier ces limites en exploitant une connaissance à priori sur la géométrie de l'environnement parcouru.Cette information est extraite d'un Système d'Information Géographique. En particulier, les travaux réalisés se basent sur les modèles 3D des bâtiments des villes et sur une carte de la route.Dans la première partie de ce mémoire, nous proposons une approche permettant de corriger hors ligne une reconstruction SLAM en exploitant la connaissance d'un modèle 3D simple de l'environnement. Cette correction s'applique en deux étapes. En premier lieu, un recalage non-rigide entre le nuage de points reconstruit et le modèle 3D est effectué de sorte à retrouver la cohérence globale de la reconstruction. Dans le but de raffiner le nuage de points obtenu, un ajustement de faisceaux contraint par le SIG est alors effectué sur l'ensemble de la reconstruction.La particularité de cet ajustement de faisceaux est qu'il prend implicitement en compte les contraintes géométriques apportées par le modèle 3D. La reconstruction ainsi corrigée est alors utilisée en tant que base de données pour la relocalisation en ligne d'une caméra mobile. La précision de relocalisation obtenue est en particulier suffisante pour les applications de réalité augmentée.Dans la deuxième partie de ce mémoire, nous détaillons une solution permettant de corriger en ligne la reconstruction SLAM. Pour cela, les contraintes géométriques apportées par le SIG sont exploitées au fur et à mesure de la trajectoire du véhicule. Nous montrons tout d'abord que la connaissance de la position relative de la caméra par rapport à la route permet de corriger de façon robuste la dérive de facteur d'échelle. De plus, lorsque les contraintes géométriques sont suffisantes, la reconstruction SLAM réalisée jusqu'à l'instant courant est recalée sur le SIG.Cela permet de corriger ponctuellement la dérive observée sur la position courante de la caméra.Le processus complet permet dès lors de localiser le véhicule avec une précision semblable à celle d'un système GPS sur des trajectoires de plusieurs kilomètres.Les deux méthodes proposées ont été testées à la fois sur des séquences de synthèse et réelles. Des résultats qualitatifs et quantitatifs sont présentés tout au long de ce mémoire.

Les travaux réalisés au cours de cette thèse s’inscrivent dans les problématiques de localisation d’un véhicule par vision. Nous nous plaçons en particulier dans le cas de parcours sur de longues distances, c’est à dire plusieurs kilomètres. Les méthodes actuelles de localisation et cartographie simultanées souffrent de problèmes de dérives qui les rendent difficilement exploitables après plusieurs centaines de mètres. Nous proposons dans ce mémoire de pallier ces limites en exploitant une connaissance à priori sur la géométrie de l’environnement parcouru.Cette information est extraite d’un Système d’Information Géographique. En particulier, les travaux réalisés se basent sur les modèles 3D des bâtiments des villes et sur une carte de la route.Dans la première partie de ce mémoire, nous proposons une approche permettant de corriger hors ligne une reconstruction SLAM en exploitant la connaissance d’un modèle 3D simple de l’environnement. Cette correction s’applique en deux étapes. En premier lieu, un recalage non-rigide entre le nuage de points reconstruit et le modèle 3D est effectué de sorte à retrouver la cohérence globale de la reconstruction. Dans le but de raffiner le nuage de points obtenu, un ajustement de faisceaux contraint par le SIG est alors effectué sur l’ensemble de la reconstruction.La particularité de cet ajustement de faisceaux est qu’il prend implicitement en compte les contraintes géométriques apportées par le modèle 3D. La reconstruction ainsi corrigée est alors utilisée en tant que base de données pour la relocalisation en ligne d’une caméra mobile. La précision de relocalisation obtenue est en particulier suffisante pour les applications de réalité augmentée.Dans la deuxième partie de ce mémoire, nous détaillons une solution permettant de corriger en ligne la reconstruction SLAM. Pour cela, les contraintes géométriques apportées par le SIG sont exploitées au fur et à mesure de la trajectoire du véhicule. Nous montrons tout d’abord que la connaissance de la position relative de la caméra par rapport à la route permet de corriger de façon robuste la dérive de facteur d’échelle. De plus, lorsque les contraintes géométriques sont suffisantes, la reconstruction SLAM réalisée jusqu’à l’instant courant est recalée sur le SIG.Cela permet de corriger ponctuellement la dérive observée sur la position courante de la caméra.Le processus complet permet dès lors de localiser le véhicule avec une précision semblable à celle d’un système GPS sur des trajectoires de plusieurs kilomètres.Les deux méthodes proposées ont été testées à la fois sur des séquences de synthèse et réelles. Des résultats qualitatifs et quantitatifs sont présentés tout au long de ce mémoire. / This thesis deals with the vision based geolocalisation of a vehicle. In particular, the problem of localisation on large sequences, i.e. several kilometers, is studied. In this context, state of the art Simultaneous Localisation and Mapping systems suffer from drift. In consequence,existing SLAM methods can not provide accurate localisation of the camera after several hundred meters. Thus, we propose in this thesis to avoid the drift phenomenon by exploiting a simple knowledge about the geometry of the environment. This information is provided by a Geographical Information System. In particular, our work is based on coarse 3D city models and road maps.In the first part, we propose an offline two steps correction of SLAM reconstructions based on a 3D city model of the area. First, the reconstructed 3D point cloud and this 3D city model are aligned through a non-rigid transformation. This step allows the SLAM reconstruction to regain its global consistency. Then, a bundle adjustment constrained with the GIS is applied on the entire reconstruction to refine its geometry. The innovation of this bundle adjustment is that it takes into account the geometrical constraints provided by the 3D city model in a single term.The obtained 3D point cloud can then be considered as a feature landmark database. Finally, this database is used to localise a moving camera in real-time. In pratice, the precision of the obtained localisation is sufficient for augmented reality applications. In the second part of this manuscript, we present a solution which makes possible the online correction of a SLAM reconstruction. The GIS geometrical constraints are exploited over the vehicle trajectory. First, we show that the scale factor drift can be robustly corrected thanks to the knowledge of the ground plane equation. Furthermore, the current SLAM reconstruction is fitted onto the GIS when the geometrical constraints are sufficient. It punctually ensures the correction of the current camera position. The entire process allows the geolocalisation of a vehicle on several kilometers. The obtained precision is close to GPS.The two proposed solutions have been validated of both synthetic and real sequences. Quantitative and qualitative experiments are presented over this manuscript.

Pour se localiser en ville, la majorité des solutions commercialisées se base sur les systèmes GPS. Même si ces systèmes offrent une précision suffisante hors agglomération, celle-ci se dégradent considérablement en villes à cause des phénomènes connus sous le nom du canyon urbain (i.e. réflexion du signal GPS sur les façades des bâtiments). Pour pallier ce problème, les solutions basées sur un SLAM visuel (Simultaneous Localization And Mapping) semblent une alternative prometteuse. En plus de l’estimation des six degrés de liberté de la caméra mobile, il fournit une carte 3D de la scène observée. Toutefois, la localisation assurée par le SLAM visuel n’est pas géo-référencée et présente souvent des dérives (e.g. mauvaise estimation du facteur d’échelle, accumulation des erreurs). Pour faire face à ces limitations et afin de proposer une solution facile à déployer, nous avons étudié la possibilité d’intégrer au SLAM des informations supplémentaires qui pourraient contraindre l’ensemble de la reconstruction fournie. Ces dernières doivent alors être peu couteuses et disponibles en milieux urbains denses et péri-urbains. C’est pour cette raison que nous avons choisi d’exploiter les contraintes fournies par un GPS standard et celles apportées par des modèles issus des Systèmes d’Information Géographique, plus précisément : des modèles 3D des bâtiments et des modèles d’élévation de terrain. La principale contribution de ces travaux réside en l’intégration de ces contraintes au sein de l’ajustement de faisceaux (i.e. processus d’optimisation du SLAM). Ceci n’est pas trivial étant donné que combiner des contraintes agissant sur la trajectoire de la caméra et la reconstruction 3D peut entrainer des problèmes de convergences, en particulier lorsque les informations exploitées ont des incertitudes variées, voire même des données biaisées ou aberrantes (e.g. Pour les mesures du GPS). Différentes solutions Larnaout et al. (2012, 2013a,b,c) permettant de combiner plusieurs de ces contraintes simultanément tout en limitant les problèmes de convergence ont été développées. Les solutions proposées ont été validées sur des séquences de synthèse et d’autres réelles de plusieurs kilomètres enregistrées dans des conditions de circulation normale. Les résultats obtenus montrent que la précision atteinte au niveau de l’estimation des six degrés de liberté de la caméra permet d’assurer des nouvelles applications d’aide à la navigation par le biais de la Réalité Augmentée. En plus de leur précision, nos approches ont l’avantage d’être rapides, peu couteuses et faciles à déployer (ne nécessitant pas un matériel sophistiqué). / To ensure a global localization in urban environment, the majority of commercial solutions is based on Global Positioning Systems (GPS). While these systems offer sufficient accuracy in peri-urban or rural areas, their accuracy decreases significantly in cities because of the urban canyon (i.e. reflections of the GPS signal through the facades of buildings). To overcome this problem, vision based solutions such as the visual SLAM (Simultaneous Localization And Mapping) seem to be a promising alternative. In addition to the estimation of the six degrees of freedom of the mobile camera, such approach provides a 3D map of the observed scene. However, the localization provided by the visual SLAM is not geo-referenced and is often subject of drifts (e.g. poor estimate of the scale factor, accumulations errors). To address these limitations and to provide a solution easy to deploy, we studied the possibility of integrating to the SLAM algorithm additional information that could constrain the entire reconstruction. These data must then be inexpensive and available in dense urban and peri-urban areas. For these reasons, we chose to exploit the constraints provided by a standard GPS and those provided by models from Geographic Information Systems, more precisely, the 3D buildings models and the digital elevation models. The main contribution of this work lies in the integration of these constraints in the bundle adjustment (i.e. the optimization process of the SLAM algorithm). This is not trivial since combining constraints acting on the trajectory of the camera and the 3D reconstruction can lead to convergence problems, especially when the information used have various uncertainties and even outliers (e.g. specially GPS measurements). Different solutions Larnaout et al. (2012, 2013a,b,c) to combine these constraints simultaneously while limiting the problems of convergence have been developed. The proposed solutions have been evaluated on synthetic sequences and large scale real sequences recorded in normal traffic conditions. The results show that the accuracy achieved on the six degrees of freedom of the mobile camera is sufficient to ensure new service of aided navigation through Augmented Reality. In addition to the accuracy, our approaches have the advantage of being fast, inexpensive and easy to deploy (not requiring sophisticated equipment).

Pour se localiser en ville, la majorité des solutions commercialisées se base sur les systèmes GPS. Même si ces systèmes offrent une précision suffisante hors agglomération, celle-ci se dégradent considérablement en villes à cause des phénomènes connus sous le nom du canyon urbain (i.e. réflexion du signal GPS sur les façades des bâtiments). Pour pallier ce problème, les solutions basées sur un SLAM visuel (Simultaneous Localization And Mapping) semblent une alternative prometteuse. En plus de l'estimation des six degrés de liberté de la caméra mobile, il fournit une carte 3D de la scène observée. Toutefois, la localisation assurée par le SLAM visuel n'est pas géo-référencée et présente souvent des dérives (e.g. mauvaise estimation du facteur d'échelle, accumulation des erreurs). Pour faire face à ces limitations et afin de proposer une solution facile à déployer, nous avons étudié la possibilité d'intégrer au SLAM des informations supplémentaires qui pourraient contraindre l'ensemble de la reconstruction fournie. Ces dernières doivent alors être peu couteuses et disponibles en milieux urbains denses et péri-urbains. C'est pour cette raison que nous avons choisi d'exploiter les contraintes fournies par un GPS standard et celles apportées par des modèles issus des Systèmes d'Information Géographique, plus précisément : des modèles 3D des bâtiments et des modèles d'élévation de terrain. La principale contribution de ces travaux réside en l'intégration de ces contraintes au sein de l'ajustement de faisceaux (i.e. processus d'optimisation du SLAM). Ceci n'est pas trivial étant donné que combiner des contraintes agissant sur la trajectoire de la caméra et la reconstruction 3D peut entrainer des problèmes de convergences, en particulier lorsque les informations exploitées ont des incertitudes variées, voire même des données biaisées ou aberrantes (e.g. Pour les mesures du GPS). Différentes solutions Larnaout et al. (2012, 2013a,b,c) permettant de combiner plusieurs de ces contraintes simultanément tout en limitant les problèmes de convergence ont été développées. Les solutions proposées ont été validées sur des séquences de synthèse et d'autres réelles de plusieurs kilomètres enregistrées dans des conditions de circulation normale. Les résultats obtenus montrent que la précision atteinte au niveau de l'estimation des six degrés de liberté de la caméra permet d'assurer des nouvelles applications d'aide à la navigation par le biais de la Réalité Augmentée. En plus de leur précision, nos approches ont l'avantage d'être rapides, peu couteuses et faciles à déployer (ne nécessitant pas un matériel sophistiqué).