Les images panoramiques sont des vues en largeur d'un espace physique. Ces larges images, en plus d'être intéressantes par leur aspect esthétique, sont un support essentiel pour de nombreuses applications comme par exemple l'orientation automatique d'un robot dans son environnement ou la création de cartes satellites. Pour obtenir un panorama, deux approches sont possibles : une approche matérielle et une approche logicielle. Dans l'approche logicielle, il y a deux problématiques : le recalage des images entre elles et le mélange des valeurs radiométriques des sections se recoupant. Ce mémoire s'intéresse à la problématique de mélange. En effet, les images à regrouper peuvent présenter des différences d'intensité pour diverses raisons. Il faut alors effectuer un mélange afin de faire disparaître ces différences et pouvoir ainsi produire un panorama sans transition visible. Plus précisément, nous travaillons sur l'amélioration de l'algorithme de construction panoramique par recalage à l'aide du flux optique présenté par Rebière et Toffa. Cette méthode de positionnement très efficace repose sur le recalage de chaque pixel, à l'aide du flux optique. Malheureusement l'algorithme de Rebière et Toffa ne gère pas les différences d'intensité qui peuvent exister entre les images. Dans ces conditions, les panoramas produits ne sont pas de qualité satisfaisante. Pour régler ce problème, nous intégrons donc la méthode de mélange multibande présentée par Brown et Lowe. Nous adaptons ainsi le mélange multibande à l'algorithme de recalage par flux optique afin de le rendre robuste aux différences d'intensité.

Cette thèse propose un algorithme de mosaïquage pour la construction d'images panoramiques des parois internes de la vessie. Le temps de construction de ces images correspondant aux parties intéressantes de la vessie doit être inférieur à la durée d'un examen clinique standard. La méthode de mosaïquage doit aussi être robuste vis-à-vis des variabilités inter-examens liées aux patients et aux instruments. Ces images panoramiques pourront être utilisées par le clinicien comme référence pour guider des examens ultérieurs, pour l'archivage des données et pour suivre l'évolution des lésions. La première étape de l'algorithme est le pré-traitement des images cystoscopiques consistant en l'atténuation des inhomogénéités d'illumination et du motif de fibres optiques visible dans les images acquises par un fibroscope. La deuxième étape est le recalage des images. La solution retenue consiste en la corrélation par les transformées de Fourier des images qui fournit des translations initiales à un algorithme itératif basé sur la différence d'intensité entre les images. Ce dernier délivre les paramètres de la transformation perspective reliant deux images successives de la séquence. Dans la troisième étape nous projetons les images dans un repère commun en utilisant des transformations globales calculées avec les résultats des recalages. Nous utilisons un moyennage pondéré des intensités des pixels pour atténuer les bords visibles lors de la projection. Les résultats quantitatifs obtenus avec un fantôme et des résultats qualitatifs calculés pour des séquences réelles montrent que notre approche automatique de mosaïquage est robuste et rapide (temps compatible avec la durée d'un examen cystoscopique clinique). Nos tests ont également prouvé que l'algorithme de recalage fonctionne pour des transformations géométriques plus grandes que celles rencontrées typiquement entre images d'une séquence vidéo (90% de recouvrement entre images consécutives pour ces dernières) / This work describes a mosaicing algorithm for constructing panoramic images of internal walls of the bladder. Time relating to the construction of panoramic images including the interesting parts must be shorter than that required by a standard cystoscopic examination. The mosaicing algorithm must be robust against lighting conditions, morphologic and texture variations relating to instruments and patient anatomy. These panoramic images could be used by a clinician for guiding further exams, storing non-redundant data and following-up evolution of lesions. The preprocessing of cystoscopic images is the first stage of the algorithm. Preprocessing consists of shading correction and fiber optics pattern attenuation occurring in fiberscope acquired images. The second stage is image registration. The chosen solution consist of cross-correlating images (using their Fourier transforms) in order to have initial translations for an iterative registration algorithm based on the sum of squared differences of images. In the third stage, images are projected in the coordinate system of the panoramic image using global transformations computed with matrices given by the iterative registration. We use a weighted average of pixel intensities to blend visible borders of images produced in the projection process. Numerical results obtained with a phantom and qualitative results obtained with real sequences show that our automatic approach is robust and allows for a fast construction of panoramic images in a period of time that is shorter than the duration of a clinical cystoscopic examination. Our experiments showed that the registration algorithm can handle geometric transformations that are larger than those existing typically in a video-sequence (90% of superposition between successive images in this case)

Cette thèse propose un algorithme de mosaïquage pour la construction d'images panoramiques des parois internes de la vessie. Le temps de construction de ces images correspondant aux parties intéressantes de la vessie doit être inférieur à la durée d'un examen clinique standard. La méthode de mosaïquage doit aussi être robuste vis-à-vis des variabilités inter-examens liées aux patients et aux instruments. Ces images panoramiques pourront être utilisées par le clinicien comme référence pour guider des examens ultérieurs, pour l'archivage des données et pour suivre l'évolution des lésions. La première étape de l'algorithme est le pré-traitement des images cystoscopiques consistant en l'atténuation des inhomogénéités d'illumination et du motif de fibres optiques visible dans les images acquises par un fibroscope. La deuxième étape est le recalage des images. La solution retenue consiste en la corrélation par les transformées de Fourier des images qui fournit des translations initiales à un algorithme itératif basé sur la différence d'intensité entre les images. Ce dernier délivre les paramètres de la transformation perspective reliant deux images successives de la séquence. Dans la troisième étape nous projetons les images dans un repère commun en utilisant des transformations globales calculées avec les résultats des recalages. Nous utilisons un moyennage pondéré des intensités des pixels pour atténuer les bords visibles lors de la projection. Les résultats quantitatifs obtenus avec un fantôme et des résultats qualitatifs calculés pour des séquences réelles montrent que notre approche automatique de mosaïquage est robuste et rapide (temps compatible avec la durée d'un examen cystoscopique clinique). Nos tests ont également prouvé que l'algorithme de recalage fonctionne pour des transformations géométriques plus grandes que celles rencontrées typiquement entre images d'une séquence vidéo (90% de recouvrement entre images consécutives pour ces dernières).

Cette thèse se situe dans le domaine de l'auto-localisation et de la cartographie 3D des caméras RGB-D pour des robots mobiles et des systèmes autonomes avec des caméras RGB-D. Nous présentons des techniques d'alignement et de cartographie pour effectuer la localisation d'une caméra (suivi), notamment pour des caméras avec mouvements rapides ou avec faible cadence. Les domaines d'application possibles sont la réalité virtuelle et augmentée, la localisation de véhicules autonomes ou la reconstruction 3D des environnements.Nous proposons un cadre consistant et complet au problème de localisation et cartographie 3D à partir de séquences d'images RGB-D acquises par une plateforme mobile. Ce travail explore et étend le domaine d'applicabilité des approches de suivi direct dites "appearance-based". Vis-à-vis des méthodes fondées sur l'extraction de primitives, les approches directes permettent une représentation dense et plus précise de la scène mais souffrent d'un domaine de convergence plus faible nécessitant une hypothèse de petits déplacements entre images.Dans la première partie de la thèse, deux contributions sont proposées pour augmenter ce domaine de convergence. Tout d'abord une méthode d'estimation des grands déplacements est développée s'appuyant sur les propriétés géométriques des cartes de profondeurs contenues dans l'image RGB-D. Cette estimation grossière (rough estimation) peut être utilisée pour initialiser la fonction de coût minimisée dans l'approche directe. Une seconde contribution porte sur l'étude des domaines de convergence de la partie photométrique et de la partie géométrique de cette fonction de coût. Il en résulte une nouvelle fonction de coût exploitant de manière adaptative l'erreur photométrique et géométrique en se fondant sur leurs propriétés de convergence respectives.Dans la deuxième partie de la thèse, nous proposons des techniques de régularisation et de fusion pour créer des représentations précises et compactes de grands environnements. La régularisation s'appuie sur une segmentation de l'image sphérique RGB-D en patchs utilisant simultanément les informations géométriques et photométriques afin d'améliorer la précision et la stabilité de la représentation 3D de la scène. Cette segmentation est également adaptée pour la résolution non uniforme des images panoramiques. Enfin les images régularisées sont fusionnées pour créer une représentation compacte de la scène, composée de panoramas RGB-D sphériques distribués de façon optimale dans l'environnement. Ces représentations sont particulièrement adaptées aux applications de mobilité, tâches de navigation autonome et de guidage, car elles permettent un accès en temps constant avec une faible occupation de mémoire qui ne dépendent pas de la taille de l'environnement. / This thesis is in the context of self-localization and 3D mapping from RGB-D cameras for mobile robots and autonomous systems. We present image alignment and mapping techniques to perform the camera localization (tracking) notably for large camera motions or low frame rate. Possible domains of application are localization of autonomous vehicles, 3D reconstruction of environments, security or in virtual and augmented reality. We propose a consistent localization and 3D dense mapping framework considering as input a sequence of RGB-D images acquired from a mobile platform. The core of this framework explores and extends the domain of applicability of direct/dense appearance-based image registration methods. With regard to feature-based techniques, direct/dense image registration (or image alignment) techniques are more accurate and allow us a more consistent dense representation of the scene. However, these techniques have a smaller domain of convergence and rely on the assumption that the camera motion is small.In the first part of the thesis, we propose two formulations to relax this assumption. Firstly, we describe a fast pose estimation strategy to compute a rough estimate of large motions, based on the normal vectors of the scene surfaces and on the geometric properties between the RGB-D images. This rough estimation can be used as initialization to direct registration methods for refinement. Secondly, we propose a direct RGB-D camera tracking method that exploits adaptively the photometric and geometric error properties to improve the convergence of the image alignment.In the second part of the thesis, we propose techniques of regularization and fusion to create compact and accurate representations of large scale environments. The regularization is performed from a segmentation of spherical frames in piecewise patches using simultaneously the photometric and geometric information to improve the accuracy and the consistency of the scene 3D reconstruction. This segmentation is also adapted to tackle the non-uniform resolution of panoramic images. Finally, the regularized frames are combined to build a compact keyframe-based map composed of spherical RGB-D panoramas optimally distributed in the environment. These representations are helpful for autonomous navigation and guiding tasks as they allow us an access in constant time with a limited storage which does not depend on the size of the environment.