Ce mémoire de thèse traite de la mise en correspondance d'images pour des applications de vision stéréoscopique ou de stabilisation d'images de caméras vidéo. les méthodes de mise en correspondance reposent généralement sur l'utilisation de points d'intérêts dans les images, c'est-à-dire de points qui présentent de fortes discontinuités d'intensité lumineuse. Nous présentons tout d'abord un nouveau descripteur de points d'intérêt, obtenu au moyen d'un filtre anisotropique rotatif qui délivre en chaque point d'intérêt une signature mono-dimensionnelle basée sur un gradient d'intensité. Invariant à la rotationpar construction, ce descripteur possède de trés bonnes propriétés de robustesse et de discrimination. Nous proposons ensuite une nouvelle méthode d'appariement invariante aux transformations euclidiennes et affines. Cette méthode exploite la corrélation des signatures sous l'hypothèse de faibles déformations, et définit une mesure de distance nécessaire à l'appariement de points. Les résultats obtenus sur des images difficiles laissent envisager des prolongements prometteurs de cette méthode. / This thesis adresses the issue of image matching for stereoscopic vison applications and image stabilization of video cameras. Methods of mapping are generally based on the use of interest points in the images, i.e. of points which have strong discontinuities in light intensity. We first present a new descriptor of points of interest, obtained by means of an anisotropic rotary filter which delivers at each point of interest a one-dimensional signature based on an intensity gradient. Invariant to rotation by construction, thisdescriptor has very good properties of robustness and discrimination. We then propose a new matching method invariant to Euclidean and affine transformations. This method exploits the correlation of the signatures subject to moderate warping, and defines a distance measure, necesssary for the matching of points. the results obtained on difficult images augur promising extentions to this method.

Les travaux de thèse présentés dans ce mémoire ont pour objectif la conception et l'évaluation d'un système de vision 3D constitué de deux capteurs catadioptriques positionnés verticalement. Afin d'obtenir un modèle 3D, l'étalonnage des capteurs, c'est-à-dire l'estimation des relations entre l'espace 3D et le plan image, est un préalable indispensable. Une méthode, qualifiée de paramétrique a tout d'abord été implémentée. Elle utilise un modèle ad hoc et une mire 3D de forme cylindrique dont les points d'intérêt sont des diodes électroluminescentes. Cette méthode formule l'hypothèse d'un centre de projection unique qui peut s'avérer difficile à mettre oeuvre en pra- tique. Nous proposons donc une méthode non-paramétrique qui permet de s'affranchire des contraintes liées aux modèles. Les relations entre l'espace 3D et le plan image sont alors définies pour un nombre fini de points et des algorithmes d'interpolation numérique permettent d'approximer les fonctions de projection et rétro-projection pour tous les couples points 3D-points 2D. Nous proposons ensuite l'implémentation et l'évaluation d'une méthode de reconstruction 3D volumétrique qui modélise la scène sous forme d'un tableau 3D dont chaque cellule est un voxel. Une mesure de similarité colorimétrique des projections du voxel dans chaqu'une des images permet de statuer quant à l'appartenance du voxel à un objet de la scène. Cette méthode est évaluée pour une reconstruction statique de la scène 3D, c'est-à-dire pour une acquisition d'images simultanée. Puis cette méthode est étudiée pour des déplacements du capteur. Il s'agit d'une reconstruction dynamique définie comme l'intersection des reconstructions statiques réalisées à des instants successifs.

Description d'un système de vision stéréoscopique. Le but est de mettre en correspondance deux images d'une même scène acquises de deux points de vue différents et de reconstituer ensuite la structure tridimensionnelle de la scène. Des segments de droite sont extraits de l'image de gauche et de l'image de droite. Ces segments sont groupes convenablement afin de former des structures locales 2d. Sur la base de ces groupements, chaque image est décrite par un graphe relationnel ou les nœuds représentent les segments et les arcs représentent des relations structurelles entre les segments. La mise en correspondance des deux descriptions monoculaires obtenues est réalisée en trouvant des structures similaires entre les deux descriptions, ce qui est équivalent a la recherche d'un isomorphisme

L'émergence d'une robotique médicale en chirurgie laparoscopique destinée à automatiser et améliorer la précision des interventions nécessite la mise en Suvre d'outils et capteurs miniaturisés intelligents dont la vision 3D temps réel est un des enjeux. Bien que les systèmes de vision 3D actuels représentent un intérêt certain pour des manipulations chirurgicales endoscopiques précises, ils ont l'inconvénient de donner une image 3D qualitative plutôt que quantitative, laquelle nécessite un appareillage spécifique rendant l'acte chirurgical inconfortable et empêche le couplage avec un calculateur dans le cadre d'une chirurgie assistée. Nous avons développé dans la cadre du projet interne « PICASO » (Plate-forme d'Intégration de CAméras multiSenOrielles) dont les enjeux scientifiques concernent le conditionnement de capteurs intégrés et le traitement et la fusion d'images multi spectrales, un dispositif de vision 3D compatible avec les temps d'exécution des actes chirurgicaux. Ce système est basé sur le principe de la stéréoscopie humaine et met en Suvre des algorithmes de stéréovision passive dense issus de la robotique mobile. Dans cette thèse nous présentons des architectures massivement parallèles, implémentées dans un circuit FPGA, et capables de fournir des images de disparité à la cadence de 130 trames/sec à partir d'images de résolution 640x480 pixels. L'algorithme utilisé est basé sur la corrélation Census avec une fenêtre de calcul de 7 x 7 pixels. Celui-ci a été choisi pour ses performances en regard de sa simplicité de mise en Suvre et la possibilité de paralléliser la plupart des calculs. L'objectif principal de cet algorithme est de rechercher, pour chaque point, la correspondance entre deux images d'entrées (droite et gauche) prises de deux angles de vue différents afin d'obtenir une "carte de disparités" à partir de laquelle il est possible de reconstruire la scène 3D. Pour mettre en Suvre cet algorithme et tenir les contraintes « temps réel » nous avons développé des architectures en « pipeline » (calcul des moyennes, transformation Census, recherche des points stéréo-correspondants, vérification droite-gauche, filtrage...). L'essentiel des différentes parties qui composent l'architecture est décrit en langage VHDL synthétisable. Enfin nous nous sommes intéressés à la consommation en termes de ressources FPGA (mémoires, macro-cellules) en fonction des performances souhaitées.

La complexité croissante de l'environnement routier et le souci d'amélioration de la sécurité routière expliquent un nombre important de travaux sur l'aide à la conduite. De nombreux systèmes (ultrasons, laser, radar, ...) ont déjà été mis en oeuvre pour percevoir l'environnement autour d'un véhicule. Tous se heurtent à la diversité des scènes observées, que ce soit en milieu urbain ou routier. Il est donc nécessaire d'exploiter des capteurs qui donnent une information riche pouvant être analysée dans plusieurs fonctions et quelle que soit la configuration. La vision semble tout à fait adéquate ; elle est d'ailleurs une source sensorielle capitale dans la prise de décision chez l'humain. Les méthodes décrites dans cette thèse consistent donc à proposer un système complet et autonome de stéréovision passive pour la détection d'obstacles sur un véhicule, dit intelligent, évoluant en milieu urbain ou routier. La problématique majeure relative à l'exploitation d'un banc de stéréovision sur un robot ou un véhicule concerne la qualité du calibrage qui tend à varier au cours du temps. Un tel système n'est en effet viable que si les paramètres qui décrivent la géométrie du capteur peuvent être correctement estimés, y compris en présence de chocs et vibrations. Nous présentons donc d'abord une méthode de recalibrage en ligne d'un système initialement calibré, consistant en une correction dynamique de ses paramètres. Affranchi des problèmes de calibrage, le deuxième problème abordé est la détection d'obstacles en milieu routier. Les méthodes décrites dans ce document proposent une construction du profil longitudinal de la route afin d'en extraire un modèle d'obstacle tenant compte des variations de pente et du dévers et/ou roulis. Notre approche exploite les données 3D fournies par la stéréo-vision. La dernière application concerne un système de perception pour l'aide au parking; nous présentons une méthode générique de con struction incrémentale d'un modèle 3D de l'espace libre. Cette méthode suppose que le déplacement du véhicule est estimé avec une bonne précision. Le modèle est alors analysé pour détecter et caractériser une place de parking; le but est d'alimenter un planificateur de mouvement permettant la réalisation automatique de la manoeuvre. Toutes les méthodes ont été intégrées dans l'environnement RT-MAPS, et ont été validées soit en ligne sur le démonstrateur du LAAS, soit sur des séquences d'images acquises sur des véhicules.

Les travaux présentés dans cette thèse concernent la reconstruction tridimensionnelle de l'environnement d'un robot mobile, à partir d'informations de vision omnidirectionnelle, pour la préparation d'interventions. Nous nous intéressons dans un premier temps à la conception d'une architecture matérielle adaptée aux problématiques de la reconstruction 3D et de la navigation autonome. Le calibrage d'un système de vision est une étape indispensable dès lors que celui-ci est destiné à effectuer des mesures sur son environnement. Cette phase consiste à modéliser le système pour établir la relation mathématique liant les points 3D et leurs projections dans les images. Après une discussion sur le choix du modèle, nous présentons une méthodologie pour estimer les paramètres du modèle retenu. La structure stéréoscopique du capteur que nous avons développé rend possible la reconstruction tridimensionnelle de l'environnement sans déplacement. Nous proposons donc des algorithmes permettant la reconstruction dense de l'environnement, ainsi que des algorithmes de détection de primitives dans les images omnidirectionnelles. Lorsque le capteur est en mouvement, nous exploitons ses déplacements pour enrichir le modèle 3D. Notre principale contribution porte sur le développement d'un algorithme d'ajustement de faisceaux pour les capteurs stéréoscopiques omnidirectionnels qui permet d'obtenir une estimation des déplacements en ne nécessitant que des données visuelles.

En stéréovision, une carte dense des disparités peut être déterminée grâce à des méthodes locales exploitant la mise en correspondance des contenus de voisinages bidimensionnels. Toutefois, dans le contexte d'une application de métrologie 3D, il n'est pas nécessaire que la carte soit dense, mais elle doit être très précise. Par ailleurs, en présence d'un fort eet de perspective, d'importantes variations locales de la disparit é apparaissent et les méthodes locales exploitant des fenêtres 2D ne garantissent plus une précision susante. Dans ce travail, nous proposons une méthode générique de mise en correspondance qui exploite des caractéristiques extraites d'un ensemble de courbes de similarité calculées sur des fenêtres 1D. Nous établissons une notion de conance reliant directement la précision à la densité de la carte des disparités obtenue, entre lesquelles il est alors possible de xer un compromis. La méthode générique proposée est évaluée en comparant ses résultats à ceux obtenus par six autres méthodes locales similaires. Nous montrons ainsi son ecacité, tout particulièrement quand la scène contient un plan fortement incliné. Nous testons nalement notre méthode dans le cadre d'une application de détection d'obstacles à l'avant d'un véhicule routier. Nous montrons qu'en segmentant notre carte des disparités par un procédé assez simple, la détection des obstacles est possible et surtout plus précise qu'avec des cartes des disparités calculées sur des voisinages 2D. Le comportement de la méthode 1D face à diérents défauts de texture ou de calibration est étudié à la fois sur des images de synthèse et des images réelles.

La synthèse d'images a pour but de calculer des vues aussi réalistes que possible d'une scène tridimensionnelle définie par un modèle géométrique. Cette modélisation est effectuée manuellement, et pour synthétiser de façon réaliste une scène complexe, telle qu'un paysage, cette étape fastidieuse peut demander plusieurs hommes-mois. Nous proposons d'automatiser cette tâche. En effet, quelques photographies du paysage suffisent à modéliser entièrement ses informations géométriques et photométriques : structure 3D, couleurs et textures. Aussi, en appliquant des techniques d'analyse d'images et de vision par ordinateur, nous pouvons générer automatiquement une représentation tridimensionnelle de la scène, et la visualiser sous d'autres points de vue. Les algorithmes appropriés sont évalués et spécialement adaptés à notre problème. Des tests quantitatifs détaillés sont menés sur des données synthétiques et réelles, et la qualité finale des images produites est évaluée numériquement.

Comprendre, analyser et modéliser l'environment 3D à partir d'images provenant de caméras et d'appareils photos est l'un des défis majeurs actuel de recherche en vision par ordinateur. Cette thèse s'interesse à plusieurs aspects géométriques et photometriques liés à la reconstruction de surface à partir de plusieurs caméras calibrées. La reconstruction 3D est vue comme un problème de rendu inverse, et vise à minimiser une fonctionnelle d'énergie afin d'optimiser un maillage triangulaire représentant la surface à reconstruire. L'énergie est définie via un modèle génératif faisant naturellement apparaître des attributs tels que la visibilité ou la photométrie. Ainsi, l'approche présentée peut indifférement s'adapter à divers cas d'application tels que la stéréovision multi-vues, la stéréo photométrique multi-vues ou encore le "shape from shading" multi-vues. Plusieurs approches sont proposées afin de résoudre les problèmes de correspondances de l'apparence pour des scènes non Lambertiennes, dont l'apparence varie en fonction du point de vue. La segmentation, la stéréo photométrique ou encore la réciprocité d'Helmholtz sont des éléments étudiés afin de contraindre la reconstruction. L'exploitation de ces contraintes dans le cadre de reconstruction multi-vues permet de reconstruire des modèles complets 3D avec une meilleure qualité.

Ce mémoire de thèse traite de la mise en correspondance d'images pour des applications de vision stéréoscopique ou de stabilisation d'images de caméras vidéo. Les méthodes de mise en correspondance reposent généralement sur l'utilisation de points d'intérêt dans les images, c'est-à-dire de points qui présentent de fortes discontinuités d'intensité lumineuse. Nous présentons tout d'abord un nouveau descripteur de points d'intérêt, obtenu au moyen d'un fi ltre anisotropique rotatif qui délivre en chaque point d'intérêt une signature mono-dimensionnelle basée sur un gradient d'intensité. Invariant à la rotation par construction, ce descripteur possède de très bonnes propriétés de robustesse et de discrimination. Nous proposons ensuite une nouvelle méthode d'appariement invariante aux transformations euclidiennes et affines. Cette méthode exploite la corrélation des signatures sous l'hypothèse de faibles déformations, et dé finit une mesure de distance nécessaire à l'appariement de points. Les résultats obtenus sur des images difficiles laissent envisager des prolongements prometteurs à cette méthode.