Cette thèse se situe dans le cadre de la vision par ordinateur et concerne plus précisément l'étape de mise en correspondance de pixels en stéréovision binoculaire. Cette étape consiste à retrouver les pixels homologues dans deux images d'une même scène, prises de deux points de vue différents. Une des manières de réaliser la mise en correspondance est de faire appel à des mesures de corrélation. Les algorithmes utilisés se heurtent alors aux difficultés suivantes : les changements de luminosité, les bruits, les raccourcissements, les zones peu texturées et les occultations. Les travaux qui ont été réalisés sont une étude sur les méthodes à base de corrélation, en prenant en compte le problème des occultations et l'utilisation d'images couleur.<br /><br />Dans un premier chapitre, nous établissons un état de l'art des méthodes de mise en correspondance de pixels. Nous donnons un modèle générique des méthodes s'appuyant sur la définition d'éléments constituants. Nous distinguons alors quatre catégories de méthodes : les méthodes locales, les méthodes globales, les méthodes mixtes et les méthodes à multiples passages. <br /><br />Le second chapitre aborde le problème de l'évaluation des méthodes de mise en correspondance de pixels. Après avoir donné un état de l'art des protocoles existants, nous proposons un protocole d'évaluation et de comparaison qui prend en compte des images avec vérité terrain et qui distingue différentes zones d'occultations. <br /><br />Dans le troisième chapitre, nous proposons une taxonomie des mesures de corrélation regroupées en cinq familles : les mesures de corrélation croisée, les mesures utilisant des outils de statistiques classiques, les mesures utilisant les dérivées des images, les mesures s'appuyant sur des outils des statistiques non paramétriques et les mesures exploitant des outils des statistiques robustes. Parmi cette dernière famille, nous proposons dix-sept mesures. Les résultats obtenus avec notre protocole montrent que ces mesures obtiennent les meilleurs résultats dans les zones d'occultations. <br /><br />Le quatrième chapitre concerne la généralisation à la couleur des méthodes de mise en correspondance à base de corrélation. Après avoir présenté les systèmes de représentation de la couleur que nous testons, nous abordons la généralisation des méthodes à base de corrélation en passant par l'adaptation des mesures de corrélation à la couleur. Nous proposons trois méthodes différentes : fusion des résultats sur chaque composante, utilisation d'une analyse en composante principale et utilisation d'une mesure de corrélation couleur. Les résultats obtenus avec notre protocole mettent en évidence la meilleure méthode qui consiste à fusionner les scores de corrélation. <br /><br />Dans le dernier chapitre, pour prendre en compte les occultations, nous proposons des méthodes hybrides qui s'appuient sur l'utilisation de deux mesures de corrélation : une mesure classique dans les zones sans occultation et une mesure robuste dans les zones d'occultations. Nous distinguons quatre types de méthodes à base de détection de contours, de corrélation pondérée, de post-détection des occultations et de fusion de cartes de disparités. Les résultats obtenus avec notre protocole montrent que la méthode la plus performante consiste à fusionner deux cartes de disparités.

L'objectif majeur de ce travail de thèse était de proposer et d'analyser de nouveaux schémas de codage d'images stéréoscopiques. Ces schémas permettent d'assurer la reconstruction progressive avec la possibilité de restitution exacte de la paire d'images. Dans une première partie, nous avons proposé de nouveaux schémas de codage conjoint de la paire d'images stéréo reposant sur le concept du lifting vectoriel. En ce sens, contrairement aux méthodes classiques, la méthode proposée ne génère aucune image résiduelle mais deux représentations multirésolutions compactes de l'image gauche et l'image droite. De plus, nous avons proposé d'intégrer une méthode récente d'estimation de disparité dans des applications de codage d'images stéréoscopiques. Puis, dans une deuxième partie, nous nous sommes intéressés aux schémas de lifting 2D non séparables tout en nous focalisant sur les aspects d'optimisation des différents filtres mis en jeu. La structure de lifting 2D considérée est composée de trois étapes de prédiction suivies par une étape de mise à jour. Plus précisément, nous avons proposé et analysé une nouvelle méthode pour la conception du filtre de mise à jour. Concernant les filtres de prédiction, nous avons développé de nouveaux critères parcimonieux de types L1.

La lutte contre le cancer a vu l'émergence de nouvelles technologies permettant d'améliorer le soin aux patients. Parmi celles-ci, la thermo-ablation par laser est une des techniques de destruction in situ des tumeurs les plus récentes. Elle consiste à plonger la fibre optique au cœur d'une tumeur en insérant un guide au travers de la peau. La diode laser émettrice de lumière permet ensuite de brûler localement la tumeur sans abord chirurgical, le patient pourra ainsi quitter plus rapidement l'hôpital. Les énormes avantages de cette thérapie sont cependant limités par la difficulté du geste à réaliser. Pour se guider durant les différentes étapes, le chirurgien pourra utiliser l'imagerie par résonance magnétique.<br />L'objectif de cette thèse, qui bénéficie du soutien de la Région Nord Pas de Calais et du CHRU de Lille de 2005 à 2007, est de fournir des outils pour l'assistance par IRM de la thermo-ablation par laser. Les différents développements offriront ainsi non seulement un outil de préparation à cet acte complexe (visualisation en trois dimensions des tumeurs du patient, calcul de la trajectoire optimale pour éviter la perforation de structures anatomiques vitales ...) mais également des outils d'assistance per-opératoire (positionnement du guide assisté par la stéréovision sur les premiers centimètres, évaluation des dommages thermiques de la zone traitée...).<br />Lors de cette première phase, nous nous sommes concentrés sur les tumeurs hépatiques, qui demeurent une réelle difficulté, tout en proposant un système pouvant être adapté à toute tumeur abdominale.

Comprendre, analyser et modéliser l'environment 3D à partir d'images provenant de caméras et d'appareils photos est l'un des défis majeurs actuel de recherche en vision par ordinateur. Cette thèse s'interesse à plusieurs aspects géométriques et photometriques liés à la reconstruction de surface à partir de plusieurs caméras calibrées. La reconstruction 3D est vue comme un problème de rendu inverse, et vise à minimiser une fonctionnelle d'énergie afin d'optimiser un maillage triangulaire représentant la surface à reconstruire. L'énergie est définie via un modèle génératif faisant naturellement apparaître des attributs tels que la visibilité ou la photométrie. Ainsi, l'approche présentée peut indifférement s'adapter à divers cas d'application tels que la stéréovision multi-vues, la stéréo photométrique multi-vues ou encore le "shape from shading" multi-vues. Plusieurs approches sont proposées afin de résoudre les problèmes de correspondances de l'apparence pour des scènes non Lambertiennes, dont l'apparence varie en fonction du point de vue. La segmentation, la stéréo photométrique ou encore la réciprocité d'Helmholtz sont des éléments étudiés afin de contraindre la reconstruction. L'exploitation de ces contraintes dans le cadre de reconstruction multi-vues permet de reconstruire des modèles complets 3D avec une meilleure qualité.

Cette thèse, consacrée à la mesure endoscopique de formes tridimensionnelle, se place dans un double contexte applicatif : tout d'abord industriel, avec l'inspection endoscopique de pièces mécaniques en milieu contraint (notamment tubulaire) à des résolutions micrométriques. Le second contexte est médical avec la détection de formes tridimensionnelle lors de coloscopies pour l'aide au diagnostic. L'endoscopie souple est obtenue par l'utilisation de guides optiques, la méthode de mesure tridimensionnelle est basée sur la stéréovision active avec la génération de lumière structurée par une matrice de micro-miroirs. Après avoir établi l'état de l'art, une méthode de conception et d'évaluation optique appliquée à la stéréovision en endoscopie souple est décrite. C'est ensuite la réalisation instrumentale, son évaluation métrologique, et une méthode innovante de basculement de modes dynamique entre stéréovision active et passive qui sont détaillées. Des méthodes algorithmiques de reconstruction tridimensionnelle adaptées à ce type d'instrument sont enfin proposées. Les contributions scientifiques de cette étude sont multiples. Une méthode d'analyse optique basée sur l'utilisation de fonctions de transfert de modulation pour la conception d'un endoscope mesurant par stéréovision est proposée. Des méthodes de traitement d'image pour un étalonnage robuste malgré une défocalisation optique ainsi qu'un nouvel algorithme à décalage de phase constituent également des contributions de l'étude. L'association de ces méthodes a permis d'extraire un principe de réalisation permettant la mesure tridimensionnelle par endoscopie souple. / This thesis aims at developing a tri-dimensional measurement endoscopic device in a double context: the first one is industrial with endoscopic inspection of mechanical pieces (tubular inspection, for example) at micrometric resolution. The second context is medical with tri-dimensional shape detection during colonoscopy to help the surgeon diagnosis. In this study, flexible endoscopy is made possible by using image guides and the tri-dimensional reconstruction method is based on active stereovision where a digital micro-mirror device is used to spatially structure the incoming light. After developing the state of the art, an optical conception and evaluation method, applied to stereovision for flexible endoscopic devices is described. The instrumental realization is then detailed and metrologically evaluated. An innovative method that allows to switch dynamically between active and passive stereovision is then detailed. Finally, 3D reconstruction algorithms adapted to this endoscopic instrument are proposed. The scientific contributions of this study are multiple. Firstly, an optical analysis method based on the modulation transfer function to design an endoscopic stereovision system is proposed. An image processing method for robust calibration in a defocused optical environment and a new phase-shifting algorithm for 3D reconstruction are proposed. Finally, a realization principle for 3D measurement in flexible endoscopy was extracted from the combination of all these methods.

Cette thèse s'inscrit dans la problématique de la perception des véhicules autonomes, qui doivent notamment être capables de détecter et de positionner à tout moment les éléments fixes et mobiles de leur environnement. Les besoins sont ensuite multiples, de la détection d'obstacles à la localisation du porteur dans l'espace, et de nombreuses méthodes de la littérature s'y attellent. L'objectif de cette thèse est de reconstituer, à partir de prises de vues de stéréo-vision, une carte en trois dimensions décrivant l'environnement proche ; tout en effectuant une détection, localisation et suivi dans le temps des objets mobiles.La détection et le suivi dans le temps d'un grand nombre de points d'intérêt constitue une première étape. Après avoir effectué une comparaison exhaustive de divers détecteurs de points d'intérêt de la littérature, on propose pour réaliser le suivi de points une implémentation massivement parallélisée de l'algorithme KLT, dans une configuration redondante réalisée pendant cette thèse. Cette implémentation autorise le suivi fiable de milliers de points en temps réel, et se compare favorablement à l'état de l'art.Il s'agit ensuite d'estimer le déplacement du porteur, et de positionner ces points dans l'espace, tâche pour laquelle on propose une évolution robuste d'une procédure bien connue, dite "SVD", suivie d'un filtrage par UKF, qui nous permettent d'estimer très rapidement le mouvement propre du porteur. Les points suivis sont ensuite positionnés dans l'espace, en prenant en compte leur possible mobilité, en estimant continuellement la position la plus probable compte tenu des observations successives.La détection et le suivi des objets mobiles font l'objet d'une dernière partie, dans laquelle on propose une segmentation originale tenant compte des aspects de position et de vitesse. On exploite ainsi une des singularités de notre approche, qui conserve pour chaque point positionné un ensemble cohérent de positions dans le temps. Le filtrage et le suivi des cibles se basent finalement sur un filtre GM-PHD. / This PhD work is to be seen within the context of autonomous vehicle perception, in which the detection and localisation of elements of the surroundings in real time is an obvious requirement. Subsequent perception needs are manyfold, from localisation to obstacle detection, and are the subject of a continued research interest. The goal of this work is to build, in real time and from stereovision acquisition, a 3D map of the surroundings ; while detecting and tracking moving objects.Interest point selection and tracking on picture space are a first step, which we initiate by a thorough comparison of detectors from the literature. As regards tracking, we propose a massively parallel implementation of the standard KLT algorithm, using redundant tracking to provide reliable quality estimation. This allows us to track thousands of points in real-time, which compares favourably to the state of the art.Next step is the ego-motion estimation, along with the positioning of tracked points in 3D space. We first propose an iterative variant of the well known “SVD” process followed by UKF filtering, which allows for a very fast and reliable estimation. Then the position of every followed interest point is filtered on the fly over time, in contrast to most dense approaches from the literature.We finally propose a segmentation of moving objects in the augmented position-speed space, which is made possible by our continuous estimation of feature points position. Target tracking and filtering finally use a GM-PHD approach.

L’objectif de cette thèse de doctorat était de concevoir et développer un système permettant de caractériser les épandeurs et de prédire la répartition d’engrais au sol. Nous avons proposé deux approches basées respectivement sur l’imagerie 2D et 3D.Le système 2D a permis de déterminer les déplacements dans les images avec une très haute précision où 90% des estimations ont uniquement moins de 0,2 pixels d’erreur. Cependant cette précision n’était applicable que dans le cas d’un épandeur équipé de disques plats pour lequel la plupart des engrais est éjectée dans le plan horizontal parallèle au plan d’image de la camera. Par conséquent nous avons proposé un système d’imagerie 3D qui a permis de déterminer le mouvement 3D des engrais. Ainsi il peut être appliqué sur des épandeurs équipés de disque concave.Ce nouveau système peut : Caractériser les épandeurs dans un hall avec des conditions contrôlées ;Evaluer les effets de différents réglages des épandeurs ;Etudier le comportement des granulés et améliorer le modèle de vol balistique.Un tel système, moyennant quelques modifications, est envisagé à long terme sur un épandeur, permettant une gestion en temps réel de l’épandage et une rétroaction potentielle sur le fonctionnement de l’épandeur. [extrait du résumé] / The characterization of the fertilizer centrifugal spreading has become an important agriculture scientific issue in order to help farmers having a higher fertilization precision hence higher production efficiency. The ejected fertilizer grains are comparable to projectiles; hence, by using a ballistic flight model, predicting the spread pattern on the ground relies on an estimation of the trajectories and velocities of ejected grains. To estimate those parameters two approaches were proposed. First a two-steps zero mean normalized cross-correlation based algorithm for motion estimation was used to determine the displacement of the grains in the 2D images. The efficiency of this algorithm was evaluated by the mean of a grain images’ simulator. The results showed a high accuracy with an error of less than 0.2 pixels for 90% of the estimated velocities. However, the vertical ejection angle cannot be determined. This limits the use of the technique to spreaders equipped with flat disks where the trajectories of the grains will mostly be in a horizontal plane. This restriction was handled by the second approach. It is based on a 3D stereovision imaging system. A region based stereo matching algorithm with uniqueness and ordering constraints was introduced. It was validated using a grains’ stereo images simulator. 90% of the disparities were estimated with errors less than 2 pixels (around 1%). Moreover a 3D motion estimation algorithm was developed. It is based on an improvement of the previous 2D motion estimation algorithm combined with the estimated 3D coordinates. The efficiency of the whole system was approved via a comparison of its results and a real distribution obtained from a developed cylindrical collector.

La stéréovision est depuis longtemps étudiée dans le domaine de la vision par ordinateur et a connu dernièrement un regain d'intérêt. Dans le domaine du divertissement un nombre important de films sont maintenant disponibles en version relief. Ma thèse prend place dans ce contexte, dans le cadre d'une convention CIFRE entre le LITIS et l'entreprise StereoLabs dont le cœur de métier est le développement de logiciels d'aides à la production de films stéréoscopiques. Je présente ainsi mes travaux sur le filtrage de cartes de disparités, l'estimation en temps réel ne permet pas d'utiliser les approches les plus performantes, cela conduisant à des résultats bruités et/ou erronés. Je propose alors une méthode de filtrage adaptée à cette contrainte de temps. Mes travaux ont également mis en évidence la problématique du paramétrage de l'algorithme de calcul de carte de disparités. Le nombre élevé de paramètres et la diversité des images nous ont conduit à chercher une méthode automatique pour la détermination des valeurs de ces paramètres. Je propose ainsi une méthode d'optimisation des paramètres de l'algorithme, l'objectif étant de trouver les valeurs qui conduisent aux cartes de disparités les plus fiables. Mes travaux concernent également la partie production de contenus S3D, j'ai développé différentes applications liées à l'utilisation de l'information de disparité. Je propose ainsi une méthode de gestion automatique du relief afin de garantir le confort visuel du spectateur. De plus l'information de disparité est utilisée pour une application de correction chromatique des images pour assurer une concordance des couleurs entre les deux images. / Stereo Vision has been studied for a long time in the field of computer vision and became trendy in the past few years. In the field of entertainment a large amount of movies are now released in relief version. My thesis take place in this context, as a part of an agreement between the LITIS and the StereoLabs company, which develop 3D productions' assistant software. So, here I present my work on disparity map filtering, real time computing constraint don't allow to use strong algorithms which lead to noisy or/and erroneous results. In this case I propose a filtering method dedicated to this computational time constraint. My works also pointed out the problematic of assigning the value for the parameters of our disparity map estimation algorithm. The numerous parameters and images diversity lead to look for an automated approach to assign the parameters values. I propose an approach based on an optimization algorithm, the goal is to find the parameters values which lead to reliable disparity map. My work also deal with the stereoscopic contents production, I have developed different applications based on the usage of the disparity information. I proposed an automated method to handle the stereoscopic volume to warrant the visual comfort of the viewer. I also use the disparity information in a color correction application designed to ensure the color constancy across the two stereoscopics images.

Dans le cadre de systèmes d’aide à la conduite, nous avons contribué aux approches de stéréovision pour l’extraction de contour, la mise en correspondance des images stéréoscopiques et la détection de véhicules. L’extraction de contour réalisée est basée sur le concept declivity line que nous avons proposé. La declivity line est construite en liant des déclivités selon leur position relative et similarité d’intensité. L’extraction de contour est obtenue en filtrant les declivity lines construites basées sur leurs caractéristiques. Les résultats expérimentaux montrent que la declivity lines méthode extrait plus de l’informations utiles comparées à l’opérateur déclivité qui les a filtrées. Des points de contour sont ensuite mis en correspondance en utilisant la programmation dynamique et les caractéristiques de declivity lines pour réduire le nombre de faux appariements. Dans notre méthode de mise en correspondance, la declivity lines contribue à la reconstruction détaillée de la scène 3D. Finalement, la caractéristique symétrie des véhicules sont exploitées comme critère pour la détection de véhicule. Pour ce faire, nous étendons le concept de carte de symétrie monoculaire à la stéréovision. En conséquence, en effectuant la détection de véhicule sur la carte de disparité, une carte de symétrie (axe; largeur; disparity) est construite au lieu d’une carte de symétrie (axe; largeur). Dans notre concept, des obstacles sont examinés à différentes profondeurs pour éviter la perturbation de la scène complexe dont le concept monoculaire souffre. / In the framework of driving assistance systems, we contributed to stereo vision approaches for edge extraction, matching of stereoscopic pair of images and vehicles detection. Edge extraction is performed based on the concept of declivity line we introduced. Declivity line is constructed by connecting declivities according to their relative position and intensity similarity. Edge extraction is obtained by filtering constructed declivity lines based on their characteristics. Experimental results show that declivity line method extracts additional useful information compared to declivity operator which filtered them out. Edge points of declivity lines are then matched using dynamic programming, and characteristics of declivity line reduce the number of false matching. In our matching method, declivity line contributes to detailed reconstruction of 3D scene. Finally, symmetrical characteristic of vehicles are exploited as a criterion for their detection. To do so, we extend the monocular concept of symmetry map to stereo concept. Consequently, by performing vehicle detection on disparity map, a (axis; width; disparity) symmetry map is constructed instead of an (axis; width) symmetry map. In our stereo concept, obstacles are examined at different depths thus avoiding disturbance of complex scene from which monocular concept suffers.

Le présent manuscrit est composé de deux parties relativement indépendantes.La première partie est consacrée au problème de la stéréovision binoculaire, et plus particulièrement au traitement de l'occultation. En partant d'une analyse de ce phénomène, nous en déduisons un modèle de régularité qui inclut une contrainte convexe de visibilité. La fonctionnelle d'énergie qui en résulte est minimisée par relaxation convexe. Les zones occultées sont alors détectées grâce à la pente horizontale de la carte de disparité avant d'être densifiées.Une autre méthode gérant l'occultation est la méthode des graph cuts proposée par Kolmogorov et Zabih. L'efficacité de cette méthode justifie son adaptation à deux problèmes auxiliaires rencontrés en stéréovision, qui sont la densification de cartes éparses et le raffinement subpixellique de cartes pixelliques.La seconde partie de ce manuscrit traite de manière plus générale de deux algorithmes d'optimisation convexe, pour lequels deux variantes accélérées sont proposées. Le premier est la méthode des directions alternées (ADMM). On montre qu'un léger relâchement de contraintes dans les paramètres de cette méthode permet d'obtenir un taux de convergence théorique plus intéressant.Le second est un algorithme de descentes proximales alternées, qui permet de paralléliser la résolution approchée du problème Rudin-Osher-Fatemi (ROF) de débruitage pur dans le cas des images couleurs. Une accélération de type FISTA est également proposée. / This thesis is splitted into two relatively independant parts. The first part is devoted to the binocular stereovision problem, specifically to the occlusion handling. An analysis of this phenomena leads to a regularity model which includes a convex visibility constraint. The resulting energy functional is minimized by convex relaxation. The occluded areas are then detected thanks to the horizontal slope of the disparity map and densified. Another method with occlusion handling was proposed by Kolmogorov and Zabih. Because of its efficiency, we adapted it to two auxiliary problems encountered in stereovision, namely the densification of sparse disparity maps and the subpixel refinement of pixel-accurate maps.The second part of this thesis studies two convex optimization algorithms, for which an acceleration is proposed. The first one is the Alternating Direction Method of Multipliers (ADMM). A slight relaxation in the parameter choice is shown to enhance the convergence rate. The second one is an alternating proximal descent algorithm, which allows a parallel approximate resolution of the Rudin-Osher-Fatemi (ROF) pure denoising model, in color-image case. A FISTA-like acceleration is also proposed.