A stereo vision system is a robust method to sense the distance information in a scene. This research explores the stereo vision system from the fundamentals of stereo vision and the computer stereo vision algorithm to the final implementation of the system on a FPGA chip. In a stereo vision system, images are captured by a pair of stereo image sensors. The distance information can be derived from the disparities between the stereo image pair, based on the theory of binocular geometry. With the increasing focus on 3D vision, stereo vision is becoming a hot topic in the areas of computer games, robot vision and medical applications. Particularly, most stereo vision systems are expected to be used in real-time applications. In this thesis, several stereo correspondence algorithms that determine the disparities between stereo image pair are examined. The algorithms can be categorized into global stereo algorithms and local stereo algorithms depending on the optimization techniques. The global algorithms examined are the Dynamic Time Warp (DTW) algorithm and the DTW with quantization algorithm, while the local algorithms examined are the window based Sum of Squared Differences (SSD), Sum of Absolute Differences (SAD) and Census transform correlation algorithms. With analysis among them, the window based SAD correlation algorithm is proposed for implementation on a FPGA platform. The proposed algorithm is implemented onto an Altera DE2 board featuring an Altera Cyclone II 2C35 FPGA. The implemented module of the algorithm is simulated using ModelSim-Altera to verify the correctness of its functionality. Along with a pair of stere image sensors and a LCD monitor, a stereo vision system is built. The entire system realizes a real-time video frame rate of 16.83 frames per second with an image resolution of 640 by 480 and produces disparity maps in which the objects are clearly distinguished by their relative distance information.

In this thesis, a novel and fast method to compute the dense disparity map of a stereo pair of images is presented. Most of the current stereo matching algorithms are ill suited for real-time matching owing to their time complexity. Methods that concentrate on providing a real-time performance, sacrifice much in accuracy. The presented method, Fast Estimation of Dense Disparity Map Using Pivot Points (FEDDUP), uses a hierarchical approach towards reduction of search space to find the correspondences. The hierarchy starts with a set of points and then it moves on to a mesh with which the edge pixels are matched. This results in a semi-global disparity map. The semi global disparity map is then used as a soft constraint to find the correspondences of the remaining points. This process delivers good real-time performance with promising accuracy.

En vision industrielle, de nombreuses applications de mesure et de contrôle qualité évoluent vers des problématiques tri-dimensionnelles. Les systèmes de stéréovision sont des solutions technologiques qui attirent les industriels par leur simplicité mécanique. Deux caméras statiques disposées à des endroits stratégiques peut s'avérer suffisantes pour répondre à cette problématique bien que les contraintes industrielles imposent de respecter des temps de traitement courts et des mesures précises. La diversité des applications nous amènent à envisager deux approches afin de répondre à deux types d'application. La première technique consiste en la reconstruction 3D à partir de paires de points images qui se correspondent dans les deux images. Elle est destinée à répondre à la problématique de mesure 3D. Les méthodes de calibration monoculaire et de calcul 3D par triangulation sont la base de la reconstruction 3D. Nous étudions la précision de mesure et son évolution selon la pose du système de capture par rapport à la scène observée. La seconde technique consiste à construire des images de disparité afin de répondre à des problématiques de construction de profil et d'analyse de défaut. La contrainte d'alignement des caméras, nécessaire pour accélérer le processus de mise en correspondance, implique d'utiliser des méthodes de calibration stéréoscopique et de rectification des images. Nous étudions l'impact de l'alignement sur la qualité de la rectification. La production de carte dense de disparité se base sur les techniques de stéréo-corrélation. Nous montrons les limites de l'utilisation d'un noyau de corrélation carré et proposons une alternative par production de deux cartes denses de disparité à partir de deux noyaux mono-directionnels, améliorant la mesure de disparité sur les zones de contours et d'occultations. / In industrial vision, many applications for measuring and quality control are moving to three-dimensional problems. Stereovision systems are technological solutions that attract industry by their mechanical simplicity. Two static cameras placed at strategic locations may be sufficient to address this problem although the industrial constraints imposed to respect a short processing time and precise measurements. The diversity of applications lead us to consider two approaches to resolve the two types of application. The first technique consists in the 3D reconstruction from pairs of image points which correspond in both images. It is intended to address the problem of 3D measurement. The methods of monocular calibration and 3D triangulation are the basis of 3D reconstruction. We study the accuracy and its evolution according to the capture system pose compared to the observed scene. The second technique is to construct disparity maps to address problems of building profile and default analysis. The alignment constraint of cameras needed to accelerate the process of matching involves the use of methods of stereoscopic calibration and image rectification. We study the impact of alignment on the quality of the rectification. The production of dense disparity map is based on the stereo-correlation techniques. We show the limits of the use of a squared correlation kernel and propose an alternative production of two dense disparity maps from two mono-directional kernels, improving the measurement of disparity around edges and occlusions.

La stéréovision est depuis longtemps étudiée dans le domaine de la vision par ordinateur et a connu dernièrement un regain d'intérêt. Dans le domaine du divertissement un nombre important de films sont maintenant disponibles en version relief. Ma thèse prend place dans ce contexte, dans le cadre d'une convention CIFRE entre le LITIS et l'entreprise StereoLabs dont le cœur de métier est le développement de logiciels d'aides à la production de films stéréoscopiques. Je présente ainsi mes travaux sur le filtrage de cartes de disparités, l'estimation en temps réel ne permet pas d'utiliser les approches les plus performantes, cela conduisant à des résultats bruités et/ou erronés. Je propose alors une méthode de filtrage adaptée à cette contrainte de temps. Mes travaux ont également mis en évidence la problématique du paramétrage de l'algorithme de calcul de carte de disparités. Le nombre élevé de paramètres et la diversité des images nous ont conduit à chercher une méthode automatique pour la détermination des valeurs de ces paramètres. Je propose ainsi une méthode d'optimisation des paramètres de l'algorithme, l'objectif étant de trouver les valeurs qui conduisent aux cartes de disparités les plus fiables. Mes travaux concernent également la partie production de contenus S3D, j'ai développé différentes applications liées à l'utilisation de l'information de disparité. Je propose ainsi une méthode de gestion automatique du relief afin de garantir le confort visuel du spectateur. De plus l'information de disparité est utilisée pour une application de correction chromatique des images pour assurer une concordance des couleurs entre les deux images. / Stereo Vision has been studied for a long time in the field of computer vision and became trendy in the past few years. In the field of entertainment a large amount of movies are now released in relief version. My thesis take place in this context, as a part of an agreement between the LITIS and the StereoLabs company, which develop 3D productions' assistant software. So, here I present my work on disparity map filtering, real time computing constraint don't allow to use strong algorithms which lead to noisy or/and erroneous results. In this case I propose a filtering method dedicated to this computational time constraint. My works also pointed out the problematic of assigning the value for the parameters of our disparity map estimation algorithm. The numerous parameters and images diversity lead to look for an automated approach to assign the parameters values. I propose an approach based on an optimization algorithm, the goal is to find the parameters values which lead to reliable disparity map. My work also deal with the stereoscopic contents production, I have developed different applications based on the usage of the disparity information. I proposed an automated method to handle the stereoscopic volume to warrant the visual comfort of the viewer. I also use the disparity information in a color correction application designed to ensure the color constancy across the two stereoscopics images.