Les travaux menés dans cette thèse portent sur le dématriçage d'images intégré dans une caméra couleur mono capteur. Ce type de caméra acquiert une seule composante couleur en chaque pixel grâce à un filtre CFA (Colour Filter Array) spectralement sélectif. La procédure dite de dématriçage consiste à estimer les deux composantes couleur manquantes en chaque pixel pour obtenir une image couleur. Nous proposons donc de déterminer, parmi les méthodes de dématriçage, celles qui fournissent des images couleur les mieux adaptées à l’analyse automatique des images. Dans un premier temps, nous présentons les principes de l’acquisition d’images numériques couleur par les caméras mono capteur. Après avoir expliqué l’influence de la structure du CFA sur la performance du dématriçage, nous focalisons nos études sur le dématriçage d’image issue du CFA de Bayer. Une formalisation mathématique du dématriçage de l’image CFA en image couleur est ensuite proposée avant de présenter les nombreuses méthodes de dématriçage parues dans la littérature ainsi que les post-traitements qui corrigent les couleurs estimées par dématriçage. Puis, nous nous intéressons aux critères d'évaluation de la qualité des images estimées par dématriçage. En premier lieu, nous décrivons les différents artefacts pouvant être générés par le dématriçage ainsi que la formation de ces artefacts, ce qui permet de bien cerner les limites atteintes par les critères classiques d’évaluation de la qualité des images estimées. Nous proposons alors deux mesures originales qui quantifient la présence de chaque type d'artéfacts (fausse couleur et effet de fermeture éclair). Enfin, nous présentons de nouveaux critères basés sur l’analyse de primitives extraites des images, en mesurant la qualité des contours qui y sont détectés. / Our work deals with the quality of colour images provided by a mono-CCD colour camera, which acquires only one colour component at each pixel by means of the CFA (Colour Filter Array) which covers the CCD sensor. A procedure - called demosaicing - is necessary to estimate the other two missing colour components at each pixel, so as to obtain a colour image in this kind of cameras. We aim to determine which method of demosaicing provides the results that are best adapted to colour image analyses for the reconstruction of scene. First, we present the principles on how the mono-CCD cameras acquire digital colour images, as well as the different arrangements of CFA used in such cameras. Once the influence of the CFA arrangement on the performance of demosaicing has been presented, we focus our studies on the demosaicing methods based on the Bayer CFA. A mathematical formalization for demosaicing is proposed before we present the numerous demosaicing methods in the literature, as well as the post-processing algorithms to correct the demosaiced images. We then investigate the evaluation criteria for the quality of the colour images estimated by demosaicing. First are described the different possible artefacts generated by demosaicing and the reasons for their generation, which allow us to point out the limits of the classical measures used to evaluate the estimated images. We then propose two original measures to quantify the presence of the two main artefacts, namely false colour and zipper effect. At last, we present new criteria based on the analysis of features extracted from colour images, by measuring the quality of edge detection in the estimated images.

Les caméras multispectrales échantillonnent le spectre du visible et/ou de l'infrarouge selon des bandes spectrales étroites. Parmi les technologies disponibles, Les caméras snapshot équipées d'une mosaïque de filtres acquièrent des images brutes à cadence vidéo. Ces images brutes nécessitent un processus de dématriçage permettant d'estimer l'image multispectrale en pleine définition. Dans ce manuscrit nous examinons les méthodes de dématriçage multispectrale et proposons une nouvelle méthode basée sur l'image panchromatique. De plus, nous mettons en évidence l'influence de l'illumination sur les performances de dématriçage, puis nous proposons des étapes de normalisation rendant ce dernier robuste aux propriétés d'acquisition. Les résultats expérimentaux montrent que notre méthode fournit de meilleurs résultats que les méthodes classiques.Afin d'effectuer une analyse de texture, nous étendons les opérateurs basés sur les motifs binaires locaux aux images de texture multispectrale au détriment d'exigences de mémoire et de calcul accrues. Nous proposons alors de calculer les descripteurs de texture directement à partir d'images brutes, ce qui évite l'étape de dématriçage tout en réduisant la taille du descripteur. Afin d'évaluer la classification sur des images multispectrales, nous avons proposé la première base de données multispectrale de textures proches dans les domaines spectraux du visible et du proche infrarouge. Des expériences approfondies sur cette base montrent que le descripteur proposé a à la fois un coût de calcul réduit et un pouvoir de discrimination élevé en comparaison avec les descripteurs classiques appliqués aux images dématriçées. / Multispectral cameras sample the visible and/or the infrared spectrum according to narrow spectral bands. Available technologies include snapshot multispectral cameras equipped with filter arrays that acquire raw images at video rate. Raw images require a demosaicing procedure to estimate a multispectral image with full spatio-spectral definition. In this manuscript we review multispectral demosaicing methods and propose a new one based on the pseudo-panchromatic image. We highlight the influence of illumination on demosaicing performances, then we propose pre- and post-processing normalization steps that make demosaicing robust to acquisition properties. Experimental results show that our method provides estimated images of better objective quality than classical ones.Multispectral images can be used for texture classification. To perform texture analysis, we extend local binary pattern operators to multispectral texture images at the expense of increased memory and computation requirements. We propose to compute texture descriptors directly from raw images, which both avoids the demosaicing step and reduces the descriptor size. In order to assess classification on multispectral images we have proposed the first significant multispectral database of close-range textures in the visible and near infrared spectral domains. Extensive experiments on this database show that the proposed descriptor has both reduced computational cost and high discriminating power with regard to classical local binary pattern descriptors applied to demosaiced images.

La mise en correspondance stéréoscopique consiste à retrouver dans les images couleur gauche et droite les primitives homologues. Dans ce but, des mesures de similarité entre les pixels dans une paire d’images sont calculées. Un coût de correspondance est généralement calculé à chaque pixel de l’image gauche pour tous les décalages dans un champ prédéfini, c'est à dire pour un ensemble limité de pixels candidats dans l’image droite. Ensuite, le pixel candidat qui minimise le coût est retenu et sa position donne la disparité. Les coûts de mise en correspondance supposent que les pixels homologues ont presque les mêmes composantes couleur. Les composantes couleur sont dégradées par le dématriçage quand les images couleur ont été acquises par un caméra équipée d'un seul capteur. L'idée est de tenter une mise en correspondance directement à partir des images CFA. De cette façon, il serait possible de travailler sur des intensités de couleurs dont on est sûr. Le fait de travailler sur les images CFA soulève différents problèmes. Tout d'abord, le nombre d'informations est considérablement réduit par rapport à une image couleur idéale: nous en avons trois fois moins. Il faut donc que nous travaillions avec des outils capables de pallier cette carence. Ensuite, rien ne nous permet d'affirmer que des pixels homologues vont être codés dans des couleurs similaires dans les deux images stéréoscopiques CFA. Nous suggérons d'estimer partiellement les éléments manquants et ensuite de mettre en correspondance les pixels. Nous avons prouvé que ce dématriçage partiel donne de meilleurs résultats que le dématriçage total. / Most color stereovision setups include single-sensor cameras which provide Color Filter Array (CFA) images. In those images, a single color component is sampled at each pixel rather than the three required ones (R,G,B). We show that standard demosaicing techniques, used to determine the two missing color components, are not well adapted when the resulting color pixels are compared for estimating the disparity map. In order to avoid this problem while exploiting color information, we propose a partial demosaicing designed for dense stereovision based on pairs of Bayer CFA images. Finally, experimental results obtained with benchmark stereo image pairs show that stereo matching applied to partially demosaiced images outperforms stereo matching applied to standard demosaiced images.

Cette thèse à publications décrit plusieurs travaux en imagerie, aussi bien au niveau de l'acquisition des images que du post-traitement des images. Le premier concerne un algorithme de redimensionnement d'images dans lequel le pixel n'est pas considéré comme un point, mais comme une unité surfacique exprimée par une fonction mathématique. L'intensité d'un pixel est déterminée par interpolation à l'aide des outils du calcul intégral. Le deuxième travail concerne un autre algorithme de redimensionnement d'images dans lequel les dérivées de l'image sont mises à contribution pour augmenter le contraste et rehausser les hautes fréquences lors du processus de redimensionnement. Pour combiner l'image et ses dérivées, nous utilisons le théorème d'échantillonnage généralisé de Papoulis. Dans ce deuxième travail et dans la suite de la thèse, le pixel est considéré comme un point. Dans le troisième travail, nous proposons une équation de diffusion aux dérivées partielles afin de réduire le crénelage qui apparaît régulièrement dans de nombreux algorithmes de redimensionnement d'images. L'équation que nous proposons résulte d'un raffinement de l'équation de diffusion de la chaleur utilisée par Perona et Malik. Pour cela, nous introduisons la diffusivité inverse afin de réduire considérablement le crénelage sur les contours nets. Le rehaussement du contraste pendant le processus de diffusion se fait par l'intégration d'un filtre passe-haut, en l'occurrence le Laplacien, dans notre équation de diffusion. Un modèle de réduction efficace du crénelage sur les lignés, basé sur les valeurs propres de la matrice hessienne, est également proposé. Le quatrième travail est un algorithme de dématriçage (ou demosaïçage) permettant de reconstruire une image couleur à partir d'une image acquise par une matrice de filtres couleurs (color filter array, CFA). Sachant que dans un CFA une seule couleur primaire rouge, vert ou bleu est disponible à chaque position de pixel, nous proposons un modèle d'interpolation permettant d'estimer les couleurs manquantes à chaque position de pixel. Notre algorithme peut être utilisé pour divers modèles de CFA. Il s'inspire de l'algorithme de dématriçage universel de Lukac et al. et y apporte diverses améliorations. La première amélioration est la mise en oeuvre d'une détection de contours ou de zones uniformes dans une image acquise d'un CFA. La deuxième amélioration concerne l'utilisation complète du modèle de différence des couleurs, qui est un modèle bien connu dans les algorithmes de dématriçage. La troisième amélioration est l'utilisation d'un modèle d'interpolation spectrale permettant d'interpoler la couleur d'un pixel à l'aide de la couleur et de la position de ses voisins. Dans le cinquième et dernier travail, nous abordons une problématique liée à la qualité des images, notion importante en imagerie pour la validation des algorithmes et des modèles. Dans notre travail, nous faisons une étude analytique et expérimentale pour comparer le PSNR (Peak Signal-to-Noise Ratio) et le SSIM (Structural Similarity Index Measure), qui sont deux mesures de qualité largement utilisés en traitement d'images. L'étude analytique fait ressortir l'existence d'une relation de type logarithmique entre ces deux mesures. Les nombreux tests expérimentaux réalisés avec différentes images donnent davantage de précisions sur l'efficacité de ces deux mesures à évaluer la qualité des images ayant subi certaines dégradations ou traitements tels que la compression Jpeg, la compression Jpeg 2000, le flou gaussien ou le bruit additif gaussien.

Cette thèse est consacrée à la détection des contours à partir d'images acquises par des caméras couleur mono-capteur. Dans ces dispositifs, le capteur est recouvert d'une mosaïque de filtres chromatiques (Color Filter Array, ou CFA) et forme une image (dite <<brute>> ou CFA) qui ne comporte qu'une seule composante couleur par pixel. Une procédure de dématriçage est classiquement appliquée à cette image pour estimer les deux composantes couleur manquantes en chaque pixel et obtenir une image couleur. Cependant, les artéfacts générés par le dématriçage peuvent altérer les performances des méthodes d'analyse bas-niveau des images. Ceci nous amène à éviter le dématriçage pour la détection des contours. Dans une approche de type gradient, nous proposons d'estimer les dérivées partielles soit en calculant les dérivées partielles dans les trois plans couleur (approche vectorielle), soit en estimant une luminance adaptée à la détection des contours (approche scalaire). L'état de l'art met en évidence que l'exploitation directe de l'image brute a été peu abordée et que les approches développées dans cette thèse sont originales. Pour l'approche vectorielle, nous proposons une adaptation de l'implantation récursive du filtre de Deriche au treillis du CFA. Pour l'approche luminance, nous utilisons un filtre optimal qui lisse et dérive conjointement les données brutes. Nous évaluons les performances des méthodes développées sur une base d'images synthétiques dont la vérité terrain est connue. Nous montrons ainsi que la détection des contours à partir des données brutes peut être satisfaisante tout en étant peu coûteuse en temps de calcul. / This thesis is devoted to edge detection from the raw image acquired by single-sensor cameras. Such cameras are fitted with Bayer Color Filter Array (CFA, generally Bayer one) and deliver raw CFA image, in which each pixel is characterized by only one out of the three colour components (red, green, or blue). A demosaicing procedure is necessary to estimate the other two missing colour components at each pixel, so as to obtain a colour image. This however produces artefacts that may affect the performance of low-level processing tasks applied to such estimated images. We propose to avoid demosaicing to compute partial derivatives for edge detection. Simple differentiation kernels, Deriche filters or shifted Deriche filters can be used either in a vector or a scalar approache. The vector approach computes partial derivatives for the three channels and the scalar approach first estimates a luminance image, then computes derivatives. The partial CFA derivatives are then used to compute Di Zenzo gradient for edge detection. We assess the performance of our methods on a large dataset of synthetic images with available edge ground truth. We show that CFA-based approaches may provide as accurate edge detection results as colour vector-based ones at much reduced computation cost.

Ces dernières années, les appareils photos/vidéos numériques grand public sont devenus omniprésents. On peut aujourd'hui trouver des systèmes de captures d'images dans toutes sortes d'appareils numériques comme les téléphones portables, les assistants personnels numériques etc. Malgré une augmentation croissante de la puissance et de la complexité de ces appareils, laqualité de la chaîne de capture d'image, composée du couple système optique/capteur est toujours contrainte à des limitations d'espace et de coût. Les défauts introduits sont nombreuxet dégradent considérablement la qualité des images produites : flou, déformations géométriques, artefacts de couleurs, effets de moire, bruits statiques et dynamiques, etc. Une idée intéressante est de corriger ces défauts de manière algorithmique en utilisant la puissance toujours croissante des architectures de traitements. Dans cette thèse nous nous intéressons particulièrement à deux problèmes issues de l'acquisition de l'image par le capteur : le dématriçage de la matrice de Bayer et la réduction du bruit. Dans la première partie, nous décrivons la structure générale de la chaîne de capture d'image dans les appareils photos/vidéos numériques. Nous présentons le rôle, le fonctionnement et les défauts introduits par chacun de ses éléments. Enfin, nous illustrons comment ces défauts peuvent être corriges par des traitements algorithmiques. Dans la deuxième partie, nous montrons comment l'information de couleur est introduite dans les capteurs numériques. Nous présentons ensuite un état de l'art des algorithmes de dématriçage. Un nouvel algorithme de reconstruction de la matrice de Bayer base sur le principe de l'interpolation directionnelle est propose. Il permet d'associer une qualité d'image produite sans artefacts avec une faible complexité de calculs. Pour mieux comprendre les comportements du bruit dans les capteurs numériques, nous énumérons ses différentes sources et leurs dépendances par rapport aux conditions de prises de vues. Apres avoir présenté l'état de l'art des méthodes de restauration des images bruitées, nous nous intéressons particulièrement aux algorithmes de débruitage à voisinage local et plus précisément au filtre bilatéral. Nous proposons un filtre bilatéral pour la mosaïque de Bayer, adaptatif en fonction de la puissance du bruit dans les images. Dans la troisième partie, nous présentons l'implémentation, l'optimisation et la simulation de l'exécution des algorithmes de dématriçage et de réduction du bruit proposes. La plateforme d'implémentation est le processeur TriMedia TM3270 de NXP semiconductors. Nous montrons que nous arrivons à traiter des images de taille 5 méga-pixels en moins de 0,5 secondes et des images de résolution VGA à une cadence supérieure à 25 images par seconde. Finalement, pour des raisons de standardisation, de rapidité d'exécution et de consommation d'énergie, nous avons conçu une architecture dédiée à l'algorithme de dématriçage propose. Cette architecture permet de multiplier par 10 la rapidité d'exécution obtenue sur le processeur TriMedia TM3270

L’avantage du train depuis sa création est sa faible résistance à l’avancement du fait du contact fer-fer de la roue sur le rail conduisant à une adhérence réduite. Cependant cette adhérence faible est aussi un inconvénient majeur : étant dépendante des conditions environnementales, elle est facilement altérée lors d’une pollution du rail (végétaux, corps gras, eau, etc.). Aujourd’hui, les mesures prises face à des situations d'adhérence dégradée impactent directement les performances du système et conduisent notamment à une perte de capacité de transport. L’objectif du projet est d’utiliser les nouvelles technologies d’imagerie spectrale pour identifier sur les rails les zones à adhérence réduite et leur cause afin d’alerter et d’adapter rapidement les comportements. La stratégie d’étude a pris en compte les trois points suivants : • Le système de détection, installé à bord de trains commerciaux, doit être indépendant du train. • La détection et l’identification ne doivent pas interagir avec la pollution pour ne pas rendre la mesure obsolète. Pour ce faire le principe d’un Contrôle Non Destructif est retenu. • La technologie d’imagerie spectrale permet de travailler à la fois dans le domaine spatial (mesure de distance, détection d’objet) et dans le domaine fréquentiel (détection et reconnaissance de matériaux par analyse de signatures spectrales). Dans le temps imparti des trois ans de thèse, nous nous sommes focalisés sur la validation du concept par des études et analyses en laboratoire, réalisables dans les locaux de SNCF Ingénierie & Projets. Les étapes clés ont été la réalisation d’un banc d’évaluation et le choix du système de vision, la création d'une bibliothèque de signatures spectrales de référence et le développement d'algorithmes classification supervisées et non supervisées des pixels. Ces travaux ont été valorisés par le dépôt d'un brevet et la publication d'articles dans des conférences IEEE. / The advantage of the train since its creation is in its low resistance to the motion, due to the contact iron-iron of the wheel on the rail leading to low adherence. However this low adherence is also a major drawback : being dependent on the environmental conditions, it is easily deteriorated when the rail is polluted (vegetation, grease, water, etc). Nowadays, strategies to face a deteriorated adherence impact the performance of the system and lead to a loss of transport capacity. The objective of the project is to use a new spectral imaging technology to identify on the rails areas with reduced adherence and their cause in order to quickly alert and adapt the train's behaviour. The study’s strategy took into account the three following points : -The detection system, installed on board of commercial trains, must be independent of the train. - The detection and identification process should not interact with pollution in order to keep the measurements unbiased. To do so, we chose a Non Destructive Control method. - Spectral imaging technology makes it possible to work with both spatial information (distance’s measurement, target detection) and spectral information (material detection and recognition by analysis of spectral signatures). In the assigned time, we focused on the validation of the concept by studies and analyses in laboratory, workable in the office at SNCF Ingénierie & Projets. The key steps were the creation of the concept's evaluation bench and the choice of a Vision system, the creation of a library containing reference spectral signatures and the development of supervised and unsupervised pixels classification. A patent describing the method and process has been filed and published.

Ces dernières années, les appareils photos/vidéos numériques grand public sont devenus omniprésents. On peut aujourd’hui trouver des systèmes de captures d’images dans toutes sortes d’appareils numériques comme les téléphones portables, les assistants personnels numériques etc. Malgré une augmentation croissante de la puissance et de la complexité de ces appareils, laqualité de la chaîne de capture d’image, composée du couple système optique/capteur est toujours contrainte à des limitations d’espace et de coût. Les défauts introduits sont nombreuxet dégradent considérablement la qualité des images produites : flou, déformations géométriques, artefacts de couleurs, effets de moire, bruits statiques et dynamiques, etc. Une idée intéressante est de corriger ces défauts de manière algorithmique en utilisant la puissance toujours croissante des architectures de traitements. Dans cette thèse nous nous intéressons particulièrement à deux problèmes issues de l’acquisition de l’image par le capteur : le dématriçage de la matrice de Bayer et la réduction du bruit. Dans la première partie, nous décrivons la structure générale de la chaîne de capture d’image dans les appareils photos/vidéos numériques. Nous présentons le rôle, le fonctionnement et les défauts introduits par chacun de ses éléments. Enfin, nous illustrons comment ces défauts peuvent être corriges par des traitements algorithmiques. Dans la deuxième partie, nous montrons comment l’information de couleur est introduite dans les capteurs numériques. Nous présentons ensuite un état de l’art des algorithmes de dématriçage. Un nouvel algorithme de reconstruction de la matrice de Bayer base sur le principe de l’interpolation directionnelle est propose. Il permet d’associer une qualité d’image produite sans artefacts avec une faible complexité de calculs. Pour mieux comprendre les comportements du bruit dans les capteurs numériques, nous énumérons ses différentes sources et leurs dépendances par rapport aux conditions de prises de vues. Apres avoir présenté l’état de l’art des méthodes de restauration des images bruitées, nous nous intéressons particulièrement aux algorithmes de débruitage à voisinage local et plus précisément au filtre bilatéral. Nous proposons un filtre bilatéral pour la mosaïque de Bayer, adaptatif en fonction de la puissance du bruit dans les images. Dans la troisième partie, nous présentons l’implémentation, l’optimisation et la simulation de l’exécution des algorithmes de dématriçage et de réduction du bruit proposes. La plateforme d’implémentation est le processeur TriMedia TM3270 de NXP semiconductors. Nous montrons que nous arrivons à traiter des images de taille 5 méga-pixels en moins de 0,5 secondes et des images de résolution VGA à une cadence supérieure à 25 images par seconde. Finalement, pour des raisons de standardisation, de rapidité d’exécution et de consommation d’énergie, nous avons conçu une architecture dédiée à l’algorithme de dématriçage propose. Cette architecture permet de multiplier par 10 la rapidité d’exécution obtenue sur le processeur TriMedia TM3270 / Digital cameras are now present everywhere. They are commonly included in portable digital devices such as mobile phones and personal digital assistants. In spite of constant improvements in terms of computing power and complexity, the digital imaging chain quality, including sensor and lenses system, is still limited by space and cost constraints. An important number of degradations are introduced by this chain that significantly decrease overall image quality : including blurring effects, geometric distortions, color artefacts, moiré effects, static and dynamic noise. Correcting these defects in an algorithmic way, using the increasing power of embedded processing architecture present in mobile phones and PDAs may appear like an interesting solution. In this thesis we are especially interested in reducing two major defects of the sensor acquisition chain : Bayer matrix demosaicing artefacts and photon noise. In the first part, we describe the general imaging chain commonly used in digital cameras and video devices. We show the function, the inner working and the defects introduced by each of its elements. Finally we exhibit possible ways to correct these defects using algorithmic solutions. In the second part, we introduce the principle of Bayer demosaicing. We present the state of the art and we propose a new method based on a directed interpolation principle. Our method yields a good image quality while retaining a low computational complexity. We then enumerate several noise sources present in imaging digital sensors and their dependencies with imaging conditions. We are particularly interested in local algorithms and more specifically in the bilateral filter. After presenting the state of the art in denoising algorithm, we propose a new adaptive bilateral filter for sensor colour mosaic denoising. In the third part, we present the implementation, the optimization and the execution simulation of the proposed demosaicing and denoising algorithms. The implementation target is the TM3270 TriMedia processor from NXP Semiconductors. We show that it is possible to process 5 megapixels images in less than 0.5 seconds and more than 25 images per second at VGA resolution. Finally, for standardization, execution speed and power consumption reasons, we describe a dedicated architecture for our proposed demosaicing algorithm. This architecture improves the execution speed by a factor of 10 compared to the TriMedia TM3270 processor