Cette thèse présente une approche complète de comparaison de visages 3D qui exploite l'information de volume et sa robustesse afin de réduire l'influence néfaste de l'angle de prise de vue et de l'illumination. Deux contributions majeures charpentent ce travail: l'acquisition et la comparaison de surfaces faciales. L'acquisition par projection de lumière structurée convient à la capture de surfaces faciales. La précision en profondeur de l'ordre de 1 mm satisfait au besoin en reconnaissance. La rapidité d'acquisition et la coopération naturelle du sujet remplissent les conditions élémentaires d'une utilisation pratique. La reconnaissance des surfaces faciales a été réalisée par comparaison géométrique de profils extraits par plans parallèles. La symétrie intrinsèque des visages a permis d'optimiser la mise en correspondance des profils. L'information géométrique a été combinée avec la comparaison de niveaux de gris mesurés dans les images acquises.

Les variations de pose et d’expression constituent des limitations importantes à la reconnaissance de visages en deux dimensions. Dans cette thèse, nous proposons d’augmenter la robustesse des algorithmes de reconnaissances faciales aux changements de pose et d’expression. Pour cela, nous proposons d’utiliser un modèle 3D déformable de visage permettant d’isoler les déformations d’identité de celles relatives à l’expression. Plus précisément, étant donné une image de probe avec expression, une nouvelle vue synthétique du visage est générée avec une pose frontale et une expression neutre. Nous présentons deux méthodes de correction de l’expression. La première est basée sur une connaissance a priori dans le but de changer l’expression de l’image vers une expression neutre. La seconde méthode, conçue pour les scénarios de vérification, est basée sur le transfert de l’expression de l’image de référence vers l’image de probe. De nombreuses expérimentations ont montré une amélioration significative des performances et ainsi valider l’apport de nos méthodes. Nous proposons ensuite une extension de ces méthodes pour traiter de la problématique émergente de reconnaissance de visage à partir d’un flux vidéo. Pour finir, nous présentons différents travaux permettant d’améliorer les performances obtenues dans des cas spécifiques et ainsi améliorer les performances générales obtenues grâce à notre méthode. / Expression and pose variations are major challenges for reliable face recognition (FR) in 2D. In this thesis, we aim to endow state of the art face recognition SDKs with robustness to simultaneous facial expression variations and pose changes by using an extended 3D Morphable Model (3DMM) which isolates identity variations from those due to facial expressions. Specifically, given a probe with expression, a novel view of the face is generated where the pose is rectified and the expression neutralized. We present two methods of expression neutralization. The first one uses prior knowledge to infer the neutral expression from an input image. The second method, specifically designed for verification, is based on the transfer of the gallery face expression to the probe. Experiments using rectified and neutralized view with a standard commercial FR SDK on two 2D face databases show significant performance improvement and demonstrates the effectiveness of the proposed approach. Then, we aim to endow the state of the art FR SDKs with the capabilities to recognize faces in videos. Finally, we present different methods for improving biometric performances for specific cases.

Ce travail de thèse concerne l’analyse de surfaces faciales en 3D, ainsi que leur traitement, dans le récent cadre de la modalité de reconnaissance de visages en 3D,basé sur des techniques d’appariement. Le traitement de la surface faciale et son analyse constituent une étape importante dans les algorithmes de reconnaissance de visage en 3D. La localisation de points d’intérêt anthropométriques du visage joue par ailleurs un rôle important dans les techniques de localisation du visage, de reconnaissance d’expression, de recalage, etc. Ainsi, leur localisation automatique joue un rôle crucial dans les algorithmes de traitement du visage 3D. Dans ce travail, nous avons mis l’accent sur la localisation précise et invariante en rotation des points d’intérêt, qui seront utilisés plus tard pour la reconnaissance de visages. Ces points d’intérêt sont localisés en combinant les propriétés locales de la surface faciale, exprimées en termes de géométrie différentielle, et un modèle global et générique du visage. Etant donné que la sensibilité des courbures, qui sont des propriétés de géométrie différentielle, au bruit, une des contributions de cette thèse est la modification d’une méthode de calcul de courbures. Cette modification incorpore le bruit de la surface dans la méthode de calcul, et permet de contrôler la progressivité des courbures. Par conséquent, nous pouvons localiser les points d’intérêt de la surface faciale avec précision et fiabilité (100% de bonnes localisation du bout du nez avec une erreur maximale de 8mmpar exemple) y compris en présence de rotations et de bruit. La modification de la méthode de calcul de courbure a été également testée pour différentes résolutions de visage, présentant des valeurs de courbure stables. Enfin, étant donné que donné que l’analyse de courbures mène à de nombreux candidats de points d’intérêt du visage, dont la validation est coûteuse, nous proposons de localiser les points d’intérêt grâce à une méthode d’apprentissage. Cette méthode permet de rejeter précocement des faux candidats avec une grande confiance, accélérant d’autant la localisation des points d’intérêt. La reconnaissance de visages à l’aide de modèles 3D est un sujet relativement nouveau, qui a été propose pour palier aux insuffisantes de la modalité de reconnaissance de visages en 2D. Cependant, les algorithmes de reconnaissance de visage en 3D sont généralement plus complexes. De plus, étant donné que les modèles de visage 3D décrivent la géométrie du visage, ils sont plus sensibles que les images 2Dde texture aux expressions faciales. Notre contribution est de réduire la dimensionnalité des données de départ en appariant les modèles de visage 3D au domaine 2Dà l’aide de méthodes, non rigides, d’appariement conformal. L’existence de modèles2D représentant les visages permet alors d’utiliser les techniques précédemment développées dans le domaine de la reconnaissance de visages en 2D. Dans nos travaux, nous avons utilisé les cartes conformales de visages 3D en conjonction avec l’algorithme2D2 PCA, atteignant le score de 86% en reconnaissance de rang 1 sur la base de données FRGC. L’efficacité de toutes les méthodes a été évaluée sur les bases FRGC et Bosphorus. / This Ph.D thesis work is dedicated to 3D facial surface analysis, processing as well as to the newly proposed 3D face recognition modality, which is based on mapping techniques. Facial surface processing and analysis is one of the most important steps for 3Dface recognition algorithms. Automatic anthropometric facial features localization also plays an important role for face localization, face expression recognition, face registration ect., thus its automatic localization is a crucial step for 3D face processing algorithms. In this work we focused on precise and rotation invariant landmarks localization, which are later used directly for face recognition. The landmarks are localized combining local surface properties expressed in terms of differential geometry tools and global facial generic model, used for face validation. Since curvatures, which are differential geometry properties, are sensitive to surface noise, one of the main contributions of this thesis is a modification of curvatures calculation method. The modification incorporates the surface noise into the calculation method and helps to control smoothness of the curvatures. Therefore the main facial points can be reliably and precisely localized (100% nose tip localization using 8 mm precision)under the influence of rotations and surface noise. The modification of the curvatures calculation method was also tested under different face model resolutions, resulting in stable curvature values. Finally, since curvatures analysis leads to many facial landmark candidates, the validation of which is time consuming, facial landmarks localization based on learning technique was proposed. The learning technique helps to reject incorrect landmark candidates with a high probability, thus accelerating landmarks localization. Face recognition using 3D models is a relatively new subject, which has been proposed to overcome shortcomings of 2D face recognition modality. However, 3Dface recognition algorithms are likely more complicated. Additionally, since 3D face models describe facial surface geometry, they are more sensitive to facial expression changes. Our contribution is reducing dimensionality of the input data by mapping3D facial models on to 2D domain using non-rigid, conformal mapping techniques. Having 2D images which represent facial models, all previously developed 2D face recognition algorithms can be used. In our work, conformal shape images of 3Dfacial surfaces were fed in to 2D2 PCA, achieving more than 86% recognition rate rank-one using the FRGC data set. The effectiveness of all the methods has been evaluated using the FRGC and Bosphorus datasets.

La biométrie est une technologie émergente qui propose de nouvelles méthodes de contrôle, d’identification et de sécurité. Les systèmes biométriques sont souvent victimes de menaces. La reconnaissance faciale est populaire et plusieurs approches existantes utilisent des images dans le spectre visible. Ces systèmes traditionnels opérant dans le spectre visible souffrent de plusieurs limitations dues aux changements d’éclairage, de poses et d’expressions faciales. La méthodologie présentée dans cette thèse est basée sur de la reconnaissance faciale multispectrale utilisant l'imagerie infrarouge et visible, pour améliorer la performance de la reconnaissance faciale et pallier les insuffisances du spectre visible. Les images multispectrales utilisées cette étude sont obtenues par fusion d’images visibles et infrarouges. Les différentes techniques de reconnaissance sont basées sur l’extraction de caractéristiques telles que la texture et les points d’intérêt par les techniques suivantes : une extraction hybride de caractéristiques, une extraction binaire de caractéristiques, une mesure de similarité tenant compte des caractéristiques extraites. / Biometrics is an emerging technology that proposes new methods of control, identification and security. Biometric systems are often subject to risks. Face recognition is popular and several existing approaches use images in the visible spectrum. These traditional systems operating in the visible spectrum suffer from several limitations due to changes in lighting, poses and facial expressions. The methodology presented in this thesis is based on multispectral facial recognition using infrared and visible imaging, to improve the performance of facial recognition and to overcome the deficiencies of the visible spectrum. The multispectral images used in this study are obtained by fusion of visible and infrared images. The different recognition techniques are based on features extraction such as texture and points of interest by the following techniques: a hybrid feature extraction, a binary feature extraction, a similarity measure taking into account the extracted characteristics.

Le but de l’expérience décrite dans ce mémoire est d'arriver à inculquer inconsciemment aux sujets une stratégie visuelle leur permettant d'utiliser seulement une partie spécifique de l'information visuelle disponible dans le visage humain pour en reconnaître le genre. Normalement, le genre d’un visage est reconnu au moyen de certaines régions, comme la bouche et les yeux (Dupuis-Roy, Fortin, Fiset et Gosselin, 2009). La tâche accomplie par les sujets permettait un apprentissage perceptuel implicite qui se faisait par conditionnement opérant. Ces derniers étaient informés qu'un nombre de points leur serait attribué selon leur performance à la tâche. Au terme de l’entraînement, les sujets renforcés pour l’utilisation de l’oeil gauche utilisaient davantage l’oeil gauche que l’oeil droit et ceux renforcés pour l’utilisation de l’oeil droit utilisaient davantage l’oeil droit. Nous discuterons de potentielles applications cliniques de cette procédure de conditionnement. / The goal of the following experiment is to make subjects unconsciously learn a visual strategy allowing them to use only part of the available visual information from the human face to correctly identify the gender of a face. Normally, the gender of a face is recognized using certain regions, like those of the mouth and the eyes (Dupuis-Roy, Fortin, Fiset et Gosselin, 2009). Our participants had to accomplish an operant conditionning task. They were informed that a number of points would be given to them according to their performance. At the end of training, the subjects that were encouraged to use the left eye indeed used the left eye more than the right. Also, those that were conditionned to use the right eye used the right eye more than the left. We will discuss the potential clinical applications of this method of conditionning.

Visage est l’une des meilleures biométries pour la reconnaissance de l’identité de personnes, car l’identification d’une personne par le visage est l’habitude instinctive humaine, et l’acquisition de données faciales est naturelle, non intrusive et bien acceptée par le public. Contrairement à la reconnaissance de visage par l’image 2D sur l’apparence, la reconnaissance de visage en 3D sur la forme est théoriquement plus stable et plus robuste à la variance d’éclairage, aux petits changements de pose de la tête et aux cosmétiques pour le visage. Spécifiquement, les courbures sont les plus importants attributs géométriques pour décrire la forme géométrique d’une surface. Elles sont bénéfiques à la caractérisation de la forme du visage qui permet de diminuer l’impact des variances environnementales. Cependant, les courbures traditionnelles ne sont définies que sur des surfaces lisses. Il est donc nécessaire de généraliser telles notions sur des surfaces discrètes, par exemple des visages 3D représenté par maillage triangulaire, et d’évaluer leurs performances en reconnaissance de visage 3D. En outre, même si un certain nombre d’algorithmes 3D FR avec une grande précision sont disponibles, le coût d’acquisition de telles données de haute résolution est difficilement acceptable pour les applications pratiques. Une question majeure est donc d’exploiter les algorithmes existants pour la reconnaissance de modèles à faible résolution collecté avec l’aide d’un nombre croissant de caméras consommateur de profondeur (Kinect). Le dernier problème, mais non le moindre, est la menace sur sécurité des systèmes de reconnaissance de visage 3D par les attaques de masque fabriqué. Cette thèse est consacrée à l’étude des attributs géométriques, des mesures de courbure principale, adaptées aux maillages triangulaires, et des schémas de reconnaissance de visage 3D impliquant des telles mesures de courbure principale. En plus, nous proposons aussi un schéma de vérification sur la reconnaissance de visage 3D collecté en comparant des modèles de résolutions hétérogènes équipement aux deux résolutions, et nous évaluons la performance anti-spoofing du système de RF 3D. Finalement, nous proposons une biométrie système complémentaire de reconnaissance veineuse de main basé sur la détection de vivacité et évaluons sa performance. Dans la reconnaissance de visage 3D par la forme géométrique, nous introduisons la généralisation des courbures principales conventionnelles et des directions principales aux cas des surfaces discrètes à maillage triangulaire, et présentons les concepts des mesures de courbure principale correspondants et des vecteurs de courbure principale. Utilisant ces courbures généralisées, nous élaborons deux descriptions de visage 3D et deux schémas de reconnaissance correspondent. Avec le premier descripteur de caractéristiques, appelé Local Principal Curvature Measures Pattern (LPCMP), nous générons trois images spéciales, appelée curvature faces, correspondant à trois mesures de courbure principale et encodons les curvature faces suivant la méthode de Local Binary Pattern. Il peut décrire la surface faciale de façon exhaustive par l’information de forme locale en concaténant un ensemble d’histogrammes calculés à partir de petits patchs dans les visages de courbure. Dans le deuxième système de reconnaissance de visage 3D sans enregistrement, appelée Principal Curvature Measures based meshSIFT descriptor (PCM-meshSIFT), les mesures de courbure principales sont d’abord calculées dans l’espace de l’échelle Gaussienne, et les extrèmes de la Différence de Courbure (DoC) sont définis comme les points de caractéristique. Ensuite, nous utilisons trois mesures de courbure principales et leurs vecteurs de courbure principaux correspondants pour construire trois descripteurs locaux pour chaque point caractéristique, qui sont invariants en rotation. [...] / Face is one of the best biometrics for person recognition related application, because identifying a person by face is human instinctive habit, and facial data acquisition is natural, non-intrusive, and socially well accepted. In contrast to traditional appearance-based 2D face recognition, shape-based 3D face recognition is theoretically more stable and robust to illumination variance, small head pose changes, and facial cosmetics. The curvatures are the most important geometric attributes to describe the shape of a smooth surface. They are beneficial to facial shape characterization which makes it possible to decrease the impact of environmental variances. However, exiting curvature measurements are only defined on smooth surface. It is required to generalize such notions to discrete meshed surface, e.g., 3D face scans, and to evaluate their performance in 3D face recognition. Furthermore, even though a number of 3D FR algorithms with high accuracy are available, they all require high-resolution 3D scans whose acquisition cost is too expensive to prevent them to be implemented in real-life applications. A major question is thus how to leverage the existing 3D FR algorithms and low-resolution 3D face scans which are readily available using an increasing number of depth-consumer cameras, e.g., Kinect. The last but not least problem is the security threat from spoofing attacks on 3D face recognition system. This thesis is dedicated to study the geometric attributes, principal curvature measures, suitable to triangle meshes, and the 3D face recognition schemes involving principal curvature measures. Meanwhile, based on these approaches, we propose a heterogeneous cross-resolution 3D FR scheme, evaluate the anti-spoofing performance of shape-analysis based 3D face recognition system, and design a supplementary hand-dorsa vein recognition system based on liveness detection with discriminative power. In 3D shape-based face recognition, we introduce the generalization of the conventional point-wise principal curvatures and principal directions for fitting triangle mesh case, and present the concepts of principal curvature measures and principal curvature vectors. Based on these generalized curvatures, we design two 3D face descriptions and recognition frameworks. With the first feature description, named as Local Principal Curvature Measures Pattern descriptor (LPCMP), we generate three curvature faces corresponding to three principal curvature measures, and encode the curvature faces following Local Binary Pattern method. It can comprehensively describe the local shape information of 3D facial surface by concatenating a set of histograms calculated from small patches in the encoded curvature faces. In the second registration-free feature description, named as Principal Curvature Measures based meshSIFT descriptor (PCM-meshSIFT), the principal curvature measures are firstly computed in the Gaussian scale space, and the extremum of Difference of Curvautre (DoC) is defined as keypoints. Then we employ three principal curvature measures and their corresponding principal curvature vectors to build three rotation-invariant local 3D shape descriptors for each keypoint, and adopt the sparse representation-based classifier for keypoint matching. The comprehensive experimental results based on FRGCv2 database and Bosphorus database demonstrate that our proposed 3D face recognition scheme are effective for face recognition and robust to poses and occlusions variations. Besides, the combination of the complementary shape-based information described by three principal curvature measures significantly improves the recognition ability of system. To deal with the problem towards heterogeneous cross-resolution 3D FR, we continuous to adopt the PCM-meshSIFT based feature descriptor to perform the related 3D face recognition. [...]

En raison des naturelle, non-intrusive, facilement percevable caractéristiques, et une large diffusive applicabilité pour la criminalistique et de la sécurité, reconnaissance faciale basée sur la machine a reçu beaucoup d’attention de la communauté biométrie au cours des trois dernières décennies. Par rapport à la traditionnelle reconnaissance faciale basée sur le visage 2D, la reconnaissance faciale basé sur la forme 3D est plus stable aux variations d’éclairage; petite changements de tête pose, et variant cosmétiques pour le visage. Cependant, le visage 3D numérise capturé dans des conditions non-contraintes peut conduire à des difficultés diverses, comme des déformations non rigides provoquées par la variant expressions, les données manquantes en raison de l’auto-occlusion et des occlusions externes, ainsi que des données de faible qualité en raison de certaines imperfections de la technologie de numérisation. Pour régler ces difficultés et d’améliorer les applications du monde réel, dans cette thèse, nous proposons deux approches de 3D reconnaissance faciale: l’un se concentre sur le handling de divers changements d’expression, l’autre peut reconnaître les gens à la situation de présence d’un grand les expressions facial, des occlusions et des grands pose divers. En outre, nous fournissons une surface prouvable et pratique algorithme de surface maillage pour l’amélioration de la qualité de données. Pour faire face aux problème d’expression, nous supposons que la variabilité des formes de intra-expression/inter-expression de la faciale local région différent (e. g., nez, yeux) est différent, et a donc une importance niveau différente. Sur la base de cette hypothèse, nous concevons une stratégie d’apprentissage pour découvrir l’importance de la quantification de régions faciales locales en fonction de leur énergie discriminant. Pour une description du visage, nous proposons un nouveau descripteur pour coder la microstructure du multi- canal d’information normale du visage dans multiples échelles, à savoir, Multi-Scale and Multi-Component Local Normal Patterns (MSMC-LNP). On peut globalement décrire les changements de forme locale de 3D surfaces faciales par un ensemble d’histogrammes LNP y compris les indices globaux et locaux. Pour le visage correspondant, Weighted Sparse Representation-based Classifier (W-SRC) est formulée sur la base de l’importance de la quantification appris et les histogrammes LNP. L’approche proposée est évaluée sur quatre bases de données: le FRGC v2. 0, Bosphore, BU- 3DFE et 3D -TEC, y compris les scans du visage en présence de diverses expressions et des unités d’action, ou de plusieurs expressions prototypiques avec des intensités différentes, ou des variations d’expression du visage combinée avec de fortes similitudes faciales (c.à.d. jumeaux identiques). Résultats expérimentaux étendus montrent que l’approche de reconnaissance de 3D visage proposé avec l’utilisation de descripteurs discriminants du visage peut régler les variations d’expression et d’effectuer avec assez de précision sur toutes les bases de données, et a ainsi une bonne capacité de généralisation. Pour faire face à l’expression et problème des données manquantes dans un cadre uniforme, nous proposons une approche sur le sans-enregistrement maillage-basé reconnaissance du 3D visage basé sur un nouveau local descripteur de la forme du visage et un correspondance processus d’clairsemée représentation du visage basée multi- tâche. [...] / Due to the natural, non-intrusive, easily collectible, widespread applicability, machine-based face recognition has received significant attention from the biometrics community over the past three decades. Compared with traditional appearance-based (2D) face recognition, shape-based (3D) face recognition is more stable to illumination variations, small head pose changes, and varying facial cosmetics. However, 3D face scans captured in unconstrained conditions may lead to various difficulties, such as non-rigid deformations caused by varying expressions, data missing due to self occlusions and external occlusions, as well as low-quality data as a result of some imperfections in the scanning technology. In order to deal with those difficulties and to be useful in real-world applications, in this thesis, we propose two 3D face recognition approaches: one is focusing on handling various expression changes, while the other one can recognize people in the presence of large facial expressions, occlusions and large pose various. In addition, we provide a provable and practical surface meshing algorithm for data-quality improvement. To deal with expression issue, we assume that different local facial region (e.g. nose, eyes) has different intra-expression/inter-expression shape variability, and thus has different importance. Based on this assumption, we design a learning strategy to find out the quantification importance of local facial regions in terms of their discriminating power. For facial description, we propose a novel shape descriptor by encoding the micro-structure of multi-channel facial normal information in multiple scales, namely, Multi-Scale and Multi-Component Local Normal Patterns (MSMC-LNP). It can comprehensively describe the local shape changes of 3D facial surfaces by a set of LNP histograms including both global and local cues. For face matching, Weighted Sparse Representation-based Classifier (W-SRC) is formulated based on the learned quantification importance and the LNP histograms. The proposed approach is evaluated on four databases: the FRGC v2.0, Bosphorus, BU-3DFE and 3D-TEC, including face scans in the presence of diverse expressions and action units, or several prototypical expressions with different intensities, or facial expression variations combine with strong facial similarities (i.e. identical twins). Extensive experimental results show that the proposed 3D face recognition approach with the use of discriminative facial descriptors can be able to deal with expression variations and perform quite accurately over all databases, and thereby has a good generalization ability. To deal with expression and data missing issues in an uniform framework, we propose a mesh-based registration free 3D face recognition approach based on a novel local facial shape descriptor and a multi-task sparse representation-based face matching process. [...]

Les performances des systèmes de reconnaissance des visages en utilisant des images RGB baissent rapidement quand ils sont appliqués dans des conditions d’illumination extrêmes. L’utilisation des images multispectrales représente une alternative prometteuse pour résoudre ce problème. Dans cette thèse on s’intéresse à l’utilisation des images multispectrales visibles pour la reconnaissance des visages humains. Les images multispectrales visibles sont des images capturées à des longueurs d’ondes différentes du spectre visible (band spectral) qui s’étend de 480nm à 720nm. Ces images représentent des caractéristiques qui favorisent la reconnaissance des visages humains dans des conditions particulières comme la présence d’excès d’illumination incidente sur le visage photographié. Notre travail consiste à exploiter ces caractéristiques sur des stages différentes: optimiser le choix du nombre de bandes spectrales à utiliser, optimiser les longueurs d’ondes choisies, optimiser les techniques de fusion des informations extraites à partir des différentes bandes spectrales pour avoir plus d’informations utiles et moins d’informations bruits. Plusieurs nouvelles approches ont été proposées dans le cadre de ce travail avec des résultats encourageants en termes de performances. Ces approches ont exploité plusieurs outils mathématiques pour resoudre les différents problèmes rencontrés, en particulier la formulation de la sélection des bandes spectrales optimales sous formes de problèmes d’optimisation où nous avons utilisé le « basis pursuit algorithm » pour déterminer un vecteur de poids sparse pour représenter l’importance des différentes bandes. Dans d’autres problèmes d’optimisation, nous avons attribué à chaque bande un classifieur faible, puis combiné les classifieurs faibles avec dif- férents poids associés selon l’importance. La méthode Adaboost a été utilisée pour trouver la combinaison optimale. D’autres techniques ont introduites d’une manière originale la dé- composition multilinéaire des images de visage pour formuler une sorte de base de données caractérisant les bandes spectrales. Cette base de données a été utilisée avec les nouvelles images, ou image test, pour déterminer les bandes les plus robustes contre une variation importante d’illumination. Le travail présenté dans le cadre de cette thèse est une petite contribution à la reconnaissance des visages en utilisant des images multispectrales, qui est une approche d’actualité, mais qui nécessite encore plus de développement afin de maximiser ses performances. / Face recognition systems based on ’conventional’ images have reached a significant level of maturity with some practical successes. However, their performance may degrade under poor and/or changing illumination. Multispectral imagery represents a viable alternative to conventional imaging in the search for a robust and practical identification system. Multi- spectral imaging (MI) can be defined as a ’collection of several monochrome images of the same scene, each of them taken with additional receptors sensitive to other frequencies of the visible light or to frequencies beyond the visible light like the infrared region of electro- magnetic continuum. Each image is referred to as a band or a channel. However, one weakness of MI is that they may significantly increase the system processing time because of the huge quantity of data to be mined; in some cases, hundreds of MI are taken for each subject. In this thesis, we propose to solve this problem by developing new approaches to select the set of best visible spectral bands for face matching. For this purpose, the problem of best spectral bands selection is formulated as an optimization problem where spectral bands are constrained to maximize the recognition accuracy under challenging imaging conditions. We reduce the redundancy of both spectral and spatial information without losing valuable details needed for the object recognition, discrimination and classification. We have investigated several mathematic and optimization tools widely used in the field of image processing. One of the approaches we have proposed formulated the problem of best spectral bands selection as a pursuit problem where weights of importance were affected to each spectral band and the vector of all weights was constrained to be sparse with most of its elements are zeros. In another work, we have assigned to each spectral band a linear discriminant analysis (LDA) based weak classifier. Then, all weak classifiers were boosted together using an Adaboost process. From this later, each weak classifier obtained a weight that characterizes its importance and hence the quality of the corresponding spectral band. Several other techniques were also used for best spectral bands selection including but not limited to mixture of Gaussian based modeling, multilinear sparse decomposition, image quality factors, local descriptors like SURF and HGPP, likelihood ratio and so on. These different techniques enabled to build systems for best spectral bands selection that are either static with the same bands are selected for all the subjects or dynamic with each new subject get its own set of best bands. This latter category, dynamic systems, is an original component of our work that, to the best of our knowledge, has not been proposed before; all existing systems are only static. Finally, the proposed algorithms were compared to state-of-the-art algorithms developed for face recognition purposes in general and specifically for best spectral bands selection.

La présente thèse s'intéresse à l'utilisation de méta-données textuelles pour l'analyse d'image. Nous cherchons à utiliser ces informations additionelles comme supervision faible pour l'apprentissage de modèles de reconnaissance visuelle. Nous avons observé un récent et grandissant intérêt pour les méthodes capables d'exploiter ce type de données car celles-ci peuvent potentiellement supprimer le besoin d'annotations manuelles, qui sont coûteuses en temps et en ressources. Nous concentrons nos efforts sur deux types de données visuelles associées à des informations textuelles. Tout d'abord, nous utilisons des images de dépêches qui sont accompagnées de légendes descriptives pour s'attaquer à plusieurs problèmes liés à la reconnaissance de visages. Parmi ces problèmes, la vérification de visages est la tâche consistant à décider si deux images représentent la même personne, et le nommage de visages cherche à associer les visages d'une base de données à leur noms corrects. Ensuite, nous explorons des modèles pour prédire automatiquement les labels pertinents pour des images, un problème connu sous le nom d'annotation automatique d'image. Ces modèles peuvent aussi être utilisés pour effectuer des recherches d'images à partir de mots-clés. Nous étudions enfin un scénario d'apprentissage multimodal semi-supervisé pour la catégorisation d'image. Dans ce cadre de travail, les labels sont supposés présents pour les données d'apprentissage, qu'elles soient manuellement annotées ou non, et absentes des données de test. Nos travaux se basent sur l'observation que la plupart de ces problèmes peuvent être résolus si des mesures de similarité parfaitement adaptées sont utilisées. Nous proposons donc de nouvelles approches qui combinent apprentissage de distance, modèles par plus proches voisins et méthodes par graphes pour apprendre, à partir de données visuelles et textuelles, des similarités visuelles spécifiques à chaque problème. Dans le cas des visages, nos similarités se concentrent sur l'identité des individus tandis que, pour les images, elles concernent des concepts sémantiques plus généraux. Expérimentalement, nos approches obtiennent des performances à l'état de l'art sur plusieurs bases de données complexes. Pour les deux types de données considérés, nous montrons clairement que l'apprentissage bénéficie de l'information textuelle supplémentaire résultant en l'amélioration de la performance des systèmes de reconnaissance visuelle.