La reconnaissance de visage automatique offre de nombreux avantages par rapport aux autres technologies biométriques en raison de la nature non-intrusive. Ainsi, les techniques de reconnaissance faciale ont reçu une attention croissante au sein de la communauté de vision par ordinateur au cours des trois dernières décennies. Un atout majeur de scans 3D sur l'imagerie couleur 2D est que les variations de éclairage et mise à l'échelle ont moins d'influence sur les scans 3D. Toutefois, la numérisation des données souffrent souvent du problème de données manquantes à cause de l'auto-occultation ou des imperfections des technologies de numérisation. En outre, les variations dues aux expressions faciales rendent difficile la reconnaissance automatique des visages 3D. Pour être utiles dans des applications du monde réel, les approches de reconnaissance faciale 3D devraient être en mesure de reconnaitre les surfaces faciales 3D, même dans la présence de grandes déformations dues aux expressions et des données manquantes. La plupart des recherches récentes ont été dirigés vers des techniques invariantes aux expressions faciales. Ils ont toutefois dépensé moins d'efforts pour faire face aux problème des données manquantes. Dans cet thèse, nous présentons un framework commun pour faire face aux expressions et aux données manquantes. En outre, dans le même cadre, notre framework permet de calculer des moyennes surfaces qui permettent une organization hiérarchique des bases de données de visages 3D pour permettre des recherches efficaces. Dans cette thèse, nous nous concentrons sur la tâche fondamentale de la reconnaissance faciale en 3D, fournir une analyse comparative de plusieurs approches, et offrir des solutions originales pour chacun des problèmes analysés. / Automatic face recognition has many benefits over other biometric technologies due to the natural, non-intrusive, and high throughput nature of face data acquisition. Thus, the techniques for face recognition have received a growing attention within the computer vision community over the past three decades. In terms of a modality for face imaging, a major advantage of 3D scans over 2D color imaging is that variations in illumination and scaling have less influence on the 3D scans.However, scan data often suffer from the problem of missing parts dueto self-occlusions or imperfections in scanning technologies. Additionally, variations in face data due to facial expressions are challenging to 3D face recognition. In order to be useful in real-world applications, 3D face recognition approaches should be able to successfully recognize face scans even in the presence of large expression-based deformations and missing data due to occlusions and pose variation. Most recent research has been directed towards expression-invariant techniques and spent less effort to handle the missing parts problem. Few approaches handles the missing part problem but none has performed on a full database containing real missing data, they simulate some missing parts. We present a common framework handling both large expressions and missing parts due to large pose variation. In addition, with the same framework, we are able to average surfaces and hierarchically organize databases to allow efficient searches. In presence of occlusion, we propose to delete and restore occluded parts. The surface is first represented by radial curves (emanating from the nose tip fo the 3D face). Then a base is built using PCA for each curve. Hence, the missing part of the curve can be restored by projecting the existing part of it on the base. PCA is applied on the tangent space of the mean curve as it is linear space. Once the occlusion was detected and removed, the occlusion challenge can be handled as a missing data problem. Hence, we apply the restoration framework and then apply our radial-curve-based 3D face recognition algorithm.

Au cours de la dernière décennie, la reconnaissance de visage basée sur l’imagerie infrarouge (IR) et en particulier la thermographie IR est devenue une alternative prometteuse aux approches conventionnelles utilisant l’imagerie dans le spectre visible. En effet l’imagerie (visible et infrarouge) trouvent encore des contraintes à leur application efficace dans le monde réel. Bien qu’insensibles à toute variation d’illumination dans le spectre visible, les images IR sont caractérisées par des défis spécifiques qui leur sont propres, notamment la sensibilité aux facteurs qui affectent le rayonnement thermique du visage tels que l’état émotionnel, la température ambiante, la consommation d’alcool, etc. En outre, il est plus laborieux de corriger l’expression du visage et les changements de poses dans les images IR puisque leur contenu est moins riche aux hautes fréquences spatiales ce qui représente en fait une indication importante pour le calage de tout modèle déformable. Dans cette thèse, nous décrivons une nouvelle méthode qui répond à ces défis majeurs. Concrètement, pour remédier aux changements dans les poses et expressions du visage, nous générons une image synthétique frontale du visage qui est canonique et neutre vis-à-vis de toute expression faciale à partir d’une image du visage de pose et expression faciale arbitraires. Ceci est réalisé par l’application d’une déformation affine par morceaux précédée par un calage via un modèle d’apparence active (AAM). Ainsi, une de nos publications est la première publication qui explore l’utilisation d’un AAM sur les images IR thermiques ; nous y proposons une étape de prétraitement qui rehausse la netteté des images thermiques, ce qui rend la convergence de l’AAM rapide et plus précise. Pour surmonter le problème des images IR thermiques par rapport au motif exact du rayonnement thermique du visage, nous le décrivons celui-ci par une représentation s’appuyant sur des caractéristiques anatomiques fiables. Contrairement aux approches existantes, notre représentation n’est pas binaire ; elle met plutôt l’accent sur la fiabilité des caractéristiques extraites. Cela rend la représentation proposée beaucoup plus robuste à la fois à la pose et aux changements possibles de température. L’efficacité de l’approche proposée est démontrée sur la plus grande base de données publique des vidéos IR thermiques des visages. Sur cette base d’images, notre méthode atteint des performances de reconnaissance assez bonnes et surpasse de manière significative les méthodes décrites précédemment dans la littérature. L’approche proposée a également montré de très bonnes performances sur des sous-ensembles de cette base de données que nous avons montée nous-mêmes au sein de notre laboratoire. A notre connaissance, il s’agit de l’une des bases de données les plus importantes disponibles à l’heure actuelle tout en présentant certains défis. / Over the course of the last decade, infrared (IR) and particularly thermal IR imaging based face recognition has emerged as a promising complement to conventional, visible spectrum based approaches which continue to struggle when applied in the real world. While inherently insensitive to visible spectrum illumination changes, IR images introduce specific challenges of their own, most notably sensitivity to factors which affect facial heat emission patterns, e.g., emotional state, ambient temperature, etc. In addition, facial expression and pose changes are more difficult to correct in IR images because they are less rich in high frequency details which is an important cue for fitting any deformable model. In this thesis we describe a novel method which addresses these major challenges. Specifically, to normalize for pose and facial expression changes we generate a synthetic frontal image of a face in a canonical, neutral facial expression from an image of the face in an arbitrary pose and facial expression. This is achieved by piecewise affine warping which follows active appearance model (AAM) fitting. This is the first work which explores the use of an AAM on thermal IR images; we propose a pre-processing step which enhances details in thermal images, making AAM convergence faster and more accurate. To overcome the problem of thermal IR image sensitivity to the exact pattern of facial temperature emissions we describe a representation based on reliable anatomical features. In contrast to previous approaches, our representation is not binary; rather, our method accounts for the reliability of the extracted features. This makes the proposed representation much more robust both to pose and scale changes. The effectiveness of the proposed approach is demonstrated on the largest public database of thermal IR images of faces on which it achieves satisfying recognition performance and significantly outperforms previously described methods. The proposed approach has also demonstrated satisfying performance on subsets of the largest video database of the world gathered in our laboratory which will be publicly available free of charge in future. The reader should note that due to the very nature of the feature extraction method in our system (i.e., anatomical based nature of it), we anticipate high robustness of our system to some challenging factors such as the temperature changes. However, we were not able to investigate this in depth due to the limits which exist in gathering realistic databases. Gathering the largest video database considering some challenging factors is one of the other contributions of this research.

Variable illumination intensity on unsegmented human face is one of the most challenging problems for reliable face recognition. When the illumination conditions are uncontrolled in a scene, the output of face images will become quite different. We applied a new locally adaptive contrast-invariant filter (LACIF) method in face recognition. Multiplicative and additive transformations of intensity over face images are combined by this filter. And three correlations are calculated by a nonlinear way. The correlation peaks show that LACIF is invariant under a uniform intensity transformation over the face. An extended method based on LACIF is also applied in face recognition. In this method, a linear intensity gradient across the face is considered. A set of basis face images is established. And five correlation planes are combined in a nonlinear way. Thousands of computer simulations are performed to test the face recognition capability. Results show that the discrimination is excellent. We also applied traditional and extended LACIF methods in face recognition with real-world environment. Results with actual experiments demonstrate these methods are effective and robust in real-world face objects. Face recognition is invariant under the intensity transformation. The discrimination capability is good. / Nous avons appliqué une nouvelle méthode de LACIF (locally adaptive contrast-invariant filter ) dans la reconnaissance de visage. Des transformations multiplicatives et additives des images finies de visage d'intensité sont combinées par ce filtre. Les crêtes de corrélation prouvent que LACIF est invariable sous une transformation uniforme d'intensité au-dessus du visage. Une méthode prolongée basée sur LACIF est également appliquée dans la reconnaissance de visage. Dans cette méthode, un gradient linéaire d'intensité à travers le visage est considéré. Un ensemble d'images base de visage est établi. Des milliers de simulations sur ordinateur sont effectués pour examiner les possibilités la reconnaissance de visage. Les résultats prouvent que la discrimination est excellente. Nous avons également appliqué des méthodes traditionnelles et prolongées de LACIF dans la reconnaissance de visage avec l'environnement réel. Les résultats avec des expériences réelles démontrent la reconnaissance de visage est invariable sous la transformation d'intensité.

Different studies have shown that faces seen with a direct gaze (creating eye contact) are more likely to be recognized than faces seen with a laterally deviated gaze. The present work was aimed at determining underlying processes of this gaze direction effect. More precisely, whether this effect was due to a more elaborated encoding of faces with direct gaze because of the social importance of the eye contact was tested. Results obtained showed that the gaze direction effect is a highly sensitive effect which influence on memory for faces is probably more incidental than previously hypothesized./ Différentes études ont montré que les visages vus avec un regard direct (créant un contact visuel) ont plus de chance dêtre reconnus que les visages vus avec un regard dévié latéralement. Ce travail avait pour but de déterminer la nature des processus sous-jacents à cet effet de la direction du regard. Plus précisément, nous avons testé lhypothèse dun encodage plus élaboré des visages avec un regard direct dû à la signification sociale du contact visuel. Les résultats obtenus ont montré que leffet de la direction du regard est un effet très sensible dont linfluence sur la mémoire pourrait être plus incidente que ce qui avait été proposé dans la littérature.

La reconnaissance des visages est un domaine de la vision artificielle qui connaît un intérêt grandissant depuis quelques années. Plusieurs approches intéressantes ont été développées dans le spectre visible. Les systèmes opérant dans ce spectre souffrent de plusieurs limitations dues aux changements dans l'éclairage et dans les expressions faciales. Dans ce travail, nous avons utilisé l'imagerie multispectrale, plus particulièrement l'imagerie infrarouge active et passive, pour améliorer la performance de la reconnaissance des visages et éviter les limitations imposées par le spectre visible. Les spectres infrarouges ont aussi leurs propres limitations, comme l'opacité des lunettes dans l'infrarouge thermique. Les solutions développées visent à résoudre ces problématiques. Nous avons développé des stratégies de fusion intra- et inter-spectres opérant dans l'espace des textures et utilisant des approches de réduction de dimensionnalités linéaires et non linéaires. Un nouvel opérateur de texture adaptatif et une nouvelle représentation des caractéristiques physiologiques des visages extraits de l'image thermique ont aussi été développés. Finalement, nous avons produit une base de données multispectrale appelée /.-Faces qui a été utilisée pour les tests ainsi que la base de données Equinox pour l'évaluation des algorithmes développés. Les résultats positifs des essais expérimentaux démontrent l'efficacité des algorithmes proposés pour construire un système de reconnaissance des visages plus performant.

Bien qu'ayant suscité des recherches depuis 30 ans, le problème de la reconnaissance de visages en contexte de vidéosurveillance, sachant qu'une seule image par individu est disponible pour l'enrôlement, n'est pas encore résolu. Dans ce contexte, les deux dés les plus diciles à relever consistent à développer des algorithmes robustes aux variations d'illumination et aux variations de pose. De plus, il y a aussi une contrainte forte sur la complexité en temps et en occupation mémoire des algorithmes à mettre en oeuvre dans de tels systèmes. Le travail développé dans cette thèse apporte plusieurs avancées innovantes dans ce contexte de reconnaissance faciale en vidéosurveillance. Premièrement, une méthode de normalisation des variations d'illumination visant à simuler les performances de la rétine est proposée en tant que pré-traitement des images faciales. Deuxièmement, nous proposons un nouveau descripteur appelé POEM (Patterns of Oriented Edge Magnitudes) destiné à représenter les structures locales d'une image. Ce descripteur est discriminant, robuste aux variations extérieures (variations de pose, d'illumination, d'expression, d'âge que l'on rencontre souvent avec les visages). Troisièmement, un modèle statistique de reconnaissance de visages en conditions de pose variables, centré sur une modélisation de la manière dont l'apparence du visage évolue lorsque le point de vue varie, est proposé. Enn, une nouvelle approche visant à modéliser les relations spatiales entre les composantes du visage est présentée. A l'exception de la dernière approche, tous les algorithmes proposés sont très rapides à calculer et sont donc adaptés à la contrainte de traitement temps réel des systèmes de vidéosurveillance.

Cette thèse s’inscrit dans la recherche d’images basée sur leur contenu. La recherche opère sur des images eprésentéesdans un domaine transformé et où sont construits directement les vecteurs de caractéristiques ou indices. Deux types detransformations sont explorés : la transformée en cosinus discrète ou Discrete Cosine Transform (DCT) et la transforméen ondelettes discrète ou Discrete Wavelet Transform (DWT), utilisés dans les normes de compression JPEG et JPEG2000. Basés sur les propriétés des coefficients de la transformation, différents vecteurs de caractéristiquessont proposés. Ces vecteurs sont mis en oeuvre dans la reconnaissance de visages et de textures couleur.Dans le domaine DCT, sont proposés quatre types de vecteurs de caractéristiques dénommés «patterns» : Zigzag-Pattern,Sum-Pattern, Texture-Pattern et Color-Pattern. Le premier type est l’amélioration d’une approche existante. Les trois derniers intègrent la capacité de compactage des coefficients DCT, sachant que certains coefficients représentent une information de directionnalité. L’histogramme de ces vecteurs est retenu comme descripteur de l’image. Pour une réduction de la dimension du descripteur lors de la construction de l’histogramme il est défini, soit une adjacence sur des patterns proches puis leur fusion, soit une sélection des patterns les plus fréquents. Ces approches sont évaluées sur des bases de données d’images de visages ou de textures couramment utilisées. Dans le domaine DWT, deux types d’approches sont proposés. Dans le premier, un vecteur-couleur et un vecteur–texture multirésolution sont élaborés. Cette approche se classe dans le cadre d’une caractérisation séparée de la couleur et de la texture. La seconde approche se situe dans le contexte d’une caractérisation conjointe de la couleur et de la texture. Comme précédemment, l’histogramme des vecteurs est choisi comme descripteur en utilisant l’algorithme K-means pour construire l’histogramme à partir de deux méthodes. La première est le procédé classique de regroupement des vecteurs par partition. La seconde est un histogramme basé sur une représentation parcimonieuse dans laquelle la valeur des bins représente le poids total des vecteurs de base de la représentation. / This thesis comes within content-based image retrieval for images by constructing feature vectors directly fromtransform domain. In particular, two kinds of transforms are concerned: Discrete Cosine Transform (DCT) andDiscrete Wavelet Transform (DWT), which are used in JPEG and JPEG2000 compression standards. Based onthe properties of transform coefficients, various feature vectors in DCT domain and DWT domain are proposedand applied in face recognition and color texture retrieval. The thesis proposes four kinds of feature vectors in DCTdomain: Zigzag-Pattern, Sum-Pattern, Texture-Pattern and Color-Pattern. The first one is an improved method based onan existing approach. The last three ones are based on the capability of DCT coefficients for compacting energy and thefact that some coefficients hold the directional information of images. The histogram of these patterns is chosen as descriptor of images. While constructing the histogram, with the objective to reduce the dimension of the descriptor, either adjacent patterns are defined and merged or a selection of the more frequent patterns is done. These approaches are evaluated on widely used face databases and texture databases. In the aspect of DWT domain, two kinds of approaches for color texture retrieval are proposed. In the first one, color-vector and multiresolution texture-vector are constructed, which categorize this approach into the context of extracting color and texture features separately. In contrast, the second approachis in the context of extracting color and texture features jointly: multiresolution feature vectors are extracted from luminance and chrominance components of color texture. Histogram of vectors is again chosen as descriptor and using k-means algorithm to divide feature vectors into partitions corresponding to the bins of histogram. For histogram generation, two methods are used. The first one is the classical method, in which the number of vectors that fall into the corresponding partition is counted. The second one is the proposition of a sparse representation based histogram in which a bin value represents the total weight of corresponding basis vector in the sparse representation.

Les comportements sociaux coopératifs sont longtemps restés un obstacle aux modèles de choix rationnel, obstacle qu'incarnent des dilemmes sociaux où un individu suivant son intérêt personnel est incité à exploiter la coopération d'autrui à son seul avantage. Je détaillerai tout d'abord comment la coopération peut apparaître un choix sensé lorsque elle est envisagée dans un contexte naturel et réel. Un regard à travers l'anthropologie, la psychologie et la neurobiologie conduit à appréhender la coopération davantage comme une adaptation et un apprentissage que comme un défaut de rationalité. Les émotions jouent un rôle essentiel dans ces processus, et je présenterai en quoi les exprimer aide les êtres humains à se synchroniser et à coopérer. Le sourire est souvent invoqué comme exemple d'un signal universel de coopération et d'approbation, une propriété intimement liée à son expression répétée lors de tâches collaboratives. Malgré tout, on en sait encore peu sur la manière précise dont le sourire et les autres expressions interviennent dans la prise de décision sociale, et en particulier sur le traitement des situations d'incongruence où un sourire accompagnerait une défection. Ce point est le cœur de l'étude expérimentale que je rapporte dans ce manuscrit. J'ai réalisé deux expériences confrontant les participants à un dilemme social dans lequel ils pouvaient investir une somme d'argent auprès de différents joueurs informatisés susceptibles de se l'accaparer, ou, au contraire, de la rétribuer avec intérêts. Les joueurs virtuels étaient personnalisés par un visage dont l'expression pouvait changer après le choix du participant: certains affichaient ainsi des émotions incongruentes avec leur ``décision'' subséquente de rétribuer ou non l'investissement du sujet. Malgré les différences méthodologiques, ces deux expériences ont montré que les expressions incongruentes altéraient la capacité des participants à jauger la propension des joueurs virtuels à rétribuer leurs investissements après une ou plusieurs interactions. Cet effet s'est manifesté tant au travers de rapports explicites que dans les investissements effectués. Dans leurs détails, les résultats de ces expériences ouvrent de nombreuses perspectives expérimentales, et appellent à la construction d'un modèle unifié de la décision sociale face-à-face qui intégrerait les nombreuses connaissances apportées ces dernières années par l'étude des grandes fonctions cognitives, tant au niveau expérimental, théorique que neurobiologique. / For few decades, rational choice theories failed to properly account for cooperative behaviors. This was illustrated by social dilemmas, games where a self-motivated individual will be tempted to exploit others' cooperative behavior, harming them for his own personal profit. I will first detail how cooperation may rise as a reasonable --- if not rational --- behavior, provided that we consider social interactions in a more realistic context that rational choice theories initially did. From anthropology to neurobiology, cooperation is understood as an efficient adaptation to this natural environment rather than a quirky, self-defeating behavior. Because pertinent information is often lacking or overwhelming, too complex or ambiguous to deal with, it is essential to communicate, to share, and to trust others. Emotions, and their expression, are a cornerstone of humans' natural and effortless navigation in their social environment. Smiles for instance are universally known as a signal of satisfaction, approbation and cooperation. Like other emotional expressions, they are automatically and preferentially treated. They elicit trust and cooperative behaviors in observers, and are ubiquitous in successful collaborative interactions. Beside that however, few is known about how others' expressions are integrated into decision making. That was the focus of the experimental study I relate in this manuscript. More specifically, I investigated how decisions in a trust-based social dilemma are influenced by smiles which are either displayed along a cooperative or defective behavior (``congruently'' and ``incongruently'', resp.). I carried out two experiments where participants played an investment game with different computerized virtual partners playing the role of trustees. Virtual trustees, which were personalised with a facial avatar, could either take and keep participants investment, or reciprocate it with interests. Moreover, they also displayed facial reactions, that were either congruent or incongruent with their computerized ``decision'' to reciprocate or not. Even if the two experiments presented some methodological differences, they were coherent in that they both showed that participants were altered in remembering a virtual trustee's behavior if the latter expressed incongruent emotions. This was observed from participants' investments in game, and from their post-experimental explicit reports. If many improvements to my experimental approach remain to be done, I think it already completes the existing literature with original results. Many interesting perspectives are left open, which appeal for a deeper investigation of face-to-face decision making. I think it constitutes a theoretical and practical necessity, for which researchers will be required to unify the wide knowledge of the major cognitive functions which was gathered over the last decades.

[Non communiqué] / In the past decade, 3D statistical face model (3D Morphable Model) has received much attention by both the commercial and public sectors. It can be used for face modeling for photo-realistic personalized 3D avatars and for the application 2D face recognition technique in biometrics. This thesis describes how to achieve an automatic 3D face reconstruction system that could be helpful for building photo-realistic personalized 3D avatars and for 2D face recognition with pose variability. The first systems we propose Combined Active Shape Model for 2D frontal facial landmark location and its application in 2D frontal face recognition in degraded condition. The second proposal is 3D Active Shape Model (3D-ASM) algorithm which is presented to automatically locate facial landmarks from different views. The third contribution is to use biometric data (2D images and 3D scan ground truth) for quantitatively evaluating the 3D face reconstruction. Finally, we address the issue of automatic 2D face recognition across pose using 3D Morphable Model

À la frontière entre neurosciences et intelligence artificielle, les neurosciences computationnelles tentent de comprendre les formidables capacités de calcul du cerveau, notamment l'efficacité du traitement de l'image par le système visuel. Mon travail est un double travail expérimental et de modélisation. Dans la partie expérimentale, je tente de déterminer les raisons qui font la précision et la rapidité des processus visuels. On présente brièvement (20-30 ms) des photographies contenant ou non des animaux au sujet qui doit relâcher un bouton quand l'image contient un animal. Le singe macaque réalise cette tâche avec une précision légèrement inférieure à celle de l'homme mais avec une plus grande rapidité. Je tente ensuite de contraindre la catégorisation pour déterminer le rôle à la fois des propriétés intrinsèques des images - couleur, luminance, nombre d'animaux présents, parties visibles de leurs corps, espèce de l'animal... - mais aussi de leurs propriétés extrinsèques - condition de présentation, effet de séquence, familiarité du stimulus, consigne... Bien que certaines conditions accélèrent la catégorisation, les réponses les plus précoces (dont on montre qu'elles ne sont pas spécifiques de certaines images), et les enregistrements EEGs correspondant au traitement de l'image ne sont que très peu affectés. Cela implique donc un traitement rapide massivement parallèle - quasiment automatique - des informations visuelles, où chaque neurone du système visuel peut difficilement émettre plus d'une décharge. À partir de ces contraintes, et de celles imposées par la structure du système visuel, j'ai construit un simulateur biologiquement plausible (SpikeNET) qui permet de simuler le comportement des neurones réels (de la détection de barres orientées jusqu'à la reconnaissance de visages). Les performances de ces modèles sont étonnantes du point de vue du traitement d'image et rivalisent avec les approches classiques en intelligence artificielle.