[Non communiqué] / In the past decade, 3D statistical face model (3D Morphable Model) has received much attention by both the commercial and public sectors. It can be used for face modeling for photo-realistic personalized 3D avatars and for the application 2D face recognition technique in biometrics. This thesis describes how to achieve an automatic 3D face reconstruction system that could be helpful for building photo-realistic personalized 3D avatars and for 2D face recognition with pose variability. The first systems we propose Combined Active Shape Model for 2D frontal facial landmark location and its application in 2D frontal face recognition in degraded condition. The second proposal is 3D Active Shape Model (3D-ASM) algorithm which is presented to automatically locate facial landmarks from different views. The third contribution is to use biometric data (2D images and 3D scan ground truth) for quantitatively evaluating the 3D face reconstruction. Finally, we address the issue of automatic 2D face recognition across pose using 3D Morphable Model

This Ph.D thesis work is dedicated to automatic facial analysis in 3D, including facial landmarking and facial expression recognition. Indeed, facial expression plays an important role both in verbal and non verbal communication, and in expressing emotions. Thus, automatic facial expression recognition has various purposes and applications and particularly is at the heart of "intelligent" human-centered human/computer(robot) interfaces. Meanwhile, automatic landmarking provides aprior knowledge on location of face landmarks, which is required by many face analysis methods such as face segmentation and feature extraction used for instance for expression recognition. The purpose of this thesis is thus to elaborate 3D landmarking and facial expression recognition approaches for finally proposing an automatic facial activity (facial expression and action unit) recognition solution.In this work, we have proposed a Bayesian Belief Network (BBN) for recognizing facial activities, such as facial expressions and facial action units. A StatisticalFacial feAture Model (SFAM) has also been designed to first automatically locateface landmarks so that a fully automatic facial expression recognition system can be formed by combining the SFAM and the BBN. The key contributions are the followings. First, we have proposed to build a morphable partial face model, named SFAM, based on Principle Component Analysis. This model allows to learn boththe global variations in face landmark configuration and the local ones in terms of texture and local geometry around each landmark. Various partial face instances can be generated from SFAM by varying model parameters. Secondly, we have developed a landmarking algorithm based on the minimization an objective function describing the correlation between model instances and query faces. Thirdly, we have designed a Bayesian Belief Network with a structure describing the casual relationships among subjects, expressions and facial features. Facial expression oraction units are modelled as the states of the expression node and are recognized by identifying the maximum of beliefs of all states. We have also proposed a novel method for BBN parameter inference using a statistical feature model that can beconsidered as an extension of SFAM. Finally, in order to enrich information usedfor 3D face analysis, and particularly 3D facial expression recognition, we have also elaborated a 3D face feature, named SGAND, to characterize the geometry property of a point on 3D face mesh using its surrounding points.The effectiveness of all these methods has been evaluated on FRGC, BU3DFEand Bosphorus datasets for facial landmarking as well as BU3DFE and Bosphorus datasets for facial activity (expression and action unit) recognition.

Due to the natural, non-intrusive, easily collectible, widespread applicability, machine-based face recognition has received significant attention from the biometrics community over the past three decades. Compared with traditional appearance-based (2D) face recognition, shape-based (3D) face recognition is more stable to illumination variations, small head pose changes, and varying facial cosmetics. However, 3D face scans captured in unconstrained conditions may lead to various difficulties, such as non-rigid deformations caused by varying expressions, data missing due to self occlusions and external occlusions, as well as low-quality data as a result of some imperfections in the scanning technology. In order to deal with those difficulties and to be useful in real-world applications, in this thesis, we propose two 3D face recognition approaches: one is focusing on handling various expression changes, while the other one can recognize people in the presence of large facial expressions, occlusions and large pose various. In addition, we provide a provable and practical surface meshing algorithm for data-quality improvement. To deal with expression issue, we assume that different local facial region (e.g. nose, eyes) has different intra-expression/inter-expression shape variability, and thus has different importance. Based on this assumption, we design a learning strategy to find out the quantification importance of local facial regions in terms of their discriminating power. For facial description, we propose a novel shape descriptor by encoding the micro-structure of multi-channel facial normal information in multiple scales, namely, Multi-Scale and Multi-Component Local Normal Patterns (MSMC-LNP). It can comprehensively describe the local shape changes of 3D facial surfaces by a set of LNP histograms including both global and local cues. For face matching, Weighted Sparse Representation-based Classifier (W-SRC) is formulated based on the learned quantification importance and the LNP histograms. The proposed approach is evaluated on four databases: the FRGC v2.0, Bosphorus, BU-3DFE and 3D-TEC, including face scans in the presence of diverse expressions and action units, or several prototypical expressions with different intensities, or facial expression variations combine with strong facial similarities (i.e. identical twins). Extensive experimental results show that the proposed 3D face recognition approach with the use of discriminative facial descriptors can be able to deal with expression variations and perform quite accurately over all databases, and thereby has a good generalization ability. To deal with expression and data missing issues in an uniform framework, we propose a mesh-based registration free 3D face recognition approach based on a novel local facial shape descriptor and a multi-task sparse representation-based face matching process. [...]

Baigiamajame magistro darbe nagrinėjamos technologijos naudojamos 3D veido atkūrime. Pasirinkus 3D veido atkūrimą iš nuotraukos yra nagrinėjami šio proceso metu naudojami 3D bendriniai modeliai, jų sandara, bei juos naudojantys metodai. Taip pat nagrinėjamas veido savybių taškų aptikimas naudojant aktyvios formos modelius, bendrinio modelio interpoliavimas naudojant plonųjų plokštumų splainų metodą, bei ortogonalus tekstūros projektavimas modeliui. Taip pat pateikiamas naujas siūlomas veido formos modelis aprašantis papildomas savybes. Praktinėje dalyje yra pateikiama sukurta programa, kuri pateikus vieną veido nuotrauką automatiškai atkuria 3D veidą su tekstūra. Gautas 3D veidas gali būti eksportuotas į OBJ formato bylą. Gauti rezultatai yra įvertinami apskaičiuojant paklaidą tarp realių ir atkurtų veidų, naudojant lazeriu nuskaitytų 3D veidų duomenų bazę. / The aim of this master thesis is to examine the technologies that are being used for 3D face reconstruction. 3D generic face models, their structure, and methods they are being used with, are being analyzed after selecting reconstruction from single photo technology. Also facial feature points detection while using active shape models, 3D generic face interpolation, and orthogonal texture mapping for model are being analyzed. Also a new facial shape model is defined. Automated 3D face reconstruction application was developed based on previous analysis. Application is capable of automatically reconstructing full 3D face model with texture from single frontal face picture. Resulting face model can be exported to another software by using OBJ file format. The results of application are being evaluated while calculating error between real and reconstructed faces, while using laser scanned 3D face database.

En raison des naturelle, non-intrusive, facilement percevable caractéristiques, et une large diffusive applicabilité pour la criminalistique et de la sécurité, reconnaissance faciale basée sur la machine a reçu beaucoup d’attention de la communauté biométrie au cours des trois dernières décennies. Par rapport à la traditionnelle reconnaissance faciale basée sur le visage 2D, la reconnaissance faciale basé sur la forme 3D est plus stable aux variations d’éclairage; petite changements de tête pose, et variant cosmétiques pour le visage. Cependant, le visage 3D numérise capturé dans des conditions non-contraintes peut conduire à des difficultés diverses, comme des déformations non rigides provoquées par la variant expressions, les données manquantes en raison de l’auto-occlusion et des occlusions externes, ainsi que des données de faible qualité en raison de certaines imperfections de la technologie de numérisation. Pour régler ces difficultés et d’améliorer les applications du monde réel, dans cette thèse, nous proposons deux approches de 3D reconnaissance faciale: l’un se concentre sur le handling de divers changements d’expression, l’autre peut reconnaître les gens à la situation de présence d’un grand les expressions facial, des occlusions et des grands pose divers. En outre, nous fournissons une surface prouvable et pratique algorithme de surface maillage pour l’amélioration de la qualité de données. Pour faire face aux problème d’expression, nous supposons que la variabilité des formes de intra-expression/inter-expression de la faciale local région différent (e. g., nez, yeux) est différent, et a donc une importance niveau différente. Sur la base de cette hypothèse, nous concevons une stratégie d’apprentissage pour découvrir l’importance de la quantification de régions faciales locales en fonction de leur énergie discriminant. Pour une description du visage, nous proposons un nouveau descripteur pour coder la microstructure du multi- canal d’information normale du visage dans multiples échelles, à savoir, Multi-Scale and Multi-Component Local Normal Patterns (MSMC-LNP). On peut globalement décrire les changements de forme locale de 3D surfaces faciales par un ensemble d’histogrammes LNP y compris les indices globaux et locaux. Pour le visage correspondant, Weighted Sparse Representation-based Classifier (W-SRC) est formulée sur la base de l’importance de la quantification appris et les histogrammes LNP. L’approche proposée est évaluée sur quatre bases de données: le FRGC v2. 0, Bosphore, BU- 3DFE et 3D -TEC, y compris les scans du visage en présence de diverses expressions et des unités d’action, ou de plusieurs expressions prototypiques avec des intensités différentes, ou des variations d’expression du visage combinée avec de fortes similitudes faciales (c.à.d. jumeaux identiques). Résultats expérimentaux étendus montrent que l’approche de reconnaissance de 3D visage proposé avec l’utilisation de descripteurs discriminants du visage peut régler les variations d’expression et d’effectuer avec assez de précision sur toutes les bases de données, et a ainsi une bonne capacité de généralisation. Pour faire face à l’expression et problème des données manquantes dans un cadre uniforme, nous proposons une approche sur le sans-enregistrement maillage-basé reconnaissance du 3D visage basé sur un nouveau local descripteur de la forme du visage et un correspondance processus d’clairsemée représentation du visage basée multi- tâche. [...] / Due to the natural, non-intrusive, easily collectible, widespread applicability, machine-based face recognition has received significant attention from the biometrics community over the past three decades. Compared with traditional appearance-based (2D) face recognition, shape-based (3D) face recognition is more stable to illumination variations, small head pose changes, and varying facial cosmetics. However, 3D face scans captured in unconstrained conditions may lead to various difficulties, such as non-rigid deformations caused by varying expressions, data missing due to self occlusions and external occlusions, as well as low-quality data as a result of some imperfections in the scanning technology. In order to deal with those difficulties and to be useful in real-world applications, in this thesis, we propose two 3D face recognition approaches: one is focusing on handling various expression changes, while the other one can recognize people in the presence of large facial expressions, occlusions and large pose various. In addition, we provide a provable and practical surface meshing algorithm for data-quality improvement. To deal with expression issue, we assume that different local facial region (e.g. nose, eyes) has different intra-expression/inter-expression shape variability, and thus has different importance. Based on this assumption, we design a learning strategy to find out the quantification importance of local facial regions in terms of their discriminating power. For facial description, we propose a novel shape descriptor by encoding the micro-structure of multi-channel facial normal information in multiple scales, namely, Multi-Scale and Multi-Component Local Normal Patterns (MSMC-LNP). It can comprehensively describe the local shape changes of 3D facial surfaces by a set of LNP histograms including both global and local cues. For face matching, Weighted Sparse Representation-based Classifier (W-SRC) is formulated based on the learned quantification importance and the LNP histograms. The proposed approach is evaluated on four databases: the FRGC v2.0, Bosphorus, BU-3DFE and 3D-TEC, including face scans in the presence of diverse expressions and action units, or several prototypical expressions with different intensities, or facial expression variations combine with strong facial similarities (i.e. identical twins). Extensive experimental results show that the proposed 3D face recognition approach with the use of discriminative facial descriptors can be able to deal with expression variations and perform quite accurately over all databases, and thereby has a good generalization ability. To deal with expression and data missing issues in an uniform framework, we propose a mesh-based registration free 3D face recognition approach based on a novel local facial shape descriptor and a multi-task sparse representation-based face matching process. [...]

This thesis is about biometric 3D face recognition . A general biometric system as well as functioning of biometric system are present . Techniques used in 2D and 3D face recognition are described . Finally , an automatic biometric system for 3D face recognition is proposed and implemeted . This system divide face for areas by position of detected landmarks . Particular areas are compared separately . Final system fusion results from Eigenfaces and ARENA algorithms .

Diplomová práce byla vypracována na studijním pobytu na "Gjovik University College" v Norsku, a je zpracována v angličtině. Tato práce se zabývá rozpoznáváním 3D obličejů. Je zde popsán obecný biometrický systém a také konkrétní postupy používané při rozpoznávání 2D i 3D obličejů. Následně je navžena metoda pro rozpoznávání 3D obličejů. Algoritmus je vyvíjen a testován pomocí databáze Face Recognition Grand Challenge (FRGC). Během předzpracování jsou nalezeny význačné body v obličeji a následně je trojrozměrný model zarovnán do referenční polohy. Dále jsou vstupní data porovnávána s biometrickými šablonami uloženými v databázi, a to je zajištěno využitím tří základních technik pro rozpoznávání obličejů -- metoda eigenface (PCA), rozpoznávání založené na histogramu obličeje a rozpoznávání založené na anatomických rysech. Nakonec jsou jednotlivé metody spojeny do jednoho systému, jehož celková výsledná výkonnost převyšuje výkonnost jednotlivých použitých technik.

La reconnaissance faciale (RF) est un domaine de recherche très actif en raison de ses nombreuses applications dans le domaine de la vision par ordinateur en général et en biométrie en particulier. Cet intérêt est motivé par plusieurs raisons. D’abord, le visage est universel. Ensuite, il est le moyen le plus naturel par les êtres humains de s’identifier les uns des autres. Enfin, le visage en tant que modalité biométrique est présente un caractère non intrusif, ce qui le distingue d’autres modalités biométriques comme l’iris ou l’emprunte digitale. La RF représente aussi des défis scientifiques importants. D’abord parce que tous les visages humains ont des configurations similaires. Ensuite, avec les images faciales 2D que l’on peut acquérir facilement, la variation intra-classe, due à des facteurs comme le changement de poses et de conditions d’éclairage, les variations d’expressions faciales, le vieillissement, est bien plus importante que la variation inter-classe.Avec l’arrivée des systèmes d’acquisition 3D capables de capturer la profondeur d’objets, la reconnaissance faciale 3D (RF 3D) a émergé comme une voie prometteuse pour traiter les deux problèmes non résolus en 2D, à savoir les variations de pose et d’éclairage. En effet, les caméras 3D délivrent généralement les scans 3D de visages avec leurs images de texture alignées. Une solution en RF 3D peut donc tirer parti d’une fusion avisée d’informations de forme en 3D et celles de texture en 2D. En effet, étant donné que les scans 3D de visage offrent à la fois les surfaces faciales pour la modalité 3D pure et les images de texture 2D alignées, le nombre de possibilités de fusion pour optimiser le taux de reconnaissance est donc considérable. L’optimisation de stratégies de fusion pour une meilleure RF 3D est l’objectif principal de nos travaux de recherche menés dans cette thèse.Dans l’état d’art, diverses stratégies de fusion ont été proposées pour la reconnaissance de visages 3D, allant de la fusion précoce "early fusion" opérant au niveau de caractéristiques à la fusion tardive "late fusion" sur les sorties de classifieurs, en passant par de nombreuses stratégies intermédiaires. Pour les stratégies de fusion tardive, nous distinguons encore des combinaisons en parallèle, en cascade ou multi-niveaux. Une exploration exhaustive d’un tel espace étant impossible, il faut donc recourir à des solutions heuristiques qui constituent nos démarches de base dans le cadre des travaux de cette thèse.En plus, en s’inscrivant dans un cadre de systèmes biométriques, les critères d’optimalité des stratégies de fusion restent des questions primordiales. En effet, une stratégie de fusion est dite optimisée si elle est capable d’intégrer et de tirer parti des différentes modalités et, plus largement, des différentes informations extraites lors du processus de reconnaissance quelque soit leur niveau d’abstraction et, par conséquent, de difficulté.Pour surmonter toutes ces difficultés et proposer une solution optimisée, notre démarche s’appuie d’une part sur l’apprentissage qui permet de qualifier sur des données d’entrainement les experts 2D ou 3D, selon des critères de performance comme ERR, et d’autre part l’utilisation de stratégie d’optimisation heuristique comme le recuit simulé qui permet d’optimiser les mélanges des experts à fusionner. [...] / Face recognition (FR) was one of the motivations of computer vision for a long time, but only in recent years reliable automatic face recognition has become a realistic target of biometrics research. This interest is motivated by several reasons. First, the face is one of the most preferable biometrics for person identification and verification related applications, because it is natural, non-intrusive, and socially well accepted. The second reason relates to the challenges encountered in the FR domain, in which all human faces are similar to each other and hence offer low distinctiveness as compared with other biometrics, e.g., fingerprints and irises. Furthermore, when employing facial texture images, intra-class variations due to various factors as illumination and pose changes are usually greater than inter-class ones, preventing 2D face recognition systems from being completely reliable in real conditions.Recent, 3D acquisition systems are capable to capture the shape information of objects. Thus, 3D face recognition (3D FR) has been extensively investigated by the research community to deal with the unsolved issues in 2D face recognition, i.e., illumination and pose changes. Indeed, 3D cameras generally deliver the 3D scans of faces with their aligned texture images. 3D FR can benefit from the fusion of 2D texture and 3D shape information.This Ph.D thesis is dedicated to the optimization of fusion strategies based on three dimensional data. However, there are some problems. Indeed, since the 3D face scans provide both the facial surfaces for the 3D model and 2D texture images, the number of fusion method is high.In the literature, many fusion strategies exist that have been proposed for 3D face recognition. We can roughly classify the fusion strategies into two categories: early fusion and late fusion. Some intermediate strategies such as serial fusion and multi-level fusion have been proposed as well. Meanwhile, the search for an optimal fusion scheme remains extraordinarily complex because the cardinality of the space of possible fusion strategies. It is exponentially proportional to the number of competing features and classifiers. Thus, we require fusion technique to efficiently manage all these features and classifiers that constitute our contribution in this work. In addition, the optimality criteria of fusion strategies remain critical issues. By definition, an optimal fusion strategy is able to integrate and take advantage from different data.To overcome all these difficulties and propose an optimized solution, we adopted the following reflection. [...]

Cette thèse de doctorat est dédiée à l’analyse automatique de visages 3D, incluant la détection de points d’intérêt et la reconnaissance de l’expression faciale. En effet, l’expression faciale joue un rôle important dans la communication verbale et non verbale, ainsi que pour exprimer des émotions. Ainsi, la reconnaissance automatique de l’expression faciale offre de nombreuses opportunités et applications, et est en particulier au coeur d’interfaces homme-machine "intelligentes" centrées sur l’être humain. Par ailleurs, la détection automatique de points d’intérêt du visage (coins de la bouche et des yeux, ...) permet la localisation d’éléments du visage qui est essentielle pour de nombreuses méthodes d’analyse faciale telle que la segmentation du visage et l’extraction de descripteurs utilisée par exemple pour la reconnaissance de l’expression. L’objectif de cette thèse est donc d’élaborer des approches de détection de points d’intérêt sur les visages 3D et de reconnaissance de l’expression faciale pour finalement proposer une solution entièrement automatique de reconnaissance de l’activité faciale incluant l’expression et les unités d’action (ou Action Units). Dans ce travail, nous avons proposé un réseau de croyance bayésien (Bayesian Belief Network ou BBN) pour la reconnaissance d’expressions faciales ainsi que d’unités d’action. Un modèle statistique de caractéristiques faciales (Statistical Facial feAture Model ou SFAM) a également été élaboré pour permettre la localisation des points d’intérêt sur laquelle s’appuie notre BBN afin de permettre la mise en place d’un système entièrement automatique de reconnaissance de l’expression faciale. Nos principales contributions sont les suivantes. Tout d’abord, nous avons proposé un modèle de visage partiel déformable, nommé SFAM, basé sur le principe de l’analyse en composantes principales. Ce modèle permet d’apprendre à la fois les variations globales de la position relative des points d’intérêt du visage (configuration du visage) et les variations locales en terme de texture et de forme autour de chaque point d’intérêt. Différentes instances de visages partiels peuvent ainsi être produites en faisant varier les valeurs des paramètres du modèle. Deuxièmement, nous avons développé un algorithme de localisation des points d’intérêt du visage basé sur la minimisation d’une fonction objectif décrivant la corrélation entre les instances du modèle SFAM et les visages requête. Troisièmement, nous avons élaboré un réseau de croyance bayésien (BBN) dont la structure décrit les relations de dépendance entre les sujets, les expressions et les descripteurs faciaux. Les expressions faciales et les unités d’action sont alors modélisées comme les états du noeud correspondant à la variable expression et sont reconnues en identifiant le maximum de croyance pour tous les états. Nous avons également proposé une nouvelle approche pour l’inférence des paramètres du BBN utilisant un modèle de caractéristiques faciales pouvant être considéré comme une extension de SFAM. Finalement, afin d’enrichir l’information utilisée pour l’analyse de visages 3D, et particulièrement pour la reconnaissance de l’expression faciale, nous avons également élaboré un descripteur de visages 3D, nommé SGAND, pour caractériser les propriétés géométriques d’un point par rapport à son voisinage dans le nuage de points représentant un visage 3D. L’efficacité de ces méthodes a été évaluée sur les bases FRGC, BU3DFE et Bosphorus pour la localisation des points d’intérêt ainsi que sur les bases BU3DFE et Bosphorus pour la reconnaissance des expressions faciales et des unités d’action. / This Ph.D thesis work is dedicated to automatic facial analysis in 3D, including facial landmarking and facial expression recognition. Indeed, facial expression plays an important role both in verbal and non verbal communication, and in expressing emotions. Thus, automatic facial expression recognition has various purposes and applications and particularly is at the heart of "intelligent" human-centered human/computer(robot) interfaces. Meanwhile, automatic landmarking provides aprior knowledge on location of face landmarks, which is required by many face analysis methods such as face segmentation and feature extraction used for instance for expression recognition. The purpose of this thesis is thus to elaborate 3D landmarking and facial expression recognition approaches for finally proposing an automatic facial activity (facial expression and action unit) recognition solution.In this work, we have proposed a Bayesian Belief Network (BBN) for recognizing facial activities, such as facial expressions and facial action units. A StatisticalFacial feAture Model (SFAM) has also been designed to first automatically locateface landmarks so that a fully automatic facial expression recognition system can be formed by combining the SFAM and the BBN. The key contributions are the followings. First, we have proposed to build a morphable partial face model, named SFAM, based on Principle Component Analysis. This model allows to learn boththe global variations in face landmark configuration and the local ones in terms of texture and local geometry around each landmark. Various partial face instances can be generated from SFAM by varying model parameters. Secondly, we have developed a landmarking algorithm based on the minimization an objective function describing the correlation between model instances and query faces. Thirdly, we have designed a Bayesian Belief Network with a structure describing the casual relationships among subjects, expressions and facial features. Facial expression oraction units are modelled as the states of the expression node and are recognized by identifying the maximum of beliefs of all states. We have also proposed a novel method for BBN parameter inference using a statistical feature model that can beconsidered as an extension of SFAM. Finally, in order to enrich information usedfor 3D face analysis, and particularly 3D facial expression recognition, we have also elaborated a 3D face feature, named SGAND, to characterize the geometry property of a point on 3D face mesh using its surrounding points.The effectiveness of all these methods has been evaluated on FRGC, BU3DFEand Bosphorus datasets for facial landmarking as well as BU3DFE and Bosphorus datasets for facial activity (expression and action unit) recognition.

In the field of face recognition one challenge is to recognize individuals in photographs taken of the person in profile. In this project it was investigated whether 3D face reconstructions could improve the face recognition results in these cases. Images used in the experiments were historical images of persons who lived in Stockholm during the late nineteenth to early twentieth centuries. Additionally, face frontalization algorithms were applied to images taken in profile-view of the person to investigate if this idea could improve the results of 3D face reconstruction of images in profile-view. The results of the experiments showed that using 3D face reconstructions did not improve the results of face recognition. However, in most cases the individuals in the 3D face reconstructions could be recognized. Furthermore, experiments also showed that face frontalization did not improve the results of the 3D face reconstructions of images taken in profile angle. Aside from these results, the thesis demonstrates a, to the best of our knowledge, new approach to evaluate 3D face reconstruction results by using face recognition.