Les systèmes d’identification faciale sont en plein essor et se retrouvent de plus en plus dans des produits grand public tels que les smartphones et les ordinateurs portables. Cependant, ces systèmes peuvent être facilement bernés par la présentation par exemple d’une photo imprimée de la personne ayant les droits d’accès au système. Cette thèse s’inscrit dans le cadre du projet ANR BIOFENCE qui vise à développer une certification des systèmes biométriques veine, iris et visage permettant aux industriels de faire valoir leurs innovations en termes de protection. L’objectif de cette thèse est double, d’abord il s’agit de développer des mesures de protection des systèmes 2D d’identification faciale vis à vis des attaques connues à ce jour (photos imprimées, photos ou vidéos sur un écran, masques) puis de les confronter à la méthodologie de certification développée au sein du projet ANR. Dans un premier temps, un état de l’art général des attaques et des contremesures est présenté en mettant en avant les méthodes algorithmiques (« software ») par rapport aux méthodes hardware. Ensuite, plusieurs axes sont approfondis au cours de ce travail. Le premier concerne le développement d’une contremesure basée sur une analyse de texture et le second concerne le développement d’une contre-mesure basée sur une analyse de mouvement. Ensuite, une modélisation du processus de recapture pour différencier un faux visage d’un vrai est proposée. Une nouvelle méthode de protection est développée sur ce concept en utilisant les données d'enrolment des utilisateurs et un premier pas est franchi dans la synthèse d'attaque pour un nouvel utilisateur à partir de sa donnée d'enrolment. Enfin, la méthodologie de certification développée pour les systèmes à empreintes digitales est évaluée pour les systèmes d'identification facial. / Face identification systems are growing rapidly and invade the consumer market with security products in smartphones, computers and banking. However, these systems are easily fooled by presenting a picture of the person having legitimate access to the system. This thesis is part of the BIOFENCE project which aim to develop a certification of biometric systems in order for industrials to promote their innovations in terms of protection. Our goal is to develop new anti-spoofing countermeasures for 2D face biometric systems and to evaluate the certification methodology on protected systems. First, a general state of the art in face spoofing attack forgery and in anti-spoofing protection measures is presented. Then texture-based countermeasures and motion-based countermeasures are investigated leading to the development of two novel countermeasures. Then, the recapturing process is modelled and a new fake face detection approach is proposed based on this model. Taking advantage of enrolment samples from valid users, a first step toward the synthesis of spoofing attacks for new users is taken. Finally, the certification methodology originally developed for fingerprint technology is evaluated on face biometric systems.

Les études menées dans cette thèse portent sur le rôle des visages dans l'attention visuelle. Nous avons cherché à mieux comprendre l'influence des visages dans les vidéos sur les mouvements oculaires, afin de proposer un modèle de saillance visuelle pour la prédiction de la direction du regard. Pour cela, nous avons analysé l'effet des visages sur les fixations oculaires d'observateurs regardant librement (sans consigne ni tâche particulière) des vidéos. Nous avons étudié l'impact du nombre de visages, de leur emplacement et de leur taille. Il est apparu clairement que les visages dans une scène dynamique (à l'instar de ce qui se passe sur les images fixes) modifie fortement les mouvements oculaires. En nous appuyant sur ces résultats, nous avons proposé un modèle de saillance visuelle, qui combine des caractéristiques classiques de bas-niveau (orientations et fréquences spatiales, amplitude du mouvement des objets) avec cette caractéristique importante de plus haut-niveau que constitue les visages. Enfin, afin de permettre des traitements plus proches du temps réel, nous avons développé une implémentation parallèle de ce modèle de saillance visuelle sur une plateforme multi-GPU. Le gain en vitesse est d'environ 130 par rapport à une implémentation sur un processeur multithread. / Studies conducted in this thesis focuses on faces and visual attention. We are interested to better understand the influence and perception of faces, to propose a visual saliency model with face features. Throughout the thesis, we concentrate on the question, "How people explore dynamic visual scenes, how the different visual features are modeled to mimic the eye movements of people, in particular, what is the influence of faces?" To answer these questions we analyze the influence of faces on gaze during free-viewing of videos, as well as the effects of the number, location and size of faces. Based on the findings of this work, we propose model with face as an important information feature extracted in parallel alongside other classical visual features (static and dynamic features). Finally, we propose a multi-GPU implementation of the visual saliency model, demonstrating an enormous speedup of more than 132 times compared to a multithreaded CPU.

Cette recherche aborde l’image du visage à l’aune de sa prise en charge par la photographie comme de ses corrélats techniques et esthétiques. On interroge ainsi le portrait, dans le champ de l’art et du sans-Art, en ce qu’il dépasse les codes d’une catégorie générique attachée à la représentation des personnes. On s’intéresse notamment à la situation sur laquelle il repose, dont il semble non seulement traduire et étendre le vis-À-Vis paradigmatique, mais également, l’intensifier.Parallèlement, en s’appuyant sur les mythes qui questionnent l’homme en son apparaître et son imaginaire ainsi que sa nécessité à expérimenter et à créer, on interroge les raisons pour lesquelles, à défaut de cerner occasionnellement l’ipséité d’un visage en échappée, le portrait est en mesure de générer une expérience de l’identité comme connaissance de soi et d’un autre que soi, à la fois pour l’auteur qui imprègne une image, pour un acteur qui y joue son être imageant, et pour un récepteur qui en traverse la figurance. Dans cet entrelacs, entre le visible et ce qui ne l’est pas, semble se tisser la moire d’une rencontre impalpable, rencontre de vies incarnées par des affects, rencontre en laquelle se risque le souffle d’une poétique et où s’entrevoit, de visage à visage, un élan, un geste, un aller vers, engageant l’humain en son être au monde, par le regard et par la main, et en vertu d’un rapport et d’un déplacement. Si alors, au point de contact avec un autre visage se fige une possible fascination hypnotique, le mouvement du sensible, à travers l’espace et le temps, nous amène à considérer, entre apparition et disparition, un en deçà et un au-Delà de la rencontre, c’est-À-Dire, autant le moteur d’une érotique arrimée à la question du désir, qu’une traversée de l’éther de la psyché par une dynamique qui, de personne en personne, d’être en être, se renouvelle à l’infini. La rencontre que nous tentons d’approcher ici relève ainsi d’une expérience du visage, telle qu’elle en creuse parfois l’énigme métaphysique ou en découvre le charme, mais aussi, et surtout, telle que l’imageant, dans le vivre ensemble ou la solitude, elle entame une réflexion qui s’avère être aussi une voie, et peut-Être en ce sens, un voyage de la pensée pour un discernement, pour un envisagement. Au fil d’un temps décousu et recousu qui, de la naissance à la maturité et à la vieillesse, est celui de l’existence humaine et de sa traversée, au fil d’un temps, donc, qui impose le dépassement d’une condition arbitraire et inéluctable qui, de génération en génération, est intensément tissée de valeurs impressives toujours reconduites et toujours revécues, au fil d’un temps voué à l’ultime, mais aussi à un recommencement, chaque chapitre de cette thèse est ainsi une occasion d’exploration de visages en rencontre, de visages en chemin. / The subject of the present study focuses on the technical and aesthetic correlates of the facial image in photographic representation. Hence, the analysis undertakes to examine the notion of the portrait as such, both with respect to the scope of its artistic and non-Artistic aspects, and the extent to which it transcends the codes of a generically human form of representation. It envisages, moreover, the concept of the portrait in view of its place in representing and extending the paradigmatic expression of the self. By the same token, in drawing on the kind of myths that question man’s apparent self-Image and imagination, as these are linked to his inherent drive to experiment and to create, an explanation is advanced as to why, by only occasionally achieving the ipseity of a face « en échappée », the portrait succeeds in generating man’s identity as a way of knowing self and other, namely, how the author suffuses an image with significance, how an actor who plays his part as an imaginative agent, and the ways in which a recipient penetrates the notion of « figurance » .This concept that links the visible and the invisible, harbours the shimmering, impalpable encounter of affect-Embodied lives — an encounter during which a poetics appears to manifest itself and in which the human agent is capable of discerning an outburst, a gesture, a forward movement thereby compelling man’s inner being to visualize the world through his own eyes – and hands made palpable by displacement. Where this occurs, a hypnotic fascination begins to make itself felt at an inter-Facial nexus. Here, we note the gravitation of sensible essence in space and time oscillating between an apparition – at once visualized and invisible – , between an en deçà and an au delà as this essence proceeds from an erotic encounter, issuing as much from desire as from psyche, and which dynamically traverses the ether, ad infinitum, from one being to another. Our approach to this encounter accounts as much for the experience of facial representation as it does, occasionally, for the deepening of its enigmatically metaphysical point of departure, or else discloses its charm and its mode of « image » representation, either in cohabitation or in solitude – the overture to a journey towards discernment, towards a new perception. The experience of this passing of time defines man’s fate from birth through to maturity and on to old age. It reaches beyond the arbitrary and inescapable condition of man from one generation to the next, and is intimately woven into our forever reconstituted, affective values. Every chapter engages in an analysis of this temporal transition, a course ultimately leading to extinction, but also to a Renaissance. This enables the reader to thus explore the different faces he encounters throughout the course of his journey.

La schizophrénie est un trouble psychiatrique complexe et hétérogène caractérisée par des symptômes positifs, les symptômes négatifs et des déficits cognitifs. Elle se caractérise également par des dysfonctionnements sociaux marqués, y compris des déficits dans la reconnaissance des visages. Outre des difficultés à reconnaître le visage d'autres personnes, les déficits de reconnaissance du propre visage ont également été décrits dans la schizophrénie. Notre propre visage est considéré comme un stimulus spécial, car il constitue une des caractéristiques physiques la plus distinctive d’un individu, en plus d'être une partie importante de notre identité. Par conséquent, l'objectif de cette thèse fut de mieux déterminer dans un premier temps les facteurs sous-tendant la spécificité de notre propre visage au regard des autres visages (familiers et étrangers) chez les individus non cliniques, ainsi que dans la schizophrénie, une pathologie mentale sévère altérant de nombreux domaines associés à l’identité. Quatre études ont été réalisées afin de répondre à ces deux objectifs principaux. Premièrement, une meta-analyse menée a pu mettre en évidence que l’avantage en terme de temps de réaction diminué lors du traitement de notre propre visage pourrait être mieux expliqué par un effet de familiarité ou de représentation plus stable de son propre visage plutôt que par des caratéritiques uniques et spécifiques associées à notre propre visage. En revanche, la représentation du propre visage semble être moins stable dans la schizophrénie et spécialement sensible aux contraintes de temps. De plus, nos résultats ont également montré que lorsque les patients regardent leur propre image dans un miroir, ceux-ci rapportent plus souvent des expériences anormales, notamment en lien avec la symptomatologie positive. Ainsi dans leur ensemble, nos résultats indiquent que les patients ayant reçu un diagnostic de schizophrénie sont capables de reconnaître leur visage, bien qu'ils semblent posséder une représentation plus instable de leur propre visage entraînant un sentiment d'étrangeté. / Schizophrenia is a complex and heterogeneous psychiatric characterized by positive symptoms, negative symptoms, cognitive deficits and also motor abnormalities. The disease is also characterized by marked social dysfunctions including deficits in face recognition. Besides difficulties in recognize other people’s face, self-face recognition deficits have been also described in schizophrenia. Self-face has been considered a special stimulus since it is individuals' most distinctive physical feature, besides of being an important part of our identity. Therefore, the aim of the present thesis is to further understand self-face specialness and self-face processing in healthy controls, but more importantly in schizophrenia disorder. Four studies were performed in order to respond to this main object. In the one hand, the studies found that self-face processing advantage could be better explained by a familiarity effect or a more stable representation of one's own face rather than self-specialness in healthy controls. In the other hand, the representation of the one's own face seems to be less stable in schizophrenia and especially sensible to time constraint. When no time constraint was imposed, they were capable to recognize their own face under perceptual ambiguity in photographs. Moreover, our results also showed when looking at their own image in the mirror patients reported more often abnormal experiences. All together, our results indicated that patients are capable to recognize their face and discriminate it from other’s people face, although they might possess a more unstable representation of their own face resulting in a feeling of strangeness.

De nombreuses études ont relevé un biais perceptif (BP) gauche, c’est-à-dire une tendance à utiliser préférentiellement les informations issues de l’hémi-visage gauche (du point de vue de l’observateur), lors du traitement des visages. Ce BP pourrait être lié à la dominance de l’hémisphère droit pour le traitement des visages. Par ailleurs, certaines études ont mis ce BP en lien avec un biais oculomoteur (BO) gauche : l’observateur effectue des fixations en nombre et/ou en durée supérieurs sur l’hémi-visage gauche (Butler et al., 2005 ; Megreya & Havard, 2011). Au cours du vieillissement, le BP gauche semble être toujours présent, mais d’apparition plus tardive, nécessitant un temps d’exposition aux visages plus long (Butler & Harvey, 2008 ; Coolican et al., 2008). Dans ce travail de thèse, nous avons étudié l’évolution de ces deux biais au cours du vieillissement au cours d’une tâche de jugement de genre, à l’aide de visages normaux et chimériques (composés de moitiés de visages d’homme et de femme) en manipulant le nombre de saccades permettant d’explorer le visage (aucune, 1, 2 et 3 saccades) et la position de présentation des visages (Haut, Bas, Centre, Gauche et Droite). Bien que dans l’ensemble, les personnes jeunes témoignent d’un BP gauche, cela n’est pas le cas des participants âgés. En outre, ce BP dépend de la position de présentation des visages (BP de proximité pour les positions latérales), mais également du nombre de saccades exécutées (BP gauche apparaissant à partir de la réalisation d’une saccade). En outre, une certaine variabilité interindividuelle est notée, certains participants présentant un BP droit et d’autre une absence de BP. Le BO dépend également de la position de présentation des visages et reste stable au cours du vieillissement. Il semble résulter d’une combinaison de l’effet du centre de gravité (Bindemann et al., 2009) et de l’effet de rang (Kapoula, 1985), la position d’arrivée se situant autour du centre du visage, orientée légèrement vers le point de fixation initial. Enfin, ce BO n’est pas affecté par le BP des participants, qu’ils soient jeunes ou âgés, l’exploration des visages étant la même qu’ils répondent en se basant sur la partie gauche ou droite des visages. Dans l’ensemble, ces résultats remettent en question l’explication jusqu’ici avancée pour ces deux biais, à savoir la dominance de l’HD pour le traitement des visages. / Previous studies demonstrated a left perceptual bias while looking at faces, observers using mainly information from the left side of a face (from the observer point of view) to make a judgment task. Such a bias is consistent with right hemisphere dominance for face processing and has been sometimes linked to a left gaze bias, i.e. more and longer fixations on the left side of the face (Butler et al., 2005; Megreya & Havard, 2011). In the course of aging, the left perceptual bias is still observed, but seems to require a longer exposure duration to faces (Butler & Harvey, 2008; Coolican et al., 2008). Here, in several experiments we recorded eye-movements during a gender judgment task, using normal and chimeric faces (made from two different half-faces of a male and a female) presented at the top, bottom, left or right relative to the central fixation point or at the center. Young and older participants performed the judgment task by remaining fixated on the fixation point or after executing one, two or three saccades. Even if young participants presented an overall left perceptual bias, it was not the case for older participants. Moreover, the perceptual bias depended on face position (a proximity bias was observed for lateral positions) and the number of allowed saccades (the perceptual bias was present when a saccade was executed). An important inter-individual variability was also observed. Indeed, some participants presented a left perceptual bias, while others presented a right perceptual bias or none at all. The gaze bias was also function of face position and is steady while growing older. This gaze bias seems to depend on the combination of two effects: the center-of-gravity effect (Bindemann et al., 2009) and the range effect (Kapoula, 1985). The saccade landing position was located around the center of the face, slightly oriented toward the initial fixation position. No apparent link between gaze and perceptual biases was found in any experiments, for both groups, meaning that a perceptual bias was not systematically coupled to saccades made toward the side of the face which was used to perform the gender judgment. Those results challenge the overall explanation put forward for those two biases that is the right hemisphere dominance for face processing.

Identifier correctement, indistinctement de la culture, de l'ethnicité, du contexte, du genre et de la classe sociale, les émotions d'autrui à partir d'une analyse de leurs expressions faciales, c'est ce qu'offrent, en principe, les systèmes de reconnaissance des émotions (SRÉ). En prétendant à un universalisme dans l'expression ainsi que dans la reconnaissance des émotions, nous tenterons de démontrer que les SRÉ présentent des risques non-négligeables de causer des torts importants à certains individus, en plus de viser, dans certains contextes, des groupes sociaux spécifiques. S'appuyant sur un vaste champ de connaissances multidisciplinaires - qui inclut la philosophie, la psychologie, l'informatique et l'anthropologie - ce projet de recherche vise à identifier les limites actuelles des SRÉ ainsi que les principaux risques que leur utilisation engendre, dans l'objectif de produire une analyse claire et rigoureuse de l'utilisation des SRÉ ainsi que de leur participation à une plus grande justice sociale. Mettant de l'avant les limites techniques, nous réfutons, d'une part, l'idée selon laquelle les SRÉ sont en mesure de prouver le lien de causalité entre des émotions spécifiques et des expressions faciales spécifiques. Nous appuyons notre argument par des preuves prouvant l'incapacité des SRÉ à distinguer les expressions faciales d'émotions des expressions faciales en tant que signaux de communication. D'autre part, en raison des limites contextuelles et culturelles des SRÉ actuels, nous réfutons l'idée selon laquelle les SRÉ sont en mesure de reconnaître, à performance égale, les émotions des individus, indistinctement de leur culture, ethnicité, genre et classe sociale. Notre analyse éthique démontre que les risques sont considérablement plus nombreux et plus importants que les bénéfices que l'on pourrait tirer d'une utilisation des SRÉ. Toutefois, nous avons séparé un type précis de SRÉ, dont l'utilisation se limite au domaine du care, et qui démontre un potentiel remarquable pour participer activement à la justice sociale, non seulement en se conformant aux exigences minimales, mais en répondant aussi au critère de bienfaisance. Si, actuellement, les SRÉ posent des risques importants, il est toutefois possible de considérer la possibilité que certains types spécifiques participent à la justice sociale et apportent une aide ainsi qu'un support émotionnel et psychologique à certains membres de la société. / Emotion recognition systems (ERS) offer the ability to identify the emotions of others, based on an analysis of their facial expressions and regardless of culture, ethnicity, context, gender or social class. By claiming universalism in the expression as well as in the recognition of emotions, we believe that ERS present significant risks of causing great harm to some individuals, in addition to targeting, in some contexts, specific social groups. Drawing on a wide range of multidisciplinary knowledge - including philosophy, psychology, computer science and anthropology - this research project aims to identify the current limitations of ERS and the main risks that their use brings, with the goal of providing a clear and robust analysis of the use of ERS and their contribution to greater social justice. Pointing to technical limitations, we refute, on the one hand, the idea that ERS are able to prove the causal link between specific emotions and specific facial expressions. We support our argument with evidence of the inability of ERS to distinguish facial expressions of emotions from facial expressions as communication signals. On the other hand, due to the contextual and cultural limitations of current ERS, we refute the idea that ERS are able to recognise, with equal performance, the emotions of individuals, regardless of their culture, ethnicity, gender and social class. Our ethical analysis shows that the risks are considerably more numerous and important than the benefits that could be derived from using ERS. However, we have separated out a specific type of ERS, whose use is limited to the field of care, and which shows a remarkable potential to actively participate in social justice, not only by complying with the minimum requirements, but also by meeting the criterion of beneficence. While ERS currently pose significant risks, it is possible to consider the potential for specific types to participate in social justice and provide emotional and psychological support and assistance to certain members of society.

Cette étude a pour but de vérifier si 25 bébés âgés de cinq mois, soumis à une tâche d'habituation visuelle, peuvent reconnaître le visage de leur père. Les sujets sont successivement habitués au visage de leur père et au visage d'un étranger qui lui ressemble. Seules les caractéristiques internes des visages sont présentées aux enfants. Les résultats indiquent que les garçons obtiennent des scores plus élevés p o u r le père, comparativement à l'étranger, sur certaines variables (par exemple: la durée du premier essai, la durée moyenne des essais, la durée du niveau de base ,etc.). Toutefois, ces différences significatives sont fonction de certains attributs des visages présentés(lunettes, barbe). Les filles ne démontrent aucune différence significative. Les résultats sont comparés avec ceux obtenus dans les études antérieures qui visaient à évaluer la capacité des bébés à reconnaître le visage de leur mère.

Cette recherche analyse les effets de la durée de présentation des stimuli dans la reconnaissance d'expressions faciales émotionnelles ressenties. A partir d'un matériel vidéoscopique, une première étude utilise des extraits dynamiques alors qu'une seconde étude utilise des extraits statiques. Pour chacune des études, de courts extraits vidéoscopiques d'une durée de 1 seconde, 5 secondes et 10 secondes sont présentés à 3 groupes de sujets composés chacun de 20 étudiants et 20 étudiantes de niveau universitaire. Dans les deux études, les sujets ont 10 secondes pour effectuer l'identification de l'émotion représentée parmi 6 choix possibles: joie, peur, surprise, colère, tristesse et dégoût. Les résultats de l'étude dynamique indiquent une augmentation significative de la performance en fonction de la durée de présentation des stimuli, alors qu'aucune augmentation significative n'est observée dans le cas de l'étude statique.

Le but de la présente étude consiste à vérifier, avec la technique de l'habituation visuelle, si les nourrissons de trois mois ont la capacité de reconnaître le visage filmé de leur père, dans la condition où ce dernier est comparé au visage d’un étranger. L’échantillon est composés de 24 enfants, âgés de 93 jours en moyenne. Selon les analyses effectuées, il est démontré que les nourrissons de trois mois ont des comportements différents envers le visage de leur père comparativement à celui de l'étranger, mais uniquement selon certaines variables. Les résultats suggèrent que l’ordre de présentation ainsi que le sexe de l'enfant influencent grandement la capacité du nourrisson de trois mois à distinguer le visage de son père.

La cécité à la répétition (Kanwisher, 1986, 1987) est définie comme une incapacité de voir ou de se rappeler le deuxième de deux éléments similaires ou identiques présentés visuellement, d'une façon séquentielle rapide dans une même séquence. Plusieurs mécanismes ont été proposés pour expliquer ce phénomène. Nous proposons d'utiliser les visages et les expressions faciales pour savoir si ce phénomène est relié à l'attention. Nous allons d'abord tenter de répéter certains résultats antérieurs afin de nous assurer que les techniques requises pour la présentation rapide de visages sont adéquates pour ce genre d'étude. Dans la première expérience, il est plus facile pour les participants de se rappeler les images répétées. Alors que les mots répétés ou non (Expérience 2) n'affectent aucunement le rappel immédiat de ces derniers. Finalement, la cécité à la répétition fut observée pour les phrases avec répétition (Expérience 3). Les résultats inattendus et les problèmes techniques lors de notre expérimentation sont les facteurs qui pour l'instant limitent l'étude de la cécité à la répétition avec des visages comme stimuli.