L'identification des visages est primordiale lors de nos interactions sociales. Ainsi, notre comportement change suite à l'identification de la personne avec laquelle nous interagissons. De plus, les travaux en psychologie et en neurosciences ont observé que le traitement cognitif face à un visage familier diffère de celui que nous avons face à un visage inconnu.D'une autre part, les dernières techniques de rendu 3D et les dernières avancées des scans 3D ont permis la création de visages virtuels photo-réalistes modélisant des personnes réelles existantes. La tendance actuelle pour modéliser des humains virtuels est de se baser sur des techniques d'acquisition de données réelles (issues de scans et de sessions de capture de mouvement). Par conséquent, les recherches et applications en humains virtuels ont connu un intérêt croissant pour ces clones virtuels (des agents ayant un aspect familier ou du moins reconnaissable). Les clones virtuels sont donc de plus en plus répandus dans des interfaces homme-machine et dans l'industrie audio-visuelle.L'étude de la perception et de l'interaction avec des clones virtuels est donc devenue nécessaire pour appréhender la conception et l'évaluation de cette technologie. En effet, très peu d'études se sont penchées sur l'évaluation de la fidélité de ces clones virtuels. L'objectif de cette thèse consiste à explorer cet axe de recherche en examinant le processus de perception de la fidélité d'un visage virtuel, clone d'une personne réelle (que l'on connait ou non).Nos travaux répondent à plusieurs questions de recherche: Quels sont les éléments qui nous permettent d'évaluer la ressemblance du clone virtuel avec son référent? Parmi les multiples possibilités de techniques de rendu, d'animation et d'acquisition de données qu'offre l'informatique graphique, quelle est la meilleure combinaison pour assurer le plus haut degré de fidélité perçue ? L'apparence visuelle n'est cependant qu'une des composantes qui interviennent dans la reconnaissance de personnes familières. Les autres composantes comprennent ainsi l'expressivité mais aussi le traitement des connaissances que nous avons sur cette personne (par exemple sa manière particulière d'évaluer une situation émotionnelle et de l'exprimer via son visage).Nos contributions apportent des éléments de réponse à ces questions à plusieurs niveaux. Nous avons défini un cadre conceptuel identifiant les principaux concepts pertinents pour l'étude de la fidélité d'un visage virtuel. Nous avons aussi étudié l'aspect visuel de la fidélité à travers l'exploration de différentes techniques de rendu. Nous avons étudié dans une autre étape l'impact de la familiarité dans le jugement de la fidélité. Finalement, nous avons proposé un modèle informatique individuel basé sur une approche cognitive des émotions qui permet de guider l'animation expressive du clone virtuel.Ces travaux de thèse ouvrent des perspectives pour la conception et l'amélioration de clones virtuels, mais aussi plus généralement des interfaces homme-machine basées sur des agents expressifs. / Face identification plays a crucial role in our daily social interactions. Indeed, our behavior changes according to the identification of the person with whom we interact. Moreover, several studies in Psychology and Neurosciences have observed that our cognitive processing of familiar faces is different from the cognitive processing of unfamiliar faces.Creating photorealistic an animated human-like face of a real person is now possible thanks to recent advances in Computer Graphics and 3D scan systems. Recent rendering techniques are challenging our ability to distinguish between computer generated faces and real human faces. Besides, the current trend to model virtual humans is to involve real data collected using scans and motion capture systems. Research and applications in virtual humans have experienced a growing interest in so-called virtual clones (agents with a familiar aspect or at least recognizable). Virtual clones are therefore increasingly used in human-machine interfaces and in the audiovisual industry. Studies about the perception and interaction with virtual clones are therefore required to better understand how we should design and evaluate this kind of technology. Indeed, very few studies have tried to evaluate virtual clones' fidelity with respect to the original human (hereafter called “the referent”). The main goal of this thesis is to explore this line of research. Our work rises several research questions: What are the features of the virtual clone that enable us to evaluate the resemblance between a virtual clone and its referent? Among several possibilities of rendering, animation and data acquisition techniques offered by Computer Graphics, what is the best combination of techniques to ensure the highest level of perceived fidelity?However, visual appearance is not the only component that is involved in recognizing familiar people. The other components include facial expressiveness but also the possible knowledge that we have about the referent (e.g. his particular way of assessing an emotional situation and expressing it through his face).Our contributions provide answers to these questions at several levels. We define a conceptual framework identifying the key concepts which are relevant for the study of the fidelity of a virtual face. We explore different rendering techniques. We describe an experimental study about the impact of familiarity in the judgment of fidelity. Finally, we propose a preliminary individual computational model based on a cognitive approach of emotions that could drive the animation of the virtual clone.This work opens avenues for the design and improvement of virtual clones, and more generally for the human-machine interfaces based on expressive virtual agents.

Les interrogations éthiques sur la greffe du visage semblent incontournables. Quels sont les risques tolérables, non pas de manière irresponsable, mais, en conscience, dans l'intérêt du patient ? Dans quelles mesures les questions éthiques ont-elles été abordées par les équipes chirurgicales avant la réalisation des greffes ? L'éthique peut-elle légitimer cette intervention ? Une étude de la littérature scientifique et de la littérature grise des équipes ayant réalisé une greffe de la face a été menée pour déterminer les questions éthiques soulevées par cette greffe. Elles touchent à la fois au donneur, à sa famille et au receveur. A partir de ces items, une enquête par questionnaire a été conduite auprès de ces mêmes équipes chirurgicales pour évaluer leur prise en charge. Pour ouvrir le débat, associer la collectivité à des fins pédagogiques et tracer la route des nouvelles acceptations, 1000 chirurgiens français ont aussi été interrogés par un questionnaire. Les résultats ont permis d'explorer le problème du consentement de la famille du donneur, la place des proches dans le respect de la mémoire et de la volonté du défunt. Explorer aussi le respect du cadavre, le secret médical, le respect de l'anonymat du donneur, le rôle des médias, et enfin la notion de consentement d'un patient vulnérable et celle de la balance bénéfice / risque pour un traitement dont les bénéfices sont encore incertains. Dans le cadre du visage, ces questions prennent une dimension humaine essentielle... Pour en témoigner les premiers travaux ont porté sur le symbolisme du visage, la défiguration, les enjeux historiques, juridiques, institutionnels et religieux. / The ethical questions about the face transplant seem unavoidable. What risks can be tolerated, not irresponsibly, but in conscience, in the interest of the patient ? To what extent the ethical issues have been addressed by surgical teams prior to the completion of transplants ? Can ethics justify this intervention? A study of the scientific literature and general press of every team having performed the face transplant was conducted to determine the ethical issues raised by this transplantation. They affect both the donor and his family and the recipient. From these items, a questionnaire survey was conducted with the same surgical team to assess the management of these ethical issues. To open the debate, involving the community for educational and trace the way of the new acceptances, 1000 French surgeons were also interviewed by a questionnaire. The results were used to explore the issue of consent of the donor's family, the place of family in respect of memory and the will of the deceased. Explorer also respect the body, medical confidentiality, respect for donor anonymity, the role of media in the first major surgery, and finally the concept of consent of a vulnerable patient and that of the risk / benefit ratio for treatment whose benefits are still uncertain. As part of the face such questions are essential human dimension ... To testify early work focused on the symbolism of the face, disfigurement, historical, legal, institutional, and religious challenges.

La reconnaissance experte de l'expression faciale est cruciale pour l'interaction et la communication sociale. Le comportement, les potentiels évoqués (ERP), et les techniques d’oculométrie peuvent être utilisés pour étudier les mécanismes cérébraux qui participent au traitement visuel automatique. La reconnaissance d'expressions faciales implique non seulement l'extraction d'informations à partir de caractéristiques faciales diagnostiques, stratégie qualifiée de traitement local, mais aussi l'intégration d'informations globales impliquant des traitements configuraux. Des nombreuses recherches concernant le traitement des informations faciales émotionnelles il apparaît que l’interaction des traitements locaux et configuraux pour la reconnaissance des émotions est mal comprise. La complexité inhérente à l'intégration de l'information faciale est mise en lumière lorsque l'on compare la performance de sujets sains et d’individus atteints de schizophrénie, car ces derniers ont tendance à s’attarder sur quelques éléments locaux, parfois peu informatifs. Les différentes façons d'examiner les visages peuvent avoir un impact sur la capacité socio-cognitive de reconnaître les émotions. Pour ces raisons, cette thèse étudie le rôle des caractéristiques diagnostiques et configurales dans la reconnaissance de l'expression faciale. En plus des aspects comportementaux, nous avons donc examiné la dynamique spatiale et temporelle des fixations à l’aide de mesures oculométriques, ainsi que l’activité électrophysiologique précoce considérant plus particulièrement les composantes P100 et N170. Nous avons créé de nouveaux stimuli des esquisses par une transformation numérique de portraits photos en esquisses, pour des visages exprimant colère, tristesse, peur, joie ou neutralité, issus de la base Radboud Faces Database, en supprimant les informations de texture du visage et ne conservant que les caractéristiques diagnostiques (yeux et sourcils, nez, bouche). Ces esquisses altèrent le traitement configural en comparaison avec les visages photographiques, ce qui augmente le traitement des caractéristiques diagnostiques par traitement élémentaire, en contrepartie. La comparaison directe des mesures neurocognitives entre les esquisses et les visages photographiques exprimant des émotions de base n'a jamais été testée, à notre connaissance. Dans cette thèse, nous avons examiné (i) les fixations oculaires en fonction du type de stimulus, (ii) la réponse électrique aux manipulations expérimentales telles que l'inversion et la déconfiguration du visage. Concernant, les résultats comportementaux montrent que les esquisses de visage transmettent suffisamment d'information expressive (compte tenu de la présence des caractéristiques diagnostiques) pour la reconnaissance des émotions en comparaison des visages photographiques. Notons que, comme attendu, il y avait un net avantage de la reconnaissance des émotions pour les expressions heureuses par rapport aux autres émotions. En revanche, reconnaître des visages tristes et en colère était plus difficile. Ayant analysé séparément les fixations successives, les résultats indiquent que les participants ont adopté un traitement plus local des visages croqués et photographiés lors de la deuxième fixation. Néanmoins, l'extraction de l'information des yeux est nécessaire lorsque l'expression transmet des informations émotionnelles plus complexes et lorsque les stimuli sont simplifiés comme dans les esquisses. Les résultats de l’électroencéphalographie suggèrent également que les esquisses ont engendré plus de traitement basé sur les parties. Les éléments transmis par les traits diagnostiques pourraient avoir fait l'objet d'un traitement précoce, probablement dû à des informations de bas niveau durant la fenêtre temporelle de la P100, suivi d'un décodage ultérieur de la structure faciale dans la fenêtre temporelle de la N170. / Proficient recognition of facial expression is crucial for social interaction. Behaviour, event-related potentials (ERPs), and eye-tracking techniques can be used to investigate the underlying brain mechanisms supporting this seemingly effortless processing of facial expression. Facial expression recognition involves not only the extraction of expressive information from diagnostic facial features, known as part-based processing, but also the integration of featural information, known as configural processing. Despite the critical role of diagnostic features in emotion recognition and extensive research in this area, it is still not known how the brain decodes configural information in terms of emotion recognition. The complexity of facial information integration becomes evident when comparing performance between healthy subjects and individuals with schizophrenia because those patients tend to process featural information on emotional faces. The different ways in examining faces possibly impact on social-cognitive ability in recognizing emotions. Therefore, this thesis investigates the role of diagnostic features and face configuration in the recognition of facial expression. In addition to behavior, we examined both the spatiotemporal dynamics of fixations using eye-tracking, and early neurocognitive sensitivity to face as indexed by the P100 and N170 ERP components. In order to address the questions, we built a new set of sketch face stimuli by transforming photographed faces from the Radboud Faces Database through the removal of facial texture and retaining only the diagnostic features (e.g., eyes, nose, mouth) with neutral and four facial expressions - anger, sadness, fear, happiness. Sketch faces supposedly impair configural processing in comparison with photographed faces, resulting in increased sensitivity to diagnostic features through part-based processing. The direct comparison of neurocognitive measures between sketch and photographed faces expressing basic emotions has never been tested. In this thesis, we examined (i) eye fixations as a function of stimulus type, and (ii) neuroelectric response to experimental manipulations such face inversion and deconfiguration. The use of these methods aimed to reveal which face processing drives emotion recognition and to establish neurocognitive markers of emotional sketch and photographed faces processing. Overall, the behavioral results showed that sketch faces convey sufficient expressive information (content of diagnostic features) as in photographed faces for emotion recognition. There was a clear emotion recognition advantage for happy expressions as compared to other emotions. In contrast, recognizing sad and angry faces was more difficult. Concomitantly, results of eye-tracking showed that participants employed more part-based processing on sketch and photographed faces during second fixation. The extracting information from the eyes is needed when the expression conveys more complex emotional information and when stimuli are impoverished (e.g., sketch). Using electroencephalographic (EEG), the P100 and N170 components are used to study the effect of stimulus type (sketch, photographed), orientation (inverted, upright), and deconfiguration, and possible interactions. Results also suggest that sketch faces evoked more part-based processing. The cues conveyed by diagnostic features might have been subjected to early processing, likely driven by low-level information during P100 time window, followed by a later decoding of facial structure and its emotional content in the N170 time window. In sum, this thesis helped elucidate elements of the debate about configural and part-based face processing for emotion recognition, and extend our current understanding of the role of diagnostic features and configural information during neurocognitive processing of facial expressions of emotion.

The thesis is concerned with the substandard expressions of parts of the face in the French language, specifically with the synonyms of mouth, eyes, ears and nose. The theoretical part deals with the definition of slang in general, its history and word formation processes. The practical part presents synonyms of the given parts of the face, which are in the dictionary of slang Dictionnaire avec Bob and also introduces their occurrence in four French slang dictionaries, for example Argoji, and in four reference dictionaries, for example Le Petit Robert, where it compares their lexicographic marking. The thesis further deals with etymology of the synonyms and their Czech equivalents which examines in the parallel French-Czech corpus Intercorp. Last but not least, a questionnaire is implemented, which verifies the knowledge of the most frequent synonyms among native speakers of the French language. In conclusion, the thesis summarizes whether lexicographic marking differ from one reference dictionary to another and presents the most frequent synonyms and results of the questionnaire. Key words: lexicography, lexicographic marking, substandard French, dictionaries, face, Bob

Les techniques d'analyse du visage nécessitent généralement une représentation pertinente des images, notamment en passant par des techniques de réduction de la dimension, intégrées dans des schémas plus globaux, et qui visent à capturer les caractéristiques discriminantes des signaux. Dans cette thèse, nous fournissons d'abord une vue générale sur l'état de l'art de ces modèles, puis nous appliquons une nouvelle méthode intégrant une approche non-linéaire, Kernel Similarity Principle Component Analysis (KS-PCA), aux Modèles Actifs d'Apparence (AAMs), pour modéliser l'apparence d'un visage dans des conditions d'illumination variables. L'algorithme proposé améliore notablement les résultats obtenus par l'utilisation d'une transformation PCA linéaire traditionnelle, que ce soit pour la capture des caractéristiques saillantes, produites par les variations d'illumination, ou pour la reconstruction des visages. Nous considérons aussi le problème de la classification automatiquement des poses des visages pour différentes vues et différentes illumination, avec occlusion et bruit. Basé sur les méthodes des représentations parcimonieuses, nous proposons deux cadres d'apprentissage de dictionnaire pour ce problème. Une première méthode vise la classification de poses à l'aide d'une représentation parcimonieuse active (Active Sparse Representation ASRC). En fait, un dictionnaire est construit grâce à un modèle linéaire, l'Incremental Principle Component Analysis (Incremental PCA), qui a tendance à diminuer la redondance intra-classe qui peut affecter la performance de la classification, tout en gardant la redondance inter-classes, qui elle, est critique pour les représentations parcimonieuses. La seconde approche proposée est un modèle des représentations parcimonieuses basé sur le Dictionary-Learning Sparse Representation (DLSR), qui cherche à intégrer la prise en compte du critère de la classification dans le processus d'apprentissage du dictionnaire. Nous faisons appel dans cette partie à l'algorithme K-SVD. Nos résultats expérimentaux montrent la performance de ces deux méthodes d'apprentissage de dictionnaire. Enfin, nous proposons un nouveau schéma pour l'apprentissage de dictionnaire adapté à la normalisation de l'illumination (Dictionary Learning for Illumination Normalization: DLIN). L'approche ici consiste à construire une paire de dictionnaires avec une représentation parcimonieuse. Ces dictionnaires sont construits respectivement à partir de visages illuminées normalement et irrégulièrement, puis optimisés de manière conjointe. Nous utilisons un modèle de mixture de Gaussiennes (GMM) pour augmenter la capacité à modéliser des données avec des distributions plus complexes. Les résultats expérimentaux démontrent l'efficacité de notre approche pour la normalisation d'illumination. / Face analysis techniques commonly require a proper representation of images by means of dimensionality reduction leading to embedded manifolds, which aims at capturing relevant characteristics of the signals. In this thesis, we first provide a comprehensive survey on the state of the art of embedded manifold models. Then, we introduce a novel non-linear embedding method, the Kernel Similarity Principal Component Analysis (KS-PCA), into Active Appearance Models, in order to model face appearances under variable illumination. The proposed algorithm successfully outperforms the traditional linear PCA transform to capture the salient features generated by different illuminations, and reconstruct the illuminated faces with high accuracy. We also consider the problem of automatically classifying human face poses from face views with varying illumination, as well as occlusion and noise. Based on the sparse representation methods, we propose two dictionary-learning frameworks for this pose classification problem. The first framework is the Adaptive Sparse Representation pose Classification (ASRC). It trains the dictionary via a linear model called Incremental Principal Component Analysis (Incremental PCA), tending to decrease the intra-class redundancy which may affect the classification performance, while keeping the extra-class redundancy which is critical for sparse representation. The other proposed work is the Dictionary-Learning Sparse Representation model (DLSR) that learns the dictionary with the aim of coinciding with the classification criterion. This training goal is achieved by the K-SVD algorithm. In a series of experiments, we show the performance of the two dictionary-learning methods which are respectively based on a linear transform and a sparse representation model. Besides, we propose a novel Dictionary Learning framework for Illumination Normalization (DL-IN). DL-IN based on sparse representation in terms of coupled dictionaries. The dictionary pairs are jointly optimized from normally illuminated and irregularly illuminated face image pairs. We further utilize a Gaussian Mixture Model (GMM) to enhance the framework's capability of modeling data under complex distribution. The GMM adapt each model to a part of the samples and then fuse them together. Experimental results demonstrate the effectiveness of the sparsity as a prior for patch-based illumination normalization for face images.

Le but de l’expérience décrite dans ce mémoire est d'arriver à inculquer inconsciemment aux sujets une stratégie visuelle leur permettant d'utiliser seulement une partie spécifique de l'information visuelle disponible dans le visage humain pour en reconnaître le genre. Normalement, le genre d’un visage est reconnu au moyen de certaines régions, comme la bouche et les yeux (Dupuis-Roy, Fortin, Fiset et Gosselin, 2009). La tâche accomplie par les sujets permettait un apprentissage perceptuel implicite qui se faisait par conditionnement opérant. Ces derniers étaient informés qu'un nombre de points leur serait attribué selon leur performance à la tâche. Au terme de l’entraînement, les sujets renforcés pour l’utilisation de l’oeil gauche utilisaient davantage l’oeil gauche que l’oeil droit et ceux renforcés pour l’utilisation de l’oeil droit utilisaient davantage l’oeil droit. Nous discuterons de potentielles applications cliniques de cette procédure de conditionnement. / The goal of the following experiment is to make subjects unconsciously learn a visual strategy allowing them to use only part of the available visual information from the human face to correctly identify the gender of a face. Normally, the gender of a face is recognized using certain regions, like those of the mouth and the eyes (Dupuis-Roy, Fortin, Fiset et Gosselin, 2009). Our participants had to accomplish an operant conditionning task. They were informed that a number of points would be given to them according to their performance. At the end of training, the subjects that were encouraged to use the left eye indeed used the left eye more than the right. Also, those that were conditionned to use the right eye used the right eye more than the left. We will discuss the potential clinical applications of this method of conditionning.

Cette thèse a pour objectif de comparer les expressions émotionnelles évoquées par la musique, la voix (expressions non-linguistiques) et le visage sur les plans comportemental et neuronal. Plus précisément, le but est de bénéficier de l’indéniable pouvoir émotionnel de la musique afin de raffiner notre compréhension des théories et des modèles actuels associés au traitement émotionnel. Qui plus est, il est possible que cette disposition surprenante de la musique pour évoquer des émotions soit issue de sa capacité à s’immiscer dans les circuits neuronaux dédiés à la voix, bien que les évidences à cet effet demeurent éparses pour le moment. Une telle comparaison peut potentiellement permettre d’élucider, en partie, la nature des émotions musicales. Pour ce faire, différentes études ont été réalisées et sont ici présentées dans deux articles distincts. Les études présentées dans le premier article ont comparé, sur le plan comportemental, les effets d’expressions émotionnelles sur la mémoire entre les domaines musical et vocal (non-linguistique). Les résultats ont révélé un avantage systématique en mémoire pour la peur dans les deux domaines. Aussi, une corrélation dans la performance individuelle en mémoire a été trouvée entre les expressions de peur musicales et vocales. Ces résultats sont donc cohérents avec l’hypothèse d’un traitement perceptif similaire entre la musique et la voix. Dans le deuxième article, les corrélats neuronaux associés à la perception d’expressions émotionnelles évoquées par la musique, la voix et le visage ont été directement comparés en imagerie par résonnance magnétique fonctionnelle (IRMf). Une augmentation significative du signal « Blood Oxygen Level Dependent » (BOLD) a été trouvée dans l’amygdale (et à l’insula postérieure) en réponse à la peur, parmi l’ensemble des domaines et des modalités à l’étude. Une corrélation dans la réponse BOLD individuelle de l’amygdale, entre le traitement musical et vocal, a aussi été mise en évidence, suggérant à nouveau des similarités entre les deux domaines. En outre, des régions spécifiques à chaque domaine ont été relevées. Notamment, le gyrus fusiforme (FG/FFA) pour les expressions du visage, le sulcus temporal supérieur (STS) pour les expressions vocales ainsi qu’une portion antérieure du gyrus temporal supérieur (STG) particulièrement sensible aux expressions musicales (peur et joie), dont la réponse s’est avérée modulée par l’intensité des stimuli. Mis ensemble, ces résultats révèlent des similarités mais aussi des différences dans le traitement d’expressions émotionnelles véhiculées par les modalités visuelle et auditive, de même que différents domaines dans la modalité auditive (musique et voix). Plus particulièrement, il appert que les expressions musicales et vocales partagent d’étroites similarités surtout en ce qui a trait au traitement de la peur. Ces données s’ajoutent aux connaissances actuelles quant au pouvoir émotionnel de la musique et contribuent à élucider les mécanismes perceptuels sous-jacents au traitement des émotions musicales. Par conséquent, ces résultats donnent aussi un appui important à l’utilisation de la musique dans l’étude des émotions qui pourra éventuellement contribuer au développement de potentielles interventions auprès de populations psychiatriques. / This thesis aims to compare emotional expressions evoked by music, voices (non-linguistic) and faces at a behavioral and neuronal level. Specifically, the goal was to exploit the emotional power of music to refine our understanding of theories and models associated with emotional processing. Moreover, it has been suggested that music’s surprising ability to evoke emotions might arise from its capacity to invade brain circuits dedicated to voice processing, although evidences are scarce in this regard. Therefore, a direct comparison between these stimulus categories could potentially help understand the bases of musical emotions. To do so, we conducted a series of experiments, which are presented in two separate published articles. Experiments presented in the first paper compared, at a behavioral level, the effect of emotions on memory across musical and vocal (non-linguistic) domains. Results revealed a systematic memory advantage for fear within both domains. Individual memory performances were also correlated across musical and vocal expressions. These results are thus consistent with the hypothesis of a similar behavioral processing between music and voices. In the second article, neural correlates associated with the perception of emotional expressions evoked by music, voices and faces were directly compared using functional magnetic resonance imaging (fMRI). Significant «Blood Oxygen Level Dependent» (BOLD) signal increase in the amygdala (and posterior insula) was found across domains and modalities in response to fear expressions. In addition, subject-specific amygdala BOLD signal responses for music and voice were correlated, again suggesting similarities across domains. Domain specific brain regions were also revealed. Namely, the fusiform gyrus (FG/FFA) for faces, the superior temporal sulcul (STS) in the case of voices, and an anterior portion of the superior temporal gyrus (STG) for musical expressions (fear & happiness), whose response appeared to be modulated by stimulus emotional intensity. Altogether, the results presented here suggest similarities but also differences in the processing of emotional expressions conveyed by visual and auditory modalities, and, within the audition, for different domains (music and voices). In particular, emotional expressions within the musical and vocal domains appear to share close similarities, especially in the case of fear. These data adds on to current knowledge about the emotional power of music and contribute to clarify some of the underlying perceptual mechanisms involved in processing musical emotions. Thus, these findings provide further support that music can be a useful tool in investigating emotions and that it could eventually contribute to develop potential interventions for psychiatric populations.

Les Troubles du Spectre de l’Autisme (TSA) caractérisent un ensemble hétérogène de troubles neuro-développementaux regroupant des anomalies dans le domaine des compétences sociales, celui de la communication associées à des troubles du comportement de types répétitifs et stéréotypés et à des intérêts restreints. Une des hypothèses possible qui rendrait compte des particularités de communication et d’adaptation sociale des personnes avec TSA serait celle d’anomalies dans la prise d’informations sociales de l’environnement et notamment celles issue des visages. Des particularités dans l’exploration des visages entraineraient des anomalies dans la compréhension des messages véhiculés par ceux ci dans les situations de communication et d’interaction sociale. Par ailleurs, l’exposition et l’expérience pour les visages dans l’automatisation du processus sont encore mal intégrées à la modélisation du processus de maturation développemental typique de cette fonction. Dans ce travail, deux expérimentations basées sur un protocole comportemental ont permis de préciser le rôle de l’exposition dans la mémoire des visages hyper familiers. Dans un second temps, seront présentés les résultats d’un travail expérimental utilisant la technique de suivi du regard en « eye tracking », associée à une méthode innovante de traitement des données à postériori basée sur une normalisation spatiale des visages et une analyse en statistique spatiale des points de fixations permettant de s’affranchir des biais méthodologiques relevés dans le domaine. Les expérimentations ont été proposées à 4 groupes différents : 2 groupes d’enfants et d’adultes au développement typiques et 2 groupes d’enfants et adultes avec TSA sans déficience intellectuelle (TSA sdi). Le protocole d’exploration libre en Eye tracking, a regroupé 3 sets de stimuli statiques (images de visages neutres, humains et non humains, scènes sociales, paysages) qui ont été proposés à 26 adultes typiques, 14 enfants typiques, 13 adultes avec TSA sdi et 14 enfants avec TSA sdi. Une méthode d’analyse en statistique spatiale (Dirichley tesselation method) a été utilisée sur l’avatar normalisant l’ensemble des visages sélectionnés. Seules les fixations qui étaient au sein de cluster statistiquement significatif (p<0.05) ont été retenus pour la comparaison entre groupes. Les résultats montrent des différences entre les 4 groupes suggérant la co-existence d’effet développementaux et pathologiques dans le développement des particularités de scanning des personnes avec TSA sdi. Nos résultats suggèrent un effet développemental fort dans l’automatisation de l’exploration visuelle des visages humains non familiers dans la population typique qui semble bloqué dans la population avec TSA sdi. Les adultes et les enfants typiques montrent donc des patterns spécifiques d’exploration des visages neutres non familiers. Un pattern différent est retrouvé dans l’exploration des visages familiers ce qui suggère un effet familiarité sur l’exploration. Cette automatisation dans l’exploration est retrouvée chez l’adulte typique pour les visages non humains (avatars, robots). Les stratégies d’exploration des visages non humains (avatar et robot) ne semblent pas être significativement différentes de celles des visages humains, pour les 2 groupes d’adultes, alors que l’on retrouve un effet espèce également dans les 2 groupes d’adultes. Les stratégies d’exploration des 2 groupes d’enfants ne permettent pas d’individualiser de patterns spécifiques à l’exploration de visages non humains. Ces marqueurs d’exploration des visages, qui signent une automatisation de l’exploration dans le développement typique, doivent être pris en compte dans les choix et le développement de nouvelles méthodes d’entrainement et de rééducation de l’exploration des visages afin de guider la recherche d’indices sociaux pertinents à l’interaction et la communication sociales, dans le contexte des Troubles du Spectre de l’Autisme. / Autism Spectrum disorders (ASD) are pervasive development disorders characterised by social and communication impairments co-occurring with stereotyped behaviours and restricted interests. One of the possible explanation for difficulties in social interactions and communication observed in people with ASD, is abnormalitiy in face scanning and processing. The role of exposure and experience in face processing have to be highlighted in the issue of atypical development. We first explored in two experiments, the rôle of exposure in the memory of very familiar faces. Secondly in the present work, we developped an original method to perform off-line analysis using a spatial normalization of faces and spatial statistic analysis to respond to methodological biais and to investigate face scanning and routines in exploration of various type of faces. Three studies were performed on 4 different groups. First we we investigated in two different studies, the typical and atypical developmental aspect of sensitivity to the orientation of familiar faces, refferring to « the mere exposure » hypothesis, by asking 38 typical adults, 72 typical children from 3 to 12 years old then 14 adults and 13 children with ASD to make a preference choice between standard and mirror images of themselves and of familiar faces, presented side-by-side or successively. Secondly, we proposed to 26 typical Adults, 14 typical Children, 13 high-functioning adults and 14 high-functionning children with ASD to perform an eye tracking experiment using 3 sets of 20 pictures that included neutral unknown faces, neutral familiar faces, avatar faces, robots faces and animal faces. Spatial analysis using Dirichley tessellation method was used. Only the fixations that were statistically significant (p<0.05) were taken into account. Results of the first 2 experiments suggest the occurrence of a typical developmental process in the perception of familiar face asymmetries which are retained in memory related to expérience, for typical subjects and ASD subjects. Our eye tracking experiment results show differences between the four groups for unfamiliar faces condition, suggesting developmental and pathological effects regarding the scanning strategies (sequences) and fixation time for eyes and mouth. In contrast, our results suggest a clear developmental but light pathological effect in the familiar face condition. Adults of both groups show a face scanning strategy similar to the one used in human face exploration when looking at human-like faces (avatar and robots) but not animal faces. No specific scanning pattern was found when exploring non human faces in both child groups. Our results show that adults and children use specific sequential scanning strategy for exploring human facial stimuli. This sequential analysis is present only in adults for non human face stimuli. Our results support the hypothesis that both developmental and pathological processes take place for human face scanning and human-like faces but not animals faces. Familiar faces scanning show specificity compared to unfamiliar faces. This should be taken into account to develop new assessment and training methods in the context of atypical developmental disorder.

Cette thèse traite la problématique liée à la modélisation du visage dans le but de l’analyse faciale.Dans la première partie de cette thèse, nous avons proposé le Modèle Actif d’Apparence Multi-Objet. La spécificité du modèle proposé est que les différentes parties du visage sont traités comme des objets distincts et les mouvements oculaires (du regard et clignotement) sont extrinsèquement paramétrées.La deuxième partie de la thèse porte sur l'utilisation de la modélisation de visage dans le contexte de la reconnaissance des émotions.Premièrement, nous avons proposé un système de reconnaissance des expressions faciales sous la forme d’Action Units. Notre contribution porte principalement sur l'extraction des descripteurs de visage. Pour cela nous avons utilisé les modèles AAM locaux.Le second système concerne la reconnaissance multimodale des quatre dimensions affectives :. Nous avons proposé un système qui fusionne des caractéristiques audio, contextuelles et visuelles pour donner en sortie les quatre dimensions émotionnelles. Nous contribuons à ce système en trouvant une localisation précise des traits du visage. En conséquence, nous proposons l’AAM Multi-Modèle. Ce modèle combine un modèle global extrinsèque du visage et un modèle local de la bouche. / The work in this thesis deals with the problematic of face modeling for the purpose of facial analysis.In the first part of this thesis, we proposed the Multi-Object Facial Actions Active Appearance Model (AAM). The specificity of the proposed model is that different parts of the face are treated as separate objects and eye movements (gaze and blink) are extrinsically parameterized. This increases the generalization capabilities of classical AAM.The second part of the thesis concerns the use of face modeling in the context of expression and emotion recognition. First we have proposed a system for the recognition of facial expressions in the form of Action Units (AU). Our contribution concerned mainly the extraction of AAM features of which we have opted for the use of local models.The second system concerns multi-modal recognition of four continuously valued affective dimensions. We have proposed a system that fuses audio, context and visual features and gives as output the four emotional dimensions. We contribute to the system by finding the precise localization of the facial features. Accordingly, we propose the Multi-Local AAM. This model combines extrinsically a global model of the face and a local one of the mouth through the computation of projection errors on the same global AAM.

Visage est l’une des meilleures biométries pour la reconnaissance de l’identité de personnes, car l’identification d’une personne par le visage est l’habitude instinctive humaine, et l’acquisition de données faciales est naturelle, non intrusive et bien acceptée par le public. Contrairement à la reconnaissance de visage par l’image 2D sur l’apparence, la reconnaissance de visage en 3D sur la forme est théoriquement plus stable et plus robuste à la variance d’éclairage, aux petits changements de pose de la tête et aux cosmétiques pour le visage. Spécifiquement, les courbures sont les plus importants attributs géométriques pour décrire la forme géométrique d’une surface. Elles sont bénéfiques à la caractérisation de la forme du visage qui permet de diminuer l’impact des variances environnementales. Cependant, les courbures traditionnelles ne sont définies que sur des surfaces lisses. Il est donc nécessaire de généraliser telles notions sur des surfaces discrètes, par exemple des visages 3D représenté par maillage triangulaire, et d’évaluer leurs performances en reconnaissance de visage 3D. En outre, même si un certain nombre d’algorithmes 3D FR avec une grande précision sont disponibles, le coût d’acquisition de telles données de haute résolution est difficilement acceptable pour les applications pratiques. Une question majeure est donc d’exploiter les algorithmes existants pour la reconnaissance de modèles à faible résolution collecté avec l’aide d’un nombre croissant de caméras consommateur de profondeur (Kinect). Le dernier problème, mais non le moindre, est la menace sur sécurité des systèmes de reconnaissance de visage 3D par les attaques de masque fabriqué. Cette thèse est consacrée à l’étude des attributs géométriques, des mesures de courbure principale, adaptées aux maillages triangulaires, et des schémas de reconnaissance de visage 3D impliquant des telles mesures de courbure principale. En plus, nous proposons aussi un schéma de vérification sur la reconnaissance de visage 3D collecté en comparant des modèles de résolutions hétérogènes équipement aux deux résolutions, et nous évaluons la performance anti-spoofing du système de RF 3D. Finalement, nous proposons une biométrie système complémentaire de reconnaissance veineuse de main basé sur la détection de vivacité et évaluons sa performance. Dans la reconnaissance de visage 3D par la forme géométrique, nous introduisons la généralisation des courbures principales conventionnelles et des directions principales aux cas des surfaces discrètes à maillage triangulaire, et présentons les concepts des mesures de courbure principale correspondants et des vecteurs de courbure principale. Utilisant ces courbures généralisées, nous élaborons deux descriptions de visage 3D et deux schémas de reconnaissance correspondent. Avec le premier descripteur de caractéristiques, appelé Local Principal Curvature Measures Pattern (LPCMP), nous générons trois images spéciales, appelée curvature faces, correspondant à trois mesures de courbure principale et encodons les curvature faces suivant la méthode de Local Binary Pattern. Il peut décrire la surface faciale de façon exhaustive par l’information de forme locale en concaténant un ensemble d’histogrammes calculés à partir de petits patchs dans les visages de courbure. Dans le deuxième système de reconnaissance de visage 3D sans enregistrement, appelée Principal Curvature Measures based meshSIFT descriptor (PCM-meshSIFT), les mesures de courbure principales sont d’abord calculées dans l’espace de l’échelle Gaussienne, et les extrèmes de la Différence de Courbure (DoC) sont définis comme les points de caractéristique. Ensuite, nous utilisons trois mesures de courbure principales et leurs vecteurs de courbure principaux correspondants pour construire trois descripteurs locaux pour chaque point caractéristique, qui sont invariants en rotation. [...] / Face is one of the best biometrics for person recognition related application, because identifying a person by face is human instinctive habit, and facial data acquisition is natural, non-intrusive, and socially well accepted. In contrast to traditional appearance-based 2D face recognition, shape-based 3D face recognition is theoretically more stable and robust to illumination variance, small head pose changes, and facial cosmetics. The curvatures are the most important geometric attributes to describe the shape of a smooth surface. They are beneficial to facial shape characterization which makes it possible to decrease the impact of environmental variances. However, exiting curvature measurements are only defined on smooth surface. It is required to generalize such notions to discrete meshed surface, e.g., 3D face scans, and to evaluate their performance in 3D face recognition. Furthermore, even though a number of 3D FR algorithms with high accuracy are available, they all require high-resolution 3D scans whose acquisition cost is too expensive to prevent them to be implemented in real-life applications. A major question is thus how to leverage the existing 3D FR algorithms and low-resolution 3D face scans which are readily available using an increasing number of depth-consumer cameras, e.g., Kinect. The last but not least problem is the security threat from spoofing attacks on 3D face recognition system. This thesis is dedicated to study the geometric attributes, principal curvature measures, suitable to triangle meshes, and the 3D face recognition schemes involving principal curvature measures. Meanwhile, based on these approaches, we propose a heterogeneous cross-resolution 3D FR scheme, evaluate the anti-spoofing performance of shape-analysis based 3D face recognition system, and design a supplementary hand-dorsa vein recognition system based on liveness detection with discriminative power. In 3D shape-based face recognition, we introduce the generalization of the conventional point-wise principal curvatures and principal directions for fitting triangle mesh case, and present the concepts of principal curvature measures and principal curvature vectors. Based on these generalized curvatures, we design two 3D face descriptions and recognition frameworks. With the first feature description, named as Local Principal Curvature Measures Pattern descriptor (LPCMP), we generate three curvature faces corresponding to three principal curvature measures, and encode the curvature faces following Local Binary Pattern method. It can comprehensively describe the local shape information of 3D facial surface by concatenating a set of histograms calculated from small patches in the encoded curvature faces. In the second registration-free feature description, named as Principal Curvature Measures based meshSIFT descriptor (PCM-meshSIFT), the principal curvature measures are firstly computed in the Gaussian scale space, and the extremum of Difference of Curvautre (DoC) is defined as keypoints. Then we employ three principal curvature measures and their corresponding principal curvature vectors to build three rotation-invariant local 3D shape descriptors for each keypoint, and adopt the sparse representation-based classifier for keypoint matching. The comprehensive experimental results based on FRGCv2 database and Bosphorus database demonstrate that our proposed 3D face recognition scheme are effective for face recognition and robust to poses and occlusions variations. Besides, the combination of the complementary shape-based information described by three principal curvature measures significantly improves the recognition ability of system. To deal with the problem towards heterogeneous cross-resolution 3D FR, we continuous to adopt the PCM-meshSIFT based feature descriptor to perform the related 3D face recognition. [...]