Abstract In recent years, facial expression recognition has become a useful scheme for computers to affectively understand the emotional state of human beings. Facial representation and facial expression recognition under unconstrained environments have been two critical issues for facial expression recognition systems. This thesis contributes to the research and development of facial expression recognition systems from two aspects: first, feature extraction for facial expression recognition, and second, applications to challenging conditions. Spatial and temporal feature extraction methods are introduced to provide effective and discriminative features for facial expression recognition. The thesis begins with a spatial feature extraction method. This descriptor exploits magnitude while it improves local quantized pattern using improved vector quantization. It also makes the statistical patterns domain-adaptive and compact. Then, the thesis discusses two spatiotemporal feature extraction methods. The first method uses monogenic signal analysis as a preprocessing stage and extracts spatiotemporal features using local binary pattern. The second method extracts sparse spatiotemporal features using sparse cuboids and spatiotemporal local binary pattern. Both methods increase the discriminative capability of local binary pattern in the temporal domain. Based on feature extraction methods, three practical conditions, including illumination variations, facial occlusion and pose changes, are studied for the applications of facial expression recognition. First, with near-infrared imaging technique, a discriminative component-based single feature descriptor is proposed to achieve a high degree of robustness and stability to illumination variations. Second, occlusion detection is proposed to dynamically detect the occluded face regions. A novel system is further designed for handling effectively facial occlusion. Lastly, multi-view discriminative neighbor preserving embedding is developed to deal with pose change, which formulates multi-view facial expression recognition as a generalized eigenvalue problem. Experimental results on publicly available databases show that the effectiveness of the proposed approaches for the applications of facial expression recognition. / Tiivistelmä Kasvonilmeiden tunnistamisesta on viime vuosina tullut tietokoneille hyödyllinen tapa ymmärtää affektiivisesti ihmisen tunnetilaa. Kasvojen esittäminen ja kasvonilmeiden tunnistaminen rajoittamattomissa ympäristöissä ovat olleet kaksi kriittistä ongelmaa kasvonilmeitä tunnistavien järjestelmien kannalta. Tämä väitöskirjatutkimus myötävaikuttaa kasvonilmeitä tunnistavien järjestelmien tutkimukseen ja kehittymiseen kahdesta näkökulmasta: piirteiden irrottamisesta kasvonilmeiden tunnistamista varten ja kasvonilmeiden tunnistamisesta haastavissa olosuhteissa. Työssä esitellään spatiaalisia ja temporaalisia piirteenirrotusmenetelmiä, jotka tuottavat tehokkaita ja erottelukykyisiä piirteitä kasvonilmeiden tunnistamiseen. Ensimmäisenä työssä esitellään spatiaalinen piirteenirrotusmenetelmä, joka parantaa paikallisia kvantisoituja piirteitä käyttämällä parannettua vektorikvantisointia. Menetelmä tekee myös tilastollisista malleista monikäyttöisiä ja tiiviitä. Seuraavaksi työssä esitellään kaksi spatiotemporaalista piirteenirrotusmenetelmää. Ensimmäinen näistä käyttää esikäsittelynä monogeenistä signaalianalyysiä ja irrottaa spatiotemporaaliset piirteet paikallisia binäärikuvioita käyttäen. Toinen menetelmä irrottaa harvoja spatiotemporaalisia piirteitä käyttäen harvoja kuusitahokkaita ja spatiotemporaalisia paikallisia binäärikuvioita. Molemmat menetelmät parantavat paikallisten binärikuvioiden erottelukykyä ajallisessa ulottuvuudessa. Piirteenirrotusmenetelmien pohjalta työssä tutkitaan kasvonilmeiden tunnistusta kolmessa käytännön olosuhteessa, joissa esiintyy vaihtelua valaistuksessa, okkluusiossa ja pään asennossa. Ensiksi ehdotetaan lähi-infrapuna kuvantamista hyödyntävää diskriminatiivistä komponenttipohjaista yhden piirteen kuvausta, jolla saavutetaan korkea suoritusvarmuus valaistuksen vaihtelun suhteen. Toiseksi ehdotetaan menetelmä okkluusion havainnointiin, jolla dynaamisesti havaitaan peittyneet kasvon alueet. Uudenlainen menetelmä on kehitetty käsittelemään kasvojen okkluusio tehokkaasti. Viimeiseksi työssä on kehitetty moninäkymäinen diskriminatiivisen naapuruston säilyttävään upottamiseen pohjautuva menetelmä käsittelemään pään asennon vaihtelut. Menetelmä kuvaa moninäkymäisen kasvonilmeiden tunnistamisen yleistettynä ominaisarvohajotelmana. Kokeelliset tulokset julkisilla tietokannoilla osoittavat tässä työssä ehdotetut menetelmät suorituskykyisiksi kasvonilmeiden tunnistamisessa.

>Magister Scientiae - MSc / This research proposes an approach to recognizing facial expressions in the presence of rotations and partial occlusions of the face. The research is in the context of automatic machine translation of South African Sign Language (SASL) to English. The proposed method is able to accurately recognize frontal facial images at an average accuracy of 75%. It also achieves a high recognition accuracy of 70% for faces rotated to 60◦. It was also shown that the method is able to continue to recognize facial expressions even in the presence of full occlusions of the eyes, mouth and left/right sides of the face. The accuracy was as high as 70% for occlusion of some areas. An additional finding was that both the left and the right sides of the face are required for recognition. As an addition, the foundation was laid for a fully automatic facial expression recognition system that can accurately segment frontal or rotated faces in a video sequence.

L'objectif de cette thèse est d'étudier le traitement des expressions faciales de douleur d'un point de vue psychophysique et neurophysiologique. Contrairement aux autres émotions dites de base, la douleur est à la fois une expérience sensorielle et émotionnelle, composantes qui se retrouvent sur l'expression faciale de douleur qui accompagne cette expérience. En ce sens, l'expression faciale de douleur semble être plus riche et complexe que l'expression faciale d'autres émotions, la rendant particulière. Dans une première partie de notre travail, nous avons montré, chez des sujets sains, que l'expression faciale de douleur engendrait un plus haut niveau d'empathie que l'expression faciale d'autres émotions. De plus, une présentation de ces visages masqués à 100 ms était suffisante pour permettre de détecter la douleur sur un visage de façon subliminale alors même que la reconnaissance du genre était impossible dans ces conditions. Dans une seconde partie, nous avons étudié le traitement implicite des expressions faciales de douleur chez des patients souffrant d'épilepsie réfractaire et explorés en stéréotaxie par des électrodes intracérébrales. Pour cela, nous avons détourné leur attention du caractère émotionnel des visages et enregistré des réponses évoquées aux visages expressifs. Les résultats montrent une activation précoce de l'insula antérieure (début de réponse à 131 ms ; pic à 180 ms post-stimulus) suivie d'une activation de l'amygdale (début à 273 ms ; pic à 363 ms). Cependant, ces activations antéro-insulaire et amygdalienne ne sont pas spécifiques de la douleur. L'insula postérieure semble également répondre à la présentation de visages exprimant la douleur mais l'amplitude de cette réponse ne diffère pas de celle de la réponse aux visages neutres. Ainsi, malgré les nombreuses informations que véhicule un visage de douleur, l'être humain est capable de le détecter très rapidement et d'être suffisamment empathique pour prodiguer l'aide appropriée à son prochain. Cette capacité serait permise grâce à l'insula antérieure, relai entre nociception et douleur / The aim of this work is to study painful facial expression processing through psychophysical and neurophysiological approaches. Contrary to the basic emotions, pain is both a sensory and an emotional experience and these two aspects are encoded in the facial expression of pain. In that sense, painful facial expressions are richer and more complex than the facial expression of others emotions. In a first phase, we showed that painful facial expressions trigger more empathy than other emotional facial expressions in healthy subjects. Moreover, a 100ms-masked presentation of faces is enough to subliminally detect pain but not gender. In a second phase, we studied pre-conscious processing of painful facial expressions in patients suffering from refractory epilepsy having intracranial electrodes implanted in the insular cortex and amygdala for stereotaxic exploration of epilepsy. To this purpose, we diverted the patients' attention from the emotional aspects of the faces by asking them to focus on the gender and we recorded evoked potentials to pain and other emotional faces. Results showed an early activation in the anterior part of the insula (onset latency around 131ms, peak latency 180ms post stimulus) followed by an amygdala response (onset latency around 273ms, peak latency 363ms post stimulus). Response to pain faces is larger than that to other emotional faces in anterior insula but anterior-insula and amygdala activations are not pain specific. Posterior part of the insula also responds to painful faces but the amplitude of the evoked potentials do not differ from that of potentials evoked by neutral faces. In this way, even if the pain face contains a great amount of information, the human- being is able to rapidly detect it and to be empathic enough to provide the help needed for others in pain. This ability would be possible through anterior insula activation, thought to be a relay between nociception and emotional reaction to pain

La prise en charge des déficits moteurs de la mimique faciale est complexe et nécessite un suivi sur le long terme. Il existe de nombreuses techniques d’évaluation de la mimique faciale déficitaire avec des degrés variables de sensibilité. Cependant, la plupart de ces techniques sont manuelles et qualitatives (testing musculaire et scores cliniques). Elles conduisent donc à des mesures subjectives et peu reproductibles dans le temps. Ces techniques d’évaluation reposent en outre sur l’appréciation de l’évaluateur qui est une source importante de biais. Ainsi, l’apport d’un outil de mesure objectif pour quantifier un déficit et optimiser le suivi et la prise en charge médicale, chirurgicale et rééducative des patients apparait comme nécessaire. L’objectif de ce travail de thèse était donc de développer un outil quantitatif permettant d’évaluer les troubles de la mimique faciale. Dans cette perspective, nous avons mis en place un protocole d’analyse du mouvement par motion capture et avons réalisé des mesures sur une population de référence. Une étude descriptive utilisant un système de capture de mouvement en 3 dimensions a été réalisée sur des volontaires sains (n = 30) âgés de 20 à 30 ans. Le système de capture du mouvement était constitué de 17 caméras optoélectroniques T160 et de 2 caméras vidéo Bonita (Vicon™). Les mouvements étudiés étaient : la fermeture « simple » (non forcée) des paupières, la fermeture forcée des paupières, la protrusion labiale sur le son « o » [o], la protrusion labiale sur le son « pou » [pμ], et un sourire volontaire découvrant les dents. Lors de ces mouvements, nous avons enregistré et analysé le déplacement de 111 marqueurs réfléchissants de 1.5mm placés sur la face des sujets. Pour les cinq mouvements réalisés, nous avons obtenu des données quantitatives. Celles-ci nous ont permis d’identifier les zones d’action pour chacun des mouvements, de mesurer l’amplitude des déplacements et d’obtenir des données comparables dans le temps. Par ailleurs, le protocole mis en place a été évalué et sa réalisation est compatible avec une application clinique. L’analyse de la cinématique de la face est donc une technique appropriée à la clinique qui pourrait faciliter le diagnostic, le suivi et la rééducation des patients. Ce travail a permis de définir des mesures de référence qui constitueront la base d’un outil diagnostic, qu’il convient désormais de mettre en œuvre sur des patients. / The care of facial paralysis is often complex and therefore requires monitoring over the long term. There are many clinical severity scores with varying levels of sensitivity to assess the deficit of facial movement, but most of them are qualitative. The number of assessment methods is an obstacle to monitor patients and treatment evaluation. We need an objective measurement tool to provide reliable measures of resting asymmetry, symmetry of voluntary movement and synkinesis. The aim of this study is to determine if the 3D motion capture of the face is compatible with these clinical criteria. A descriptive study using a 3-dimensional (3D) motion capture system were performed on healthy volunteers (n=30) age from 20 to 30 years. The motion capture system consists of 17 optoelectronic cameras at a frequency of 100Hz. We captured the movements of the face on healthy volunteers. We obtained absolute values: 3D coordinates and relative displacements. These data were free of manual measurements, and the use of 3D motion capture does not impede the facial movement. The average time of capture was less than 10 minutes. The measurements are painless for subjects. Data are collected in a computer and can be easily exported. These results show the feasibility of 3D motion capture of facial movement. The protocol used here could be standardized to be routinely relevant. lt was used in an experimental study to follow up recovery of a facial transplantation. This technique could help to overcome the uncertainty caused by subjective assessment and optimize therapeutic choices.

I study the role that facial expressions play in determining political ideology. I have collected 20,475 assessments of politicians representing 14 countries. Based on a dataset captured from 1821-2015, our results imply that the facial expressions of politicians do play a significant role in the explanation of their ideology. Controlling for positivism of expressions model confirms this general picture: Democratic regime politicians have a tendency to express positive emotions since they are in principle selling the future. Autocratic regimes are mostly trying to exert fear and the facial expressions of dictators are non-positive. We also find that evaluation of the regime is negatively correlated with TV broadcasting in some countries. Accordingly, we can claim that voting perception and behavior is guided by the pictures and videos which are delivered via television.

L’expression faciale de peur constitue un important vecteur d’information sociale mais aussi environnementale. En condition naturelle, les visages apeurés apparaissent principalement dans notre champ visuel périphérique. Cependant, les mécanismes cérébraux qui sous-tendent la perception de l’expression faciale de peur en périphérie restent largement méconnus. Nous avons démontré, grâce à des études comportementales, des enregistrements magnétoencéphalographiques et intracrâniens, que la perception de l’expression faciale de peur est efficace en grande périphérie. La perception de la peur en périphérie génère une réponse rapide de l’amygdale et du cortex frontal, mais également une réponse plus tardive dans les aires visuelles occipitales et temporales ventrales. Le contrôle attentionnel est capable d’inhiber la réponse précoce à l’expression de peur, mais également d’augmenter les activités postérieures plus tardives liées à la perception des visages. Nos résultats montrent non seulement que les réseaux impliqués dans la perception de la peur sont adaptés à la vision périphérique, mais ils mettent également en avant une nouvelle forme d’investigation des mécanismes de traitement de l’expression faciale, pouvant conduire à une meilleure compréhension des mécanismes de traitement des messages sociaux dans des situations plus écologiques. / Facial expression of fear is an important vector of social and environmental information. In natural conditions, the frightened faces appear mainly in our peripheral visual field. However, the brain mechanisms underlying perception of fear in the periphery remain largely unknown. We have demonstrated, through behavioral, magnetoencephalographic and intracranial studies that the perception of fear facial expression is efficient in large peripheral visual field. Fear perception in the periphery produces an early response in the amygdala and the frontal cortex, and a later response in the occipital and infero-temporal visual areas. Attentional control is able to inhibit the early response to fear expression and to increase the later temporo-occipital activities linked to face perception. Our results show that networks involved in fear perception are adapted to the peripheral vision. Moreover, they validate a new form of investigation of facial expression processing, which may lead to a better understanding of how we process social messages in more ecological situations.

Collaborative robots are becoming more commonplace within factories to work alongside their human counterparts. With this newfound perspective towards robots being seen as collaborative partners comes the question of how interacting with these machines will change. This thesis therefore focuses on investigating the connection between facial expression communication in industrial robots and users' perceptions. Experiments were conducted to investigate the relationship between users' perceptions towards both existing facial expressions of the Baxter robot (an industrial robot by Rethink Robotics) and redesigned versions of these facial expressions. Findings reveal that the redesigned facial expressions provide a better match to users’ expectations. In addition, insights into improving the expressive communication between humans and robots are discussed, including the need for additional solutions which can complement the facial expressions displayed by providing more detailed information as needed. The last section of this thesis presents future research directions towards building a more intuitive and user-friendly human-robot cooperation space for future industrial robots.

L’analyse de visages 3D y compris la reconnaissance des visages et des expressions faciales 3D est devenue un domaine actif de recherche ces dernières années. Plusieurs méthodes ont été développées en utilisant des images 2D pour traiter ces problèmes. Cependant, ces méthodes présentent un certain nombre de limitations dépendantes à l’orientation du visage, à l’éclairage, à l’expression faciale, et aux occultations. Récemment, le développement des capteurs d’acquisition 3D a fait que les données 3D deviennent de plus en plus disponibles. Ces données 3D sont relativement invariables à l’illumination et à la pose, mais elles restent sensibles à la variation de l’expression. L’objectif principal de cette thèse est de proposer de nouvelles techniques de reconnaissance/vérification de visages et de reconnaissance d’expressions faciales 3D. Tout d’abord, une méthode de reconnaissance de visages en utilisant des matrices de covariance comme des descripteurs de régions de visages est proposée. Notre méthode comprend les étapes suivantes : le prétraitement et l’alignement de visages, un échantillonnage uniforme est ensuite appliqué sur la surface faciale pour localiser un ensemble de points de caractéristiques. Autours de chaque point, nous extrayons une matrice de covariance comme un descripteur de région du visage. Deux méthodes d’appariement sont ainsi proposées, et différentes distances (géodésiques / non-géodésique) sont appliquées pour comparer les visages. La méthode proposée est évaluée sur troisbases de visages GAVAB, FRGCv2 et BU-3DFE. Une description hiérarchique en utilisant trois niveaux de covariances est ensuite proposée et validée. La deuxième partie de cette thèse porte sur la reconnaissance des expressions faciales 3D. Pour ce faire, nous avons proposé d’utiliser les matrices de covariances avec les méthodes noyau. Dans cette contribution, nous avons appliqué le noyau de Gauss pour transformer les matrices de covariances en espace d’Hilbert. Cela permet d’utiliser les algorithmes qui sont déjà implémentés pour l’espace Euclidean (i.e. SVM) dans cet espace non-linéaire. Des expérimentations sont alors entreprises sur deux bases d’expressions faciales 3D (BU-3DFE et Bosphorus) pour reconnaître les six expressions faciales prototypiques. / 3D face analysis including 3D face recognition and 3D Facial expression recognition has become a very active area of research in recent years. Various methods using 2D image analysis have been presented to tackle these problems. 2D image-based methods are inherently limited by variability in imaging factors such as illumination and pose. The recent development of 3D acquisition sensors has made 3D data more and more available. Such data is relatively invariant to illumination and pose, but it is still sensitive to expression variation. The principal objective of this thesis is to propose efficient methods for 3D face recognition/verification and 3D facial expression recognition. First, a new covariance based method for 3D face recognition is presented. Our method includes the following steps : first 3D facial surface is preprocessed and aligned. A uniform sampling is then applied to localize a set of feature points, around each point, we extract a matrix as local region descriptor. Two matching strategies are then proposed, and various distances (geodesic and non-geodesic) are applied to compare faces. The proposed method is assessed on three datasetsincluding GAVAB, FRGCv2 and BU-3DFE. A hierarchical description using three levels of covariances is then proposed and validated. In the second part of this thesis, we present an efficient approach for 3D facial expression recognition using kernel methods with covariance matrices. In this contribution, we propose to use Gaussian kernel which maps covariance matrices into a high dimensional Hilbert space. This enables to use conventional algorithms developed for Euclidean valued data such as SVM on such non-linear valued data. The proposed method have been assessed on two known datasets including BU-3DFE and Bosphorus datasets to recognize the six prototypical expressions.

本論文は，われわれの感情が表情として表出されるとき, 通常の顕在化した表出に先行して，刺激に対する無意識，かつ"真"の感情を反映すると考えられる"premier expressions"の存在を探ることを目的として行われたものである。本論文では，感情喚起刺激による表情表出過程を，刺激に対しまず現れる反応と，第1反応に続く，誇張や，抑制など様々な心理的調整を反映した第2の反応に分けてとらえている。この最初の反応を"premier expressions"と呼ぶ。この語は本論文提出者の造語である。"premier expressions"の理論的根拠はTomkins(1961)の感情理論の中に見られるが，これまでその存在を実証したものはない。本論文が研究対象としている"premier expressions"はこのTomkins のいう最初に生じる反応，あるいはそれに類似した反応と考えられる。 / This research consists of three experiments aiming to determine the existence of the premier expression and its features. We defined the premier expression as a primitive, reflex-like, automatic facial response to evoked emotion that cannot be modified by one's conscious or unconscious effort because of its initiating timing and speed. However, a facial response develops after the premier expression that corresponds to a generally recognized facial expression, which is easily concealed or modified by display rules or social context. The premier expression is regarded as the first response to induced emotion, and might not even be visible to the naked eye because of its speed and subtlety. This postulation is based on Darwin’s first principle of expression (1872/2009) and Tomkins' (1962) hypothesis that the face is the primary site of affect and has priority over the outer skeletal and inner visceral behaviors (i.e., blood pressure, heart rate, skin conductance) for the expression of emotion, since it is a faster, more precise and visible display. / 博士(心理学) / Doctor of Philosophy in Psychology / 同志社大学 / Doshisha University

Figures who turn their heads frontally and gaze outwards from Archaic Greek artworks look back at the viewer and destabilize the typical relationship between viewing subject and viewed object. These frontal characters were especially effective for viewers who encountered them during the Archaic period, when the profile perspective was conventional and vision was understood to be a tactile sense. Frontal-facing figures have often been interpreted as carrying protective power or having the ability to threaten the viewer with their attention. While some frontal figures are intimidating, frontality and the represented gazes it engenders do not provoke a single, universal reaction. Instead, these images’ interactions with ancient viewers were shaped by the type of frontal figure represented, the figure’s representational context, and the real context in which the figure was originally encountered. This dissertation takes a contextual approach to the study of Archaic frontal figures to arrive at a more nuanced understanding of their functions and effects. The frontal figures that are represented on vases made between 700 and 480 BCE are comprehensively examined. Frontal-facing characters that decorated temples in the same period are also considered. By inspecting each individual type of frontal figure in turn, we can better comprehend the differing responses the figures elicit, which include humor and horror in addition to terror. This project also examines how frontality was employed by innovative vase painters to create images that directly engage viewers and shape their viewing experiences. While a few figures were conventionally frontal in the Archaic period, the majority were represented frontally only by the most experimental artisans who were eager to surprise their viewers and distinguish their work from that of their colleagues. This investigation of Archaic frontality in multiple media demonstrates the power of the perspective in its original context and the inventiveness of the craftsmen who used it.