Individuals perceive emotional facial expressions in categories. Specifically, for basic emotional expressions, discrimination performance is better for pairs of stimuli that fall in either side of a perceptual category boundary than for those within a perceptual category. In this thesis I have examined categorical perception of emotional facial expressions from a number of different perspectives. In Chapter 2, I found in two experiments that categorical perception of emotional facial expressions of a robust phenomenon with a few consistent individual differences. There findings highlight some of the important caveats that categorical perception researchers face, not only in the area of emotional facial expressions, but across domains as well. In Chapter 3 I show that context has an effect on the visual perception of emotional facial expressions. A surprise-fear continuum was perceived categorically only in the case in which a context story was provided for the surprise face. In Chapter 4 I demonstrate categorical perception of a happy-sad continuum in 3.5-year-olds. This is an important study in development because the current literature is limited by studies that do not compare identification and discrimination performance in these age groups. The experiment in this chapter uses both identification and discrimination tasks and compares the results of 3.5-year-olds to adults who do the exact same task. The results suggest that 3.5-year-olds perceive happy and sad expressions as adults do, categorically. In Chapter 5 I develop a powerful new methodology for the study of the category boundary using non-verbal methods. This investigation with emotional facial expressions shows it can be reliably used to identify category boundary information in adults. Perception of emotional facial expressions is an essential part of successful social cognition, and the phenomenon of categorical perception specifically allows individuals to quickly and accurately respond to expressions. The research in this thesis is a further step in understanding the processes that allows individuals to be successful in a social environment. / Thesis / Doctor of Philosophy (PhD)

ABSTRACT RECOGNITION OF EMOTIONAL FACIAL EXPRESSION IN ALCOHOL DEPENDENT INPATIENTS Dursun, Pinar M.S., Department of Psychology Supervisor: Assoc. Prof. Faruk Gen&ccedil / &ouml / z June 2007, 130 pages The ability to recognize emotional facial expressions (EFE) is very critical for social interaction and daily functioning. Recent studies have shown that alcohol dependent individuals have deficits in the recognition of these expressions. Thereby, the objective of this study was to explore the presence of impairment in the decoding of universally recognized facial expressions -happiness, sadness, anger, disgust, fear, surprise, and neutral expressions- and to measure their manual reaction times (RT) toward these expressions in alcohol dependent inpatients. Demographic Information Form, CAGE Alcoholism Inventory, State- Trait Anxiety Inventory (STAI), Beck Depression Inventory (BDI), The Symptom Checklist, and lastly a constructed computer program (Emotion Recognition Test) were administered to 50 detoxified alcohol dependent inpatients and 50 matched-control group participants. It was hypothesized that alcohol dependents would show more deficits in the accuracy of reading EFE and would react more rapidly toward negative EFE -fear, anger, disgust, sadness than control group. Series of ANOVA, ANCOVA, MANOVA and MANCOVA analyses revealed that alcohol dependent individuals were more likely to have depression and anxiety disorders than non-dependents. They recognized less but responded faster toward disgusted expressions than non-dependent individuals. On the other hand, two groups did not differ significantly in the total accuracy responses. In addition, the levels of depression and anxiety did not affect the recognition accuracy or reaction times. Stepwise multiple regression analysis indicated that obsessive-compulsive subscale of SCL, BDI, STAI-S Form, and the recognition of fearful as well as disgusted expressions were associated with alcoholism. Results were discussed in relation to the previous findings in the literature. The inaccurate identification of disgusted faces might be associated with organic deficits resulted from alcohol consumption or cultural factors that play very important role in displaying expressions.

This dissertation thesis deals with the automatic system for basic emotional facial expressions recognition from static images. Generally the system is divided into the three independent parts, which are linked together in some way. The first part deals with automatic face detection from color images. In this part they were proposed the face detector based on skin color and the methods for eyes and lips position localization from detected faces using color maps. A part of this is modified Viola-Jones face detector, which was even experimentally used for eyes detection. The both face detectors were tested on the Georgia Tech Face Database. Another part of the automatic system is features extraction process, which consists of two statistical methods and of one method based on image filtering using set of Gabor’s filters. For purposes of this thesis they were experimentally used some combinations of features extracted using these methods. The last part of the automatic system is mathematical classifier, which is represented by feed-forward neural network. The automatic system is utilized by adding an accurate particular facial features localization using active shape model. The whole automatic system was benchmarked on recognizing of basic emotional facial expressions using the Japanese Female Facial Expression database.

L’être humain est un être social amené à comprendre les comportements moteurs d’autrui. Selon la littérature, nous disposons de mécanismes cognitifs spécifiques, d’une part à la perception d’un corps humain (qu’il soit statique ou en mouvement), et d’autre part à la perception des expressions faciales émotionnelles. Ce travail de thèse vise à comprendre dans quelle mesure l'émotion véhiculée par le visage d'une personne, peut moduler notre perception de son action motrice. Les résultats de l’étude 1 ont montré que l’estimation de l’équilibre statique d’autrui pouvait être modulée par l’expression faciale émotionnelle (de sourire ou de crispation) exprimée par celui-ci. L’étude 2, a porté sur l’estimation de l’effort physique développé par une personne uniquement à partir de son expression faciale de douleur. Les résultats ont montré que les participants, dans ce type de tâche, utilisent deux mécanismes perceptifs automatiques. Le premier, mis en évidence par mesure fonctionnelle, facilite l’estimation de l’intensité de douleur à l’effort ressentie par autrui. Le second, démontré par la mesure d’un biais de mémorisation, entraîne une anticipation automatique de la suite de l’évolution de l’expression faciale de douleur à l’effort présentée. L’étude 3 a montré que l’estimation de l’effort physique développé par une personne atteinte de paraplégie réalisant un mouvement de transfert, est modulée par deux comportements de douleur (l’auto-protection et l’expression faciale de douleur). Toutefois, cette modulation diffère selon la familiarité des participants avec le monde médical et la paraplégie. En conclusion, ce travail de recherche propose que la modulation émotionnelle de la perception de l’action motrice d’autrui est en premier lieu sous-tendue par un processus automatique et implicite de contagion émotionnelle (bottom-up). Toutefois, cette dernière peut être inhibée par un processus explicite (top-down) qui dépendrait d’une part du type d’inférence à effectuer sur autrui (estimer l’équilibre postural ou l’effort physique développé), et d’autre part de la familiarité de l’observateur avec l’action motrice et les expressions faciales présentées. / Understanding others’ motor behaviour is part and parcel of Humans’ social experience. According to scientific literature, we rely on specific mechanisms for perceiving human bodies (whether static or moving) on the one hand, and processing emotional facial expressions on the other hand. This thesis aims to understand to what extent the emotion conveyed by a person’s face can modulate one’s perception of her/his motor action. Results of study 1 showed that our estimation of an individual’s static equilibrium is modulated by the observed individual’s emotional facial expression (smiling or tensed). Study 2 focused on perceptual estimation of the physical effort developed by a person on the basis of his facial expression of pain alone. Results revealed that participants adopt two automatic perceptual mechanisms. The first, highlighted via functional measurement, facilitates estimating the intensity of effort pain felt by others. The second, evidenced by measuring memory bias, leads to an automatic anticipation of the subsequent changes in the intensity of pain-related facial expressions. Study 3 showed that the estimation of physical effort developed by a paraplegic individual performing a transfer movement is modulated by two pain behaviours (guarding and facial expression of pain). Interestingly, this modulation varies with participants’ familiarity with both the medical domain and paraplegia. The conclusion of this research suggests that the modulation of emotional perception related to others’ motor action is primarily subtended by an automatic (bottom-up) process and an implicit emotional contagion. However, the latter can be inhibited by an explicit (top-down) process which may depend on (1) the type of inference made on others (estimating postural balance or physical effort developed in others), and (2) the familiarity of the observer with motor action and facial expressions.

Nos travaux se sont articulés autour du problème de recouvrement temporel rencontré lors de l'estimation des potentiels évoqués. Il constitue, plus particulièrement, une limitation majeure pour l'estimation des potentiels évoqués par les fixations ou saccades oculaires lors d'une expérience en enregistrement conjoint EEG et oculométrie. En effet, la méthode habituellement utilisée pour estimer ces potentiels évoqués, la méthode par simple moyennage du signal synchronisé sur l'évènement d'intérêt, suppose qu'il y a un seul potentiel évoqué par essai. Or selon les intervalles inter-stimuli, cette hypothèse n'est pas toujours vérifiée. Ceci est d'autant plus vrai dans le contexte des potentiels évoqués par fixations ou saccades oculaires, les intervalles entre ceux-ci n'étant pas contrôlés par l'expérimentateur et pouvant être plus courts que les latences des potentiels d'intérêt. Le fait que cette hypothèse ne soit pas vérifiée donne une estimation biaisée du potentiel évoqué du fait des recouvrements entre les potentiels évoqués.Nous avons donc utilisé le Modèle Linéaire Général (GLM), méthode de régression linéaire bien connue, pour estimer les potentiels évoqués par les mouvements oculaires afin de répondre à ce problème de recouvrement. Tout d'abord, nous avons introduit, dans ce modèle, un terme de régularisation au sens de Tikhonov dans l'optique d'améliorer le rapport signal sur bruit de l'estimation pour un faible nombre d'essais. Nous avons ensuite comparé le GLM à l'algorithme ADJAR dans un contexte d'enregistrement conjoint EEG et oculométrie lors d'une tâche d'exploration visuelle de scènes naturelles. L'algorithme ADJAR ("ADJAcent Response") est un algorithme classique d'estimation itérative des recouvrements temporels développé en 1993 par M. Woldorff. Les résultats ont montré que le GLM était un modèle plus flexible et robuste que l'algorithme ADJAR pour l'estimation des potentiels évoqués par les fixations oculaires. Puis, deux configurations du GLM ont été comparées pour l'estimation du potentiel évoqué à l'apparition du stimulus et du potentiel évoqué par les fixations au début de l'exploration. Toutes deux prenaient en compte les recouvrements entre potentiels évoqués mais l'une distinguait également le potentiel évoqué par la première fixation de l'exploration du potentiel évoqué par les fixations suivantes. Il est apparu que le choix de la configuration du GLM était un compromis entre la qualité de l'estimation des potentiels et les hypothèses émises sur les processus cognitifs sous-jacents.Enfin, nous avons conduit de bout en bout une expérience d'envergure en enregistrement conjoint EEG et oculométrie portant sur l'exploration des expressions faciales émotionnelles naturelles statiques et dynamiques. Nous avons présenté les premiers résultats pour la modalité statique. Après avoir discuté de la méthode d'estimation des potentiels évoqués selon l'impact des mouvements oculaires sur leur fenêtre de latence, nous avons étudié l'effet du type d'émotion. Nous avons trouvé des modulations du potentiel différentiel EPN (Early Posterior Negativity), entre 230 et 350 ms après l'apparition du stimulus et du potentiel LPP (Late Positivity Potential), entre 400 et 600 ms après l'apparition du stimulus. Nous avons également observé des variations du potentiel évoqué par les fixations oculaires. Pour le potentiel LPP, qui est un marqueur de la reconnaissance consciente de l'émotion, nous avons montré qu'il était important de dissocier l'information qui est immédiatement encodée à l'apparition du stimulus émotionnel, de celle qui est apportée à l'issue de la première fixation. Cela met en évidence un motif d'activation différencié pour les stimuli émotionnels à valence négative ou à valence positive. Cette différenciation est en accord avec l'hypothèse d'un traitement plus rapide des stimuli émotionnels à valence négative que des stimuli émotionnels à valence positive. / Our research focuses on the issue of overlapping for evoked potential estimation. More specifically, this issue is a significant limitation for Eye-Fixation Related Potentials and Eye-Saccade Related Potentials estimations during a joint EEG and eye-tracking recording. Indeed, the usual estimation, by averaging the signal time-locked to the event of interest, is based on the assumption that a single evoked potential occurs during a trial. However, depending on the inter-stimulus intervals, this assumption is not always verified. This is especially the case in the context of Eye-Fixation Related Potentials and Eye-Saccade Related Potentials, given the fact that the intervals between fixations (or saccades) are not controlled by the experimenter and can be shorter than the latencies of the potentials of interest.The fact that this assumption is not verified gives a distorted estimate of the evoked potential due to overlaps between the evoked potentials.We have therefore used the Linear Model (GLM), a well-known linear regression method, to estimate the potentials evoked by ocular movements in order to take into account overlaps. First, we decided to introduce a term of Tikhonov regularization into this model in order to improve the signal-to-noise ratio of the estimate for a small number of trials. Then, we compared the GLM to the ADJAR algorithm in a context of joint EEG and eye-tracking recording during a task of visual exploration of natural scenes. The ADJAR ("ADJAcent Response") algorithm is an algorithm for iterative estimation of temporal overlaps developed in 1993 by M. Woldorff. The results showed that the GLM model was more flexible and robust than the ADJAR algorithm in estimating Eye-Fixation Related Potentials. Further, two GLM configurations were compared in their estimation of evoked potential at the onset of the stimulus and the eye-fixation related potential at the beginning of the testing. Both configurations took into account the overlaps between evoked potentials, but one additionally distinguished the potential evoked by the first fixation of the exploration from the potential evoked by the following fixations. It became clear that the choice of the GLM configuration was a compromise between the estimation quality of the potentials and the assumptions about the underlying cognitive processes.Finally, we conducted an extensive joint EEG and eye-tracking experiment on the exploration of static and dynamic natural emotional facial expressions. We presented the first results for the static modality. After discussing the estimation method of the evoked potentials according to the impact of the ocular movements on their latency window, we studied the influence of the type of emotion. We found modulations of the differential EPN (Early Posterior Negativity) potential, between 230 and 350 ms after the stimulus onset and the Late Positivity Potential (LPP) , between 400 and 600 ms after the stimulus onset. We also observed variations for the Eye-Fixation Related Potentials. Regarding the LPP component, a marker of conscious recognition of emotion, we have shown that it is important to dissociate information that is immediately encoded at the onset of the emotional stimulus from information encoded at the first fixations. This shows a differentiated pattern of activation according to the emotional stimulus valence. This differentiation is in agreement with the hypothesis of a faster treatment of negative emotional stimuli than of positive emotional stimuli.

Le sommeil constitue une activité indispensable à l’adaptation et à la survie des organismes supérieurs. Chez l’être humain, il aurait un rôle dans l’intégration des expériences diurnes, de manière à préparer l’individu à la période de veille consécutive. Du fait de la pertinence adaptative des émotions, il a récemment été proposé que les émotions pré-hypniques pourraient influencer le déroulement du sommeil lequel modulerait la réactivité émotionnelle au réveil. Toutefois, ce lien bi-directionnel entre émotion et sommeil demeure peu caractérisé, notamment de par sa complexité et la difficulté à concilier les diverses approches méthodologiques. Dans ce contexte, l’objectif de la présente thèse était double : d’une part, déterminer l’impact de l’induction d’états émotionnels diurnes sur les caractéristiques du sommeil ; d’autre part, évaluer l’influence de ces états sur la réactivité émotionnelle au réveil. La programmation expérimentale a conduit à la mise en place de trois types de séquences vidéos émotionnelles, négatives, neutres ou positives, de manière à induire un état émotionnel diurne chez des participants, français ou japonais. Deux expérimentations ont eu lieu : l’une, testait l’impact des séquences émotionnelles sur l’état émotionnel des participants ; l’autre, visait à déterminer l’influence d’états émotionnels pré-hypniques sur les paramètres du sommeil et sur la réactivité à des expressions émotionnelles faciales, présentées peu après le réveil consécutif. Ces expérimentations ont permis d’obtenir plusieurs résultats novateurs. En premier lieu, il a pu être montré que les séquences vidéos induisaient des états émotionnels congruents en phase pré-hypnique. En deuxième lieu, ces états émotionnels pré-hypniques modifiaient la distribution des stades du sommeil consécutif ainsi que l’activité neurovégétative associée. En troisième lieu, nous avons pu observer que l’induction émotionnelle pré-hypnique entrainait des modifications de la réactivité émotionnelle après la période de sommeil consécutive, lors de la présentation de visages exprimant des intensités émotionnelles variables. L’interprétation des principaux résultats conduit à supposer que l’augmentation du temps passé en stade REM (Rapid Eye Movement) notamment, suite aux stimulations pré-hypniques, pourrait être l’indice d’un traitement particulier des expériences émotionnelles diurnes. Prenant appui sur cette hypothèse, il n’est pas exclu que ce traitement puisse constituer un médiateur des modifications de la réactivité émotionnelle observées lors du réveil.En conclusion, les recherches présentées dans cette thèse, fondées sur une méthodologie d’induction émotionnelle, nouvelle et standardisée, apportent des informations originales sur les liens bi-directionnels entre les émotions de la période de veille et le déroulement du sommeil. Sous réserve d’expérimentations supplémentaires, ces travaux suggèrent des questionnements nouveaux sur le rôle des émotions, notamment positives, sur le sommeil et les états émotionnels consécutifs. D’un point de vue prospectif, l’idée de l’utilisation du sommeil comme un levier efficace dans la régulation des émotions se trouve renforcée. / Sleep constitutes a major component of adaptation and survival in evolved organisms. In humans, sleep could have a role in the integration of daytime experiences, preparing by this way individuals for consecutive wake period. Due to the adaptive relevance of emotions, it has recently been proposed that pre-hypnic emotions could influence the sleep course, which could modulate emotional reactivity at awakening. However, the bi-directional link between emotion and sleep remains unclear, this being explained by the complexity of such link and by the difficulty of reconciling the diversity of methodological approaches. In this context, the aim of this thesis was twofold: first, determine the impact of induced daytime emotional states on sleep characteristics; second, assess the influence of these states on the emotional reactivity at the awakening.The experimental program led to the presentation of three types of emotional movies, negative, neutral or positive, in order to induce a diurnal emotional state, in French or Japanese participants. Two experiments were carried out: one tested the impact of the emotional movies on the individual emotional states; the other determined the influence of pre-hypnic induced emotional states on sleep parameters and responsiveness to emotional facial expressions, presented to the participant at the subsequent awakening.These experiments allowed to obtain several new results. Firstly, it was shown that emotional movies induced congruent emotional states during the pre-hypnic period. Secondly, these pre-hypnic emotional states influenced the distribution of sleep stages and associated autonomic activity during the consecutive night of sleep. Thirdly, we observed that the pre-hypnic emotional induction modulated the emotional reactivity after the sleep period, during the presentation of faces expressing emotions at different intensities. The interpretation of main results can lead to the speculation that the increase of time spent in REM (Rapid Eye Movement) stage, following the pre-hypnic emotional stimulations, can be a marker of central processes related to daytime emotional experiences. Based on this assumption, such processes could be a required mediator for emotional reactivity changes observed upon awakening.In conclusion, researches presented in this thesis, subtended by a new and standardized methodology of emotional induction, provide original information about the bi-directional links between diurnal emotions and sleep course. Subject to additional experimentations, this work brings new questions about the role of emotions, particularly positive ones, on sleep and subsequent emotional states. From a prospective point of view, reported data reinforces the idea that considers the sleep as an efficient lever to regulate emotions.