Title: Facial Expressions of Emotions Author: Bc. Markéta Zajícová Department: Department of Psychology, Charles University in Prague, Faculty of Arts Supervisor: doc. PhDr. MUDr. Mgr. Radvan Bahbouh, Ph.D. Abstract: The theses is dedicated to facial expressions of emotions, it begins with a brief introduction to the topic of emotions as one of the cognitive functions, there is a definition of the term, classification of emotions and their psychopathology, it briefly summarizes the various theories of emotions. The greater part of the theoretical section is devoted to basic emotions and their manifestation in the face, as well as the ability to recognize and imitate them. The theoretical part is closed by the topic of emotional intelligence as a unifying element that highlights the importance of this issue. Empirical part is primarily focused on two abilities related to facial expressions of emotions, specifically the recognition and the production of them, then links these capabilities with additional characteristics as the gender, the education and their self-estimation. The main finding of this theses is that there is a statistical significant relationship (ρ=0.35, α=0.05) between the emotion recognition and production. Key words: Basic Emotion, Facial Expressions of Emotions, Emotion Recognition,...

A literatura aponta que traumas emocionais precoces (TEP) podem ser um fator de risco para o desenvolvimento do transtorno afetivo bipolar (TAB). Estudos também indicam associações entre TAB, prejuízos no reconhecimento de expressões faciais de emoções (REFE) e no funcionamento psicossocial, envolvendo traços de personalidade e habilidades sociais, os quais podem estar presentes inclusive em indivíduos em risco para o transtorno, como os parentes de primeiro grau. O objetivo deste estudo foi avaliar as associações entre TEP, características psicossociais e REFE em sujeitos portadores (eutímicos) e em condição de risco para o TAB em comparação com um grupo de indivíduos saudáveis da comunidade. Foi avaliada uma amostra total de 109 sujeitos adultos de ambos os sexos, sendo 40 do grupo com TAB (GB), 30 do grupo em risco (GR) e 39 do grupo controle (GC). A avaliação do diagnóstico foi feita por meio da Entrevista Clínica Estruturada para o DSM-IV e do estado de humor atual pelo Questionário Sobre a Saúde do Paciente-9 e pela Escala de Avaliação de Mania (EAM). Para a avaliação dos desfechos foram utilizados instrumentos de auto relato (Inventário de Auto-avaliação de Traumas Precoces - Versão Reduzida, Inventário de Cinco Fatores NEO Revisad-versão reduzida, Inventário de Habilidades Sociais), e uma tarefa dinâmica de REFE. Os dados foram analisados por testes estatísticos paramétricos (teste do QuiQuadrado, teste para a comparação de duas proporções, ANOVA e ANCOVA) e pela análise de componentes principais (analise multivariada). Os resultados apontaram que o GB apresentou mais vivências de TEP, características psicossociais desadaptativas e maiores prejuízos no REFE em comparação ao GR e GC. Os sujeitos do grupo GR apresentaram um perfil com traços de prejuízo quando comparados ao GC, mas em menor nível que o GB, expressos sobretudo por presença de altos índices de neuroticismo na personalidade e de falhas no processo do REFE. Por outro lado, apresentaram fatores protetores como traços de abertura e bom nível de habilidades sociais. De maneira geral, os achados corroboram a literatura prévia reforçando a presença de possíveis marcadores genéticos para o TAB, subjacentes ao seu desenvolvimento, e apontam indicadores de resiliência que podem favorecer condutas de prevenção e intervenção precoce. / The literature shows that early emotional traumas (EETs) can be a risk factor for development of affective bipolar disorder (ABD). Studies have also reported associations between ABD and impairment in both recognition of emotional facial expressions (REFE) and psychosocial functioning, involving personality traits and social skills, and which may be present in at-risk individuals, such as first-degree relatives. The objective of this study was to assess the associations between EET, psychosocial characteristics and REFE in subjects who are euthymic (i.e. ABD carrier) and those who are at risk of ABD in comparison with healthy individuals in the community. In total, 109 male and female adults were divided into groups as follows: 40 subjects with ABD (GB), 30 subjects at risk (GR) and 39 healthy subjects as controls (GC). Diagnostic evaluation was carried out by means of a structured clinical interview for DSM-IV disorders and the current state of mood by using the patient health questionnaire-9 and mania assessment scale (MAS). For assessment of outcomes, self-report instruments (i.e. early trauma inventory self-report - short version, revised NEO five-factor inventory - short version, and social skills inventory) and a dynamic task of recognition of emotional facial expressions were used. The resulting data were analysed by using parametric statistical tests (i.e. chi-square test, two-proportion comparison test, ANOVA and ANCOVA) and analysis of the main components (i.e. multivariate analysis). The results showed that subjects of GB group had experienced more EETs, maladaptive psychosocial characteristics and more impaired REFE compared to those of GR and GC groups. The subjects of GR group had a worse psychological profile compared to that of GC group, but better than that of GB as subjects with ABD exhibited high levels of neurotic personality traits and poor REFE. On the other hand, they presented protective factors such as openness and good social skills. Overall, the findings corroborate the literature by reinforcing the presence of possible genetic markers for ABD secondary to its development and by suggesting indicators of resilience, which can favour preventive measures and early intervention.

La première année de vie constitue une étape critique dans le développement des capacités de traitement des expressions faciales. Olfaction et expressions sont toutes deux étroitement liées, et il est reconnu que dès la naissance les enfants sont capables d’intégrer leur environnement de façon multi-sensorielle. Toutefois, la plupart des travaux sur le traitement multimodal des visages et des expressions se sont restreints à l’étude des interactions audio-visuelles.Dans ce travail de thèse, nous avons en premier lieu levé différentes ambiguïtés concernant l’ontogenèse des capacités de traitement des expressions. Les résultats obtenus ont permis de spécifier l’évolution des stratégies d’exploration visuelle des émotions au cours de la première année, et de démontrer la présence d’une distinction progressive des expressions selon leur signification émotionnelle. Au moyen de l’EEG, nous avons aussi précisé la nature et le décours temporel de la distinction des expressions chez les nourrissons de 3 mois.Le second objectif de nos travaux a été d’approfondir les connaissances sur le traitement multi-sensoriel des expressions, en nous intéressant spécifiquement aux interactions olfacto-visuelles. Nos expériences en potentiels évoqués ont permis de préciser le décours de l’intégration cérébrale de l’odeur dans le traitement des expressions chez l’adulte, et de démontrer la présence d’interactions similaires chez l’enfant de 3 mois. Nous avons également démontré qu’à 7 mois, les odeurs déclenchent une recherche d’expression spécifique. Il ressort de ces travaux que l’olfaction pourrait contribuer à l’établissement des capacités de traitement des expressions faciales. / The first year of life is critical for the development of the abilities to process facial expressions. Olfaction and expressions are both strongly linked to each other, and it is well known that infants are able to multisensorially integrate their environment as early as birth. However, most of the studies interested in multisensory processing of facial expressions are restricted to the investigation of audio-visual interactions.In this thesis, we firstly aimed to resolve different issues concerning the ontogenesis of infants’ ability to process facial expressions. Our results allowed to specify the development of visual exploratory strategies of facial emotions along the first year of life, and to demonstrate that a progressive distinction of expressions according to their emotional meaning is present. Using the EEG, we were also able to specify the nature and the time course of facial expressions distinction in 3-month-old infants.The second objective of our studies was to expand the knowledge concerning the multisensory processing of facial expressions. More specifically we wanted to investigate the influence of olfacto-visual interactions on this processing. Our event-related potentials experiments allowed to specify the time course of the cerebral integration of olfaction in the visual processing of emotional faces in adults, and to demonstrate that similar interactions are present in infants as young as 3 month-old. We also demonstrated that at 7 months of age odors trigger the search for specific facial expressions. Our results suggest that olfaction might contribute to the development of infants’ ability to process facially displayed emotions.

Com o advento da psiquiatria, a ansiedade, quando propicia prejuízo do bem estar físico, social e emocional do indivíduo, passou a ser categorizada por específicos tipos de transtornos de ansiedade e relacionados ao estresse/trauma. Modelos etiológicos atuais apontam que tais transtornos se desenvolvem, com maior facilidade, em indivíduos com histórico de traumas na primeira infância, sendo estes considerados fatores de risco importantes, bem como, se correlacionariam à presença e desenvolvimento de traços de personalidade do indivíduo e a um déficit de discriminação ambiental do mesmo, em especial quanto ao reconhecimento das expressões de emoções faciais. Assim, objetivou-se verificar as possíveis associações entre os traumas emocionais precoces (TEP), traços de personalidade e o reconhecimento de expressões de emoções faciais (REFE) em sujeitos diagnosticados com transtornos de ansiedade social (TAS), ansiedade generalizada (TAG), e estresse pós traumático (TEPT), utilizou-se como parâmetro um grupo controle com sujeitos saudáveis. Participaram deste estudo 120 sujeitos que foram alocados em quatro grupos distintos, de 30 participantes cada, sendo três clínicos (TAS, TAG, TEPT) e um não clínico (NC). Como instrumentos de coletas de dados foram utilizados: a) Escala do transtorno de ansiedade generalizada (GAD7); b) Inventário de fobia social (SPIN); c) Entrevista Clínica Estruturada para o DSM-IV (SCID-IV) - versão clínica; d) Formulário Sociodemográfico e Clínico; e) Early Trauma Inventory Self Report - Short Form (ETISR-SF); f) Questionário sobre a Saúde do Paciente-9 (PHQ-9); g) Escala de ansiedade de Beck (BAI); h) Teste Rápido de Identificação do Uso Abusivo de Álcool (FAST); i) Teste de Dependência de Nicotina de Fagerström (FTND); j) Inventário de Cinco Fatores NEO Revisado (NEO-FFI-R - versão reduzida); k)Tarefa de Reconhecimento de Expressões Faciais. A coleta de dados dos grupos clínicos ocorreu em duas etapas, sendo: a) fase de rastreio: identificação e confirmação diagnóstica dos possíveis participantes; b) fase de avaliação de desfecho: confirmados os diagnósticos, os participantes eram convidados para a coleta em si. Como resultados, verificou-se que o grupo TEPT possuía um maior número de TEP gerais e totais, em especial eventos de ocorrência abruta, enquanto que o grupo TAG apresentou significativamente mais TEP emocionais, sexuais e totais. Quanto às características de personalidade, verificaram-se que o fator de neuroticismo foi significativamente presente nos grupos clínicos. Sobre a tarefa de reconhecimentos faciais, verificouse que o grupo TEPT apresentou significativa acurácia reduzida para a emoção de nojo e surpresa, bem como para faces masculinas, além de um maior tempo de resposta para o julgamento da emoção de surpresa. Por fim, através de análise de regressão, verificou-se para o TEPT, associações expressivas entre presença de traços de neuroticismo e reduzida acurácia da emoção surpresa; para o TAG, ocorreram associações significativas entre a presença de TEP emocional e sexual e maior acurácia para emoção de nojo; e para o TAS destacou-se a associação com traço de personalidade neuroticismo. Desta forma, os achados corroboram os dados prévios da literatura, indo além e explorando especificidades entre os diferentes transtornos. Acredita-se que a identificação de tais correlações proporcionam uma compreensão de forma integrada favorecendo condutas terapêuticas e preventivas. / Anxiety, when it damages the individual\'s physical, social and emotional well-being, has been categorized by specific types of anxiety and stress disorders, as a result of the advent of psychiatry. Current etiologic models point out that such disorders develop easier in individuals with a history of early childhood traumas, which are considered as important risk factors, as well as, if they correlate with the presence and development of personality traits of the individual and to a deficits of environmental discrimination, especially regarding the recognition of expressions of facial emotions. The aim of this study was to verify possible associations between early emotional traumas (EET), personality traits and recognition of facial expressions (REFE) in individuals diagnosed with social anxiety disorder (SAD), generalized anxiety disorder (GAD), and post-traumatic stress disorder (PTSD). A control group was used as a parameter including healthy individuals. A total of 120 individuals were randomly assigned to four groups of 30 participants, three of whom were clinicians (SAD, GAD, PTSD) and one non-clinical (NC). The instruments used to collect data were: a) Scale of generalized anxiety disorder (GAD7); B) Social phobia inventory (SPIN); C) Structured Clinical Interview for DSM-IV (SCID-IV) - clinical version; D) Sociodemographic and Clinical Form; E) Early Trauma Inventory Self-Report - Short Form (ETISR-SF); F) Patient Health Questionnaire-9 (PHQ-9); G) Beck\'s Anxiety Scale (BAI); H) Rapid Alcohol Abuse Identification Test (FAST); I) Fagerström Nicotine Dependence Test (FTND); J) Revised NEO Five Traits Inventory (NEO-FFI-R - reduced version); K) Facial Expression Recognition Task. The data collection of the clinical groups occurred in two stages: a) phase of screening: identification and diagnostic confirmation of the possible participants; b) phase of evaluation of outcomes: once the diagnosis was confirmed, the participants were invited to the data collection. The results showed that the PTSD group had a greater number of general and total EET, specially events of abrupt occurrence, whereas the GAD group showed significantly more emotional, sexual and total EET. Regarding personality traits, it was verified that the neuroticism trait was significantly present in the clinical groups. As the task of facial recognition, it was possible to verify that the PTSD group had a significantly reduced accuracy for the emotion of disgust and surprise, as well as for male faces, and a bigger response time for judgment of the surprise emotion. Finally, through regression analysis, there were significant associations between the presence of neuroticism traits and the low accuracy of the surprise emotion for PTSD; for TAG, there were noticeable associations between the presence of emotional and sexual EET and greater accuracy for the emotion of disgust; end for the SAD the association with personality trait neuroticism was highlighted. Thus, the findings of this research corroborate the previous literature data and also explore specificities between the different disorders. It can be assumed that the identification of such correlations can provide an integrated understanding, improving therapeutic and preventive behaviors.

O reconhecimento de expressões faciais é uma área de interesse da ciência da computação e tem sido um atrativo para pesquisadores de diferentes áreas, pois tem potencial para promover o desenvolvimento de diferentes tipos de aplicações. Reconhecer automaticamente essas expressões tem se tornado um objetivo, principalmente na área de análise do comportamento humano. Especialmente para estudo das línguas de sinais, a análise das expressões faciais é importante para a interpretação do discurso, pois é o elemento que permite expressar informação prosódica, suporta o desenvolvimento da estrutura gramatical e semântica da língua, e ajuda na formação de sinais com outros elementos básicos da língua. Nesse contexto, as expressões faciais são chamadas de expressões faciais gramaticais e colaboram na composição no sentido semântico das sentenças. Entre as linhas de estudo que exploram essa temática, está aquela que pretende implementar a análise automática da língua de sinais. Para aplicações com objetivo de interpretar línguas de sinais de forma automatizada, é preciso que tais expressões sejam identificadas no curso de uma sinalização, e essa tarefa dá-se é definida como segmentação de expressões faciais gramaticais. Para essa área, faz-se útil o desenvolvimento de uma arquitetura capaz de realizar a identificação de tais expressões em uma sentença, segmentando-a de acordo com cada tipo diferente de expressão usada em sua construção. Dada a necessidade do desenvolvimento dessa arquitetura, esta pesquisa apresenta: uma análise dos estudos na área para levantar o estado da arte; a implementação de algoritmos de reconhecimento de padrões usando Multilayer Perceptron e misturas de especialistas para a resolução do problema de reconhecimento da expressão facial; a comparação desses algoritmos reconhecedores das expressões faciais gramaticais usadas na concepção de sentenças na Língua Brasileira de Sinais (Libras). A implementação e teste dos algoritmos mostraram que a segmentação automática de expressões faciais gramaticais é viável em contextos dependentes do usuários. Para contextos independentes de usuários, o problema de segmentação de expressões faciais representa um desafio que requer, principalmente, a organização de um ambiente de aprendizado estruturado sobre um conjunto de dados com volume e diversidade maior do que os atualmente disponíveis / The recognition of facial expressions is an area of interest in computer science and has been an attraction for researchers in different fields since it has potential for development of different types of applications. Automatically recognizing these expressions has become a goal primarily in the area of human behavior analysis. Especially for the study of sign languages, the analysis of facial expressions represents an important factor for the interpretation of discourse, since it is the element that allows expressing prosodic information, supports the development of the grammatical and semantic structure of the language, and eliminates ambiguities between similar signs. In this context, facial expressions are called grammatical facial expressions. These expressions collaborate in the semantic composition of the sentences. Among the lines of study that explore this theme is the one that intends to implement the automatic analysis of sign language. For applications aiming to interpret signal languages in an automated way, it is necessary that such expressions be identified in the course of a signaling, and that task is called \"segmentation of grammatical facial expressions\'\'. For this area, it is useful to develop an architecture capable of performing the identification of such expressions in a sentence, segmenting it according to each different type of expression used in its construction. Given the need to develop this architecture, this research presents: a review of studies already carried out in the area; the implementation of pattern recognition algorithms using Multilayer Perceptron and mixtures of experts to solve the facial expression recognition problem; the comparison of these algorithms as recognizers of grammatical facial expressions used in the conception of sentences in the Brazilian Language of Signs (Libras). The implementation and tests carried out with such algorithms showed that the automatic segmentation of grammatical facial expressions is practicable in user-dependent contexts. Regarding user-independent contexts, this is a challenge which demands the organization of a learning environment structured on datasets bigger and more diversified than those current available

As diferenças entre os sexos e o impacto dos hormônios sexuais no processamento emocional normal e patológico destacam-se na investigação do dimorfismo sexual na frequência, diagnóstico e terapêutica de patologias psiquiátricas. Transtornos depressivos e ansiosos não apenas são mais comuns em mulheres, quando comparadas aos homens, como parecem ser influenciados pelas concentrações hormonais séricas das mulheres em diferentes fases do ciclo reprodutivo. Ao mesmo tempo, o sexo e as concentrações dos hormônios sexuais, mostram influência na função do cérebro em uma diversidade de tarefas cognitivas e emocionais. O reconhecimento de expressões faciais de emoções básicas tem sido visto como função de extrema importância na adaptação social do indivíduo e existem evidências de que esteja relacionado com o desenvolvimento de transtornos psiquiátricos. Já foi demonstrado que esta tarefa é influenciada pelo sexo do indivíduo e seu ambiente hormonal, no entanto, a literatura carece de resposta sobre os mecanismos pelos quais estas diferenças acontecem. Em dois experimentos buscamos maior entendimento de como se dão as diferenças entre os sexos no reconhecimento de expressões faciais de emoções básicas (raiva, asco, medo, tristeza, surpresa e alegria). No experimento 1, 33 voluntários saudáveis do sexo masculino e 30 do sexo feminino foram testados quanto à acurácia no reconhecimento de expressões faciais, ao tipo de erro ao realizar esta tarefa e à emoção despertada durante este reconhecimento. No experimento 2, 24 voluntárias saudáveis foram testadas quanto à acurácia no reconhecimento de expressões faciais em três diferentes fases do ciclo menstrual: fase folicular precoce (primeiro ao quinto dia do ciclo), periovulatória (décimo segundo ao décimo quarto dia do ciclo), e lútea (vigésimo primeiro ao vigésimo terceiro dia do ciclo), em delineamento cruzado. Foi realizada dosagem sanguínea de estradiol, progesterona e testosterona ao final de cada sessão experimental, com o intuito de confirmar a fase do ciclo das voluntárias e buscar possíveis correlações entre esses hormônios e o processamento de expressões faciais. Utilizou-se análise de contraste na avaliação do desempenho no reconhecimento de todas as emoções básicas com o desempenho no reconhecimento da emoção alegria. No experimento 1, raiva e medo em faces femininas foram reconhecidos com maior acurácia por mulheres, quando comparadas aos homens. Não foram encontradas diferenças significativas entre os sexos quanto à emoção despertada durante a visualização de expressões faciais. O experimento 2 mostrou que o reconhecimento das emoções asco e tristeza em faces masculinas variou de maneira significativa durante as fases do ciclo menstrual. As mulheres na fase lútea obtiveram maior acurácia no reconhecimento de expressões de asco em comparação com a fase folicular precoce, enquanto o desempenho no reconhecimento de tristeza foi maior na fase periovulatória do que na fase lútea. Os resultados sugerem que as diferenças entre homens e mulheres na capacidade de reconhecer emoções não estejam relacionadas à valência da emoção despertada nos indivíduos durante o processamento emocional. A modulação do reconhecimento de expressões faciais pelas fases do ciclo menstrual aponta que este seja um dos fatores implicados nas diferenças entre os sexos nesta tarefa / The impact of sex and sexual hormones in the normal and pathological emotional processing has reached unique importance in the investigation of sexual dimorphism in prevalence, diagnostic features and therapeutics of psychiatric disorders. Depressive and anxiety disorders are not only more common in women compared to men, but they also seem to be influenced by the hormonal status of women at different stages of the reproductive cycle. At the same time, the sex of the subject and the level of sex hormones have been suggested to play a role in brain function in a variety of emotional and cognitive tasks. The recognition of facial expressions of basic emotions has been recognized not only as of extreme importance in social adjustment as there is also evidence of its relation to the development of psychiatric disorders. It has been shown that this task is influenced by the sex and hormonal status of subjects, however, the literature shows a gap in explanations about how these differences occur. In two experiments we sought a better understanding of how sex differences in facial expressions recognition of basic emotion (anger, disgust, fear, sadness, surprise, happiness and neutral) happens. In experiment 1, 33 male and 30 female healthy volunteers were tested for accuracy in the recognition of facial expressions, the type of error when performing this task as well as the emotion aroused during this recognition. In experiment 2, 24 healthy female volunteers were tested for accuracy in the recognition of facial expressions in 3 different phases of menstrual cycle, early follicular (days 1 to 5), periovulatory phase (days 12 to 14) and luteal phase (days 21 to 23), in a crossover study design. Volunteers were tested for blood levels of estrogen, progesterone and testosterone at the end of each experimental session in order to confirm cycle phase and look for possible correlations between hormones and processing of facial expressions. We used contrast analysis in the recognition of each basic emotion against the recognition of happiness. In experiment 1, anger and fear, in feminine faces, were more accurately recognized by women in comparison to men. No significant differences among sexes were found on the emotion aroused while viewing facial expressions. Experiment 2 showed that the recognition of the emotions disgust and sadness, in male faces, varied significantly during the menstrual cycle phases. Women in luteal phase showed greater accuracy in recognizing expressions of disgust than when in early follicular phase whereas the recognition of sadness were more accurate during periovulatory phase than during luteal phase. These results suggest that differences between men and women in the ability to recognize emotions are not related to the valence of the emotions aroused in the subjects during emotional processing. This study also showed that the role played by the menstrual cycle in the ability to recognize facial expressions points to this feature as an important factor implicated in sex differences in this task.

No description available.

A capacidade de identificação de emoções é imprescindível para uma interação social adequada entre indivíduos. Existem transtornos psiquiátricos, como o Transtorno do Espectro Autista (TEA), que impedem o reconhecimento de emoções e acabam por comprometer a qualidade de vida das pessoas. Faz-se necessária uma forma eficaz de avaliar e treinar os pacientes na identificação de emoções. Este trabalho faz parte de um projeto maior que objetiva fornecer representações de faces humanas com emoções diversas. Já existe um sistema, implementado em nossos grupos de pesquisa LAPIS-BIOINFOMED, que apresenta como saída imagens de faces com a aplicação das emoções: aversão, medo, raiva, satisfação, surpresa e tristeza, mas restrito à faixa etária jovem, sexo masculino e etnia caucasiana. Este sistema será utilizado no futuro como um jogo para auxiliar no tratamento dos pacientes com autismo, apresentando as imagens das caricaturas para que sejam adivinhadas pelo paciente. O objetivo do presente trabalho foi expandir o algoritmo existente de forma a permitir a combinação de diversas faixas etárias, sexos e etnias, permitindo que as imagens geradas sejam mais próximas ou mais distantes do convívio do paciente em tratamento, graduando assim a dificuldade no reconhecimento das emoções aplicadas às imagens. Neste trabalho foi levantado o estado da arte na literatura, para a área de representação de sexos, etnias e faixas etárias em imagens de face. Estes dados levantados foram comparados com características extraídas de tabelas com dados antropométricos, que armazenam as principais medidas e distâncias entre regiões da face humana (olhos, boca, nariz, etc.) para diferentes etnias, faixas etárias e sexos. Após esta análise, foram adicionadas ao algoritmo de geração de imagens as características que melhor diferem as três diversidades estudadas. Também foram adicionadas características que não estavam presentes nos dados antropométricos, como as rugas, tanto de idade quanto de algumas emoções. O produto final deste projeto é a comparação entre as características utilizadas pela literatura e as características extraídas da antropometria, e a expansão do algoritmo atual contemplando as diversidades étnicas, etárias e de sexo, permitindo que o usuário possa escolher uma configuração dessas diversidades para a geração das imagens com as emoções aplicadas / The ability to identify emotions is essential for adequate social interaction between individuals. There are psychiatric disorders, such as Autism Spectrum Disorder (ASD), which prevent recognition of emotions and impair people\'s quality of life. An effective way to evaluate and train patients to identify emotions is needed. This work is part of a larger project that aims to provide representations of human faces with diverse emotions. There is already a system, implemented in our research group LAPIS-BIOINFOMED, which outputs face images with those emotions applied: aversion, fear, anger, satisfaction, surprise and sadness, but restricted to the young age group, male sex and Caucasian ethnicity. This system will be used in the future to develop serious games to support the treatment of patients with ASD, by presenting facial images with emotional expressions, so that the emotion can be guessed by the patient. The aim of the present study was to expand the existing algorithm to allow the combination of different age groups, genders and ethnicities, allowing the generated images to be closer to or more distant from the patient\'s life, graduating the difficulty in the recognition of the emotions applied to the images. In this work, the state of the art was presented in the literature for the area of representation of sexes, ethnicities and age groups in face images. These data were compared with characteristics extracted from articles with anthropometric data, which store the main measurements and distances between regions of the human face (eyes, mouth, nose, etc.) for different ethnic groups, age groups and sexes. After this analysis, the characteristics that best differ the three studied diversities were added to the imaging algorithm . Features that were not presented in the anthropometric data were also added, such as wrinkles, both age and some emotions. The final product of this project is the comparison between the characteristics used in the literature and the characteristics extracted from the anthropometry, and the expansion of the current algorithm contemplating the ethnic, age and sex diversities, allowing the user to choose a configuration of these diversities for the generation of the images with the applied emotions

Puisque les traits de biométrie douce peuvent fournir des preuves supplémentaires pour aider à déterminer précisément l’identité de l’homme, il y a eu une attention croissante sur la reconnaissance faciale basée sur les biométrie douce ces dernières années. Parmi tous les biométries douces, le sexe et l’ethnicité sont les deux caractéristiques démographiques importantes pour les êtres humains et ils jouent un rôle très fondamental dans l’analyse de visage automatique. En attendant, la reconnaissance des expressions faciales est un autre challenge dans le domaine de l’analyse de visage en raison de la diversité et de l’hybridité des expressions humaines dans différentes cultures, genres et contextes. Ce thèse est dédié à combiner la texture du visage 2D et la morphologie du visage 3D pour estimer les biométries douces: le sexe, l’ethnicité, etc., et reconnaître les expressions faciales. Pour la reconnaissance du sexe et de l’ethnicité, nous présentons une approche efficace en combinant à la fois des textures locales et des caractéristiques de forme extraites à partir des modèles de visage 3D, contrairement aux méthodes existantes qui ne dépendent que des textures ou des caractéristiques de forme. Afin de souligne exhaustivement la différence entre les groupes sexuels et ethniques, nous proposons un nouveau descripteur, à savoir local circular patterns (LCP). Ce descripteur améliore Les motifs binaires locaux (LBP) et ses variantes en remplaçant la quantification binaire par une quantification basée sur le regroupement, entraînant d’une puissance plus discriminative et une meilleure résistance au bruit. En même temps, l’algorithme Adaboost est engagé à sélectionner les caractéristiques discriminatives fortement liés au sexe et à l’ethnicité. Les résultats expérimentaux obtenus sur les bases de données FRGC v2.0 et BU-3DFE démontrent clairement les avantages de la méthode proposée. Pour la reconnaissance des expressions faciales, nous présentons une méthode automatique basée sur les multi-modalité 2D + 3D et démontrons sa performance sur la base des données BU-3DFE. Notre méthode combine des textures locales et des descripteurs de formes pour atteindre l’efficacité et la robustesse. Tout d’abord, un grand ensemble des points des caractéristiques d’images 2D et de modèles 3D sont localisés à l’aide d’un nouvel algorithme, à savoir la cascade parallèle incrémentielle de régression linéaire (iPar-CLR). Ensuite, on utilise un nouveau descripteur basé sur les histogrammes des gradients d’ordre secondaire (HSOG) en conjonction avec le descripteur SIFT pour décrire la texture locale autour de chaque point de caractéristique 2D. De même, la géométrie locale autour de chaque point de caractéristique 3D est décrite par deux nouveaux descripteurs de forme construits à l’aide des quantités différentielle de géométries de la surface au premier ordre et au second ordre, à savoir meshHOG et meshHOS. Enfin, les résultats de reconnaissance des descripteurs 2D et 3D fournis par le classifier SVM sont fusionnés à la fois au niveau de fonctionnalité et de score pour améliorer la précision. Les expérimentaux résultats démontrent clairement qu’il existe des caractéristiques complémentaires entre les descripteurs 2D et 3D. Notre approche basée sur les multi-modalités surpasse les autres méthodes de l’état de l’art en obtenant une précision de reconnaissance 86,32%. De plus, une bonne capacité de généralisation est aussi présentée sur la base de données Bosphorus. / Since soft biometrics traits can provide sufficient evidence to precisely determine the identity of human, there has been increasing attention for face based soft biometrics identification in recent years. Among those face based soft biometrics, gender and ethnicity are both key demographic attributes of human beings and they play a very fundamental and important role in automatic machine based face analysis. Meanwhile, facial expression recognition is another challenge problem in face analysis because of the diversity and hybridity of human expressions among different subjects in different cultures, genders and contexts. This Ph.D thesis work is dedicated to combine 2D facial Texture and 3D face morphology for estimating people’s soft biometrics: gender, ethnicity, etc., and recognizing facial expression. For the gender and ethnicity recognition, we present an effective and efficient approach on this issue by combining both boosted local texture and shape features extracted from 3D face models, in contrast to the existing ones that only depend on either 2D texture or 3D shape of faces. In order to comprehensively represent the difference between different genders or ethnics groups, we propose a novel local descriptor, namely local circular patterns (LCP). LCP improves the widely utilized local binary patterns (LBP) and its variants by replacing the binary quantization with a clustering based one, resulting in higher discriminative power as well as better robustness to noise. Meanwhile, the following Adaboost based feature selection finds the most discriminative gender- and ethnic-related features and assigns them with different weights to highlight their importance in classification, which not only further raises the performance but reduces the time and memory cost as well. Experimental results achieved on the FRGC v2.0 and BU-3DFE data sets clearly demonstrate the advantages of the proposed method. For facial expression recognition, we present a fully automatic multi-modal 2D + 3D feature-based facial expression recognition approach and demonstrate its performance on the BU–3DFE database. Our approach combines multi-order gradientbased local texture and shape descriptors in order to achieve efficiency a nd robustness. First, a large set of fiducial facial landmarks of 2D face images along with their 3D face scans are localized using a novel algorithm namely incremental Parallel Cascade of Linear Regression (iPar–CLR). Then, a novel Histogram of Second Order Gradients (HSOG) based local image descriptor in conjunction with the widely used first-order gradient based SIFT descriptor are employed to describe the local texture around each 2D landmark. Similarly, the local geometry around each 3D landmark is described by two novel local shape descriptors constructed using the first-order and the second-order surface differential geometry quantities, i.e., Histogram of mesh Gradients (meshHOG) and Histogram of mesh Shape index (curvature quantization, meshHOS). Finally, the Support Vector Machine (SVM) based recognition results of all 2D and 3D descriptors are fused at both featurelevel and score-level to further improve the accuracy. Comprehensive experimental results demonstrate that there exist impressive complementary characteristics between the 2D and 3D descriptors. We use the BU–3DFE benchmark to compare our approach to the state-of-the-art ones. Our multi-modal feature-based approach outperforms the others by achieving an average recognition accuracy of 86,32%. Moreover, a good generalization ability is shown on the Bosphorus database.

Faces de bebês são um estímulo emocional extremamente saliente para humanos. O objetivo deste estudo foi comparar a interferência emocional de faces de bebês e estímulos de ameaça (faces adultas com medo) na atenção automática de homens e mulheres com e sem filhos. Após estudo piloto, recrutou-se 61 homens e mulheres de 20 a 35 anos. Os participantes responderam a uma tarefa Go/No-Go na qual imagens de bebês com expressões de sofrimento, alegria ou neutra e imagens de adultos com expressões de medo, alegria e neutra, eram apresentadas. Foram calculados os vieses de atenção para faces de bebês em sofrimento, faces de adultos com medo e faces de bebês vs. adultos. Participantes com filhos, de ambos os sexos, apresentaram mais viés de cuidado (bebês vs adultos) do que os sem filhos. Os resultados indicaram que apenas status parental influenciou o viés para faces de bebês. / Babies are extremely salient emotional stimuli to human beings. The current study aimed to compare the emotional interference of baby faces and threat stimuli (adult fearful faces) on the automatic attention of men and women, parents and non-parents. A pilot study was conducted to adapt instruments and procedures. For the main study 61 men and women aged 20 to 35 years with minimum complete elementary school were recruited. Images of distressed, happy and neutral baby faces and fearful, happy and neutral adult faces were used in a Go/No-Go paradigm. Attentional bias indexes were calculated for biases towards baby distress, adult fear and baby vs. adult faces. Parents, regardless of sex, showed a higher nurturing attentional bias (baby vs. adult faces) in comparison to non-parents. This finding demonstrates that parental status influences the attentional bias to babies.