O reconhecimento de expressões faciais é uma área de interesse da ciência da computação e tem sido um atrativo para pesquisadores de diferentes áreas, pois tem potencial para promover o desenvolvimento de diferentes tipos de aplicações. Reconhecer automaticamente essas expressões tem se tornado um objetivo, principalmente na área de análise do comportamento humano. Especialmente para estudo das línguas de sinais, a análise das expressões faciais é importante para a interpretação do discurso, pois é o elemento que permite expressar informação prosódica, suporta o desenvolvimento da estrutura gramatical e semântica da língua, e ajuda na formação de sinais com outros elementos básicos da língua. Nesse contexto, as expressões faciais são chamadas de expressões faciais gramaticais e colaboram na composição no sentido semântico das sentenças. Entre as linhas de estudo que exploram essa temática, está aquela que pretende implementar a análise automática da língua de sinais. Para aplicações com objetivo de interpretar línguas de sinais de forma automatizada, é preciso que tais expressões sejam identificadas no curso de uma sinalização, e essa tarefa dá-se é definida como segmentação de expressões faciais gramaticais. Para essa área, faz-se útil o desenvolvimento de uma arquitetura capaz de realizar a identificação de tais expressões em uma sentença, segmentando-a de acordo com cada tipo diferente de expressão usada em sua construção. Dada a necessidade do desenvolvimento dessa arquitetura, esta pesquisa apresenta: uma análise dos estudos na área para levantar o estado da arte; a implementação de algoritmos de reconhecimento de padrões usando Multilayer Perceptron e misturas de especialistas para a resolução do problema de reconhecimento da expressão facial; a comparação desses algoritmos reconhecedores das expressões faciais gramaticais usadas na concepção de sentenças na Língua Brasileira de Sinais (Libras). A implementação e teste dos algoritmos mostraram que a segmentação automática de expressões faciais gramaticais é viável em contextos dependentes do usuários. Para contextos independentes de usuários, o problema de segmentação de expressões faciais representa um desafio que requer, principalmente, a organização de um ambiente de aprendizado estruturado sobre um conjunto de dados com volume e diversidade maior do que os atualmente disponíveis / The recognition of facial expressions is an area of interest in computer science and has been an attraction for researchers in different fields since it has potential for development of different types of applications. Automatically recognizing these expressions has become a goal primarily in the area of human behavior analysis. Especially for the study of sign languages, the analysis of facial expressions represents an important factor for the interpretation of discourse, since it is the element that allows expressing prosodic information, supports the development of the grammatical and semantic structure of the language, and eliminates ambiguities between similar signs. In this context, facial expressions are called grammatical facial expressions. These expressions collaborate in the semantic composition of the sentences. Among the lines of study that explore this theme is the one that intends to implement the automatic analysis of sign language. For applications aiming to interpret signal languages in an automated way, it is necessary that such expressions be identified in the course of a signaling, and that task is called \"segmentation of grammatical facial expressions\'\'. For this area, it is useful to develop an architecture capable of performing the identification of such expressions in a sentence, segmenting it according to each different type of expression used in its construction. Given the need to develop this architecture, this research presents: a review of studies already carried out in the area; the implementation of pattern recognition algorithms using Multilayer Perceptron and mixtures of experts to solve the facial expression recognition problem; the comparison of these algorithms as recognizers of grammatical facial expressions used in the conception of sentences in the Brazilian Language of Signs (Libras). The implementation and tests carried out with such algorithms showed that the automatic segmentation of grammatical facial expressions is practicable in user-dependent contexts. Regarding user-independent contexts, this is a challenge which demands the organization of a learning environment structured on datasets bigger and more diversified than those current available

As diferenças entre os sexos e o impacto dos hormônios sexuais no processamento emocional normal e patológico destacam-se na investigação do dimorfismo sexual na frequência, diagnóstico e terapêutica de patologias psiquiátricas. Transtornos depressivos e ansiosos não apenas são mais comuns em mulheres, quando comparadas aos homens, como parecem ser influenciados pelas concentrações hormonais séricas das mulheres em diferentes fases do ciclo reprodutivo. Ao mesmo tempo, o sexo e as concentrações dos hormônios sexuais, mostram influência na função do cérebro em uma diversidade de tarefas cognitivas e emocionais. O reconhecimento de expressões faciais de emoções básicas tem sido visto como função de extrema importância na adaptação social do indivíduo e existem evidências de que esteja relacionado com o desenvolvimento de transtornos psiquiátricos. Já foi demonstrado que esta tarefa é influenciada pelo sexo do indivíduo e seu ambiente hormonal, no entanto, a literatura carece de resposta sobre os mecanismos pelos quais estas diferenças acontecem. Em dois experimentos buscamos maior entendimento de como se dão as diferenças entre os sexos no reconhecimento de expressões faciais de emoções básicas (raiva, asco, medo, tristeza, surpresa e alegria). No experimento 1, 33 voluntários saudáveis do sexo masculino e 30 do sexo feminino foram testados quanto à acurácia no reconhecimento de expressões faciais, ao tipo de erro ao realizar esta tarefa e à emoção despertada durante este reconhecimento. No experimento 2, 24 voluntárias saudáveis foram testadas quanto à acurácia no reconhecimento de expressões faciais em três diferentes fases do ciclo menstrual: fase folicular precoce (primeiro ao quinto dia do ciclo), periovulatória (décimo segundo ao décimo quarto dia do ciclo), e lútea (vigésimo primeiro ao vigésimo terceiro dia do ciclo), em delineamento cruzado. Foi realizada dosagem sanguínea de estradiol, progesterona e testosterona ao final de cada sessão experimental, com o intuito de confirmar a fase do ciclo das voluntárias e buscar possíveis correlações entre esses hormônios e o processamento de expressões faciais. Utilizou-se análise de contraste na avaliação do desempenho no reconhecimento de todas as emoções básicas com o desempenho no reconhecimento da emoção alegria. No experimento 1, raiva e medo em faces femininas foram reconhecidos com maior acurácia por mulheres, quando comparadas aos homens. Não foram encontradas diferenças significativas entre os sexos quanto à emoção despertada durante a visualização de expressões faciais. O experimento 2 mostrou que o reconhecimento das emoções asco e tristeza em faces masculinas variou de maneira significativa durante as fases do ciclo menstrual. As mulheres na fase lútea obtiveram maior acurácia no reconhecimento de expressões de asco em comparação com a fase folicular precoce, enquanto o desempenho no reconhecimento de tristeza foi maior na fase periovulatória do que na fase lútea. Os resultados sugerem que as diferenças entre homens e mulheres na capacidade de reconhecer emoções não estejam relacionadas à valência da emoção despertada nos indivíduos durante o processamento emocional. A modulação do reconhecimento de expressões faciais pelas fases do ciclo menstrual aponta que este seja um dos fatores implicados nas diferenças entre os sexos nesta tarefa / The impact of sex and sexual hormones in the normal and pathological emotional processing has reached unique importance in the investigation of sexual dimorphism in prevalence, diagnostic features and therapeutics of psychiatric disorders. Depressive and anxiety disorders are not only more common in women compared to men, but they also seem to be influenced by the hormonal status of women at different stages of the reproductive cycle. At the same time, the sex of the subject and the level of sex hormones have been suggested to play a role in brain function in a variety of emotional and cognitive tasks. The recognition of facial expressions of basic emotions has been recognized not only as of extreme importance in social adjustment as there is also evidence of its relation to the development of psychiatric disorders. It has been shown that this task is influenced by the sex and hormonal status of subjects, however, the literature shows a gap in explanations about how these differences occur. In two experiments we sought a better understanding of how sex differences in facial expressions recognition of basic emotion (anger, disgust, fear, sadness, surprise, happiness and neutral) happens. In experiment 1, 33 male and 30 female healthy volunteers were tested for accuracy in the recognition of facial expressions, the type of error when performing this task as well as the emotion aroused during this recognition. In experiment 2, 24 healthy female volunteers were tested for accuracy in the recognition of facial expressions in 3 different phases of menstrual cycle, early follicular (days 1 to 5), periovulatory phase (days 12 to 14) and luteal phase (days 21 to 23), in a crossover study design. Volunteers were tested for blood levels of estrogen, progesterone and testosterone at the end of each experimental session in order to confirm cycle phase and look for possible correlations between hormones and processing of facial expressions. We used contrast analysis in the recognition of each basic emotion against the recognition of happiness. In experiment 1, anger and fear, in feminine faces, were more accurately recognized by women in comparison to men. No significant differences among sexes were found on the emotion aroused while viewing facial expressions. Experiment 2 showed that the recognition of the emotions disgust and sadness, in male faces, varied significantly during the menstrual cycle phases. Women in luteal phase showed greater accuracy in recognizing expressions of disgust than when in early follicular phase whereas the recognition of sadness were more accurate during periovulatory phase than during luteal phase. These results suggest that differences between men and women in the ability to recognize emotions are not related to the valence of the emotions aroused in the subjects during emotional processing. This study also showed that the role played by the menstrual cycle in the ability to recognize facial expressions points to this feature as an important factor implicated in sex differences in this task.

A capacidade de identificação de emoções é imprescindível para uma interação social adequada entre indivíduos. Existem transtornos psiquiátricos, como o Transtorno do Espectro Autista (TEA), que impedem o reconhecimento de emoções e acabam por comprometer a qualidade de vida das pessoas. Faz-se necessária uma forma eficaz de avaliar e treinar os pacientes na identificação de emoções. Este trabalho faz parte de um projeto maior que objetiva fornecer representações de faces humanas com emoções diversas. Já existe um sistema, implementado em nossos grupos de pesquisa LAPIS-BIOINFOMED, que apresenta como saída imagens de faces com a aplicação das emoções: aversão, medo, raiva, satisfação, surpresa e tristeza, mas restrito à faixa etária jovem, sexo masculino e etnia caucasiana. Este sistema será utilizado no futuro como um jogo para auxiliar no tratamento dos pacientes com autismo, apresentando as imagens das caricaturas para que sejam adivinhadas pelo paciente. O objetivo do presente trabalho foi expandir o algoritmo existente de forma a permitir a combinação de diversas faixas etárias, sexos e etnias, permitindo que as imagens geradas sejam mais próximas ou mais distantes do convívio do paciente em tratamento, graduando assim a dificuldade no reconhecimento das emoções aplicadas às imagens. Neste trabalho foi levantado o estado da arte na literatura, para a área de representação de sexos, etnias e faixas etárias em imagens de face. Estes dados levantados foram comparados com características extraídas de tabelas com dados antropométricos, que armazenam as principais medidas e distâncias entre regiões da face humana (olhos, boca, nariz, etc.) para diferentes etnias, faixas etárias e sexos. Após esta análise, foram adicionadas ao algoritmo de geração de imagens as características que melhor diferem as três diversidades estudadas. Também foram adicionadas características que não estavam presentes nos dados antropométricos, como as rugas, tanto de idade quanto de algumas emoções. O produto final deste projeto é a comparação entre as características utilizadas pela literatura e as características extraídas da antropometria, e a expansão do algoritmo atual contemplando as diversidades étnicas, etárias e de sexo, permitindo que o usuário possa escolher uma configuração dessas diversidades para a geração das imagens com as emoções aplicadas / The ability to identify emotions is essential for adequate social interaction between individuals. There are psychiatric disorders, such as Autism Spectrum Disorder (ASD), which prevent recognition of emotions and impair people\'s quality of life. An effective way to evaluate and train patients to identify emotions is needed. This work is part of a larger project that aims to provide representations of human faces with diverse emotions. There is already a system, implemented in our research group LAPIS-BIOINFOMED, which outputs face images with those emotions applied: aversion, fear, anger, satisfaction, surprise and sadness, but restricted to the young age group, male sex and Caucasian ethnicity. This system will be used in the future to develop serious games to support the treatment of patients with ASD, by presenting facial images with emotional expressions, so that the emotion can be guessed by the patient. The aim of the present study was to expand the existing algorithm to allow the combination of different age groups, genders and ethnicities, allowing the generated images to be closer to or more distant from the patient\'s life, graduating the difficulty in the recognition of the emotions applied to the images. In this work, the state of the art was presented in the literature for the area of representation of sexes, ethnicities and age groups in face images. These data were compared with characteristics extracted from articles with anthropometric data, which store the main measurements and distances between regions of the human face (eyes, mouth, nose, etc.) for different ethnic groups, age groups and sexes. After this analysis, the characteristics that best differ the three studied diversities were added to the imaging algorithm . Features that were not presented in the anthropometric data were also added, such as wrinkles, both age and some emotions. The final product of this project is the comparison between the characteristics used in the literature and the characteristics extracted from the anthropometry, and the expansion of the current algorithm contemplating the ethnic, age and sex diversities, allowing the user to choose a configuration of these diversities for the generation of the images with the applied emotions

A investigação da multimodalidade nas interações tem sido contemplada em campos de pesquisa cada vez mais diversos. No entanto, ainda é incipiente o entendimento de como os significados são construídos pela mobilização de múltiplas dimensões semióticas, atuando concomitantemente dentro do evento interacional. Esta tese busca contribuir para expandir esse entendimento, sobretudo, em episódios de desacordo. A Análise da Conversa, de base etnometodológica, e os Estudos dos Gestos são as linhas teóricas que balizam esta tese. Pelas contribuições da Análise da Conversa, pudemos observar como os próprios participantes se orientam uns em relação aos outros, revelando-nos os recursos mobilizados como práticas interacionais voltadas à realização e coordenação de suas ações durante a interação. Das contribuições dos Estudos dos Gestos, pudemos explorar as relações entre língua e ações gestuais e verificar o importante papel da gestualidade tanto para o estabelecimento de práticas interacionais quanto para o enquadramento das ações que estão em processo de formação. Os dados desta pesquisa compreendem vários tipos de interação realizados por falantes nativos de português brasileiro, perfazendo aproximadamente 15 horas de registros audiovisuais, coletados entre julho de 2012 e agosto de 2015. Desse material, selecionamos excertos para exemplificação teórica e 6 excertos para análise minuciosa, realizada dentro do programa ELAN, das sequências de desacordo. As análises mostram que os participantes se valem das ações gestuais como um recurso dinâmico e flexível que eles utilizam situadamente; que as ações faciais auxiliam os participantes a demonstrar suas posições e entendimentos a respeito das ações uns dos outros; que as ações gestuais dos coparticipantes produzidas em possíveis pontos de completude do turno do falante parecem ser tomadas como as primeiras manifestações das discordâncias que estão em processo de desenvolvimento; que o falante parece considerar essas ações do coparticipante para produzir seus enunciados subsequentes; que tal prática também parece servir ao propósito de oferecer ao falante uma oportunidade para promover ajustes interacionais antes que os desacordos verbais do coparticipante venham a ser produzidos. Algumas das contribuições desta tese são: (1) mostrar a necessidade de se estabelecer um padrão de transcrição multimodal que possa contemplar as várias dimensões semióticas envolvidas na interação, revelando toda a complexidade do que está acontecendo momento a momento; (2) mostrar como uma análise multimodal minuciosa elucida detalhes interacionais que ficam apagados na análise verbo-vocal; (3) apresentar uma mudança na compreensão das ações gestuais produzidas pelo coparticipante durante o turno do falante, mostrando como essas ações não devem ser entendidas como pré-ações antecipatórias de desacordos verbais, mas como primeiras manifestações da discordância em processo de formação; (4) mostrar como as ações gestuais emergem como parte de uma organização sequencial no desenrolar da interação, agregando informações a respeito do tipo de ação em desenvolvimento; e (5) mostrar como as ações gestuais são práticas recorrentes que podem ser definidas dentro da sequência interacional quando se analisa a sua progressão temporal. / Research on the multimodality of interaction is being carried out in increasingly diverse fields of studies. However, comprehension of how meanings are constructed through the deployment of multiple semiotic dimensions acting concomitantly within the interactional event is still in its infancy. This dissertation contributes to expanding this understanding specifically in episodes of disagreement. Conversation Analysis and Gesture Studies are the theoretical bases for this dissertation. By applying Conversation Analysis, we are able to observe how participants orient towards each other, revealing how resources are mobilized in interactional practices that help them coordinate and accomplish their actions during the interaction. By applying the findings of Gesture Studies, we are able to explore the relations between language and bodily actions and to verify the important role of bodily action both for the establishment of interactional practices and for the framing of action formation. Varied types of interaction, approximately 15 hours of audiovisual records, collected between July 2012 and August 2015, and performed by native speakers of Brazilian Portuguese compose the data of this research. From this material, using ELAN, we selected excerpts for theoretical exemplification and 6 excerpts for detailed analysis of sequences of disagreement. The analyses show that participants use bodily actions as a dynamic and flexible resource, locally performed; that facial actions help participants demonstrate their positions and understandings about one another\'s actions; that coparticipants bodily actions, produced at transitional-relevance places in the speaker\'s turn seem to be taken as first manifestations of disagreements that are in the process of developing; that the speaker appears to consider these coparticipant actions in producing his subsequent utterances. Such a practice also seems to serve the purpose of giving the speaker an opportunity to promote interactive adjustments before verbal disagreements of the co-participant would be produced. Some of the contributions of this dissertation are: (1) to show the need to establish a multimodal transcription pattern that can contemplate the multiple semiotic dimensions involved in the interaction, revealing all the complexity of what is happening moment by moment; (2) to show how a detailed multimodal analysis elucidates interactional details that are \"erased\" in the verb-vocal analysis; (3) to present a change in the understandings of the bodily actions produced by the coparticipant during the speaker\'s turn, showing how these actions should not be understood as anticipatory pre-actions of verbal disagreements, but as the first manifestations of the disagreement that is in the formation process; (4) to show how bodily actions emerge as part of a sequential organization in the course of the interaction, adding information about the type of action in development; and (5) to show how bodily actions are recurrent practices that can be defined within the interactional sequence when analyzing its temporal progression.

As diferenças entre os sexos e o impacto dos hormônios sexuais no processamento emocional normal e patológico destacam-se na investigação do dimorfismo sexual na frequência, diagnóstico e terapêutica de patologias psiquiátricas. Transtornos depressivos e ansiosos não apenas são mais comuns em mulheres, quando comparadas aos homens, como parecem ser influenciados pelas concentrações hormonais séricas das mulheres em diferentes fases do ciclo reprodutivo. Ao mesmo tempo, o sexo e as concentrações dos hormônios sexuais, mostram influência na função do cérebro em uma diversidade de tarefas cognitivas e emocionais. O reconhecimento de expressões faciais de emoções básicas tem sido visto como função de extrema importância na adaptação social do indivíduo e existem evidências de que esteja relacionado com o desenvolvimento de transtornos psiquiátricos. Já foi demonstrado que esta tarefa é influenciada pelo sexo do indivíduo e seu ambiente hormonal, no entanto, a literatura carece de resposta sobre os mecanismos pelos quais estas diferenças acontecem. Em dois experimentos buscamos maior entendimento de como se dão as diferenças entre os sexos no reconhecimento de expressões faciais de emoções básicas (raiva, asco, medo, tristeza, surpresa e alegria). No experimento 1, 33 voluntários saudáveis do sexo masculino e 30 do sexo feminino foram testados quanto à acurácia no reconhecimento de expressões faciais, ao tipo de erro ao realizar esta tarefa e à emoção despertada durante este reconhecimento. No experimento 2, 24 voluntárias saudáveis foram testadas quanto à acurácia no reconhecimento de expressões faciais em três diferentes fases do ciclo menstrual: fase folicular precoce (primeiro ao quinto dia do ciclo), periovulatória (décimo segundo ao décimo quarto dia do ciclo), e lútea (vigésimo primeiro ao vigésimo terceiro dia do ciclo), em delineamento cruzado. Foi realizada dosagem sanguínea de estradiol, progesterona e testosterona ao final de cada sessão experimental, com o intuito de confirmar a fase do ciclo das voluntárias e buscar possíveis correlações entre esses hormônios e o processamento de expressões faciais. Utilizou-se análise de contraste na avaliação do desempenho no reconhecimento de todas as emoções básicas com o desempenho no reconhecimento da emoção alegria. No experimento 1, raiva e medo em faces femininas foram reconhecidos com maior acurácia por mulheres, quando comparadas aos homens. Não foram encontradas diferenças significativas entre os sexos quanto à emoção despertada durante a visualização de expressões faciais. O experimento 2 mostrou que o reconhecimento das emoções asco e tristeza em faces masculinas variou de maneira significativa durante as fases do ciclo menstrual. As mulheres na fase lútea obtiveram maior acurácia no reconhecimento de expressões de asco em comparação com a fase folicular precoce, enquanto o desempenho no reconhecimento de tristeza foi maior na fase periovulatória do que na fase lútea. Os resultados sugerem que as diferenças entre homens e mulheres na capacidade de reconhecer emoções não estejam relacionadas à valência da emoção despertada nos indivíduos durante o processamento emocional. A modulação do reconhecimento de expressões faciais pelas fases do ciclo menstrual aponta que este seja um dos fatores implicados nas diferenças entre os sexos nesta tarefa / The impact of sex and sexual hormones in the normal and pathological emotional processing has reached unique importance in the investigation of sexual dimorphism in prevalence, diagnostic features and therapeutics of psychiatric disorders. Depressive and anxiety disorders are not only more common in women compared to men, but they also seem to be influenced by the hormonal status of women at different stages of the reproductive cycle. At the same time, the sex of the subject and the level of sex hormones have been suggested to play a role in brain function in a variety of emotional and cognitive tasks. The recognition of facial expressions of basic emotions has been recognized not only as of extreme importance in social adjustment as there is also evidence of its relation to the development of psychiatric disorders. It has been shown that this task is influenced by the sex and hormonal status of subjects, however, the literature shows a gap in explanations about how these differences occur. In two experiments we sought a better understanding of how sex differences in facial expressions recognition of basic emotion (anger, disgust, fear, sadness, surprise, happiness and neutral) happens. In experiment 1, 33 male and 30 female healthy volunteers were tested for accuracy in the recognition of facial expressions, the type of error when performing this task as well as the emotion aroused during this recognition. In experiment 2, 24 healthy female volunteers were tested for accuracy in the recognition of facial expressions in 3 different phases of menstrual cycle, early follicular (days 1 to 5), periovulatory phase (days 12 to 14) and luteal phase (days 21 to 23), in a crossover study design. Volunteers were tested for blood levels of estrogen, progesterone and testosterone at the end of each experimental session in order to confirm cycle phase and look for possible correlations between hormones and processing of facial expressions. We used contrast analysis in the recognition of each basic emotion against the recognition of happiness. In experiment 1, anger and fear, in feminine faces, were more accurately recognized by women in comparison to men. No significant differences among sexes were found on the emotion aroused while viewing facial expressions. Experiment 2 showed that the recognition of the emotions disgust and sadness, in male faces, varied significantly during the menstrual cycle phases. Women in luteal phase showed greater accuracy in recognizing expressions of disgust than when in early follicular phase whereas the recognition of sadness were more accurate during periovulatory phase than during luteal phase. These results suggest that differences between men and women in the ability to recognize emotions are not related to the valence of the emotions aroused in the subjects during emotional processing. This study also showed that the role played by the menstrual cycle in the ability to recognize facial expressions points to this feature as an important factor implicated in sex differences in this task.

Com o advento da psiquiatria, a ansiedade, quando propicia prejuízo do bem estar físico, social e emocional do indivíduo, passou a ser categorizada por específicos tipos de transtornos de ansiedade e relacionados ao estresse/trauma. Modelos etiológicos atuais apontam que tais transtornos se desenvolvem, com maior facilidade, em indivíduos com histórico de traumas na primeira infância, sendo estes considerados fatores de risco importantes, bem como, se correlacionariam à presença e desenvolvimento de traços de personalidade do indivíduo e a um déficit de discriminação ambiental do mesmo, em especial quanto ao reconhecimento das expressões de emoções faciais. Assim, objetivou-se verificar as possíveis associações entre os traumas emocionais precoces (TEP), traços de personalidade e o reconhecimento de expressões de emoções faciais (REFE) em sujeitos diagnosticados com transtornos de ansiedade social (TAS), ansiedade generalizada (TAG), e estresse pós traumático (TEPT), utilizou-se como parâmetro um grupo controle com sujeitos saudáveis. Participaram deste estudo 120 sujeitos que foram alocados em quatro grupos distintos, de 30 participantes cada, sendo três clínicos (TAS, TAG, TEPT) e um não clínico (NC). Como instrumentos de coletas de dados foram utilizados: a) Escala do transtorno de ansiedade generalizada (GAD7); b) Inventário de fobia social (SPIN); c) Entrevista Clínica Estruturada para o DSM-IV (SCID-IV) - versão clínica; d) Formulário Sociodemográfico e Clínico; e) Early Trauma Inventory Self Report - Short Form (ETISR-SF); f) Questionário sobre a Saúde do Paciente-9 (PHQ-9); g) Escala de ansiedade de Beck (BAI); h) Teste Rápido de Identificação do Uso Abusivo de Álcool (FAST); i) Teste de Dependência de Nicotina de Fagerström (FTND); j) Inventário de Cinco Fatores NEO Revisado (NEO-FFI-R - versão reduzida); k)Tarefa de Reconhecimento de Expressões Faciais. A coleta de dados dos grupos clínicos ocorreu em duas etapas, sendo: a) fase de rastreio: identificação e confirmação diagnóstica dos possíveis participantes; b) fase de avaliação de desfecho: confirmados os diagnósticos, os participantes eram convidados para a coleta em si. Como resultados, verificou-se que o grupo TEPT possuía um maior número de TEP gerais e totais, em especial eventos de ocorrência abruta, enquanto que o grupo TAG apresentou significativamente mais TEP emocionais, sexuais e totais. Quanto às características de personalidade, verificaram-se que o fator de neuroticismo foi significativamente presente nos grupos clínicos. Sobre a tarefa de reconhecimentos faciais, verificouse que o grupo TEPT apresentou significativa acurácia reduzida para a emoção de nojo e surpresa, bem como para faces masculinas, além de um maior tempo de resposta para o julgamento da emoção de surpresa. Por fim, através de análise de regressão, verificou-se para o TEPT, associações expressivas entre presença de traços de neuroticismo e reduzida acurácia da emoção surpresa; para o TAG, ocorreram associações significativas entre a presença de TEP emocional e sexual e maior acurácia para emoção de nojo; e para o TAS destacou-se a associação com traço de personalidade neuroticismo. Desta forma, os achados corroboram os dados prévios da literatura, indo além e explorando especificidades entre os diferentes transtornos. Acredita-se que a identificação de tais correlações proporcionam uma compreensão de forma integrada favorecendo condutas terapêuticas e preventivas. / Anxiety, when it damages the individual\'s physical, social and emotional well-being, has been categorized by specific types of anxiety and stress disorders, as a result of the advent of psychiatry. Current etiologic models point out that such disorders develop easier in individuals with a history of early childhood traumas, which are considered as important risk factors, as well as, if they correlate with the presence and development of personality traits of the individual and to a deficits of environmental discrimination, especially regarding the recognition of expressions of facial emotions. The aim of this study was to verify possible associations between early emotional traumas (EET), personality traits and recognition of facial expressions (REFE) in individuals diagnosed with social anxiety disorder (SAD), generalized anxiety disorder (GAD), and post-traumatic stress disorder (PTSD). A control group was used as a parameter including healthy individuals. A total of 120 individuals were randomly assigned to four groups of 30 participants, three of whom were clinicians (SAD, GAD, PTSD) and one non-clinical (NC). The instruments used to collect data were: a) Scale of generalized anxiety disorder (GAD7); B) Social phobia inventory (SPIN); C) Structured Clinical Interview for DSM-IV (SCID-IV) - clinical version; D) Sociodemographic and Clinical Form; E) Early Trauma Inventory Self-Report - Short Form (ETISR-SF); F) Patient Health Questionnaire-9 (PHQ-9); G) Beck\'s Anxiety Scale (BAI); H) Rapid Alcohol Abuse Identification Test (FAST); I) Fagerström Nicotine Dependence Test (FTND); J) Revised NEO Five Traits Inventory (NEO-FFI-R - reduced version); K) Facial Expression Recognition Task. The data collection of the clinical groups occurred in two stages: a) phase of screening: identification and diagnostic confirmation of the possible participants; b) phase of evaluation of outcomes: once the diagnosis was confirmed, the participants were invited to the data collection. The results showed that the PTSD group had a greater number of general and total EET, specially events of abrupt occurrence, whereas the GAD group showed significantly more emotional, sexual and total EET. Regarding personality traits, it was verified that the neuroticism trait was significantly present in the clinical groups. As the task of facial recognition, it was possible to verify that the PTSD group had a significantly reduced accuracy for the emotion of disgust and surprise, as well as for male faces, and a bigger response time for judgment of the surprise emotion. Finally, through regression analysis, there were significant associations between the presence of neuroticism traits and the low accuracy of the surprise emotion for PTSD; for TAG, there were noticeable associations between the presence of emotional and sexual EET and greater accuracy for the emotion of disgust; end for the SAD the association with personality trait neuroticism was highlighted. Thus, the findings of this research corroborate the previous literature data and also explore specificities between the different disorders. It can be assumed that the identification of such correlations can provide an integrated understanding, improving therapeutic and preventive behaviors.

A capacidade de identificação de emoções é imprescindível para uma interação social adequada entre indivíduos. Existem transtornos psiquiátricos, como o Transtorno do Espectro Autista (TEA), que impedem o reconhecimento de emoções e acabam por comprometer a qualidade de vida das pessoas. Faz-se necessária uma forma eficaz de avaliar e treinar os pacientes na identificação de emoções. Este trabalho faz parte de um projeto maior que objetiva fornecer representações de faces humanas com emoções diversas. Já existe um sistema, implementado em nossos grupos de pesquisa LAPIS-BIOINFOMED, que apresenta como saída imagens de faces com a aplicação das emoções: aversão, medo, raiva, satisfação, surpresa e tristeza, mas restrito à faixa etária jovem, sexo masculino e etnia caucasiana. Este sistema será utilizado no futuro como um jogo para auxiliar no tratamento dos pacientes com autismo, apresentando as imagens das caricaturas para que sejam adivinhadas pelo paciente. O objetivo do presente trabalho foi expandir o algoritmo existente de forma a permitir a combinação de diversas faixas etárias, sexos e etnias, permitindo que as imagens geradas sejam mais próximas ou mais distantes do convívio do paciente em tratamento, graduando assim a dificuldade no reconhecimento das emoções aplicadas às imagens. Neste trabalho foi levantado o estado da arte na literatura, para a área de representação de sexos, etnias e faixas etárias em imagens de face. Estes dados levantados foram comparados com características extraídas de tabelas com dados antropométricos, que armazenam as principais medidas e distâncias entre regiões da face humana (olhos, boca, nariz, etc.) para diferentes etnias, faixas etárias e sexos. Após esta análise, foram adicionadas ao algoritmo de geração de imagens as características que melhor diferem as três diversidades estudadas. Também foram adicionadas características que não estavam presentes nos dados antropométricos, como as rugas, tanto de idade quanto de algumas emoções. O produto final deste projeto é a comparação entre as características utilizadas pela literatura e as características extraídas da antropometria, e a expansão do algoritmo atual contemplando as diversidades étnicas, etárias e de sexo, permitindo que o usuário possa escolher uma configuração dessas diversidades para a geração das imagens com as emoções aplicadas / The ability to identify emotions is essential for adequate social interaction between individuals. There are psychiatric disorders, such as Autism Spectrum Disorder (ASD), which prevent recognition of emotions and impair people\'s quality of life. An effective way to evaluate and train patients to identify emotions is needed. This work is part of a larger project that aims to provide representations of human faces with diverse emotions. There is already a system, implemented in our research group LAPIS-BIOINFOMED, which outputs face images with those emotions applied: aversion, fear, anger, satisfaction, surprise and sadness, but restricted to the young age group, male sex and Caucasian ethnicity. This system will be used in the future to develop serious games to support the treatment of patients with ASD, by presenting facial images with emotional expressions, so that the emotion can be guessed by the patient. The aim of the present study was to expand the existing algorithm to allow the combination of different age groups, genders and ethnicities, allowing the generated images to be closer to or more distant from the patient\'s life, graduating the difficulty in the recognition of the emotions applied to the images. In this work, the state of the art was presented in the literature for the area of representation of sexes, ethnicities and age groups in face images. These data were compared with characteristics extracted from articles with anthropometric data, which store the main measurements and distances between regions of the human face (eyes, mouth, nose, etc.) for different ethnic groups, age groups and sexes. After this analysis, the characteristics that best differ the three studied diversities were added to the imaging algorithm . Features that were not presented in the anthropometric data were also added, such as wrinkles, both age and some emotions. The final product of this project is the comparison between the characteristics used in the literature and the characteristics extracted from the anthropometry, and the expansion of the current algorithm contemplating the ethnic, age and sex diversities, allowing the user to choose a configuration of these diversities for the generation of the images with the applied emotions

O reconhecimento de expressões faciais é uma área de interesse da ciência da computação e tem sido um atrativo para pesquisadores de diferentes áreas, pois tem potencial para promover o desenvolvimento de diferentes tipos de aplicações. Reconhecer automaticamente essas expressões tem se tornado um objetivo, principalmente na área de análise do comportamento humano. Especialmente para estudo das línguas de sinais, a análise das expressões faciais é importante para a interpretação do discurso, pois é o elemento que permite expressar informação prosódica, suporta o desenvolvimento da estrutura gramatical e semântica da língua, e ajuda na formação de sinais com outros elementos básicos da língua. Nesse contexto, as expressões faciais são chamadas de expressões faciais gramaticais e colaboram na composição no sentido semântico das sentenças. Entre as linhas de estudo que exploram essa temática, está aquela que pretende implementar a análise automática da língua de sinais. Para aplicações com objetivo de interpretar línguas de sinais de forma automatizada, é preciso que tais expressões sejam identificadas no curso de uma sinalização, e essa tarefa dá-se é definida como segmentação de expressões faciais gramaticais. Para essa área, faz-se útil o desenvolvimento de uma arquitetura capaz de realizar a identificação de tais expressões em uma sentença, segmentando-a de acordo com cada tipo diferente de expressão usada em sua construção. Dada a necessidade do desenvolvimento dessa arquitetura, esta pesquisa apresenta: uma análise dos estudos na área para levantar o estado da arte; a implementação de algoritmos de reconhecimento de padrões usando Multilayer Perceptron e misturas de especialistas para a resolução do problema de reconhecimento da expressão facial; a comparação desses algoritmos reconhecedores das expressões faciais gramaticais usadas na concepção de sentenças na Língua Brasileira de Sinais (Libras). A implementação e teste dos algoritmos mostraram que a segmentação automática de expressões faciais gramaticais é viável em contextos dependentes do usuários. Para contextos independentes de usuários, o problema de segmentação de expressões faciais representa um desafio que requer, principalmente, a organização de um ambiente de aprendizado estruturado sobre um conjunto de dados com volume e diversidade maior do que os atualmente disponíveis / The recognition of facial expressions is an area of interest in computer science and has been an attraction for researchers in different fields since it has potential for development of different types of applications. Automatically recognizing these expressions has become a goal primarily in the area of human behavior analysis. Especially for the study of sign languages, the analysis of facial expressions represents an important factor for the interpretation of discourse, since it is the element that allows expressing prosodic information, supports the development of the grammatical and semantic structure of the language, and eliminates ambiguities between similar signs. In this context, facial expressions are called grammatical facial expressions. These expressions collaborate in the semantic composition of the sentences. Among the lines of study that explore this theme is the one that intends to implement the automatic analysis of sign language. For applications aiming to interpret signal languages in an automated way, it is necessary that such expressions be identified in the course of a signaling, and that task is called \"segmentation of grammatical facial expressions\'\'. For this area, it is useful to develop an architecture capable of performing the identification of such expressions in a sentence, segmenting it according to each different type of expression used in its construction. Given the need to develop this architecture, this research presents: a review of studies already carried out in the area; the implementation of pattern recognition algorithms using Multilayer Perceptron and mixtures of experts to solve the facial expression recognition problem; the comparison of these algorithms as recognizers of grammatical facial expressions used in the conception of sentences in the Brazilian Language of Signs (Libras). The implementation and tests carried out with such algorithms showed that the automatic segmentation of grammatical facial expressions is practicable in user-dependent contexts. Regarding user-independent contexts, this is a challenge which demands the organization of a learning environment structured on datasets bigger and more diversified than those current available

A investigação da multimodalidade nas interações tem sido contemplada em campos de pesquisa cada vez mais diversos. No entanto, ainda é incipiente o entendimento de como os significados são construídos pela mobilização de múltiplas dimensões semióticas, atuando concomitantemente dentro do evento interacional. Esta tese busca contribuir para expandir esse entendimento, sobretudo, em episódios de desacordo. A Análise da Conversa, de base etnometodológica, e os Estudos dos Gestos são as linhas teóricas que balizam esta tese. Pelas contribuições da Análise da Conversa, pudemos observar como os próprios participantes se orientam uns em relação aos outros, revelando-nos os recursos mobilizados como práticas interacionais voltadas à realização e coordenação de suas ações durante a interação. Das contribuições dos Estudos dos Gestos, pudemos explorar as relações entre língua e ações gestuais e verificar o importante papel da gestualidade tanto para o estabelecimento de práticas interacionais quanto para o enquadramento das ações que estão em processo de formação. Os dados desta pesquisa compreendem vários tipos de interação realizados por falantes nativos de português brasileiro, perfazendo aproximadamente 15 horas de registros audiovisuais, coletados entre julho de 2012 e agosto de 2015. Desse material, selecionamos excertos para exemplificação teórica e 6 excertos para análise minuciosa, realizada dentro do programa ELAN, das sequências de desacordo. As análises mostram que os participantes se valem das ações gestuais como um recurso dinâmico e flexível que eles utilizam situadamente; que as ações faciais auxiliam os participantes a demonstrar suas posições e entendimentos a respeito das ações uns dos outros; que as ações gestuais dos coparticipantes produzidas em possíveis pontos de completude do turno do falante parecem ser tomadas como as primeiras manifestações das discordâncias que estão em processo de desenvolvimento; que o falante parece considerar essas ações do coparticipante para produzir seus enunciados subsequentes; que tal prática também parece servir ao propósito de oferecer ao falante uma oportunidade para promover ajustes interacionais antes que os desacordos verbais do coparticipante venham a ser produzidos. Algumas das contribuições desta tese são: (1) mostrar a necessidade de se estabelecer um padrão de transcrição multimodal que possa contemplar as várias dimensões semióticas envolvidas na interação, revelando toda a complexidade do que está acontecendo momento a momento; (2) mostrar como uma análise multimodal minuciosa elucida detalhes interacionais que ficam apagados na análise verbo-vocal; (3) apresentar uma mudança na compreensão das ações gestuais produzidas pelo coparticipante durante o turno do falante, mostrando como essas ações não devem ser entendidas como pré-ações antecipatórias de desacordos verbais, mas como primeiras manifestações da discordância em processo de formação; (4) mostrar como as ações gestuais emergem como parte de uma organização sequencial no desenrolar da interação, agregando informações a respeito do tipo de ação em desenvolvimento; e (5) mostrar como as ações gestuais são práticas recorrentes que podem ser definidas dentro da sequência interacional quando se analisa a sua progressão temporal. / Research on the multimodality of interaction is being carried out in increasingly diverse fields of studies. However, comprehension of how meanings are constructed through the deployment of multiple semiotic dimensions acting concomitantly within the interactional event is still in its infancy. This dissertation contributes to expanding this understanding specifically in episodes of disagreement. Conversation Analysis and Gesture Studies are the theoretical bases for this dissertation. By applying Conversation Analysis, we are able to observe how participants orient towards each other, revealing how resources are mobilized in interactional practices that help them coordinate and accomplish their actions during the interaction. By applying the findings of Gesture Studies, we are able to explore the relations between language and bodily actions and to verify the important role of bodily action both for the establishment of interactional practices and for the framing of action formation. Varied types of interaction, approximately 15 hours of audiovisual records, collected between July 2012 and August 2015, and performed by native speakers of Brazilian Portuguese compose the data of this research. From this material, using ELAN, we selected excerpts for theoretical exemplification and 6 excerpts for detailed analysis of sequences of disagreement. The analyses show that participants use bodily actions as a dynamic and flexible resource, locally performed; that facial actions help participants demonstrate their positions and understandings about one another\'s actions; that coparticipants bodily actions, produced at transitional-relevance places in the speaker\'s turn seem to be taken as first manifestations of disagreements that are in the process of developing; that the speaker appears to consider these coparticipant actions in producing his subsequent utterances. Such a practice also seems to serve the purpose of giving the speaker an opportunity to promote interactive adjustments before verbal disagreements of the co-participant would be produced. Some of the contributions of this dissertation are: (1) to show the need to establish a multimodal transcription pattern that can contemplate the multiple semiotic dimensions involved in the interaction, revealing all the complexity of what is happening moment by moment; (2) to show how a detailed multimodal analysis elucidates interactional details that are \"erased\" in the verb-vocal analysis; (3) to present a change in the understandings of the bodily actions produced by the coparticipant during the speaker\'s turn, showing how these actions should not be understood as anticipatory pre-actions of verbal disagreements, but as the first manifestations of the disagreement that is in the formation process; (4) to show how bodily actions emerge as part of a sequential organization in the course of the interaction, adding information about the type of action in development; and (5) to show how bodily actions are recurrent practices that can be defined within the interactional sequence when analyzing its temporal progression.