Reabilitação robótica tem um papel importante em exercícios terapêuticos ao combinar robôs com jogos sérios de computador em uma atraente plataforma terapêutica. Entretanto, a tarefa de medir o grau de adesão do paciente ao tratamento não é trivial. A dificuldade de aplicar técnicas baseadas em questionários e entrevistas, particularmente em pacientes que tiveram a fala comprometida por acidente vascular encefálico (AVE), nos inspirou a investigar técnicas não verbais e não invasivas para classificar emoções. Com este propósito, uma rede neural supervisionada foi projetada para interpretar imagens térmicas infravermelhas faciais de indivíduos realizando terapia robótica de reabilitação integrada com os jogos. Uma base de dados contendo imagens de 8 voluntários foi criada e contém reações emocionais espontâneas e provocadas. No total, foram analizadas 2445 imagens térmicas faciais, em média 100 imagens por pessoa por 3 categorias de emoções (neutra, motivado e sobrecarregado). Baseado em análise de matriz de confusão, os resultados experimentais se correlacionaram muito bem com as estimativas manuais, produzindo um desempenho global de 92,6%. / Rehabilitation robotic plays an important role in therapeutic exercises by combining robots with computer serious games into an attractive therapeutic platform. However, measuring the degree of engagement of the user is not a trivial task. The difficulty of applying question-based techniques, particularly for patients who have the speech capacity compromised due to cerebrovascular accidents, has inspired us to investigate noninvasive and nonverbal techniques aiming to classifying emotions. For this purpose, a supervised artificial neural network interprets facial infrared thermal images of individuals performing rehabilitation robotic therapy integrated with games. A database containing images of 8 users was generated by combining evoked and spontaneous emotional reactions. In total, 2445 facial thermal images with an average of 100 images per person for three categories of emotions (neutral, motivated, and overstressed) were analyzed. Based on confusion matrix analysis, the experimental results correlated very well with manual estimates, producing an overall performance of 92.6%.

Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2016-04-06T12:05:28Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertação Final Ernandes.pdf: 2307839 bytes, checksum: ac0260ae46a3bc18b2fa01e5d1fcf0b6 (MD5) / Made available in DSpace on 2016-04-06T12:05:28Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertação Final Ernandes.pdf: 2307839 bytes, checksum: ac0260ae46a3bc18b2fa01e5d1fcf0b6 (MD5) Previous issue date: 2015-07-24 / A modalidade de ensino a distância (EaD) se expande cada vez mais no Brasil, incentivada pela evolução das tecnologias de informação e comunicação (TIC). Apesar da disseminação da EaD, essa modalidade de ensino ainda apresenta altas taxas de evasão. Esse fato ocorre, na maioria das vezes, pelos seguintes motivos: sentimento de isolamento enfrentado pelos discentes, uma vez que a presença física e social do aluno em ambientes educacionais virtuais é mínima; dificuldade em colaborar com os pares e falta de adaptação às metodologias utilizadas na EaD. Diversos trabalhos desenvolvidos na área da computação afetiva indicam que aspectos psicológicos humanos como personalidade, afetividade e emoção, quando empregados em ambientes virtuais de aprendizagem, influenciam na interação e aumentam a colaboração entre os alunos. Com base na literatura e nas entrevistas efetuadas com professores e alunos do Instituto Federal da Paraíba (IFPB), este trabalho apresenta a análise e o desenvolvimento de um sistema para a recomendação de pessoas (monitores e tutores), observando o contexto e os fatores da personalidade/temperamento dos alunos, a fim de melhorar o processo de colaboração na EaD. Os experimentos realizados com alunos dos cursos técnicos em meio ambiente, pesca e segurança do trabalho do IFPB, comprovaram que o software desenvolvido neste trabalho foi eficiente quando as recomendações foram geradas com base na afinidade da personalidade/temperamento entre os alunos. Dessa forma, os resultados gerados pelas recomendações foram bem avaliados pelos participantes desta pesquisa e revelaram que o índice de satisfação e a colaboração no ambiente virtual de ensino melhoraram com o uso do Affinity. / Distance Education has increasingly expanded in Brazil due to the evolution of information and communication technologies (ICT). Despite of this dissemination, distance education still has high evasion rates. This occurs, in most cases, due to the sense of isolation faced by the students, for the physical and social presence of the student in virtual educational environments is minimal; the difficulty in collaborating with pairs and the lack of adaptation to methodologies used in distance education. Several studies developed in the area of affective computing indicate that human psychological aspects such as personality, affection and emotion, when used in virtual learning environments, influence the interaction and increase collaboration among students. Based on the literature as well as on interviews conducted with teachers and students of the Instituto Federal da Paraíba (IFPB), this dissertation presents the analysis and the development of a system for recommending people (monitors and tutors) that takes into consideration the context and personality/temperament factors of the students to improve the process of collaboration in distance education. The experiments conducted with students of technical courses in environment, fishing and work safety at IFPB, have shown that the software developed in this work was efficient when the recommendations were generated considering the similarity of personality/temperament among students. Therefore, the results generated by the recommendations were highly rated by participants in this study and revealed that the level of satisfaction and the collaboration in virtual teaching environment improved significantly with the use of Affinity.

Existem padrões de estados neurofisiológicos que caracterizam diferentes genealogias performativas? Existem regras que condicionam as relações gramaticais entre tais estados e determinam a criação poética? Como as tecnologias de sensoriamento biométrico, especialmente o Eletroencefalograma (EEG) e o Oxímetro (batidas por minuto - BPM) podem ajudar a compreender as presenças poéticas e a criação no teatro de dramaturgia digital? Afinal o que são estados de presença e como eles se relacionam para criar performances poéticas? Este estudo apresenta um mapeamento de estados de presença poética por meio da tecnologia de Eletroencefalografia (EEG) e da captação de frequência cardíaca (BPM), e uma proposta de criação em que o EEG atua como interface cérebro-máquina (ICC) para o acionamento de fluxos poéticos audiovisuais através do biosensoriamento (emoções, expressões faciais e padrões neurais intencionais) durante a performance ao vivo (Performance Objeto Descontínuo). Uma leitura complementar aos estudos cognitivos no campo da performatividade é proposta discutindo princípios relevantes para o entendimento das relações entre emoções, decisões, regulagem sensorial, memória e percepção no trabalho do ator/intérprete/performer sob a perspectiva da neurocomputação afetiva e das tecnologias de biosensoriamento (EEG e BPM). Pistas encontradas de padrões neurofisiológicos ajudam a delimitar estados de presenças poéticas e caracterizam diferentes genealogias performativas, parametrizadas por meio de recortes históricos/procedimentais, neurofisiológicos, self-reportings e dramatúrgicos. Por meio da criação de uma Interface de Gravação e Identificação de Estados de Presença Poética, que implementa uma rede de neurônios artificiais, e de um mecanismo computacional denominado de Ator Virtual, que permite o computador se adaptar à condição de estresse da performance ao vivo (Dramaturgia Digital), ficaram demonstradas evidências de uma Gramática Operativa de Estados e foram revistos princípios importantes sobre o papel das emoções no trabalho do ator. / Are there patterns of neurophysiological states that characterize different performative genealogies? Are there rules conditioning grammatical relations between states which may determine poetic creations in the theater? How can biometric sensing technologies, especially Electroencephalography (EEG) and the Oximeter (BPM), help to understand poetic presences of the actor and thus assist in creating a theater of digital dramaturgy? This study presents a mapping of states of poetic presences through EEG and BPM technology, and describes the creation of the performance Discontinuous Object, in which EEG acts as a brain machine interface (BMI) for the activation of audiovisual poetic flows through biosensing processes (screening of emotions, expressions and intentional neural patterns). A complementary reading of cognitive studies in the field of performativity is proposed, discussing principles relevant to the understanding of the relationships between emotions, decisions, sensory regulations, memories and perceptions in the actor\'s work from the perspective of affective neurocomputing and biosensing. The neurophysiological patterns found help to delimit the concept of states of poetic presences and characterize different performative genealogies parameterized through historical, procedural, neurophysiological and dramaturgical accounts, which demonstrate evidences of an Operative Grammar of States in the performers\'s work. Important principles concerning the role of emotions for the actor were reviewed through the creation of an artificial neuron network (Interface of Capturing and Identifying States of Poetic Presence) and of a computational mechanism (Virtual Actor) that allow the computer to adapt to the stress condition of a live performance (Digital Dramaturgy).

O estado emocional dos usuários influencia na tomada de decisão e é essencial para o conhecimento e explicação do comportamento dos usuários com aplicações computacionais. Sistemas computacionais fazem parte da vida cotidiana, influenciando o comportamento humano e estimulando mudanças nos estados emocionais. A avaliação das emoções dos usuários, durante a interação com aplicações computacionais, pode ajudar a fornecer interfaces flexíveis e melhores sistemas de recomendação. No entanto, as emoções são complexas e difíceis de identificar ou avaliar. Pesquisas anteriores demonstraram que o uso de sensores individuais, em um cenário do mundo real, não fornece uma avaliação emocional precisa. Acredita-se que somente uma visão holística pode permitir tirar conclusões significativas sobre o estado emocional dos usuários. Assim, nesta Tese, propõe-se uma abordagem chamada UserSense, que considera vários sensores para estimar os estados emocionais dos usuários em tempo de interação. A abordagem proposta, a partir de múltiplos sensores, considera várias entradas de usuários (como a fala, movimentos faciais, frequência cardíaca e atividades) e utiliza métodos de inteligência artificial para mapear essas diferentes respostas em um ou mais estados emocionais. Para a validação, os dados coletados pelos sensores durante a interação do usuário foram confrontados com os dos especialistas (psicólogos). A Teoria Componencial das Emoções e o Espaço Emocional Semântico de Scherer são utilizados na fundamentação teórica da abordagem UserSense que, baseada no Middleware Adaptativo OpenCom, incorpora funcionalidades para carregar e descarregar novos recursos, necessários a infraestrutura proposta. Os resultados experimentais mostram que a combinação de resultados gerados por vários sensores, fornece uma avaliação mais precisa dos estados emocionais do que considerar sensores individualmente. / Users emotional state influence decision making and is essential for the knowledge and explanation of users behavior with computer applications. Computer systems are part of everyday life, influencing human behavior and stimulating changes in users emotional states. The assessment of users emotions during interaction with computer applications can help to provide tailorable interfaces and better recommendations systems. However, emotions are complex and difficult to identify or assess. Previous studies have shown that the use of single sensors, in a real-world scenario, does not provide accurate emotional assessment. We believe that only this holistic view can allow us to draw significant conclusions about the users emotional states. Hence, in this Thesis we propose a approach called UserSense, that takes into account multiple sensors to estimate the users emotional states at interaction time. The proposed multi-sensing approach considers several inputs from users (such as speech, facial movements, heart rate and activities), and uses artificial intelligent methods to map these different responses into one or more emotional states; for validation, the data collected by the sensors during the user interaction were confronted with specialists (psychologists). Componential Emotion Theory and Scherers Emotional Semantic Space are used in the theoretical foundation of the UserSense approach, that takes into account Adaptive Middleware OpenCom to embed functionalities to load and unload new required features to proposed infrastructure. The experimental results show that the combination of outputs generated by multiple sensors provides a more accurate assessment of emotional states than considering sensors individually.

Este trabalho propõe um agente pedagógico animado que possui o objetivo de fornecer suporte emocional ao aluno: motivando-o e encorajando-o, fazendo-o acreditar em suas próprias habilidades e promovendo um estado de espírito positivo no aluno, que é melhor para o seu aprendizado. Este suporte cuidadoso do agente, suas táticas afetivas, é expresso através de comportamentos emotivos e mensagens de encorajamento do personagem animado. Devido à tendência social humana de antropomorfizar software, nós acreditamos que um agente de software pode realizar esse papel afetivo. Para escolher as táticas afetivas adequadas, o agente deve conhecer as emoções do aluno. O agente proposto infere as seguintes emoções do aluno: alegria/tristeza, satisfação/frustração, raiva/gratidão e vergonha a partir do comportamento observável do aluno, isto é, as ações do aluno na interface do sistema educacional. A inferência das emoções é fundamentada psicologicamente na teoria cognitiva das emoções. Mais especificamente, nós usamos o modelo OCC o qual é baseado na abordagem cognitivista das emoções e é possível de ser implementado computacionalmente. Devido a natureza dinâmica da informação sobre o estado afetivo do aluno, nós adotamos uma abordagem BDI para implementar o modelo afetivo do usuário e o diagnóstico afetivo. Além disso, em nosso trabalho nós nos beneficiamos da capacidade de raciocínio do BDI para o agente deduzir o appraisal do aluno, que lhe permite inferir as emoções do aluno. Como um caso de estudo, o agente proposto é implementado como o Agente Mediador de MACES: um ambiente para ensino colaborativo à distância modelado com uma arquitetura multiagente e baseado psicologicamente na abordagem Sociocultural de Vygotsky. / This work proposes an animated pedagogical agent that has the role of providing emotional support to the student: motivating and encouraging him, making him believe in his self-ability, and promoting a positive mood in him, which fosters learning. This careful support of the agent, its affective tactics, is expressed through emotional behaviour and encouragement messages of the lifelike character. Due to human social tendency of anthropomorphising software, we believe that a software agent can accomplish this affective role. In order to choose the adequate affective tactics, the agent should also know the student’s emotions. The proposed agent recognises the student’s emotions: joy/distress, satisfaction/disappointment, anger/gratitude, and shame, from the student’s observable behaviour, i. e. his actions in the interface of the educational system. The inference of emotions is psychologically grounded on the cognitive theory of emotions. More specifically, we use the OCC model which is based on the cognitive approach of emotion and can be computationally implemented. Due to the dynamic nature of the student’s affective information, we adopted a BDI approach to implement the affective user model and the affective diagnosis. Besides, in our work we profit from the reasoning capacity of the BDI approach in order for the agent to deduce the student’s appraisal, which allows it to infer the student’s emotions. As a case study, the proposed agent is implemented as the Mediating Agent of MACES: an educational collaborative environment modelled as a multi-agent system and pedagogically based on the sociocultural theory of Vygotsky.

Este trabalho propõe um agente pedagógico animado que possui o objetivo de fornecer suporte emocional ao aluno: motivando-o e encorajando-o, fazendo-o acreditar em suas próprias habilidades e promovendo um estado de espírito positivo no aluno, que é melhor para o seu aprendizado. Este suporte cuidadoso do agente, suas táticas afetivas, é expresso através de comportamentos emotivos e mensagens de encorajamento do personagem animado. Devido à tendência social humana de antropomorfizar software, nós acreditamos que um agente de software pode realizar esse papel afetivo. Para escolher as táticas afetivas adequadas, o agente deve conhecer as emoções do aluno. O agente proposto infere as seguintes emoções do aluno: alegria/tristeza, satisfação/frustração, raiva/gratidão e vergonha a partir do comportamento observável do aluno, isto é, as ações do aluno na interface do sistema educacional. A inferência das emoções é fundamentada psicologicamente na teoria cognitiva das emoções. Mais especificamente, nós usamos o modelo OCC o qual é baseado na abordagem cognitivista das emoções e é possível de ser implementado computacionalmente. Devido a natureza dinâmica da informação sobre o estado afetivo do aluno, nós adotamos uma abordagem BDI para implementar o modelo afetivo do usuário e o diagnóstico afetivo. Além disso, em nosso trabalho nós nos beneficiamos da capacidade de raciocínio do BDI para o agente deduzir o appraisal do aluno, que lhe permite inferir as emoções do aluno. Como um caso de estudo, o agente proposto é implementado como o Agente Mediador de MACES: um ambiente para ensino colaborativo à distância modelado com uma arquitetura multiagente e baseado psicologicamente na abordagem Sociocultural de Vygotsky. / This work proposes an animated pedagogical agent that has the role of providing emotional support to the student: motivating and encouraging him, making him believe in his self-ability, and promoting a positive mood in him, which fosters learning. This careful support of the agent, its affective tactics, is expressed through emotional behaviour and encouragement messages of the lifelike character. Due to human social tendency of anthropomorphising software, we believe that a software agent can accomplish this affective role. In order to choose the adequate affective tactics, the agent should also know the student’s emotions. The proposed agent recognises the student’s emotions: joy/distress, satisfaction/disappointment, anger/gratitude, and shame, from the student’s observable behaviour, i. e. his actions in the interface of the educational system. The inference of emotions is psychologically grounded on the cognitive theory of emotions. More specifically, we use the OCC model which is based on the cognitive approach of emotion and can be computationally implemented. Due to the dynamic nature of the student’s affective information, we adopted a BDI approach to implement the affective user model and the affective diagnosis. Besides, in our work we profit from the reasoning capacity of the BDI approach in order for the agent to deduce the student’s appraisal, which allows it to infer the student’s emotions. As a case study, the proposed agent is implemented as the Mediating Agent of MACES: an educational collaborative environment modelled as a multi-agent system and pedagogically based on the sociocultural theory of Vygotsky.

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The research in Pervasive Computing have directed their efforts to the modeling and development of programmable and interactive environments, able to assist users in their daily activities. The Systems Group of Mobile Computing (gMob) of Federal University of Santa Maria, developed the project ClinicSpace, a system to aid clinical tasks in hospitals based on Pervasive Computing technologies. On the other hand, the Affective Computing, which is a relatively new field of research in computer science, came up with the proposal to identify and synthesize human feelings in machinery, in order to make the interaction with computing devices more enjoyable and less frustrating. Given that pervasive systems work with context information to adapt their applications according to user needs, it becomes feasible through the Affective Computing, identify emotional characteristics of a person for this type of information can be used as context element, making the adjustment more precise applications pervasive. In this context, this research proposes a model of acquisition of affective context using techniques of inference of stress from psychological tools, emotional self-analysis and stressful classification of clinical tasks. Integrating the concepts of Affective Computing and Pervasive Computing, this model aims to classify the state of stress of the users of ClinicSpace and use it as an affective context, increasing the wealth of contextual information used in this system. To develop the proposed model, studies were performed on the Perceived Stress Scale (PSS), responsible for identifying stress in an individual, the use of AffectButtons to identify the user s emotional state, and the development of a questionnaire, applied to health care professionals to identify and classify the degree of stress of clinical activities. Based on these three approaches was possible to develop a classification model of stress for ClinicSpace users (doctors). To validate the proposal, was implemented a prototype of Affective Context Service for architecture ClinicSpace, which was tested in the Annas Dias Hospital (Ibirubá - RS). The results showed that the model proposed in this work is able to classify the state of stress for clinicians that this type of information can be used as an element of context in pervasive systems. / As pesquisas na área da Computação Pervasiva têm direcionado seus esforços para a modelagem e desenvolvimento de ambientes programáveis e interativos capazes de auxiliar os usuários em suas atividades rotineiras. O Grupo de Sistemas de Computação Móvel (GMob) da Universidade Federal de Santa Maria, desenvolve o projeto ClinicSpace, um sistema de auxílio à tarefas clínicas em ambientes hospitalares baseado em tecnologias da Computação Pervasiva. Por outro lado, a Computação Afetiva, que é um campo de pesquisa relativamente novo na informática, surgiu com a proposta de identificar e sintetizar sentimentos humanos em máquinas, com a finalidade de tornar a interação com dispositivos computacionais mais agradável e menos frustrante. Tendo em vista que sistemas pervasivos trabalham com informações de contexto para adaptar suas aplicações de acordo com as necessidades do usuário, torna-se viável através da Computação Afetiva, identificar características emocionais de uma pessoa para que esse tipo de informação possa ser usada como dados de contexto, tornando a adaptação das aplicações pervasivas mais precisas. Neste contexto, o presente trabalho propõe um modelo de aquisição de contexto afetivo utilizando técnicas de inferência de estresse a partir de ferramentas psicológicas, autoanálise emocional e classificação estressora de tarefas clínicas. Integrando os conceitos de Computação Afetiva e Computação Pervasiva, este modelo visa classificar o estado de estresse dos usuários do ClinicSpace e utilizá-lo como elemento de contexto afetivo, aumentando a riqueza de informações de contexto utilizadas neste sistema. Para o desenvolvimento do modelo proposto, foram realizados estudos sobre a Escala de Estresse Percebido (PSS Perceived Stress Scale), responsável pela identificação de estresse em um indivíduo, o uso de AffectButtons para identificar o estado emocional do usuário, e o desenvolvimento de um questionário, aplicado em profissionais da área da saúde, para identificar e classificar o grau de estresse de atividades clínicas. Com base nessas três abordagens foi possível elaborar um modelo de classificação de estresse para os usuários do ClinicSpace (médicos). Para validar a proposta, foi implementado um protótipo de Serviço de Contexto Afetivo para a arquitetura ClinicSpace, que foi testado no Hospital Annas Dias (Ibirubá RS). Os resultados mostraram que o modelo proposto neste trabalho é capaz de classificar o estado de estresse de profissionais clínicos para que este tipo de informação possa ser utilizado como elemento de contexto em sistemas pervasivos.

Este trabalho propõe um agente pedagógico animado que possui o objetivo de fornecer suporte emocional ao aluno: motivando-o e encorajando-o, fazendo-o acreditar em suas próprias habilidades e promovendo um estado de espírito positivo no aluno, que é melhor para o seu aprendizado. Este suporte cuidadoso do agente, suas táticas afetivas, é expresso através de comportamentos emotivos e mensagens de encorajamento do personagem animado. Devido à tendência social humana de antropomorfizar software, nós acreditamos que um agente de software pode realizar esse papel afetivo. Para escolher as táticas afetivas adequadas, o agente deve conhecer as emoções do aluno. O agente proposto infere as seguintes emoções do aluno: alegria/tristeza, satisfação/frustração, raiva/gratidão e vergonha a partir do comportamento observável do aluno, isto é, as ações do aluno na interface do sistema educacional. A inferência das emoções é fundamentada psicologicamente na teoria cognitiva das emoções. Mais especificamente, nós usamos o modelo OCC o qual é baseado na abordagem cognitivista das emoções e é possível de ser implementado computacionalmente. Devido a natureza dinâmica da informação sobre o estado afetivo do aluno, nós adotamos uma abordagem BDI para implementar o modelo afetivo do usuário e o diagnóstico afetivo. Além disso, em nosso trabalho nós nos beneficiamos da capacidade de raciocínio do BDI para o agente deduzir o appraisal do aluno, que lhe permite inferir as emoções do aluno. Como um caso de estudo, o agente proposto é implementado como o Agente Mediador de MACES: um ambiente para ensino colaborativo à distância modelado com uma arquitetura multiagente e baseado psicologicamente na abordagem Sociocultural de Vygotsky. / This work proposes an animated pedagogical agent that has the role of providing emotional support to the student: motivating and encouraging him, making him believe in his self-ability, and promoting a positive mood in him, which fosters learning. This careful support of the agent, its affective tactics, is expressed through emotional behaviour and encouragement messages of the lifelike character. Due to human social tendency of anthropomorphising software, we believe that a software agent can accomplish this affective role. In order to choose the adequate affective tactics, the agent should also know the student’s emotions. The proposed agent recognises the student’s emotions: joy/distress, satisfaction/disappointment, anger/gratitude, and shame, from the student’s observable behaviour, i. e. his actions in the interface of the educational system. The inference of emotions is psychologically grounded on the cognitive theory of emotions. More specifically, we use the OCC model which is based on the cognitive approach of emotion and can be computationally implemented. Due to the dynamic nature of the student’s affective information, we adopted a BDI approach to implement the affective user model and the affective diagnosis. Besides, in our work we profit from the reasoning capacity of the BDI approach in order for the agent to deduce the student’s appraisal, which allows it to infer the student’s emotions. As a case study, the proposed agent is implemented as the Mediating Agent of MACES: an educational collaborative environment modelled as a multi-agent system and pedagogically based on the sociocultural theory of Vygotsky.

Existem padrões de estados neurofisiológicos que caracterizam diferentes genealogias performativas? Existem regras que condicionam as relações gramaticais entre tais estados e determinam a criação poética? Como as tecnologias de sensoriamento biométrico, especialmente o Eletroencefalograma (EEG) e o Oxímetro (batidas por minuto - BPM) podem ajudar a compreender as presenças poéticas e a criação no teatro de dramaturgia digital? Afinal o que são estados de presença e como eles se relacionam para criar performances poéticas? Este estudo apresenta um mapeamento de estados de presença poética por meio da tecnologia de Eletroencefalografia (EEG) e da captação de frequência cardíaca (BPM), e uma proposta de criação em que o EEG atua como interface cérebro-máquina (ICC) para o acionamento de fluxos poéticos audiovisuais através do biosensoriamento (emoções, expressões faciais e padrões neurais intencionais) durante a performance ao vivo (Performance Objeto Descontínuo). Uma leitura complementar aos estudos cognitivos no campo da performatividade é proposta discutindo princípios relevantes para o entendimento das relações entre emoções, decisões, regulagem sensorial, memória e percepção no trabalho do ator/intérprete/performer sob a perspectiva da neurocomputação afetiva e das tecnologias de biosensoriamento (EEG e BPM). Pistas encontradas de padrões neurofisiológicos ajudam a delimitar estados de presenças poéticas e caracterizam diferentes genealogias performativas, parametrizadas por meio de recortes históricos/procedimentais, neurofisiológicos, self-reportings e dramatúrgicos. Por meio da criação de uma Interface de Gravação e Identificação de Estados de Presença Poética, que implementa uma rede de neurônios artificiais, e de um mecanismo computacional denominado de Ator Virtual, que permite o computador se adaptar à condição de estresse da performance ao vivo (Dramaturgia Digital), ficaram demonstradas evidências de uma Gramática Operativa de Estados e foram revistos princípios importantes sobre o papel das emoções no trabalho do ator. / Are there patterns of neurophysiological states that characterize different performative genealogies? Are there rules conditioning grammatical relations between states which may determine poetic creations in the theater? How can biometric sensing technologies, especially Electroencephalography (EEG) and the Oximeter (BPM), help to understand poetic presences of the actor and thus assist in creating a theater of digital dramaturgy? This study presents a mapping of states of poetic presences through EEG and BPM technology, and describes the creation of the performance Discontinuous Object, in which EEG acts as a brain machine interface (BMI) for the activation of audiovisual poetic flows through biosensing processes (screening of emotions, expressions and intentional neural patterns). A complementary reading of cognitive studies in the field of performativity is proposed, discussing principles relevant to the understanding of the relationships between emotions, decisions, sensory regulations, memories and perceptions in the actor\'s work from the perspective of affective neurocomputing and biosensing. The neurophysiological patterns found help to delimit the concept of states of poetic presences and characterize different performative genealogies parameterized through historical, procedural, neurophysiological and dramaturgical accounts, which demonstrate evidences of an Operative Grammar of States in the performers\'s work. Important principles concerning the role of emotions for the actor were reviewed through the creation of an artificial neuron network (Interface of Capturing and Identifying States of Poetic Presence) and of a computational mechanism (Virtual Actor) that allow the computer to adapt to the stress condition of a live performance (Digital Dramaturgy).

O estado emocional dos usuários influencia na tomada de decisão e é essencial para o conhecimento e explicação do comportamento dos usuários com aplicações computacionais. Sistemas computacionais fazem parte da vida cotidiana, influenciando o comportamento humano e estimulando mudanças nos estados emocionais. A avaliação das emoções dos usuários, durante a interação com aplicações computacionais, pode ajudar a fornecer interfaces flexíveis e melhores sistemas de recomendação. No entanto, as emoções são complexas e difíceis de identificar ou avaliar. Pesquisas anteriores demonstraram que o uso de sensores individuais, em um cenário do mundo real, não fornece uma avaliação emocional precisa. Acredita-se que somente uma visão holística pode permitir tirar conclusões significativas sobre o estado emocional dos usuários. Assim, nesta Tese, propõe-se uma abordagem chamada UserSense, que considera vários sensores para estimar os estados emocionais dos usuários em tempo de interação. A abordagem proposta, a partir de múltiplos sensores, considera várias entradas de usuários (como a fala, movimentos faciais, frequência cardíaca e atividades) e utiliza métodos de inteligência artificial para mapear essas diferentes respostas em um ou mais estados emocionais. Para a validação, os dados coletados pelos sensores durante a interação do usuário foram confrontados com os dos especialistas (psicólogos). A Teoria Componencial das Emoções e o Espaço Emocional Semântico de Scherer são utilizados na fundamentação teórica da abordagem UserSense que, baseada no Middleware Adaptativo OpenCom, incorpora funcionalidades para carregar e descarregar novos recursos, necessários a infraestrutura proposta. Os resultados experimentais mostram que a combinação de resultados gerados por vários sensores, fornece uma avaliação mais precisa dos estados emocionais do que considerar sensores individualmente. / Users emotional state influence decision making and is essential for the knowledge and explanation of users behavior with computer applications. Computer systems are part of everyday life, influencing human behavior and stimulating changes in users emotional states. The assessment of users emotions during interaction with computer applications can help to provide tailorable interfaces and better recommendations systems. However, emotions are complex and difficult to identify or assess. Previous studies have shown that the use of single sensors, in a real-world scenario, does not provide accurate emotional assessment. We believe that only this holistic view can allow us to draw significant conclusions about the users emotional states. Hence, in this Thesis we propose a approach called UserSense, that takes into account multiple sensors to estimate the users emotional states at interaction time. The proposed multi-sensing approach considers several inputs from users (such as speech, facial movements, heart rate and activities), and uses artificial intelligent methods to map these different responses into one or more emotional states; for validation, the data collected by the sensors during the user interaction were confronted with specialists (psychologists). Componential Emotion Theory and Scherers Emotional Semantic Space are used in the theoretical foundation of the UserSense approach, that takes into account Adaptive Middleware OpenCom to embed functionalities to load and unload new required features to proposed infrastructure. The experimental results show that the combination of outputs generated by multiple sensors provides a more accurate assessment of emotional states than considering sensors individually.