In this thesis, we aim at modeling some aspects of the functional role of emotions on an autonomous embodied agent. We begin by describing our robotic prototype, Cherry--a robot with the task of being a tour guide and an office assistant for the Computer Science Department at the University of Central Florida. Cherry did not have a formal emotion representation of internal states, but did have the ability to express emotions through her multimodal interface. The thesis presents the results of a survey we performed via our social informatics approach where we found that: (1) the idea of having emotions in a robot was warmly accepted by Cherry's users, and (2) the intended users were pleased with our initial interface design and functionalities. Guided by these results, we transferred our previous code to a human-height and more robust robot--Petra, the PeopleBot™--where we began to build a formal emotion mechanism and representation for internal states to correspond to the external expressions of Cherry's interface. We describe our overall three-layered architecture, and propose the design of the sensory motor level (the first layer of the three-layered architecture) inspired by the Multilevel Process Theory of Emotion on one hand, and hybrid robotic architecture on the other hand. The sensory-motor level receives and processes incoming stimuli with fuzzy logic and produces emotion-like states without any further willful planning or learning. We will discuss how Petra has been equipped with sonar and vision for obstacle avoidance as well as vision for face recognition, which are used when she roams around the hallway to engage in social interactions with humans. We hope that the sensory motor level in Petra could serve as a foundation for further works in modeling the three-layered architecture of the Emotion State Generator.

Tesis por compendio / [ES] Los seres humanos somos por naturaleza seres afectivos, las emociones, el estado de ánimo, nuestra personalidad, o nuestras relaciones con los demás guían nuestras motivaciones y nuestras decisiones. Una de las principales habilidades cognitivas relacionadas con el afecto es la empatía. La empatía es un constructo psicológico cuya definición ha ido evolucionando a lo largo de los años y cuyo significado hace referencia a un amplio abanico de competencias afectivas y cognitivas que son fundamentales en el desarrollo del ser humano como ser social. El uso de la empatía en el ámbito de la inteligencia artificial puede revolucionar la forma en la que interactuamos con las máquinas así como la forma en la que simulamos el comportamiento humano. Por otro lado, hay que tener en cuenta que los seres humanos habitualmente acudimos al uso de distintas palabras como ``triste'' o ``contento'' para expresar o verbalizar el estado afectivo. Sin embargo, estas palabras son simplificaciones que abarcan un amplio espectro de procesos cognitivos y estados mentales. Además, hay que considerar que estas palabras tienen una alta dependencia del idioma y la cultura en la que se utilizan. Por tanto, los modelos de representación computacional de los estados afectivos deben se capaces de adaptarse a distintos entornos culturales y de permitir que un agente exprese o represente, mediante palabras, un determinado estado afectivo. En esta tesis se propone un nuevo modelo de agente empático capaz de adaptar su comportamiento a distintos entornos culturales. Para ello, en primer lugar, se presenta una nueva metodología basada en la experimentación para adaptar un espacio de representación de emociones basado en las dimensiones del placer y la activación para la simulación y el reconocimiento computacional afectivo a diferentes entornos culturales. Los resultados del experimento realizado con hispanohablantes europeos se utilizan para proporcionar un nuevo modelo basado en la lógica difusa para representar estados afectivos en las dimensiones de placer y activación utilizando un enfoque de coordenadas polares. Para demostrar que las diferencias culturales afectan a los valores de placer y activación asociados a cada emoción, el experimento se repitió con participantes portugueses y suecos. En segundo lugar, se presenta un nuevo modelo de elicitación de emociones en agentes afectivos que utiliza lógica difusa. Las emociones generadas en el agente por las reglas de valoración difusa se expresan en el modelo de representación del afecto resultante de los experimentos previamente descritos. Además, se propone un nuevo proceso de regulación del afecto que adapta el estado de ánimo del agente, representado mediante un vector en el espacio placer-activación, cada vez que una emoción es elicitada. En tercer lugar, se propone una formalización de la sintaxis, la semántica y el ciclo de razonamiento de AgentSpeak para permitir el desarrollo de agentes afectivos con capacidades empáticas. Partiendo de las teorías de valoración empática y regulación empática, se modifica la estructura de razonamiento del agente para permitir que la empatía afecte al proceso de toma de decisiones. Finalmente, se presenta un modelo de agente pedagógico empático para la educación sobre buenas prácticas en el uso de las redes sociales. El agente es capaz de reconocer la emoción del usuario cuando interactúa con la red social. En base a la emoción del usuario y su comportamiento en la red social, el agente estima un plan para educar al usuario en el uso correcto y seguro de las redes sociales. / [CA] Els éssers humans som per naturalesa éssers afectius, les emocions, l'estat d'ànim, la nostra personalitat o les nostres relacions amb els altres guien les nostres motivacions i les nostres decisions. Una de les habilitats cognitives principals relacionades amb l'afecte és l'empatia. L'empatia és un constructe psicològic la definició del qual ha anat evolucionant al llarg dels anys i el significat del qual fa referència a un ampli ventall de competències afectives i cognitives que són fonamentals en el desenvolupament de l'ésser humà com a ésser social. L'ús de l'empatia en l'àmbit de la intel·ligència artificial pot revolucionar la forma en la qual interactuem amb les màquines així com la forma en què simulem el comportament humà. D'altra banda, cal tenir en compte que els éssers humans habitualment acudim a l'ús de diferents paraules com ``trist'' o ``content'' per expressar o verbalitzar l'estat afectiu. Tot i això, aquestes paraules són simplificacions que abasten un ampli espectre de processos cognitius i estats mentals. A més, cal considerar que aquestes paraules tenen una alta dependència de l'idioma i la cultura en què s'utilitzen. Per tant, els models de representació computacional dels estats afectius han de ser capaços d'adaptar-se a diferents entorns culturals i de permetre que un agent expresse o represente, mitjançant paraules, un estat afectiu determinat. En aquesta tesi es proposa un nou model d'agent empàtic capaç d'adaptar el seu comportament a diferents entorns culturals. Per això, en primer lloc, es presenta una metodologia nova basada en l'experimentació per adaptar un espai de representació d'emocions basat en les dimensions del plaer i l'activació per a la simulació i el reconeixement computacional afectiu a diferents entorns culturals. Els resultats de l'experiment realitzat amb hispanoparlants europeus es fan servir per proporcionar un nou model basat en la lògica difusa per representar estats afectius en les dimensions de plaer i activació mitjançant un enfocament de coordenades polars. Per demostrar que les diferències culturals afecten els valors de plaer i activació associats a cada emoció, l'experiment es va repetir amb participants portuguesos i suecs. En segon lloc, es presenta un nou model d'elicitació d'emocions en agents afectius que fa servir lògica difusa. Les emocions generades a l'agent per les regles de valoració difusa s'expressen en el model de representació de l'afecte resultant dels experiments descrits prèviament. A més, es proposa un nou procés de regulació de l'afecte que adapta l'estat d'ànim de l'agent, representat mitjançant un vector a l'espai plaer-activació, cada cop que una emoció és elicitada. En tercer lloc, es proposa una formalització de la sintaxi, semàntica i cicle de raonament d'AgentSpeak per permetre el desenvolupament d'agents afectius amb capacitats empàtiques. Partint de les teories de valoració empàtica i regulació empàtica, es modifica l'estructura de raonament de l'agent per permetre que l'empatia afecti el procés de presa de decisions. Finalment, es presenta un model d'agent pedagògic empàtic per a l'educació sobre bones pràctiques en l'ús de les xarxes socials. L'agent és capaç de reconèixer l'emoció de l'usuari quan interactua amb la xarxa social. En base a l'emoció de l'usuari i el seu comportament a la xarxa social, l'agent estima un pla per educar l'usuari en l'ús correcte i segur de les xarxes socials. / [EN] Human beings are, by nature, affective beings; our emotions, moods, personality, or relationships with others guide our motivations and our decisions. One of the main cognitive abilities related to affect is empathy. Empathy is a psychological construct whose definition has evolved over the years and whose meaning refers to a wide range of affective and cognitive competencies that are fundamental in the development of human beings as social beings. The use of empathy in the field of artificial intelligence can revolutionize the way we interact with machines as well as the way we simulate human behavior. On the other hand, it must be considered that human beings usually resort to the use of different words such as ``sad'' or ``happy'' to express or verbalize our affective state. However, these words are simplifications that cover a wide spectrum of cognitive processes and mental states. Moreover, it should be considered that these words have a high dependence on the language and culture in which they are used. Therefore, computational representation models of affective states must adaptable to different cultural environments and to allow an agent to express or represent, by means of words, a given affective state. In this thesis, a new model of empathic agent capable of adapting its behavior to different cultural environments is proposed. To this end, first, a new experiment-based methodology to adapt an emotion representation space based on the dimensions of pleasure and arousal for simulation and affective computational recognition to different cultural environments is presented. The results of an experiment conducted with European Spanish speakers are used to provide a new fuzzy logic-based model for representing affective states in the dimensions of pleasure and arousal using a polar coordinate approach. To prove that cultural differences affect the pleasure and arousal values associated with each emotion, the experiment was replicated with Portuguese and Swedish participants. Secondly, a new model of emotion elicitation in affective agents using fuzzy logic is presented. The emotions generated in the agent by the fuzzy appraisal rules are expressed in the model of affect representation resulting from the previously described experiments. In addition, a new affect regulation process is proposed to adapt the agent's mood, represented by a vector in the pleasure-arousal space, when an emotion is elicited. Third, a formalization of the syntax, semantics and reasoning cycle of AgentSpeak to enable the development of affective agents with empathic capabilities is presented. Drawing on the theories of empathic appraisal and empathic regulation, the agent's reasoning structure is modified to allow empathy to affect the decision-making process. Finally, a model of an empathic pedagogical agent for education on good practices in the use of social networks is introduced. The agent is able to recognize the user's emotion when interacting with the social network. Based on the user's emotion and behavior in the social network, the agent estimates a plan to educate the user in the correct and secure use of social networks. / This thesis has been partially supported by the Generalitat Valenciana and European Social Fund by the FPI grant ACIF/2017/085 and by the Spanish Government project PID2020- 113416RB-I00. / Taverner Aparicio, JJ. (2022). A BDI Empathic Agent Model Based on a Multidimensional Cross-Cultural Emotion Representation [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181181 / Compendio

Tesis por compendio / [ES] El campo de la computación afectiva es un área que ha surgido con gran impulso y está en constante evolución. Este campo logra integrar psicofisiología, informática, ingeniería biomédica e inteligencia artificial, desarrollando sistemas capaces de inducir y reconocer emociones de manera automática. Su enfoque principal es el estudio del comportamiento humano a través de las emociones, las cuales desempeñan un papel fundamental en acciones como la interacción social, la toma de decisiones o la memoria. Recientemente, los avances tecnológicos han posibilitado el desarrollo de sistemas inteligentes humano-máquina que antes no eran factibles. Elementos como la realidad virtual y los modelos generativos de inteligencia artificial están adquiriendo un papel relevante en el campo de la computación afectiva. La combinación de estas tecnologías puede dar lugar a experimentaciones mucho más realistas que, junto con el reconocimiento automático de respuestas fisiológicas, podrían constituir una metodología robusta para evocar e identificar estados emocionales en entornos de dinámicas sociales. Esta tesis se centra en la evocación y reconocimiento de emociones en realidad virtual mediante la creación del primer humano virtual, basado en un modelo de lenguaje generativo, que permite mantener conversaciones a tiempo real con un humano. Se han medido diversas señales fisiológicas y desarrollado herramientas de procesamiento de señales para monitorizar las respuestas de manera automática. A partir de esto, se ha evaluado y validado no solo la evocación y reconocimiento de emociones mediante aprendizaje automático, sino también el reconocimiento de sujetos con síntomas depresivos. El trabajo desarrollado en esta tesis presenta contribuciones relevantes, tanto para el campo de la computación afectiva, como para otras áreas afines como el procesamiento de señales y las interacciones humano-máquina. Las herramientas desarrolladas junto con modelos novedosos de la inteligencia artificial consiguen realizar una experimentación, en entornos de dinámicas sociales humanas, nunca antes diseñada. Los resultados muestran como este trabajo es capaz de modelizar información tan relevante como emociones y síntomas depresivos de la persona con la que se habla. Campos como la psicología, medicina o educación pueden utilizar muchas de las herramientas desarrolladas en esta tesis con tal de aportar más información en la toma de decisiones o en la interacción social. / [CA] El camp de la computació afectiva és un àmbit que ha sorgit amb gran impuls i està en constant evolució. Aquest camp aconsegueix integrar psicofisiologia, informàtica, enginyeria biomèdica i intel·ligència artificial, desenvolupant sistemes capaços d'induir i reconèixer emocions de manera automàtica. El seu enfocament principal és l'estudi del comportament humà a través de les emocions, les quals juguen un paper fonamental en accions com la interacció social, la presa de decisions o la memòria. Recentment, els avanços tecnològics han possibilitat el desenvolupament de sistemes intel·ligents humà-màquina que abans no eren factibles. Elements com la realitat virtual i els models generatius d'intel·ligència artificial estan adquirint un paper rellevant en el camp de la computació afectiva. La combinació d'aquestes tecnologies pot donar lloc a experimentacions molt més realistes que, juntament amb el reconeixement automàtic de respostes fisiològiques, podrien constituir una metodologia robusta per evocar i identificar estats emocionals en entorns de dinàmiques socials. Aquesta tesi es centra en la evocació i reconeixement d'emocions en realitat virtual mitjançant la creació del primer humà virtual, basat en un model de llenguatge generatiu, que permet mantenir converses en temps real amb un humà. S'han mesurat diverses senyals fisiològiques i desenvolupat eines de processament de senyals per monitoritzar les respostes de manera automàtica. A partir d'això, s'ha avaluat i validat no només la evocació i reconeixement d'emocions mitjançant aprenentatge automàtic, sinó també el reconeixement de subjectes amb símptomes depressius. El treball desenvolupat en aquesta tesi presenta contribucions rellevants, tant per al camp de la computació afectiva com per a altres àrees afins com el processament de senyals i les interaccions humà-màquina. Les eines desenvolupades juntament amb models innovadors d'intel·ligència artificial aconsegueixen realitzar una experimentació en entorns de dinàmiques socials humanes que mai abans s'havia dissenyat. Els resultats mostren com aquest treball és capaç de modelitzar informació tan rellevant com emocions i símptomes depressius de la persona amb la qual es parla. Àrees com la psicologia, la medicina o l'educació poden utilitzar moltes de les eines desenvolupades en aquesta tesi per a proporcionar més informació en la presa de decisions o en la interacció social. / [EN] The field of affective computing is an area that has emerged with great momentum and is constantly evolving. This field integrates psychophysiology, computer science, biomedical engineering, and artificial intelligence, developing systems capable of inducing and recognizing emotions automatically. Its main focus is the study of human behavior through emotions, which play a fundamental role in actions such as social interaction, decision-making, or memory. Recently, technological advances have made possible the development of human-machine intelligent systems that were previously unattainable. Elements such as virtual reality and generative models of artificial intelligence are becoming increasingly relevant in the field of affective computing. The combination of these technologies could lead to much more realistic experiments that, along with automatic recognition of physiological responses, could constitute a robust methodology for evoking and identifying emotional states in social dynamic environments. This thesis focuses on the elicitation and recognition of emotions in virtual reality through the creation of the first virtual human, based on a generative language model, capable of engaging real-time conversations with a human. Various physiological signals have been measured, and signal processing tools have been developed to monitor responses automatically. Based on this, the elicitation and recognition of emotions through machine learning have been evaluated and validated, as well as the recognition of subjects with depressive symptoms. The work developed in this thesis presents relevant contributions, not only to the field of affective computing but also, to related areas such as signal processing and human-machine interactions. The tools developed, along with innovative artificial intelligence models, enable experimentation in human social dynamics environments that have never been designed before. The results demonstrate how this work is capable of modeling such relevant information as emotions and depressive symptoms of the person being interacted with. Fields such as psychology, medicine, or education can utilize many of the tools developed in this thesis to provide more information in decision-making or social interaction processes. / Llanes Jurado, J. (2024). Affective computing framework for social emotion elicitation and recognition using artificial intelligence [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/207112 / Compendio

There has been a stigma attached to mental health for years, with many people afraid to seek help from mental health professionals due to negative stereotypes about those seeking help. Young adults in particular are still reluctant in regards to seeing a therapist since they are ashamed, do not want to show weakness or they perceive their need for therapy as low. Since the COVID-19 pandemic has triggered many mental disorders of different kinds, numerous therapists have been fully booked, and the demand has been higher than the supply. Digital mental health apps aim to counteract the problem and help as many people as possible who either cannot get appointments with therapists or are not able to afford therapy sessions. The latest technologies, such as emotion-based Artificial Intelligence (Emotion AI), utilize many data sets and algorithms, which enable the system to learn and interpret human emotions through various verbal and non-verbal signals like voice recognition, text analysis, or face tracking. At the same time, the apps work as digital therapists who aim to help the user.  This research explores how emotion-based AI as a technology used in mental health applications can contribute to help young adults ranging from around 15 to 30 years of age, who are considered the age group suffering from symptoms of depression the most, but hesitate to see a therapist. By conducting a comparative study and quality assessment of three AIbased mental health apps and interviewing experts in Machine Learning and psychology on their points of view, this research project aims to gain qualitative data and, consequently, to obtain more insights on this topic. This research indicates that a complete replacement of face-to-face therapy is not yet imaginable because the human factor is considered inevitable in a therapy setting. However, most experts interviewed for this research stated that AI-based apps in mental healthcare can be seen as an additional supportive tool or coach on the side while seeing an actual therapist in face-to-face-sessions, either in person or through video calls, providing helpful content and exercises. In addition, these tools can bridge the waiting time between therapy sessions or function as a preventive solution for young adults. / Psykisk hälsa har i många år varit stigmatiserat, och många människor är rädda för att söka hjälp hos psykologer på grund av negativa stereotyper om dem som söker hjälp. Särskilt unga vuxna är fortfarande tveksamma när det gäller att träffa en terapeut eftersom de skäms eller inte vill visa svaghet. Eftersom COVID-19-pandemin har varit en utlösande faktor för många depressioner och psykiska störningar av olika slag så har många terapeuter varit fullbokade. Detta har gjort att efterfrågan på hjälp har varit större än utbudet som finns att tillgå. Digitala appar för psykisk hälsa har som syfte att motverka problemet och hjälpa så många människor som möjligt, antingen när det inte finns tillgängliga terapeuter för samtal eller när personen inte har råd med terapisamtal. Den senaste tekniken, såsom känslobaserad AI, utnyttjar en stor mängd data som gör det möjligt för systemet att lära sig att tolka mänskliga känslor genom olika verbala och icke-verbala signaler som till exempel röstigenkänning, textanalys eller ansiktsspårning. Samtidigt fungerar apparna som en digital terapeut som syftar till att hjälpa användaren. I denna studie undersöks i vilken utsträckning som känslobaserad AI, tillämpad i digitala lösningar för psykisk hälsa, kan bidra till att hjälpa unga vuxna i åldern 15-30 år som anses vara den åldersgrupp som lider mest av depressionssymptom. Genom att genomföra en jämförande studie, en kvalitetsbedömning av tre AI-baserade appar för psykisk hälsa samt intervjua experter inom maskininlärning och psykologi om deras synpunkter är syftet med detta forskningsprojekt att få kvalitativ data och därmed fler insikter om detta ämne. Resultaten av denna studie indikerar att en ersättning av terapisamtal med en person eller terapi via videosamtal ännu ej är tänkbar eftersom den mänskliga faktorn anses vara icke ersättningsbar. Majoriteten av de experter som intervjuades för den här forskningen uppgav dock att AI-baserade appar inom psykiatrin kan ses som ett extra stödverktyg eller en coach vid sidan av mötet med en riktig terapeut (antingen personligen eller genom videosamtal), med hjälp av användbart innehåll och övningar. Dessutom kan dessa verktyg överbrygga väntetiden mellan terapisessionerna eller fungera som en förebyggande lösning för unga vuxna.