La reconnaissance des émotions dans la musique est un challenge industriel et académique. À l’heure de l’explosion des contenus multimédias, il nous importe de concevoir des ensembles structurés de termes, concepts et métadonnées facilitant l’organisation et l’accès aux connaissances. Notre problématique est la suivante : est-Il possible d'avoir une connaissance a priori de l'émotion en vue de son élicitation ? Autrement dit, dans quelles mesures est-Il possible d'inscrire les émotions ressenties à l'écoute d'une oeuvre musicale dans un régime de métadonnées et de bâtir une structure formelle algorithmique permettant d'isoler le mécanisme déclencheur des émotions ? Est-Il possible de connaître l'émotion que l'on ressentira à l'écoute d'une chanson, avant de l'écouter ? Suite à l'écoute, son élicitation est-Elle possible ? Est-Il possible de formaliser une émotion dans le but de la sauvegarder et de la partager ? Nous proposons un aperçu de l'existant et du contexte applicatif ainsi qu'une réflexion sur les enjeux épistémologiques intrinsèques et liés à l'indexation même de l'émotion : à travers lune démarche psychologique, physiologique et philosophique, nous proposerons un cadre conceptuel de cinq démonstrations faisant état de l'impossible mesure de l'émotion, en vue de son élicitation. Une fois dit à travers notre cadre théorique qu'il est formellement impossible d'indexer les émotions, il nous incombe de comprendre la mécanique d'indexation cependant proposée par les industriels et académiques. Nous proposons, via l'analyse d'enquêtes quantitatives et qualitatives, la production d'un algorithme effectuant des préconisationsd'écoute d’œuvres musicales. / Emotion recognition in music is an industrial and academic challenge. In the age of multimedia content explosion, we mean to design structured sets of terms, concepts and metadata facilitating access to organized knowledge. Here is our research question : can we have an a priori knowledge of emotion that could be elicited afterwards ? In other words, to what extent can we record emotions felt while listening to music, so as to turn them into metadata ? Can we create an algorithm enabling us to detect how emotions are released ? Are we likely to guess ad then elicit the emotion an individual will feel before listening to a particular song ? Can we formalize emotions to save, record and share them ? We are giving an overview of existing research, and tackling intrinsic epistemological issues related to emotion existing, recording and sharing out. Through a psychological, physiological ad philosophical approach, we are setting a theoretical framework, composed of five demonstrations which assert we cannot measure emotions in order to elicit them. Then, a practical approach will help us to understand the indexing process proposed in academic and industrial research environments. Through the analysis of quantitative and qualitative surveys, we are defining the production of an algorithm, enabling us to recommend musical works considering emotion.

Technological advances will allow virtual agents to increasingly help individuals with daily activities. As such, virtual agents will interact with users of various ages and experience levels. Facial expressions are often used to facilitate social interaction between agents and humans. However, older and younger adults do not label human or virtual agent facial expressions in the same way, with older adults commonly mislabeling certain expressions. The dynamic formation of facial expression, or motion, may provide additional facial information potentially making emotions less ambiguous. This study examined how motion affects younger and older adults in recognizing various intensities of emotion displayed by a virtual agent. Contrary to the dynamic advantage found in emotion recognition for human faces, older adults had higher emotion recognition for static virtual agent faces than dynamic ones. Motion condition did not influence younger adults' emotion recognition. Younger adults had higher emotion recognition than older adults for the emotions of anger, disgust, fear, happiness, and sadness. Low intensities of expression had lower emotion recognition than medium to high expression intensities.

In this dissertation a method for the classification of emotion in speech recordings made in a customer service call centre of a large business is presented. The problem addressed here is that customer service analysts at large businesses have to listen to large numbers of call centre recordings in order to discover customer service-related issues. Since recordings where the customer exhibits emotion are more likely to contain useful information for service improvement than “neutral” ones, being able to identify those recordings should save a lot of time for the customer service analyst. MTN South Africa agreed to provide assistance for this project. The system that has been developed for this project can interface with MTN’s call centre database, download recordings, classify them according to their emotional content, and provide feedback to the user. The system faces the additional challenge that it is required to classify emotion notwith- standing the fact that the caller may have one of several South African accents. It should also be able to function with recordings made at telephone quality sample rates. The project identifies several speech features that can be used to classify a speech recording according to its emotional content. The project uses these features to research the general methods by which the problem of emotion classification in speech can be approached. The project examines both a K-Nearest Neighbours Approach and an Artificial Neural Network- Based Approach to classify the emotion of the speaker. Research is also done with regard to classifying a recording according to the gender of the speaker using a neural network approach. The reason for this classification is that the gender of a speaker may be useful input into an emotional classifier. The project furthermore examines the problem of identifying smaller segments of speech in a recording. In the typical call centre conversation, a recording may start with the agent greeting the customer, the customer stating his or her problem, the agent performing an action, during which time no speech occurs, the agent reporting back to the user and the call being terminated. The approach taken by this project allows the program to isolate these different segments of speech in a recording and discard segments of the recording where no speech occurs. This project suggests and implements a practical approach to the creation of a classifier in a commercial environment through its use of a scripting language interpreter that can train a classifier in one script and use the trained classifier in another script to classify unknown recordings. The project also examines the practical issues involved in implementing an emotional clas- sifier. It addresses the downloading of recordings from the call centre, classifying the recording and presenting the results to the customer service analyst. AFRIKAANS : n Metode vir die klassifisering van emosie in spraakopnames in die oproepsentrum van ’n groot sake-onderneming word in hierdie verhandeling aangebied. Die probleem wat hierdeur aangespreek word, is dat kli¨entediens ontleders in ondernemings na groot hoeveelhede oproepsentrum opnames moet luister ten einde kli¨entediens aangeleenthede te identifiseer. Aangesien opnames waarin die kli¨ent emosie toon, heel waarskynlik nuttige inligting bevat oor diensverbetering, behoort die vermo¨e om daardie opnames te identifiseer vir die analis baie tyd te spaar. MTN Suid-Afrika het ingestem om bystand vir die projek te verleen. Die stelsel wat ontwikkel is kan opnames vanuit MTN se oproepsentrum databasis verkry, klassifiseer volgens emosionele inhoud en terugvoering aan die gebruiker verskaf. Die stelsel moet die verdere uitdaging kan oorkom om emosie te kan klassifiseer nieteenstaande die feit dat die spreker een van verskeie Suid-Afrikaanse aksente het. Dit moet ook in staat wees om opnames wat gemaak is teen telefoon gehalte tempos te analiseer. Die projek identifiseer verskeie spraak eienskappe wat gebruik kan word om ’n opname volgens emosionele inhoud te klassifiseer. Die projek gebruik hierdie eienskappe om die algemene metodes waarmee die probleem van emosie klassifisering in spraak benader kan word, na te vors. Die projek gebruik ’n K-Naaste Bure en ’n Neurale Netwerk benadering om die emosie van die spreker te klassifiseer. Navorsing is voorts gedoen met betrekking tot die klassifisering van die geslag van die spreker deur ’n neurale netwerk. Die rede vir hierdie klassifisering is dat die geslag van die spreker ’n nuttige inset vir ’n emosie klassifiseerder mag wees. Die projek ondersoek ook die probleem van identifisering van spraakgedeeltes in ’n opname. In ’n tipiese oproepsentrum gesprek mag die opname begin met die agent wat die kli¨ent groet, die kli¨ent wat sy of haar probleem stel, die agent wat ’n aksie uitvoer sonder spraak, die agent wat terugrapporteer aan die gebruiker en die oproep wat be¨eindig word. Die benadering van hierdie projek laat die program toe om hierdie verskillende gedeeltes te isoleer uit die opname en om gedeeltes waar daar geen spraak plaasvind nie, uit te sny. Die projek stel ’n praktiese benadering vir die ontwikkeling van ’n klassifiseerder in ’n kommersi¨ele omgewing voor en implementeer dit deur gebruik te maak van ’n programeer taal interpreteerder wat ’n klassifiseerder kan oplei in een program en die opgeleide klassifiseerder gebruik om ’n onbekende opname te klassifiseer met behulp van ’n ander program. Die projek ondersoek ook die praktiese aspekte van die implementering van ’n emosionele klassifiseerder. Dit spreek die aflaai van opnames uit die oproep sentrum, die klassifisering daarvan, en die aanbieding van die resultate aan die kli¨entediens analis, aan. Copyright / Dissertation (MEng)--University of Pretoria, 2010. / Electrical, Electronic and Computer Engineering / unrestricted

Dizertační práce se zabývá rozpoznáním emočního stavu mluvčích z řečového signálu. Práce je rozdělena do dvou hlavních častí, první část popisuju navržené metody pro rozpoznání emočního stavu z hraných databází. V rámci této části jsou představeny výsledky rozpoznání použitím dvou různých databází s různými jazyky. Hlavními přínosy této části je detailní analýza rozsáhlé škály různých příznaků získaných z řečového signálu, návrh nových klasifikačních architektur jako je například „emoční párování“ a návrh nové metody pro mapování diskrétních emočních stavů do dvou dimenzionálního prostoru. Druhá část se zabývá rozpoznáním emočních stavů z databáze spontánní řeči, která byla získána ze záznamů hovorů z reálných call center. Poznatky z analýzy a návrhu metod rozpoznání z hrané řeči byly využity pro návrh nového systému pro rozpoznání sedmi spontánních emočních stavů. Jádrem navrženého přístupu je komplexní klasifikační architektura založena na fúzi různých systémů. Práce se dále zabývá vlivem emočního stavu mluvčího na úspěšnosti rozpoznání pohlaví a návrhem systému pro automatickou detekci úspěšných hovorů v call centrech na základě analýzy parametrů dialogu mezi účastníky telefonních hovorů.

Předložená disertační práce se zabývá vývojem algoritmů pro detekci stresu z řečového signálu. Inovativnost této práce se vyznačuje dvěma typy analýzy řečového signálu, a to za použití samohláskových polygonů a analýzy hlasivkových pulsů. Obě tyto základní analýzy mohou sloužit k detekci stresu v řečovém signálu, což bylo dokázáno sérií provedených experimentů. Nejlepších výsledků bylo dosaženo pomocí tzv. Closing-To-Opening phase ratio příznaku v Top-To-Bottom kritériu v kombinaci s vhodným klasifikátorem. Detekce stresu založená na této analýze může být definována jako jazykově i fonémově nezávislá, což bylo rovněž dokázáno získanými výsledky, které dosahují v některých případech až 95% úspěšnosti. Všechny experimenty byly provedeny na vytvořené české databázi obsahující reálný stres, a některé experimenty byly také provedeny pro anglickou stresovou databázi SUSAS.

[ES] La falta de empatía en niños y adolescentes son fuertes predictores de desarrollar conductas antisociales, emitir juicios morales inadecuados, dificultades en las relaciones interpersonales o conductas de acoso escolar, por lo que es necesario disponer de programas educativos que promuevan la empatía y una respuesta "orientada hacia los demás" desde edades tempranas para ayudar a fomentar un mayor bienestar social en los estudiantes. Un enfoque ampliamente utilizado para promover el aprendizaje en el contexto educativo es la gamificación dado que mejora en los estudiantes la motivación para aprender, la participación activa y la satisfacción, compartiendo la idea de utilizar experiencias de juego positivas para un propósito serio, como lograr un cambio de comportamiento, en lugar de centrarse en el entretenimiento. Se dispone en la literatura de algunas propuestas gamificadas tecnológicas para promover la empatía en la educación, sin embargo pocos trabajos integran la Realidad Aumentada (RA), una forma de juego radicalmente nueva que permite cultivar experiencias de aprendizaje inmersivas y estimulantes al combinar contenido digital superpuesto en el mundo real. Esta tecnología emergente e innovadora es compatible con los dispositivos móviles, siendo unidades asequibles con capacidades de reconocimiento de imágenes, seguimiento de objetos, detección de ubicación y orientación, siendo una solución práctica para ofrecer al usuario una experiencia RA no necesitando requisitos de hardware sofisticados. Esta tesis revela la falta de investigación sobre entornos sociales digitales para promover la empatía, existiendo evidencias de que la empatía y la respuesta prosocial/prosocialidad están significativamente relacionadas. Por ello, esta tesis propone un modelo circular de empatía híbrido derivado de los modelos existentes en la literatura y que involucra los procesos y componentes principales de esta habilidad, para promover acciones conductuales dirigidas a beneficiar o ayudar a otros, como el comportamiento prosocial. Este modelo circular se transforma en dinámicas de juego operativas a través de un modelo gamificado de aprendizaje de tareas y pasos para llevar al jugador a experimentar diversidad de escenarios o historias reflexivas (observación), organizadas en torno a un desafío o misión central desarrollada de forma individual (monousuario) o grupal (multiusuario), buscando promover emociones positivas como la empatía en términos del comportamiento prosocial (actuación). El modelo de aprendizaje está definido por espacios aumentados basados en la ubicación siendo coordenadas GPS o anclajes espaciales (espacios físicos previamente escaneados) y que puede ser adaptado a múltiples contextos de aprendizaje. En esta tesis se presentan dos estrategias gamificadas basadas en la ubicación con Realidad Aumentada Móvil. La primera EmoFindAR, con "anclajes espaciales" diseñado a nivel multiusuario con dinámica competitiva vs. colaborativa para la identificación y manipulación de estados emocionales básicos, evaluada en la educación primaria donde se observa que promueve en los estudiantes la socialización, las habilidades comunicativas y la inteligencia emocional. La segunda propuesta diseñada con el "Sistema de Posicionamiento Global (GPS)", siendo EmpathyAR para un aprendizaje individualizado y su versión multiusuario SocialTaskAR para un aprendizaje en equipo. / [CA] La falta d'empatia en xiquets i adolescents és un fort predictor de desenvolupar conductes antisocials, emetre judicis morals inadequats, dificultats en les relacions interpersonals o conductes d'assetjament escolar, per la qual cosa és necessari disposar de programes educatius que promouen l'empatia i una resposta "orientada cap als altres" des d'edats primerenques per a ajudar a fomentar un major benestar social en els estudiants. Un enfocament àmpliament utilitzat per a promoure l'aprenentatge en el context educatiu és la ludificació donat que millora en els estudiants la motivació per a aprendre, la participació activa i la satisfacció, compartint la idea d'utilitzar experiències de joc positives per a un propòsit seriós, com aconseguir un canvi de comportament, en lloc de centrar-se en l'entreteniment. Es disposa en la literatura d'algunes propostes lúdiques tecnològiques per a promoure l'empatia en l'educació, no obstant això pocs treballs integren la Realitat Augmentada (RA), una forma de joc radicalment nova que permet cultivar experiències d'aprenentatge immersives i estimulants en combinar contingut digital superposat en el món real. Aquesta tecnologia emergent i innovadora és compatible amb els dispositius mòbils, sent unitats assequibles amb capacitats de reconeixement d'imatges, seguiment d'objectes, detecció d'ubicació i orientació, sent una solució pràctica per a oferir a l'usuari una experiència RA no necessitant requisits de maquinari sofisticat. Aquesta tesi revela la falta d'investigació sobre entorns socials digitals per a promoure l'empatia, existint evidències que l'empatia i la resposta pro social estan significativament relacionades. Per això, aquesta tesi proposa un model circular d'empatia híbrid derivat dels models existents en la literatura i que involucra els processos i components principals d'aquesta habilitat, per a promoure accions conductuals dirigides a beneficiar o ajudar a uns altres, com el comportament pro social. Aquest model circular es transforma en dinàmiques de joc operatives a través d'un model ludificat d'aprenentatge de tasques i passos per a portar al jugador a experimentar diversitat d'escenaris o històries reflexives (observació), organitzades entorn d'un desafiament o missió central desenvolupada de manera individual (monousuari) o grupal (multiusuari), buscant promoure emocions positives com l'empatia en termes del comportament pro social (actuació). El model d'aprenentatge està definit per espais augmentats basats en la ubicació sent coordenades GPS o ancoratges espacials (espais físics prèviament escanejats) i que pot ser adaptat a múltiples contextos d'aprenentatge. En aquesta tesi es presenten dues estratègies lúdiques basades en la ubicació amb Realitat Augmentada Mòbil. La primera EmoFindAR, amb "ancoratges espacials" dissenyat a nivell multiusuari amb dinàmica competitiva vs. col.laborativa per a la identificació i manipulació d'estats emocionals bàsics, avaluada en l'educació primària on s'observa que promou en els estudiants la socialització, les habilitats comunicatives i la intel·ligència emocional. La segona proposta dissenyada amb el "Sistema de Posicionament Global (GPS)", sent EmpathyAR per a un aprenentatge individualitzat i la seua versió multiusuari SocialTaskAR per a un aprenentatge en equip. / [EN] The lack of empathy in children and adolescents is a strong predictor of developing antisocial behavior, resulting in inappropriate moral judgments, difficulties in interpersonal relationships or bullying behavior, which is why it is necessary to have educational programs that promote empathy and an response "oriented towards others" from an early age to help foster greater social well-being in students. A widely used approach to promote learning in the educational context is gamification since it improves students' motivation to learn, active participation and satisfaction, sharing the idea of using positive game experiences for a serious purpose, such as achieving a behavioral change, instead of focusing on entertainment. There are some technological gamified proposals in the literature to promote empathy in education, however few works integrate Augmented Reality (AR), a radically new form of gaming that allows cultivating immersive and stimulating learning experiences by combining digital content superimposed in the real world. This emerging and innovative technology is compatible with mobile devices, which are affordable units with image recognition, object tracking, location detection and orientation capabilities, a practical solution to offer the user an AR experience without needing sophisticated hardware requirements. This thesis reveals the lack of research on digital social environments to promote empathy, with evidence that empathy and prosocial response/pro-sociality are significantly related. Therefore, this thesis proposes a hybrid circular model of empathy derived from existing models in the literature involving the main processes and components of this ability, to promote behavioral actions aimed at benefiting or helping others, such as prosocial behavior. This circular model is transformed into operational game dynamics through a gamified model of learning tasks and steps to lead the player to experience a diversity of scenarios or reflective stories (observation), organized around a central challenge or mission developed in an individual (single-user) or group (multi-user), seeking to promote positive emotions such as empathy in terms of prosocial behavior (performance). The learning model is defined in terms of location-based augmented spaces being GPS coordinates or spatial anchors (previously scanned physical spaces) and that can be adapted to multiple learning contexts. In this thesis two gamified strategies based on location with Mobile Augmented Reality are presented. The first EmoFindAR, with "spatial anchors" designed at a multi-user level with competitive vs. collaborative dynamics for the identification and manipulation of basic emotional states, evaluated in primary education where it is observed that it promotes socialization, communication skills and emotional intelligence in students. The second proposal designed with the "Global Positioning System (GPS)", is EmpathyAR for individualized learning and its multi-user version SocialTaskAR for team learning. / Gracias a todos los miembros del proyecto R+D+i PID2019-108915RB-I00 por sus contribuciones brindadas y en particular a Jorge Montaner Marco por su colaboración incondicional. / López Faicán, LG. (2023). Desarrollo de habilidades empáticas mediante estrategias de gamificación basadas en realidad aumentada móvil multiusuario para el contexto educativo [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/200583