Blended emotion is a classification of emotional experiences that involve the combination of multiple emotions. Research on the expression of blended emotions allows researchers to understand how different emotions interact and coexist in an individual’s emotional experience. Using machine learning to analyze mixed emotions may indeed bring new insights to the study of blended emotions. This thesis aims to explore blended emotion expression by testing machine learning models (SVM, Decision Tree, and Naive Bayes) trained on the single motion dataset on the blended emotion datasets and vice versa, to analyze the relationship between blended emotions and their constituent emotions. Furthermore, this thesis explores whether there is a dominant emotion in blended emotions and conducts an ablation study to investigate the importance of various facial features within each emotion. The results of testing models’ generalization capabilities propose that blended emotion expressions are highly likely to result from the overlapping combinations of features from their constituent emotions or the combination of some features from one constituent emotion with some from another. Furthermore, based on the dataset used, this thesis also finds that happiness predominated in the blended emotion ’disgust & happiness’. Additionally, an ablation study is conducted to identify the features that have the most significant impact on the accuracy and F1 score of single/pure emotion and blended emotion recognition across various recognition models. / ”Blandade känslor” är en klassificering av känslomässiga upplevelser som innefattar en kombination av flera känslor. Forskning om uttryck av blandade känslor möjliggör för forskare att förstå hur olika känslor interagerar och samexisterar i en individs känslomässiga upplevelse. Användningen av maskininlärning för att analysera blandade känslor kan faktiskt ge nya insikter i studiet av blandade känslor. Denna avhandling syftar till att utforska uttryck av blandade känslor genom att testa maskininlärningsmodeller (SVM, beslutsträd och Naive Bayes) som är tränade på dataset med enskilda känslor på dataset med blandade känslor och vice versa, för att analysera sambandet mellan blandade känslor och deras beståndsdelar. Dessutom utforskar denna avhandling om det finns en dominerande känsla i blandade känslor och genomför en ablationsstudie för att undersöka betydelsen av olika ansiktsdrag inom varje känsla. Resultaten av testning av modellernas generaliseringsförmåga föreslår att uttryck av blandade känslor sannolikt härrör från överlappande kombinationer av drag från deras beståndsdelar eller en kombination av vissa drag från en beståndsdel med vissa från en annan. Vidare, baserat på det använda datasetet, finner denna avhandling också att glädje dominerar i den blandade känslan ’avsky och glädje’. Dessutom genomförs en ablationsstudie för att identifiera de drag som har störst påverkan på noggrannheten och F1-poängen för igenkänning av enskilda/rena känslor och blandade känslor över olika igenkänningsmodeller.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-342919 |
| Date | January 2023 |
| Creators | Ling, Disen |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:812 |
Page generated in 0.0026 seconds