在心理與認知科學領域中常使用生理訊號來測量受試者的反應，並反映出人們的心理狀態起伏。本研究探討應用生理訊號識別情緒之可能性，以及將生理訊號與其他情緒辨識結果整合之方法。 在過去的研究中，生理與心理的對應關係，並無太多著墨，可稱為一黑盒子(black-box)的方式。並因上述類別式實驗長時間收集的生理訊號，對於誘發特定情緒反應之因果(cause-effect)並未進行深入的討論。本研究由於實驗的設計與選用材料之故，可一探純粹由刺激引發的情緒下情緒在生理與心理之因果關係，在輸入輸出對應間能有較明確的解釋。 本研究中嘗試監測較短時間(<10sec)的生理資訊，期望以一近乎即時的方式判讀並回饋使用者適當的資訊，對於生理訊號與情緒狀態的關聯性研究，將以IAPS(International Affective Picture System) 素材為來源，進行較過去嚴謹的實驗設計與程序，以探究生理訊號特徵如何應用於情緒分類。 雖然本研究以維度式情緒學說為理論基礎，然考慮到實際應用情境，若有其他以類別式的理論為基礎之系統，如何整合維度式與類別式兩類的資訊，提出可行的轉換方式，亦是本研究的主要課題。 / Physiological signals can be used to measure a subject’s response to a particular stimulus, and infer the emotional status accordingly. This research investigates the feasibility of emotion recognition using physiological measurements in a smart living space. It also addresses important issues regarding the integration of classification results from multiple modalities. Most past research regarded the recognition of emotion from physiological data as a mapping mechanism which can be learned from training data. These data were collected over a long period of time, and can not model the immediate cause-effect relationship effectively. Our research employs a more rigorous experiment design to study the relationship between a specific physiological signal and the emotion status. The newly designed procedure will enable us to identify and validate the discriminating power of each type of physiological signal in recognizing emotion. Our research monitors short term (< 10s) physiological signals. We use the IAPS (International Affective Picture System) as our experiment material. Physiological data were collected during the presentation of various genres of pictures. With such controlled experiments, we expect the cause-effect relation to be better explained than previous black-box approaches. Our research employs dimensional approach for emotion modeling. However, emotion recognition based on audio and/or visual clues mostly adopt categorical method (or basic emotion types). It becomes necessary to integrate results from these different modalities. Toward this end, we have also developed a mapping process to convert the result encoded in dimensional format into categorical data.

目前偵測一般人情緒的方式大部分在研究人的行為，例如：臉部表情，以及分析人體的各項生理數值，例如：心跳、體溫以及呼吸頻率。然而這些研究只單純探討人的外在行為或生理訊號在不同情緒下的變化，而人的眼睛包含外在行為跟生理訊號，本研究將探討不同情緒下眼睛有什麼特別的反應。 我們先制訂一套實驗流程，在流程中我們以不一樣的情緒圖片給予受測者刺激，然後記錄受測者的眼動反應，並且讓受測者回報自己的情緒狀態。本研究也記錄受測者在情緒刺激下的眼動反應，並將眼動之反應轉換成序列資料，再針對不同情緒下的序列建立隱藏馬可夫模型（Hidden Markov Models：HMM）。希望藉著情緒模型，從眼動行為中偵測受刺激者處於何種情緒狀態。 本研究發現人在看圖時會依據對圖片內容的好惡，產生有意義的眼動反應。我們利用相對應的眼動反應建立情緒辨識系統，在辨識三種情緒時，辨識率能夠達到六成。