在現今的基於內容的圖像檢索的研究中，會將人的主觀認知考慮進去。因為傳統的圖像檢索中採取低階特徵來找出圖片上可能的重要區域的方法和人的感覺還是有著相當大的語意上的鴻溝。然而藉由考慮人對圖片的主觀認知，可以讓人找到對它而言圖片上重要的部分，再去做圖像檢索，找出使用者想要的圖片。這樣的作法是比較自然且直觀的。還能達到個人化的效果，因為每個人對同一張圖片上覺得重要的物體可能不盡相同。在本論文中的圖像檢索系統採用眼動軌跡當作人的主觀認知來輔助檢索。因為在心理學的研究中有提到，人在看圖片的時候會有較多的凝視點落在他覺得重要的區域上。所以藉由這個理論，本論文利用使用者看圖片的眼動軌跡即時的調整圖片上物體的重要性。最後將重要性高的數個物體去做圖像檢索，找出含有這些對這個使用者是重要的物體的圖片。經由實驗證實，眼動軌跡輔助圖像檢索的確可以減少不重要的物體對圖像檢索的干擾，繼而可以提升圖像檢索系統的效能。 / Recently, researches in Content-Based Image Retrieval (CBIR) focuses on incorporation of knowledge about human perception in the systems’ design and implementation process. This enables the design of more natural and intuitive image retrieval techniques in order to overcome some of the challenges faced by modern CBIR system such as the difficulty to extract important regions of an image. By researches of psychology, user’s eye tracking reflects his interest. So, in my CBIR system, user’s eye movements were used online to adjust the importance for objects in query image. Thus in my system, only those images with important objects will be retrieved. One experiment was performed: record the eye movement of participants on query images. Then compare my approach with a classic CBIR system according to performance. The results reveal that higher retrieval performance of my image retrieval system because of decreasing the influence of not importance objects to image retrieval system.

近年來隨著電腦科技的進步，發展出了各種人機介面的應用。不同於傳統的滑鼠與鍵盤，新的人機介面往往在其他不同的領域能夠得到更好的發揮，眼動（eye movement）即是一個例子，利用眼球移動在螢幕上的眼動軌跡來操控電腦。另一方面，螢幕所呈現的內容也會影響使用者的眼動行為，例如閱讀文章時不同的文章內容就會影響使用者在看文章時的眼動行為，因此我們就可以從眼動軌跡去推測出使用者對於螢幕的內容（如文章或圖片）的反應。本論文的目的就是要找出閱讀文章時的眼動軌跡和閱讀者對該文章的理解程度之間的關連性，最後發展出一個系統，利用閱讀文章時的眼動軌跡就能去推測閱讀者對於文章的理解程度，而無需後續的閱讀測驗。 / 一般人通常對自身的眼動軌跡的進行方式不甚了解，認為閱讀文章的眼動應該是順著字句的進行而移動。其實仔細觀察細小的眼動軌跡會發現比想像中複雜的多，例如當我們閱讀到文意較為困難的片段時，通常都會放慢速度，或是反覆閱讀，又例如看到自己有興趣的主題時會凝視在某些區塊較久的時間等等行為，這些都是在各種不同的情境之下做出相對的反應。本論文提出了資料探勘的方法來分析複雜的眼動軌跡，能針對每個人不同的閱讀模式找出不同的眼動規則。此方法能適應各種使用者的閱讀習性，對閱讀理解程度的預測能達到更精確的效果。 / With the advance of the computer technology, there are many kinds of HCI (Human Computer interface) applications been developed in recent years. Different from mouse and keyboard, new interface will bring more benefits in different area, and eye-movement is an example. It extracts the trace of eye movement to control the computer. Furthermore, the screen content will also affect the eye-movement. For example, when the user reads the articles, the content will affect the eye-movement, so we can speculate the reaction of the user after seen the screen content (such as article or picture) by eye-movement. The goal of the paper is to find out the relationship between eye-movement and the degree of comprehension, and develop a system which can automatically measure reading comprehension without any follow-up comprehension test. / Most people don’t realize how there eye move. They think eye movements should be carried out along the words. In fact, eye movement will find more complex than imagined, for example, when we read the context of the article is more difficult, we often slow down or read over and over again. In another example, people will gaze at some of the subjects that they are interest in for a longer period of time. These reactions correspond to a variety of different situations. This paper presents a data mining approach to analyze complex eye movement. It can find out the different rules of eye movement for users who have different reading strategy. This method will be able to adapt to a variety of users reading habits, and make more accurate prediction with the degree of the comprehension.

目前偵測一般人情緒的方式大部分在研究人的行為，例如：臉部表情，以及分析人體的各項生理數值，例如：心跳、體溫以及呼吸頻率。然而這些研究只單純探討人的外在行為或生理訊號在不同情緒下的變化，而人的眼睛包含外在行為跟生理訊號，本研究將探討不同情緒下眼睛有什麼特別的反應。 我們先制訂一套實驗流程，在流程中我們以不一樣的情緒圖片給予受測者刺激，然後記錄受測者的眼動反應，並且讓受測者回報自己的情緒狀態。本研究也記錄受測者在情緒刺激下的眼動反應，並將眼動之反應轉換成序列資料，再針對不同情緒下的序列建立隱藏馬可夫模型（Hidden Markov Models：HMM）。希望藉著情緒模型，從眼動行為中偵測受刺激者處於何種情緒狀態。 本研究發現人在看圖時會依據對圖片內容的好惡，產生有意義的眼動反應。我們利用相對應的眼動反應建立情緒辨識系統，在辨識三種情緒時，辨識率能夠達到六成。