電腦硬體的發展日新月異，電腦在運算的能力有長足的提升，遠遠超過一般人腦的計算能力，隨著電腦的普及率大幅提高，電腦由以往為專業領域的工具轉變為家庭不可或缺的商品，一般大眾也成為電腦的使用者，與電腦溝通的技術（即人機介面）逐漸重要。在多樣人機介面當中，自然的人機介面尤為重要，在手持式計算裝置及平版電腦上的手寫或手勢是人機介面中較自然的方式，因此本論文將對手寫軌跡以及手勢辨識進行研究。由於此類的人機介面自由度較高，我們利用傅立葉描述元(Fourier descriptor)以及shape context，皆為平移、旋轉、縮放等rigid transformation下維持不變的方法。在手繪圖形，我們收集114位使用者的手繪資料，繪圖的過程中，依使用者直觀的方式，繪圖於電腦的觸控板，而這些使用者幾乎為首次使用觸控筆。當我們利用傅立葉描述元時，可達到67%辨識率；而使用shape context時，有90%的準確率。另外，我們將此技術應用於手勢辨識，收集348張手勢的照片，同樣使用傅立葉描述元以及shape context，其辨識率各為62%以及70%。 由於我們可以利用以上二方法定義出距離，即可使用K-Nearest Neighbor(KNN)為分類的方法。分別透過傅立葉描述元以及shape context所定義的距離，在辨識3D幾何物件約可達75%與95%，而在手勢辨識約有78%以及82%的辨識率。 / The cost of computing devices has dropped significantly in recent years, enabling diversified applications that require natural man-machine interaction such as pen-based computing and gesture-based communication. Whereas the automatic recognition of handwriting has been studied quite extensively, research on hand-drawn geometric shapes has received relatively little attention. In this thesis, we investigate an effective method to recognize hand-drawn geometric shapes and hand gesture. Due to the high degree of freedom of natural human-computer interface, we apply two methods, namely, Fourier descriptor (FD) and shape context (SC) to aid shape recognition. For hand-drawn shapes, we collect 114 users' free-hand drawings using Tablet PC. In this study, we achieve an accuracy of 67% by FD and 90% by SC. For gesture-based interface, we gather 348 pictures of hand gestures and obtain a classification rate of 62% by FD and 70% by SC. Since FD and SC are distance measures, we can use K-Nearest Neighbor (KNN) classifier to improve the recognition rate. The incorporation of KNN classifier has increased the precision to 75% and 95%, where distance is measured by FD and SC respectively. For hand gestures, the improved accuracy is 78% by FD and 82% by SC.

近年來，智慧型互動電視的應用是不少數位生活空間研究的焦點之一。我們認為，好的互動式數位電視系統必須有生動靈活的使用介面與使用者互動。在本研究中，我們提出以智慧型3D動畫角色為介面之互動數位電視系統，希望可以藉由智慧型3D動畫角色在介面上的呈現，加強使用者於互動數位電視系統的使用經驗。在我們過去所開發的互動數位電視系統SITV上，有許多不同的互動情境可納入智慧型3D動畫角色設計的考量。我們提議讓智慧型3D動畫角色在肢體動作表現上具有行動力與表達力的概念，使得動畫角色在互動數位電視系統上，能夠依據不同的情境與角色本身之狀態，選擇適當的動作在螢幕上移動並且能呈現適當的情緒，讓互動數位電視系統之服務更加友善。本研究以JAVA開發動畫系統，並設計實驗驗證不同介面對使用者的影響，結果顯示，使用者認為智慧型3D動畫角色介面是最有善的。 / In recent years, intelligent interactive digital TV is one of the most important applications in the research of digital living space. We think a good interactive TV system must have a vivid user interface to interact with users. In this research, we propose to incorporate intelligent 3D character into the interface design for interactive digital TV system, to enhance the user experience of the interactive digital TV system. In the smart interactive digital TV system we developed before, call SITV, many interactive scenarios can be considered in the design of intelligent 3D character. We propose to develop our intelligent 3D character with the concepts of mobility and expressiveness on body motion such that appropriate emotions can be presented through motions depending on the scenario and character configuration. For example, an intelligent 3D character can act like a housekeeper living in the TV monitor. He can take different actions for different scenarios to make the service friendlier. We have developed our animation system in JAVA and designed experiments to evaluate different types of user interface design on different scenarios. The experimental results show that an interface with an intelligent 3D character will be friendlier than the others.

以肢體動作為基礎的人機介面一直被認為是未來家庭人機介面的表徵，然而，由於缺乏適合的應用環境和辨識技術，相關的應用尚未成熟。本研究嘗試提出一個互動式仿鏡顯示裝置作為肢體指令的平台，並提出相關的辨識技術，以設計一個可應用在智慧家庭環境中，符合人因工程的互動顯示裝置。 / Gesture-based user interfaces have long been associated with the image of future technology. However, due to the lack of proper environments and recognition technologies, practical applications of intelligent user interfaces are still rare in modern life. In this research, we propose an interactive mirror which can be controlled by gesture commands. We also provide several recognition techniques for this interactive display device. Practical applications are developed on this smart mirror, and user test is conducted to evaluate this novel user interface.

眼動儀目前的主要用途在分析使用者的觀看行為，藉以改善介面的設計，或幫助身體有缺陷但眼睛還能轉動的使用者與外界溝通。隨著相關技術的發展，眼動儀將可能如同滑鼠、鍵盤一般，成為使用者輸入裝置的選項。本論文的目的在於設計並實作低成本之穿戴式與遠距眼動儀，並將其應用於以視線軌跡為基礎的人機介面，希望能夠增進人與電腦之間的互動方式。由於眼動儀會受到雜訊與角膜反射點等的影響，本研究提出利用瞳孔周圍暗色點比例較高的特性，增加定位之準確性，以改善眼動儀之精確度，此外，頭部的移動亦會造成眼動儀在計算投射位置時之誤差，本研究也針對這個問題提出因應之解決方案。利用前述製作的眼動儀，本論文實作數個以視線軌跡為基礎的人機介面，包括視線軌跡網頁瀏覽器、強化眼睛注視照片區域、井字遊戲、互動式媒體等，並利用眼動儀記錄使用者觀看手機介面的行為。 / Eye tracker, a device for measuring eye position and movements, has traditionally been used for research in human visual system, psychology and interface design. It has also served as an input device for people with disability. With recent progresses in hardware and imaging technology, it has the potential to complement, even replace popular devices such as mouse or keyboard for average users to communicate with the computer. It is the objective of this research to design and implement low-cost head-mounted and remote eye trackers and subsequently develop applications that take advantage of gaze-based interactions. Specifically, we improve the precision of the tracking result by designing a new pupil detection algorithm as well as compensating for head movement. We then present several gaze-based user interfaces, including eye-controlled web browser, attention-based photo browser, interactive game (tic-tac-toe) and media design. We also investigate the feasibility of utilizing the eye trackers to analyze and evaluate the design of mobile user interface.

本研究分析現有有關應用電腦於改善ESL教學之理論，這些理論目前係為了提供較易懂與靈活的人機介面。本研究同時對於在中國大陸與台灣在ESL教學上應用CAI（電腦輔助教學）有關的討論也予以分析。 本研究也試圖提出一套方法來找出並發展適台這些市場的CAI/ESL工具，而且可證實工具的有效性。此外，本研究並提出對設計這些工具非常關鍵的技術、文化、社會以及政治方面的考量。 最後，本研究提出了一個「E計畫」的產品說明及設計。E計畫為一種模組性的CAI多媒體系統，用於加強台灣大學生第一年英語教學。 / This paper analyses the existing theories underlying the application of computers to improve ESL education, theories which currently define the nature of interfaces designed to enhance access to and flexibility of computer-based information, and arguments for the application of computer-aided instruction to the problem of ESL education in the Chinese-language markets of Mainland China and Taiwan. The paper then attempts to outline a methodology for identifying, developing, and verifying the effectiveness of appropriate computer-assisted instructional ESL tools for these markets. Moreover, it outlines specific technological, cultural, social, and political issues critical to the design of such tools. Finally, it provides a product description and design for Project E, a modular CAI multimedia program aimed at enhancing ESL training for a first-year English course for English students at a Taiwanese university.

一個進步的文明城市，公共區域建築物內皆設有無障礙空間設施以照顧社會弱勢的族群，使這些族群享有同等使用社會資源的權利。同樣的，在電腦科技日新月異的當下，某些人在享受科技帶來的資訊及便利，某些人則因使用介面的障礙而無法同等享受其便利，因而形成人機介面所造成的數位障礙。 電腦虛擬世界和現實世界本是涇渭分明，由於電腦科技的進步及人們的需要在現實世界中擴增虛擬訊息成為可能。憑藉擴增實境的應用及使用者互動方面的研究，來改善人機介面造成的數位障礙，讓更多不同族群的人享有資訊科技帶來的好處。 上述的數位障礙中，最普遍的族群是幼年與年長者，其通常亦是最需要醫療照護的族群；因此本研究以一個醫療衛教為主題實例，著重預防重於治療的前提，研究醫護人員如何讓一般民眾了解特定疾病或傷害的基本知識；用於在平時或治療前、治療後的醫病溝通，欲有助於減少特定疾病引發一連串成本較高的治療程序，進而減少醫療資源的使用，使全民健保預算有效運用。 人機介面是為溝通真實世界與電腦虛擬世界，因此在本研究中以實例運用目前主流的圖形使用者介面(Graphic Uesr Interface, GUI)的操作模式下，提供以有形使用者介面(Tangible User Interface, TUI)，以一個腦部虛擬實境的衛教應用，加上擴增實境技術，將教材內容具象化、內容可視化、可操作化，建立一個數位弱勢族群(如老人、小孩)易於使用的互動介面環境。

圖例選單自80年代麥金塔電腦中開始使用後，由於Windows作業系統的普及，愈來愈多的應用軟體採用圖例選單或圖例加文字選單。本研究試圖加入一些可能會影響使用效果的使用者特質變數：如年齡、性別、電腦使用者經驗、使用者對工作熟悉度等，及工作性質變數：如工作複雜度高低，來探討三種不同之人機介面呈現方式：文字選單、圖例選單、文字加圖例選單的客觀使用績效及主觀滿意度。 　　本研究以自行發展之三種不同的選單軟體為實驗工具，選用二種不同之工作性質：文書處理（複雜度較高）及圖書查詢（複雜度較低），分別以政大及政大實小的242位學生為受試者進行實驗。全部測驗時間約一個小時至一個半小時，每班同學隨機分為三組，分別使用某一種選單的實驗工具，測驗只分五部份：事前說明、利用選單完成指定工作、記憶性測驗、滿意度測量、及使用者特質問卷。除事前說明外，其他部份均採線上作業，所有結果均自動記錄在電腦檔案中。 　　本研究結論可分三方面：(1)使用不同的選單在使用績效（完成工作所需時間、正確性、重複處理次數）、記憶性及主觀滿意度 （系統學習性、系統使用性、文字或圖例安排恰當、文字或圖例幫助記憶、及有趣性上）呈顯著差異，顯示三種不同之選單確實對客觀使用績效及主觀滿意度有影響。(2)使用者特質如性別、過去使用電腦的經驗、學歷、對測驗工作的熟悉程度會影響使用績效，但使用者特質並不會間接影響三種選單的使用績效。(3)工作性質的複雜度，影響選單的複雜度，而由於螢幕畫面大小固定，選單的複雜度會影響選單中每一選項所能佔用之位置大小，選項佔用位置的大小對圖例加文字選單之使用績效及滿意度影響最大，對圖例選單次之，文字選單又次之。所以不同的工作性質，三種選單之使用績效及滿意度表現呈不同方式。但是在記憶性測量及主觀有趣性判斷上，圖例選單或圖例加文字選單的表現卻不受工作性質影響，始終優於文字選單。

對於許多人而言，在寫作時要寫什麼題材、元素常另人傷透腦筋。本研究的目的為透過設計一個輔助敘事創作的電腦系統，來激發使用者在素材上的創造力，以期幫助使用者創作出一個題材新穎的故事。許多電腦輔助系統 (如 CAD, CAI, ITS等)，已經注意到協助創意思考的重要性。Liu (2000) 利用電腦運算將形狀重組，讓原本單一的形狀能延伸出許多不同的形狀，提供更多的變異性以激發使用者的創造力；因而本研究擬對於圖片、文字等以內容為主的元素，嘗試以Liu所提出的方式再生多樣的訊息；然而目前電腦要產生內容性的元素仍十分困難，因此人們對同樣一件事物的不同的想法，便成了提供變異內容的最佳資料庫，例如，Huang, Li, Wang & Chang (2007) 便利用腦力激盪的合作方式達成創意學習的目標。 本研究針對敘事創作，提出一個Picture-Attributed-Note (PAN) 架構，期望能激發使用者的敘事創意並協助其完成故事創作。在激發創意的部份，我們利用圖片、分類和筆記來呈現和記錄資料。其中分類筆記是以文字方式呈現，我們採用 Rabiger (2000) 所提出的 Character, Location, Object, Situation, Action, and Theme (CLOSAT) 來進行分類，藉圖片和分類資料的刺激，讓使用者能對故事中各樣的元素有更多的想法或聯想，以達到透過變異資料來激發創造力的目的。我們以PAN架構為基礎實作了一個電腦輔助系統來了解系統對使用者所產生的影響，並驗證所設計系統的有效性。本研究邀請了四位受測者來創作故事，其中一位在創作過程中沒有系統的輔助。在創作完畢後，四位受測者皆立刻觀看實施影音回溯來說明創作的過程。此資料最後用內容分析法，透過Chen (2002) 針對電腦系統所提出涵蓋 Conceptual, Operation, Perceptual和 Evaluation四個構面的編碼予以分析比較。實驗結果說明PAN 系統能幫助激發使用者尋找元素且不會改變使用者敘事創作的過程，同時PAN系統的介面設計能讓使用者能更專注於敘事創作的過程。 / It is difficult to find elements or topics for many people when they are writing a story. The goal of this research is to design a computer-aided system for narrative, which can stimulate user’s creativity on finding story elements. Many computer-aided systems (e.g. CAD, CAI, ITS etc.) have noticed the importance of assisting creative thinking. Liu (2000) reassembled a shape to provide different shapes for users, so their creativity can be stimulated through seeing more variables. This study uses pictures and texts as the elements and tries to use Liu’s method to reproduce more elements. However, it is difficult for computer to automatically generate pictures and texts that can deliver appropriate meanings and contexts. Nevertheless, people’s divergent thinking is a good source for computer to leverage. For instance, Huang, Li, Wang & Chang (2007) proposed a method to assist creative learning by brainstorming and cooperation. In this study, we focus on narrative creation and propose a Picture-Attributed-Note (PAN) framework to assist a writer’s creating process. We use picture and attributed notes to present and record story elements and to stimulate creativity. The attributed notes are presented by texts and in this study we utilize six attributes: Character, Location, Object, Situation, Action, and Theme (CLOSAT), which were proposed by Rabiger (2000), to categorize the text. We attempt to stimulate user’s creativity through the pictures and attributed notes and make the user think and associate elements for his/her story. In this study, we have implemented the PAN framework as a computer-aided system and conducted experiments to know how a user uses the PAN system for story writing. We invited four participants to create a story, one without the PAN system. When they completed their stories, they were asked to do video/audio protocol immediately. We used content analysis to analyze the data through four main categories: Conceptual, Operational, Perceptional and Evaluation (COPE) coding system, proposed by Chen (2002), to analyze and compare data. The analysis on our experimental results reveals that the PAN system can help stimulate user’s creativity and does not change the writer’s main creating process. In addition, the user interface of the PAN system can allow the user to concentrate more on the creating process.