This thesis explores how non-visual modalities, especially gestures, can be utilized to enhance User Experience, taking as a probe an existing multi-screen, cross-device system.  In the first Chapters of the thesis a theory on cross-device systems is  being reviewed for the existing design frameworks, principles and practices, and a case study to further investigation of challenges and issues occurring in a chosen cross-device system is conducted.  As a conclusion of both theoretical and empirical research, the pivotal change in the design approach is made. The design opportunity focuses on exploring non-visual modalities in the context of the above-mentioned cross-device system.  As a result of design activities, especially the co-creation session, gesture taxonomy is proposed. Gestures are described and documented in order to contribute to the field of HCI and to become an inspiration for designers aiming to design for cross-device systems beyond the screens.

京都大学 / 0048 / 新制・課程博士 / 博士(情報学) / 甲第18618号 / 情博第542号 / 新制||情||96(附属図書館) / 31518 / 京都大学大学院情報学研究科社会情報学専攻 / (主査)教授 矢守 克也, 教授 多々納 裕一, 准教授 永田 素彦 / 学位規則第4条第1項該当 / Doctor of Informatics / Kyoto University / DFAM

隨著數位資訊科技快速發展，敘事媒介也開始出現創新。互動成為各個敘事媒介紛紛想嘗試加入的元素，故事開始不只是作者單方面的說，閱聽者也可以參與到敘事。 然而在電影中，互動和敘事有本質上的衝突，互動基於觀眾的主動、電影敘事卻是建立在觀眾對故事的沉浸，在加入互動時便有可能將觀眾抽離電影所建構的世界。為此本研究將互動區分為心理互動與物理互動討論之，心理互動將涉及蒙太奇、多線敘事、多螢幕等概念；分類現有之物理互動，研究它們如何影響敘事。並將分析結果作為創作時的依據，期望以心理互動作為物理互動之切入點，尋求互動與敘事平衡，透過創作實踐理論、展現研究意圖。 創作之作品為《敘立方》多面電影及《三位一死》多線互動電影，使用同樣的影片素材，但以不同形式呈現。根據文獻及案例探討後發想出第一次《敘立方》的設計，展出後反思並微調，發展出最終完整且符合研究目的之作品《三位一死》。最終分析兩次作品效果，並回頭對照理論，作為日後欲發展互動電影創作或研究之參考。