以體感方式參與敘事的3D互動敘事系統 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University. 碩士論文. 立. 政治Thesis Master’s 大. ‧. ‧ 國. 學. 以體感方式參與敘事的 3D 互動敘事系統 y. Nat. er. io. sit. Participating in Narratives with Motion-sensing Technologies. n. in a 3Da Interactive Storytelling v System. i l C n hengchi U. 研究生：楊奇珍指導教授：李蔡彥. 中華民國一百零四年七月 July 2015.

(2) 以體感方式參與敘事的 3D 互動敘事系統 Participating in Narratives with Motion-sensing Technologies in a 3D Interactive Storytelling System. 研究生：楊奇珍. Student：Chi-Chen Yang. 政治Advisor：Tsai-Yen Li 大. 指導教授：李蔡彥. 立. ‧ 國. 學. 國立政治大學資訊科學系. ‧. 碩士論文. sit. y. Nat. er. io. A Thesis. n. submitteda lto Department of Computer i v Science. n. C. U h eChengchi National n g c h i University. in partial fulfillment of the Requirements for the degree of Master in Computer Science. 中華民國一百零四年七月 July 2015.

(3) 摘要在目前大部分的互動數位敘事(Interactive Digital Storytelling)研究中，使用者都是以滑鼠或鍵盤作為輸入的選擇方式來進行互動，鮮少可以讓使用者以參與表演的方式互動。在本研究中，我們希望透過體感偵測系統輸入使用者的手部姿勢，同時以引導的方. 政治大. 式來給予使用者選擇故事腳本演出的路線，並記錄使用者所有的演出過程。本研究目的. 立. 在於設計出一個適合互動敘事的故事腳本，使用者以 Leap Motion、Oculus Rift 等輸出. ‧ 國. 學. 入裝置來參與演出，系統會提供引導式人機介面讓使用者能夠參考圖示選擇想呈現的表演。使用者是以第一人稱的視角來參與互動敘事的演出，透過各種手部動作的輸入，故. ‧. 事的發展路線也會有所不同。在參與過程中，我們錄下使用者在表演過程中的對白語音. y. Nat. io. sit. 資訊，演出結束後提供使用者回顧整體故事的演出過程，以創造二次創作的價值。我們. n. al. er. 的系統提供使用者更多表演的空間，增加使用者對於故事的沉浸感，並能透過不同的角. i n U. v. 度觀看故事內容，提高故事的趣味性。透過設計實驗來驗證系統價值，顯示本研究的系. Ch. engchi. 統是有符合故事性、互動性、想像性與沉浸性的，使用者對於我們系統所創作出來的作品感到非常的有趣，並且會嘗試體驗不同的故事劇情，證實了我們的系統是有重玩價值的。. i.

(4) Abstract At present, in most of the interactive digital storytelling studies, users use the mouse or the keyboard as an input device to interact with the story. The current systems rarely allows users to participate in the interactive performance. In our study, we use a somatosensory. 治政大 in the process can be recorded. choice of story line. We also hope that the user’s performance 立 The purpose of this study is to design a suitable interactive storytelling storyboard and allow a detection system to detect the user's hand gestures, while guiding the user to select the desired. ‧ 國. 學. user to use Leap Motion, Oculus Rift, Microphone, etc. as I/O devices to participate in the. ‧. performance of a 3D interactive story. The system also provides guidance in the human-machine interface such that the users can use gesture icons as reference to select the. er. io. sit. y. Nat. desired story path.. The user participates in the interactive performance in a first-person perspective. By. n. al. Ch. i n U. v. performing a variety of hand motions, the development of story line will also be different. At. engchi. the same time, we record the user's voice to provide the users a review of the overall story. Our system provides the users more performance space and enhances immersion of the users when the story is played. Being be able to view the story through different perspectives also has made the story more interesting. We have conducted an experiment to verify the value of the system. The results of this study showed that 3D interactive stories produced by our system are interactive, imaginative and immersive. Users are much interested in our work and try to experience different story lines, which confirm the replay value of our system.. ii.

(5) 誌謝辭終於在研究所的第三年完成了我的論文，最感謝的就是指導教授李蔡彥老師，老師就算很忙碌還是會抽空給予我建議以及修改的方向，在我遇到瓶頸的時候，也很快地告訴我該怎麼尋找解決方法，讓我能更有效率地完成工作，另外也非常感謝口試時的兩位. 政治大更好的論文，還有在系辦的韓嘉蓮助教，感謝她經常給予幫助，讓我能及時的趕上口試。立教授范炳林老師以及余能豪老師，給予我很多良好的建議，讓我知道怎麼做才可以完成. ‧ 國. 學. 要感謝的人還有很多，感謝父母在我完成論文的這段期間給予我的包容，讓我能專心地完成論文，還有我哥能讓我耍任性，時不時的配合我任性的要求，以及家裡的狗狗. ‧. 球球在我每次疲倦地回家時，給予我擁抱，消除我的疲勞。在 IMLAB 獲得了大家很多的. y. Nat. io. sit. 幫助，感謝小蜜蜂、張錦生學長、Helen、宅珮以及搖旗學姊，給予我很多論文上的建. n. al. er. 議，以及應該要注意到什麼，讓我能提早知道哪些應該是要先完成的工作。還有很感謝. i n U. v. 當了同學 7 年的芳綺，謝謝她跟我一起努力完成各自的論文，可以一起討論各自的問題，. Ch. engchi. 並且找出解決的方法，讓我的論文進行得更順利，除了論文的交流外，也一起出去玩、看動畫、聊天，在讀書之餘的娛樂也有人一起陪伴，也非常感謝學弟妹們的幫助，Co 菇、小遊、Koba、翔太、科科，平常在實驗室的時候也給予我一些建議，也在口試的時候幫助我招待教授們，真的非常感謝他們！也很感謝一路上陪伴我的好朋友貝拉，經常聽我發牢騷，也提供一些建議給我，讓我能順利的完成論文。真的非常感謝大家的幫助，不然我一個人是沒辦法完成論文的，謝謝大家，希望在未來也能給予大家幫助！奇珍 2015/08/25. iii.

(6) 目錄摘要 ..................................................................... i Abstract ................................................................ ii 誌謝辭 ................................................................. iii. 政治大. 目錄 .................................................................... iv. 立. 圖目錄 ................................................................ viii. ‧ 國. 學. 表目錄 ................................................................... x. 研究動機 ..................................................... 1. sit. y. Nat. 1.1. ‧. 第１章導論 .............................................................. 1. 1.1.2. 不同視角的拍攝手法 ........................................... 3. 1.1.3. 互動數位敘事的敘事導向 ....................................... 5. 1.1.4. 二次創作的理念 ............................................... 5. n. 1.2. al. er. 互動表演模式 ................................................. 2. io. 1.1.1. Ch. engchi. i n U. v. 研究目標 ..................................................... 6. 1.2.1. 設計故事腳本格式 ............................................. 7. 1.2.2. 定義使用者手勢集 ............................................. 8. 1.2.3. 設計 3D 互動數位敘事的使用者介面 .............................. 8. 1.2.4. 紀錄表演過程 ................................................. 8. iv.

(7) 1.3. 論文貢獻 ..................................................... 9. 1.4. 本論文的章節結構 ............................................ 10. 第２章相關研究 ......................................................... 11 2.1. 互動數位敘事(Interactive Digital Storytelling) .............. 11. 2.2. 互動設計(Interaction Design) ................................ 12. 2.3. 虛擬實境(Virtual Reality) ................................... 13. 政治大. 第３章手勢動作的分類 ................................................... 16. 立. 第４章系統架構與實作 ................................................... 22. ‧ 國. 學. 作者創作階段(Authoring Process) ............................. 23. 4.2. 故事引擎(Story Engine) ...................................... 24. 4.3. 語法引擎(Script Engine) ..................................... 24. sit. y. Nat. n. al. er. 故事圖(Story Graph) ......................................... 25. io. 4.3.1. ‧. 4.1. i n U. v. 4.3.1.1 故事節點(Story Node) ................................ 25. Ch. engchi. 4.3.1.2 故事鏈結(Story Link) ................................ 25 4.3.2. 故事場景(Story Scene) ....................................... 27. 4.3.3. 故事腳本(Story Scenario) .................................... 28 4.3.3.1 使用者攝影機控制 .................................... 28 4.3.3.2 角色動畫控制 ........................................ 30 4.3.3.3 語音播放控制 ........................................ 31 4.3.3.4 錄音控制 ............................................ 32 4.3.3.5 字幕控制 ............................................ 32. v.

(8) 4.4. 使用者介面 .................................................. 33. 4.4.1. 電影黑邊與字幕 .............................................. 35. 4.4.2. 手勢圖示與提示倒數 .......................................... 36. 4.4.3. 針對不同熟練度族群的介面設計 ................................ 37. 4.4.4. 配合 Oculus Rift 的介面設計 .................................. 38. 第５章實驗設計與結果分析 ............................................... 40. 政治大. 5.1. 實驗目標與對象 .............................................. 40. 5.2. 實驗設計 .................................................... 41. 立. ‧ 國. 學. 故事設計 .................................................... 42. 5.3.2. 實驗程序 .................................................... 49. 5.3.3. 問卷設計 .................................................... 50. 5.3.4. 使用者記錄 .................................................. 52. ‧. 5.3.1. n. al. er. io. sit. y. Nat. 5.3. i n U. v. 實驗結果與分析 .............................................. 53. Ch. engchi. 5.3.1. 問卷分析 .................................................... 53. 5.3.2. 使用者紀錄分析 .............................................. 56. 第６章結論與未來發展 ................................................... 59 6.1. 研究結論 .................................................... 59. 6.2. 未來研究發展 ................................................ 60. 6.2.1. 系統操作改進 ................................................ 60. 6.2.2. 建立故事創作者的編輯介面 .................................... 60. vi.

(9) 6.2.3. 未來應用發展 ................................................ 61. 參考文獻 ................................................................ 62 附錄 1. 實驗的故事場景設計 .......................................... 64. 附錄 2. 實驗的故事圖設計 ............................................ 69. 附錄 3. 實驗的故事動畫腳本設計 ...................................... 71. 附錄 4. 實驗同意書 .................................................. 84. 附錄 5. 實驗流程說明 ................................................ 85. 附錄 6. 問卷調查 .................................................... 86. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vii. i n U. v.

(10) 圖目錄圖 1. Leap Motion 操作示意圖 .............................................. 2 圖 2. Oculus 操作示意圖 ................................................... 3 圖 3. 美國手語基本手勢 ................................................... 16 圖 4. Leap Motion 偵測範圍 ............................................... 17. 治政圖 5. 在 Unity3D 中模擬出的手部骨架架構 ................................... 18 大立圖 6. 系統架構圖 ......................................................... 22 ‧ 國. 學. 圖 7. 故事節點與故事鏈結的 XML 範例 ....................................... 27. ‧. 圖 8. 故事場景中角色的初始設定 XML 範例 ................................... 28 圖 9. 使用者攝影機控制 XML 範例 ........................................... 29. y. Nat. io. sit. 圖 10. 角色動畫設定 XML 範例 .............................................. 30. n. al. er. 圖 11. 角色對話的語音播放控制之設定 XML 範例 .............................. 31. Ch. i n U. v. 圖 12. 語音播放控制之設定 XML 範例 ....................................... 32. engchi. 圖 13. 錄音控制之設定 XML 範例 ............................................ 32 圖 14. 字幕控制之設定 XML 範例 ............................................ 33 圖 15. 以體感參與敘事之 3D 互動數位敘事系統流程圖 ......................... 34 圖 16. 3D 虛擬的手，即時回饋使用者的手部偵測 ............................. 34 圖 17. 電影《大英雄天團》擷取畫面 ........................................ 35 圖 18. 使用者介面，字幕的顯示 ............................................ 36 圖 19. 使用者介面，手勢圖示與倒數秒數進度條 .............................. 37 圖 20. 配合 Oculus Rift 的字幕介面 ....................................... 38. viii.

(11) 圖 21. 場景─「森林」的故事圖 ............................................ 43 圖 22. 場景─「房子」的故事圖 ............................................ 44 圖 23. 場景─「橋」 ...................................................... 45 圖 24. 場景─「城堡」 .................................................... 45 圖 25. 故事分歧─「岔路的左邊是平地，右邊是山坡」 ........................ 46 圖 26. 故事畫面─「向右走找到了一間房子」 ................................ 46 圖 27. 故事分歧─「主角猶豫是否進入房子」 ................................ 47. 政治大. 圖 28. 故事分歧─「遇到兩團光點，左邊是白色光點，右邊是紅色光點」 ........ 47. 立. 圖 29. 故事分歧─「答應或拒絕波妮尋找房子中的戒指」 ...................... 47. ‧ 國. 學. 圖 30. 故事分歧─「往二樓走或是往左邊走」 ................................ 48 圖 31. 故事分歧─「在時間內撿取物品」 .................................... 48. ‧. 圖 32. 故事畫面─「波妮帶主角去城堡，並且獲得城堡中的寶藏」 .............. 48. Nat. n. al. er. io. sit. y. 圖 33. 實驗流程圖 ........................................................ 49. Ch. engchi. ix. i n U. v.

(12) 表目錄表 1. 靜態手勢圖示表 ..................................................... 20 表 2. 動態手勢圖示表 ..................................................... 21 表 3. 使用者基本資料 ..................................................... 41 表 4. 故事體驗與功能調查 ................................................. 51. 治政表 5. 互動性、想像性與沉浸性調查 ......................................... 52 大立表 6. 故事體驗與系統功能調查 ............................................. 54 ‧ 國. 學. 表 7. 互動性與沉浸體驗度調查 ............................................. 55. ‧. 表 8. 受測者體驗時間與次數 ............................................... 56 表 9. 使用者表演手勢所花的平均時間表(單位：秒數) ......................... 58. n. er. io. sit. y. Nat. al. Ch. engchi. x. i n U. v.

(13) 第１章導論. 立. 研究動機. 學. ‧ 國. 1.1. 政治大. 隨著科技的進步，人們不再缺乏食衣住行，反之愈來愈追求娛樂，自古以來，大人或小. ‧. 孩都喜歡圍在一起聽人說故事，在沒有紙本的時代，故事只能用口耳相傳的方法傳遞，直到有了紙本，讓故事能永久的記錄下來並傳播出去。一直到現在科技的進步，故事也. y. Nat. er. io. sit. 慢慢地數位化，並有著不同的故事發展，讓說故事產生了各種可能性，而互動數位敘事 (Interactive Digital Storytelling, IDS)也因此成為一個熱門的研究領域。互動數位敘事的主. n. al. Ch. i n U. v. 要目的在於讓使用者能透過即時互動的方式，參與故事的發展，根據使用者的不同選擇. engchi. 影響故事的結局。設計故事腳本在互動數位敘事的研究中佔了很重要的角色，設計不同的故事支線能提高更多敘事互動與內容的多樣性，讓故事不再是固定的一種過程與一種結局，使用者能透過自己的選擇看到不同的結果，進而讓使用者體驗到不同故事的趣味性。3D 互動數位敘事涵蓋的範圍甚廣，我們希望可以針對互動表演方式及互動數位敘事的拍攝手法來進行探討，最後再討論使用者對故事進行再創作的可能性。. 1.

(14) 1.1.1. 互動表演模式. 故事表演的方法有很多種，其中許多表演都是透過手來演出，像是布袋戲、皮影戲…等等，都是以手來操作角色進行演出，兒童節目也有主持人是操縱布偶來進行對話，讓肢體語言非專業的演員也能有很好的演出效果。另一方面，現今也有各種進步的科技設備，讓使用者能透過體感的方式來參與互動，以Leap Motion[1]為例(如圖1所示)，它是一個手部運動體感控制器，使用者可以透過自己的雙手做出的不同手部姿勢以進行控制。例. 政治大使用者就能以雙手根據系統的設定進行各種演出的行為。立. 如，以食指來作為滑鼠游標，透過設備的輔助，伸出幾根手指頭都能夠精確地捕捉到，. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. 圖 1.. engchi. i n U. v. Leap Motion 操作示意圖. 除了手部偵測的部分，我們希望使用者以第一人稱的視角參與互動，因此我們結合了 Oculus Rift 這項設備(如圖 2)。Oculus Rift 是一個頭戴式顯示器，讓使用者可以透過自己的視角來觀看整個故事場景，能大幅的提升對場景的沉浸度。會結合 Leap Motion 與 Oculus Rift 的還有一個原因是 Leap Motion 這個裝置體積較小，除了可以將它放置在. 2.

(15) 桌上偵測，也可以將它綁在 Oculus Rift 的上面往下偵測使用者的手，透過這樣的裝置方法手部的表演不會限制在桌子的上方，並且可以讓使用者更自由的進行表演。. 政治大. 立. n. a. l 不同視角的拍攝手法. Ch. sit. er. io. 1.1.2. y. ‧. ‧ 國. 學. Nat. 圖 2. Oculus 操作示意圖. engchi. i n U. v. 每部電影都有不同的拍攝手法，甚至於同部電影每個橋段的拍攝方式都有所不同，每一種拍攝方式帶給觀眾的感受是截然不同的。拍攝手法的視界觀點可簡單分類為第一人稱視角與第三人稱視角，大部分電影多以第三人稱視角將觀眾帶入故事中，因為電影最主要的目的就是要讓觀眾了解劇情的內容。透過第三人稱視角，觀眾才能以旁觀者的視角觀察場景與演員們的互動，迅速理解故事走向。當導演想讓觀眾更融入於故事中時，才會使用第一人稱視角來進行拍攝。第一人稱視角即是導演想要讓觀眾體驗故事中角色的觀感時，呈現此角色所看到的畫面給觀眾，讓觀眾沉浸在自己扮演著那個角色，這種手法常常使用於恐怖電影中。. 3.

(16) 除了電影還有遊戲會使用這兩種拍攝手法，遊戲是一個虛擬環境，因此在遊戲中要呈現畫面必須透過虛擬攝影機來擷取畫面資訊，因此根據不同的拍攝手法，虛擬攝影機也會有不同的架設方式，我們可簡單分為第一人稱攝影機與第三人稱攝影機兩種。第三人稱攝影機常用於戰略遊戲(RTS)中，玩家不僅可以看到自己可以控制的單位，還可以看到總體的環境，所以第三人稱的遊戲可以讓玩家對單位的操控進行更早的安排。第三人稱的攝影機架設在場景中一個不存在角色的位置上來對場景與演員進行觀察，又稱上帝的視角，能進行客觀的觀察。而在 3D 互動數位敘事電影中，攝影機需要與演員們進. 政治大. 行適當距離的拍攝，並依據演員與環境的互動來改變攝影機的位置與角度，攝影機位置. 立. 的變化又需要經過不同的設計達到不同的效果，像是跟蹤拍攝(Tracking)或是將攝影機在. ‧ 國. 學. 不同位置上的切換。這樣架設的優點是可以迅速的讓玩家了解故事的整體性，但攝影機自動規劃的設計，讓玩家看到最好的視覺效果有一定的難度。吳惠盈所提之 3D 互動敘. ‧. 事創作系統所使用的 The Theater[2]便是使用第三人稱攝影機來呈現 3D 虛擬環境的。. sit. y. Nat. io. er. 第一人稱攝影機常用於射擊遊戲中，直接把攝影機綁在玩家控制的角色身上，透過操控這個攝影機，讓玩家看到角色所看到的畫面，讓玩家有深入其境的感受。這種架設. al. n. v i n Ch 方式的優點是由玩家來控制攝影機的移動與旋轉，不需要進行繁複的攝影機規劃，並能 engchi U. 讓玩家更融入於故事場景中，但玩家或許無法完全理解客觀角度上的故事資訊。Felix 與 Elisa-beth[3]的體感互動數位敘事系統就是使用第一人稱的方式在場景中操作。在以體感方式參與敘事的前提下，使用者能夠用雙手來與故事進行互動，因此我們希望是由第一人稱的視角來進行互動敘事，讓玩家更能有身歷其境的感受。. 4.

(17) 1.1.3. 互動數位敘事的敘事導向. 互動數位敘事的敘事導向又分為 Character-based 以及 Plot-based 這兩種模式， Character-based[4]–[6]是基於角色的互動敘事方法，使用者可以在任何時間點干擾故事的走向，故事角色可以控制的範圍較廣且自由度較高，但是這樣的方法系統會沒辦法預測故事角色會做出什麼行動，造成攝影機規劃設計的困難。而 Plot-based[7]–[9]是基於劇情的互動敘事方法，使用者所控制的角色會按照故事創作者所設計的故事劇情演出，. 政治大. 這樣的方法可以確保故事創作者的故事順利的進行，因此攝影機規劃的變數減少，較容易進行攝影機的路經規劃。. 立. ‧ 國. 學. 而本研究希望能夠確保故事內容能夠符合故事創作者的理念，並且能夠設計出可預測的攝影機路徑規劃，因此我們選擇設計基於劇情走向的互動敘事系統。. ‧ sit. y. Nat. er. 二次創作的理念. io. 1.1.4. al. n. v i n Ch 二次創作，又稱再創作，是指使用了別人已完成的著作物，像是文字、圖像、影片、音 engchi U 樂或藝術作品，進行仿作、改編、引用等行為，二次創作並非抄襲，也不是剽竊別人的. 創意當作自己的作品，二次創作是明顯的以某個作品來做為基礎加以仿作、改編、引用，將它重新演繹並創造出新的作品，與版權法上的衍生作品相類似。在資訊爆炸的時代，人們開始進行許多再創作的行為，二次創作的著作物可以是動漫畫、電影、電視節目、小說、舞台劇…等許多不同媒體，以電影為例，現在許多電影都是以格林童話的故事進行再創作的演出，像是《黑魔女》改編自睡美人、《魔髮奇緣》改編自長髮公主，光是改編自白雪公主的電影就有《白雪公主》、《白雪公主之邪惡新世. 5.

(18) 界》、《新白雪公主：美麗的代價》、《童話小鎮》、《公主與狩獵者》、《魔鏡魔鏡》這幾部，都是以「頭髮漆黑如夜、唇紅似血、膚白勝雪」的美麗公主來做主角，但是這幾部分別採用不同的策略來包裝他們想呈現的故事，讓觀眾體驗不同層面的敘事手法。我們希望我們的 3D 互動數位敘事系統也能有二次創作的理念，故事創作者負責建立故事主體並創作各種故事支線，使用者透過選擇故事路線以及表演來完成二次創作的成品，讓 3D 互動數位敘事更豐富有趣，並有更多的發展空間。. 立研究目標. ‧ 國. 學. 1.2. 政治大. ‧. 我們的研究目標是希望能建立一個以體感方式參與敘事的 3D 互動數位敘事系統，並架設一個介面讓不會進行編碼的故事創作者能夠透過我們的介面進行腳本的編輯及場景. y. Nat. 浸在故事創作者所建立的 3D 互動敘事的虛擬世界中。. n. al. Ch. engchi. er. io. sit. 的建立，進而完成一個以體感參與 3D 互動數位敘事的作品，並且能讓使用者體驗並沉. i n U. v. 故事創作者需要事先設計好故事腳本，其中故事劇情與流程必須是合理的，創作者能自己設定場景、虛擬角色的位置、動畫、情緒以及對話與字幕，並且能夠設定使用者的第一人稱視角攝影機的動畫，平台會將設定好的故事腳本載入系統中。在故事進行的時候，使用者可以隨意的進行手勢表演，當遇到故事分歧時，我們提供設計好的手勢圖示給使用者參考，讓使用者能夠用手勢表演選擇他想去的故事路徑。舉例來說，使用者可能表演走路到達某個地方的時候遇到故事分歧，此時有兩條故事支線讓使用者選擇，使用者若是表演揮手就會觸發故事支線一，也有可能表演撿起某個物品時則觸發故事支線二，使用者所表演的行為會影響到故事的結局。手勢圖示是為了確保不會有使用者不知道該如何表演的情況發生，系統會根據故事腳本的設定來給予使用者提示，用引導的 6.

(19) 方式讓使用者跟隨著劇情的方向表演，也讓故事不會因為使用者的參與而進行地不順利。當使用者表演結束後，可以重複觀看自己的演出過程，使用者也可以將自己的演出過程存檔並錄影，以提供所有的使用者做二次創作的機會。為了完成我們以體感方式參與敘事的 3D 互動數位敘事系統，我們希望能夠做到以下工作項目:. 1.2.1. 設計故事腳本格式. 政治大故事的創作者可以是沒有程式背景的人員，透過簡單的編輯介面，作者可以編輯故事中立. ‧ 國. 學. 的每一個敘事片段，其中內容包含故事描述、故事場景、角色模型、角色位置、角色情緒與動畫、使用者攝影機位置、動作偵測參數設定，其中作者可以設定使用者在遇到故. ‧. 事分歧的時候能夠表演哪些動作進行偵測，並且設定使用者表演了哪些動作可以觸發其. sit. y. Nat. 中的故事支線，因此我們必須設計一個故事腳本格式讓系統可以自由存取這些檔案資訊，. io. er. 才能讓故事創作者的 3D 互動敘事作品呈現在電腦螢幕上，並且讓使用者與故事進行互動。簡單舉一個例子，使用者目前扮演的角色是一名偵探，在故事的進行中，如果他與. al. n. v i n Ch 虛擬角色 A 招手，系統偵測到招手的動作資訊，則會進行故事支線 A 並且開始進行與 engchi U. 角色 A 的對話，若是不理會虛擬角色 A 則會進行故事支線 B，而故事支線 A 和故事支. 線 B 所進行的故事結局可能會有所不同。故事腳本必須給予空間讓使用者扮演故事中的角色，當情境參數的改變，使用者能表演的限制也會有所改變，至於情節如何發展、角色如何抉擇故事走向則是按照使用者意願並跟隨故事腳本中的事件來決定。. 7.

(20) 1.2.2. 定義使用者手勢集. 為了設計出讓使用者在表演時能夠最自然互動的手勢集，在與 Leap Motion 裝置的配合下，我們將使用者常用的手勢匯集成指令集，而這些手勢都必須是 Leap Motion 能夠準確偵測到的，透過不斷測試與分析後，再對每個手勢做新增與刪減，並且修改偵測手勢的靈敏度。透過定義使用者手勢集，讓系統能夠給予使用者最貼切的事件回饋，增加使用者的沉浸感，讓使用者更融入我們的 3D 互動數位敘事。. 立. 設計 3D 互動數位敘事的使用者介面. ‧ 國. 學. 1.2.3. 政治大. 使用者透過故事腳本的引導能夠跟隨主軸劇情表演，而不會有使用者不知道表演什麼的. ‧. 情況發生。透過定義使用者手勢集，我們將每個故事片段使用者能夠進行的手勢表演做. y. Nat. n. al. 1.2.4. Ch. engchi. er. io. 互動數位敘事系統能夠兼顧故事的互動性與故事性。. sit. 成圖示的樣式顯示在我們的介面上，使用者能夠參考圖示來進行表演，確保我們的 3D. i n U. v. 紀錄表演過程. 使用者的表演過程都會以資料的方式記錄下來，不只紀錄以手勢姿勢表演過程，同時也會錄下使用者在進行對話的聲音，舉例來說，使用者在演出一段與虛擬角色對話的場景，螢幕上會出現一段台詞希望使用者能照著念來進行對話。在演出結束之後，使用者可以重複觀看自己的演出結果，並可以存檔或重新演出故事，讓使用者體驗參與演出的感受，還可以分享自己的表演過程給第三者觀看，從中得到成就感。. 8.

(21) 1.3. 論文貢獻. 本論文主要有以下貢獻： (1) 以體感方式參與敘事的 3D 互動敘事系統設計出一個系統讓故事創作者能夠不撰寫程式就能夠創作出以體感方式參與敘事的 3D 互動敘事作品，故事創作者可以透過編輯故事圖、故事場景以及故事腳本來建立. 政治大. 3D 虛擬環境，讓使用者可以用表演的方式來與故事中的虛擬腳色進行互動，除了手勢. 立. 表演外，使用者也能以說台詞的方式與虛擬腳色對談，增加互動敘事的真實性。. ‧ 國. 學. (2) 使用者常用手勢集. ‧. 透過設計與修改製作出一個使用者常用手勢的手勢集，並且設計相對應的手勢圖示. Nat. sit. y. 來顯示在我們的介面上，讓使用者可以參考手勢圖示來與系統進行合理且自然的互動，. n. al. er. io. 以達到以體感方式參與敘事的目的。 (3) 實驗問卷與使用者紀錄. Ch. engchi. i n U. v. 設計使用者問卷並以累加量表來評估出系統的價值以及需要修改的地方。透過使用者紀錄能夠提供給故事創作者使用者常走的故事路徑，讓故事創作者參考這些數據來思考是否要修改故事路線與劇情，以及記錄下使用者在做每個手勢時所花的時間，透過時間來分析是否要對手勢偵測進行修改。. 9.

(22) 1.4. 本論文的章節結構. 本章節已經提出了明確的研究目標，而在第 2 章中我們會介紹互動數位敘事與互動設計的相關研究以及虛擬實境所需要評估的內容。在第 3 章則會介紹我們是怎麼做手勢動作的分析與分類。第 4 章會講解本研究的系統架構與流程以及介面的設計。第 5 章會將實驗設計與實驗結果分析做細節總整理。最後在第 6 章作結論與未來研究發展。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 10. i n U. v.

(23) 第２章相關研究. 政治大. 在本節中，我們將探討與本研究相關的研究文獻、研究方法與研究成果。首先我們會先. 立. 介紹一個互動數位敘事系統所需要的條件，再來探討要如何設計出良好的人機介面與互. er. io. sit. Nat. 2.1 互動數位敘事(Interactive Digital Storytelling). y. ‧. ‧ 國. 學. 動系統。. al. v i n Ch 角色的控制、情境感知之攝影機自動規劃、使用者互動介面、內容共同創作等都涵蓋於 engchi U n. 互動數位敘事系統涵蓋的內容甚廣，從故事元素的分類開始，故事與場景的建立、動畫. 互動數位敘事的研究領域，也有對於作者的創作門檻、作者控制權等面向作分析的研究。另外，針對使用者的互動設計也考慮到沉浸度、耐玩度等層面。一個好的互動數位敘事系統必須要讓使用者沉浸在故事中，而我們的研究將著重於設計一個以體感方式作為輸入之使用者互動系統。將故事的內容程序化是我們第一步要做的事情，首先必須將故事內容拆成電腦可以分析的單元，透過單元的運用我們可以在有系統的架構下將故事單元重組，產生各式各樣合理劇情的故事線，過去 Propp[10]等人曾針對特定形態的敘事做為故事元素的分. 11.

(24) 類。為了因應新媒體敘事的出現，許多研究開始探討新穎的敘事型態理論。影視作家 McKee[11]從影視觀點切入探討各種故事元素的必要性以及特徵，包括角色、劇情、攝影機、時間、觀眾視角、個人化等故事元素。Ryan[12]則歸類互動數位敘事的故事架構、敘事方式與敘事呈現。這些理論幫助往後的互動數位敘事研究發展得更順利，像是使用 CBR(Case-Based Reasoning)，將敘事片段轉換成程序式的型態[13]。而 Riedl[14]利用故事樹的概念進行個人化的互動數位敘事篩選。. 立. 政治大. 2.2 互動設計(Interaction Design). ‧ 國. 學. 人機介面是在人類與機器之間透過某種介面，使用者可以對機器下達指令，機器則透過. ‧. 此介面執行命令並回報給使用者，而要設計出一個好的人機介面必須考慮到使用者的生. sit. y. Nat. 理與心理需求，提高使用者的滿意度。當滑鼠、鍵盤等輸入設備被發明時，是人機之間. n. al. er. io. 溝通的一大創舉，配合不同的輸入裝置也有了設計圖形化介面的概念產生。在人與電腦. i n U. v. 間互動的模式愈來愈多樣化，傳統的滑鼠鍵盤已經無法滿足人類追求自然人機介面的需. Ch. engchi. 求，為了利用較自然的方式來連接虛擬與實體空間，並符合「簡單、友善、自然、一致性」的原則，人機介面以體感作為輸入的相關研究也相當多。在目前的 3D 互動數位敘事系統，大部分的系統所提供的互動方式多是以傳統鍵盤及滑鼠進行與故事中的角色或選單互動。但在人機互動的面向，我們希望人類能夠以最自然與直覺的方式來與電腦進行互動，許多研究認為應該要讓電腦來適應人類的行為，而非人類去學習複雜的操作方式，因此在 3D 互動數位敘事系統的研究中開始有了不同輸入裝置的人機互動模式，而非單純的傳統鍵盤及滑鼠來進行人機互動。譬如 Spierling[15]等人使用 AIML 來作語句的資料庫，用關鍵字比對的方式達到使用自然語. 12.

(25) 言進行互動，以及 Cavaza[4]等人以感測語音的情緒作為輸入來與虛擬角色進行互動，影響故事中動畫角色的情緒，發展出不同的故事結局。以自然語言作為輸入包含許多爭議，需要提高準確度，就必須建立起龐大的資料庫，另外受到各個國家語言的不同而有所限制，也是個艱難的議題。除了以自然語言作為輸入的 3D 互動數位敘事，Kistler[3] 等人為了進行以體感作為輸入的 3D 互動數位敘事，他們使用現有的 3D 互動敘事作品，將輸入方式改成體感偵測，並將使用者定義的姿勢進行收集與分析，以使用者定義的姿勢集設計成引導圖示，做出簡易的引導介面，減輕使用者體感操作的負擔，更提高了使. 政治大. 用者參與 3D 互動數位敘事的沉浸感，但他們的系統沒有辦法讓故事創作者做腳本的編. 立. 輯以及動作偵測的修改，只針對使用者的體感偵測做了收集與分析，目的只是為了讓以. ‧ 國. 學. 體感作為輸入參與互動敘事時能更加流暢，而我們的研究是希望 3D 互動敘事的腳本與動作偵測都是可以讓故事創作者做編輯修改的。. ‧ sit. y. Nat. n. al. er. io. 2.3 虛擬實境(Virtual Reality). Ch. engchi. i n U. v. 虛擬實境是由電腦產生的 3D 立體空間，使用者可以依個人的意志自由的在這個空間中移動，並且可以與這個空間裡的物件進行互動，讓使用者有強烈的融入感及參與感，達到身歷其境的感覺。 Burdea 與 Coiffet[16]在 2003 年提出虛擬實境主要有三大要素，簡稱 3I：Imagination、 Interaction、Immersion，依序是想像力、互動性與沉浸性。 (1) 想像力(Imagination)：虛擬實境是由電腦所模擬出來的影像，為了要讓使用者想像自己身處在這個虛擬空. 13.

(26) 間中，設計者必須做出逼真的畫面與合理的互動，讓使用者覺得自己身歷其境，想像著自己是屬於這個世界的角色，以達到想像力這項條件。 (2) 互動性(Interaction)：在虛擬實境中，使用者可以即時的與 3D 空間中的物件互動，也可以與虛擬角色進行對話，使用者可以透過各種不同的科技設備來滿足感官的需求，像是穿戴式顯示器可以提供視覺的呈現，喇叭或耳機可以提供聽覺的滿足，透過這些設備的輔助，讓使用者. 政治大. 更融入在虛擬實境中。而使用者在使用這些設備時的自由操作度與順暢度都會影響互動. 立. 性的程度，若是使用者覺得這項設備無法回饋使用者的預期效果時，那麼就會降低這個. ‧ 國. 學. 系統的互動性。. ‧. (3) 沉浸性(Immersion) ：. y. Nat. sit. 沉浸是一種暫時性的、主觀之經驗，也是人們為什麼願意繼續再從事某種活動之原. n. al. er. io. 因。心理學家 Csikszentmihalyi[17]是第一個提出沉浸理論的學者，認為當人們在進行活. i n U. v. 動時如果完全的投入情境當中並且集中注意力，同時過濾掉所有不相關的知覺，即進入. Ch. engchi. 一種沉浸之狀態，並且提出挑戰(challenge)與技巧(skill)是影響沉浸的主要因素。他解釋：「若挑戰太高，使用者對環境會缺少控制能力，而產生焦慮或挫摺感；反之，挑戰太低，使用者會覺得無聊而失去興趣，沉浸狀態主要發生在兩者平衡的情況下。」設計出一個良好的 3D 互動敘事系統也必須符合虛擬實境的要件，須要考慮平衡挑戰性，給予使用者控制感與挑戰，才能讓使用者沉浸在我們的系統中，最後也會將想像力、互動性與沉浸性作為我們實驗評估的依據。目前尚未看到有研究是以手勢姿勢的自然人機介面的輸入方式在 3D 互動數位敘. 14.

(27) 事系統中控制故事角色的移動、動作或指令，我們希望使用者透過手勢表演與虛擬角色進行互動，不只如此，作者也能簡單的設定使用者進行哪些手勢表演會影響故事的路線，增加使用者的沉浸感，也增加故事的趣味性。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 15. i n U. v.

(28) 第３章手勢動作的分類. 政治大. 我們的平台透過我們所設計的 Script Engine 即時地建立故事腳本中的場景、角色動畫、. 立. 攝影機位置，並針對使用者互動選項的輸入作對應的輸出。我們嘗試以 Leap-Motion 作. ‧ 國. 學. 為我們的輸入裝置，建立使用者定義的手勢集，並將手勢進行分類，透過不同的手勢對應到不同的指令。. ‧. 手勢能夠分類的方法有很多種， Thiago 與 Sergio[18]的手勢分類方法是將手勢分成. y. Nat. er. io. sit. 6 種狀態，張開(Open)、勝利(Victory)、槍(Gun)、食指(Pointing)、拇指(Thumb)、握拳(Close)，這些都是我們常用的手勢。Thang [19]等人的手勢分類方法則是將英文 24 個字母作手勢. al. n. 分類，如圖 3。. Ch. engchi. i n U. v. 圖 3. 美國手語基本手勢[19]. 16.

(29) 3.1 裝置的偵測範圍 Leap Motion 的偵測範圍大概在感測器上方 150 度大約 8 立方英尺的空間，如圖 4。可偵測到的高度約為 60 公分，它可以偵測到從手臂、手掌到手指共 29 個關節(如圖 5) 的座標位置，並可以透過這些座標位置資訊在虛擬空間中模擬出手部模型與動畫，除了關節的座標位置，每隻手還可以檢測到手掌的中心位置、手掌移動的速度以及手掌朝向的方向。. 立. 政治大. ‧ 國. 學 ‧. 約 60cm. n. er. io. sit. y. Nat. al. Ch. i n U. v. 圖 4. Leap Motion 偵測範圍. engchi. 但在設計使用者手勢集前，我們必須考慮輸入裝置所能偵測到的手勢範圍，以 Leap Motion 的限制來說，它是使用雙紅外線偵測追蹤手指的動作，因此它無法偵測到被遮蔽的範圍。例如假設平擺 Leap Motion 的裝置，手掌若是豎立在裝置的上方，會無法偵測到使用者各手指的座標。考慮到 Leap Motion 的裝置限制後，會被遮蔽到的手勢我們就不能放到手勢集中，像是圖 3 中美國手語的基本手勢，Leap Motion 是無法分辨手勢 S 和手勢 T 的。. 17.

(30) 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. 圖 5. 在 Unity3D 中模擬出的手部骨架架構. n. a 3.2 使用者手勢集的分類與設計. iv l C n hengchi U. 為了確保使用者能夠順利地與系統進行互動表演，我們希望能設計出一組能準確偵測到的手勢姿勢集讓故事創作者使用，我們參考 Kistler[3]將動作分為兩種狀態來辨識：靜態與動態，因此我們也建立了兩種手勢輸入集：靜態手勢集與動態手勢集，靜態手勢是一種手勢姿勢狀態，使用者在做出手勢姿勢後最後維持停止的狀態。而動態手勢是一種在進行手勢姿勢轉變時的狀態，像是手勢在進行位移動作時或是改變手指伸出數量的動作都算是動態手勢。透過評估手勢實際偵測的準確度以及改善後，分析與統整出我們的手勢集，並且建. 18.

(31) 立了以下的表格來當作我們的手勢輸入集，表 1 為靜態手勢圖示集，我們將靜態手勢分類為 2 個面向，第一種是以手指指向方向來作為我們的分類依據，在三維的空間中有六個方向：前後左右上下，當使用者在 3D 的虛擬空間中遇到要選擇方向的時候，便可以透過直覺來指向他想要去的地方，但實際上使用者以第一人稱視角在進行互動的時候，並不會有向後指的動作，而使用者在不選擇干涉的情況下系統就會讓攝影機一直向前走，因此向前指的指令也是較為沒意義的指令，於是我們保留上下左右這四個方向的指令來作為我們其中一組手勢指令，我們的辨識方法是在使用者攝影機的前方設置 4 個透明的. 政治大. 盒子並同時放在上下左右的位置上，當使用者透過 Leap Motion 抓到的食指座標觸碰到. 立. 其中一個方向的盒子時便觸發條件。另一種是以伸出的手指數量來做為分類，伸出的手. ‧ 國. 學. 指頭數量最直覺的象徵就是數字，當遇到選項有 0 到 5 的時候，使用者便可以透過伸出不同數量的手指頭來當作選擇選項的方法，我們的辨識方法是先記錄下每一根手指頭縮. ‧. 起來時關節的彎取角度在哪個範圍內，再透過紀錄的範圍去判斷手指頭是否是縮起來的，. Nat. sit er. io. 參數結果。. y. 若不是縮起來的手指就是伸出去的手指，再透過伸出來的手指統計出數量來當作最後的. al. n. v i n Ch 但這樣的設計會有重複定義的手勢的問題產生，比如說使用者想選擇向右邊走，他 engchi U. 將食指指向右邊，但是系統卻誤以為使用者是選擇了伸出手指數量為 1 的指令，此時我們必須探討當遇到重複定義的手勢時，應當如何應對。我們選擇的解決方法即是針對故事創作者在進行手勢輸入設計時，必須避免這樣的情況發生。在故事創作編輯器的部分，加入重複手勢的對應表，透過此對應表我們可以限制故事創作者在每一個故事分歧點所設計的手勢輸入不能有重複定義的狀況發生。. 19.

(32) 表 1. 靜態手勢圖示表手勢圖示. 指令. 手勢圖示. 指令. 向左指. 向右指. 向上指. 向下指. 立. 政治大. 手指伸出數量=0. 手指伸出數量=1. sit. y. ‧. Nat. ‧ 國. 學手指伸出數量=3. io. 手指伸出數量=2. n. al. 手指伸出數量=5. er. 手指伸出數量=4. Ch. engchi. i n U. v. 除了靜態的手勢辨識，我們也有動態的手勢提供給使用者來進行表演，增加使用者的表演空間，也更符合理想的以體感方式參與敘事的互動數位敘事。我們以日常常用的手勢來作為我們的動態手勢集，像是揮手、握手、推、抓…等等，如表 2，其中動態手勢也有分三個方向的動作，像揮手就是左右位移、握手就是上下位移、推就是往前位移，辨識的方法是透過手的位移向量與速度來判斷手是否有作出不同方向性的位移，我們也考慮到「抓」是人類最自然也最常使用的動作，因此也設計並加入了抓取的動作偵測在我們的動態手勢集，辨識方法是當使用者伸出手指頭數量為 5 的時候，若是他下一個動作是伸出手指頭數量為 0 時，那麼就會觸發「抓」這個動作偵測的條件。為了讓 3D 虛. 20.

(33) 擬環境更加接近現實，在動態手勢中的「抓取」這個動作我們希望可以配合場景中的物件，設計出可以撿取物品的功能，讓使用者能夠更沉浸在與 3D 虛擬環境之間的互動。當然我們也考慮過設計拳頭的動態手勢，例如揮拳，手部的位移方向與伸出的手指頭數量必須同時符合，在實際偵測時，由於手部在移動，伸出的手指頭數量會因此偵測錯誤，導致這個動作無法準確偵測到，在還不能將此動作準確偵測與分辨的狀況下，只能先將這個動作刪除，直到在未來能找到順利辨識準確的方法，再將這個動作加入到我. 政治大. 們的手勢集中。. 立. 手勢圖示. ‧ 國. 指令. 指令. 學. 手勢圖示. 表 2. 動態手勢圖示表. 揮手(左右搖擺). 握手(上下搖擺). ‧ y. Nat. n. er. io. al. 抓取. sit. 推(手向前伸). Ch. engchi. i n U. v. 我們未來會再陸續增加可能的常用動態手勢，更加豐富我們的 3D 互動數位敘事系統，除了單手手勢偵測，希望未來也能將手勢集更加多元化加入雙手偵測的選項，像是拍手、游泳、跑步、划船會做的手部運動，讓使用者可以用雙手來進行互動，讓故事的進行更為豐富。. 21.

(34) 第４章系統架構與實作. 政治大. Unity3D[20]是一款強大的遊戲引擎軟體，我們希望運用 Unity3D 透過讀取 xml 語法的方. 立. 式載入故事創作者所寫的故事腳本並建立故事場景、角色與動畫，再配合利用 Leap. ‧ 國. 學. Motion 作為手勢姿勢的輸入設備，以及麥克風來記錄使用者表演的語音資訊，設計出以體感方式作為主要輸入的 3D 互動數位敘事系統。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 6. 系統架構圖. 22. v.

(35) 圖 6 為一個理想的 3D 互動數位敘事系統架構，考慮如何讓作者能夠輕鬆地創作故事，並能將故事的場景、模組即時地建立，同時建立起使用者與系統之間的良好互動模式，呈現最佳的使用者介面。因此我們的系統將著重於五大階段， Authoring Process、 Story Engine、Script Engine、Hand Gesture Classification、User Interface，分別為作者創作階段、故事引擎的建立、語法引擎的建立、分析手勢姿勢後作分類，最後完成我們的使用者介面。. 立. 政治大. 4.1 作者創作階段(Authoring Process). ‧ 國. 學. 在 3D 互動數位敘事系統中，作者必須創作故事以推動故事的進行，因此建立一個. ‧. 良好的敘事創作環境是個很重要的部分。我們將故事中每一個片段內容作為構成故事的. sit. y. Nat. 最基本單位 ─ 敘事片段(Fragment)，在創作的過程中，作者可以任意編輯、加入、刪除. n. al. er. io. 敘事片段，而每個敘事片段也可以加上標籤與參數當作故事進行篩選的依據。當完成這. i n U. v. 些故事片段後，不同的故事創作者也能重複利用這些故事片段來編輯一個新的故事。. Ch. engchi. [1]在對於敘事片段的內容中，有以下的定義：. (1) ID：每個敘事片段都有他自己唯一的 ID，作為編號。 (2) Characteristics：每個敘事片段都可以標記一個標籤(Tag)作為關鍵字，讓作者容易對敘事片段做分類與個人化的篩選。 (3) Parameters：多個可以進行增減值的整數參數。 (4) Description：對此敘事片段做一個簡短的摘要，也就是片段發生的事件。 (5) Decisions：每個故事片段可以嵌入其他子片段，用以劃分故事路徑，使用者的決定會改變 Characteristics 或 Parameters，進而影響故事的發展路線。 23.

(36) (6) Embedding Points：這是一個提供不同敘事片段時間排列的設計，像是故事常常運用的正敘法與反敘法，給予觀眾不一樣的故事觀感。在此敘事片段加入一個嵌入點，此時就可以跳出並繼續之前的敘事片段或是播放特定的敘事片段。而這些敘事片段所構成的集合我們稱為故事池(Story Pool)，透過對故事池進行後續鏈結與篩選的動作，我們就能產生一個故事圖(Story Graph)。. 政治大 4.2 故事引擎(Story Engine) 立. ‧ 國. 學. 在故事劇本中，我們將每一個敘事片段當作一個節點(Node)，將這些節點以邏輯圖的概. ‧. 念相連就可以組成一個故事圖(Story Graph)。將敘事片段鏈結起來的主要目的是在於能夠確保故事線是否有邏輯性。. sit. y. Nat. n. al. er. io. 故事的作者可以設定條件來篩選故事片段，包含故事的長度、複雜度、敘事的角度. i n U. v. 與手法、故事的主軸與特性等等。舉例來說，作者希望故事的複雜度不要太高，那麼系. Ch. engchi. 統就會篩選較短的故事路徑。在吳蕙盈[2]的研究中，已設計出能夠重組已存在的故事片段並產生符合故事作者所設定的條件之互動數位敘事腳本，透過篩選機制所產生出來的故事腳本，提高了各種敘事上的可能性與多樣性，也提供故事作者更多的設計空間。. 4.3 語法引擎(Script Engine) 本研究的互動數位敘事系統是由 XML 來作為我們的腳本語法，主要有故事圖 (StoryGraph.xml)、故事場景(StoryScene.xml)、故事腳本(StoryScenario.xml)這三份檔案 24.

(37) 來設定所有的故事內容，故事圖是負責控制故事的走向與手勢體感參數設定，故事場景負責設定一開始在 3D 虛擬環境中的所有物件，例如故事角色的初始情緒與初始動畫，故事腳本則是在故事開始後，負責控制故事中的所有項目，包含使用者攝影機、故事角色的情緒與動畫、字幕與語音的播放。. 4.3.1. 故事圖(Story Graph). 政治大故事圖是用來設定故事節點、故事的路線以及動作偵測的設定，其中每一個故事節點都立. 故事節點(Story Node). sit. y. Nat. 4.3.1.1. ‧. ‧ 國. 學. 有其對應的文字敘述。. er. io. 在本研究的系統中，每一個故事節點代表著一個故事片段，必須包含以下設定：. al. n. v i n Ch ID：故事片段的命名，必須是唯一，用於故事引擎呼叫故事片段的名稱。 engchi U. (1). (2) Type：故事片段的型態，用於故事引擎判斷此故事片段是開始(Start)、過程(Progress) 還是結束(End)的片段。 (3) Description：故事片段的描述，用於作者能判斷此故事片段的內容。. 4.3.1.2. 故事鏈結(Story Link). 在本研究的系統中，每個故事鏈結必須包含以下設定：. 25.

(38) (1) ID：設定故事片段的起始節點，必須是 Story Node 有設定過的節點。 (2) To：設定 ID 所設定的故事片段可以進行哪一個故事節點，此節點也必須是 Story Node 有設定過的節點。 (3) Motion：為了以體感來做作為輸入方式，我們設計在每條故事鏈結上都要設定動作偵測的條件，當使用者達到這個條件，才會由 ID 所設定的故事節點結束，開始進行 To 所設定的故事節點。當使用者尚未做抉擇的時候，會有相對應的手勢圖示出現在畫面中，提示使用者可以進行哪些手勢。除了設定偵測動作可以繼續進行故事之外，我們也可以. 政治大. 設定幾秒內沒有動作則會進行其中一條故事支線，這樣的設計是增加故事的刺激度與多. 立. 元性，故事創作者也可以設置主線故事使用者是可以不用參與的，若是使用者有做什麼. ‧ 國. 學. 手勢動作，才會進行故事分歧，讓故事設計更佳的多元化。. ‧. 另外也加入了可以設定手勢圖示出現在哪一個角色或物件身上：. y. Nat. sit. (4) Object：設定手勢圖示出現在哪個物件上。. n. al. er. io. (5) Offset：設定手勢圖示出現在物件上的哪個位置，可以是左上(UpperLeft)、中上. i n U. v. (UpperCenter)、右上( UpperRight)、左中(MiddleLeft)、中(MiddleCenter)、右中(MiddleRight)、. Ch. engchi. 左下(LowerLeft)、中下(LowerCenter)、右下(LowerRight)。 Object 與 Offset 這兩個設定可以是空缺的，若未設定，手勢圖示則是出現在系統預設的位置上。以圖 7 為例，故事總共有 5 個節點(A~E)，故事會從型態為"Start"的故事節點來開始故事，故事片段 A 撥放到結束的時候，畫面上會出現兩個手勢圖示，分別綁在角色 "Man"身上的右邊和左邊，在右邊的手勢圖示是向右指，在左邊的則是向左指，這樣使用者就可以迅速的理解它可以做這兩個手勢來進行故事的分歧。但在第三行有. 26.

(39) Motion="10Second"的設定，意思是在 10 秒內沒有做向右指或向左指的手勢動作的話，故事則會進行故事節點 D 的故事片段，故事節點 D 的型態為"End"代表著播放完故事片段 D 時，故事已經結束。. 政治大. 圖 7. 故事節點與故事鏈結的 XML 範例. ‧. 故事場景(Story Scene). er. io. sit. y. Nat. 4.3.2. 學. ‧ 國. 立. 故事場景是用來設定場景中所有會出現的角色，並設定角色所有的初始狀態，包括以下. al. n. 設定：. Ch. engchi. i n U. v. (1) Name：設定角色名稱。 (2) Description：描述角色的特徵，例如男人或女人。 (3) Mesh file：設定他的外型是使用哪一份模組。 (4) Location：設定角色一開始存在在哪一個座標。 (5) Scale：設定角色伸縮的大小。 (6) Motions：設定角色閒置的時候所播放的動畫，以及預設的走路動畫。 (7) Emotions：設定角色一開始的情緒為何。. 27.

(40) 在本研究的系統中可透過內建的情緒模組控制角色的臉部表情。情緒共有自然、生氣、無聊、厭惡、友善、挫折、受驚嚇、露齒而笑、大笑、痛苦、傷心、大喊、微笑、驚喜等等表情，透過控制表情的變化，讓我們的互動數位敘事中的角色有更豐富的互動，增加使用者在互動進行中的沉浸感。以圖 8 為例，角色的名稱叫做 Jack，他的描述是一個男人，角色所使用的外型是" m006Prefab"，他的初始位置被設定在(x,y,z)=(-1.2,-0.5,-18)的座標，並旋轉 45 度角，他. 政治大. 的模組大小並沒有進行任何的縮放，站姿閒置動畫為"m_idle_neutral_01"，情緒設定為自然的表情。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. i n U. v. 圖 8. 故事場景中角色的初始設定 XML 範例. 4.3.3. Ch. engchi. 故事腳本(Story Scenario). 故事腳本是用來設定每一個故事片段的動畫內容，包括使用者攝影機控制、角色動畫控制、語音播放控制、錄音控制、字幕控制。. 4.3.3.1. 使用者攝影機控制. 28.

(41) 本研究的 3D 互動數位敘事系統是以第一人稱視角來呈現的，因此第一人稱視角攝影機即是使用者所扮演的角色之視線，我們控制此攝影機來呈現使用者所扮演之角色的視線，在本研究的系統中可以有以下使用者攝影機設定： (1). State：使用者攝影機的狀態，目前設計的狀態有五種，walk(走路)、run(跑步)、nod(點頭)、shook (搖頭)以及無任何狀態，故事創作者可以自由選擇這些狀態，當動畫進行播放的時候，攝影機會按照此狀態進行相對應的攝影機動畫，像是選擇走路時攝影機會有小些微的上下起伏，跑步的起伏則是比走路時大，讓使用者更能沉浸. 政治大. 在本研究的 3D 互動數位敘事系統中。. 立. (3). Duration：設定這段攝影機動畫的持續時間。. (4). UserLocation：設定這段攝影機動畫起始的攝影機位置。. (5). UserMove：設定這段攝影機動畫移動的向量，在一個 UserControl 的單位中. ‧. ‧ 國. StartTime：設定開始播放這段攝影機動畫的絕對時間點。. 學. (2). Nat. al. sit er. UserRotate：設定這段攝影機動畫旋轉的角度。. io. (6). y. UserMove 可以是一連串的，這些 UserMove 加起來就是 UserPath。. n. v i n Ch 以圖 9 為例，使用者攝影機會從時間點為 0 的時候開始進行攝影機動畫，並且持續 engchi U. 200 毫秒，攝影機會從位置座標(x,y,z)=(1,1,0)的地方開始移動到位置座標(x,y,z)=(1,1,-12)，並且在移動時會在 y 軸旋轉正 20 度，在移動的途中攝影機會上下起伏讓使用者感覺到是在走路的狀態。. 圖 9. 使用者攝影機控制 XML 範例. 29.

(42) 4.3.3.2. 角色動畫控制. 我們可以指定場景中的角色在什麼時間點播放不同的動畫與情緒，並且可以移動他的位置，除此之外也可以設定是否播放角色講話的動畫。故事創作者可以設定以下參數：. (1) StartTime：角色動畫開始絕對時間點。 (2) Duration：角色動畫持續時間。 (3) Actor：指定哪一個演員演出這段角色動畫。. 政治大. (4) Animation：角色要演出的動畫內容。. 立. (5) EmotionId：角色的情緒設定。. ‧ 國. 學. (6) EmotionLevel：角色的情緒程度設定，數值愈高則愈明顯。 (7) Talk：在這段角色動畫是否要進行嘴部對談動畫。. ‧. (8) Position&Rotation：設定在這段時間內角色所移動的距離與旋轉的大小。. sit. y. Nat. io. er. 以圖 10 為例，名稱叫 Jack 的演員會在時間點 720 毫秒的時候開始進行喝醉走路的動畫並在 z 軸移動 8 單位，這段動畫共持續 150 毫秒，其中表情表現是自然的，在這段. n. al. Ch. 動畫中嘴部並不會進行對談動畫。. engchi. i n U. v. 圖 10. 角色動畫設定 XML 範例. 30.

(43) 4.3.3.3. 語音播放控制. 關於系統的語音播放設計，我們分類為兩種，角色對話的語音與單純的音樂播放。角色對話的語音我們可以指定場景中的特定角色播放哪一段語音，而這段語音會以這個角色的位置當作聲源處播放這段語音。我們可以設定以下參數：. 政治大 Speaker：設定說話的角色。立. (1) StartTime：設定語音播放的開始絕對時間點。 (2). ‧ 國. 學. (3) source_filename：設定語音來源路徑。. 以圖 11 為例，在時間點為 500 毫秒的時候，角色名稱叫做 Jack 的演員的位置上會. ‧. 開始播放 Jack01.wav 這份聲音檔。. n. er. io. sit. y. Nat. al. i n U. v. 圖 11. 角色對話的語音播放控制之設定 XML 範例. Ch. engchi. 而單純的背景音樂播放的聲源會放置在使用者攝影機上，因此聲音比較大聲且沒有立體感，我們可以設定以下參數：. (1) StartTime：設定語音播放的開始絕對時間點。 (2) source_filename：設定語音來源路徑。 (3) loop：設定是否重複播放這段語音。以圖 12 為例，在時間點為 150 毫秒的時候，使用者攝影機的位置上會開始重複播放 a01.wav 這份聲音檔。. 31.

(44) 圖 12. 語音播放控制之設定 XML 範例. 4.3.3.4. 錄音控制. 故事創作者可以設定在哪段時間錄下使用者的聲音，此時會有錄音圖示顯示在介面上，提示使用者這段時間可以進行錄音，可以設定以下參數：. (1). 學. ‧ 國. (2). 治政大 StartTime：設定字幕的開始絕對時間點。立 Duration：設定字幕持續時間。. (3) file_name：錄音存檔的名稱。. ‧. 以圖 13. 錄音控制之設定 XML 範例為例，在時間點 1~500 毫秒的時候，使用者的. Nat. n. al. er. io. sit. y. 聲音會被錄下來並存檔，檔案名稱為”01.wav”。. Ch. engchi. i n U. v. 圖 13. 錄音控制之設定 XML 範例. 4.3.3.5. 字幕控制. 我們參考現今電影擺放字幕的方式，將字幕放置在畫面的最下方，其中故事創作者可以進行以下的設定：. (1) StartTime：設定字幕的開始絕對時間點。 (2) Duration：設定字幕持續時間。 32.

(45) (3) Alignment：設定字幕的對齊位置，可以是置左、置中或置右。 (4) Message：設定字幕所產生的文字內容。以圖 14 為例，在時間點為 0 毫秒的時候，會有”Hello!!”這個字幕出現在螢幕的右下角，並且持續 200 毫秒。. 圖 14. 字幕控制之設定 XML 範例. 立. 政治大. ‧ 國. 學. 4.4 使用者介面. ‧. 圖 15 是本研究的 3D 互動數位敘事系統流程圖，故事創作者經過撰寫 Story Graph、Story. y. Nat. sit. Scene、Story Scenario 後，我們的 Script Engine 會開始進行故事創作者所編輯的故事腳. n. al. er. io. 本，從資料庫中讀取場景、角色模型與動畫，呈現在 Unity 產生的 3D 虛擬環境中，使. i n U. v. 用者可以透過穿戴式顯示器感知故事創作者所創造的 3D 虛擬環境，並透過 Leap Motion. Ch. engchi. 來偵測手勢動作與我們的系統作互動。. 我們希望本研究的 3D 互動數位敘事系統的使用者介面是簡單明瞭的，並且希望能針對不同熟練度的族群而顯示不同的介面。除了 2D 平面的介面外，我們也在 3D 虛擬環境中加入了 3D 虛擬的手來即時回饋使用者的手部偵測。如圖 16，透過擬真的手部模型動畫，讓使用者能迅速認知手部動作是否如自己的預期，除此之外更增加使用者對於本研究的 3D 互動數位敘事系統的沉浸感。. 33.

(46) 立. 政治大. ‧ 國. 學. 圖 15. 以體感參與敘事之 3D 互動數位敘事系統流程圖. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 16. 3D 虛擬的手，即時回饋使用者的手部偵測. 34.

(47) 4.4.1. 電影黑邊與字幕. 黑邊是由於原始影像與螢幕尺寸規格不同所造成的，為了讓影像顯示正常，而在兩側或四周增加未顯示的黑色區域，如圖 17 的電影擷取畫面。本研究也將上下兩側的黑邊加入至我們的 3D 互動數位敘事系統的介面上，但並非為了解決螢幕解析度的問題，而是為了讓我們的字幕更顯眼，讓字幕不會產生與 3D 虛擬空間之間的混淆感，同時增加本系統可使用的使用者介面空間範圍，圖 18 為本研究播放字幕時的使用者介面。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 17. 電影《大英雄天團》擷取畫面. 35.

(48) 立. sit. y. ‧. ‧ 國. 學圖 18. 使用者介面，字幕的顯示. Nat. er. 手勢圖示與提示倒數. io. 4.4.2. 政治大. al. n. v i n Ch 在體感偵測作為輸入的系統中，常常遇到的問題是使用者所想輸入的姿勢可能與我 engchi U. 們所設計的輸入姿勢有所不同，導致輸出的結果不如使用者的預期，因為每個人所想表達的方式可能會不一樣，因此我們希望透過設計引導式人機介面來解決這個問題。. 在故事設計階段時，故事作者能夠設定在某個敘事片段中，使用者能夠活動的範圍，我們希望在互動系統之介面上能夠提供使用者一些手勢圖示，像是表 1 和表 2 的手勢圖示樣式給予使用者進行表演的參考依據，透過引導式人機介面的設計，降低使用者表演的門檻，也確保能夠兼顧故事的互動性與故事性。故事創作者還能設定在遇到故事分歧的時候，使用者若不進行互動則會繼續進行故事，讓故事有更多的選擇，假如當故事創. 36.

(49) 作者設定在某個故事片段播放結束的時候，使用者若不做任何動作超過 x 秒則會進入故事分歧的路線，我們的介面上在此時會出現倒數條與倒數秒數來提醒使用者必須在 x 秒內做其他手勢圖示之動作，否則會進入故事創作者所設定的故事支線。如圖 19 所示，使用者若不在剩餘的 7 秒內與畫面中的人物揮手的話，故事則會繼續進行。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. i n U. v. 圖 19. 使用者介面，手勢圖示與倒數秒數進度條. 4.4.3. Ch. engchi. 針對不同熟練度族群的介面設計. 為了增加使用者的沉浸度，多餘的使用者介面會大大減少使用者對於 3D 虛擬環境的沉浸感，因此我們希望針對不同熟練度族群而顯現不同的使用者介面。對於剛使用體感裝置的新手來說，我們的介面可以保持原樣，畫面中依然會有手勢圖示來提示使用者可以做什麼手勢來進行互動，而熟悉我們系統操作的使用者，我們的介面在進入抉擇的時候，手勢圖示並不會馬上出現在畫面上，而是在經過一段時間內，使用者沒有做出可繼續進. 37.

(50) 行故事的動作時，才會出現手勢圖示，若是使用者從頭到尾都進行得很順利，那麼手勢圖示從頭到尾都不會出現在畫面上，這樣的作法是為了讓使用者能更沉浸在 3D 虛擬環境中。. 4.4.4. 配合 Oculus Rift 的介面設計. 政治大統的沉浸度，由於穿戴式顯示器的因素，使用者能夠注視的範圍是有限的，我們嘗試將立. 我們的系統也設計了配合 Oculus Rift 的版本，目的是為了更加提升使用者在體驗我們系. ‧ 國. 學. 字幕放置在使用者視角的下方，並且綁在使用者的畫面上，這樣的設計會讓使用者的眼睛難以注視字幕，因此我們將字幕放置在 3D 虛擬的場景中，並且不會隨著使用者的視. ‧. 角移動，這樣的設計讓使用者能夠輕鬆地注視字幕，但缺點是會擋到後面的物件。我們. n. al. er. io. sit. y. Nat. 目前所設計的字幕如圖 20 所呈現。. Ch. engchi. i n U. v. 圖 20. 配合 Oculus Rift 的字幕介面. 38.

(51) 但在實際運用 Oculus Rift 的時候又遇到了幾個問題： (1) 頭暈狀況實際在穿戴 Oculus Rift 的時候，若是攝影機的運鏡移動得太快速或是左右位移的時候，使用者會感到暈眩而不適，這會影響到故事運鏡的設計，故事創作者必須測試各種不同的運鏡，並找出適合的，才有辦法讓使用者安心的使用 Oculus Rift 並在正常的狀態下沉浸在故事中。但這樣又會引發其他的問題需要解決，或許故事創作者想要使用的運鏡對於使用者來說的負擔太大，那麼就必須在故事性與互動性之間做. 政治大. 取捨，這些都是我們目前遇到在使用 Oculus Rift 作為顯示器時需要解決的問題。. 立. (2) 字幕難以對焦. ‧ 國. 學. 我們已經配合了 Oculus Rift 穿戴式顯示器設計出 3D 字幕讓使用者觀看，但是在位置設計的部分還不是相當適當，使用者在看字幕的時候會很難對焦，看的還是有點. ‧. 吃力，我們必須將字幕的深度位置做適當的移動，但可能又會出現字幕與場景中的. Nat. sit. n. al. er. io. 解決的問題。. y. 物件融合的問題產生，這也是我們如果要使用 Oculus Rift 作為我們的顯示器時需要. i n U. v. 目前在使用 Oculus Rift 作為顯示器的系統版本還尚未成熟，還有許多問題需要解決，. Ch. engchi. 因此在做實驗評估的部分還是使用普通的電腦螢幕來作為我們實驗時的顯示器。. 39.

(52) 第５章實驗設計與結果分析. 政治大. 在本章節中，我們首先訂定了實驗目標與對象，再介紹實驗的設計與程序，最後進行實. 立. 驗結果的分析。. ‧. ‧ 國. 學. 5.1 實驗目標與對象. sit. y. Nat. er. io. 本研究的研究目標在於讓故事創作者能夠不經過撰寫程式就能夠創作出讓使用者以體. al. v i n Ch 創作出來的 3D 互動敘事作品是否能達到我們預期的成果。我們希望能針對使用者的使 engchi U n. 感方式參與敘事的 3D 互動敘事作品，因此我們設計的實驗目標是評斷出由本研究系統. 用狀況來評估出我們系統的故事性、想像性、沉浸性與互動性，因此現階段的實驗對象是參與故事體驗的使用者而非故事創作者。我們希望可以透過實驗來分析出系統的各種性能是否有達到我們預期的效果，並透過使用者紀錄的資訊與使用者的建議來改善我們的系統操作設計與介面設計。本研究的受測者共有十名，為確保意見的平衡，並沒有針對特別族群來當受測者，而受測者性別也是盡量平均的，年齡範圍則是 22~31 歲，從表 3 得知大部分的使用者都有使用過 Kinect 體感裝置，但都沒有使用過 Leap Motion(手部體感裝置)，而有使用過. 40.

(53) Leap Motion 的使用者都有使用過 Kinect 體感裝置。表 3.使用者基本資料是否使用過編號. 性別. 年齡 Kinect. Leap Motion. A. 女. 24. 是. 否. B. 女. 31. 是. 否. C. 女. D. 女. 立. 是治政25 是大否. F. 男. 24. 否. G. 男. 22. 否. H. 男. 24. 是. I. 男. 23. 是. a男l. 23. 是. ‧ 國. 否否否. 是. n. er. io. Ch. sit. y. Nat J. 否. ‧. 25. 是. 學. 男. E. 否. 24. v ni. 是. U i e h n c g 為了不影響使用者在進行實驗的沉浸體驗度，我們實驗的地點在一間空教室，在受測時間內，教室中只會有使用者一個人在進行實驗，給予使用者寬敞的表演空間。. 5.2 實驗設計在進行實驗前，必須先完成一個完整的故事腳本提供給我們的系統，包含故事的場景設計(如附錄 1 )、故事圖設計(如附錄 2 )、故事動畫腳本設計(如附錄 3 )，進而完成一. 41.

(54) 個以體感方式參與敘事的 3D 互動敘事作品，因此我們要先從故事的設計開始介紹，再來講解實驗程序以及問卷設計。. 5.3.1. 故事設計. 由於我們的受測者是參與表演的使用者，因此必須先設計一份完整的故事腳本提供. 政治大城堡。為了簡化故事內容，我們只有將故事分成四個場景：森林、房子、橋、城堡，而立測試，故事的設計是使用者扮演著故事中的探險者也就是主角，目的是要找到傳說中的. ‧. ‧ 國. 城堡的情報。. 學. 一開始的設定是主角在「森林」的場景中迷了路，其中可以透過與虛擬角色互動來得到. 圖 21 到圖 24 是我們每個場景的故事圖與簡單的劇情介紹，總共有一個好的結局與. y. Nat. sit. 三個壞的結局，綠色框的故事節點代表場景的開始，黑色框代表是進行中的故事節點，. n. al. er. io. 紅色框的故事節點代表是壞的結局，橘色框則是好的結局，而框與框之間的箭頭代表著. i n U. v. 故事鏈結，在故事鏈結旁邊的圖示代表著必須完成圖示上的指令才會進行這一條故事鏈結。. Ch. engchi. 42.

(55) 故事的開始主角走向一個男人無動作 8秒與男人揮手得到情報：「或許找到住在山坡下的波妮可以獲得城堡的情報」. 治遇到岔路政大左邊是平地，右邊是山坡立 ‧ 國. 學. n. al. er. io. sit. y. Nat. 無動作 8秒. 往右走過了山坡後找到一間房子，主角猶豫是否進入房子. ‧. 往左走遇到兩個強盜想要劫取錢財. 過 8 秒沒動作被強盜殺死. 推倒強盜看到一張地圖從強盜身上掉出來. Ch. i n U. v. 揮手拒絕進入房子離開房子進入場景─「橋」. engchi. 抓取地圖觀看地圖，得到情報「地圖上有城堡的位置資訊」進入場景─「橋」圖 21. 場景─「森林」的故事圖. 43. 推開門進入房子進入場景─「房子」.

(56) 進入房子場景主角走向兩團光點. 選擇往白色光點走白色光點指引主角往回走，離開了房子進入場景─「橋」. 選擇往紅色光點走跟著紅色光點往右走遇到了波妮，波妮表示如果幫她找到房子中的戒指就帶主角去城堡. 立. 握手答應波妮走道樓梯口，尋找戒指的方向. ‧ 國. 學. 揮手拒絕波妮波妮惱怒殺了主角. 政治大. n. al. 往二樓走走道鋼琴前，發現有東西可以撿取. er. io. sit. y. Nat. 往左走走道門口並離開房子進入場景─「橋」. ‧. 無動作 10 秒. Ch. engchi. i n U. v. 抓取撿到戒指並回去找波妮，波妮高興地帶主角去城堡進入場景─「城堡」. 圖 22. 場景─「房子」的故事圖. 44.

(57) 進入橋的場景主角過了橋並且走向一個女人，女人說後面的森林是禁止進入的，但是可以往河的兩邊走. 選擇往左走主角往左邊的河流游泳進入地下水道進入場景─「城堡」. 政治大圖 23. 場景─「橋」. Nat. n. sit er. io. al. y. 圖 24. 場景─「城堡」. ‧. 進入城堡的場景游泳上岸後走向寶藏，最後獲得了寶藏. 學. ‧ 國. 立. 選擇往右走主角往右邊的河流游泳不幸溺斃了. Ch. engchi. i n U. v. 舉一個故事路徑來說，我們從故事的開始進行，首先揮了手與男人進行對話，從中得知波妮可能知道城堡的情報，她住在山坡下，於是使用者可以從岔路的畫面(圖 25)判斷波妮的住處，很明顯的畫面右邊是山坡，如果使用者覺得男人說的話可信，那麼就可以選擇往右走去尋找波妮的住處。在這邊假設使用者選擇了向右走，會找到一間房子(圖 26)並走過去，但是主角在門前猶豫是否要進入房子中(圖 27)，這時假設使用者推開門進入了房子，進入房子後會遇到兩團光點，使用者這時只能猜測往哪邊走可以遇到波妮。假設使用者選擇了往右走，確實遇到了波妮，波妮跟主角說如果可以幫助她在房子中找到戒指就帶主角去城堡，此時主角可以選擇答應她或是拒絕她(圖 29)，假設使用者選擇握手答應了她的要求，會進入尋找戒指的故事分歧(圖 30)，此時使用者選擇往二樓走會 45.

(58) 遇到一台鋼琴，鋼琴上似乎有東西可以撿起來(圖 31)，若使用者在時間內做了抓取的動作，動畫就會帶使用者回到波妮的位置，波妮很開心的帶主角進入城堡的場景中，最後到了城堡後得到了寶藏，如圖 32，此時故事結束有了好的結局。. 立. 政治大. ‧ 國. 學. 圖 25. 故事分歧─「岔路的左邊是平地，右邊是山坡」. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 26. 故事畫面─「向右走找到了一間房子」. 46.