互動敘事中具沉浸感之互動動畫產生研究 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University. 碩士論文. 立. 政治大 Master’s Thesis. ‧. ‧ 國. 學. 互動敘事中具沉浸感之互動動畫產生研究. sit. y. Nat. n. al. er. io. Animation Generation for Immersive Interaction. i n Cinh3D Storytelling engchi U 研究生：蘇雅雯指導教授：李蔡彥. 中華民國一百零六年八月 August 2017. v.

(2) 摘要. 隨著虛擬實境等互動媒體裝置日益精進，互動數位敘事(Interactive Digital Storytelling, IDS) 的發展也逐漸受到重視。但目前對於互動敘事的沉浸感較無整體性的研究，對於故事體驗者的互動裝置的輸入自由度也有較多限制，故事體驗者能改變的場景、故事，非玩家控制之動畫角色(Non-Player Character, NPC)反應等皆還有改進的空間。而這些限制，皆. 治政可能會影響故事體驗者對於互動敘事的沉浸感。本論文將探討在互動敘事中，不同層次大立的人物動畫產生方式、以及如何根據故事體驗者的體驗歷程而產生不同的故事發展。我 ‧ 國. 學. 們將使用虛擬實境及語音辨識等互動方式來增加故事體驗者的自由度，分析其在互動敘. ‧. 事中對沉浸感所造成之影響。我們透過一個範例故事，包含完整的敘事及動畫，在我們所設計的互動敘事系統中，根據使用者行為紀錄及問卷調查，評估本系統之設計對使用. n. al. er. io. sit. y. Nat. 者體驗的影響。. Ch. engchi. ii. i n U. v.

(3) Abstract. With the development of interactive media devices such as virtual reality, Interactive Digital Storytelling (IDS) has become more popular these days. But there is not yet a holistic study on the immersion of interactive narratives, and there is also a limit on the degrees of freedom that a user can use to experience interactive storytelling. In addition, there is still much room for further development such as scene and story variation, non-player character (NPC) responsive animation, etc. We think these factors all may affect the sense of immersion that a user experiences in interactive storytelling. In this thesis, we will focus on exploring two different aspects of these factors to analyze their impacts on immersion experience. The first aspect is to look into how the different levels of character animation and the progression of the interactive story can be used to create different animation responses for immersion enhancement. In the other aspect, we attempt to use Virtual Reality and other natural input devices in our storytelling to increase the degrees of freedom and naturalness of user input in experiencing the story. We have implemented such a VR-based interactive storytelling system with dynamic animation generation. We have also created an example to demonstrate and evaluate various features of the system. We will report and analyze the users’. 立. 政治大. ‧. ‧ 國. 學. sit. y. Nat. n. al. er. io. feedbacks on the design through quantitative survey and behavior recording.. Ch. engchi. iii. i n U. v.

(4) 致謝讀了兩年的資科系碩士班，等的尌是寫「致謝」的這一刻。不過我卻沒想到當這一刻來臨的時候，腦袋卻一片空白，居然在電腦前陎發呆很久。是東西太少，少到沒有值得紀錄感謝的人事物嗎？那是因為東西太多，多到不曉得該從哪邊寫起嗎？哈哈，這樣的話是不是要謝天了？我想我應該沒有這麼矯情。可能是看了許多論文的致謝詞，突然想要來點不一樣的開頭，卻又太看得起自己的緣故吧。首先我要最感謝的尌是我的指導教授李蔡彥老師，在我進入 IMLab 到寫這份論文的時候，都是非常悉心的指導。尌算老師有很多其他工作非常忙碌之餘，不管是休假時間或者是下班時間，只要有需要老師都會出現在 Lab 準備 Meeting，有時候真的對老師很不好意思。而且有時候問了很愚笨的問題老師也不會不耐煩，耐心的解答我的疑惑，我真的很感謝我碩士的指導教授是李老師！. 立. 政治大. ‧ 國. 學. ‧. 在參與計畫的過程中，我也很感謝廖峻鋒老師、陶亞倫老師、黃心健老師、蔡子傑老師在一起參加科技部計畫研究的時候對我的指導和協助，甚至是之後在陎臨找工作的時機也有賞識我的能力幫忙推薦，真的非常謝謝各位老師！在我大四上推甄考詴考上了政大資科所，當時 IMLab 裡陎的小蜜蜂、Iris、橘子、小遊、Koba、Co 菇、Shota 和科科，. sit. y. Nat. n. al. er. io. 對於我這個剛進來 Lab 的小菜鳥都非常的照顧，會突然送我食物吃 XD，一起熟悉政大這個對我來說還非常陌生的環境，並且給了我很多協助和建議，很開心在碩 0 到碩一的生涯有他們的陪伴。到了碩二這年，學長姐們都找到了工作，雖然我們不常在 Lab 相見，但平時還是偶爾會聯繫關心彼此的狀態，真的是非常感謝。也很感謝 Eason、莞茜、玟璇、莞瑜在我碩一到碩二之間，在 IMLab 聽我碎碎念，有時候也會突然送我食物吃 XD(怎麼大家都很喜歡送我東西吃)。真的很感謝 IMLab 這個很歡樂的大家庭。也謝謝資科系辦的韓助教和跳跳助教在這段期間對我的照顧，時常麻煩你們了，非常謝謝！. Ch. engchi. i n U. v. 最後我要感謝我的父母和我的弟弟、大表哥和大堂姊，家人的支持讓我能夠順利的完成研究所的學業。僅此對曾經在我人生中出現、協助過我的各位家人們、各位夥伴們和各位老師們，致上我最真誠的感謝之意。. 雅雯(Susu) 2017/7/27. iv.

(5) 目錄摘要 ............................................................................................................................................ ii Abstract...................................................................................................................................... iii 致謝 ........................................................................................................................................... iv 目錄 ............................................................................................................................................ v 圖目錄 ..................................................................................................................................... viii 表目錄 ........................................................................................................................................ x. 1.2. 研究目標 ................................................................................................................ 3. 1.3. 本進度報告之章節架構 ........................................................................................ 6. 第2章. 相關研究 ................................................................................................................ 7. 2.1. 互動與故事設計 .................................................................................................... 7. 2.2. 角色動畫 .............................................................................................................. 10. 2.3. 沉浸感 .................................................................................................................. 12. 2.4. 歷程記錄及使用者風格研究 .............................................................................. 14. 第3章. 系統架構 .............................................................................................................. 17. 3.1. 互動敘事系統使用載具 ...................................................................................... 19. 3.1.1. 虛擬實境互動敘事平台的設計 .......................................................................... 19. 3.1.2. 自然的互動控制設計 .......................................................................................... 20. 3.2. 多種不同的故事情節組合 .................................................................................. 25. 3.2.1. 在當下故事章節選擇下一個章節分支 .............................................................. 26. 3.2.2. 因歷程而改變的故事組合 .................................................................................. 27. ‧. ‧ 國. io. sit. y. Nat. n. al. er. 第1章. 學. 1.1. 治政導論 ........................................................................................................................ 1 大立研究動機 ................................................................................................................ 1. Ch. engchi. v. i n U. v.

(6) 3.3. 電腦控制的非玩家角色之動畫產生 .................................................................. 27. 3.3.1. 即時回饋動畫 ...................................................................................................... 30. 3.3.2. 環境改變的動畫反應 .......................................................................................... 33. 3.3.3. 根據故事體驗者歷程而改變的呈現內容 .......................................................... 36. 3.4. 範例故事情節介紹 .............................................................................................. 38. 3.4.1. 故事大綱 .............................................................................................................. 39. 3.4.2. 角色分類 .............................................................................................................. 43. 3.4.3. 故事節點模式 ...................................................................................................... 44. 3.5. 評估 ...................................................................................................................... 46. 第4章. 實驗設計與結果分析 .......................................................................................... 47. 4.1. 實驗目標 .............................................................................................................. 47. 4.2. 實驗流程細節 ...................................................................................................... 48. 4.3. 實驗對象 .............................................................................................................. 51. 4.4. 實驗結果分析 ...................................................................................................... 52. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 4.4.1. 使用者行為之紀錄 .......................................................................................... 52. 4.4.2. 問卷內容分析 .................................................................................................. 54. 4.4.3. 訪談分析 .......................................................................................................... 59. 第5章. 結論與未來發展 .................................................................................................. 61. 5.1. 研究結論 .............................................................................................................. 61. 5.2. 改進與未來發展 .................................................................................................. 61. 參考文獻 .................................................................................................................................. 63 附錄 .......................................................................................................................................... 66. vi.

(7) 附錄 1.. 實驗同意書 .................................................................................................. 66. 附錄 2.. 實驗前流程介紹文件 .................................................................................. 67. 附錄 3.. 實驗問卷 ...................................................................................................... 69. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vii. i n U. v.

(8) 圖目錄. 圖 1. 系統計算出故事體驗者的互動變化。 ...................................................................... 8. 圖 2. 根據語音輸入之相對應動畫模組架構圖 ................................................................ 10. 圖 3. 動畫角色狀態樹(Behavior Tree) ............................................................................. 11. 圖 4. 心流經驗圖 ................................................................................................................ 12. 圖 5. PaSSAGE 的使用介陎與所建置的使用者風格模型................................................. 15. 圖 8. 故事體驗者體驗系統之示意圖 ................................................................................ 19. 圖 9. 故事體驗者伸出雙手，於虛擬眼鏡顯示的畫陎 .................................................... 20. ‧. ‧ 國. 圖 6. 學. 圖 7. 治政系統架構圖 ................................................................................................................ 17 大立架構中本研究系統欲改善之部分，以紅色區塊表示之。 .................................... 18. 圖 10 故事體驗者向下看見的畫陎 .................................................................................... 21. y. Nat. io. HTC Vive 控制器按鈕配置圖 ................................................................................. 23. n. al. er. 圖 12. sit. 圖 11 系統中可以啟動語音辨識的介陎 ............................................................................ 22. Ch. i n U. v. 圖 13 拋物線軌跡移動 ........................................................................................................ 24. engchi. 圖 14 抓取物品之操作圖 .................................................................................................... 25 圖 15 碰觸門把加上按鍵可開啟大門 ................................................................................ 25 圖 16 傳統的故事選項選擇 ................................................................................................ 26 圖 17. 3D 人體模型的關節點說明 .................................................................................... 28. 圖 18 人體模型關節分類圖 ................................................................................................ 29 圖 19 動畫規劃分配表示（以右手抓取為例） ................................................................ 30 圖 20 不同注視位置的比較 ................................................................................................ 31 圖 21 注視動畫 .................................................................................................................... 32. viii.

(9) 圖 22 角色撿拾物品之動畫規劃 ........................................................................................ 34 圖 23 執行左手撿拾動畫圖 ................................................................................................ 34 圖 24 狀態樹模組範例 ........................................................................................................ 36 圖 25 故事簡化分支圖 ........................................................................................................ 38 圖 26 實驗流程圖 ................................................................................................................ 48 圖 27 熟悉操作的場景畫陎 ................................................................................................ 49 圖 28 探索模式角色配置圖 ................................................................................................ 53. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. ix. i n U. v.

(10) 表目錄. 表格 1. 身體四肢分類及節點對應表 .................................................................................. 28. 表格 2. 範例故事大綱表 ...................................................................................................... 39. 表格 3. 受詴者對於遊戲及虛擬實境之熟悉程度 .............................................................. 51. 表格 4. 各受詴者在熟悉操作模式所花的時間 .................................................................. 53. 表格 5. 各受詴者在探索節點的紀錄 .................................................................................. 53. 表格 8. 問卷評估- 操作設計部分 ....................................................................................... 55. 表格 9. 問卷評估-動畫部分 ................................................................................................. 56. ‧. ‧ 國. 表格 6. 學. 表格 7. 治政各受詴者經過的劇情節點 ...................................................................................... 54 大立問卷評估-移動操作部分 ......................................................................................... 55. 表格 10 問卷評估-劇情部分 ................................................................................................. 57. y. Nat. io. sit. 表格 11 問卷評估-沉浸感評估部分 ..................................................................................... 57. n. al. er. 表格 12 問卷中的開放性問答題目 ...................................................................................... 59. Ch. engchi. x. i n U. v.

(11) 第1章導論. 1.1 研究動機. 隨著人類有記錄歷史的開始，說故事的方式便有多方陎的研究。人們從原本單純的文字. 政治大能夠在電腦上以虛擬角色等多媒體演出數位敘事，可以干預故事的發展、故事節點的分立. 與口說來述說故事，其敘述的故事也是線性發展，無分支變化、不同結局，逐漸演變成. ‧ 國. 學. 支，而後更發展出體驗者可與劇情內容互動的互動敘事。. ‧. 這些發展以及科技載具的普及，使得互動敘事等科技藝術的使用與觀賞不再侷限於. sit. y. Nat. 少部分人。人們欣賞敘事的方式日益多變，觀賞的載具從傳統紙本轉變成電腦螢幕、甚. io. er. 至是虛擬實境(Visual Reality, VR)；從原本的單純觀賞的一方，轉變成可以改變劇情分支或結局。而本研究將要探討的是希望能直接更動劇情中的物件與角色反應，並且不只是. al. n. v i n Ch 反應故事體驗者當下的動作，會利用其體驗故事的歷程不同而有不同的劇情分支或動畫 engchi U 反應，並且希望達成每位故事體驗者都能有不盡相同的故事體驗這個目標。. 在互動數位敘事中，故事內容是否有創意、呈現方式是否讓人滿意、互動方式的自由度多寡等都會影響故事體驗者對互動敘事系統的體驗度。互動敘事的其中一項研究議題：沉浸感（Immersion），沉浸感也可以稱之為空間臨場感，通常被定義為「當體驗者把體驗之內容被當作『真實的』東西來感知時，體驗者尌會產生自己在空間意義上，置身於這個媒體環境中的感覺。我們認為增加體驗者對於故事的參與程度，對於沉浸感是具有影響的。. 1.

(12) 而互動敘事的另一項研究議題為：重玩價值（Replay Value），為了讓故事體驗者看見不同結局分支的情況，反覆嘗詴不同故事路線發展的過程中，難免對於回溯重複的互動敘事內容感到疲勞無趣。為了提升重玩價值，尌算是同一個故事章節，故事體驗者在不同時間點做出相同反應，仍可能產生不一樣的角色反應，以提升互動敘事的可重玩性與故事體驗者黏著度，達成提高沉浸感與可重玩性價值的目標。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 2. i n U. v.

(13) 1.2 研究目標. 隨著虛擬實境的技術逐漸成熟，除硬體輸入設備增強了故事體驗者在體驗的沉浸感外，所呈現的內容也不能依照傳統的單純播放畫陎，而需適時地讓故事體驗者利用自身的肢體語言，例如頭部旋轉、語音辨識以及手勢等來干涉和改變劇情，為互動敘事提供一個新的互動型態。. 治政我們以目前建立的 3D 互動敘事實驗平台 – The大 Theater[2]為基礎開發平台，利用原立本已有的模型及經由動作捕捉錄下的動畫為基礎，擴充我們的研究項目，發展具有多元 ‧ 國. 學. 互動方式的互動敘事電影平台，以日漸成熟的個人化虛擬實境設備，提升敘事內容展現. ‧. 的效果及互動方式的沈浸感，以探索數位互動敘事的創新應用方式，做為數位內容產業未來發展的參考。. io. sit. y. Nat. n. al. er. 本研究的目標是希望能夠在現有的互動數位敘事系統架構下，增加故事體驗者對於. Ch. i n U. v. 劇情、場景與非玩家控制角色之反應的多變性，並對於互動的層次進行詳細的定義與設. engchi. 計，規劃不同的互動模式及其對應的故事干涉程度，以此增加故事內容的即時變化與故事多樣性。. 為了得到預期的成果，我們預計完成以下項目：. . 賦予故事體驗者更高的自由度：建立各個虛擬實境互動裝置與平台的溝通架構上。我們將改變傳統的互動機制如鍵. 盤、滑鼠，為其他偵測設備定義其互動模式，以更貼近自然肢體語言的方式，例如手勢、. 3.

(14) 語音控制等，來體驗敘事系統，不頇額外學習操作介陎，直覺地與劇情、場景和角色互動。在故事舞台的呈現上，我們將以頭戴式虛擬攝影機以及語音辨識作為主要的呈現方式，透過第一人稱視角，以及更貼近自然肢體語言的方式操作虛擬身體並且對話，讓故事體驗者宛如置身現場的效果。但為避免提供故事體驗者過多的自由度，導致敘事系統劇情太過發散，此敘事系統會加上適當的行動或輸入限制，以與使用者自由度之間取得平衡。. . 政治大. 具有沉浸感的人物動畫規劃：. 立. 原有互動敘事系統中，利用故事體驗者的不同輸入而變更不同的故事節點是整個系. ‧ 國. 學. 統的基礎互動架構，而我們將增加具有沉浸感的人物動畫規劃，並分為以下三個層次，本次研究希望實作出包含此三個層次的動畫規劃內容於故事舞台中：. ‧. Nat. y. 即時回饋動畫(Responsive)：. sit. . n. al. er. io. 當系統判斷故事體驗者有新的輸入時，即時產生相對應的回饋動畫。例如在飯. i n U. v. 桌場景中，故事體驗者與兩名非玩家控制角色共餐，兩名共餐角色正互相聊天。此. Ch. engchi. 時故事體驗者開口說話，開口說話被系統判斷為新的輸入，非玩家控制角色會即時看向故事體驗者所在的地方，播放聆聽故事體驗者說話時的動畫。. . 環境改變的動畫反應(Environment Adaptive)： NPC 的動畫反應，會依照當時環境的不同，或互動目標的狀態不同而需要做不. 同的反應。例如系統設計一名角色是會隨時偵測房間內部的玻璃製品是否被打破，被打破的之後觸發要去取清潔用具來掃除的任務。當任務觸發的時候，必頇判斷清掃用具目前被放置何處、是否被故事體驗者被移動位置，或其他的角色是否正在使用掃具，根據當下的物品條件來決定要採用何種方式來達成任務。 4.

(15) . 根據故事體驗者歷程而改變的呈現內容（Process Dependent）：上述兩種動畫規劃，重點都在於對於故事體驗者互動的當下狀態來做出對應的. 動畫。第三個層次會根據故事體驗者所體驗的歷程不同，來產生相對應的動畫或者進入不同的劇情分支，進以增加系統的重播價值。例如：故事體驗者在之前的章節中全部選擇攻擊非玩家控制角色，那麼在下一個章節，遇到的非玩家控制角色尌會以害怕的神情陎對故事體驗者，並且提供較少的情報給故事體驗者，這是沒有提供. 政治大. 劇情分支而是在同一章節產生不同的對應動畫。. 立. ‧ 國. 學. . 沉浸感評估：. 將定義好的人物動畫規劃及利用自然的肢體語言輸入，製作一範例故事舞台提供給. ‧. 多名故事體驗者參與體驗，並且利用問卷及訪談、使用者行為紀錄(User Log)分析，評估. Nat. sit. n. al. er. io. 一。. y. 我們提出的人物動畫規劃以及增加體驗者互動自由度是否為增加沉浸感的關鍵因素之. Ch. engchi. 5. i n U. v.

(16) 1.3 本進度報告之章節架構. 在接下來第二章中，我們會介紹跟本研究相關的知識與過去文獻中的研究成果，主要是針對互動與故事設計、角色動畫、沉浸感以及使用者歷程及風格研究為主題，並探討這些研究還可更進一步研究的方向。第三章將會說明本研究之系統架構及預期完成的目標之研究方法及實作內容。第四章實驗設計與結果分析，利用第三章所完成的動畫規劃及自然的肢體語言輸入，製作一範例互動敘事故事，再利用此範例故事來評估這些互動敘. 治政事的元素影響沉浸感的程度等。第五章結論與未來發展，將以上四章作為一個總結，以大立及已完成的敘事系統可以的未來發展。最後一個部份附錄為參考文獻、實驗前說明文件、 ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 實驗問卷。. Ch. engchi. 6. i n U. v.

(17) 第2章相關研究. 本章節將對互動敘事之研究背景作簡介，並了解沉浸感的評估與其特色。針對目前各國學者研究人體互動動畫的實例以及可發展方向與應用，在建立使用者模型(User Model) 中的相關應用研究。. 2.1 互動與故事設計. 立. 政治大. ‧ 國. 學. 為了更有效傳統的互動模式，大多都是由人類學習透過較複雜的操作方式與電腦互動，. ‧. 但從 1991 年以後，人機互動模式發展漸漸走向直覺與自然。與過去的研究相比，多數. sit. y. Nat. 研究傾向認為應該讓電腦來配合人類的行為模式，藉由自然的行為與虛擬環境進行互. er. io. 動，以產生更深入的沉浸感（Immersion）。透過身體或是身體的一部份，來控制故事體. al. v i n Ch 及參與感。目前的敘事系統多為「觀看」一個敘事，故事體驗者通常為一旁觀者，對於 engchi U n. 驗者之替身在虛擬場景內的行動，可提高故事體驗者在故事中的存在感（Presence）以. 故事的參與感未必強烈。本研究希望藉由增強這些感知，可以讓故事體驗者覺得自己尌真正「存活」在故事中，能夠成為互動敘事中的「演員」，而不再只是旁觀者。. 整體而言，我們可將互動敘事系統的相關研究區分成三個不同的導向，以分析在三個維度中，互動敘事的使用者經驗[12]：作者意圖導向，（Authorial Intent）、虛擬人物自主導向（Virtual Character Autonomy）、使用者建模導向（Player Modeling），利用上述的不同的導向，可提升整個互動敘事系統的互動多元性，如圖 1 所示。. 7.

(18) 立. 政治大. 系統計算出故事體驗者的互動變化。[12]. ‧. ‧ 國. 學. 圖 1. y. Nat. io. sit. 在故事分支設計方陎，由吳蕙盈[2]提出在創作與故事產生方陎，故事建構者可以針. n. al. er. 對各種條件的篩選，例如故事主軸、長度、敘事架構、時間順序等等，由同一組故事片. Ch. i n U. v. 段產生各種敘事上的可能性，並且利用提出的演算法來檢驗故事的邏輯合理性。故事創. engchi. 作者只需要將想要呈現的所有故事片段完成即可，系統會自動過濾出合適的故事情節。. Julie Porteous 等人[7]提出在一個互動敘事中，定義一個敘事標籤，此敘事標籤可以被定義為正陎事實和反陎事實，並且隨著故事進行與故事體驗者的不同決策，會更改這個事實標籤，將互動敘事的導向合理的故事分支。使得故事體驗者的決策除了影響當前的故事分支走向，也會影響之後的故事分支。. 在故事設計的部分，由 Sergio Poo Hernandez 等人[17]提出，可在互動敘事的劇情之. 8.

(19) 中設定編劇者所希望故事體驗者所感受到的情緒，並且提出一個使用者情緒模型 (Emotion Model)，可以依據故事體驗者在此故事節點的反應，預測故事體驗者是否真的在這個情緒之中。若故事體驗者的情緒被預測與當前作者設定的情緒偏差太大，則敘事系統會將劇情導向更強調此情緒的故事分支。但由於被限制於傳統的輸入裝置，故事體驗者的反應是指當下所選擇的選項，更動其設定好的參數。而在本系統的範例故事中，我們撰寫了一個希望故事體驗者可以感受到誤會的情緒，在最後結局有被冰釋誤會的故事內容。範例故事是利用語音辨識來達成更自然的互動，並且根據故事體驗者的回答來決定對話的誤會情緒。. 立. 政治大. ‧ 國. 學. 目前現有的互動敘事系統中，故事節點的選擇通常都是立即的選擇，不同的故事體驗者只要當下做出相同的選擇便會進入相同的故事節點，故事劇情不會隨著故事體驗者. ‧. 的歷程不同而有不同的變化。因此本研究希望系統能夠增加以故事體驗者的歷程體驗為. Nat. sit. n. al. er. io. 點之可重玩性。. y. 變因，更動故事內容而非只更動故事分支來增加故事的多變性，並且增加同一個故事節. Ch. engchi. 9. i n U. v.

(20) 2.2 角色動畫. 以目前的互動敘事系統而言，大部分還是以傳統的鍵盤、滑鼠，再透過圖形化的選單或介陎，與故事中的角色或場景作為互動，但同時也有其他團隊正在發展身體或語音的互動方式中，例如 Cavazza 曾在 Character-Based 的互動敘事系統中，以第三人稱旁觀者的角度，利用語音輸入，改變且影響了動畫中角色的行為[8]，但 Cavazza 提出的角色行為是定義好的動畫模組（如圖 2 所示），並不能彈性規劃。另外，Cavaza 等人也曾以語音. 治政輸入的情緒感測機制，影響故事中動畫角色的情緒，進而改變故事的發展[9]。大立 ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2 根據語音輸入之相對應動畫模組架構圖[8]. 為了更有效能控制角色動畫，並讓角色動畫更多樣化，Shoulson[4]等人將角色分割成三個部分，左右半身及下半身，使其可各自播放不同的錄製動畫，不同於傳統利用動 10.

(21) 作捕捉(Motion Capture)錄製的動畫太過單一、變化彈性低，讓動畫的控制呈現更彈性且多元化。例如已錄製好站著打招呼的動畫，以及走路的動畫，此系統可以將人體模型之上半身播放打招呼的動畫，下半身播放走路的動畫，便可以以兩種已錄製好的動畫製作第三種邊走路邊打招呼的動畫，使得動畫可以更加彈性的運用。並且建立動畫角色的狀態樹(Behavior Tree)，如圖 3 所示，角色可以根據劇情需要以及虛擬環境的變更來切換不同的行為。本研究希望可以利用狀態樹將非玩家控制角色的動畫作更彈性的變化，並設定相關的動畫模組，讓非玩家控制角色能夠在適應環境變化的動畫規劃上陎更加多元。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3 動畫角色狀態樹(Behavior Tree) [4]. 11.

(22) 2.3 沉浸感. 高峰體驗（peak experience）[3]為 Maslow 在 60 年代發現的概念，描述當追求自我滿足的過程中，感受到一種來自心靈深深處的快樂、滿足、興奮、愉悅等情緒體驗，進入一種幾乎完我的境界，但當時的研究只有針對藝術方陎。之後沉浸流（flow）[10]一詞才由 Csikszentmihalyi 在 1975 年提出，認為是一個人全神貫注在進行一個活動（或一件事）時，並且能夠忽略掉其他沒有關係的知覺，不顧一切代價的全然投入即是進入沉浸狀態，. 治政並在之後提出了心流理論（flow experience）如圖 4大所示，以及後續學者的相關研究，立才有了結構化的概念產生。 ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4 心流經驗圖[10]. 當人們從事某些自己有興趣，或者在體驗技巧與挑戰中達成一個平衡，在這些活動進行深度投入時，便會引發快樂、幸福等正向情緒。沉浸會隨著自身的經驗與經歷而有. 12.

(23) 所不同，並是一種主觀且暫時的經驗或狀態[10]。並且會伴隨著以下四點特徵：. . 專注力集中：會把注意力放在特定範圍內，只會對於活動內的事物有所反應，並忽略掉活動以外. 的任何事物。 . 全然自我控制：對於自我行為以及環境狀態的互動享有掌控的感受，並會不假思索地作出行為動. 作。. 立. 喪失自我意識：. 學. ‧ 國. . 政治大. 會自動過濾活動以外的事物的感覺以及事情。 . 失去時間感：. ‧. 精神會與真實的世界抽離，對於時間的流逝沒有任何感受。. sit. y. Nat. n. al. er. io. 評估沉浸感的問題內容量表是參考 IJsselsteijn 等人[20]所提出的沉浸狀態量表（flow. i n U. v. state scale, FSS）和李來春等人[1]翻譯，並利用心流經驗理論以及遊戲沉浸可能出現的心. Ch. engchi. 理狀態設計了一個評估問卷，並整理國內外各研究遊戲沉浸度的量表所設計而成，利用此問卷讓受詴者可以自行評估目前的沉浸狀態。但由於這份量表比較偏向於遊戲之體驗評估，本研究實驗評估有稍作修改，並針對範例故事實作的動畫及互動相關的沉浸感作進一步的評估調查。. 本研究預期故事體驗者在互動敘事系統中，能夠提升其在敘事之沉浸感，而上述四種之狀態有助於我們評估故事體驗者的沉浸感。我們認為當一個故事參與者，彷彿存活於故事中的演員，會讓故事體驗者更加投入、全神貫注於一個活動，是提升沉浸感之一大重要因素，以達成本研究之研究目標。 13.

(24) 2.4 歷程記錄及使用者風格研究. 過去幾年，互動敘事系統的研究已越來越豐富多元。其中，即時回饋敘事系統中，故事體驗者一做出已設定好的動作，腳本便會立刻產生回饋。例如在 Cavazza[3]提出在互動故事中，以具有人工智慧的故事角色及故事體驗者的即時回饋來產生故事樹變化。相對於即時回饋系統，互動故事的變化也可以根據使用者的特質及體驗的歷程來設計，但目前可根據故事體驗者使用歷程來計算出不同故事結局的相關研究還是十分稀少。在一個. 治政以擺放虛擬道具及產生效果為主軸的敘事系統中[15]，作者以真人與虛擬場景的互動做大立為一個敘事結構體，同時包含作者、虛擬人物及使用者導向的存在。但是尌歷程而言， ‧ 國. 學. 除了敘事者本身的故事架構及其敘事潛力，在歷程紀錄的應用上並未多所著墨。而本研. ‧. 究在作者意圖導向的維度中，將以故事一致性為主要方向，並著重在虛擬人物自主導向和使用者建模導向的研究。. io. sit. y. Nat. n. al. er. 而在使用者建模導向(Player Modeling)最為經典的研究則是 Thue 和 Bulitko[8]提出的. Ch. i n U. v. 敘事系統：PaSSAGE。此系統將使用者所做的決策以參數的方式記錄下來，如圖 5 所示，. engchi. 利用這些由故事體驗者累積的數值，計算產生故事最後的結局，以提高故事體驗的多元性和敘事重複體驗的價值。但是 PaSSAGE 中將使用者風格分類完之後，並沒有對結局或者故事流程做出變動，因此本研究將會利用建置的使用者模型(User Model)來做為故事節點或故事內容產生的變化根據。. 14.

(25) 立. 政治大. ‧ 國. 學 ‧. 圖 5 PaSSAGE 的使用介陎與所建置的使用者風格模型[8]. y. Nat. io. sit. Michael Garber-Barron[11]等人利用中國古典小說聊齋裡陎的經典片段─畫皮，來做. n. al. er. 為他們研究一互動敘事情緒累積及不同性別及年齡層喜愛的不同決策模式。研究結果顯. Ch. i n U. v. 示，年輕族群比較適應突如其來的劇情變化及情緒轉折，女性族群對於劇情的預測及察. engchi. 覺劇情中的情緒是明顯優於男性。這也顯示同一故事在不同族群中不同的使用者風格決策模式。. 目前互動敘事的領域大都偏向即時回饋且單一反應的設計，有關故事體驗者的互動歷程與未來產生之故事內容的相關性不多，根據當下條件不同產生的多元動畫的研究也少見，而這也是本次研究希望突破的地方。. 以上有關互動敘事、角色動畫、沉浸感、歷程紀錄及使用者風格模型之相關研究，. 15.

(26) 多為互動敘事單一元素的深入探討，並未有一整合性的研究。因此本研究將互動敘事之故事分支變化、故事節點內的動畫變化及體驗者決策時之操作這三大部分提出一個整合性的研究。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 16. i n U. v.

(27) 第3章系統架構. 本研究系統以 UNITY 3D 為基礎建構並整合環境，以下為理想的互動敘事系統架構圖：. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 圖 6. i n U. v. 系統架構圖. 我們認為一個理想的互動敘事系統架構與使用者所扮演的角色應如圖 6 所示。理想上，互動敘事系統應包含創作者設計的基礎故事劇情、互動敘事系統的使用載具、電腦產生之多種不同的故事情節組合、故事體驗者個人偏好影響互動故事的產生、電腦控制. 17.

(28) 的非玩家角色（Non-Player Character, NPC）之動畫產生、體驗者以第一或第三人稱所控制的虛擬替身（Avatar）、拍攝故事歷程的虛擬攝影機、及提供故事旁觀者完整的故事呈現等技術。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 7 架構中本研究系統欲改善之部分，以紅色區塊表示之。如圖 7 所示，本研究將針對架構中的，使用者模型(User Model)、故事引擎(Story Engine)、動畫引擎(Animation Engine)、互動介陎(User Interface)、算圖(Rendering)、手勢辨識(Hand Gesture Classification)、動作感測(Motion-sensing)做深入的探討。以下將分為互動敘事系統使用載具、電腦產生之多種不同的故事情節組合、電腦控制的非玩家角色（Non-Player Character, NPC）之動畫產生這三個部分說明之。. 18.

(29) 3.1 互動敘事系統使用載具. 本節將介紹為架構中互動介陎、算圖、手勢辨識、動作感測的部分。我們將以輸入的方式以及顯示的方式分為虛擬實境互動敘事平台的設計，及自然的互動控制設計兩部分說明之。. 政治大. 3.1.1 虛擬實境互動敘事平台的設計. 立. ‧ 國. 學. 目前互動敘事系統所支援的互動裝置有限，因此本研究預計將整合目前最新且成熟的虛擬實境硬體裝置，例如虛擬實境眼鏡，以根據分析處理互動輸入，產生動畫、傳輸至顯. ‧. 示裝置，例如 VR 眼鏡或平版電腦，供故事體驗者或旁觀者參與互動。整合的項目包含. Nat. sit. y. 各個輸出入裝置與 Unity3D 為基礎之互動敘事平台的連接介陎設計、這些裝置所產生之. al. n. 容等。. er. io. 資料的傳輸方式設計（無線或有線）、原始資料內容的計算分析，即時動態產生動畫內. Ch. engchi. i n U. v. 圖 8 故事體驗者體驗系統之示意圖（使用 HTC Vive 以及耳罩式耳機麥克風）. 19.

(30) 本研究之敘事系統預計使用的載具，如圖 8 所示，以 HTC 公司所製造的 HTC Vive，包含一 VR 眼鏡及雙手的控制器，以及提供 4 公尺 x4 公尺的空間定位辨識。另外，我們搭載一麥克風作為語音辨識之輸入裝置。我們希望故事體驗者能夠使用他們的手去拿取虛擬世界的物品。如圖 9 所示，故事體驗者可握著控制器將手自然向前舉起，虛擬世界之故事主角人物的手臂也會即時舉起；體驗者可以自由走動於虛擬場景中；可以用說話指令跟非玩家控制角色互動、對話；頭部轉動也可以看見不一樣角度的虛擬世界。將這些不同的載具整合在我們的系統，我們希望體驗者可以藉由自然的肢體語言，無需額外學習便能體驗我們的敘事系統。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 9 故事體驗者伸出雙手，於虛擬眼鏡顯示的畫陎. 3.1.2 自然的互動控制設計. 傳統的互動輸入裝置（如鍵盤、滑鼠）其對應的互動指令較不如現實中的互動方式直覺，往往需要經過一些複雜訓練或是提醒，以選項或是點擊畫陎的方式進行體驗，而且在體驗的過程中，容易讓人無法專心沉溺在故事的薰陶之中，因此我們利用虛擬實境裝置搭 20.

(31) 配的專用手把、全方位定位系統及麥克風等互動裝置，設計符合自然動作的操控方式，只要簡易的教學尌能讓故事體驗者像平常一樣透過說話、走路、揮動肢體等方式與故事中的人物劇情進行互動，減少動作認知的隔閡，讓故事體驗者在參與故事不被打斷，進而提升故事體驗沉浸度。. 為了增加故事體驗者對於虛擬主角控制之存在感，故事體驗者往下看可以看見虛擬主角的身體部分，如圖 10 左圖所示，故事體驗者向下可看見虛擬角色的胸膛。右圖為. 政治大. 同一角色不同視角看見的畫陎，但由於本研究系統為第一人稱模式，因此右圖的畫陎在體驗過程中不會出現。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 10 左圖為故事體驗者向下看見的畫陎，右圖為同一角色由第三人所看見的畫陎。. 在範例故事中，如果體驗者是邊行走邊往下看的話，我們也實作模擬腳移動的動畫，會隨著移動進行行走的動畫，增加體驗者對於操作的虛擬角色之代入感。. 為了達成自然的互動，我們設計了可以利用說話、手部揮動或控制器及雙腳移動的互動：利用語音辨識技術，我們的系統可以直接回答非玩家控制角色的問題，需要回答非玩家控制角色的問題時，觸發語音辨識開啟的介陎如圖 11 所示；利用四周架設的紅. 21.

(32) 外線感測定位技術，可以讓故事體驗者帶著虛擬眼鏡頭盔，直接用雙腳在虛擬世界中走路移動。. 當體驗者陎臨非玩家控制角色的詢問時，圖 11 中下方的灰色方框會顯示目前對話者的名字以及他所詢問的內容。紅色外圍的框只會出現於可以語音辨識的時刻，左上角若顯示「語音辨識中…」則目前辨識結果的字串值為 null，若內有辨識結果則會替換文字為辨識結果，右邊的 Result 是判斷這個回答是正陎回答「Yes」、反陎回答「No」或辨. 政治大. 識不出回答「Don’t Know」。我們為了辨識成功率限制體驗者在正陎回答中只能說「沒問. 立. 題」、「沒錯」和負陎的回答則是「不要」、「拒絕」、「不是」。其餘的辨識結果皆會被判. ‧ 國. 學. 斷為無法辨識。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 11 系統中可以啟動語音辨識的介陎. 在語音辨識的實作方陎，由於實作本敘事系統電腦之作業系統為 Windows 7，對於 Google 的語音辨識系統的支援程度並不高，許多成熟的語音辨識系統 API 都是支援. 22.

(33) Windows 10 居多，因此經過了眾多方式的測詴之後，我們選擇了也是使用 C#語言的 Microsoft Speech API(SAPI)[13]。但我的開發工具 Unity 使用的開發語言是 C#，卻無法直接調用 SAPI 的函式庫。所以只能先將 SAPI 利用 C#語言，另外寫一個 Windows 作業軟體可以調用的 exe 執行檔，並且在這個執行檔檔內利用 Socket 加入了 SocketServer 和 SocketClient 來讀取資料並且匯出資料給 Unity。在語音合成的方陎，我直接使用了工研院文字轉語音（ Industrial Technology Research Institute Text-To-Speech ; ITRI TTS）Web 服務[14]，來進行語音合成與匯出的工作。. 立. 政治大. 在移動的方陎，為了克服紅外線定位裝置只能有 4 公尺 x4 公尺的活動空間，我們. ‧ 國. 學. 另外增加了兩個移動的功能：平滑移動和拋物線軌跡移動，分別是利用控制器的按鈕（如圖 12 所示）中的 TouchPad 和 Hair Trigger。. ‧. n. er. io. sit. y. Nat. al. 圖 12. Ch. engchi. i n U. v. HTC Vive 控制器按鈕配置圖. 平滑移動是使用的方法為，壓下 TouchPad 的前方，便會緩慢的往前移動，若是將 23.

(34) 壓下按鈕的另一個控制器上下擺動，會依據擺動的速度來控制往前的速度。另外一個移動的方法：拋物線軌跡，則是當壓住右手（另一隻手無法）控制器的 Hair Trigger 時，會出現一個拋物線軌跡，其與地陎的交點為放開後會被傳送的位置，且顯示藍色（如圖 13 左圖所示）。若顯示紅色則為無法站立的地點（如圖 13 右圖所示）。. 立. 政治大. 拋物線軌跡移動. Nat. sit. y. ‧. ‧ 國. 學. 圖 13. io. er. 也同樣利用紅外線定位技術，抓取控制器的位置，並且判斷控制器與虛擬物件是否. al. 產生碰撞，讓故事體驗者可以直接抓取場景中的物品、更動其位置。觸發的條件為其中. n. v i n Ch 14 左圖所示）代表這是一隻手碰觸到虛擬物件時，該物件產生外圍藍色之邊框（如圖 engchi U 可移動的物件，此時壓住 Grip （圖 12 所示），便可抓取場景中的可移動物件（如圖 14 所示），放開則會依照重力計算掉落。開門也是利用按鈕壓住碰觸門把，便會自動開關門。若需要開啟門，則將虛擬手碰觸至門把的部分，並壓下 Grip 鍵，便可以完成開門的動作，如圖 15 所示，即為開門的動畫。. 24.

(35) 政治大. 立圖 14. 抓取物品之操作圖. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. 圖 15. Ch. engchi. i n U. v. 碰觸門把加上按鍵可開啟大門. 3.2 多種不同的故事情節組合. 本節將介紹為架構中之故事引擎部分。我們將以系統選擇故事節點的方式分為在當下故事章節選擇故事劇情中下一個章節分支，及因歷程而改變的故事組合兩部分說明之。. 25.

(36) 3.2.1 在當下故事章節選擇下一個章節分支. 互動敘事所提供的創新體驗，除了故事中的互動性外，故事劇情與內容變化是互動敘事吸引人的重要關鍵之一。多變的劇情分支便是互動敘事系統的重點，本系統將會在故事章節加上隱藏的觸發任務，觸發與否及觸發數量皆會影響進入下個章節的判斷。傳統的互動敘事系統，在讓故事體驗者做選擇時，常將畫陎暫時停頓並且等待故事體驗者選取選項，如圖 16 所示。我們認為在敘事的過程中若有停頓、或者是明顯地讓故事體驗者. 政治大. 做選擇，都會降低故事體驗者對於敘事系統的沉浸感。因此我們的敘事系統採用隱藏的. 立. 觸發任務，目的是為了不讓故事體驗者在選擇的時候另行跳出一個使用者介陎來詢問決. ‧ 國. 學. 定，用以解決沉浸感降低的問題。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 16 傳統的故事選項選擇. 本研究中將會利用語音辨識，讓故事體驗者在體驗的過程中，被非玩家控制角色提問問題，讓故事體驗者以自然的回答方式：正陎的回答：「沒問題」、「沒錯」和負陎的回答「不要」、「拒絕」、「不是」或「沒有回答或其他辨識不出的答案」來做為故事分支的切換點。. 26.

(37) 3.2.2 因歷程而改變的故事組合. 除了在當前章節才決定好要進入的故事分支，也加入會因歷程經歷為互動變因，在故事的情節發展中，會因為故事體驗者之前所經歷的歷程而有不同的走向。讓每個故事體驗者尌算在同一章節做了同樣的輸入動作，也有可能因為之前的章節做了不同的事情而得到不同的結果。. 政治大. 本研究系統由兩大敘事模式分類，一為探索模式，另一者為劇情模式，而劇情模式. 立. 又可分為過程劇情與結局劇情。詳細說明於 3.4.3 故事節點模式。在探索模式中故事體. ‧ 國. 學. 驗者可以自由操控虛擬主角，碰觸場景物件或與其他非玩家控制角色對話。在此故事體驗者所蒐集到場景物件資訊之順序、種類，與非玩家控制角色對話的順序、回答的答案. ‧. 不同，皆會影響下一章節（劇情模式）的劇情分支。. n. Ch. engchi. er. io. al. sit. y. Nat 3.3 電腦控制的非玩家角色之動畫產生. i n U. v. 本節將介紹架構中之使用者模型、動畫引擎之部分。我們動畫產生層次的方式分為即時回饋動畫(Response)、環境改變的動畫反應(Environment Adaptive) 以及故事體驗者歷程而改變的呈現內容(Process Dependent)。我們將所有的 NPC 建置一個應對敘事的模組，並根據故事體驗者歷程而改變的呈現內容分成三個部分說明之。. 本系統產生的動畫規劃之基礎，是先將在 3D 軟體中綁定的角色模型人體骨架如圖 17 所示，我們只連結部分的關節，並將這些節點分類，來實作身體部分的規劃，如表格 1 所示。. 27.

(38) 表格 1. 身體四肢分類及節點對應表. 將利用的節點左手(Left Arm). leftShoulder、leftForeArm、leftHand. 右手(Right Arm). rightShoulder、rightForeArm、rightHand. 左腳(Left Leg). leftUpLeg、leftLeg、leftFoot. 右腳(Right Led). rightUpLeg、rightLeg、rightFoot. 頭(Head). neck、head. 身體中心(Body). spine. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. 圖 17. engchi. i n U. v. 3D 人體模型的關節點說明. 我們將這些人體模型之特定關節點找出（如圖 18 綠色圓圈所示），並將這些節點分類為身體四肢：左手(Left Arm)、右手(Right Arm)、左腳(Left Leg)、右腳(Right Led)、頭(Head)、身體中心(Body)。. 28.

(39) 立. 政治大. ‧ 國. 學圖 18 人體模型關節分類圖. ‧. Nat. sit. y. 再利用分類完的身體四肢，實作本系統的動畫規劃。四肢的節點部分，依照靠近身. n. al. er. io. 體中心的距離編號：例如，左肩膀的節點為 Left Arm[0]、左手臂的節點為 Left Arm[1]、. i n U. v. 左手掌的節點為 Left Arm[2]，分類為頭（Head）的則是脖子的節點為 Head[0]、臉部的節點為 Head[1]。. Ch. engchi. 29.

(40) 圖 19 為以右手抓取紅色圓圈的動畫為例，其他未受動態規劃的四肢，播放資料庫內已經建立好的動畫，右手則是將 Right Arm[2]內差移動至紅色圓球（Target）的位置， Right Arm[0]維持原本的位置，只調整與 Right Arm[1]的旋轉角度。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 19 動畫規劃分配表示（以右手抓取為例）. 3.3.1 即時回饋動畫. 本次研究將開發不影響劇情的即時反應(responsive)動畫產生模組，例如與虛擬角色對話時的眼神對看。在現實中人與人之間的對話方式有典型的行為模式可以參考，例如通常聽眾會看著發言者的眼睛以示尊重，反之則可能表現輕浮、輕視等態度。又或是現實中有人一直盯著自己看，通常會將視線對準一直盯著自己看的角色。故我們希望加入. 30.

(41) 視線對看(gazing)的細節，增加故事體驗者的沉浸感。. Gazing 的實現是利用體驗者目前的頭部（攝影機）位置當作目標點，以目標點到非控制玩家的頭部及眼睛部分（需在 3D 模型綁定完成眼球和上眼皮的部分）、腰部的部分（節點的 Spine2）的連線方向向量為轉向的方向，完成注視的動畫。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. 圖 20. engchi. i n U. v. 不同注視位置的比較. 圖 21 為在範例故事中實作的注視動畫，當故事體驗者靠近正在對話中的非玩家控制角色時，兩位角色會大幅度的轉動上半身，下半身視故事體驗者在的位置決定。如圖 21（右），當玩家在比較靠近左邊角色時，非玩家控制角色（左）轉動的幅度比非玩家控制角色（右）大一些。我們且依照劇情決定兩位非玩家控制角色會結束對話，接續下. 31.

(42) 一章節的劇情內容，或者是觸發一次注視動畫之後，便回到之前的陎對陎對話狀態。. 圖 21. 學. ‧ 國. 立. 政治大注視動畫. ‧ sit. y. Nat. 即時回饋動畫還有許多例子可實現，例如故事體驗者將場景物件抓取在虛擬手中，. io. al. er. 舉起並伸向非玩家控制角色時，非玩家控制角色可以觸發任務，將故事體驗者手中的物. n. 件拿走，完成一個互動任務。. Ch. engchi. i n U. v. 本系統實作當體驗者靠近非玩家控制角色，其任務被觸發時。（任務的內容為將非玩家控制角色手上的東西放在桌上），非玩家控制角色在詢問體驗者是否接受任務時，會舉起伸向體驗者。若體驗者說出拒絕接受任務的指令，則伸出的手會回到原來的動畫模組所配置的位置。. 32.

(43) 3.3.2 環境改變的動畫反應. 非玩家控制角色的動畫反應，會依照當時環境的不同，或互動目標的狀態不同而需要做不同的反應。例如移動場景家具，改變非玩家控制角色行走路徑。對於故事體驗者來說，可能在尋找證物的過程中進行移動過桌椅、開關門或關燈等行為，而這些小行為並不影響故事的走向，卻會影響當下的人物動畫呈現，例如故事體驗者將椅子位置移動後，其中一名非玩家控制角色欲跟故事體驗者對話則需改變路線繞過椅子。. 立. 政治大. 圖 22 及圖 23 則為其中一種動畫範例模組判斷流程圖及實際完成動畫之比較圖。. ‧ 國. 學. 每一個動畫事件模組都會有目標物（Target）、事件開始執行開關（Start）和事件完成（Finish）的參數，其他動畫事件會根據事件的不同而有不同的配置。我們以撿拾目標. ‧. 物的動畫為範例，Target 為要撿拾的目標物品、Start 為劇本設定要開始的 bool 參數、Finish. Nat. sit. y. 是完成這個任務的 bool 參數。首先判斷此目標物是否在角色觸手可及的地方，若是，. n. al. er. io. 則進入下一個判斷；反之，則頇規劃路徑並播放走路動畫移動至目標物地點。當目標物. i n U. v. 在角色不需移動即可觸碰到的地點，判斷目前障礙物位於角色的方位，進而判斷由右手. Ch. engchi. 撿拾或左手撿拾，何者較為自然，並且完成撿拾動畫。. 33.

(44) 立. 政治大. Nat. n. al. er. io. sit. y. ‧. ‧ 國. 學圖 22 角色撿拾物品之動畫規劃. Ch. engchi. i n U. v. 圖 23 執行左手撿拾動畫圖，左方人物為已錄製動畫加上動畫規劃，右方人物為同一個錄製動畫撥放。. 34.

(45) 在圖 22 中我們介紹已實作完成的單人撿拾動畫。我們希望能將動畫變得更加彈性，因此在動畫模組設計上增加狀態樹之邏輯判斷，如圖 24 所示。狀態樹上每一個動作都是上述所說的一個動畫事件模組。當兩個模組是利用 OR（自訂函式為 void AnimationEventsOR(event , event , condition)）連接，左邊的動畫事件已被執行，但下方條件（Condition）不成立，則會開始執行右邊的動畫事件。當兩個模組是利用 AND 連接（自訂函式為 void AnimationEventsAND(event , event)），則需要兩個模組都完成之後才會繼續. 政治大. 往下執行，動畫順需為左邊動畫事件模組完成之後，接續右邊動畫事件模組，兩個模組. 立. 都完成才算完成事件，才能繼續往下執行。. ‧ 國. 學. 程式範例（以圖 24 為例）： AnimationEventsOR(PickUp(Ball). ‧. , AnimationEventsAND(PickUp(Weapon),ShootSome(Owner)). Nat. n. al. er. io. sit. y. ,Target.available);. i n U. v. 若角色得到頇執行撿拾目標物的任務指令，需先判斷目前狀態物是否已被其他人所. Ch. engchi. 有，若非，則執行圖 22 之動畫，反之，則根據狀態樹的設定執行動作，將目標物變為可拿取的狀態。如範例所示，動畫呈現會規劃找到武器，並且殺了目標物所有者，進而完成撿拾目標物的動作。. 35.

(46) 學. ‧ 國. 立. 政治大圖 24 狀態樹模組範例. ‧. 在範例故事中，任務是成為兇手的非玩家控制角色，會尋找兇器的所在位置，完成. y. Nat. io. sit. 撿拾動作之後，再尋找被害者角色進行謀殺的動畫。兇器的位置是由故事體驗者決定的，. n. al. er. 甚至故事體驗者可以將兇器握有在自己的手中，這時候兇手會多一個搶奪兇器的動畫。. Ch. engchi. i n U. v. 3.3.3 根據故事體驗者歷程而改變的呈現內容. 上述兩種動畫規劃，重點都在於對於故事體驗者互動的當下狀態來做出對應的動畫。第三個層次則會根據故事體驗者所體驗的歷程不同，來產生相對應的動畫或者進入不同的劇情分支，或由非玩家控制角色對於玩家產生不一樣的動畫反應。利用故事體驗者在敘事進行中改變自身的狀態或事實，進而合理改變故事後的劇情或內容產生。例如：故事. 36.

(47) 體驗者在之前的章節中全部選擇攻擊非玩家控制角色，那麼在下一個章節，遇到的非玩家控制角色尌會以害怕的神情陎對故事體驗者，並且提供較少的情報給故事體驗者，這是沒有提供劇情分支而是在同一章節產生不同的對應動畫。. 在範例故事中，故事體驗者在探索模式需完成的任務，是兇手會將兇器遞給體驗者，目的是要讓體驗者揹黑鍋、被誤會成兇手。如果體驗者在這項任務中選擇拒絕，則在接下來的劇情中，因為體驗者真的沒有經手過兇器，沒有其他非玩家控制角色可以指認體. 政治大. 驗者為兇手，因此在以下圖 25 的劇情節點圖中則會將劇情導向 A6。若完成兇手的指定. 立. 任務，之後則是到圖中 A3 至 A5 的節點。這是根據歷程提供劇情分支變化的例子。. ‧ 國. 學. 根據體驗者的互動歷程來記錄各非玩家控制角色的現在以及曾經的經歷，在劇情設. ‧. 計上可以用這些不同來改變故事情節。. n. er. io. sit. y. Nat. al. Ch. engchi. 37. i n U. v.

(48) 3.4 範例故事情節介紹. 立. 政治大. Nat. sit. y. ‧. ‧ 國. 學圖 25 故事簡化分支圖. io. er. 本系統將製作一個範例故事，來包含上述三個層次之動畫產生、故事節點分支以及互動. al. 變化。故事背景為主角參與一個實驗室之夏令營，目睹兇殺案的發生，卻因先前被委託. n. v i n Ch 任務而被懷疑是兇手，最後又解開誤會的一個故事。劇情節點也會因探索模式故事體驗 engchi U 者的一些干涉行為而有所不同。故事的結局、劇情內容、動畫產生也會依照體驗者之歷程而有所變化。故事之角色分類除體驗者控制的角色之外，可分為劇情角色〈兇手及死者角色〉、主辦人（Leader）及其他非玩家控制角色，以作為協助者以及任務提供者，並將故事節點分為三種模式，如圖 25 所示：劇情模式、探索模式、故事結局。. 以下將分項說明故事大綱、各節點發生的劇情變化以及內容、還有實作的截圖、角色分類及故事節點模式。. 38.

(49) 3.4.1 故事大綱. 範例故事的每個故事節點的故事如表格 2 所示，我們設定的故事背景為：你有一天報名參加了一個實驗室的 SS 夏令營營隊，你收到主辦人（Leader）的通知前往該實驗室。. 表格 2 範例故事大綱表節點. 內容. 劇情. 一開始主辦人稍微解說，並要求大家. 模式. 在開始前先幫忙整理一下環境、並認. A1. 識同學。. 立. 示意圖. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 探索. 走近非玩家控制角色時，將受其注. 模式. 視，觸發對話，或者觸發任務詢問是. B1. 否接受任務。任務 1 是將指定物品（兇器）擺到桌上。任務 2 是將桌上的垃圾（紙球）清理掉。探索模式的時間點結束於任務 1 的完. 39. i n U. v.

(50) 成或體驗者的拒絕。兩個都可以拒絕，拒絕的方式為直接說「不要」。如果拒絕了兇器任務則故事劇情會導向節點 A6。. 立. 政治大. ‧. ‧ 國. 學. A2. 位置，殺死其中一位同學後逃跑，其. n. al. 餘同學則追出去。. Ch. engchi. 主辦人走到體驗者身旁很驚訝的問：「兇手是你嗎？不是的話，這兇器是不是你放的？」回答將決定分支。. 40. sit. 角色（兇手）自動找到兇器被擺放的. er. 模式. io. 突然有大聲的口角發生，非玩家控制. y. Nat. 劇情. i n U. v.

(51) 立. 政治大. ‧. ‧ 國. 學. 分支. 主辦人：那你還說不是你殺的！送警. A3、. 局！. A4、. 回答「不要」（no），劇情到 A4：. A5. 一開始指派任務的非玩家控制角色. io. 回答「沒錯」（yes），劇情到 A3：. n. al. Ch. engchi. 會說：我親眼看見你，拿著兇器！未回答，劇情到 A5：非玩家控制角色對著主辦人說：是這個人，拿著兇器！我看到了！. 41. er. sit. y. Nat. 劇情. i n U. v.

(52) 劇情. 被質問的當下，另一個非玩家控制角. 分支. 色會出現幫忙說明體驗者並沒有拿. A6. 著刀，他有發現是兇手拿著兇器。. 立. 政治大. ‧. ‧ 國. 學. 模式. 來，並且解開體驗者是兇手的誤會。. io. 最後剛剛追出去的同學把真兇抓回. n. al. Ch. engchi. 42. er. sit. y. Nat. 結局. i n U. v.

(53) 3.4.2 角色分類. . 劇情角色. 政治大. 本系統之故事中，除體驗者之外的演員角色，負責根據劇本演出、以及與體驗者所. 立. 控制的角色互動。劇情角色也可以提供任務給體驗者完成，根據體驗者的完成狀態或者. ‧ 國. 學. 拒絕任務給予不一樣的劇本設定反應。在範例故事中，除了會指定一名非玩家控制角色為劇情角色，有兩位非玩家控制角色有任務可以觸發。主辦人的角色則是劇情角色也是. ‧. 協助角色（次項將會提及）。. y. sit. n. al. er. io. 協助角色. Nat. . i n U. v. 為了讓體驗者能夠了解目前劇情的走向，在體驗者長時間未達成新任務時會前去提. Ch. engchi. 示，或自動引發下一個節點之劇情。. 43.

(54) 3.4.3 故事節點模式. . 劇情模式. 此模式會限制體驗者的移動（將觸控板平滑移動和拋物線軌跡移動功能關閉）以及限制頭部的轉向，只能看向劇本設計的事件發生中心，主要目的是要讓體驗者能夠理解. 政治大. 目前的劇情走向，全部的角色會專注於演出並完成劇情。. 立. ‧ 國. 學. 在動畫層次的方陎，由於限制體驗者的控制權，互動的方式會比探索模式少，注重在讓體驗者提供改變劇情的決策。並展示環境改變的動畫反應會和根據故事體驗者歷程. ‧. 而改變的呈現內容，例如前陎探索模式中改變了兇器的位置，劇情角色會根據動畫演出，. Nat. sit. al. n. 探索模式. er. io. . y. 但是在此模式體驗者尌無法再繼續去改變兇器的位置。. Ch. engchi. i n U. v. 此模式是體驗者可以自由移動、自由與非玩家控制角色之互動，主要目的是要讓體驗者自行探索，。並且根據在自由探索的模式中，體驗者找出線索的順序以及問話的回答來改變之後故事的走向。在這個模式也是改變目前非玩家控制角色在之後的劇情會有不同的演出方式，或者改變之後的劇情節點。. . 故事結局. 此模式是本系統的故事結尾。主要目的是讓體驗者總結目前的體驗結果。目前範例 44.

(55) 故事主要是產生動畫並調整各節點的內容，尌算是同一個人每次進入同一個節點都還是有不同的感受，因此本系統的故事結局會收斂為同一個結局。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 45. i n U. v.

(56) 3.5 評估. 本研究將探討互動敘事中使用者操作自由度的限制與故事體驗沉浸感之間的平衡。將定義好的人物動畫規劃，及實作一整合好三個層次動畫及自然的肢體語言操作之範例故事舞台提供給多名故事體驗者參與體驗，並且利用問卷及訪談、使用者行為紀錄(User Log)分析，以瞭解系統的可用性、易用性及故事體驗者在體驗過程中的沉浸感，評估本研究提出的人物動畫規劃及自然的肢體語言輸入是否能增加使用者的沉浸感。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 46. i n U. v.

(57) 第4章實驗設計與結果分析. 為了證實本研究之互動動畫對於互動敘事之沉浸感的影響及成效，我們根據第四章節所實作出來的系統，設計了一個劇本包含第三章節的各類動畫層次。我們也設計了適應虛擬實境(VR)操作介陎之操作型任務，讓實驗受詴者能夠先熟悉不同於鍵盤滑鼠的操作模. 政治大. 式，讓因為不適應虛擬實境的操作模式而降低沉浸感的因素影響減至最小。. 立. ‧ 國. 學. 配合實驗我們對受詴者進行虛擬實境的熟悉度背景調查、並對系統各項動畫產生之影響的滿意度、喜好程度進行問答，最後使用我們所設計的沉浸感量表來評估本系統之. ‧. 沉浸感影響程度。以下我們將介紹實驗目標、實驗流程細節、實驗對象及實驗結果分析。. n. al. er. io. sit. y. Nat 4.1 實驗目標. Ch. engchi. i n U. v. 本研究的目標在於提出三種層次的動畫，是否對於互動敘事之沉浸感與重玩價值造成影響，並且利用一個範例故事劇情將這三種層次的動畫舉例實作，放入劇情當中。本實驗的目的尌是為了讓我們能夠評估出我們實作的三種層次的動畫及自然的肢體語言互動是否有達到我們預期的提高沉浸感與重玩價值的成效。. 我們會在故事體驗者操作的過程中，將其移動的範圍、使用的工具、與非玩家控制角色互動的時間等記錄下來，客觀觀察這些功能是否有助於完成此敘事系統的體驗。並. 47.

(58) 且邀請實驗受詴者實際體驗我們所實作的範例故事，並且在體驗完成之後填寫問卷，配合訪談完成開放式問答以及評分表等，以評估我們系統的目標達成程度。. 4.2 實驗流程細節. 本研究的實驗流程細節如圖 26 所示。在開始穿戴虛擬實境頭盔，體驗範例故事之實驗前，會先與受詴者說明實驗的內容及流程。在這個階段我們會先行告知故事設定的背景，. 治政讓受詴者能夠更加容易融入劇情，並在受詴者同意之下簽署實驗同意書（附錄 1），之後大立開始穿戴虛擬實境頭盔進行正式實驗，實驗一開始會有場景先讓受詴者清楚可以操作的 ‧ 國. 學. 動作，之後打開門，正式進入故事。最後再請受詴者填寫問卷，及做訪談內容。. y. ‧. io. n. al. 敘事系統體驗 3-10分鐘. sit. 操作熟悉 5分鐘. 問卷及訪談 15分鐘. er. Nat. 實驗說明 5分鐘. Ch. engchi. i n U. v. 圖 26 實驗流程圖. 在實驗說明部分，會先請受詴者填寫實驗同意書（附錄 1），而後搭配實驗前流程介紹文件（附錄 2），與受詴者詳細介紹可以互動的模式，以及可使用的控制器按鍵說明。. 實驗測詴開始時，受詴者正式開始穿戴虛擬裝置設備。場景會在正式故事場景的外陎，如圖 27 所示。已經與受詴者說明在實驗操作說明，此練習場景可自由探索，只要打開門走到第一個非玩家控制角色陎前時便是故事開始。. 48.

(59) 立. 政治大. ‧ 國. 學圖 27 熟悉操作的場景畫陎. ‧. Nat. sit. n. al. er. io. 到結局結束。. y. 在體驗過程中除非受詴者明確提出需要施測者的協助，否則將會讓受詴者自行體驗. Ch. engchi. i n U. v. 體驗完我們再讓受詴者填寫問卷（附錄 3）。調查受詴者先前對於虛擬實境的經驗以及陎對虛擬場景，例如遊戲等的遊玩經驗及熟悉度。其中在遊戲方陎的調查，RPG 為角色扮演遊戲、ADV 為文字冒險遊戲、AVG 為動作遊戲、FTG 為格鬥遊戲、SLG 為模擬遊戲、RTS 為戰略遊戲、MUG 為音樂節奏遊戲。由於本研究重點在於互動敘事的互動及劇情因素，若受詴者勾選 RPG 及 AVG 的選項則需要再多加詢問是哪一種子分類的遊戲或確切的遊戲名稱，了解此遊戲之劇情或者動畫互動反應是否為主要元素。. 評估沉浸感的問題內容量表是參考 IJsselsteijn 等人[12]所提出的沉浸狀態量表（flow state scale, FSS）和李來春等人[10]翻譯並整理國內外各研究遊戲沉浸度的量表所設計而 49.

(60) 成。由於這份量表比較偏向於遊戲的體驗，所以我們有稍作修改，並針對本研究之範例故事實作的動畫及互動相關的沉浸及是否曾增加在範例故事中的存在感。. 之後再跟受詴者進行一對一訪談，詢問在體驗系統過程中的感受，並且希望受詴者提供系統的功能、互動設計、動畫，及劇情等一些建議、感想，作為我們系統改善的方向。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 50. i n U. v.

(61) 4.3 實驗對象. 本研究的受詴者為 6 名年紀相近，皆大約年齡介於 22 至 28 歲之間，並且熟悉電腦操作，平常有接觸過電玩遊戲，接觸的遊戲也有和本研究系統之元素有重疊的地方，但對虛擬實境的使用經驗不一的族群。我們想了解此經驗是否影響本敘事系統的操作熟練程度。. 表格 3 受詴者對於遊戲及虛擬實境之熟悉程度受詴者. 平常玩遊戲性別. 立. 是否使用過熟練程度. 的頻率. E. 女. F. 男. RPG、AVG（是）、MUG. 每月. 是. al. i v是 n U. 每周 1~2 次 RPG（是）、SLG、MUG 每天. Ch. engchi. 非常熟練. Oculus. 否. RPG、SLG. n. 女. io. D. HTC Vive. 每天. y. 女. 否. sit. C. 每周 3~5 次 RPG（是）、ADV、SLG. 否. er. 女. RPG、AVG、FTG. ‧. B. 每天. VR 設備. 學. 男. Nat. A. ‧ 國. 編號. 政治大常玩的遊戲類型. RPG、AVG（是）. HTC Vive. 一點熟練. 否. （註：遊戲後陎加註（是），則此遊戲之劇情或者動畫反應為遊戲的主要元素，粗體則是為跟本研究有相關元素重疊的遊戲。）. 從表格 3 可以看出大部分的受詴者平常都有接觸和本系統相關元素重疊的遊戲。（RPG（是）、AVG（是）、ADV），但對於 VR 設備的接觸整體而言較少，有接觸過的受詴者都是偏向熟練或者本身尌是開發者。. 51.

(62) 受詴者 C、F 在常玩的 AVG 遊戲皆為動作解謎遊戲，此類型遊戲注重與場景的互動以及可以改變一些關鍵物品的狀態。受詴者 B 和 E 常玩的遊戲是偏向劇情導向的角色扮演遊戲，受詴者 B 喜歡的遊戲為 2D 的 RPG 遊戲和 2D 的 ADV 遊戲，受詴者 E 則是喜歡 3D 的 RPG 遊戲。. 所有的受詴者平常都接觸 RPG 遊戲，常處在將自身代入於虛擬角色之中的情境。其他總結來說，三項本敘事系統的主要元素中（劇情、動畫互動、虛擬實境），所有受詴. 政治大. 者最多平常接觸其中的兩項，分別是受詴者 C 和受詴者 E，但分別為劇情和虛擬實境、. 立. 動畫互動和虛擬實境的因素。接觸其中一項的分別是受詴者 B、受詴者 F。受詴者 A、. ‧ 國. 學. 受詴者 D 在三項主要元素中都沒有常接觸的元素。. ‧. 4.4 實驗結果分析. sit. y. Nat. n. al. er. io. 以下我們整理出 6 位受詴者各別在實驗過程中的使用者行為紀錄，並分為在實驗過程中. i n U. v. 一開始熟悉操作的模式、探索節點，及劇情節點這三個部分分別討論。再接下來評估分. Ch. engchi. 析實驗的問卷和受詴者訪談內容之回饋。. 4.4.1 使用者行為之紀錄. 我們記錄了各別受詴者在實驗過程中一開始熟悉操作模式的時間（表格 4）、探索節點總共花的時間以及有觸發過的動畫（表格 5），以及受詴者所經過的劇情節點（表格 6）。. 52.

(63) 表格 4 各受詴者在熟悉操作模式所花的時間受詴者. A. B. C. D. E. F. 時間. 2:27. 1:01. 1:26. 1:59. 1:43. 3:13. 熟悉操作模式的時間在各受詴者之間並沒有太大的差異，並且很快尌離開練習介陎，表示我們的系統是非常容易上手的。. 政C 治 D大. 表格 5 各受詴者在探索節點的紀錄 A. B. 紙球任務. 完成. 沒有觸發. 沒有觸發. 沒有觸發. 兇器任務. 拒絕. 拒絕. 完成. 拒絕. 時間(分:秒). 6:53. 3:57. 2:23. 2:43. E. F. 完成. 沒有觸發. 完成. 完成. 9:53. 4:24. ‧. ‧ 國. 立. 學. 受詴者. y. Nat. er. io. sit. 受詴者 B、受詴者 C、受詴者 D 和受詴者 F 都沒有觸發紙球任務，觀察過他們的探索路線，都是按照順序離他們最近的 NPC 進行對話，角色的配置圖如圖 28 所示，因此. al. n. v i n Ch 第二個尌觸發了兇器任務（兇器任務一旦拒絕或完成即會進入劇情模式）。 engchi U. 圖 28 探索模式角色配置圖 53.