行政院國家科學委員會專題研究計畫 期末報告
互動敘事中 3D 虛擬角色動畫與攝影機規劃的研究(第 2 年)
計 畫 類 別 ： 個別型
計 畫 編 號 ： NSC 99-2221-E-004-008-MY2
執 行 期 間 ： 100 年 08 月 01 日至 101 年 10 月 31 日
執 行 單 位 ： 國立政治大學資訊科學系
計 畫 主 持 人 ： 李蔡彥
計畫參與人員： 碩士班研究生-兼任助理人員：劉治宏
碩士班研究生-兼任助理人員：林志忠
碩士班研究生-兼任助理人員：顧竣翔
碩士班研究生-兼任助理人員：施旭峰
碩士班研究生-兼任助理人員：賴珮君
碩士班研究生-兼任助理人員：劉堯琪
碩士班研究生-兼任助理人員：吳蕙盈
碩士班研究生-兼任助理人員：余長昇
博士班研究生-兼任助理人員：陳玠任
報 告 附 件 ： 出席國際會議研究心得報告及發表論文
國際合作計畫研究心得報告
公 開 資 訊 ： 本計畫可公開查詢
中 華 民 國 102 年 02 月 21 日
中 文 摘 要 ： 3D 虛擬環境是數位內容的重要應用及互動敘事的重要呈現平
台。互動敘事的目的在讓使用者能透過即時互動的方式，參
與故事的發展，進而影響故事的結局。當故事發展的部分過
程由使用者來共同參與，固然可以提高敘事的互動性及內容
的多變性，但如何確保故事的有趣性及內容產生的適切性，
是一個具挑戰的問題。我們以兩年的時間，進行 3D 虛擬環境
中進行互動敘事設計所需要的相關技術。在第一年的研究
裡，我們的研究重點在發展 3D 互動敘事的關鍵模組，特別是
虛擬攝影機的自動化控制模組的實做等。在第二年的研究
裡，我們的研究重點在開發能在動態環境中即時產生動畫角
色動作的運動規劃系統。我們相信本計畫的研究成果具有前
瞻性及獨特性，對 3D 虛擬環境中的數位敘事、即時角色動
畫、及虛擬攝影機等技術均將有所提升。
中文關鍵詞： 互動敘事、虛擬環境系統、3D 虛擬角色動畫、虛擬攝影機
英 文 摘 要 ： 3D virtual environment is an important platform for
interactive storytelling. The objective of
interactive storytelling is to allow a user to
interactively participate in the development of a
story and influence the anticipated end results.
Despite the fact that interactivity of storytelling
and variety of contents can be enhanced by allowing
users to get involved in the creation of a story, it
is a great challenge to ensure that the story is
entertaining and the generated contents are
appropriate. We propose to use two years to study
related techniques for realizing digital storytelling
in 3D virtual environments. In the first year, we
focus on developing key modules for 3D interactive
storytelling, especially on the implementation of
automatic control of virtual camera module in an
interactive narrative context. In the second year, we
have developed a motion planning module for animated
character to generate its motion in a dynamic
environment with moving obstacles. We believe that
the proposed research is rather unique, and the
expected results will bring the development of
interactive narratives, real-time character
animations, and virtual camera control to a higher
level.
行政院國家科學委員會補助專題研究計畫成果報告
互動敘事中
3D 虛擬角色動畫與攝影機規劃的研究
計畫類別：個別型計畫
計畫編號：NSC 99-2221-E-004 -008-MY2
執行期間：99 年 8 月 1 日至 101 年 7 月 31 日
計畫主持人：李蔡彥
計畫參與人員：
博士班兼任助理：陳玠任
碩士班兼任助理：劉治宏、林志忠、顧竣翔、施旭峰、賴珮君、劉堯
琪、吳蕙盈、余長昇
成果報告類型：完整報告
本成果報告包括以下應繳交之附件：
處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、列
管計畫及下列情形者外，得立即公開查詢
□涉及專利或其他智慧財產權，□一年□二年後可公開查詢
執行單位：國立政治大學資訊科學系
中
華 民 國 102 年 1 月 31 日
行政院國家科學委員會
專題研究計畫成果報告
互動敘事中
3D虛擬角色動畫與攝影機規劃的研究
3D Virtual Character Animation and Camera Planning
for Interactive Storytelling
計畫編號：99-2221-E-004-008-MY2
報告期限：99年8月1日至102年1月31日
主持人：李蔡彥 Email: li@nccu.edu.tw
執行機構及單位名稱：國立政治大學資訊科學系
中英文摘要
（一）、中文摘要
3D虛擬環境是數位內容的重要應用及互動敘事 的重要呈現平台。互動敘事的目的在讓使用者能 透過即時互動的方式，參與故事的發展，進而影 響故事的結局。當故事發展的部分過程由使用者 來共同參與，固然可以提高敘事的互動性及內容 的多變性，但如何確保故事的有趣性及內容產生 的適切性，是一個具挑戰的問題。我們以兩年的 時間，進行3D虛擬環境中進行互動敘事設計所 需要的相關技術。在第一年的研究裡，我們的研 究重點在發展3D互動敘事的關鍵模組，特別是 虛擬攝影機的自動化控制模組的實做等。在第二 年的研究裡，我們的研究重點在開發能在動態環 境中即時產生動畫角色動作的運動規劃系統。我 們相信本計畫的研究成果具有前瞻性及獨特 性，對3D虛擬環境中的數位敘事、即時角色動 畫、及虛擬攝影機等技術均將有所提升。（二）、英文摘要
3D virtual environment is an important plat-form for interactive storytelling. The objective of interactive storytelling is to allow a user to interac-tively participate in the development of a story and influence the anticipated end results. Despite the fact that interactivity of storytelling and variety of contents can be enhanced by allowing users to get involved in the creation of a story, it is a great challenge to ensure that the story is entertaining and the generated contents are appropriate. We propose to use two years to study related tech-niques for realizing digital storytelling in 3D virtu-al environments. In the first year, we focus on
de-veloping key modules for 3D interactive storytell-ing, especially on the implementation of automatic control of virtual camera module in an interactive narrative context. In the second year, we have de-veloped a motion planning module for animated character to generate its motion in a dynamic envi-ronment with moving obstacles. We believe that the proposed research is rather unique, and the ex-pected results will bring the development of inter-active narratives, real-time character animations, and virtual camera control to a higher level.
一、 緣由與目的
3D動畫及遊戲是我國數位內容產業的重點 發展項目。目前的線上多人遊戲，多是以事先規 劃好的單一結局，甚至單一故事情節，來簡化素 材準備的複雜度及製作的成本。然而，過於單一 的故事發展過程，往往無法吸引使用者重複體驗 同一遊戲環境的動機，遊戲的「耐玩性」也因而 降低。 本研究計畫的目的是在設計3D虛擬環境中 互動敘事的關鍵技術，以提供內容豐富可變之遊 戲的設計基礎。我們將在過去研究的基礎之上， 建構一個能依照故事情節及環境語意，自動產生 動畫角色行為及攝影機拍攝手法的系統。此類技 術除了能增加如3D多人虛擬環境的應用價值 外，更可提供做為下一代遊戲創新設計的實驗平 台。 本計畫以兩年的時間實現上述想法的關鍵 技術。在第一年的計畫裡，我們的研究重點在設 計互動敘事的主要關鍵模組特別是能支持互動 敘事功能的虛擬攝影機自動控制模組。在第二年 的計畫裡，我們的研究重點在設計一個能在改變環境中進行即時角色運動的運動規劃器，以做為 3D互動敘事中動畫角色動作自動產生的基本功 能。我們以參數化的方式定義各個模組的功能， 希望在兼顧功能與效率的情況下，研究如何即時 自動產生互動敘事中動畫角色與攝影機的運動。 我們在與使用者即時互動的3D虛擬環境之 下，利用形態學的結構分析方法，把故事腳本中 的主要元素萃取出來，歸納出不同故事元素所組 成的情境(context)與拍攝鏡頭之間的關係規則， 以建立能夠讓攝影機模組讀取的資料模型。同 時，我們希望在即時與玩家操作的虛擬化身 (avatar)進行互動的環境下，可透過不同的動作的 選擇，致使故事的發展路線改變，影響到情境變 化而產生出不同的拍攝結果。由於在互動虛擬環 境系統中，使用者得以操控虛擬演員，並改變故 事的進行順序，因此由電腦控制的虛擬演員變需 具備在動態環境中規劃運動的能力。要達致此目 標，我們的系統至少需要做到以下幾項工作： 以形態學方法分析故事腳本 建立情境與鏡頭間的關係模型 符合攝影學準則的攝影機轉切 設計符合觀眾角度的互動模式 虛擬演員在動態環境中運動規劃能力
二、 相關文獻探討
早期的互動敘事由於受到技術的限制，所以 只有出現一些簡單的網頁遊戲，例如作者已經撰 寫好不同的故事支線情節在網頁上，使用者則只 要在網頁上點選不同的連結以進行不同的支線 劇情。而隨著電腦繪圖技術的發展，以虛擬環境 為表現介面，內容更豐富的互動敘事系統，正逐 漸發展中。以下的文獻探討，我們將分別針對互 動敘事、虛擬攝影機、動態運動規劃等三個議題 進一步說明。（一） 互動敘事
互動數位敘事讓使用者有決定故事如何發展的 權力，根據系統的敘事導向，把互動數位敘事分 為 兩 大 類 ：Character-based 和 Story-based 。 在 character-based的敘事系統中，故事如何進行是 以角色為敘事的個體。在此類敘事系統中，角色 都會被賦予一些特定的任務(task)，藉著設計具 自主能力(autonomy)的角色行為，讓角色自動地 行動，執行其已給定的任務，從而產生角色與角 色間的互動，成為故事內容[4][20]。Story-based 的敘事系統則是以故事或事件作為敘事的單 位，通常會有一個Narrative Engine來控制系統的 進行，負責產生故事事件，與character-based的 系統相比，則較為著重於故事性[22][6]。本計畫 所研發的系統以Story-based的系統為主，但透過 介面切換，也可以讓使用者擁有一些操控能力， 以強化故事的互動參與感，但也因而提高內容產 生的困難度與挑戰性。其中的關鍵技術，包含了 虛擬攝影機的自動規劃與虛擬演員的動態運動 規劃。（二） 虛擬攝影機自動規劃
在較複雜的3D動態環境中，必須能進行即 時(real-time)規劃的攝影機系統。He的論文[9]是 第一個探討在即時環境中攝影機自動規劃的研 究，此研究透過有限狀態機(Final State Machine) 的設計來實現攝影機的轉切。Bares[3]在他的3D 互 動 敘 事 系 統 中 ， 則 是 使 用 基 於 限 制 的 (constraint-based)方法來解決鏡頭的問題。 Cavazza與Charles[4]於2002年發表的以角 色為基底的互動敘事系統中，建構出一個可以即 時根據環境變化來進行規劃的攝影機系統；在動 態環境當中，亦有能力處理在相同時間點中發生 的不同事件。但此攝影系統則沒有對鏡頭進行篩 選，以致多餘的畫面擾亂了使用者的觀感。 Amerson 和 Kime[1]提 出 FILM(Film Idiom Lan-guage and Model)的系統，FILM以電影攝影學技 巧來建構攝影機擺放規則，利用FILM描述語言 建立出一個包含攝影慣例模式(idioms)的場景樹 (scene tree)，供敘事規劃找出符合當時場景限制 的攝影模式，但是FILM語言缺乏自動化的彈性。 Jhala和Young[11]使用邏輯推理的DPOCL 演算法，當建立好故事腳本裡的事件節點(event node)後，透過DPOCL的計算結果，建立事件節 點間的連接關係－因果連結(causal link)，從而把 場景中的限制加入到攝影機的模組中，讓攝影機 進行即時的動態規劃。另外，在Hornung [10]的 研究中，嘗試把虛擬環境中的腳本資訊與攝影機 的呈現方式建立其轉化關係，實作出即時的自動 攝影機規劃系統。（三） 動態環境中虛擬演員的運動規劃
路徑規劃是機器人學中長期研究的重要議 題。基本的問題是如何讓機器人具備自主運動的 能力，從一個啟始點規劃一條可到達目的點的避 碰路徑[13]。這是一個具高複雜的古典規劃問 題，近期解決此類問題的演算法多朝實用化的方向發展，例如以隨機街圖(Probabilistic Roadmap Method, RPM)[12] 或 是 以 隨 機 成 長 樹 (Rapidly exploring Random Tree, RRT)[14]為主的演算法 均為近年的主流方法。過去有許多研究探討虛擬 環境中數位演員的運動規劃，但多假設所給定的 環境資訊已經簡化或抽象化，較少從底層幾何資 訊直接推理[16]。傳統的問題定義中，也多將環 境中的物體視為靜態障礙物，但事實上物體不但 可能會動，也可能成為機器人達到目的地必要的 墊腳石，而這也是本研究希望能探討的問題。針 對這個問題，Levine等人[15]第一個提出此類問 題的解決方法，但他們假設移動的物體軌跡均為 已知，因此也有較大的侷限。
三、 系統設計簡介
在互動數位敘事系統中，使用者一方面要操 作角色化身(Avatar)在虛擬環境中行動，與系統 進行互動，但在這之前卻需要了解虛擬世界中所 呈現的意義才能決定之後該如何行動。本計畫的 設計重點在於實做兩個互動敘事的核心技術：能 根據劇情及場景自動規劃的虛擬攝影機模組及 能根據環境的動態變化自動產生虛擬演員運動 路徑的運動規劃模組。以下我們將分別介紹：（一） 虛擬攝影機自動規劃
透過鏡頭向使用者呈現故事內容，我們希望 數位敘事系統中的攝影機能夠有自動規劃的能 力，一方面免除使用者除了控制化身外還需花費 額外的心力在控制攝影機的鏡頭上，另一方面則 是讓系統有更好的表達能力，在即時互動的情況 下，產生能夠配合劇情的拍攝鏡頭，讓攝影機成 為更佳的敘事者。在規劃即時攝影機路徑的問題 中，先是要考量攝影機的拍攝方式，根據拍攝目 標 的 運 動 來 判 斷 攝 影 機 的 動 作 ， 如 跟 蹤 拍 (track)、搖攝(pan)、或是進行轉切(cut)。接著則 是決定攝影機的視角觀點(viewpoint)，而視角觀 點往往是決定於拍攝目標在場景中的情境特 性，把畫面中重點突顯出來；在場景允許的情況 下，系統應盡可能滿足視角觀點的條件。另一方 面，要在即時互動中提供攝影機系統有關場景及 情境的資訊，存在兩個層次的資訊關係，一是故 事腳本中必須要明確定義角色物件與場景間的 關係，也就是故事如何發展。而第二層則是場景 所包含的情境資訊與拍攝手法的對應關係，必須 要透過形態學的方式來定義結構化的故事腳 本，才能讓攝影機針對情境的變化作出適當的即 時規劃。 根劇Propp的分類[21]，我們把一個情境視 為一個不變的功能項，加上一個或多個可變的角 色或物品所組成的，而一個功能項又可能是一系 列行為動作的集合。例如，「巫師贈給伊萬一艘 小船 。小船將伊萬載到另一個王國」、「老人贈 給蘇欽科一匹馬。馬將蘇欽科馱到了另一個王 國」。由這些例子可以看出，變化的是人物及贈 送的物品，不變的則是贈送及幫助的動作，而對 於攝影機而言，主要影響拍攝因素的則是人物的 動作、心理狀態以及場景動態，故我們把一個情 境分解為角色、行為動作、心理因素及氣氛等這 些元素，做為攝影機何如拍攝的指標。 圖一：系統架構圖 我們所設計的互動敘事系統主要由兩個主 要模組所組成，如圖一所示，第一個主要模組是 Event Generator，其負責故事事件的產生，當使 用者所操作的化身在環境中遊走時，會因主動或 被動的形式滿足事件節點中的條件，而觸發下一 個事件進行。Event Generator亦負責把腳本上的 對白和字幕訊息按照指定時間顯示在螢幕上；另 一個主要模組則是Photographer。Event Generator 把 環 境 中 發 生 的 事 件 傳 給Photographer ， Photographer判斷該情境對應的攝影機模式，給 出攝影機在規劃拍攝該事件時需要符合的規 則。最後，故事事件交由Film Controller來控制 角色產生動作，而攝影機則按照Photographer給 予的規則來進行規劃，最後Rendering則交由本實 驗室所研發之IMHAP動畫系統來負責。 我們參考Arijon [2]和Mascelli[12]對電影攝 影學所歸納的拍攝方法，實作了三種基本的攝影 模組：靜態鏡頭、追蹤鏡頭、及對話鏡頭。當 Photographer分析了劇情動作的情境屬性後，便 會決定使用哪個相對的攝影機模組、理想的視點角度，作為在計算攝影機路徑規劃中限制條件。 例如，針對某一對話場景，需要使用外反拍鏡 頭，仰角拍攝目標A，目標A要在目標B的左邊等 等的限制條件。根據這些限制條件，攝影機再進 行低階的幾何推理，加上在拍攝目標不被阻礙物 遮擋的理想條件為前提下(因為在空間細小又存 在多個障礙物的場景下，可能無法完全避免障礙 物的阻擋，為了使空間畫面連貫，固避免障礙物 遮擋為最佳化條件)，找出適當的攝影機架置屬 性出來。
（二） 動態環境中虛擬演員的路徑規劃
本路徑規劃模組的特色為在3D動態改
變的虛擬環境中，為虛擬演員設計一個能善
用環境物件的路徑規劃器。此模組的輸入為
環境中物件的3D幾何資訊及虛擬演員可用
的動作資訊。由於我們假設虛擬演員及環境
中的物體都具備獨立的自由度，因此整體運
動規劃的複雜度相對提高。為降低計算複雜
度，我們假設虛擬演員的任一動作，均可以
用一個適當的含括容積(Bounding Volume)表
示。對每一個動作與物件的配對，我們可以
計算一個互動容積(Interaction Volume)（範例
如圖二所示），包含可行走表面(Navigable
Surface)、可用容積(Accessible Volume)、及
禁制容積(Forbidden Volume)來代表此虛擬
演員可如何合法的使用此物件，與其互動。
有了每一個物件的互動容積之後，我們將為
環境中所有物件的關係建立全域的托樸結
構圖(Topological Graph)，以定義可銜接運用
的可用容積及阻礙取用的禁制容積，如圖三
所示。
由於我們假設環境中的物件可動態改變，因 此可用性托樸結構圖也會隨時間而改變。我們根 據每一物件移動的歷史建立每一個連結的合法 機率與未來軌跡，並根據移動中物件的局部關 係，更新其相鄰節點的連結（如圖四所示）。 另外，我們為每一個行走平面(Navigable Surface) 建 立 一 隨 機 街 圖 結 構 (Probabilistic Roadmap)，以做為連接不同平面腳步落點的計算 基礎。 我們所設計的計畫器是一個兩階段的運動 計畫器。當問題給定後，我們先在托樸結構圖中 搜尋出可行的路徑，再交給區域運動計畫器計算 在每一個行走平面上的落腳點。但是，第一階段 的路徑未必在第二階段一定能成功找到合法的 落腳點。當第二階段失敗時，結果會回饋給第一 階段計畫器，以進行重新規劃。四、 實驗環境與結果
（一） 虛擬攝影機自動規劃
為了證明我們的攝影系統能夠因應故事中 情境的改變而改變拍攝方式，我們實作了互動的 介面讓使用者能夠參與故事的進行。在<<奇異箱 >>的劇本中，使用者能控制主角片山作為化身， 在故事運行中作出決定與行動，影響故事的發 展。 圖四：托樸結構圖的動態更新範例 圖三：托樸結構圖建構範例：(a)可用區域(b) 禁制區域(c)三個物件托樸連接關係的範例 圖二：互動容積(Interaction Volume):給定一個 物件O及虛擬演員的含括容積C，計算可行走 表面(Navigable Surface)、可用容積(Accessible Volume)、及禁制容積(Forbidden Volume)在進行互動操作的環境中，我們需要確保使 用者能夠清楚自己的操作狀態，不會因為環境訊 息不足或畫面的錯誤視覺而感到困惑。在系統運 行時，會分為兩種模式來進行，這兩種模式兩種 模式，分別是Story-Telling 模式(圖一中的紅色箭 號路線)與Avatar Navigation模式(圖一中的綠色 虛線路線)，而藍色箭號路線則表示系統統一傳 遞資料。 使用者在故事中接受需要於場景中搜尋物 品或線索的任務時，會進入Avatar Navigation模 式（如圖五所示）。在此模式中，當使用者可操 作化身在3D環境中自由遊走，此時，攝影機主 要採用跟蹤方式，亦即追蹤鏡頭來拍攝使用者的 化身。由於需要讓使用者與3D環境中的化身有 著同樣的視點，在此模式中，攝影機主要會處於 化身正後方的位置，以介乎於第一人稱與第三人 稱的視點來呈現畫面，讓使用者有置身於3D環 境中的感覺，另一方面，也是讓使用者在3D環 境能易於中辨識方向，易於控制走動。 因故事的需要，使用者在Avatar Navigation 模式中可自由操作化身探索3D環境，並藉由調 查環境中的物件來觸發(Trigger)事件發生。當有 事件節點的條件滿足時，該事件便會發生，此 時，則進入另一種模式:Story Telling模式（如圖 六所示）。此模式是系統在表達故事內容中執行 的模式，也是主要使用情境參數的模式。在此模 式中，Event Generator自動產生描寫於劇本裡的 劇情動作，按照時間呈現出故事。新的一項劇情 動作被送到Photographer模組的Director子模組 當中，根據情境參數判斷後產生出來的限制條 件，一並加入到搜尋過程的判斷條件中，針對此 一動作產生出攝影機架設位置，然後再進行角度 的調整。
（二） 動態環境中虛擬演員的路徑規劃
為了測試我們所設計的運動計畫器的功能 及效能，我們設計了多個不同類型的場景及動態 物件。在最後兩個場景中，使用者可以動態加入 新的物件，以測試計畫器即時處理的能力。第一 個例子(圖四(f))是一個由多個分離的障礙物所組 成，虛擬演員可以自動計算出如何在這些物件之 上跳動，以到達目的地。第二的例子(圖四(a))是 在兩層的客廳場景中移動，範例路徑如圖四 (b)-(e))。第三及第四個例子則是動態產生的移動 物件。 圖七：測試環境範例 圖五：Navigation模式中使用者可控制Avatar 在場景中遊走，右邊為3D環境，左上角為2D 的俯視圖 圖六：Storytelling模式中攝影機的自動規劃我們的測試平台是在Intel Core 2 Extreme 2.80 GHz的電腦上執行，測試結果如表一所示。 由於我們善用物理引擎進行碰撞偵測，及採用兩 階段局部更新，因此在各個測試場景中的計算時 間都能達到線上即時的要求。
五、 成果自評：
本研究計畫已按預定的研究方向，完成了以 下階段性的工作： 1. 我們對互動敘事的劇本及情境表達方式設計 了一個計算模型。 2. 我們設計了一個在3D虛擬環境中進行互動敘 事的系統架構，並完成了系統雛形的設計。 3. 我們實作了多個3D虛擬環境中攝影機的拍攝 控制模式，並對應到各種故事情境。 4. 我們設計了一個能自動分析物體幾何資訊的 計算模組，建立場景的托樸結構圖。 5. 我們實做了一個能在動態改變的場景中為虛 擬演員自動產生移動路徑的運動計畫器。 本計畫所獲致的初步成果，已陸續整理成果 發 表 於 知 名 學 術 研 討 會 及 國 際 知 名 期 刊 中 [6][7][17][18]；另外，至少有一名博士班學生及 多位碩士班學生根據本研究的成果，完成論文畢 業，其中包含跨國合作共同指導的研究生。六、 參考文獻
[1] D. Amerson, S. Kime, R. M. Young. Real-time cinematic camera control for interactive narratives. In Proceedings of the 2005 ACM SIGCHI
Interna-tional Conf. on Advances in computer entertain-ment technology, 2005.
[2] D. Arijon, Grammar of the Film Language. Com-munication Arts Books, hasting house, Publishers, New York, 1976.
[3] W.H. Bares, J.P. Grégoire, J.C. Lester. Real-time constraint-based cinematography for complex in-teractive 3D worlds. In Tenth National Conf. on
Innovative Applications of Artificial Intelligence,
1998.
[4] M. Cavazza , F. Charles, S.J. Mead. Planning characters' behaviour in interactive storytelling.
The J. of Visualization and Computer Animation
2002; 13:121-131, 2002.
[5] F. Charles, J.L. Lugrin, M. Cavazza, S.J. Mead. Real-Time Camera Control for Interactive Story-telling. In Proc. of the 3rd International
Confer-ence on Intelligent Games and Simulation,
GAME-ON 2002, London, UK, 2002.
[6] Y.T. Chang, S.C. Chen, T.-Y. Li, “A Computer System Aiming to Stimulate Creativity for Narra-tive,” in Proc. of ACM Creativity and Cognition
2011, Atlanta, 2011.
[7] C.H. Chen and T.Y. Li, “Context-aware Camera Planning for Interactive Storytelling,” in Proc. of
9th Intl. Conf. Computer Graphics, Imaging and Visualization, 2012.
[8] C. Crawford. Assumptions underlying the Erasma-tron interactive storytelling engine. AAAI Tech-nical Report FS-99-01, 1999.
[9] L.-W. He, M.F. Cohen, D.H. Salesin. The Virtual Cinematographer: A Paradigm for Automatic Re-al-Time Camera Control and Directing. In
SIG-GRAPH 96, in Computer Graphics Proceedings,
New-Orleans, 1996.
[10] A. Hornung, G. Lakemeyer, G. Trogemann. An Autonomous Real-Time Camera Agent for Inter-active Narratives and Games. In Proc. of IVA2003, 2003.
[11] A. Jhala, R.M. Young. A discourse planning ap-proach to cinematic camera control for narratives in virtual environments. In Proc. of the 20th
na-tional conference on Artificial intelligence,
Pitts-burgh, Pennsylvania, 2005.
[12] L.E. Kavraki, P. Svestka, J.-C. Latombe, M.H. Overmars, “Probabilistic roadmaps for path plan-ning in high dimensional configuration spaces,”
IEEE Trans. on Robotics and Automation,
12(4):566–580, August 1996.
[13] J.C. Latombe Robot Motion Planning. Kluwer Ac-ademic Publishers, Norwell, MA, USA, 1991.
[14] S.M. LaValle. Rapidly-exploring random trees: a new tool for path planning, Computer Science Department, Iowa State University, 1998: 995–1001.
表一：測試場景的計算效能範例
Environment
name Collision detection (ms)
Topo-Graph
update (ms) Aveg Plan-ning Time (ms) Disconnected 0.48 0.06 7.8 Living-room 14.12 6.46 93.98 Physics 1 10.01 0.71 25 Physics 2 14.15 1.25 311 圖八：測試環境範例三(a)及四(b) (b)
[15] S. Levine, Y. Lee, V Koltun, and Z. Popovi´c “Spacetime planning with parameterized locomo-tion controllers.” Trans on Graphics (TOG), 30(3):23:1–23:11, 2011.
[16] T.-Y. Li, P.-Z. Huang, “Planning humanoid motions with striding ability in a virtual environment,” In Proc. of the 2004 IEEE Intl. Conf. on Robotics and Automation, ICRA 2004, vol. 4, 3195–3200, Barcelona, Spain, 2004.
[17] T. Lopez, F. Lamarche, T.-Y. Li, “Space-Time Planning in Unknown Dynamic Environments,” in
Proc. of The Fourth Intl. Conf. on Motion in Games 2011, Edinburgh. 2011.
[18] T. Lopez, F. Lamarche and T.-Y. Li, “Space-time planning in changing environments: using
dy-namic objects for accessibility,” Computer
Anima-tion and Virtual Worlds, 23(2):87–99, 2012.
[19] J. V. Mascelli. The Five C’s of Cinematography. Cine/Grafic Publications, Hollywood, 1965.
[20] M. Mateas, A. Stern. Façade: An Experiment in Building a Fully-Realized Interactive Drama. In
Proc. of Game Developers Conference, Game
De-sign track, 2003.
[21] V. Propp, “Morphology of the folktale,” Intl. J. of
American Linguistics, Part III, 24(4):1-106, 1958.
[22] N. Szilas, J. Barles, M. Kavakli. An Implementa-tion of Real-Time 3D Interactive Drama.
國科會補助專題研究計畫成果報告自評表
請就研究內容與原計畫相符程度、達成預期目標情況、研究成果之學術或應用價
值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）
、是否適
合在學術期刊發表或申請專利、主要發現或其他有關價值等，作一綜合評估。
1. 請就研究內容與原計畫相符程度、達成預期目標情況作一綜合評估
■ 達成目標
□ 未達成目標（請說明，以
100 字為限）
□ 實驗失敗
□ 因故實驗中斷
□ 其他原因
說明：
2. 研究成果在學術期刊發表或申請專利等情形：
論文：■已發表 ■未發表之文稿■撰寫中 □無
專利：□已獲得 □申請中 ■無
技轉：□已技轉 □洽談中 ■無
其他：（以
100 字為限）
3. 請依學術成就、技術創新、社會影響等方面，評估研究成果之學術或應用價
值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）（以
500 字為限）
互動敘事是數位內容新的發展趨勢。此類敘事方式由於內容的產生不是設計階段就能確定
的，因此動態自動產生動畫所需效果的技術便成為十分重要的關鍵技術。過去在數位敘事
的文獻上，較缺乏有系統之表達方式的設計與關鍵自動畫技術的開發，本研究針對
3D 虛
擬世界系統的敘事方法進行研究，設計能表達情境的腳本語言，進而發展適合的虛擬攝影
機控制方法及虛擬演員路徑產生方法，以在與使用者互動的過程中，能根據故事的發展與
互動的結果，自動即時產生適當的攝影機拍攝手法與虛擬演員動畫，對電腦動畫及遊戲的
技術提升及新世代內容設計，應具相當不錯的應用價值。
可供推廣之研發成果資料表
□ 可申請專利 ■ 可技術移轉
日期：102 年 1 月 31 日國科會補助計畫
計畫名稱：互動敘事中
3D 虛擬角色動畫與攝影機規劃的研究
計畫主持人：李蔡彥
計畫編號： NSC 99－2221－E－004－008－MY2
學門領域：資訊工程
技術
/創作名稱
互動敘事系統中智慧型攝影機規劃及虛擬演員動畫產生技術
發明人
/創作人
李蔡彥
技術說明
我們在與使用者即時互動的3D虛擬環境之下，利用形態學的結構
分析方法，把故事腳本中的主要元素萃取出來，歸納出不同故事元
素所組成的情境(context)與拍攝鏡頭之間的關係規則，建立能夠讓
攝影機模組讀取的情境資料模型。在即時與玩家操作的虛擬化身
(avatar)進行互動的環境下，可運用不同的動作致使故事的發展路線
改變，影響情境變化，進而產生出不同的拍攝結果。另外，根據環
境的變化及劇本的進行，系統中的虛擬演員得以自動產生可行的運
動路徑與動畫，提供實現此類創新系統的關鍵技術。
For interactive 3D virtual environments, we use morphology to analyze
and model the structure of a story and extract the main components in a
story line. We further induce the relation between story context and
camera control and develop a camera control module that can parse the
context specification in a story script and generate appropriate camera
motions for the given context information. In our interactive 3D
envi-ronment system, a user is allowed to interact with the envienvi-ronment to
change the development of storyline. Appropriate camera actions can
be generated automatically to accommodate the run-time changes of
storyline. In addition, according to the story context and scene, the
vir-tual characters can autonomously generate appropriate paths and
lo-comotion under the dynamic constraints of the objects in the
environ-ment.
產業別
研究發展服務業
技術/產品應用範
圍
電腦動畫；電腦遊戲
技術移轉可行性及
預期效益
可用在電腦動畫或遊戲中，提供以互動敘事模式為特色的說故事型
態，提高動畫與遊戲的互動性與可參與性。
※1.每項研發成果請填寫一式二份，一份隨成果報告送繳本會，一份送 貴單位研
發成果推廣單位（如技術移轉中心）
。
※2.本項研發成果若尚未申請專利，請勿揭露可申請專利之主要內容。
※
3.本表若不敷使用，請自行影印使用。
行政院國家科學委員會補助國內專家學者出席國際學術會議報告
報
告
人
姓
名
張允泰
服 務 機 構
及 職 稱
國立政治大學資訊科學系
時間
會議
地點
2011 年 11 月 03 日至 11 月 06 日
美國喬治亞州
本 會 核 定
補 助 文 號
NSC 99-2221-E-004-008-MY2
會 議 名 稱
(中文) 2011 創造與認知研討會
(英文) ACM Creativity & Cognition 2011
發 表 論 文 題
目
(中文) 激發敘事創意之電腦系統
(英文) A Computer system aiming to stimulate creativity for Narrative
一、參加會議經過
2011 年的 ACM creativity & cognition 今年由 Georgia Institute Technology 主辦。這個研討會
的特點在於聚集設計、藝術、人機介面及認知心理學於一堂，是典型的跨領域研討會。此次的會
議在亞特蘭大市區的博物館舉行，參與者除了可以參加學術活動外，也能就近參觀市區內的各項
文化活動。 此次會議的大會主席是以 Ashok K. Goel 教授為首的學者擔任。而議程主席多由美國
的學者所組成。此次會議參與學者大多來自美國和歐洲，人數不算多，但因為只有一個場次，因
此每場的參與人數及討論狀況都相當踴躍。此次會議共有四天，第一天為教學坊、工作坊和研究
生座談會，教學坊、4 個工作坊和研究生座談會同時舉行，第二到第四天為主要議程，共分為 10
個論文發表場次、四個大會演講、一個海報展示的場次和藝術呈現的場次。
大會的主題演講主要請到了英國
Winchester 大學 Guy Claxton 教授、加拿大 OCAD 大學的 Sara
Diamond 教授、美國 Maryland 大學 Ben Shneiderman 教授和英國 Newcastle 大學 Atau Tanaka 的
教授發表跨領域研究的專題演講。另外，反映出這個領域的主導研究團體是以美國及歐洲為主。
相對而言，台灣前往的學者人數十分稀少。本人所發表的論文題目「激發敘事創意之電腦系統」，
是以電腦為媒介，將圖片和文字呈現給使用者以激發敘事創造力思考。將每個使用者對某些圖片
的想法概念加以分類結構化，儲存於電腦中，以提供使用者更多元的想法。張貼海報過程中與參
加的學者有許多問答的互動，有相當不錯的收穫。
二、與會心得
Creativity & Cognition 2011 是 ACM 所舉辦，今年為第八屆，主要議題在創造力與科技。著
重在設計新互動科技與工具來擴展創造力，涉及設計、藝術、教育、認知和電腦科學等多樣研究
領域。此次研討會中在各個領域都有許多研究，而每個研究幾乎都是一個新的軟體工具和平台，
不管是使用者獨立操作或與他人合作，每個研究都期望透過該工具能激發或幫助使用者的創造
力。除了新的軟體工具，也有不少研究實作出硬體，達到虛實整合之效。此會議中的每個研究其
研究成果皆十分完整，在成品上不論軟硬體也擁有很高的水準。而從此研討會中可以發現新科技
對於藝術和設計所產生的影響，讓藝術家能有更多元的創作方式，或者有不同的表演方式。而同
時如何完美的發揮科技所帶來的互動與便利性，也成為此領域的主要議題和趨勢。
三、發表論文摘要
The goal of our research is to develop a computer system based on the concept of
pictures-and-attributed-notes (PAN) aiming to stimulate creativity and imagination when users create a
story. We have conducted an experiment and used the Conceptual, Operational, Perceptional and
Evaluation (COPE) coding system to analyze the process of creating a story with the aid of computer
system. The preliminary results revealed that the computer system based on PAN can stimulate user’s
creativity during the process of story creation.
四、建議
此研討會在創造力和認知領域中算是十分有名的研討會，然而從亞洲去的學者是十分稀少。
會中發表論文的主要是美國與歐洲學者，此現象反應了台灣在此領域仍有相當大的發展空間。而
這也是少數尚未為中國大陸學者所佔領的領域之一。因此如何振興我國在這方面的研發能量，是
相當重要的議題。如有機會，我們可以爭取這些相關的研討會在台舉辦，以提高我國在這些領域
的學術地位。
五、攜回資料名稱及內容
1. Design with the human memory in mind. 研討會教學坊教材。
2. C&C ’11:Proceeding of the 8
thACM conference on Creativity and Cognition, 2011, ISBN:
978-1-4503-0820-5.研討會論文集。
國科會補助專題研究計畫國際合作研究計畫國外研究報告
日期： 102 年 1 月 31 日一、 國際合作研究過程
(若不只一位研究人員出國，應敘明分工情況及個人角色)
在本計畫進行過程中，我們與法國
INRIA 資訊與自動化研究院持續進行了相當
多的合作研究活動。這些活動包含：
1.2010.6-1020.9：台方實驗室的碩士班學生張允泰在法方共同主持人 Marc
Christie 的協助下申請 INRIA 暑期工讀研究（三個月），進行有關互動敘事
創作系統的合作研究。
2.2010.10.25-2010-11.1：法方主持人 Fabrice Lamarche 第二次來台研究訪問，
除了對進行中之虛擬數位演員自動規劃研究進行深入的討論外，Lamarche
教授也在本系
Seminar 中公開演講，並參與實驗室的各項活動。另外，他也
拜訪了東華大學資訊工程系，與戴文凱老師的研究團隊進行交流。
3.2010.12.5-2010.12.18：法方博士班學生 Thomas Lopoz 第二次來台進行短期
研究，過程中除進一步探討其博士論文研究成果外，並針對在
WAFR2010
發表的論文進行預演。
4.2012.3.6-2012.3.11：本人第三次訪問法國雷恩第一大學及 INRIA/IRISA，在
該實驗室發表公開演講，展示台灣團對近年的研究成果，並對未來合作研
究方向進行討論。另外，本人也參與了共同指導的學生
Thomas Lopoz 的博
士論文口試，並與未來可能到台灣訪問研究的博士班學生進行面談。
5.2012.6-2010.10：台方實驗室的碩士班學生吳蕙盈在法方共同主持人 Marc
Christie 及國科會的資助下申請於 INRIA 進行暑期工讀研究（三個月）。研
究主題為互動敘事系統中的故事創作。目前吳同學的碩士論文仍在台法兩
邊教授的共同指導下進行。
6.
2012.10.23-2012.10.31：法方共同主持人 Marc Christie 及 Franck Multon 第二
計畫編號
NSC 99-2221-E-004-008-MY2
計畫名稱
互動敘事中
3D 虛擬角色動畫與攝影機規劃的研究
出國人員
姓名
李蔡彥
服務機構
及職稱
國立政治大學資訊科學系
出國時間
102 年 3 月 5 日至
102 年 3 月 11 日
出國地點
法國雷恩市
合作國家
法國
外國合作計
畫主持人英
文姓名
(First Name) (Last Name)
Fabrice LAMARCHE
外國合作
機構
資訊與自動化研究院 （INRIA）
二、 研究成果
本次國際合作研究的成果分為三部分：
1. 自動攝影機規劃：本計畫第一年的主要成果。
2. 虛擬角色於動態環境中的路徑規劃：本計畫第二年的主要成果。
3. 互動敘事的故事創作系統：本計畫部分成果及後續延伸合作研究議題。
台法兩方共同發表的研究論文包含：
1. T. Lopez, F. Lamarche, T.-Y. Li, 2010.12, “ToD & DyP: A planning solution for
efficient navigation in changing environments,” in Proc. of the 9th International
Workshop on the Algorithmic Foundations of Robotics, Singapore.
2. T. Lopez, F. Lamarche, T.-Y. Li, 2011.11, “Space-Time Planning in Unknown
Dynamic Environments,” in Proc. of The Fourth International Conference on
Motion in Games 2011, Edinburgh.
3. Y.-T. Chang, 2011.09, A computer-aided System for Narrative Creation, Master
Thesis, Department of Computer Science, National Chengchi Univeristy,
Taiwna.
4. Y.-T. Chang, T.-Y. Li, S.-C. Chen, M. Christie, 2011.12, “A Computer-aided
System for Narrative Creation,” presented in The 2011 TERA International
Conference on Education (TICE 2011), Kaohsiung.
5. T. Lopez, 2012.03, Space-time planning in changing environments : using
dynamic objects for accessibility, PhD Thesis, Rennes 1 University, France.
6. T. Lopez, F. Lamarche and T.-Y. Li, 2012.03, "Space-time planning in changing
environments : using dynamic objects for accessibility," Computer Animation
and Virtual Worlds, 23(2):87–99.
三、 心得與建議
國際合作是否能成功，受許多因素影響，除了需要有適合的合作主題及合作對
象外，配套措施及互信機制也是相當重要的因素。本次與法國
INRIA 研究院的合作
關係，建立在
2008 年首次因研討會造訪法國 IRISA 及 RENNES 1 大學，由於研究者
的共同研究興趣而有進一步的聯繫。我們雙方的研究興趣相當一致，也對未來的遊
戲與動畫產業的提升充滿了願景與想法。
在過去幾年的過程中，我們一直在找尋可以互補的主題及合作研究的機會，並
且從人員互訪開始，進行短中期的交換訪問研究。截至目前為止，我們已有一個法
國的博士生及兩位台灣的碩士生參與過國科會及
INRIA 所支持的暑期交換研究，所
有參與過交換研究的學生，對研究主題及國際視野都有相當大的進展，這可以從台
方兩位碩士生都希望能繼續進修博士學位可以略知一二。近期法方即將有第二位博
士升到台灣來交換，而我方也將有一位博士班學生即將到法國交換，可見合作研究
的氛圍已逐漸建立。
在這過程中，所幸能得到國科會與法方的支持，方使兩方的交流得以持續進行。
上，對於執行一個新的計畫而言（假設不是既有的研究計畫）
，這些也都是計畫執行
中有助於研究進行及需要支用的項目。因此，建議能適度放寬可支用項目的流用。
四、本項與國外合作研究之性質，屬：(可複選)
■分工收集研究資料
□交換分析實驗或調查結果
□共同執行理論建立模式並驗証
■共同執行歸納與比較分析
■元件或產品分工研發
□其他 (請填寫) _______
五、其他：
(本項國合計畫若有下列各項情況，但不以為限，請分項敘述說明)
(一)除了我方派員前往研究，是否有國外研究人員來台參與研究? 若是，請補充
來台人員姓名、期間及其活動重點。
(二)是否包括年輕研究人員(一般指博士生或博士後研究人員)之培育？
(三)雙方合作成果，是否有與國外共同產生之期刊或會議論文已/擬進行發表？論
文名稱(若已有)為何？
(四)雙方是否已/將有申請共同專利或展開技術移轉之研發成果?若已進行，則擬
申請專利之國家或期間為何？
(五)未來雙方是否有持續合作之規劃？
本計畫執行過程中尚有上述其他項目成果。
1. 國外研究人員來台：請參見第一點內容。
2. 是否包含年輕研究人員：請參見第一點內容。
3. 研究成果發表：如第二點所述。
4. 未來持續合作規劃：已申請通過台法 NSC-INRIA Associate Team 三年期計
畫補助，持續進行未來三年的合作研究。
國科會補助計畫衍生研發成果推廣資料表
日期:2013/02/21國科會補助計畫
計畫名稱: 互動敘事中3D虛擬角色動畫與攝影機規劃的研究 計畫主持人: 李蔡彥 計畫編號: 99-2221-E-004-008-MY2 學門領域: 計算機圖學研發成果名稱
(中文) 互動敘事系統中智慧型攝影機規劃及虛擬演員動畫產生技術(英文) Technologies of Intelligent Camera Planning and Character Animation Generation for Interactive Narrative Systems
成果歸屬機構
國立政治大學發明人
(創作人)
李蔡彥技術說明
(中文) 我們在與使用者即時互動的3D虛擬環境之下，利用形態學的結構分析方法，把故 事腳本中的主要元素萃取出來，歸納出不同故事元素所組成的情境(context)與 拍攝鏡頭之間的關係規則，建立能夠讓攝影機模組讀取的情境資料模型。在即時 與玩家操作的虛擬化身(avatar)進行互動的環境下，可運用不同的動作致使故事 的發展路線改變，影響情境變化，進而產生出不同的拍攝結果。另外，根據環境 的變化及劇本的進行，系統中的虛擬演員得以自動產生可行的運動路徑與動畫， 提供實現此類創新系統的關鍵技術。(英文) For interactive 3D virtual environments, we use morphology to analyze and model the structure of a story and extract the main components in a story line. We further induce the relation between story context and camera control and develop a camera control module that can parse the context specification in a story script and generate appropriate camera motions for the given context information. In our interactive 3D envi-ronment system, a user is allowed to interact with the environment to change the development of storyline. Appropriate camera actions can be generated automatically to accommodate the run-time changes of storyline. In addition, according to the story context and scene, the vir-tual characters can autonomously generate appropriate paths and lo-comotion under the dynamic constraints of the objects in the environ-ment.
