互動敘事中自動產生符合情境的攝影機規劃 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University 碩士論文 Master’s Thesis. 立. 政治大. ‧ 國. 學 ‧. 互動敘事中自動產生符合情境的攝影機規劃. sit. y. Nat. Context-aware Camera Planning. n. er. io. for Interactive Storytelling al v i n Ch engchi U. 研究生：陳嘉豪指導教授：李蔡彥. 中華民國一百年八月 August 2011.

(2) 互動敘事中自動產生符合情境的攝影機規劃 Context-aware Camera Planning for Interactive Storytelling 研究生：陳嘉豪. Student：Ka-Hou Chan. 指導教授：李蔡彥. Advisor：Tsai-Yen Li. 立. 國立政治大學政治資訊科學系碩士論文. 大. ‧ 國. 學 ‧. A Thesis submitted to Department of Computer Science National Chengchi University in partial fulfillment of the Requirements al v i n for the degree of Ch engchi U Master in Computer Science. n. er. io. sit. y. Nat. 中華民國一百年八月 August 2011.

(3) 互動敘事中自動產生符合情境的攝影機規劃. 摘要在互動敘事(Interactive Storytelling)的應用中，適當的攝影機規劃能幫助我們呈現虛擬世界中所發生的故事。在本研究中，我們設計了一個可以讓使用者設計互動敘事的應用平台－IMStory。針對故事創作，. 治政我們提供了一個故事腳本的描述語言及其剖析器，當使用者撰寫好互大立 ‧ 國. 學. 動故事之後，系統便能夠根據故事情境內容及與使用者互動的結果產生出符合情境的自動攝影機規劃系統。在此系統中，我們建立了一個. ‧. 能夠讓攝影機理解故事腳本的關係模型，建立虛擬攝影機組態與「故. sit. y. Nat. 事情境」間的對應關係，即時找出更能表達當時情境的拍攝方式與架. er. io. n. al 設位置。最後，我們設計了一個場景劇本進行實驗，在實驗中，我們 iv. n U engchi 的系統能夠即時因應場景中角色物件的位置作出即時的攝影機規劃，. Ch. 並且能夠配合互動環境中改變的情境參數而使用適合的攝影模組，產生出符合攝影學法則且賦有敘事能力的鏡頭。透過我們的方法，希望能提供一個更加有敘事能力的互動敘事平台。.

(4) Context-aware Camera Planning for Interactive Storytelling Abstract. In an 3D interactive storytelling system, virtual camera is the key for us to understand what happens in the virtual world. In this thesis, we have designed an intelligent camera planning system for interactive storytelling, in which story plots are. 政治大 it is essential to utilize real-time camera control to express the story for given spatial 立. influenced by the user’s actions. Since the story flow cannot be determined in advance,. relationships between characters and objects. A script language and its parser were. ‧ 國. 學. designed for our storytelling system (IMStory) to describe events in the story as well. ‧. as the contexts associated with the events to model the properties of a story for. sit. y. Nat. camera control. We have developed a camera planning system by mapping contexts. io. er. parameters into appropriate camera control parameters. We have implemented the 3D interactive storytelling system and demonstrated its capabilities with several examples.. al. n. v i n The camera planning system is C shown to perform in real h e n g c h i U time, and the generated shots. are more expressive in establishing the relation between camera configurations and story context..

(5) 致謝知道口詴通過了的那一瞬間，我心裡盡是興奮和感激。終於，來到了這一天。. 首先，我最感激的，是我的指導教授──李蔡彥老師。自從大四推甄申請成功，進入李老師指導的 IMLAB 後，這三年來的過程中，與老師的互動讓我學習到不單是研究上的能力，還有的是做事的態度，老師成為了我心目中＂成功的典範＂。我很感激老師對我的不離不棄，我每一刻的怠慢總會受到老師的鞭策，也在我的研究和論文上花費了大量的時間和精力，而不管是否學業上的遇到的難題，. 政治大. 老師更是願意耐心地傾聽以及提供意見協助，沒有李老師的指導，今天我可能還. 立. 未能寫出這份碩士論文出來，也可能繼續是個沒有甚麼能力的平傭的人。衷心地. ‧ 國. 學. 感謝老師這三年來的教導。. ‧. 我在臉書上有一本名為「一起研究一起宅」的相本，裡面有著我與 IMLAB. sit. y. Nat. 的大伙們相處共聚的照片。正因為這三年來有著各位實驗室的伙伴們陪伴著，我. al. er. io. 才得到這樣一個溫馨歡樂的環境讓我可以調濟生活上的壓力。感謝阿雷、強哥、. v. n. IMLAB 之神紅虫、林岳黌、阿踫踫、伊亮、小 cow 這些強者學長們的照顧，特別. Ch. engchi. i n U. 是阿踫踫、小 cow、紅虫與林岳黌，在我進來實驗室後給予我亦師亦友的幫助。再來需要道謝的是 ys、小泰兩位與我共渡了六年多時間的同學，在這期間有著你們的互助互勉，讓我在荊棘中順利地走過，謝謝你們的聆聽與分享。然後很衝的阿衝、胖達博士、正妹順貞、教我寫網頁的凱新、為人正直的小顧、細心認真的師大一師、陪我吃宵夜打電動現在遠在美國的師小愛、美聲鈍鈍、貼心溫柔的 Aiko、上進的阿呈、型男小夫…等等，所有 IMLAB 傑出的伙伴們，要不是實驗室裡有你們與我分享著種種歡笑與淚水，我的研究所生活便不會這麼多姿多彩。有幸我們都是李老師的指導學生，我們一起在 IMLAB 裡成長著，以後大家前程一定一片光明。.

(6) 感謝熱舞社的一班朋友們，讓我還能夠在研究之餘享受到音樂與舞蹈的熱情，也體諒我沒有時間認真地練舞，與你們這群朋友在一起，是生活中特別溫馨的一種體會。. 還有我遠在家鄉澳門的父母，妹妹和弟弟，每當我想念你們是，這往往是我更加發奮的動力，感謝你們體諒我一年才回家兩次。而每每的支持和問候，我都十分珍惜。. 另外在澳門的嘉慧、Susie、李靜、潔少、我的死黨阿徐、李藝杰、文仔等等. 政治大. 一群遠遠地為我加油打氣的朋友們，謝謝你們每一位。. 立. 最後，我要感謝莉莉，碩三這段最艱難的時間一直陪在我身旁，就算是整天. ‧ 國. 學. 宅在實驗室，妳也願意陪著我一起宅。感謝妳送來實驗室給我的每一個便當、每. ‧. 一杯飲料和宵夜，更感謝妳的包容與體諒，我是過著如此無聊無趣的生活，妳也. y. Nat. 不嫌棄這種枯燥乏味，付出無限的時間與耐性。我永遠記得你在我口詴前一晚送. 乏耐性與壞脾氣。感謝妳帶來的一切。. n. al. Ch. engchi. er. io. sit. 來的打氣宵夜，伴我渡過了最緊張的一個漫漫長夜。請原諒我過去的不體貼、缺. i n U. v. 以上提到的人對我來說都很重要，我能走到今天，也全靠你們。還有很多人在這裡不能盡數，我要跟每一位幫助過我、支持過我的人致謝。感謝你們！.

(7) 目錄第1章. 導論 ................................................................................................................................. 1. 1.1.. 研究動機 ............................................................................................................................... 1. 1.2.. 研究目標 ............................................................................................................................... 2. 1.3.. 本論文之章節架構 ............................................................................................................... 4. 第2章 2.1.. 相關研究 ......................................................................................................................... 5 虛擬攝影機的架設 ............................................................................................................... 5. 2.1.1.. 攝影手法 .......................................................................................................................... 5. 2.1.2.. 攝影機運動規劃 .............................................................................................................. 6. 2.2.. 互動數位敘事 ....................................................................................................................... 7. 2.3.. 互動敘事中的攝影機規劃 ................................................................................................... 9. 第3章. 政治大. 使用形態學的數位敘事 ................................................................................................ 13. 立. PROPP 的故事公式 ............................................................................................................... 13. 3.2.. 互動故事腳本的建立 ......................................................................................................... 14. 3.3.. 情境參數 ............................................................................................................................. 17. ‧ 國. 攝影機說故事 ............................................................................................................... 21. ‧. 第4章. 學. 3.1.. 問題描述 ............................................................................................................................. 21. 4.2.. 敘事運作 ............................................................................................................................. 21. 4.3.. IMSTORY 系統架構 ............................................................................................................... 23. 4.4.. EVENT GENERATOR ................................................................................................................... 24. 4.5.. CINEMATOGRAPHER .................................................................................................................. 25. al. er. io. sit. y. Nat. 4.1.. 4.5.3.. Photographer .................................................................................................................. 30. 4.5.4.. 攝影機模組 .................................................................................................................... 33. 4.5.5.. Editor............................................................................................................................... 34. 4.5.1.. 4.6.. n. 4.5.2.. v i n Ch Director ........................................................................................................................... 26 U i e h n gc Decision Making ............................................................................................................. 27. 使用者互動模式(USER INTERACTION) ..................................................................................... 37. 4.6.1.. Avatar Navigating Mode................................................................................................. 38. 4.6.2.. Storytelling Mode ........................................................................................................... 42. 第5章. 實驗結果與討論 ............................................................................................................ 45. 5.1.. 系統實作 ............................................................................................................................. 45. 5.2.. 實驗場景 ............................................................................................................................. 47. 5.3.. 實驗一：基本的攝影機自動規劃能力 ............................................................................. 48. 5.3.1.. 實驗設計 ........................................................................................................................ 48.

(8) 5.3.2. 5.4.. 實驗結果與討論 ............................................................................................................ 49 實驗二：情境參數影響攝影模組 ..................................................................................... 53. 5.4.1.. 實驗設計 ........................................................................................................................ 53. 5.4.2.. 實驗結果與討論 ............................................................................................................ 55. 5.5. 第6章. 使用者意見 ......................................................................................................................... 56 結論與未來研究 ............................................................................................................ 59. 6.1.. 結論 ..................................................................................................................................... 59. 6.2.. 未來展望 ............................................................................................................................. 60. 參考文獻 ......................................................................................................................................... 61 附錄 1. ............................................................................................................................................ 63 附錄 2. ............................................................................................................................................ 76. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(9) 圖片目錄圖 1. 攝影學手法範例(節錄自[2]) ......................................................................................................... 6 圖 2. 一個 LOGIC STATEMENT 例子(摘自[8]) ............................................................................................... 7 圖 3. 整合了 NARRATIVE ENGINE 與 BEHAVIOR ENGINE 的 INTERACTIVE DRAMA 系統架構(截自[29]) ................ 9 圖 4. 互動式多媒體網頁 (圖片截取自:HTTP://RABBIDS.UK.UBI.COM/GOHOME/) ...................................... 10 圖 5. 3D 虛擬環境中進行的數位互動敘事系統 MERCHANT OF VENICE (圖片來源: HTTP://WWW-SCM.TEES.AC.UK/F.CHARLES/) .......................................................................................... 10. 圖 6. PROPP 理論中一部份功能項的連接關係圖(圖片截自[14]) ........................................................ 14 圖 7. 功能項為故事劇情的抽象結構，動作事件描述了故事的具體內容 ....................................... 16 圖 8. 功能項的定義，包含了 TENSION 和對人物定義的 MIGHT 參數 ................................................ 20 圖 9. IMSTORY 互動敘事系統運作層次示意圖 ..................................................................................... 22 圖 10. IMSTORY 系統架構圖 ................................................................................................................... 24. 政治大. 圖 11. 當 CB 中有足夠的 CON 成立時，便會觸發下個 PN ................................................................. 25. 立. 圖 12. 三種不同的對話群組類型，使用三種不同的攝影機架設方式(圖片截自[21]) .................. 27 圖 13. DIRECTOR 在取得動作事件的情境參數後，由 DECISION TREE 決定拍攝效果的限制 ................ 28. ‧ 國. 學. 圖 14.二人對話之 2TALK 模組 FSM[16] ................................................................................................. 33 圖 15. 在角色對話對作中，視乎講話方與受話方角色有否特別反應而決定鏡頭的轉切。STATE.1：. ‧. 角色 A 正在說話，使用 EXTERNAL(A, B)，角色 B 有驚訝的反應，切換到 STATE.4 使用 INTERNAL(B) ...................................................................................................................................................... 34. y. Nat. 圖 16. NAVIGATING MODE 中使用者可控制 AVATAR 在場景中遊走，攝影機在化身正後方進行跟拍 .. 39. sit. 圖 17. 化身接近角落(左)，然後背向牆壁後(右)，攝影機則保持在不會發生踫撞的位置上來觀察. al. er. io. 化身 .............................................................................................................................................. 39. n. 圖 18. 正後方跟蹤拍的位置規劃 ........................................................................................................ 40. Ch. i n U. v. 圖 19. NAVIGATING MODE 中，攝影機遇到撞踫或視線被遮擋時，使用 BREADTH-FIRST SEARCH 搜尋到與. engchi. 原來位置最接近而有效的位置。 ............................................................................................... 41 圖 20. STORY-TELLING MODE 中的攝影機自動規劃 .................................................................................. 43 圖 21. 對話群組時的攝影機位置規劃 ................................................................................................ 43 圖 22. 針對動作事件的攝影機位置搜尋 ............................................................................................ 44 圖 23. 實作系統介面：STORYTELLING MODE ........................................................................................... 46 圖 24. 實作系統介面：NAVIGATING MODE ............................................................................................. 46 圖 25. 實驗場景：3D 環境(左)及其 2D 俯視圖(右) ........................................................................... 47 圖 26. PN13 至 PN18 的 STORY-GRAPH ....................................................................................................... 50 圖 27. 實驗結果示意圖：三人對話 .................................................................................................... 50 圖 28. 實驗結果示意圖：NAVIGATE MODE，藍色線段為操作化身行走的路線 ................................. 51 圖 29. 實驗結果示意圖：使用者互動影響角色位置後的攝影規劃 ................................................ 52 圖 30. 實驗結果示意圖：情境參數影響攝影模組 ............................................................................ 55 圖 31. 人物介紹(左)及前情提要(右)畫面截圖 ................................................................................... 56.

(10) 表格目錄表格 1. 七個情境參數，建立場景中故事事件與攝影機如何拍攝的對應關係 ............................... 17 表格 2. 搜尋攝影機路徑所花費之時間列表(單位：秒) .................................................................... 49 表格 3. 實驗場景在實驗中使用的情境參數：FUNCTION GROUP 的使用 ............................................. 53 表格 4. 實驗場景在實驗中使用的情境參數及預期效果：單項 AE 使用的情境參數 .................... 54 表格 5. 經 DECISION MAKING 程序後得到的攝影模組參數 ................................................................... 55. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(11) 第1章. 導論. 1.1. 研究動機. 3D 虛擬世界近年來有廣泛的應用，包含電腦動畫、電腦遊戲、導覽系統、商業、或醫療等領域都有不錯的發展。如何透過圖像介面讓真實世界中的使用者與 3D 虛擬環境進行有效的溝通或互動，一直是個研究的問題。其中，虛擬攝影機的使用扮演了相當重要的角色。. 立. 政治大. 虛擬攝影機是一種視覺上敘事的工具，向觀眾或使用者表達在虛擬環境中發. ‧ 國. 學. 生之事件的意義。而關於在虛擬環境中如何架設攝影機，一直存在著幾個研究的. ‧. 議題[9, 11]。例如，如何在即時環境中進行動態的攝影機規劃[4]？如何提供較好. y. Nat. 的觀看角度，避免拍攝時的障礙物阻擋[25]？如何以攝影學手法拍攝虛擬世界中. n. al. er. io. 常見的問題。. sit. 的故事等[12, 23]，或是互動環境中的攝影機規劃[30]，都是在虛擬攝影機規劃中. Ch. engchi. i n U. v. 近年來，互動數位敘事(Interactive Digital Storytelling, IDS) 是數位內容相關研究中一個重要的研究主題。在互動數位敘事的系統裡，內容設計者可以透過多樣的腳本內容，配合適當的互動方式，讓使用者在使用系統的過程中，因為即時互動所產生之不可預期的結果，進而感受到更具趣味性的故事內容和個人體驗。. 日常生活中，最普遍的視覺敘事媒體就是電影，＂有別於其他的媒體，電影. 最大的特點是透過鏡頭(Shot)來說故事，「透過一連串影像的並置，藉著鏡頭之間的對立在觀眾心底所引起的反應，來將故事往前推衍」(Theory of Montage)＂[20]。. 1.

(12) 當然，在以 3D 虛擬世界為主的互動數位敘事，虛擬攝影機是故事表達的重要工具，也是本研究的主題。. 一般而言，虛擬環境中的攝影機架置的方式主要分為以下兩種：第一人稱攝影機：如大部份的射擊遊戲如 Half Life、Call of Duty 系列等。這些遊戲直接把攝影機架設在玩家控制的角色身上，讓玩家如同親歷其境一樣，由攝影機代表玩家角色在場景中所看到的畫面。這樣的攝影機架置的好處是不需要進行規畫，因為完全由玩家來控制攝影機的角度視線。但第一人稱攝影機使用在. 政治大家處於主觀角度上，在故事情節方面，玩家無法理解客觀角度上的故事資訊，如立. 數位敘事上，往往不能把故事內的資訊清楚表達，因為第一人稱攝影機會限制玩. 不清楚玩家角色的心理狀態及情緒表情等。如 M. Mateas 及 A. Stern[27]的”Façade”. ‧ 國. 學. 互動系統就是使用第一人稱的方式在場景中操作。. ‧. 第三人稱攝影機：就是以第三人稱的角度去進行拍攝，虛擬攝影師則是處在. y. Nat. sit. 場景中一個不存在角色的位置來對場景進行觀察，也就是所謂的客觀角度。攝影. n. al. er. io. 機隔著適當的距離拍攝虛擬環境中的化身，並依據使用者與環境的互動來改變攝. i n U. v. 影機的角度與位置，攝影機位置的變化可能是連續的跟蹤拍攝(Tracking)，也可能. Ch. engchi. 是在兩個不同的位置上進行畫面的切換。由 M. Cavazza, D. Pizzi 等人帶領的 Intelligent Virtual Environments Research Group 開發的”Charbis”、”Bovary”[7]互動系統則是使用第三人稱攝影來呈現環境的。. 而在互動數位敘事中，攝影機就代表了影像的敘事者，故其拍攝方式就如同一般電影一樣，應具有強烈的表達性，才能更佳地讓使用者了解故事的整體。. 1.2. 研究目標. 2.

(13) 本研究的目標，是希望在與使用者即時互動的三維虛擬環境 (3D virtual environment)之中，利用形態學(Morphology)的結構分析方法，把故事腳本中的主要元素萃取出來，歸納出不同故事元素所組成的情境(context)與拍攝鏡頭之間的關係規則。透過故事情境資料模型的建立，我們讓攝影機能掌握故事的情節及與使用者互動的過程，進而即時計算適合的攝影機控制方式，呈現 3D 環境中的故事。我們希望玩家能透過操控虛擬化身(avatar)與環境進行互動，以不同的行動與選擇致使故事的發展路線改變，進而影響故事情境的變化，由我們所設計的攝影機規劃系統動態產生適合的拍攝結果。要達到這個設計目標，我們的系統需要做到以下四項工作：. 立. 以形態學方法分析故事腳本：. 學. ‧ 國. . 政治大. 電腦難以理解故事內容的語意，我們必需把整個故事腳本結構化處理。在此. ‧. 我們使用 V. Propp[28] 提出的形態學分析方法，以角色 (character) 及功能項. y. sit. n. al. er. io. 係模型。. Nat. (function)這兩個結構元素來分析故事中的事件，以建立故事中重要元素之間的關. . Ch. 建立情境與鏡頭間的關係模型：. engchi. i n U. v. 此為本研究的核心工作，為了讓拍攝效果更加理想，我們必需建立故事內容與拍攝方法間的關係模型。在過去關於攝影機規劃的相關研究中，拍攝效果未臻理想的原因之一，是在規劃過程中，只單純考慮單一時間點中單獨片段的空間關係，卻缺少判斷場景的情境因素和故事的連續性。舉例來說，同樣是兩個人在對話，對話內容是輕鬆的或是讓人感到緊張的，都會影響到拍攝的角度或使用特寫的頻繁度。因此，我們需要設計一個拍攝方式與情境類別能夠對應的關係模型出來，增加攝影機規劃對故事內容的認知能力。. 3.

(14) . 符合攝影學準則的拍攝手法：虛擬攝影機可以作為一種視覺上的敘事媒體，向觀眾或使用者表達在虛擬環. 境中發生之事件的意義。利用攝影學上已經歸納出來的基本拍攝手法，達到更好的表達效果。我們實作了基本的拍攝模組，跟蹤拍攝、人物對話時常使用的過肩拍和特寫鏡頭，配合情境與鏡頭的關係模型，在故事的發展中配合適當的考量來進行切換鏡頭，讓拍攝效果兼具視覺性和內容表達性。. . 設計符合觀眾角度的互動模式：. 政治大數位互動敘事不同於一般電腦遊戲，在一般遊戲中，玩家只會注意自身控制立. ‧ 國. 學. 的人物角色的能力、外觀和遊戲模式，較少注意到故事的表達。在互動敘事中，我們重視的是使用者能否清楚地接收系統所表達的故事內容，也就是導演的角色. ‧. 功能，而有效的互動能夠讓使用者更加投入故事當中，讓使用者有身歷故事其中. sit. y. Nat. 的感覺。因此，在系統互動方面，需要有較為簡單、對使用者較為直覺的操作方. al. n. 地觀看故事劇情。. er. io. 式；在系統進行的過程中，也需要讓使用者了解其何時可主動操作，何時應被動. Ch. engchi. i n U. v. 1.3. 本論文之章節架構. 接下來第二章中，我們會介紹跟本研究相關的知識與過去文獻中的研究成果，主要為數位互動敘事系統中攝影機規劃的相關研究。在第三章中，介紹了形態學如何運用在數位互動敘事系統中的相關研究。接下來第四章為本研究的系統架構與主要使用之方法。第五章會進行實驗結果的討論分析。第六章則是本研究的結論及未來的研究規劃。. 4.

(15) 第2章. 相關研究. 在本章節中，將回顧與本研究相關的研究文獻、方法與成果。在過去的相關研究中，有相當多的研究著力於攝影機即時自動規劃的議題上，但在敘事的層面上，對虛擬環境中情境的分析卻缺泛深入的探討和分析。以下分為三個部份，在第一部份中將介紹近年來虛擬攝影機進行規劃的演算法機制。第二部份則是對數位互動敘事系統的簡介。第三部份將介紹數位互動敘事中虛擬攝影機規劃的研究，及其背後所採用的方法機制。. 立. 政治大. ‧ 國. 學. 2.1. 虛擬攝影機的架設. sit. y. Nat. 要求：. ‧. A. Jhala 和 R.M. Young 在[19]中指出實作自動的攝影機規劃系統需達到下列. 2.. 為了避開障礙物和拍攝目標，攝影機需要了解動態虛擬世界環境裡的. n. al. er. 透過鏡頭的安排，能夠準確表達故事情節，並描述其中的因果關係；. io. 1.. 物理狀態； 3.. Ch. engchi. i n U. v. 需按照統一的敘事修辭機制來呈現畫面，讓劇情中描述的重點得以一致；. 4.. 讓鏡頭在敘事上保持時間上的連續性；. 故為了達到敘事的效果，攝影機的規劃需要加入更多的考量。. 2.1.1. 攝影手法. 5.

(16) 在一個鏡頭中，除了包含該場景內所需表達的事物外，還需要符合攝影法則，這些攝影法則是為了讓前後兩個鏡頭之間的連接達致視覺上的協調而定立的。在 [2]中歸納出一系列在拍攝電影時常用的攝影機擺設方法，這些攝影機擺設方法稱為「攝影手法」，並指出了這些攝影機攞設方法都會遵守一些共通的法則。例如在同一場景中，為了避免令觀眾產生方向的錯亂感，攝影機的架設位置通常不可以跨越由角色動作所構成的動向線(Line of Interest，簡稱 LOI)。如圖 1 所示，角色 A 正與角色 B 正在進行對話，則 A 與 B 之間便會組成一條 LOI，在攝影機位置進行切換時，需要保持在 LOI 的同一則，而避免跨越到另外一則，讓觀眾混淆了角色的位置。. 3. 1. 學. ‧ 國. 立. 政治大. A. n. y er. io. al. 3. sit. Nat. 2. ‧. LOI. B. 2. 1. Ch. engchi. i n U. v. 圖 1. 攝影學手法範例(節錄自[2]). 2.1.2. 攝影機運動規劃早期的攝影機規劃只定義在簡單的幾何問題上。最早的自動攝影機系統為 J. Blinn[5]所建立。在此系統中，需要目標在世界座標裡的位置、目標物體在畫面上的位置、攝影機的向上向量(up-vector)、攝影機的光圈孔徑，來計算攝影機應該擺放的位置。在近年來有關自動攝影機規劃的研究當中，攝影機的研究逐漸被歸納出更高階的問題。在 M. Christie [8, 10]研究中，把攝影機的空間幾何屬性分 6.

(17) 類，對空間進行維度的切割，然後重新組成更加符合電影攝影術語的一些屬性(如遠鏡，A 角色要在 B 角色右方等…)，並定義了一套可以直接指定空間和時間限制的高階語意(如圖 2)，讓使用者能夠更加直觀地使用該系統，下達對攝影鏡頭的個別需求。在[24]中，更是提供了多種風格的拍攝模式供使用者即時切換。. 圖 2. 一個 logic statement 例子(摘自[8]). 政治大街圖法(Roadmap)或隨機街圖法(Probabilistic Roadmap, PRM)與視覺伺服法(Visual 立. 近年來有關攝影機運動規劃的研究方法中，主要有位能場法(Potential Field)、. serving)等方法。其中，隨機街圖法在即時的動態環境中有著較快的搜尋速度，. ‧ 國. 學. 亦因為攝影機的擺設位置按拍攝目標的可視程度而粗略定位即可，不需要太細緻. ‧. 準確的位置角度，故隨機街圖法亦適用於攝影機運動規劃上，而使惰性隨機街圖. n. al. er. io. sit. y. Nat. 法(Lazy PRM)更能提高在搜尋過程中的效率[20]。. 2.2. 互動數位敘事. Ch. engchi. i n U. v. 互動數位敘事是近年來較為熱門的一個研究領域，2009 年由英國 University of Teesside 主導的 IRIS1研究計畫，其目的為了發展與整合互動數位敘事中的技術，在這個計畫中，研究了各種有關數位敘事中不同層面的問題，例如創新的虛擬實境互動方法、非線性故事的自動創作、攝影機規劃以致數位敘事系統的必要系統模型等等的問題，都在這個計畫中有進一步的研究與討論。. 1. IRIS(Integrating Research in Interactive Storytelling)，由來自 7 個不同城市的 10 個組織所組成。 http://iris.scm.tees.ac.uk/about 7.

(18) 互動數位敘事讓使用者有決定故事如何發展的權力，由於互動數位敘事在應用或互動層面上有較大自由度，故互動數位敘事系統並未有較為明確的系統架構規範。我們可根據系統的敘事導向，把互動數位敘事分為兩大類：以角色人物為基礎(Character-based)和以故事為基礎(Story-based)。. 在以角色人物為基礎的敘事系統中，故事如何進行是以角色為敘事的個體。在此類敘事系統中，角色都會被賦予一些特定的任務(task)，藉著設計具自主能力(autonomy)的角色行為，讓角色自動地行動，執行其已給定的任務，從而產生角色與角色間的互動，成為故事內容。在[6]中，角色會擁有自己的階層式任務. 政治大. 網路(Hierarchical Task Networks，簡稱 HTN)，以階層方式紀錄了各個階段要達成. 立. 的任務。M. Mateas 與 A. Stern[27]開發的互動戲劇(interactive drama)系統，在此. ‧ 國. 學. 系統中，結合了自主性角色 (autonomous characters) 、戲劇管理 (drama management)、自然語言處理(natural language processing)這幾項元件，讓玩家能. ‧. 夠在互動的過程中感受到較豐富的戲劇效果。. sit. y. Nat. al. er. io. 以故事為基礎的敘事系統則是以故事或事件作為敘事的單位，通常會有一個. v. n. 敘事引擎(narrative engine)來控制系統的進行，負責產生故事事件，與以角色人. Ch. engchi. i n U. 物為基礎的系統相比，則較為著重於故事性。N. Szilas[29]提出了一互動敘事系統的架構(見圖 3)，在此架構中，由一個互動戲劇引擎(interactive drama engine)按照手動撰寫的劇本產生故事事件，管理人物之間發生的事件，告知行為引擎 (behavior engine)產生人物動作等。而在[13]中，C. Crawford 則對於以演算法產生出來的故事表示不能認同，在此研究中，他發展並實作了”Erasmatron”這個故事引擎，在系統中主要以動詞(verb) 作為故事組成的基本元素，詴圖想要平衡以角色人物為基礎與以故事為基礎的敘事系統間的矛盾。. 我們的研究目的則是希望能夠建立故事的情境模型參數與攝影機規劃間的關係，敘事系統的規劃能力或是代理機器人(agent)的自主能力則不是本研究的重 8.

(19) 點，故系統中的代理機器人只有簡單的路徑規劃能力。情節如何發展、角色如何行動則是由系統按照故事腳本中由作者撰寫的事件來決定。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. n. al. er. io. 圖 3. 整合了 narrative engine 與 behavior engine 的 interactive drama 系統架構 (截自[29]). Ch. engchi. i n U. v. 2.3. 互動敘事中的攝影機規劃. 早期的互動敘事由於受到技術的限制，所以只有出現一些簡單的網頁遊戲 (如圖 4)。例如，作者撰寫不同的故事支線情節放在網頁上，使用者則只要在網頁上點選不同的連結以進行不同的支線劇情，但是這種簡單的互動故事模式，由於內容是預先撰寫好的，只能由使用者選擇故事的走向，使用者的互動其實卻不能改變故事所表達的內容。而隨著人工智能的成熟和電腦動畫的發展，以虛擬環境為表現介面，內容更豐富的互動敘事系統(如圖 5)，正蓬勃發展中。這類虛擬 9.

(20) 環境中的動作、事物，都需要透過虛擬攝影師(virtual cinematographer)來決定哪些資訊要顯示在螢幕介面上。. 政治大. 圖 4. 互動式多媒體網頁立. ‧. ‧ 國. 學. (圖片截取自:http://rabbids.uk.ubi.com/gohome/). n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 5. 3D 虛擬環境中進行的數位互動敘事系統 Merchant of Venice (圖片來源: http://www-scm.tees.ac.uk/f.charles/). 10.

(21) 在較複雜的 3D 動態環境中，由於不易掌握場景中動態物件在系統進行時的動作，若使用者要清楚地了解環境中的資訊，則需要透過即時(real-time)規劃的攝影機系統來向使用者呈現畫面。L.-W. He 的[16]是第一個探討在即時環境中攝影機自動規劃的研究，並加入了電影攝影的美學觀念，此研究透過有限狀態機 (final state machine)的設計來實現對話情境中攝影機的轉切。W.H. Bares[3]在他的 3D 互動敘事系統中，使用基於限制的(constraint-based)方法來解決鏡頭的問題。但在 L.-W. He 與 W.H. Bares 的研究成果看來，我們可得知這些研究主要只針對一些簡單的人物對話或行走的拍攝方法，未能考慮故事情境，拍攝效果較為單一。. 政治大. M. Cavazza 與 F. Charles[27]於 2002 年發表的以角色為基底的互動敘事系統中，. 立. 建構出一可以即時根據環境變化來進行規劃的攝影機系統；在動態環境當中，亦. ‧ 國. 學. 有能力處理在相同時間點中發生的不同事件。但此攝影系統則沒有對鏡頭進行篩選，因此常有多餘的畫面擾亂了使用者的觀感。. ‧ sit. y. Nat. 為了讓攝影規劃更富有視覺藝術的效果，模組化攝影機的拍攝方式，可以讓. al. er. io. 攝影機的拍攝規劃更加直覺，並讓使用者能夠以一般攝影學方式來要求系統如何. v. n. 進行攝影規劃。D. Amerson 和 S. Kime[1]提出”FILM”(Film Idiom Language and. Ch. engchi. i n U. Model)的系統，以電影攝影學技巧來建構攝影機擺放規則，利用 FILM 描述語言建立出一個包含攝影模式(idioms)的場景樹(scene tree)，供敘事規劃找出符合當時場景限制的攝影模式，但是 FILM 語言明確地標示了每個事件讓使用的拍攝方法，我們覺得這樣的設計對於故事的表達則缺乏自動化的彈性。 A. Jhala 和 R.M. Young[18]使用邏輯推理的”DPOCL”演算法，當建立好故事腳本裡的事件節點(event node)後，透過 DPOCL 的計算，可建立事件節點間的連接關係－因果連結(causal link)，從而把場景中的限制加入到攝影機的模組中，讓攝影機進行即時的動態規劃。另外，在 A. Hornung[17]的研究中，嘗詴把虛擬環境中的腳本資訊與攝影機的呈現方式建立其轉化關係，實作出即時的自動攝影機規 11.

(22) 劃系統。然而，在 A. Jhala 和 A. Hornung 這兩份研究當中，我們能觀察到其引入了故事劇情的元素，如事件發生的因果關係和情境屬性這類元素，作為攝影機架設位置與拍攝方式的考量，這在敘事層面上對於決定攝影機的拍攝內容與方式是比較合理的。. 然而，在電影敘事的過程中，必需先了解故事的內容及其中的情節屬於何種的情境，才能決定鏡頭。綜合上述過去的研究，我們希望能設計出應用於互動敘事中的攝影機系統，並且具備即時動態規劃、理解故事情境特質、符合攝影學準則這三個方面的要求。在下一章中，我們將介紹在數位敘事中形態學的運用，說. 政治大. 明在本研究中所運用的形態學方法。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 12. i n U. v.

(23) 第3章. 使用形態學的數位敘事. 攝影機要拍攝環境中哪些事物，跟故事腳本的內容息息相關，而攝影機的角度、拍攝距離、鏡頭切換的節奏則取決於導演偏好的個人拍攝風格。雖然第 2.3 節中所述的研究都有對攝影機進行特別的模組化，但是卻欠缺對故事腳本內容的表達能力，讓拍攝出來的畫面較為呆東和缺乏戲劇性。然而以現今的語言處理技術來看，電腦仍然無法有效地理解故事劇本裡的真正內容和語意，要讓電腦系統能夠直接了解劇本來進行拍攝規劃，需要克服大量語意資料的問題，因此我們考慮從. 政治大. 另一個角度來分析劇本。要讓攝影機了解故事中描述的元素，就需要使用有系統. 立. 的方法來解析故事的結構。. ‧ 國. 學 ‧. 3.1. Propp 的故事公式. y. Nat. er. io. sit. Propp[28]嘗詴歸納出民間童話故事中的特性，他認為在俄國的童話故事裡，角色的行為是固定的，把這些行為稱之為「功能項(Function)」，並把人物的功能. al. n. v i n 項分為 31 類。在一個完整的故事段落中，很多功能項都是會成對或以組合的形 Ch engchi U 式出現的，如功能項「對主人公下達禁令」與「打破禁令」是一對組合，「與壞. 人交鋒」與「戰勝壞人」又是另一對組合，故這些功能項是會按照一定的順序排列下來的。而整個故事中的人物，經常會實現某特定系列的功能項，形成特定的行動圈，一個行動圈就構成了一種「角色」，Propp 認為民間故事中的主要角色可分為 7 種：反派壞人、協助者、救援者、公主和她的父親、派遣者、英雄和假英雄。因此「角色」和「功能」是構成故事的兩個基本元素。Propp 提出此套分析故事文本的研究理論對往後的形態學研究及結構主義者影響深遠，雖然在他的研究中存在一些未定義清楚的問題，而他所歸納出來的 31 種「功能」也無法套用在所有故事文體當中，但這卻是一種可以廣泛運用於分析故事結構成份的方法。 13.

(24) 假設我們能夠找到某一類有共同屬性的故事，便能夠從故事的情節中歸納出這類故事中共有的「功能」項。因此 Propp 的研究理論被廣泛應用在敘事結構的研究上。. 政治大. 立. ‧ 國. 學. 圖 6. Propp 理論中一部份功能項的連接關係圖(圖片截自[14]). ‧. Nat. sit. y. D. Grasbon[14]使用 Propp 的形態學方法(如圖 6)，提出一個可以讓故事作者. n. al. er. io. 設計高階劇情的系統架構，讓故事作者可以控制故事中所有的層次細節。K.. v. Hartmann[15] ，延伸 Propp 的形式主義，提出了新的動機(motivation2)分類，詴. Ch. engchi. i n U. 圖解決非線性的劇情支點問題，並提供一個視覺化創作介面讓使用者可以創作具有敘事性的宏觀架構(macrostructure)。. 3.2. 互動故事腳本的建立在本研究中，我們改編了一則短篇的推理故事－<<奇異箱>>3作為範例，進行故事的實作。故事劇本講述一名刑警片山，在上司粟原的要求下，與其喜歡解 2. 即中 Propp 定義的「功能」。 <<奇異箱>>－作者赤川次郎，生於 1948 年 2 月 29 日，日本推理小說家。此篇出自於<<三色貓系列>>。 14. 3.

(25) 謎破案的妹妹晴美，以及片山的同事石津(與晴美是一對戀人)一同參與富家女桐永治子所舉辦的一場派對。治子的丈夫－靖夫，二十年前於自家的雜物房中無故死亡，真正死因至今仍然未能解開，治子舉辦派對的目的，其實是邀請警探界的人員來替她解開丈夫死亡的真相。而片山、晴美和石津就在派對當晚巧合地留了下來在桐永家過了一夜，就在這個晚上，他們慢慢地發現了事情的真相…. 透過對推理故事的分析，參考 Propp 書中的功能項重新定義適用於推理故事的功能項，把這些新的功能項套用到我們手動撰寫的故事腳本上，以便攝影機系統對故事中發生的事件進行情境屬性分析。. 政治大我們使用 XML 來建立本研究中的故事腳本，故事腳本以場景(scene)作為故立 ‧. ‧ 國. 義)：. 學. 事的分割單位，一個場景中包含以下的元素(可見附錄 1、附錄 2 為部份 XML 定. 場景資訊：包括該場景的舞台(scene)、出場人物(character)、物件(object)資. al. er. io. sit. y. Nat. 訊。. v. n. 台詞字幕：配合人物對話，在指定的時間點描述角色的說話，亦記錄了場景中的旁白說明字幕。. Ch. engchi. i n U. 角色動作與情境資訊：以時間順序描述角色進行甚麼動作，包括行為、對話，或與物件互動。以一個動作事件(Action Event，以 AE 表示)為最基本的事件單位， AE 中描述了角色做了甚麼動作，註記了此項動作的情境參數，包括 Action Type、 Scene Type、Character Emotion 和功能項類別。. 故事發展路線：記載故事節點間的連結關係和互動事件。. 15.

(26) 按照 Propp 的理論，我們能夠把故事結構分解為一系列功能項的組合，因此功能項可視為故事的抽象結構，功能項所包含的 AE 才是故事中的具體情節，若干個情境相似的 AE 會被劃分為一個功能項群組(Function，以 Fn 表示)中，而按故事段落，連續幾個 Fn 組成一個故事節點(Plot Node，以 PN 表示)，而一個幕(scene) 中則包含了數個 PN，故事腳本的結構如所示。因為每個功能項皆有情境屬性，故在其底下的動作事件也會帶有這些情境屬性，在 4.5.1 節中將會詳細講解情境屬性與攝影機規劃的關係。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 7. 功能項為故事劇情的抽象結構，動作事件描述了故事的具體內容劇本題材屬於推理故事，由於推理故事著重於劇情的細緻內容，因此在使用者開始進行系統後，需要專注在人物對話內容和環境中的物件上，有別於一般 RPG (Role-Playing Game)，使用者不需要注重虛擬角色的能力值或是遊戲進行的. 16.

(27) 操作方法；相反地，這樣的故事更易於讓使用者集中精神在系統的內容表達與劇情發展上。. 本研究的目標在於讓攝影機系統能夠分析劇本，了解劇本內容後再將其轉化為攝影規劃上的考量與限制條件，而不是在腳本裡清楚闡明拍攝方法，直接規定攝影機如何進行拍攝。. 3.3. 情境參數. 政治大我們希望透過拍攝電影的攝影手法，來呈現敘事內容，讓內容更具戲劇性與立. 視覺張力。在[17]中定義了一組關於戲劇成份的參數，主要是用來描述一個故事. ‧ 國. 學. 事件(story-event)在敘事層面上的特性，這些參數決定了攝影機的視角觀點和需. ‧. 要使用的攝影模組。我們參考[17]，重新制定適用於本研究的戲劇成份參數，這. y. Nat. 些參數的作用主要是建立故事事件中的情境特徵以及攝影機拍攝特徵兩者之間. n. al. er. io. sit. 的關聯，我們稱之為情境參數(context parameters)，如所示。. Ch. engchi. i n U. v. 表格 1. 七個情境參數，建立場景中故事事件與攝影機如何拍攝的對應關係情境參數名稱. 值域. 描述項目(影響方面). Function Type. [Absentation,Interdiction, Violation, Find_Clue…]. 故事功能項. Object Might. 目標物重要性. Tension. 劇情張力，事件的緊湊性，在整個故事中的張力。. Scene Type. [Direct, Action, Dialogue]. 17. 場景類型。.

(28) Action Type. 動作類型。物理性動作、心理動作或是旁述動作。. [Physical/ Mental/ Predicate]. 角色的情感，有否特別的情緒需要被彰顯。. Character Emotion . Function Type 我們在故事結構中套用功能項，並對功能項定義其中的情境屬性，如此能夠. 增強故事在劇情結構層面上的特性，正因為攝影機無法真正地透過動作事件來了解當時的情境，但透過此方法便不用明確定義攝影機對於每一個動作事件的攝影. 政治大. 機參數為何，另一方面使攝影機系統能夠按照不同的情境而改變攝影風格。. 立. ‧ 國. 學. 因為從童話裡歸納出來的某些功能項並不適用於本系統的推理故事當中，故我們從 Propp 定義的 31 個功能項中引用其中的一部份，並對定義略為修改。如. ‧. ‘Unfounded Claims’－假主人公的非份要求，這項則未必不適用於推理故事當. sit. y. Nat. 中。而相較之下，在童話故事的寶物或魔法，則好比在推理故事中的案情線索，. io. n. al. er. 而魔法師等幫助主角的角色，則好比在推理故事中向偵探提供線索的證人。. Ch. i n U. v. 在我們定義的功能項中，附帶了 Object Might 和 Tension 兩項參數：. . engchi. Tension 劇情的張力。同一場景裡的鏡頭轉切，將為觀眾說明場景中所發生的事件，. 轉切發生得越頻繁，觀眾接收的訊息便越多，而且更會製造出較為緊湊的氣氛。賦予每一個動作在劇情裡的張力值，是為了讓 Photographer 決定轉切的頻率多寡，營造視覺張力。對於單一的拍攝目標，當 Tension 值越高時，同一個鏡頭會停留越短，而轉切為其他角度的鏡頭來描繪此一目標。. 18.

(29) . Object Might 角色或是物件的重要性。在情境中的重要性主要是針對功能項，在一個功能. 項裡，主詞與受詞都有著特殊含意的象徵，例如在「Receipt Of A Magical Agent」這一項中，代表著「英雄得到寶物或魔法師幫助」，在這裡，寶物或魔法師則是重要的物件，對故事本身有「幫助主角」的意義，則在此一功能項中，寶物無論為何，都有較高的 Might 值。在本研究中，攝影機架設時，Might 值決定了攝影機的使用高角去俯瞰拍攝目標，還是以低角度去仰視拍攝目標。. 以下則是定義在單獨一項 AE 裡的情境參數：. 立. Scene Type. 學. ‧ 國. . 政治大. 在同一幕場景中，會有各種事件連續發生，我們先對發生的事件進行分類，建立攝影手法與動作的關係。先按動作情境進行分類，這裡分為 Direct 場面調度、. ‧. Action 動作、Dialogue 對話或是此三種。在此只是大略地對行為進行此三類分類，. y. Nat. n. al. . Action Type. Ch. engchi. er. io. 的動作分類，以配合特定的情境需求。. sit. 但卻不可能窮舉所有動作的類型，但往後可按故事的類型需求，建立更多更細緻. i n U. v. Action type 目的是告訴 Photographer 現在的發生的動作是屬於 Physical、 Mental 或 Predicate 這三個層面中哪種動作類型，針對不同層面的動作，會使用不同的拍攝手法。Physical 物理性的行為，像是一般走路、拾起物件等，由於拍攝目標不會一直在同一個位置上，則可能使用跟蹤拍。相反，Mental 精神行為如思考、回憶等動作，沒有具體動作的靜態行為，則會使用靜態鏡頭來拍攝。而 Predicate 陳述事實這類行為，若是陳述場景位置，可以加上長鏡頭來交待環境；若是陳述物件或角色，則可使用特寫鏡頭來突顯細節。. 19.

(30)  <function name="Found_Clue" no="25"> <tension>0.88</tension> <target name="A" type="ACTOR">  <might>0.78</might> </target> <target name="B" type="STUFF">  <might>-0.8</might> </target> </function>. 圖 8. 功能項的定義，包含了 Tension 和對人物定義的 Might 參數. . Character Emotion. 政治大達角色的情緒，強調情感，此時，往往會使用特寫鏡頭來描述角色的表情，把場立. 這裡的角色情緒，主要出現在戲劇性的內容當中。在戲劇故事當中，需要表. ‧ 國. 學. 景其中一個角色予以孤立，使其有強調的效果。例如在雙人對話的鏡頭中(如圖 15)，角色 A 正在與角色 B 對話，雖然角色 A 持續保持講話動作中，但角色 B 此. ‧. 時因為 A 的說話而感到驚訝，作出了一個明顯的驚訝表情，為了要強調角色 B. sit. y. Nat. 的表情，攝影機便會轉切到角色 B 身上並使用特寫鏡頭。加入 Character emotion. io. n. al. er. 參數，作為何時頇對拍攝目標使用特寫鏡頭的考量依據之一。. Ch. engchi. 20. i n U. v.

(31) 第4章. 攝影機說故事. 在互動數位敘事系統中，使用者一方面要操作角色化身(Avatar)在虛擬環境中行動，與系統進行互動，但在這之前卻需要了解虛擬世界中所呈現的意義才能決定之後該如何行動。透過鏡頭向使用者呈現故事內容，我們希望數位敘事系統中的攝影機能夠有自動規劃的能力，一方面免除使用者除了控制化身外還需花費額外的心力在控制攝影機的鏡頭上，另一方面則是讓系統有更好的表達能力，在即時互動的情況下，產生能夠配合劇情的拍攝鏡頭，讓攝影機成為更佳的敘事者。在. 政治大. 規劃即時攝影機路徑的問題中，先是要考量攝影機的拍攝方式，根據拍攝目標的. 立. 運動來判斷攝影機的動作，如跟拍(track)、靜態鏡頭(static)、或是進行轉切(cut)。. ‧ 國. 學. 接著則是決定攝影機的視角觀點(viewpoint)，而視角觀點往往是決定於拍攝目標在場景中的情境特性，把畫面中的重點突顯出來，並在場景允許的情況下，盡可. ‧. 能滿足視角觀點的條件。. n. al. er. io. sit. y. Nat 4.1. 問題描述. Ch. engchi. i n U. v. 要在即時互動中提供攝影機系統有關場景及情境的資訊。這裡存在兩個層次的資訊關係，一是故事腳本中必頇要明確定義角色物件間發生事件的關係，也就是故事如何發展。而第二層則是場景所包含的情境資訊與拍攝手法的對應關係，故必頇要透過形態學的方式來定義結構化的故事腳本，才能讓攝影機針對情境的變化作出適當的即時規劃。. 4.2. 敘事運作. 21.

(32) 在我們的互動敘事系統運行過程當中，分別有「系統設計者」、「互動故事創作者」以及「故事體驗者」這三個層次的應用，圖 9 表示這三者間的關係。. 立. 政治大. ‧. ‧ 國. 學 y. Nat. al. er. io. sit. 圖 9. IMStory 互動敘事系統運作層次示意圖. v. n. 系統設計者：就是系統的開發者，負責制定系統的運作原理，進行實作。. Ch. engchi. i n U. IMStory 系統便是相對於系統設計者的產物。在 IMStory 系統中，我們內建了一些基本的動作資料(motion data)，以產生角色動作。現階段只有提供對話、行走與坐下三種基本動作。在腳本方面，我們也定義了腳本的格式(script scheme)，讓互動敘事設計者可以按照系統要求的格式來撰寫互動故事劇本。. 在運作過程中，IMStory 負責產生動作事件、攝影規劃，繼而產生動畫畫面以及提供圖形使用者介面(GUI)讓互動敘事體驗者跟系統進行溝通。. 互動敘事設計者：相對於是故事的作者。當互動敘事設計者想要創作一個互動故事時，他可以利用我們系統提供的腳本格式來撰寫腳本內容，包括場景、角 22.

(33) 色(包含 3D 模型檔案)、動作事件、情境參數以及故事的發展方式。最後撰寫成一份 XML 格式的腳本讓 IMStory 進行文件剖析動作。. 互動敘事體驗者：系統的玩家，體驗故事的人。透過使用者介面與系統進行互動，影響故事的發展路線。. 實際上，互動敘事設計者就是透過撰寫腳本，讓故事的體驗者能夠在 IMStory 平台上體驗他們所創作的故事。. 4.3. IMStory 系統架構. 立. 政治大. ‧ 國. 學. IMStory 在即時環境中主要由兩個元件來進行運作。如圖 10 所示，第一個模組是 Event Generator，負責產生動作事件，亦負責把腳本上的對白和字幕訊息. ‧. 按照指定時間顯示在螢幕上。另一個模組則是 Cinematographer。Event Generator. y. Nat. sit. 把環境中發生的 AE 傳給 Cinematographer，Cinematographer 判斷該情境對應的. n. al. er. io. 攝影機模式，給出攝影機在規劃拍攝該事件時需要符合的規則。最後，故事事件. i n U. v. 交由 Film Controller 控制角色產生動作，而攝影機則按照 Cinematographer 給予的. Ch. engchi. 規則來進行規劃，最後 Rendering 則交由 IMHAP[22]來負責。接下來將詳細介紹系統運作的原理及各個元件的主要作用。. 23.

(34) 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 10. IMStory 系統架構圖. 4.4. Event Generator. Event Generator 會先讀入故事腳本中的事件節點，如上一章提及，故事描述在 AE 中，而 PN 則可視為故事情節的分歧點。PN 中包含了可連結到其他哪些節點及其連結成立的條件，根據這兩項元素，便能建立出一張事件發展的網狀圖 (Event-graph)。在使用者與環境進行互動操作的模式中，Event Generator 根據使用者的行動而到達不同的 PN 中，按序抓取其中的 AE 出來，一方面把該 AE 傳送 24.

(35) 給 Cinematographer 進行攝影規劃，另一方面則通知 Film Controller 產生角色的動作。. 每個 PN 中，存有到其他哪些 PN 的連結資料，也記載了讓這些連結(以 lnk 表示)成立的連結條件 (Link Condition，以 con 表示)。當系統載入一個 PN 時，該 PN 中的 con 會被放置到條件庫(Condition Base，以 CB 表示)內。每當使用者觸發的事件後，CB 會檢查這個事件會促使哪些 con 成立，更新所有的條件邏輯。假設系統正在執行第 i 個故事節點 PNi，而 PNi 中已經沒有 AE 時，即代表 PNi 已結束，此時 CB 會檢查[lnki+1, lnki+2, lnki+3…] ，若 lnki+2 中所記載的條件[cona, conb, conc...]. 政治大. 全部成立，則 Event Generator 便會跳至 PNi+2，取得 PNi+2 中的動作事件(如圖 11)。. 立. 而在劇本設計方面，應避免兩個或以上的 lnk 同時成立而產生混亂。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 11. 當 CB 中有足夠的 con 成立時，便會觸發下個 PN 另外，我們需要保證故事能夠順利發展下去。因此，當使用者可能因為不清楚應該以甚麼動作繼續操作時，在環境中久久沒作出有效的動作時，系統則頇要適度提示使用者如何繼續故事進行，以保持故事的節奏和流暢度。. 4.5. Cinematographer 25.

(36) 在實際製作電影的過程中，導演會指示攝影師運用哪些拍攝手法，決定要呈現哪些畫面。在 Cinematographer 模組中，就是進行決定拍攝方式這項工作。在這裡我們參考了[17]的研究，設計了一套 Decision Making(DM)的程序，使用者可以把 DM 視為一個黑盒子程序，其目的是為了建立情境與運鏡的對應關係。把每一個 AE 中描述的情境參數傳輸入到 DM 進行計算，便會得到攝影機架設的視點與位置組態。當 Event Generator 在偵測使用者的動作與及產生新的事件同時，會與 Cinematographer 進行溝通，由 Cinematographer 決定攝影機模組的狀態。. 而在 Cinematographer 模組中，我們又把決定鏡頭的工作過程分為三個部份. 政治大. [21]，按過程的順序分別是 Director(導演)、Photographer(攝影師)和 Editor(剪輯師). 立. 三者。. ‧ 國. 學 ‧. 4.5.1. Director. y. Nat. sit. 決定場景中的人物關係與動作該如何呈現在銀幕上，向觀眾表達意義，是導. n. al. er. io. 演的工作。在 Cinematographer 中，Director 的工作是決定場景中適合攝影機架. i n U. v. 設的區域，在這裡我們稱為有效拍攝區域，以 Svalid 表示。針對一項 AE，Director. Ch. engchi. 產生出一個或以上的 Svalid，讓 Photographer 再從這些 Svalid 中找到最佳的拍攝位置，亦即攝影機組態。. 動作的類型決定了有效拍攝區域的形態，而且拍攝區域亦盡量需要符合攝影法則，以保持觀眾視覺的一致和諧。在一般的對話模組方面，我們使用[21]中設置於對話群組中拍攝區域的方法(如圖 12)，而針對走路所使用的跟蹤拍法，我們亦有實作對應的方法，將於第 4.6 節中配合使用者的互動過程作更詳細的說明。. 26.

(37) 政治大. 圖 12. 三種不同的對話群組類型，使用三種不同的攝影機架設方式(圖片截自[21]). 立. ‧ 國. 學. 另外， Director 亦負責建立情境參數與拍攝手法的對應關係。當 Cinematographer 接收到新的 AE 時，Director 會針對此 AE 所包含的情境參數進行. ‧. Decision Making 的處理。. n. al. er. io. sit. y. Nat 4.5.2. Decision Making. Ch. engchi. i n U. v. 根據 Propp 的分類，我們把一個情境視為一個不變的功能項，加上一個或多個可變的角色或物品所組成的，而一個功能項又可能是一系列行為動作的集合。如「巫師贈給伊萬一艘小船4。小船將伊萬載到另一個王國」、「老人贈給蘇欽科一匹馬。馬將蘇欽科馱到了另一個王國」。由這些例子可以看出，變化的是人物及贈送的物品，不變的則是贈送及幫助的動作。. 而對於攝影機而言，主要影響拍攝因素的則是人物的動作、心理狀態以及場景動態，故我們把一個情境分解為角色、行為動作、心理因素及氣氛等這些元素， 4. 在 Propp 中書列舉了一系列作者收集的「神奇故事」中的例子，伊萬則是其中一個故事中的主人公。 27.

(38) 做為攝影機如何拍攝的指標，也就是 3.3 節中定義的情境參數。舉例來說，若一個場景中的 Tension 值越高的話，則代表這個場景越有張力，所以會用較多的鏡頭轉切去表現這種緊湊的氛圍。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 13. Director 在取得動作事件的情境參數後，由 Decision tree 決定拍攝效果的限制. 每項情境參數都會影響拍攝機如何架設。在本研究中，我們設計了一階層式的決策樹(Decision Tree)來建立情境參數與攝影機架設方法的對應關係，如圖 13 所示。對於一個動作事件，會對其進行下面的判斷： 28.

(39) . 系統首先根據 Scene type 決定是否需要使用對話模組。(圖 14、圖 15 的架設與轉切機制)。. . 若動作為非對話的動作，便會進入 Action 的層次，根據該非對話的動作是否在場景中有位置的變更(如走路、跑步)進行判斷，若是沒有位移的話，則使用靜態的拍攝鏡頭。. Non translation. 學. ‧ 國. . 政治的情況下，根據情感值再進入下一層判斷。在 Emotion 大立來決定是否使用特寫(close-up shot)，Emotion 值高時，便使用特寫 Has. 鏡頭，以表現角色臉部或物件的詳細情況；而在 translation 的情況. sit. io. er. 當動作為對話的動作時，則進入 Dialogue 的層次。主要分為兩人對話. al. v i n 和三人或以上的對話群組，兩人對話其實是三人或以上的對話群組的一 Ch engchi U n. . y. Nat. 使用長鏡頭(long shot)來拍攝這個動作。. ‧. 下，Emotion 值高時，會用跟蹤拍，反之 Emotion 值不高時，我們. 種，但在進行兩人對話時的攝影機轉切會較為單純，故在此獨立出來。然後對話的動作也是按照 Emotion 值高低來決定是否使用特寫。. . 最後，需要根據 Might 值的高低，來決定攝影機的高低俯仰角度，當 Might 偏高時，代表此角色有較高的地位，我們便使用低角度仰視的方式拍攝，讓畫面呈現出此角色較位強勢的感覺。相反地，Might 偏低時，此角色地位較低，我們則使用高角度俯視的角度，來表現此角色較為弱小卑微或是奸險的感覺。. 29.

(40) 我們的決策流程，最終會影響拍攝方式的屬性有以下 4 項：. . 拍攝模組，以Ｍ表示. . 攝影機離拍攝物標的距離，以 d 表示. . 架置高度，以 h 表示. . 與拍攝目標的垂直夾角，以θ表示. 政治大 θ>，藉著制定攝影機的架設條件，於攝影機有效架設位置的搜尋過程中，加以立. 按照此決策樹的判斷後，最後便會得出一組攝影機架設的限制參數<M, d, h,. ‧ 國. 學. 限制，從而得出符合這組限制，也就是符合對應到此情境的拍攝效果。. ‧. 實際上，情境參數應該如何對應到攝影機架置的限制條件，應視乎導演所需. sit. n. al. er. io. 4.5.3. Photographer. y. Nat. 求的風格來制定，沒有標準的對應機制。. Ch. engchi. i n U. v. 在 Director 決定好適合拍攝的區域後，Photographer 的功能便是從這些區域中找到最佳的攝影機組態。然而如何定義「最佳」的攝影組態？. 「視線不被遮擋」是攝影的基本條件，在這個前提下，假設給定一有效拍攝區域 S，在搜尋 S 中的每個位置時，使用下面的公式來求得每個位置的得分，從而選出得分最高的位置：. Vloc = we‧E + wl‧L + wu‧U + wc‧C. 30.

(41) 其中，E 為理想目標的符合比例，L 為符合 LOI 法則的比例，U 則是目標物沒有被遮蓋的比例。而 we、 wl、 wu、wc 分別為此四項比值的權重值。針對每個 S，最後攝影機的位置會設置在 Vloc 最高的位置上。. 此三項比值的詳細計算方法我們參考[21]：. 假設忽略環境障礙的限制，能定義一理想的攝影架設位置𝑃𝑒，處於 S 的中心，給定一攝影機的位置𝑃𝑐 ，E 的定義如下：. 治. |P𝑒 −P𝑐 | Q𝑒. 大學. ‧ 國. 立. 政 E=. 其中，𝑄𝑒 為量化系數，介於(0, 1)之間。. ‧. 假設𝑉𝑇𝐶 為目標位置與攝影機之間的向量，而𝜑為這個向量與 LOI 間的夾角，. n. al. Ch L=. i n U. |VTC |‧sinφ. e n g cQ𝑙h i. er. io. sit. y. Nat. L 的定義如下：. v. 其中，𝑄𝑙 為量化系數，介於(0, 1)之間。. 第三項 C 為目標物件被其他障礙物遮蓋率，我們要先計算出每個障礙物對目標物件的遮蓋率，針對第 i 個障礙物其遮蓋率如下：. 31.

(42) 𝑂𝑖 =. 25‧O𝑉𝑇𝐶 +50‧O𝑉𝑙 +25‧O𝑉𝑟 100. 𝑂𝑉𝑇𝐶 , 𝑂𝑉𝑙 , 𝑂𝑉𝑟 =. ，. , 𝑖𝑓 𝑣 𝑖𝑛𝑡𝑒𝑟𝑠𝑒𝑐𝑡𝑒𝑑 𝑏𝑦 𝑜𝑐𝑐𝑙𝑢𝑑𝑒𝑟 , 𝑖𝑓 𝑛𝑜 𝑖𝑛𝑡𝑒𝑟𝑠𝑒𝑐𝑡𝑖𝑜𝑛. 其中，𝑉𝑇𝐶 為攝影機目標物件間的向量，𝑉𝑙 和𝑉ｒ為𝑉𝑇𝐶 分別向左、右兩邊旋轉攝影機半視角的向量，而為𝑂𝑉𝑇𝐶 , 𝑂𝑉𝑙 , 𝑂𝑉𝑟 為該向量是否與第 i 個障礙物相交的值。. 政治大. 最後，我們得到不被遮蓋的比例 U 如下定義：. 立. ‧ 國. 學. U = 1 – max(O1, … Oi). 第四項 c 則是我們在本研究中設計的－符合由 Decision Making 得出的限制條. ‧. 件<M, d, h,θ>的比值來作為參考。在我們實作的例子中，優先以 d 作為考量：. sit. y. Nat. n. al. er. io. 假設 dt 為攝影機與目標點之間的距離，C 的定義如下：. Ch. C=. e n|g𝑑𝑡c–h𝑑 i|. i n U. 𝑄𝑐. 其中𝑄𝑐 為量化系數，介於(0, 1)之間。. 在得出最佳的位置後，再以θ計算出 h：. θ =. q‧m‧ ∝ ，. h = d‧sin 𝜃＋ht 32. v.

(43) 其中，m 為 might 值，∝為攝影機的半視角，q 為倍化系數介於[0,2]之間， ht 為目標點的高度。最後，我們便能得到攝影機的平面架設位置，俯視角和高度。. 在搜尋過程中，我們假設攝影機的架置高度在場景環境中不會受障礙物影響，簡化了高度維度上的搜尋，故這裡我們的攝影機最佳位置是針對二維平面進行搜尋的。. 4.5.4. 攝影機模組. 立. 政治大. 在 D. Arijon[2]和 J. V. Mascelli[26]的書中列舉了許多攝影的技巧，其所舉的例. ‧ 國. 學. 子雖然不能囊括所有的攝影技巧，但已把大部份最普遍的攝影技巧歸納出來了。. ‧. 針對 4.5.2 節中提及的 M，我們參考對電影攝影學所歸納的拍攝方法，實作了三. y. Nat. 種基本的攝影模組：靜態鏡頭、跟蹤拍和對話鏡頭。根據各攝影模組的不同功用，. n. al. er. io. sit. 這些模組會應用在不同的場合中，將在第 4.6 節中講解其運作原理。. Ch. e State.3 ngchi. i n U. v. internal(A). State.4 internal( B). State.2 external(B, A). State.1 external(A, B). 圖 14.二人對話之 2Talk 模組 FSM[16]. 33.

(44) State.1. A. LOI. State.4. 2. B. 1. 政治大圖 15. 在角色對話對作中，視乎講話方與受話方角色有否特別反應而決定鏡頭立的轉切。State.1：角色 A 正在說話，使用 external(A, B)，角色 B 有驚訝的反應， ‧. ‧ 國. 學. io. sit. y. Nat. 4.5.5. Editor. 切換到 State.4 使用 internal(B). n. al. er. 在電影製作過程中，一幕場景可能會用上數台攝影機同時進行拍攝，因為劇. i n U. v. 情需要，不同的攝影機負責記錄不同的內容和細節。待拍攝工作完畢，接下來便. Ch. engchi. 是剪輯師進行影片剪接的工作。剪輯師的工作是把不同的片段按照表達方式連接在一起，使這些不連貫的片段得到了新的傳釋。在常見的剪接中，最普遍的剪接就是以不同的鏡頭來表達不同的事物。而在即時的 3D 環境當中，即時的鏡頭轉切便是剪輯師的剪接工作。鏡頭轉切，目的是為了省略無用的鏡頭移動，有效地告訴觀眾現在場景中正在發生的事件和動作。但鏡頭轉切得使用適宜，因為鏡頭轉切會改變觀眾的視覺焦點，過多的鏡頭轉切會讓觀眾不能適應雜亂的視覺資訊而產生困惑。. 34.

(45) 針對已經架設好的每台攝影機，我們參考[21]，考慮下面四項因素來進行最適合的攝影機轉切：. 攝影目標的符合度，以 K 表示。針對一個動作事件，有其的主體目標，可能是角色也可能是物件，要讓觀眾明白主體目標，才能清楚表達場景中的動作事件；. 攝影鏡頭包含的資訊量，以 I 表示。鏡頭的資訊量代表了現在這台攝影機能拍攝到場景中多少物件。對於某個動作事件來說，雖然鏡頭中包含的物件未必是. 政治大解場景的時間發展而有所增減。立. 這個事件的主體目標，但是卻能表達角色之間的位置關係。資訊量應隨著觀眾了. ‧ 國. 學. 進行轉切的適合度，以 A 表示。過多的轉切會導致觀眾忙於接收鏡頭資訊的. ‧. 改變而產生不能理解的情況；. y. Nat. sit. 情境參數中定義該段功能項的張力值(Tension)，以 T 表示。張力值越大，表. n. al. er. io. 示需要更多的轉切來增加劇情張力。. Ch. engchi. i n U. v. 針對每個動作，我們設計以下的公式以計算出每台攝影機的得分 Vcam，最後選用得分最高的攝影機：. Vcam = wk‧K + wi‧Ｉ + wa‧Ａ + wt‧T. 35.

(46) 其中 wk 、wi 、wa 、wt 分別為各項的權重值，但是不同的權重值組合會影響最終呈現的效果風格，因此這四項權重值並沒有最佳化的考量，而是取決於故事創作者偏好呈現的風格。. 詳細的計算方法如下：. 針對 K，我們先定義該個攝影鏡頭的特徵向量 X，如下所示：. X = i1 , ⋯ , i𝑛 , 𝑗1 , ⋯ , 𝑗𝑛 , where , 𝑖𝑓 𝑘 𝑡ℎ 𝑜𝑏𝑗𝑒𝑐𝑡 𝑖𝑠 𝑖𝑛 𝑡ℎ𝑒 𝑓𝑜𝑐𝑢𝑠 i𝑘 = , 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 , 𝑖𝑓 𝑘 𝑡ℎ 𝑜𝑏𝑗𝑒𝑐𝑡 𝑖𝑠 𝑖𝑛 𝑡ℎ𝑒 𝑠𝑐𝑜𝑝𝑒 j𝑘 = , 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒. 政治大. 立. ‧. ‧ 國. 學 y. Nat. 徵向量和理想拍攝的特徵向量，則 K 的定義如下：. n. al. Ch. engchi. K=. Xc ∙ 𝑋𝑒 |Xc | ∙ |𝑋𝑒 |. er. io. sit. 其中，n 是場景中人物和物件的數量。假設 Xc 和 Xe 分別是目前攝影機的特. i n U. v. 針對資訊量符合度 I，我們需要累計使用關係鏡頭(overview shot)和詳細特寫鏡頭(detail shot)的數目，分別以 Yo 和 Yd 表示，則 I 的定義如下：. I=. Yo 𝑌𝑑. +. 36. 𝑁.

(47) 其中，N 為兩種資訊量的比例系數，該由故事的創作者決定這個比例。. 第三項因素是鏡頭該何時進行轉切，其決定於鏡頭轉切前後所包含的資訊量多寡。假設 Yo 和 Yi 分別為轉切前後的資訊量，則 A 的定義如下：. A=. 立. |Yo 𝑌𝑖 | 𝑄𝑌. 政治大. ‧ 國. 學. 其中，Qy 是作為正規化 A 的量化系數，數值介於[0, 1]之間。. ‧. 最後 T 則為腳本中針對一個動作的所定義的張力值，當該個動作正在發生時，. y. Nat. n. al. er. io. 之間。. sit. 越有張力的動作，應該需要更多的轉切來提升當時的緊張度。T 的數值介於[0, 1]. Ch. engchi. i n U. v. 在新舊兩個 AE 的交接過程間，通常需要進行鏡頭的轉切，作為一種視覺資訊的提醒，告訴觀眾現在場景中正在有新的事情發生。利用上述公式計算出已經架置在環境中的每台攝影機於當下時間點的得分，若有其他攝影機的得分比正在使用中攝影機的得分來得高，則系統便會使用得分最高的攝影機，此時便會發生鏡頭的轉切。. 4.6. 使用者互動模式(User interaction). 37.

(48) 為了證明我們的攝影系統能夠因應故事中情境的改變而改變拍攝方式，我們實作了互動的介面讓使用者能夠參與故事的進行。在<<奇異箱>>的劇本中，使用者能控制主角片山作為化身，在故事運行中作出決定與行動，影響故事的發展。. 在進行互動操作的環境中，我們需要確保使用者能夠清楚自己的操作狀態，不會因為環境訊息不足或畫面的錯誤視覺而感到困惑。在系統運行時，會分為兩種模式來進行，在這兩種模式下，攝影機的規劃政策亦有所不同。相對於使用者來說，亦是兩種不同的互動操作模式。. 政治大種模式，分別是 Storytelling 立Mode(紅色箭號路線)與 Avatar Navigating Mode(綠色我們可於圖 10 中看到兩種互動操作模式在系統運行時如何進行運作。這兩. ‧. ‧ 國. 學. 虛線路線)，而藍色箭號路線則表示系統統一傳遞資料。. 4.6.1. Avatar Navigating Mode. sit. y. Nat. al. er. io. 使用者在故事中接受需要於場景中搜尋物品或線索的任務時，便會進入此模. v. n. 式。在此模式中，使用者可以操作化身在 3D 環境中自由遊走，此時系統即採用追蹤鏡頭來拍攝化身。. Ch. engchi. i n U. 由於需要讓使用者與 3D 環境中的化身有著同樣的視點以便操作，在此模式中，攝影機主要會處於化身正後方的位置，以介乎於第一人稱與第三人稱的視點來呈現畫面，讓使用者有置身於 3D 環境中的感覺，另一方面，也是讓使用者在 3D 環境能易於辨識方向，以便控制走動。. 38.

(49) 立. 政治大. ‧ 國. 學. 圖 16. Navigating Mode 中使用者可控制 Avatar 在場景中遊走，攝影機在化身正後方進行跟拍. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 17. 化身接近角落(左)，然後背向牆壁後(右)，攝影機則保持在不會發生踫撞的位置上來觀察化身. 在大部份情況下，攝影機會處於化身的正後方(如圖 16)，但當化身移動到某些位置時，攝影機繼續跟隨於化身正後方，便可能會跟場景中的障礙物或是牆 39.

(50) 壁發生踫撞，或是攝影機的視線會受障礙物所遮擋，故遇到此類狀況時，便需要把攝影機從化身正後方調整到其他可以觀察到化身並不會發生踫撞的位置上。為了減少使用者在操作時受到攝影機調整位置時受到視覺的混淆，新的攝影機位置應該要儘量接近原來的位置，且新的位置不會讓攝影機的視線受阻，或與障礙物發生踫撞。當使用者對化身有控制動作時，便會執行下列步驟來更新攝影機的位置： (1) 設定理想拍攝距離範圍[rmin, rmax]； (2) 取得化身的位置座標 Ltar； (3) 設置一座標 Lcam 於 Ltar 正後方距離 d 的位置上；. 政治大是否處於 S 內，以及 L 至 L 間的視線線段不能完全被其他物立. (4) 建立一圓環區域 Svalid，以 Ltar 為圓心，rmin 和 rmax 分別為內、外半徑 valid. cam. tar. 學. ‧ 國. (5) 判斷 Lcam 件阻檔. (6) 若果步驟(5)不成立，則取得 Lcam 的 1-neighbour 鄰居的座標 Ln，使 Lcam = Ln。跳至步驟(5)；. ‧. (7) 若步驟(5)成立，設定攝影機的位置為 Lcam，讓攝影機鏡頭方向朝向 Ltar；. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 18. 正後方跟蹤拍的位置規劃圖 19 為在 Navigating Mode 中更新跟蹤攝影機的演算法. 40.