提供多元角色體驗之虛擬拍攝片場 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University. 立. 政治大碩士論文. ‧ 國. 學 Master's Thesis. ‧ sit. y. Nat. n. al. er. io. 提供多元角色體驗之虛擬拍攝片場. Ch. i n U. v. e nPlaying g c h i in Virtual Film Set Providing Multiple Role. 研究生：林毅聖指導教授：李蔡彥. 中華民國一百零七年一月 January 2018.

(2) 致謝當口委恭喜我高分通過口試時，心中的激動真的難以形容，回憶起過去兩年多的碩士人生，那些不分平假日的研究生日子，時常睡在實驗室趕論文、趕專案、趕報告的爆肝生活，頓時覺得一切都是值得。雖然為資工系出身，但入學時卻甚麼都不會，總是需要花比別人更多的時間來惡補，而且在研究所一年所學的東西總感覺遠遠超過大學五年所學的（可能是我大學只有滿滿的吉他社跟北友會 XD），雖然過程相當艱辛，但這一刻，很. 政治大. 慶幸我熬了過來，同時也是因為資科系大家的幫忙與鼓勵，才給我撐下去的動力。. 立. 首先真的非常感謝我的指導教授李蔡彥老師，其實當時我是前科累累來尋找指導教. ‧ 國. 學. 授的，其中的風光偉業包含大學延畢、二一紀錄（其實是六五）以及不知所云的專題，. ‧. 腦袋對於程式更是近似空白，直到現在，我還是想不透為什麼老師當初會收我 XD，只希望這幾年的表現，沒有讓老師失望。當初考上政大資科時，老師其實已經收滿了，很. y. Nat. io. sit. 慶幸我有保留學籍一年之後再來詢問，不然就跟老師擦肩而過了。在研究上，雖然平常. n. al. er. 老師相當忙碌，但都會努力擠出時間與我們 Meeting，就連在假日時，也會幫我們檢閱. Ch. i n U. v. 論文以及報告，並給很多建議，帶給我論文上很多啟發與想法，在老師的指導以及學姐. engchi. 們的幫忙下，在國內外的大小研討會，也發表了五、六篇論文，讓我的研究生活相當充實。在生活上，老師對我們相當好，除了給予充足的實驗資源與生活支助外，還給我到法國交換實習的機會，這些都是我當初入學時不曾想過的事情，也讓我在碩士階段成長了許多，能夠在李老師的指導下畢業，我真的覺得很幸運！在實驗室裡，我很慶幸當初進來的是 IMLab，因為 Lab 風氣會影響研究生的成長過程，如果當初進來的是一間只會打電動且作事很混的 Lab，我可能在態度上也會跟著偏差，但很幸運的在這裡遇到一群相當認真的學長姐，看著他們認真負責的做事態度，自己也會跟著被激勵。我也不會忘記在每個人身上學到的東西。謝謝小蜜蜂教了我很多技 i.

(3) 術，其中包含 PHP、資料庫以及程式架構等觀念，並在我厚顏無恥的請求下，幫忙我解決很多問題，到現在我還是覺得對你超不好意思，時常心想要是 Lab 沒有你，我們該怎麼辦；謝謝 Iris 在 3D 列印計畫時包容我這個甚麼都不會傢伙，並且願意教我很多 JS 的觀念，有時在我課業忙得焦頭爛額的時後，自己就獨自完成計畫事項，你走了之後 3D 列印就剩我一個孤單撐著 Q_Q；謝謝 Shota 教了我很多 Motion Planner 的內容，而且時常陪我一起熬夜，在你畢業之後，都只剩我一個人半夜在 Lab 爆肝 Q_Q；謝謝 Koba 總是很照顧我們，而且從你身上看到很多作事的方法與態度，總是能找到問題的核心，是. 政治大. 我在 Lab 學習的榜樣之一；謝謝小遊的考古題（？，幫助我們順利通過考試 XD，同時. 立. 也謝謝你很多東西都交接的很完整，讓我們很容易可以傳承下去；謝謝 Co 菇教我報帳，. ‧ 國. 學. 面對我的蠢問題，都是很熱心的回應我；謝謝 SuSu 教了我很多小技巧（無論是技術或是賺錢的），而且陪我一起崩潰覺得人生好難，還有常常一起聊八卦抒壓的莞茜；幫我報. ‧. 帳的玟璇；幫我找實驗對象的曦曦；常常一起喇賽的莞瑜；帶來生氣的家至與清鈺，還. Nat. io. sit. y. 有台大卷姐又萱與幹話很多的暐嵂，謝謝你們，讓整個 IM 大家庭豐富了起來。. n. al. er. 謝謝在法國時，Marc、Helen、Quentin 對我的照顧。剛到法國時，謝謝 Helen 學姐. Ch. i n U. v. 幫忙我處理很多事情，沒有學姐的話，我可能不知道該如何在那邊生存，除了生活之外，. engchi. 也真的很謝謝學姐在技術與論文上給我很多幫忙與建議，而且還幫忙我一起寫投稿論文，真的覺得相當不好意思，也希望你在美國的一切都很順利。同時也謝謝 Marc 與 Quentin 對我的照顧，而且在專案開發時，很有耐心聽著我的破英文，同時給了我很多想法與協助，幫助我能夠很快就抓到開發的重點。在 3D 計畫中，謝謝廖文宏老師、紀明德老師、廖峻鋒老師以及林永騰老師給我的指導與協助，也謝謝慵懶的貞佑、自以為文青的立德還有常常激動的稜惠，謝謝你們在計畫時，幫忙我很多事，並且常常一起吃飯聊天，也謝謝專業吃飯團的建凱、春閔、家慶、承甫、瑄甫、瑋辰，在課餘時間一起出去吃飯耍廢放鬆，然後再回來一起拼命，以 ii.

(4) 及謝謝系辦的韓韓助教和跳跳學姐，就算我常常拿著一堆很蠢的行政問題過去，你們也很有耐心地慢慢教我 XD，此外，謝謝筱筑在我碩士生涯給予我很多支持與鼓勵，讓我在撰寫論文以及壓力很大的時候，也能充滿動力。最後很感謝我的媽媽以及姐姐們，過去即使我再怎麼不成材，仍然一直無條件的為我付出，從小到大願意幫我支付高昂的學費與生活費，並且支助我到完成研究所學業，同時在我成長的過程中，給予我很大的空間，讓我自由選擇想走的道路，在未來，我也會努力回報你們的。我要感謝的人實在太多了，無法一一列出所有的名字，我很幸運有. 治政大家的幫忙，謝謝這些在我生命中曾經協助我的家人、朋友、老師們，在此致上我最真大立誠的感謝。 ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. iii. i n U. v. 毅聖(Eason)2018/01/26.

(5) 摘要. 電影的拍攝手法，影響觀眾對於故事的感覺與認知，相同的劇情透過不同的運鏡手法，也會產生不同的詮釋，顯示出攝影在電影的重要性。傳統拍攝片場所花費的成本與人力. 政治大畫與虛擬實境的結合，設計並實作出一套虛擬片場系統，模擬電影的製作流程，讓體驗立相當龐大，一般人與初學者很少有機會進入片場體驗拍攝。本研究的目的為透過 3D 動. ‧ 國. 學. 者扮演片場拍攝時的各種角色，體驗拍攝電影的情境。體驗過程中，系統會提供動靜態的拍攝輔助、場控輔助工具以及即時剪輯系統，幫助新手學習攝影概念、掌握拍攝進度. ‧. 以及剪輯出個人化電影。我們透過一個動畫腳本為範例，邀請不同攝影經驗的使用者體. n. al. er. io. sit. y. Nat. 驗操作，根據使用者行為紀錄與問卷調查，驗證本系統的成效。. Ch. engchi. iv. i n U. v.

(6) Abstract. Cinematography methods affect how the audience perceive a movie. A same story plot may be interpreted differently through the presentation of different camera movements, which show the. 政治大. importance of cinematography in filmmaking. Typically, filmmaking is costly, and beginners. 立. and amateurs rarely have the opportunity to play and do experiment on the set. In this work, we. ‧ 國. 學. aim to design and construct a virtual environment for film shooting, allowing a user to play multiple roles in a virtual film set and simulating the process of the filmmaking. Our system. ‧. provides camera shooting assistant, tools for the field directing and real-time editing, aiming to. y. Nat. sit. help novices learn cinematographic concepts, track the progress of filmmaking, and create a. n. al. er. io. personalized movie. In order to verify that our system is an user-friendly and effective tool for. i n U. v. experiencing filmmaking, we have conducted an experiment to observe the behaviors and ob-. Ch. engchi. tain the feedbacks from participants with different cinematographic backgrounds.. v.

(7) 目錄致謝 ............................................................................................................................................. i 摘要 ........................................................................................................................................... iv Abstract ....................................................................................................................................... v 目錄 ........................................................................................................................................... vi 圖目錄 ....................................................................................................................................... ix. 政治大. 表目錄 ....................................................................................................................................... xi. 立. 導論 .......................................................................................................................... 1. 1.1. 研究動機.................................................................................................................. 1. 1.2. 研究目標.................................................................................................................. 2. 1.3. 預期貢獻.................................................................................................................. 4. 1.4. 本論文之章節架構.................................................................................................. 5. 第2章. 相關研究 .................................................................................................................. 6. 2.1. 虛擬攝影機的控制 .................................................................................................. 6. 2.2. 攝影描述語言 .......................................................................................................... 7. 2.3. 電影編輯.................................................................................................................. 8. 2.4. 虛擬拍攝的互動裝置 .............................................................................................. 9. 2.5. 攝影機的自動規劃 ................................................................................................ 10. 2.6. 虛擬實境的電影應用 ............................................................................................ 12. 第3章. 系統架構 ................................................................................................................ 14. 3.1. 系統流程................................................................................................................ 15. ‧. ‧ 國. 學. 第1章. n. er. io. sit. y. Nat. al. Ch. engchi. vi. i n U. v.

(8) 3.2. 系統使用的載具 .................................................................................................... 17. 3.2.1. 畫面呈現的設計.................................................................................................... 17. 3.2.2. 互動載具的設計.................................................................................................... 18. 3.3. 虛擬片場的角色模式 ............................................................................................ 24. 3.3.1. 導演........................................................................................................................ 24. 3.3.2. 攝影師.................................................................................................................... 27. 3.3.3. 政治大系統的拍攝輔助 .................................................................................................... 29 立. 3.4. 剪輯師.................................................................................................................... 28. 靜態拍攝................................................................................................................ 29. 3.4.2. 動態拍攝................................................................................................................ 33. 3.5. 移動輔助................................................................................................................ 38. 3.5.1. 任意傳送................................................................................................................ 38. 3.5.2. 指定傳送................................................................................................................ 39. 3.6. 影片即時剪輯系統 ................................................................................................ 40. 3.6.1. 剪輯螢幕................................................................................................................ 40. 3.6.2. 時間軸.................................................................................................................... 41. 3.6.3. Clip 編輯 ................................................................................................................ 41. 3.7. 先期研究與改進項目 ............................................................................................ 44. 第4章. 實驗設計與結果分析 ............................................................................................ 48. 4.1. 實驗目標................................................................................................................ 48. 4.2. 實驗對象................................................................................................................ 49. ‧. ‧ 國. 學. 3.4.1. n. er. io. sit. y. Nat. al. Ch. engchi. vii. i n U. v.

(9) 4.3. 實驗流程 ................................................................................................................ 51. 4.4. 實驗結果與分析 .................................................................................................... 54. 4.4.1. 引導式任務之使用者紀錄分析............................................................................ 54. 4.4.2. 指定任務與自由發揮之使用者紀錄分析............................................................ 55. 4.4.3. 問卷內容分析........................................................................................................ 57. 4.4.4. 訪談分析................................................................................................................ 64. 5.1. 改進與未來發展 .................................................................................................... 68. 學. 5.2. 政治大研究結論................................................................................................................ 67 立. 結論與未來發展 .................................................................................................... 67. ‧ 國. 第5章. 參考文獻 .................................................................................................................................. 69. ‧. 實驗同意書 ............................................................................................................ 72. 附錄二. 實驗流程 - 虛擬片場背景說明 ........................................................................... 73. 附錄三. 實驗流程 - 系統基本操作說明 ........................................................................... 75. 附錄四. 實驗流程 - 引導式操作任務 ............................................................................... 83. 附錄五. 實驗流程 - 指定任務 ........................................................................................... 86. 附錄六. 問卷調查 ................................................................................................................ 87. n. al. er. io. sit. y. Nat. 附錄一. Ch. engchi. viii. i n U. v.

(10) 圖目錄圖 1. 根據不同的故事分支，產生不同的拍攝手法（截自[3]） ................................ 6 圖 2. 電影鏡頭描述語言（截自[14]） .......................................................................... 7 圖 3. Pattern Language 作用範例（截自[16]） .............................................................. 7 圖 4. 智慧型編輯系統介面（截自[17]） ...................................................................... 8 圖 5. Director's Lens 操作介面（截自[9]） .................................................................... 9. 政治大. 圖 6. SCP Camera（截自[5]） ......................................................................................... 9. 立. 圖 7. Galvane 等人的攝影機拍攝軌道（截自[7]） ..................................................... 10. ‧ 國. 學. 圖 8. 角色動作分析表與拍攝結果（截自[6]） .......................................................... 11 圖 9. 運用虛擬實境排練與拍攝過程（截自[1]） ...................................................... 12. ‧. 圖 10. Shared Virtual Environment（截自[15]） .......................................................... 13. y. Nat. sit. 圖 11. MVC 架構圖 ........................................................................................................ 14. n. al. er. io. 圖 12. 系統流程圖 ......................................................................................................... 16. i n U. v. 圖 13. Vive 體驗示意圖 .................................................................................................. 17. Ch. engchi. 圖 14. Vive 按鈕配置圖 ................................................................................................. 18 圖 15. 選單按鈕提示 ..................................................................................................... 23 圖 16. 選單按鈕導航 ..................................................................................................... 23 圖 17. 導演螢幕監看板 ................................................................................................. 25 圖 18. 即時動畫控制 ..................................................................................................... 25 圖 19. 上帝視角 ............................................................................................................. 26 圖 20. 分鏡腳本 ............................................................................................................. 26 圖 21. 透過觀景窗觀看畫面 ......................................................................................... 27 ix.

(11) 圖 22. 分離式觀景窗 ..................................................................................................... 28 圖 23. 設定攝影機與演員部位進行推薦 ..................................................................... 30 圖 24. Toric-Shaped Model ............................................................................................. 30 圖 25. 推薦鏡頭操作介面 ............................................................................................. 31 圖 26. 攝影機模式 ......................................................................................................... 32 圖 27. 動態攝影機軌跡記錄 ......................................................................................... 33 圖 28. 設定追蹤攝影機與被追蹤演員部位 ................................................................. 34. 政治大. 圖 29. 追蹤與跟隨模式 ................................................................................................. 35. 立. 圖 30. 軌道搭配追隨功能 ............................................................................................. 36. ‧ 國. 學. 圖 31. 建立新軌道 ......................................................................................................... 36. ‧. 圖 32. 透過切線球調整軌道弧度 ................................................................................. 37 圖 33. 拉動軌道調整弧度 ............................................................................................. 37. sit. y. Nat. io. er. 圖 34. 拋物線任意 Teleport ........................................................................................... 38 圖 35. 傳送到指定攝影機 ............................................................................................. 39. al. n. v i n Ch 圖 36. 剪輯板介面說明圖 ............................................................................................. 40 engchi U 圖 37. 新增 Shot 與預覽選單 ........................................................................................ 41 圖 38. 編輯 Clip 切換時間 ............................................................................................ 43 圖 39. 先期實驗流程圖 ................................................................................................. 44 圖 40. 上帝視角比較 ..................................................................................................... 46 圖 41. 推薦鏡頭比較 ..................................................................................................... 47 圖 42. 實驗流程圖 ......................................................................................................... 51. x.

(12) 表目錄表 1. 右手主選單功能表 ............................................................................................... 20 表 2. 左手主選單功能表 ............................................................................................... 21 表 3. 左手選單功能表(導演)......................................................................................... 21 表 4. 左手選單功能表(攝影師)..................................................................................... 21 表 5. 左手選單功能表(剪輯師)..................................................................................... 22. 政治大. 表 6. 先期問卷統計 ....................................................................................................... 45. 立. 表 7. 受測者對於動態攝影與虛擬實境之相關背景 ................................................... 49. ‧ 國. 學. 表 8. 引導性操作任務花費時間與防手震判斷結果 ................................................... 54 表 9. 指定任務花費時間與最喜歡的拍攝手法統計 ................................................... 56. ‧. 表 10. 問卷評估 - 基本操作與控制器選單設計部分 ................................................ 58. y. Nat. sit. 表 11. 問卷評估 - 導演體驗 ........................................................................................ 59. n. al. er. io. 表 12. 問卷評估 - 攝影師體驗 .................................................................................... 60. i n U. v. 表 13. 問卷評估 - 剪輯師體驗 .................................................................................... 62. Ch. engchi. 表 14. 問卷評估 - 整體部分 ........................................................................................ 63 表 15. 問卷的開放式問答題目 ..................................................................................... 64 表 16. 希望增加功能統計表 ......................................................................................... 65. xi.

(13) 第1章導論 1.1 研究動機從人類擁有溝通、表達的能力開始，敘說故事的方式從傳統的圖像、文字、聲音逐漸進步成利用影像或是語音來傳達並記錄內容。從接收的角度來看，人們會因為接收到的資訊內容，影響對故事的理解、看法與觀點，就算相同的故事，也會因為不同的表達方式而產生差異。. 政治大電影製作時，除了劇本好壞與故事內容之外，導演的分鏡手法、攝影師的攝影技巧立. ‧ 國. 學. 以及剪輯師的剪輯方式，都會造成觀看者的情緒起伏與對故事內容的理解。基於傳統的視覺敘事模式，觀眾很容易會因為鏡頭內，人物出現的次數與畫面佔有的比例等等，判. sit. y. Nat. 呈現內容。. ‧. 別其角色在故事內的重要程度，因此拍攝的方式已經重要到能夠影響整個故事的走向與. n. al. er. io. 在傳統的拍攝片場，每個鏡頭背後的成本都是相當龐大的，除了場景環境的搭建之. i n U. v. 外，還有演員、攝影、導演、燈光等各種工作人員的費用，一旦必須重新拍攝某個片段. Ch. engchi. 時，各項花費都是相當可觀的，因此在電影片場裡，通常都是經驗豐富的導演或攝影師才有機會進行拍攝，初學者則很少有機會在正式電影中練習攝影。近年來，3D 電腦動畫的製作趨於成熟，已經能夠模擬出趨近真實的虛擬空間，而虛擬實境(Visual Reality, VR)的技術更是蓬勃發展，除了頭戴式顯示器(HMD)能夠呈現擬真的立體影像外，更能透過紅外線定位系統來追蹤體驗者的位置，並同時提供手持式裝置作為與虛擬環境互動的橋梁。透過兩者的結合，體驗者不只能透過平面螢幕觀看電影，更能進入虛擬環境空間裡，與場景作互動，體驗故事的發展，並創造出各種的虛擬環境來進行教育、訓練、體驗與現場重建等應用。. 1.

(14) 在虛擬環境裡，攝影機的擺放與規劃變得更加自由，體驗者能夠直接拿起攝影機，扮演導演、攝影師、剪輯師等角色。攝影師的拍攝過程也不再被環境因素給限制住，導演更是能透過各種的電影運鏡與拍攝手法，傳達自己的情感與信念，並依據對故事的體會，親自拍攝並剪輯電影，讓觀眾更能夠完整體會故事的意境。我們期望利用虛擬實境的技術來模擬拍攝片場，透過虛擬片場降低學習電影拍攝的門檻與成本，除了讓一般人能體驗電影拍攝，新手導演或攝影師也有訓練的環境，影視老師更能應用在課程教學，打造出一個具備體驗、訓練以及教學的虛擬片場。. 立. 政治大. ‧ 國. 學. 1.2 研究目標. ‧. 本研究的目標是希望透過虛擬實境，以 HTC Vive（以下簡稱 Vive）設備為互動載具，. sit. y. Nat. 在現有的 3D 場景與動畫腳本之上，實作出一套模擬拍片現場的系統，讓體驗者能夠在. io. er. 3D 的環境空間內，扮演導演、攝影師、剪輯師等重要角色，模擬真實片場拍攝的情境. al. 並親自參與拍攝過程。我們的系統擁有動靜態的攝影輔助，給予初學者在拍攝上的幫. n. v i n Ch 忙與建議，最後提供電影剪輯工具，幫助體驗者即時完成自己的電影。 engchi U. 在虛擬環境裡，雖然透過頭戴式顯示器，能讓整個畫面顯得相當逼真，但仍然需要透過載具才能與場景互動，因此體驗前通常需要行前訓練，體驗時可能也時常要回想操作方法，很容易影響體驗者在拍攝時的感受。如何在有限的互動方式上，設計出一套快速上手且簡單的互動方法是我們研究的重點之一。另一方面，在拍攝輔助功能上，我們希望系統能透過推薦鏡頭、攝影機自動擺放或追蹤的方式，提供初學者更多的攝影建議，但是該如何設計出有效率的拍攝輔助與教學機制，讓初學者能夠透過系統學習拍攝手法，將是本研究的一大挑戰。. 2.

(15) 為了達到以上目標，我們完成了以下的工作項目：. . 虛擬拍攝的互動介面傳統虛擬場景的呈現方式，都是使用平面顯示器當作螢幕畫面，因此介面的自由度也被限制在平面上，與虛擬環境的互動，也只能利用滑鼠點擊或是鍵盤的輸入。在本研究中，透過 VR 載具的幫助，我們打破以往的互動模式，讓體驗. 政治大. 者進入虛擬場景內，直接接觸攝影機與虛擬空間。在互動的載具上，我們使用. 立. Vive 的控制器當作輸入的管道，回饋方面則是透過頭戴式顯示器的呈現與控制. ‧ 國. 學. 器的震動。互動方式與介面設計容易影響體驗者的沉浸體驗，因此如何設計出不需太多操作訓練就能輕鬆上手的互動介面，是本研究的設計目標之一。. ‧ sit. y. Nat. 智慧型的拍攝輔助. io. n. al. er. . i n U. v. 當體驗者為攝影新手或是剛開始要拍攝一部新的虛擬電影時，難免會不知道該. Ch. engchi. 如何取景或是抓取重點鏡頭。本系統根據文獻上的研究成果，透過分析演員的位置，依據體驗者選擇的演員部位，推薦適當的鏡頭畫面並自動擺放攝影機。我們希望透過這樣的協助，讓使用者在體驗的過程中，也能學習分鏡攝影的概念。體驗者在拿動攝影機進行動態拍攝的時候，常常會在移動時手震，畫面因此產生搖晃，或是無法在移動時準確拍攝到角色畫面。本系統提供移動時的防手震功能以及人物追蹤的拍攝輔助，幫助體驗者在動態拍攝時也可以輕易拍出好的畫面。. 3.

(16) . 角色的輔助功能傳統的拍攝片場中，每個角色都有自己的專業與工作，為了協助體驗者完成並體驗角色們的工作，除了對攝影師提供前述的智慧型拍攝輔助外，系統也提供了其他角色各自的輔助功能，例如導演能夠隨時掌握片場動態、攝影機狀態與演員動作，剪輯師也能即時剪輯出流暢的電影。同時提供移動輔助，幫助角色間能夠迅速切換，有助於電影的製作。. 立. 平台的實驗評估. 學. ‧ 國. . 政治大. 本研究將探討透過模擬虛擬片場，提供片場內不同角色的身分切換、直覺式. ‧. 互動、動靜態拍攝輔助以及即時剪輯工具，是否能夠幫助體驗者在虛擬環境內學習攝影技巧，並順利完成電影的拍攝與剪輯。我們將邀請多名擁有不同. y. Nat. io. sit. 攝影經驗的體驗者，分別進入虛擬片場拍攝同一部動畫腳本，並觀察其使用. n. al. er. 者行為，最後利用問卷與訪談來進行評估，用以改進以及優化系統的操作控制。. Ch. engchi. i n U. v. 1.3 預期貢獻本研究的預期貢獻在於提供一個直覺式互動的電影製作體驗系統。我們希望將複雜的數學公式隱藏起來，讓體驗者能透過簡單的操作，系統就能推薦適合的鏡頭畫面供使用者選用，同時攝影機也能自動擺放，以幫助攝影新手學習分鏡概念。除此之外，我們也提出了創新的拍攝手法，將頭部變成攝影機、眼睛變成鏡頭，透過雙眼就能完成取景，攝影機的控制更直覺。另外，我們也將剪輯帶入片場當中，打破攝影與後製的隔閡，不必 4.

(17) 像傳統電影要拍攝完才能剪輯，而是隨時能在攝影師與剪輯師之間作切換。我們相信此一以虛擬實境方式提供電影製作體驗的系統，除了提供創新實用的教育訓練應用外，也為 VR 技術在電影產業的應用與發展創造了新的想像空間。. 1.4 本論文之章節架構在接下來第二章中，我們將會介紹跟本研究相關的知識與過去文獻中的研究成果，主. 治政要是針對攝影描述語言、虛擬攝影機的控制與自動規劃、電影編輯以及虛擬拍攝的互大立動裝置及虛擬實境的電影應用為主題。第三章將會說明此研究之系統架構、平台主要 ‧ 國. 學. 功能以及實作方法。第四章則為實驗設計與結果分析，實驗將以一個故事板範例貫穿. ‧. 整個系統，藉此評估系統成效與分析其結果。第五章為研究結論與未來規劃，會將以上四個章節作一個總結並且闡述虛擬片場在未來發展的目標。最後一個部份附錄是參. y. Nat. n. er. io. al. sit. 考文獻、實驗說明文件與實驗問卷。. Ch. engchi. 5. i n U. v.

(18) 第2章相關研究. 2.1 虛擬攝影機的控制在虛擬環境中，攝影機的控制可分為第一人稱及第三人稱的攝影方式。若是第一人稱視角，攝影機是配置在故事體驗者的眼睛位置；若是第三人稱視角，攝影機的角色就像是. 政治大面上，Christie 等人[1]統整歸納並分析各種攝影機控制的作法，除了因應虛擬環境限制立旁觀者或導演，而故事的內容或類型也會影響虛擬攝影機的拍攝方式。在電腦圖學的層. ‧ 國. 學. 的路徑規劃，Chen 等人[3]也在互動敘事的研究上，依照角色的行為與情緒定義出攝影機的拍攝模組，並搭配不同的故事情節改變拍攝位置，規劃攝影機以呈現不同的故事分. ‧. 支（如圖 1 所示）。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 1. 根據不同的故事分支，產生不同的拍攝手法（截自[3]）. 6.

(19) 2.2 攝影描述語言如圖 2 所示，Ronfard 等人[14]根據鏡頭的遠近、人物的方向以及畫面的比例，基於電影攝影學上的拍攝方式，歸納出一套電影鏡頭的描述語言(Prose Storyboard Language)，將複雜的鏡頭組成元素，用系統化的方式來表達與分類，將電影攝影學更容易運用在虛擬環境的拍攝之中。. 立. 政治大. ‧. ‧ 國. 學圖 2. 電影鏡頭描述語言（截自[14]）. Nat. sit. y. Wu 等人[16]設計出模式語言（Pattern Language），用嚴謹的方式結構化鏡頭的轉換，. n. al. er. io. 如圖 3 所示，透過攝影機的鏡頭型態（Shot type）和運鏡動作（Operation）的組合定義. i n U. v. 攝影鏡頭風格，計算虛擬攝影機最適合的擺放位置，以提供故事體驗者好的視覺體驗。. Ch. engchi. 圖 3. Pattern Language 作用範例（截自[16]） 7.

(20) 2.3 電影編輯從電影剪輯的角度來看， Wang 等人[17]在編輯系統上利用不同的鏡頭型態（例如 EST、 MLS、MS、CU 等）作分類，如圖 4 所示。此編輯系統用圖示清單的方式表達結果，讓導演在整個剪輯的過程中，能夠過濾不需要的畫面，快速找到自己想要的鏡頭，同時也提供各種攝影風格（例如 Intensify、Further、Close Up），讓整個運鏡與畫面的轉換變得更有層次感。另外也提供智慧型的操作輔助，幫助攝影新手能容易地決定拍攝位置，透. 政治大. 過這樣的智慧型電影編輯系統，任何人都能快速剪輯出想要的電影片段。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4. 智慧型編輯系統介面（截自[17]）. 8.

(21) 2.4 虛擬拍攝的互動裝置隨著體驗者在互動敘事中的自由度與互動模式越來越多元，故事的結構也跟著越來越複雜，讓攝影機在規劃工作上增加了許多挑戰。有些研究為了協助導演能夠更容易地在虛擬環境中擺放攝影機，會利用一些互動裝置模擬拍攝的情境，例如 Lino 等人[9]提出的 Director's Lens 是一款可動態追蹤的手持式輔助裝置（如圖 5 所示），讓拍攝的過程中，更貼近真實的攝影機，同時系統也擁有智慧化推薦引擎，根據導演的需求，提供合適的拍攝鏡頭。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. io. n. al. er. 圖 5. Director's Lens 操作介面（截自[9]）. i n U. v. Gouchet 等人[5]則利用真實的攝影機加上 LCD 螢幕（如圖 6 所示），在螢幕上模擬. Ch. engchi. 顯示虛擬環境，同時偵測攝影機的旋轉與平移，將移動資訊傳送到虛擬環境中，使畫面會跟著攝影機的移動而改變視角，進而模擬攝影機拍攝的過程。. 圖 6. SCP Camera（截自[5]） 9.

(22) 2.5 攝影機的自動規劃文獻中有些研究嘗試在虛擬環境中自動規劃攝影機的運動，例如 Lino 等人[10]為了確保每個畫面都可以拍攝到人物重點，因此找出每個 framing 的最佳鏡頭，在鏡頭與鏡頭移動切換的過程中作內插，建立攝影機移動的軌道，不過在鏡頭轉換移動的過程中，偶爾會顯得有點生硬。 Galvane 等人[6]則是物理原理為基礎，模擬攝影機在虛擬環境中躲避障礙物（例如. 政治大. 牆壁）進而追蹤人物演員的畫面，不過這種方式很容易會在移動的過程，漏失掉重要的. 立. 人物畫面，因此 Galvane 等人改成利用路徑規劃的方式[7]，如圖 7 所示，以 Lino 等人. ‧ 國. 學. 的攝影機路徑[10]為基礎，透過與 Bezier 曲線的結合，形成平滑化的攝影機拍攝軌道，最後加上限速的條件，穩定拍攝的畫面與風格。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 7. Galvane 等人的攝影機拍攝軌道（截自[7]）. 此外，如圖 8 所示，Galvane 等人[6]也根據故事演出時，每個角色的重要性與行為的權重，並分析其關鍵動作，進而分配畫面內角色的版面以表達故事的進行。另外，也有研究依照故事的情境或是人物情緒產生拍攝方式[11]。近年也有許多演算法嘗試解決如何在同一場景中拍攝多位角色，因此多角色攝影機位置自動產生的問題也因應而生 [8][18]。以上都是關於攝影機自動規劃的發展，而這個領域尚有許多研究的空間，在即時動畫的相關應用上，也還有許多關鍵且新的議題亟待解決。. 10.

(23) 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 8. 角色動作分析表與拍攝結果（截自[6]） 11.

(24) 2.6 虛擬實境的電影應用拍攝電影的時候，許多的場景、特效甚至是互動的生物都是在拍攝完才後製上去，因此演員在拍攝的過程中，必須透過想像或揣摩才能演出對應的表情與動作。為了讓演員更能沉浸在劇情與環境之中，如圖 9 所示，Bouville 等人[1]透過虛擬實境，模擬出實際的環境或是怪物出現的情景，讓演員不必透過假想就能看到真實的情境，在排演時就會更融入劇情，表現出的肢體語言也會更加自然。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. io. n. al. er. 圖 9. 運用虛擬實境排練與拍攝過程（截自[1]）. Ch. engchi. i n U. v. 演員想要相互排練時，時常需要舟車勞頓到達排練場地，並且還要等待對戲的演員都到齊才能進行排練，因此 Slater 等人[15]提出 Shared Virtual Environment (SVE)的概念（如圖 10 所示），並找來三對專業的演員與導演，在現場表演前，以沒有見面的條件下，透過動畫模擬表情與人物動作，讓演員在 SVE 裡進行短劇排練。也有研究[12]同樣找來兩組演員與導演，在 SVE 的條件下進行排練，與前者不同的是，這次是透過動作捕捉的裝置抓取演員動作，雖然卻少了表情傳達，但卻能精確傳達肢體語言與動作。. 12.

(25) 圖 10. Shared Virtual Environment（截自[15]）. 立. 政治大. 在其他電影應用上，因為在觀看 VR 電影的時候，體驗者能夠控制的自由度非常高，. ‧ 國. 學. 時常會錯過電影的重點人物內容，為了引導體驗者注意重點畫面，有研究[13]提出 VR 電影的重點導航系統，透過控制身體的旋轉以及場景內的提示，告知體驗者電影的重點區. ‧. 域。除此之外，針對電影拍攝，也有研究利用虛擬實境進行攝影的拍攝教學[4]，利用虛. Nat. er. io. sit. y. 擬攝影機與虛擬現場，以路徑提示的方式幫助體驗者學習動態拍攝。. al. n. v i n Ch 雖然上述的文獻對於虛擬攝影機與虛擬場景的應用都有深入的研究與發展，但卻沒 engchi U 有一套完整的電影拍攝與製作系統，因此本系統將基於以上的研究，實作出一套具有電影拍攝模擬、動態靜拍攝輔助以及即時剪輯系統的虛擬拍攝片場，將虛擬攝影機的自動化規劃、電影編輯、互動拍攝的模擬以及虛擬實境作一個創新的應用，在下個章節將會說明本系統的相關架構與設計。. 13.

(26) 第3章系統架構本研究所設計的虛擬拍攝片場，使用跨平台的遊戲設計引擎(Unity)[19] 並透過 SteamVR Plugin 對 VR 互動載具 Vive 進行開發，開發語言為 C#。使用者能夠透過 Vive 載具（頭戴式顯示器、控制器）觸發事件，進而改變物件狀態與場景資訊，同時狀態也隨時透過載具更新給使用者，以下圖 11 為本系統在 Model-View-Controller (MVC)[20]架構圖下各模組的關係：. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 11. MVC 架構圖. 14. v.

(27) 3.1 系統流程目前系統所使用的腳本係參考 1985 年由羅勃·辛密克斯(Robert Zemeckis)擔任導演所拍攝的「回到未來(Back to the future)」的電腦動畫版為範例，此動畫由本研究的合作夥伴 -法國的 Inria 研究院所提供[21]，採用的片段內容是主角馬帝‧麥佛萊(Marty McFly)乘坐時光車回到 30 年前，在餐廳巧遇自己年輕的爸爸喬治(George McFly)，並目睹喬治被人欺負之後約 80 秒的對話片段。. 政治大. 體驗者將在虛擬片場扮演各種角色，體驗片場拍攝的過程。為了體驗每種角色的片. 立. 場工作以及輕易完成電影的製作，系統也為各角色分別提供掌控片場資訊、動靜態拍攝. ‧ 國. 學. 與鏡頭剪輯等相關輔助功能與工具，我們希望能設計友善的操作介面以及多元的輔助功能，讓每位體驗者都能夠快速上手。. ‧. 體驗者進入虛擬片場後，會透過系統導航選擇扮演的角色，並依據每位角色的工作，. y. Nat. n. er. io. al. sit. 逐一完成拍攝的任務，以下為系統流程圖：. Ch. engchi. 15. i n U. v.

(28) 立. 政治大. ‧. ‧ 國. 學. n. 圖 12. 系統流程圖. Ch. engchi. er. io. sit. y. Nat. al. i n U. v. 體驗者通常會先以導演角色來思考分鏡內容，之後攝影師可以直接搬動或使用動靜態拍攝輔助（參見 3.4 系統的拍攝輔助）來擺放攝影機，當鏡頭畫面都取景完成後，剪輯師再使用剪輯工具完成鏡頭間的銜接。過程中每個角色都可以重新扮演，例如剪輯師對於某片段的鏡頭不滿意，可以回到攝影師角色並改用其他拍攝手法來調整畫面，如果攝影師對於分鏡內容也覺得不滿意，則可以再回到導演身分，將動畫返回或重置。透過上帝視角瞭解演員與攝影機的布局，並重新思考分鏡手法。透過三種角色不斷地交替，體驗者就可以輕易找出適合的畫面並完成滿意的電影。. 16.

(29) 3.2 系統使用的載具本節將介紹系統載具的應用方式，內容主要分為輸出與輸入兩部份，並會針對互動介面、動作感測與互動操作各別作說明。 3.2.1 畫面呈現的設計在過去平面螢幕顯示器的時代，體驗者往往都只能透過攝影師的鏡頭，觀看電影場景的一部分。但是透過 VR 載具的協助，有別於 2D 畫面的呈現方式，體驗者能夠直接進入. 治政 3D 的虛擬環境中，完整看到電影全貌，更進一步能觀看每個演員的動作以及臉部表情，大立藉此構思分鏡的內容，同時也能夠在虛擬場景內直接移動或走動，提升拍攝的自由度。 ‧ 國. 學. 如圖 13 所示，Vive 擁有兩台動作追蹤的基地台，透過顯示器上的感應器追蹤人物. ‧. 位置，讓體驗者可以在 3 公尺* 4 公尺對角線的空間內自由移動，同時 Vive 的頭戴式顯. sit. y. Nat. 示器提供高解析的畫質與 90FPS 的更新速度，並透過視差產生立體與擬真感。我們期望. io. n. al. er. 透過 VR 的臨場感，讓參與者在體驗的過程，真的覺得自己置身於片場中拍攝。. Ch. engchi. i n U. v. 圖 13. Vive 體驗示意圖（截自 HTC 官網） 17.

(30) 3.2.2 互動載具的設計傳統的操作模式，都是透過鍵盤與滑鼠在平面螢幕上在 2D 的系統介面上作點擊、拖拉或是按鈕的輸入，時常需要複雜的介面教學或是操作提醒，造成使用者在拍攝或剪輯的使用上，很容易分心於功能的操作方式而無法順手的使用。為了簡化應用的複雜度與學習的困難度，同時提升互動的層次，本研究將使用 Vive 的手持式裝置（以下簡稱控制器），透過直接與虛擬場景的互動，不需要太多的訓練，就能讓體驗者很快上手。我們希望透過裝置的輔助與設計，在真實與虛擬的互動上，建立一個簡單的互動橋樑。. 政治大如圖 14 所示，Vive 的控制器各具有 24 個感應器，能準確地被基地台追蹤各種行立. ‧ 國. 學. 為與操作，同時提供①應用程式選單(Application Menu)、具有方位感知的②壓力觸摸板 (Touchpad)、③板機(Hair Trigger)與④側鍵(Grip)以及⑤系統選單(System Menu)，總共五. ‧. 種基本輸入按鍵。本系統使用前述四種按鈕與左右控制器作不同的搭配組合，同時基地. sit. y. Nat. 台會偵測實體控制器的位置，再透過控制器模型呈像在對應的虛擬場景位置，以便提升. io. n. al. er. 體驗者操作上的認知。. Ch. engchi. i n U. 圖 14. Vive 按鈕配置圖 18. v.

(31) 3.2.2.1 場內互動操作在虛擬場景內的互動方式大致分為直接與間接碰觸兩種，直接碰觸通常用於調整物件位置及大小或關閉物件，間接碰觸則是用來指定物件與操作介面互動：. . 直接碰觸當控制器直接碰觸物件時，被碰觸的物件會透過變色或邊緣加亮反饋給體驗者，. 治政以便識別是否有接觸到，碰觸時壓住板機③可以拿取並拖拉物品，或是按壓側大立鍵④關閉特定工具。當某些物品被兩支控制器同時拉動時，物品會根據控制器 ‧ 國. 學. 的間距變化而縮放物品。. ‧. io. y. sit. 間接碰觸. Nat. 間接碰觸是透過雷射擊向物件，主要負責指定物件以及剪輯板/監看板互動，例. n. al. er. . Ch. i n U. v. 如指定動態追蹤時(參見 3.4.2.2 動態追蹤拍攝輔助)必須使用雷射指定演員與攝. engchi. 影機，或是剪輯時必須透過雷射操作剪輯板(參見 3.6 影片即時剪輯系統)，當雷射擊中物件時，被碰觸的物件同樣會透過顏色反饋，此時即可按壓板機③作互動。雷射線可以透過右手應用程式選單①自由開關，在進入某些模式時，系統也會自動打開，增加使用的便利性。. 19.

(32) 3.2.2.2 操作選單設計除了場內物件的操作互動外，系統的功能都是倚賴控制器的選單作選擇，我們採用 Radial Menu 當作選單介面，並以平面顯示在壓力觸摸板②上，利用觸摸板方位感知的特性，將每個按鈕作分位，並賦予圖標方便辨識，同時也利用壓力板的特性，當輕觸到按鈕時，會利用圖標放大與震動回饋給體驗者，除了能更輕易看清楚圖標，也同時提升碰觸與視覺認知，而當重壓時則是選用該按鍵。. 政治大的區分。右手選單為角色通用的按鈕，常駐播放控制器、移動輔助以及呼叫故事板，方立為了讓操作可以更明確與順暢，我們將選單功能依照是否通用於各種角色作左右手. ‧ 國. 學. 便各種角色在場內的移動、劇情控制以及比對分鏡腳本，左手選單則是負責主要的模式切換與各角色的特定輔助功能。以下為各按鈕的對應功能表。. ‧ y. sit. io. n. al. 圖示. 功能. er. 右手選單：. Nat. . 表 1. 右手主選單功能表. Ch. e n g c圖示 hi. i n U. v. 功能. 播放動畫. 暫停動畫. 倒轉動畫. 快轉動畫. 傳送到指定攝影機. 返回監看螢幕/剪輯板. 打開故事板並出現在面前. 20.

(33) 左手選單：表 2. 左手主選單功能表圖示. 功能. 圖示. 功能. 進入導演選單. 進入攝影師選單. 進入剪輯師選單. 政治大. 立表 3. 左手選單功能表(導演) 學導演選單功能. ‧. 圖示. ‧ 國. 圖示. 功能. Nat. 打開監控螢幕，並. sit. y. 使用上帝視角，鳥. io. 瞰整個拍攝片場. n. al. 出現在面前. er. . Ch. engchi. i n U. v. 表 4. 左手選單功能表(攝影師). 攝影師選單圖示. 功能. 圖示. 功能. 增加攝影機. 刪除攝影機. 打開靜態拍攝選單. 打開動態拍攝選單. 21.

(34) 靜態拍攝選單使用推薦鏡頭功能. 使用『攝影機』拍攝模式. 動態拍攝選單使用錄製攝影機軌. 使用攝影機自動追. 跡功能. 蹤人物功能. 政治大. 進入軌道選單. 學. 軌道選單增加新的攝影機軌. 刪除攝影機軌道. 道. ‧. ‧ 國. 立. y. Nat. n. er. io. al. 刪除軌道控制點. sit. 增加軌道控制點. Ch. engchi. i n U. v. 表 5. 左手選單功能表(剪輯師). 剪輯師選單圖示. 功能. 圖示. 功能. 增加新的 Shot. 調整 Shot 切換時間. 刪除當前的 Shot. 打開剪輯板，並出現在面前. 22.

(35) 基於系統初期的先期實驗(參見 3.7 先期研究與改進項目)，我們發現許多的受測者認為選單介面較為繁瑣且混亂，因為按鍵內容較多且當時為開放式選單（按鍵沒有依角色分類，選單只透過應用程式選單①作隨機切換），因此我們將選單增加提醒字幕與導航系統，如圖 15 所示，輕觸按鍵時會顯示提醒字幕（目前提供中英文版本），可以按壓左手應用程式選單①作切換，在熟悉按鍵功能後同樣按壓①作關閉，以免妨礙體驗過程。. 學. ‧ 國. 立. 政治大圖 15. 選單按鈕提示. ‧. 選單導航方面，我們將功能依模式作分類與引導，例如體驗者想使用自動追蹤輔助. Nat. sit. y. 時，如圖 16 所示，選單順序分別是「攝影師選單」＞「動態輔助選單」＞「自動追蹤. n. al. er. io. 功能」＞「確認/取消鍵」，透過導航可以很容易找到想要的功能，同時過濾不需要的按. i n U. 鈕，只會出現對應按鍵，幫助體驗者更容易上手。. Ch. engchi. 圖 16. 選單按鈕導航. 23. v.

(36) 3.3 虛擬片場的角色模式電影的製作程序與分工有一定的條理，在傳統的拍攝片場裡，各種領域的專家負責不同的區塊，其中包含導演、攝影師、剪輯師、燈光師等等，每個人各司其職，在各自的任務中提供專業的指導與幫助，透過溝通與協調拍出每個片段，最後剪輯成完整的電影。為了讓體驗者在虛擬片場內能獨立完成一部電影，並完整體驗拍攝的過程，本研究將複雜的工作內容濃縮且合併成三個角色：導演、攝影師、剪輯師，並在虛擬場景. 政治大. 內，提供每位角色對應的輔助功能與工具。. 立. ‧. ‧ 國. 學. 3.3.1 導演. 導演是整個片場的靈魂人物，所有的演員、工作人員、拍攝工作都是導演負責分配安排，. Nat. sit. y. 因此導演必須清楚知道故事內容，並構思分鏡手法提供給攝影師拍攝，也要思考每一個. n. al. er. io. 場景，需要多少鏡頭畫面，剪輯師才能剪出流暢的電影，而且對於演員位置、攝影機配置、場務工作還有片場佈局都要相當清楚。. Ch. engchi. i n U. v. 體驗者在扮演導演角色的時候，系統提供了一個監看板讓導演可以監控每一部攝影機的拍攝狀況。如圖 17 所示，監看板上擁有每台攝影機的子畫面與一個母畫面。導演可以即時將攝影機的子畫面切換至母畫面來模擬現場攝影機畫面切換的功能。. 24.

(37) 政治大. 圖 17. 導演螢幕監看板. 立. 在真實的電影拍攝過程中，為了要取得最好的畫面與效果，拍攝通常沒有辦法一次. ‧ 國. 學. 完成，因此演員經常需要不斷地重演，現場特效也必須重來，所以想要拍出滿意的鏡頭，. ‧. 背後需要花費的成本與資金相當的龐大。在虛擬片場中，如圖 18 所示，導演擁有即時的動畫控制功能，透過動畫的播放控制，可以反覆重來或是暫停演員的動作。在重複演. y. Nat. io. sit. 出的過程中，體驗者可以藉此觀察演員的每個細節動作，並找出適當的拍攝角度，同時. n. al. er. 也可以在演出的過程中，即時暫停所有演員的動作，調整攝影機的位置角度，找出自己想要的鏡頭畫面。. Ch. engchi. i n U. 圖 18. 即時動畫控制 25. v.

(38) 為了幫助導演能夠快速瞭解整個片場的範圍及攝影機的相對位置，如圖 19 所示，本系統提供了上視圖的視角（俗稱上帝視角）來輔助導演，透過從上方觀看片場中的相關訊息，像是場景的內容、演員的位置與走位、及攝影機的佈局等，以幫助導演在構思拍攝手法時，能更有脈絡與想法。. 立. 政治大. ‧ 國. 學 ‧. 圖 19. 上帝視角(從高空俯瞰片場). 為了拍攝時能夠有基礎的想法與概念，如圖 20 所示，系統提供能夠自行匯入. y. Nat. io. sit. Storyboard 的功能，只要透過圖片檔格式就能匯入場景中。老手能在拍攝前構思好分鏡. n. al. er. 的手法，並在進入虛擬片場後，查看真實的拍攝畫面是否合適。體驗時，能夠事先設計. Ch. i n U. v. 好分鏡腳本，並可以在右方附上分鏡的拍攝教學，體驗者就可以跟著分鏡圖一步步完成電影製作。. engchi. 圖 20. 分鏡腳本 26.

(39) 3.3.2 攝影師拍攝電影的過程中，攝影機扮演著故事的敘事者，即使是同個劇本與演員，透過不同角度與拍攝手法，所表達出來的內容及重點也可能截然不同，攝影師必須與導演有良好的溝通，才能完整傳達導演想表達的情境。在虛擬片場中，體驗者可以同時身兼導演與攝影師，將扮演導演時所構思的分鏡內容，透過攝影師實踐出來。為了讓拍攝的體驗更真實，我們將無形的攝影機透過 3D 攝影機模型呈像在虛擬片. 政治大員的表情與身體角度，藉以調整攝影機拍攝的內容與風格，甚至能夠在演員移動的過程立. 場當中。攝影師可以透過與攝影機直接的互動，擺放攝影機的拍攝位置，近距離觀察演. ‧. ‧ 國. 彈性。. 學. 中，即時跟隨演員的動作與行為，進行動態的拍攝追蹤，加強整個畫面的張力與拍攝的. 如圖 21 所示，體驗者在扮演攝影師的角色時，能透過控制器直接拖動虛擬攝影機，. Nat. sit. y. 並透過攝影機左側的觀景窗(View Finder)，監看目前拍攝的畫面，尋找適合的拍攝角度. n. al. er. io. 與位置，同時可以近距離觀察演員的表情與動作，有時甚至會發現導演所遺漏的細節，進而調整拍攝的內容與位置，定位理想的鏡頭。. Ch. engchi. i n U. v. 圖 21. 透過觀景窗觀看畫面 27.

(40) 為了輔助攝影師進行電影拍攝，除了手動放置攝影機，我們在動靜態各提供兩種拍攝輔助(參見 3.4 系統的拍攝輔助)，以協助夠快速找到合適的鏡頭。但是在快速移動攝影機時，攝影師會來不及跟著移動，或是從高處俯拍的角度太高，而無法看到觀景窗，因此我們在攝影機上設計了分離式觀景窗，如圖 22 所示，攝影師可以直接取下窗景觀，同時也能透過雙手將其調整放大，讓攝影師在拍攝時能夠更輕鬆方便。. 立. 政治大. ‧. ‧ 國. 學. n 3.3.3 剪輯師. Ch. engchi. er. io. al. sit. y. Nat. 圖 22. 分離式觀景窗. i n U. v. 日本著名導演黑澤明曾說過：「劇本和剪輯掌握一部影片的生命」，或許導演的分鏡手法、演員的表演詮釋以及攝影師的拍攝技巧對於成功的電影都是重要的元素，但如何將這些素材達到最大效益，剪輯師絕對是關鍵的角色之一。電影拍攝完成後，會有相當大量的片段資訊，為了讓畫面說故事，通常需要在不同的鏡頭間作切換，每個時間點都有不同的重點角色或事件，且時常會因為不同的剪接方式，影響表達的重點與內容。其實導演在拍攝和分鏡頭過程中會有剪輯意識，為了讓電影成品能與導演預期的相同，剪輯師也必須理解導演對於整部電影的想法與構思。 28.

(41) 為了體驗完整的電影製作，體驗者在扮演導演構思分鏡手法之後，再透過攝影師將鏡頭取景完成後，即可進入扮演剪輯師的角色將畫面進行剪輯。系統在虛擬場景中提供一個基礎的編修功能，透過剪輯板(參見 3.6 影片即時剪輯系統)的方式呈現在虛擬場景。剪輯板上能夠新增、刪除與編輯片段，只要透過簡單的操作介面，剪輯師在虛擬片場就能快速完成電影。. 3.4 系統的拍攝輔助. 立. 政治大. 本系統的特色之一，就是能提供體驗者（特別是初學者）拍攝上的輔助工具與功能。靜. ‧ 國. 學. 態拍攝時，系統提供推薦鏡頭與攝影機模式，推薦鏡頭能夠幫助攝影機快速定位，攝影. ‧. 機模式則能體驗即看即拍的效果。在動態拍攝方面，攝影師能夠手動錄製拍攝路徑，在錄製的同時，系統會提供防手震的輔助，穩定鏡頭畫面。另一方面，我們使用 Unity -. y. Nat. io. sit. Cinemachine[23]的功能並導入到 VR 環境中，這是一種模擬真實攝影機行為，並透過程. n. al. er. 序化來控制拍攝的攝影機系統。我們將原本只提供給 Unity 遊戲設計者的強大攝影功能，. Ch. i n U. v. 透過改良並設計成直覺的操作介面，提供給體驗者應用。自動化的動態攝影機除了可以. engchi. 追蹤與跟隨演員的動作，更能創造實體的軌道，限定攝影機在軌道路徑上移動拍攝。. 3.4.1 靜態拍攝 3.4.1.1. 推薦鏡頭輔助. 本系統將透過鏡頭推薦的方式，提供給攝影師（特別是初學者）在畫面取景上的建議。如圖 23 所示，只要透過雷射線選擇，一到兩位演員的某個部位（例如頭、胸），系統就能即時分析演員的身體部位或是彼此的相對位置，套用從各種電影片段的收集而來的鏡 29.

(42) 頭資料，並利用 Lino and Christie[10]提出的 Toric-Shaped 模型，及所產生的鏡頭資料庫，自動化調整虛擬攝影機的位置與角度。如圖 24 所示，這個模型是一種鎖定螢幕中特定物件定點的計算模型，可以用來精確鎖定物件之特定點在畫面中的位置，也就是一般所謂 Through-The-Lens 控制。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. i n U. v. 圖 23. 設定攝影機與演員部位進行推薦. Ch. engchi. 圖 24. Toric-Shaped Model 30.

(43) 系統會根據鏡頭類型將資料庫內的鏡頭作分類(EST、LS、MS、MCU、CU、XCU 等等)，攝影師再透用簡易的篩選(Long Shot、Medium Shot、Close-Up)過濾不需要的類別，快速找到自己想要的鏡頭，如圖 25 所示，最後會透過預覽清單的方式呈現在面前，只要透過雷射線就能拖拉或選擇。當點選鏡頭預覽圖時，系統會將攝影機自動擺放定位，同時也會將攝影師傳送到攝影機後方，方便觀看調整或學習。透過此功能，攝影師就能依照故事情節或角色的重要性，挑選想要的推薦鏡頭，快速完成每個片段鏡頭的選擇。我們相信，此類功能對初學者學習攝影機的擺放方法與畫面配置會有相當大的幫助。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 25. 推薦鏡頭操作介面. 31.

(44) 3.4.1.2. 攝影機模式. 當眼睛看到的人事物都能夠被記錄下來，並可以轉化成鏡頭時，這種拍攝方式是最直覺且容易的。原在真實世界中，攝影師都是透過攝影機觀景窗(View Finder)監看畫面並手動調整位置。在虛擬片場裡，我們充分運用虛擬實境的特色，為攝影師提供一種創新的拍攝手法。系統透過偵測頭戴式顯示器的旋轉及位移，並將其移動資訊傳送到攝影機，讓體驗者立體眼鏡所看到的畫面，直接變成攝影機的拍攝鏡頭。如圖 26 所示，體驗者在虛擬片場中可以直接化身為攝影機，不需要動手調整，只要透過頭部的位移與轉動，. 治政即可達到即看即拍的效果，輕易找到自己喜歡的視角。大立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 26. 攝影機模式. 32. v.

(45) 3.4.2 動態拍攝 3.4.2.1 攝影機軌跡記錄定點的拍攝手法，有時會無法滿足攝影師對於鏡頭張力的渴望，因此系統提供攝影機軌跡記錄功能，打開錄製模式時，只要抓取攝影機，動畫就會播放、演員就會開演，攝影機也開始錄製移動路徑，在攝影師拍攝完成後，即可放開攝影機，如圖 27 所示，系統會自動將拍攝路徑記錄起來，並將路徑描繪出來以便攝影師確認。. 政治大. 但是手動錄製的過程中，很容易因為手部的震動，導致鏡頭畫面變得相當搖晃。為. 立. 了避免手震影響，本系統提供防手震輔助，分析攝影軌跡在短時間內，平移或是旋轉上. ‧ 國. 學. 是否有過於微小的變動頻率，並將這樣的頻率作過濾，將整個攝影軌跡作優化，讓鏡頭畫面在移動時，看起來更順暢而不會產生晃動感。在拍攝的過程中，如果對於結果不滿. ‧. 意，可以不斷地重新錄製，完成錄製之後，系統會在攝影機上增加鎖圖標誌，提醒此台. Nat. sit. y. 攝影機已經設定過動態路徑錄製，並且無法拖拉與設定其他拍攝輔助。但是想要再次重. n. al. er. io. 錄的話，同樣可以打開錄製模式重新錄製，而在刪除攝影機之後，此狀態則會被清除。. Ch. engchi. i n U. v. 圖 27. 動態攝影機軌跡記錄 33.

(46) 3.4.2.2 動態追蹤拍攝輔助為了輔助攝影師能夠快速設定攝影機，我們以演員的身體部位為單位，提供了三種自動化拍攝模式，「追蹤模式」提供鏡頭的追蹤，「跟隨模式」則提供攝影機的跟隨，第三種「軌道模式」則是將前兩者搭配虛擬軌道將拍攝路徑平滑化。. 追蹤模式(Look At Mode)：. 治政追蹤模式相對於傳統的拍攝方式就是水平(Pan)與垂直(Tilt)移動鏡頭的運鏡技大立巧，透過原地的轉動追蹤主體或是環繞四周。進入設定追蹤模式時，如圖 28 所學. ‧ 國. 示，攝影師同樣透過雷射線選擇演員的某個部位（例如頭、胸）與追蹤的攝影. ‧. 機，鏡頭就會將演員的此部位鎖定在畫面的中心點，在演員移動的同時，系統會自動調整攝影機的拍攝角度(Rotation)，藉此來追蹤指定部位的移動。不過原. y. Nat. io. sit. 地的轉動追蹤，很容易會因為角色遠離或是障礙物阻擋而影響畫面，因此將會透過第二種「跟隨模式」，幫助攝影機能夠隨時配合角色作移動。. n. al. er. . Ch. engchi. i n U. v. 圖 28. 設定追蹤攝影機與被追蹤演員部位. 34.

(47) 跟隨模式(Follow Mode)：在跟隨模式裡，攝影師同樣必須指定攝影機跟隨某個部位，並能透過直接拖拉攝影機調整與演員（部位）的距離與方向，當演員開演走位後，攝影機就會保持相同的距離來跟隨演員（部位）的移動。跟隨模式通常都會搭配追蹤模式作使用，因為如果攝影機只有跟著演員移動，但是鏡頭卻沒有轉向重點，就會失去了意義。透過兩種模式的搭配，攝影機就能同時調整攝影的位置(Position)與角度(Rotation)，達到跟隨並追蹤演員的功能。. 政治大為了簡化操作的複雜度，如圖 29 所示，目前我們將追蹤與跟隨兩種模式立. 學. 合併，攝影師在設定跟隨模式時，也會附加追蹤功能，同時也會透過圖標提醒. ‧ 國. 攝影師，因此只要指定一次，即可同時設定兩種模式。. ‧. io. sit. y. Nat. n. al. er. . Ch. engchi. i n U. 圖 29. 追蹤與跟隨模式. 35. v.

(48) 軌道模式(Dolly Mode): 使用跟隨功能時，因為會固定攝影機與演員的距離，鏡頭的轉換有時會顯得較為生硬。為了讓移動路徑可以更加平滑與順暢，如圖 30 所示，我們模擬真實片場的攝影機軌道設計，不僅平滑拍攝路徑，同時也提升片場體驗的真實性。. 立. 政治大. 學圖 30. 軌道搭配追隨功能. ‧. ‧ 國. sit. y. Nat. 本模式實作上使用 Cinemachine 的 Dolly 系統，但我們將原本在 Unity 編輯模式才能看得到的軌道 Rendering 還原到虛擬場景中，讓體驗者不僅看得到. io. er. . al. 也摸得到，並將其設計成更人性化的操作介面，例如在創立新的軌道時，如圖. n. v i n Ch 31 所示，只要拖拉攝影機指定軌道的起終點（設定時起點會有透明的 Ghost 攝 engchi U. 影機定位），接著會自動產生以 Bezier 曲線為基底的虛擬軌道，軌道兩端點附有能夠直接拖動的控制球，用來調整軌道的端點位置與長短，同時也能增減區段與控制球的數量，增加設計的自由度。. 圖 31. 建立新軌道 36.

(49) 關於軌道弧度的調整，如圖 32 所示，原先 Dolly 系統是透過依附控制球的切線球作拖拉調整每個區段的弧度，但這樣的操作並不直觀，因此我們將切線球隱藏起來，並在每個 Rendering 出來的軌道模型中增加碰撞偵測，如圖 33 所示，只要透過控制器拉動軌道，系統就會計算拉動的距離與方向並轉換成切線球的位移，進而調整弧度，拉動時會透過控制器的震動作為觸覺回饋，將原本複雜的軌道設計，變得相當直覺，攝影師很容易就能設計出個人化的拍攝軌道。. 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. n. a圖l 32. 透過切線球調整軌道弧度 v i n Ch engchi U. 圖 33. 拉動軌道調整弧度這三種模式彼此間的關係為：追蹤模式能透過跟隨模式，確保追蹤的演員能夠在穩定的距離內進行拍攝；跟隨模式又能透過軌道模式，平滑攝影機的移動，讓鏡頭的轉換變順暢。 37.

(50) 3.5 移動輔助透過 Vive 本身的紅外線定位追蹤，體驗者能夠在限定的區域內直接作小範圍的走動，不過在虛擬空間中想要移動的範圍過大時，往往會因為真實場地的大小限制，而無法透過走動前往片場中的目的地，因此本系統設計了任意傳送與指定傳送兩種移動方式，協助體驗者作大幅度的移動。. 3.5.1 任意傳送. 立. 政治大. ‧ 國. 學. 當體驗者想要巡視整個片場空間，走近演員面前觀察其表情或動作，或觀察現場物品擺設等，進一步構思取景方式及拍攝手法時，會因為真實活動空間的限制而無法走遠。透. ‧. 過所謂 Teleport 的方式，可將體驗者傳送到想要的地方，當左手控制器壓住板機③後，. sit. y. Nat. 就會出現拋物線軌跡，與其交點的平面上會有圓圈的標記，同時也是放開後會傳送到的. io. al. er. 位置，如圖 34 所示，軌跡會透過顏色表示能否傳送站立，藍色表示允許，紅色則反之。. n. 透過簡易的操作方法，體驗者可以輕易突破 3 公尺* 4 公尺空間的活動限制，任意的在. Ch. engchi. 片場內進行中距離或遠距離的移動。. i n U. v. 圖 34. 拋物線任意 Teleport，左圖代表可傳送（藍色），右圖則無法傳送（紅色）. 38.

(51) 3.5.2 指定傳送為了幫助體驗者能夠在虛擬片場內，快速移動到與拍攝相關的特定位置，我們提供了兩種移動快捷鍵，分別能夠移動到指定的攝影機後方與返回監控螢幕/剪輯板前方。如圖 35 所示，將雷射線指向攝影機、監看螢幕或剪輯板上的預覽螢幕，再按下攝影機傳送按鈕，就能快速傳送到指定攝影機或螢幕畫面對應的攝影機後方，即時調整攝影機的位置。而按下返回按鍵後，在導演角色時會返回監看螢幕前，而在剪輯師身份時則是返回剪輯板前，體驗者可以透過位置的快速切換對鏡頭畫面進行調整。同時，這三種不同目標位. 治政置的移動，也代表著導演、攝影師以及剪輯師身份之間的迅速切換。大立 ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 35. 傳送到指定攝影機. 39.

(52) 3.6 影片即時剪輯系統在影片剪輯系統的時間控制上，我們使用 Unity 的 Timeline 模組，這是一種可用於創造電影內容、過場動畫、遊戲過程序列等的工具，並可以依照事件序列編排回放。系統透過 Timeline 管理電影時間與 Shot 的切換時間。如圖 36 所示，我們將 Timeline 的 Clip 編輯模組化，提供了新增、刪除、調整的基礎功能，並將結果透過預覽螢幕與時間軸視覺化，將所有功能匯集到虛擬剪輯板提供給剪輯師使用。以下我們將逐一介紹剪輯板的介面與操作方式。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 36. 剪輯板介面說明圖 3.6.1 剪輯螢幕剪輯板提供一個母畫面與兩個子畫面作為剪輯時的監看螢幕，母畫面代表目前時間點所選定的鏡頭畫面，子畫面各自代表目前與下一段起始 Shot 的鏡頭截圖，方便剪輯師預覽剪輯，同時也能查看 Shot 間的銜接是否流暢。但進入調整切換時間模式時，兩個子畫面會變成動態影片，方便剪輯師觀看銜接點，以便調整切換時間。 40.

(53) 3.6.2 時間軸為了瞭解剪輯的時間點，剪輯板上附有時間軸，系統利用 Jet 色彩表[22]對每台攝影機的 Shot 作顏色與編號的標記以便識別，時間軸上每段 Clip 的起點與終點都標有時間，幫助分辨每個切換的時間點，同時提供時間指針表示目前所在的時間，透過雷射線就能恣意拉動指針，指針所位於的 Clip 會用紅色邊框加亮起來以便辨識，同時在時間軸兩側也備有時間導航，輔助剪輯師快速移動到前一個或下一個 Clip。. 立. 3.6.3 Clip 編輯. ‧ 國. 新增 Shot. 學 ‧. 新增 Shot 時，可以點擊小螢幕、剪輯板左上或左手選單的新增圖示，如圖 37. sit. y. Nat. 所示，剪輯板左方會跳出所有攝影機的鏡頭畫面，板上的按鈕只會剩下新增圖示，提醒剪輯師目前為新增模式，接著每個鏡頭都附有攝影機編號，剪輯師可. io. al. er. . 政治大. n. 以點選想要的鏡頭畫面，新的 Shot 就會增加在時間軸內，攝影機選擇畫面也會自動關閉。. Ch. engchi. i n U. v. 圖 37. 新增 Shot 與預覽選單 41.

(54) . 插入 Shot 想在兩個 Shot 間插入新 Shot 時，可以將指針調整好插入時間，同樣點擊剪輯板左上或左手選單的新增圖示，其餘步驟同新增 Shot，只是新增的 Shot 會插入在兩個 Shot 之間，起始點是目前指針的時間，終止點則是下個 Clip 的起始時間。. . 更改 Shot. 立. 政治大. 想更改目前時間軸上的 Shot 時，可以將時間指針移到想更換的 Clip，再點選左. ‧ 國. 學. 邊子畫面的預覽圖片，此時同樣會跳出所有攝影機的鏡頭畫面，剪輯師同樣透. sit. y. Nat. n. al. er. 調整 Shot 切換時間. io. . ‧. 過雷射線就能選取鏡頭作更換。. Ch. i n U. v. 當兩個 Shot 的切換點需要微調時，可以將時間指針移到較前的 Clip，再點選剪. engchi. 輯板左上或左手選單的編輯圖示。進入編輯切換時間模式後，剪輯板左方同樣只會留下編輯按鈕，提醒剪輯師目前為編輯切換時間模式，右方則會自動出現確認鍵，以便儲存或取消調整結果。如圖 38 所示，時間軸會將兩個 Clips 用紅色邊框加亮起來，動畫播放時間也會限制在兩個 Clips 之間，同時兩個預覽子畫面也會從圖片變成影片並固定在兩個 Clip 上，不會因為當前的 Clip 改變而更換，剪輯師就可以根據這兩個鏡頭畫面，將時間指針移動到想要的切換，調整切換時間。. 42.

(55) 立. ‧ 國. 學. n. al. er. io. sit. y. ‧. 刪除 Shot. 圖 38. 編輯 Clip 切換時間. Nat. . 政治大. i n U. v. 想要刪除 Shot 時，可以將時間指針移到想要刪除的 Clip 上，再點選剪輯板左. Ch. engchi. 上或左手選單的刪除圖示，系統就會將當前的 Clip 刪除，並由前一個 Clip 作延伸取代，如果是第一個 Clip，則會由後一個 Clip 做延伸取代，但如果只剩下一個 Clip 則無法刪除。. 將 2D 的編輯介面導入到 3D 的虛擬環境中，除了能在虛擬環境中快速剪輯並完成所有工作，最重要的是，在剪輯的過程中，可以隨時回去攝影機調整鏡頭畫面。透過前面所提的指定傳送功能，體驗者可以輕易地穿梭在攝影機與剪輯板之間，快速調整攝影機位置與鏡頭內容，同時也代表剪輯師與攝影師身份間作快速切換。 43.

(56) 3.7 先期研究與改進項目在研究初期完成 Prototype 的時候，只有導演與攝影師的角色切換，導演已擁有即時動畫控制、監控螢幕與上帝視角等完整輔助工具，但攝影師只有靜態拍攝輔助。為了取得使用者的初步回饋，我們設計了一個使用者評估的先期研究，並邀請六位年齡相近(2225)的大學學生作為的實驗對象，以下為先期研究步驟：如圖 39 所示，實驗總共分三個階段。在實驗開始前，先透過 12 分鐘的書面介紹. 政治大. 以及 3 分鐘的影片說明，接著讓受測者進入虛擬片場內，依照影片的示範，自行操作每. 立. 個功能與介面。接著會要求受測者完成指定的拍攝任務。體驗的過程中，實驗人員會觀. ‧ 國. 學. 察且記錄受測者的操作行為。最後，我們透過問卷與訪談來瞭解受測者的感受。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 39. 先期實驗流程圖. 44. v.