第一項 前製-大數據劇本決策、劇本優化、受眾分析、劇組選角
大數據的應用有三種類型，一.事前預測的先見之明，二.事後分析的後見之明，三.對當 下進行判斷並進行即時決策的人工智慧(Artificial Intelligence，後簡稱 AI)。儘管近十年要能 完全由人工智慧創造出影視大片的距離還很遙遠，但影視產業在這方面的應用，已經逐步 深入產業價值鏈中各個環節。
產製階段大數據的應用，有劇本決策、劇本優化、受眾分析和劇組選角幾種。劇本決 策可分為有、無原創IP 兩種。在有 IP 的情況下，可以協助編劇從大綱、劇本直至成片評估 題材、情節邏輯、敘事結構是否清晰；人物塑造是否平淡、邏輯有無嚴重缺陷？可以協助 發行決定內容定位，如何找到客戶群？如何擬定最優化的拍攝製作專案計劃，如何估算最 合適的專案財務預算，如何制定適合的發行規劃等。對創作者、目標受眾、傳播效果、粉 絲關注點等進行分析，進而判斷如何製作影視作品。隨後，進一步評估是否適合向哪個方 向製作，並為作品修改方向提供建議的系統。然後，無論有無IP，都可以進入數據應用的 下一環節；研究同類型題材的標杆性內容，區隔出現今播出市場環境，把所有的粉絲想像 成一座金字塔，依照互動的頻繁度分成 3 種粉絲。最頂層是網路互動頻繁的死忠粉絲，雖 然人比較少，但黏著度高；中間層是1～2 個星期才互動一次的人，可列為潛力開發對象，
進一步開發和經營；最底層則為偶爾才互動的人，像過路客為數最多，可以放入次要經營 對象，透過萃取劇本或樣片中多級多項評估要素，建立更為精細、量化、嚴謹、科學的多 維受眾金字塔分析模型；精準鎖定目標客戶，牢牢抓住他們的心。評估指標則根據市場優 秀樣本和業內專家意見，建立量化標準及檢核模型，完成作品的評估。比如在分析刑偵類 影視時，若製作方向偏推理，則選擇以類似「福爾摩斯系列」等為標杆。用數據分析故事 模式、人物關係、情節橋段、價值取向。並將這些挖掘出來，作為製作部門的參考和改善
建議。過去，品牌的粉絲情感經營，都是透過電視、報紙、雜誌的廣告，受眾較為被動。現
視率進行評價。推薦的標準是與同類型的演員相比較，擇適合者推薦。根據該演員的歷史
劇本評估服務；把劇本草稿和已上映的電影相對比，比較兩者的故事類型和結構，並對潛
一種規律。第二，數據在影視中的運用，並未得到普遍認可，溝通成本比較高。相反的另 一種情況是一些大IP 改編劇雖然請到了頂級編劇、頂級製作團隊和適合的演員，錢花了、
人請了、宣傳做到了，但最後還是不能讓觀眾買帳，甚至尤其是原著小說的粉絲吐槽聲最 大。劇拍出來雖有大劇風采，但卻常常顯得高冷且不接地氣，問題的根本在於，拍攝之前 沒有做足大數據分析，未對觀眾心理精準把握。
第二項 拍攝-虛擬實境
VR 是 3D 後下一個影視革命的機會，VR 會完全改變觀眾與內容的互動關係。VR 的終 極目標是要讓觀眾完全沉浸和自由互動於人工的虛擬世界中；有人稱VR 為「同理心機器」
(Empathy Machine)，是最能讓觀眾產生共鳴的載體。VR 之父伊凡·蘇澤蘭(Ivan Sutherland) 1968 發明 HMD 後，人類即開始探索這種終極顯示器(Ultimate Display)。VR 大師麥克．海 姆(Michael Heim)於其著作(1994.10)「虛擬現實的形上學」（The Metaphysics of Virtual Reality) 定義VR 七大元素，沉浸(Immersion)、全身沈浸(Full body Immersion)、人造(Artificiality)、
模 擬(Simulation) 、 互 動 (Interaction) 、 遠 距 臨 場 (Telepresence) 、 網 路 通 信 (Networked Communications)。2017 年第 74 屆威尼斯電影節首次開闢 VR 影視競賽，共 22 部影片參展。
電影節主席阿爾伯托·巴貝拉(Alberto Barbera)表示，單獨開闢競賽單元、獨立的觀摩與評審 體系，是為了見證並支持VR 這項新藝術；台灣導演蔡明亮執導的「家在蘭若寺」，也獲得 入圍該競賽。台灣新媒體藝術家黃心健與蘿裡．安德遜(Laurie Anderson)合作的作品「沙中 的房間」，則擒下最佳 VR 體驗獎。『它提供了另一個現實。我們是用創造一個宇宙、一個 空間的概念打造作品，裡面有作品自己的特性，觀眾可以在空間待著；但電影的線性敘事 就做不到這件事』。黃心健(2017.09.26) Chris 專訪金獅得主黃心健：用 VR，打造一座生與死的記憶迷宮。
一. VR360 全景、光場攝影
目前有兩種方式製作 VR 影視，第一種是實拍，使用多鏡頭組成的全景(Panorama)或 光場相機擷取光學影像和光場資訊後，再使用融合軟體拼接合成VR 影視內容。例如 Facebook Surrounding 360 第一代屬於前者，2017 年 F8 大會推出的 Surrounding 360 x24 第 二代則結合了兩種技術和方式。第二種是電腦動畫(Computer Graphics)建模和製作 VR 影 視；當然也有結合兩種方式虛擬錄製的VR 影視內容。觀看的部分，HMD 有分左、右眼 兩眼視角，分別顯示不同角度(相機)的影像，因此可擬真雙眼視覺而感到非常立體的影像
(參圖 2-7)。目前大部分的 VR 內容是 3 DOF 固定視角的影視，雖然影像可以配合觀眾眼 動追蹤功能或頭部動作作360゜3 DOF 的轉動，但觀眾無法真正於虛擬世界中自由走動。
方法是使用專業的全景相機，錄製完成之後，編輯就會將這些鏡頭連線起來，創造出統一 連續的觀看體驗。最近開始有實驗性質的6 DOF 內容，能做到讓觀眾於一定的空間內自 由走動，猶如於虛擬世界中漫遊。如電影「魔鬼總動員」(Total Recall, Feitshans &
Verhoeven, 1990) 和「駭客任務」(The Matrix, 1999)情節，觀眾可同時生活在真實和虛擬 兩個世界(空間)中。觀眾可以自由選擇鏡頭和視角，這和隔著螢幕觀看一個與自己無關，
與現實有距離感的世界有很大不同的觀眾體驗(參圖 2-9、10、11)。
圖 2- 9 VR 雙鏡頭全景相機(左) HMD 呈現左、右兩眼視差影像(右) (來源: RED digital cinema camera、Google Cardboard 官網)
圖 2- 10 2D、3D、VR 影視差異比較 (來源: HuHuVR 官網)
圖 2- 11 GoPro(左)和 Facebook(右)全景相機 (來源:GoPro 和 Facebook 官網)
光場技術(Light Field)是用光場攝影機拍攝(多個取像系統捕捉)下所有光資訊後，再利 用電腦運算複製出如真實現場的虛擬空間，甚至可以在後製編輯這個場景。光場攝影是目 前最新的VR 應用技術，被稱為 True 3D；跟 2.1 提的 Stereoscopic 3D 有很大不同。因為 光場技術能讓人眼聚焦到不同的景深，並能保持會聚的距離一致而沒有視差，這是最符合 自然雙眼視覺規律的做法，大腦不會混亂，就不會引起噁心暈眩等症狀。目前主要有三種 光場攝影方式，相機陣列(Camera Array)、微透鏡陣列(Microlens Array)或遮罩式(孔洞陣列 或編碼遮罩)並可配合光學雷達(Lidar)來達成。(參圖 2-12)光場是指在一個空間中，任意點 發出任意方向的光資訊集合；每個像素不是一個點，而是一條射線。捕捉到一定範圍內場 景中所有物體的確切景深、顏色、強度、光線方向、距離、位置指向性資訊，再組合每台 相機捕捉到的影像，計算出四維光場(每個像素採集 4 倍資訊)；重構後的影片稱容積影片 (Volumetric Video)，很像電腦動畫的場景，觀眾可以再場景內進行 6 自由度的移動，並且 用不同角度觀看物體。這種方式很像昆蟲的複眼(Compound Eye)，複眼獲取的就是光場訊 息。光場捕捉可以省去人工建模(Modeling)和材質貼圖(Texturing)，直接捕捉 3D 世界的光 線，只需要將這些光線進行重組和重現，即可讓人看見“真實”世界的技術，用戶不僅可 以上下左右從各個角度觀察事物，更能走近或遠離這個物體。但相對資訊量和後製作業的
時間非常龐大，大約是每30 秒 GB，平均 6 分鐘處理每一幀。因此軟體運算技術是目前需 要突破的重要門檻。
圖 2- 12 Lytro 六角形蜂巢式排列方式取像 (來源:Lytro 官網)
二.MR(AR)濾鏡、AI 去背合成
光場攝影的影像有深度資訊，因此可以直接去背(分離背景)，能讓創作人員在不使用 藍/綠幕情況下直接後製特效，輕易轉換 2D/3D 格式，後期對焦等後製工作。目前 Google 嘗試使用AI 與機器學習（Machine Learning），以神經網路影片分割（Neural network video segmentation）方式成功去背。Google 用神經網絡技術分析並學習數以萬計的圖像數 據，因此能準確分辨出頭髮、頸部、皮膚等數據，藉此將背景分離，並達到去背功效。標 注內容裡包括了精確到前景人物的圖像結構，比如頭髮、眼鏡、脖子、皮膚、嘴唇等等，
各類背景則統一標注為「背景」，讓 AI 藉由大量的資料學會判定前景與背景，將來可以 取代動態捕捉(Motion Capture)技術，優化影視後製流程；幾乎可以說在攝影棚內就可以完 成過往耗日費時且成本高又難以掌控的缺點和風險。華盛頓大學發表一篇論文Synthesizing Obama:Learning Lip Sync From Audio:ACM Transactions on Graphics, Vol. 36, No. 4, Article 95. (2017.07)，利 用大量的歐巴馬演說影片，提取聲音和嘴型特徵作為input，並利用 time-delayed 轉換為隨
時間變化的嘴型，透過MR(AR)和 AI 技術，在高速即時運算系統合成了一段高畫質且逼 真的假演說。(參圖 2-13 AI 合成嘴型和聲音特徵說明圖)，以及實際影片和說明
http://grail.cs.washington.edu/projects/AudioToObama/siggraph17_obama.pdf
圖 2- 13 AI 合成嘴型和聲音特徵說明圖 (來源: ACM Transactions on Graphics)
三.聲音採集和後製
VR 不再是傳統的立體聲 5.1/7.1 格式，人對聲音方位的判斷主要有 4 個依據：時間 差、聲級差、人體濾波效應和頭部晃動。物件定位混音(Object Based Audio)技術，通過頭 部相關傳送功能(Head Related Transfer Functions，後簡稱 HRTF)採集，同時錄製 8 個方向 16 條音軌，實現 48Khz 和 24bit 專業採集，能精準捕捉聲源的方位、距離與運動軌跡，錄 製當下真實的聲場關係。高真環繞聲(High Order Ambisonics,後簡稱 HOF)球形全方向的環 繞聲、雙耳(Binaural Recording)或 QuadBinaural 收音技術。Ambisonics 使用四向聲場式麥 克風（Soundfield Microphone）收音，並以最少 4 組獨立音軌來錄製聲音。雙耳錄音(人工 頭錄音)，使用人頭模型(Dummy Head)，把收音麥克風置於左/右人工耳道中，來錄製模 擬左/右耳聽到的聲音。為專業影視製作還提供了最高 8 個方向 16 軌的旗艦版設備，保證
複雜影視製作中能更好地採集聲音信息。
第三項 後製-多元感官模擬器和自然互動界面
猶如電影「一級玩家」(Ready Player One)電影情節中，男主角戴上 HMD 後需要穿 上特殊多元感官衣和鞋，然後在底座上太空漫步，從而於模擬虛擬世界的行走。
眼動追蹤(Eye Tracking)可讓觀眾在頭戴 HMD 時，畫面中心點會較清晰，越往兩邊會 越模糊。因為VR 內容眼球範圍視野 1~2°，視覺敏銳度高，解析度要求最高，往周圍解析
眼動追蹤(Eye Tracking)可讓觀眾在頭戴 HMD 時，畫面中心點會較清晰，越往兩邊會 越模糊。因為VR 內容眼球範圍視野 1~2°，視覺敏銳度高，解析度要求最高，往周圍解析