第七章 實驗結果與討論
第一節 系統設定
本系統使用11種運鏡以及7種景別來構築 ACMM。7種景別分別為大遠景、遠 景、全景、中景、近景、特寫以及大特寫。11種運鏡方式分別為定點攝影、拉近、
拉遠、向左橫移、向右橫移、垂直向上、垂直向下以及沿觀眾席角度1向左、沿 觀眾席角度1向右、沿觀眾席角度2向左、沿觀眾席角度2向右。
系統的 training data 是以表7.1所示之六部演講影片所擷取出來的 fuzzy motion features 以及所使用的景別與運鏡。擷取方式是以人工擷取,因此 fuzzy motion strength entropy 以及 fuzzy motion orientation entropy 由於人工判斷上的困難因此 只擷取 fuzzy motion strength (m~ )和 fuzzy motion concentration (s m~ )兩種特徵,所c 以系統目前只使用這兩種特徵進行訓練。
表7.1 Training set 介紹
編號 影片名稱 影片長度
(小時:分:秒) 切換運鏡次數 平均運鏡持 續時間(秒)
1
丹佐.華盛頓為2011年
賓州大學畢業生演講 00:22:44 96 14.2
攝影機數量:多台 環境:室外
2
J.K.Rowling 給哈佛畢
業生的致辭(中文字幕) 00:23:44 67 21.3
攝影機數量:多台 環境:室外
65
3
美國總統歐巴馬為2012 年巴納德學院畢業生演
講
00:30:46 21 87.9
攝影機數量:多台 環境:室外
4
Steve Jobs 賈伯斯史丹
佛大學演講(完整版) 00:15:05 39 23.2
攝影機數量:多台 環境:室外
5
比爾·蓋茲:在哈佛大學
畢業典禮上的演講 00:26:04 65 24.1
攝影機數量:多台 環境:室外
6
歐普拉為2008年史丹佛
大學畢業生演講 00:29:55 85 21.1
攝影機數量:多台 環境:室外
66
從表7.1可以得知每部影片的運鏡持續時間分別為14.2秒、21.3秒、87.9秒、
23.2秒、24.1秒、21.1秒,比起一般運鏡的持續時間4到6秒還要高出許多。其原因 有兩種可能,第一是因為這些影片的運鏡都含有拍攝講者的部分,而在演講的場 合畫面停留在講者身上的情況較為普遍。在拍攝講者期間為了讓畫面注意力集中 在講者,所以切換運鏡的頻率較低導致運鏡持續時間的增加,其中編號3的影片 此現象特別明顯。第二是掌鏡者並非專業攝影師或是人力的不足,未考慮或無法 兼顧到運鏡持續時間的問題。
以上六部影片的拍攝環境有皆為室外環境,室內與室外的差異主要在光影的 變化,而光影的改變對於運鏡的選取並無顯著差異,也不會影響運鏡方式的擷 取,所以即使本系統實驗環境架設於室內仍然能夠以拍攝環境為室外的影片作為 測資。另外,每個影片在一個畫面中所能拍攝的最大觀眾人數皆有差異,幾乎都 有百人以上的規模。但是每次運鏡幾乎都是以10人以下的觀眾為主體做拍攝,也 較少直接以大遠景拍攝全部觀眾的畫面。本系統因為主體偵測的限制,觀眾人數 約在5到10人之間,仍然能夠保持多數影片挑選主體的習慣。攝影機的數量代表 在影片中除了拍攝講者的攝影機之外,拍攝觀眾的攝影機的數量。本系統使用的 六部影片所使用的攝影機數量皆在兩台以上,因為可以從影片中察覺某些運鏡的 攝影機位置明顯不同,例如在觀眾席左側及右側,可能是同時在多個位置架設攝 影機或是以人工現場移動位置。本系統的功能為多台攝影機的其中一台攝影機,
若要表現多台攝影機的效果,則需要再多個位置擺設本系統,並搭配導播子系統 進行剪輯。
藉由以上6組測資所建構之 ACMM 的內部結構如圖7.1所示,其中共有7個 CMS(最大11個)、27個 TPM (最大121個)以及27個 SPM(最大121個)。未被標示的 CMS 表示其從未成為當前 CMSCnow,未被標示 TPM 及 SPM 的所有元素值皆為 0,代表該 TPM 及所附屬之 SPM 從未被測資選取。
67
68
69
表7.2為 ACMM 的27個 TPM 中每個元素的數據,未列出的 TPM 拜表其所有 元素值皆為0。表7.3為每個 TPM 的權重值列表,紅色代表權種植不為0的部分。
表7.3 TPM 權重值列表
Wij
j
0 1 2 3 4 5 6 7 8 9 10
i
0 214 22 26 11 3 0 0 0 4 0 0 1 21 1 2 1 1 0 0 0 0 0 0 2 25 2 2 1 1 0 0 2 0 0 0 3 13 0 1 1 0 0 0 0 0 0 0 4 4 0 1 1 2 0 0 0 0 0 0 5 0 0 0 0 0 0 0 0 0 0 0 6 0 0 0 0 0 0 0 0 0 0 0 7 2 0 0 0 0 0 0 0 0 0 0 8 3 1 0 0 0 0 0 0 0 0 0 9 0 0 0 0 0 0 0 0 0 0 0 10 0 0 0 0 0 0 0 0 0 0 0 表7.4為表7.2所列出的 TPM 所附屬的 SPM 每個元素的數據,未列出的 SPM 其所有元素皆為0。
表7.4 SPM 元素值列表
選取機率
景別編號
0 1 2 3 4 5
S 00 0.042 0.103 0.112 0.089 0.640 0.014 S 01 0.000 0.182 0.091 0.045 0.682 0.000 S 02 0.077 0.077 0.077 0.192 0.538 0.038
70
S 03 0.091 0.182 0.000 0.182 0.545 0.000 S 04 0.667 0.000 0.000 0.000 0.333 0.000 S 08 0.000 0.250 0.000 0.000 0.750 0.000 S 10 0.048 0.000 0.286 0.000 0.667 0.000 S 11 0.000 0.000 0.000 0.000 1.000 0.000 S 12 0.500 0.000 0.000 0.500 0.000 0.000 S 13 0.000 0.000 0.000 0.000 1.000 0.000 S 14 0.000 1.000 0.000 0.000 0.000 0.000 S 20 0.040 0.040 0.080 0.240 0.600 0.000 S 21 0.000 0.000 0.000 0.500 0.500 0.000 S 22 0.000 0.500 0.000 0.000 0.500 0.000 S 23 0.000 1.000 0.000 0.000 0.000 0.000 S 24 1.000 0.000 0.000 0.000 0.000 0.000 S 27 0.000 0.500 0.000 0.000 0.500 0.000 S 30 0.077 0.000 0.077 0.077 0.769 0.000 S 32 0.000 1.000 0.000 0.000 0.000 0.000 S 33 1.000 0.000 0.000 0.000 0.000 0.000 S 40 0.000 0.000 0.500 0.000 0.500 0.000 S 42 0.000 0.000 0.000 1.000 0.000 0.000 S 43 0.000 0.000 0.000 1.000 0.000 0.000 S 44 0.000 0.000 0.000 1.000 0.000 0.000 S 70 0.000 0.000 0.000 0.000 1.000 0.000 S 80 0.000 0.000 0.667 0.000 0.333 0.000 S 81 0.000 0.000 1.000 0.000 0.000 0.000
71