實驗結果分析

圖 5.1 至圖 5.12 為動作片類型電影的實驗結果。圖片說明中數字代表的是電 影編號，其詳細內容在表 4.1 中可以查閱。 X 軸表示偽陽性率(False positive rate, FPR)而 Y 軸表示正確偵測率(True positive rate, TPR)，紅色實線表示 MMED 的 ROC 曲線，藍色虛線表示 SVM 的 ROC 曲線，右下曲線說明旁的數字表示 ROC 曲線的面積。

圖 5.1 訓練集:3,4,5 測試集: 1 圖 5.2 訓練集: 3,4,5 測試集: 6 圖 5.3 訓練集: 3,4,5 測試集: 8

圖 5.4 訓練集:3,4,6 測試集: 1 圖 5.5 訓練集: 3,4,6 測試集: 5 圖 5.6 訓練集: 3,4,6 測試集: 8

圖 5.7 訓練集:3,5,6 測試集: 1 圖 5.8 訓練集: 3,5,6 測試集: 4 圖 5.9 訓練集: 3,5,6 測試集: 8

圖 5.10 訓練集:4,5,6 測試集: 1 圖 5.11 訓練集: 4,5,6 測試集: 3 圖 5.12 訓練集: 4,5,6 測試集:8

圖 5.1 至圖 5.3 由左至右為一組實驗對照，依此類推。在動作片類型當中總共有 四組對照，從結果圖中發現跟訓練集具有相同導演的的測試電影，整體 ROC 的 面積值會稍微高過其他兩個與訓練集不同導演的測試電影，而產生這樣的現象，

我們推測是由系統中的 shot label 特徵所產生的差異性。在稍後的章節中，將會 針對單一特徵對系統的平均貢獻度做出探討。

圖 5.13 至圖 5.20 為喜劇片類型電影的實驗結果。圖片說明中數字代表的是電影 編號，其詳細內容在表 4.2 中可以查閱。 X 軸表示偽陽性率(False positive rate, FPR)而 Y 軸表示正確偵測率(True positive rate, TPR)，紅色實線表示 MMED 的 ROC 曲線，藍色虛線表示 SVM 的 ROC 曲線，右下曲線說明旁的數字表示 ROC 曲線的面積。

圖 5.13 訓練集: 1,3,4 測試集: 2 圖 5.14 訓練集: 1,3,4 測試集: 5

圖 5.15 訓練集: 3,4,5 測試集: 2 圖 5.16 訓練集: 3,4,5 測試集: 1

圖 5.17 訓練集: 1,4,5 測試集: 2 圖 5.18 訓練集: 1,4,5 測試集: 3

圖 5.19 訓練集: 1,3,5 測試集: 2 圖 5.20 訓練集: 1,3,5 測試集: 4

圖 5.13 以及圖 5.14 由左至右為一組實驗對照，依此類推。在喜劇片類型的電影 當中總共有四組對照，從圖 5.13 至圖 5.20 中，發現跟訓練集具有相同演員的測 試電影，整體 ROC 的面積值會高過於其他兩個與訓練集不同演員的測試電影。

而這樣的現象，跟動作片類型相同，推測是由系統中的 shot label 特徵所產生的 差異性。在稍後的章節中，將針對單一特徵對系統的平均貢獻度做出探討。

在動作類型的電影(Action movie)當中，比較當測試集和訓練集的電影為相同導 演所拍攝的以及當測試集和訓練集的電影為不同導演所拍攝的實驗平均結果。下 圖 5.21、圖 5.22 以及圖 5.23 為動作片類型的平均統計結果，其中也提供了每一 個特徵的 ROC 值以及結合四種特徵的結果分析。

圖 5.21 動作片類型實驗平均統計結果(1)

圖 5.22 動作片類型實驗平均統計結果(2)

圖 5.23 動作片類型實驗平均統計結果(3)

在喜劇類型的電影(Comedy movie)當中，比較當測試集和訓練集的電影為相同演 員時以及當測試集和訓練集的電影為不同演員時的實驗平均結果。下圖 5.24、圖

5.25 為喜劇片類型的平均統計結果，其中也提供了每一個特徵的 ROC 值以及結 合四種特徵的結果分析。

圖 5.24 喜劇片類型實驗平均統計結果(1)

圖 5.25 喜劇片類型實驗平均統計結果(2)

從圖 5.21、圖 5.22、圖 5.23、圖 5.24 以及圖 5.25 的觀察中，我們發現根據訓練 集與測試集的導演(演員)因素的不同，造成了整體系統的準確率的不同。而從本 論文所設計的特徵中，鏡頭分類特徵(Shot label)對應於實驗設計，產生了有趣的 結果。在圖 5.21、圖 5.22、圖 5.23、圖 5.24 以及圖 5.25 的鏡頭分類(Shot label) 特徵值中，對應於測試集跟訓練集為不同導演(演員)時，對整個系統的正確率幫 助較低。

在動作片類型電影中，鏡頭分類特徵的平均準確率在不同導演的條件下為 64.23 % 以及 56.34 %，在相同導演的條件下為 81.44 %。

在喜劇類型電影中，鏡頭分類特徵的平均準確率在不同演員的條件下為 56.73 %，在相同演員的條件下為 76.54 %。

從上述對於兩類電影的鏡頭分類特徵結果分析中，發現了鏡頭分類特徵跟訓

為 75.52 %，在相同演員的條件下，整體平均準確率達到 89.72 %。從上述幾個 準確率來分析，本論文中的系統、方法在不同類型的電影中，皆達到了不錯的準 確率。而造成整體準確率有所差別的主要原因則來自於鏡頭分類特徵，根據訓練 集與測試集的差別，鏡頭分類特徵會對這個差別反應出一定程度的影響，進而影 響到整體的準確率。

而在實驗中的第二個部分，使用 Leave-One-Out Cross Validation 的方式進行 驗證。主要目的是想驗證本論文的系統在不是對每一類型訓練一個偵測器的情況 下的準確率分析。方式為將 N 部電影中，選出一部當作測試，而剩下的 N-1 部 電影做為訓練集的測試方式，總共進行 N 次的交叉驗證。

圖 5.26 至圖 5.36 為使用 Leave-One-Out Cross Validation 方式進行實驗之後 的 ROC 圖，其電影的詳細內容在表 4.1 中可以查閱。

圖 5.26 The Fast and the Furious 之 ROC 值 圖 5.27 Fast & Furious 之 ROC 值

圖 5.28 The Fast and the Furious Tokyo Drift 之 ROC 值 圖 5.29 Fast Five 之 ROC 值

圖 5.30 Fast & Furious 6 之 ROC 值 圖 5.31 Transformers: Dark of the Moon 之 ROC 值

圖 5.32 Bruce Almighty 之 ROC 值 圖 5.33 Click 之 ROC 值

圖 5.34 Yes Man 之 ROC 值 圖 5.35 I Love you Phillip Morris 之 ROC 值

圖 5.36 Mr. Popper’s Penguins 之 ROC 值

從上述的實驗圖中，發現動作片混合喜劇片的訓練集對於整體系統來說，準 確率是有下滑的趨勢。以動作片的類型來說，圖 5.26 至圖 5.31 的結果對應到不 使用混合類型的訓練集時，其中圖 5.26、圖 5.27 以及圖 5.29 的 The Fast and the

Furious、Fast & Furious 以及 Fast Five 這三部電影跟前一個實驗做比較時多了一 點的提升。而圖 5.28 以及圖 5.31 的 The Fast and the Furious Tokyo Drift、

Transformers: Dark of the Moon 兩部電影跟前一個實驗相比時，則呈現差不多的 準確率。但是，在圖 5.30 的 Fast & Furious 6 則出現了反效果，跟前一個實驗相 比差距較大。整個動作片類型的平均跟之前相比稍微差了一些。

以喜劇片類型來說，圖 5.32 至圖 5.36 的結果對應到不使用混合類型的訓練 集時，這五部電影 Bruce Almighty、Click、Yes Man、I Love you Phillip Morris、

Mr. Popper’s Penguins 跟前一個實驗相比較時，皆出現了準確度下降的現象。而 又以圖 5.32 以及圖 5.35 的 Bruce Almighty、I Love you Phillip Morris 出現了較大 的差距。整個喜劇片類型的平均跟之前相比較差。

根據我們所觀察到的現象，本論文的系統在使用混合類型的訓練集時，仍舊 可以提供一定程度的準確率，但跟原先對每一個類型皆訓練一個偵測器時相比，

系統的準確率是較為不好的。主要原因就是電影在不同類型當中，其獨特的呈現 方式所導致。