5. 自動化電影摘要系統之整體架構
5.2 演員戲份分析
5.2.1 特寫鏡頭的叢集分析
由前一章的結果中，我們可以由鏡頭樣板比對法自動找到整部電影裡的特寫鏡頭。
接下來我們希望能進一步對這些特寫鏡頭以演員為分類單位做叢集處理（假設每個鏡頭 的演員身份皆為未知）。最終得到的結果是多個特寫鏡頭叢集，每個叢集可以視為同一 個演員的特寫鏡頭叢集，因而我們可以預測一部電影中的角色是那些鏡頭，並可計算其 戲份。
所謂的叢集分析（data clustering）就是把一群資料群組成資料叢集（clusters），而 同一個叢集裡的資料樣本彼此都很相似，而叢及與叢集之間相似度則不高。根據演算法 的架構不同，可以把資料叢集演算法分為兩大類，一為分割式（partitional）二是階層 式（hierarchical）。
階層式叢集（hierarchical Clustering）演算法是借由建立樹狀結構（dendrogram）來 達成叢集的目標[20]，圖十七顯示階層式演算法對資料叢集的過程，結果用樹狀圖中
圖十七、階層式叢集樹狀結構圖
不同的層級（level）紀錄下來，設定不同的相似度門檻值（similarity）便可產生不同的 資料叢集。由於在電影中會出現幾位主要角色，並沒有一定的規則，所以要將特寫鏡頭 分為幾個特寫鏡頭叢集並不知道。因此在階層式演算法中，我們可以設定不同的相似度
（similarity）來調整叢集分析後的叢集個數。所以階層式叢集演算法非常適合用於特寫 鏡頭叢集。
一般來說階層式演算法又可分為聚合型（agglomerative）與分解型（divisive）兩種。
聚合型是從每個資料物件開始一步一步由下而上融合（buttom-up），最後全部融合成最 後一個叢集；而分解型則正好相反由上而下（top-down）。
階層式演算法與分割式演算法比較起來，階層式演算法的優點是不用預先知道叢集 的個數，而缺點是必須仰賴人為的觀察來決定叢集個數。但與其因為在分割性的演算法 中輸入錯誤的叢集個數所造成的錯誤相比，階層式演算法的記錄過程，可免於一次又一 次的嘗試，故本文採取階層式叢集演算法進行特寫鏡頭叢集分析。
在[18]論文中提出了一個在視訊影像的膚色識別方法。此方法首先將畫面切為 5x5 的區塊（patch），在將顏色由 RGB（red, green, blue）領域轉換為 HSV（hue, saturation, value）領域。一開始讓使用者指派一個起始的區塊，然後以色度跟飽和度為基礎並計 算其直方圖（histogram）相似度，可以得到一個不錯的人臉識別結果。
我們將[18]論文中所提出膚色相似性計算方法運用在對演員的臉部做膚色叢集處 理上。由於三種樣板比對法可以提供特寫鏡頭中演員臉部的大略位置的資訊，因此我們 可以不用一開始讓使用者指派起始的區塊，而在每個樣板的額頭位置設定取 2x2 個起始 區塊作為起始的區塊，如圖十八之 4 個方塊區域，如此便能有效的自動識別出特寫鏡頭 的臉部部位。我們再以鏡頭的臉部部位的直方圖統計作為特徵值做叢集處理。每一個特 寫鏡頭在初始化的狀態下會被視為是各自獨立的特寫鏡頭叢集。接著對每兩個特寫鏡頭 叢集，我們嘗試將其合併為一個特寫鏡頭叢集。方法是當兩個特寫鏡頭叢集的直方圖相 似度大於我們設定的門檻值時，我們則將這兩個叢集合併為一個特寫鏡頭叢集。最後我 們就可以得到叢集分類的結果。
我們舉一範例說明之。假設某部電影有 12 個特寫鏡頭，初始化時將每個特寫鏡頭
設定為各個獨立的叢集，然後計算各個叢集之間的相似度，將相似度最相近的兩個叢集
（特寫鏡頭 5 與特寫鏡頭 11）合併為一個叢集，如此依續進行叢集合併，直到所有叢 集間的相似度已經都大於所設定的相似度門檻值，我們就可以得到叢集分類的結果，如
圖十八、樣板額頭位置起始區塊（patch）圖
圖十九、特寫鏡頭叢集分析範例 表二、角色戲份分析表
叢集 特寫鏡頭個數 戲份 角色
Cluster1 4 33.34% 第一主角 Cluster2 3 25% 第二主角 Cluster3 2 16.67% 第三(四)主角 Cluster4 2 16.67% 第三(四)主角 Cluster5 1 8.3% 第五主角
圖十九所示。我們得到叢集結果後，便可以進一步計算出每一個叢集的特寫鏡頭個數，
再以所包含的特寫鏡頭個數作戲份統計，借由戲份的多寡就能做出角色的判斷如表二所 示。
燈光對電影來說是「一個活的佈景，幾乎是一個演員」[39]。電影在拍攝過程中，
對每一個演員在不同的場景中可能會有不同的燈光效果，使得進行角色叢集分析時，會 讓同一個角色的特寫鏡頭產生多個叢集。為了降低燈光對臉部膚色的叢集分析結果，所 以我們提出了使用全面背景補償與採樣背景補償的方法對燈光效果所造成的偏差來做 修正。全面背景補償是指對鏡頭中全部背景作計算，採樣背景補償是將鏡頭取井字外圍 的八個區塊（正中十字上下左右四個區塊加上四個角落區塊）作計算。
全面背景補償（採樣背景補償）方法如下：
1. 計算一部電影中所有鏡頭全部（井字外圍的八各區塊）背景的色相（hue）與飽和度
（saturation）的算術平均數。
2. 輸入特寫鏡頭並計算個別特寫鏡頭中全部（井字外圍的八各區塊）背景的的色相與 飽和度算術平均數。
3. 依公式（5）計算出個別特寫鏡頭與全部鏡頭背景的色相差值δh，其中αh為全部鏡 頭背景的色相的算術平均數，σh為個別特寫鏡頭的色相的算術平均數。
δ
h= α
h −σ
h （5）4. 依公式（6）計算出個別特寫鏡頭與全部鏡頭背景的彩度差值δs，其中αs為全部鏡 頭背景的飽和度的算術平均數，σs為個別特寫鏡頭的彩度的算術平均數。
δ
s= α
s −σ
s （6）5. 將特寫鏡頭的臉部部位的色相與飽和度扣除差值後，將直方圖統計作為特徵值做叢 集處理。
圖二十為採樣背景補償方法的特寫鏡頭叢集分析樹狀圖，我們使用聚合型單一鏈結
（Agglomerative Single-Link ）演算法，其中樣本的個數為 80 個特寫鏡頭，樣本相似度 使用歐基里德距離。圖二十一與圖二十二為當叢集個數是六個時的準確率與回復率的比
圖二十、特寫鏡頭叢集分析樹狀圖
較圖。從圖中可以看出全面背景補償的方法比沒有背景補償時準確率提高約 11.11％，
而採樣背景補償的的方法不但提高準確率，並提高了回復率。在準確率方面比沒有背景 補償時準確率提高約 11.11％；在回復率方面比沒有背景補償時回復率提高約 6.67％，
比全面背景補償時提高約 13.33％。
55.56%
66.67% 66.67%
0.00%
10.00%
20.00%
30.00%
40.00%
50.00%
60.00%
70.00%
沒有背景補償 全面背景補償 採樣背景補償
Precision
圖二十一、叢集分析準確率比較圖
33.33%
26.67%
40.00%
0.00%
5.00%
10.00%
15.00%
20.00%
25.00%
30.00%
35.00%
40.00%
45.00%
50.00%
沒有背景補償 全面背景補償 採樣背景補償
Recall
圖二十二、叢集分析回復率比較圖