第三章 偵測及分類方法
3.2 系統流程
SCT DCT MCT
步驟一為取出有變化的畫面,由於一個教學影片是由非常大量的畫面所組成,
而其中在教學過程中有相當大量的近似靜態畫面,因此為了減少樣本數量,而需 進行一連串的處理動作。首先,因為教學影片中的投影片畫面較為單純,色彩變 化極少,因此為了加速運算,而將所有的畫面進行灰階化。由於影片於錄製時,
不能保證室內的光線亮度皆無變化,因此為了減少亮度的影響,而將所有畫面(已 灰階化)進行正規化動作。定義灰階值相減門檻值 T1,Pixel 灰階值差大於 T1則 此點視為有變化,接著統計畫面中有變化的總點數;同時將灰階圖進行 Otsu[20]
演算法取得二元化門檻值進行二元化,並將每兩張臨近畫面進行相減動作,再經 過 Close(先 Erode 再 Dilate)去除雜訊的運算,最後統計二元化相減畫面中的總 點數,再分別為灰階值差及二元化圖差設下不同的門檻值 T2及 T3,捨去無用的 未變化畫面,並取出被判定為有所變化的畫面後,將連續變動畫面的所在位置資 訊送入步驟二進行處理。
步驟二為偵測換頁類型,首先將連續畫面以投影圖(Projection Profile)的方式,
進行 DPAO 演算法來判斷是否屬於掃瞄線變化類別(SCT),不屬於掃瞄線變化類型 的動態連續畫面則以 Gray Level Pixel Difference 計算,判斷其中變化是否符合分 散式變化類別(DCT),不屬於分散式變化類別則歸入位移變化類別(MCT),而在 SCT 及 DCT 類別中再加以進行區塊比對演算法,修正誤判成 SCT 或 DCT 類別的換頁特 效。
3.3 偵測變動畫面
有別於一般偵測靜態的畫面瞬間切換,僅需每隔多張畫面進行偵測;本研究 則需偵測一連串的動態換頁變化,不能略過任何一張畫面資訊,在處理上更為耗 時,因此本研究採用較為簡易的 Pixel Difference 演算法為主要偵測方法。
本研究採用同步進行灰階圖及二元化圖的偵測來判斷畫面是否變化。灰階圖 變動偵測採用[36]中 Zhang 等人所採用的 Gray Level Pixel Difference 方法,
並加入適當的灰階變化門檻值 T1,並統計兩臨近畫面間有變動的總點數(如式 3.1-3.2),其中N 為總畫面張數,W 為畫面寬度,H 為畫面高度,AGk表示第 k 張 畫面的灰階化之影像,x、y 則為畫面中的座標位置,ADGk(x, y)則表示第 k 張灰 階畫面與第 k+1 張灰階畫面的(x,y)座標點判定為是否有變化,而DGk(k)則表示
第 k 張灰階畫面與第 k+1 張灰階畫面間被判定為變化的總點數,座標參數 x 介於 1 至 W 之間,座標參數 y 介於 1 至 H 之間,畫面編號參數 k 則介於 1 至(N-1)之間。
ADGk x, y = 1, if |AGk x, y − AGk+1 x, y | > 𝑇1
0, otherwise (式 3.1) DG k = Hy=1 Wx=1ADGk(x, y), k = 1 … (N − 1) (式 3.2)
灰階圖轉換成二元化圖的二元化門檻值採用 Otsu 演算法[20],利用 Otsu 演 算法找出的最佳門檻值 T,能將影像畫面分為黑白兩叢集,兩叢集之間的差異會 最大。進行二元化處理後,再將每兩臨近畫面進行相減(式 3.3),並進行 Close 運算(先 Erode 再 Dilate)去除雜訊(式 3.4),最後再統計兩張二元化畫面間的差 異值(式 3.5)。其中ABk表示第 k 張畫面的二元化之影像, ADBk(x, y)則表示第 k
張二元化畫面與第 k+1 張二元化畫面的(x,y)座標點是否有變化,ADBk′代表經過 close 的去雜訊運算後的第 k 張與第 k+1 張的二元化差值影像,而DB k 則表示第
k 張二元化畫面與第 k+1 張二元化畫面間被判定為變化的總點數,座標參數 x 介 於 1 至 W 之間,座標參數 y 介於 1 至 H 之間,畫面編號參數 k 則介於 1 至(N-1) 之間。
ADBk x, y = |ABk x, y − ABk+1 x, y | (式 3.3) ADBk′ = Dilate Erode ADBk (式 3.4) DB k = Hy=1 Wx=1ADBk′(x, y) (式 3.5)
在找出兩臨近畫面間灰階圖及二元圖的差異值後,分別為其定義門檻值 T2 及 T3,當符合DG k > T2 or DB k > T3 條件下,則視此第 k 張及 k+1 張畫面間 為有變化。
由於本研究著重於動態的換頁特效偵測,有別於一般的靜態瞬間切換,因此 需要找出連續符合有變化之畫面的畫面串。藉由觀察得之,僅管是靜態瞬間切換,
在錄影壓縮下仍有 1 至 2 張畫面的連續變動,因此定義動態換頁特效為最少連續 3 張畫面符合變化條件,並找出整個教學影片中所有符合此條件的畫面串資訊。