第三章 Graph cut 前景擷取技術
3.2 應用於影片前景擷取
( ) min ( ) min ( ) min | | | |
A C C
E A
E A
E A
C
const
C
const總而言之，在用 graph cut 技術進行前景擷取時，首先讓使用者在影像上定 義 hard constraint，以收集關於前景與背景的事前知識；並在這個基礎之下，定 義影像標記的成本函數。要解出成本最低的影像標記可利用該影像定義一個
總結graph cut演算法所需要的輸入資訊有：1.原始影像；2.前景以及背景的
35
hard constraint；以及3.前景以及背景的事前機率模型。在hard constraint自動化的 部分，由於背景在影像中的位置相較於前景而言較為聚集，所佔影像區域的面積 也比較大，因此本系統在取過全域門檻值的二值化影像中搜尋，若以某一個像素 p為中心7×7 pixels的patch(如圖3.4之黃框所示)全部都被標為背景的話，p就會被 加入成為背景的hard constraint。另外，由於大部分的前景較背景破碎，所佔影像 區域的面積也較小，因此本系統只取3×3 pixels的patch(如圖3.4之紅框所示)來決 定必為前景的像素。
圖 3.4 Hard constraint 賦予示意圖。上排為原輸入影像，中排為取全域門檻值之 前景擷取結果，下排為二值化影像與定義 hard constraint 之示意。其中黃色方框
之中心會被定義為背景，紅色方框中心則會被定義為前景
實作方面，由於對每一個像素進行
7 7
pixels 的 patch 檢查太過耗時，本研究於此使用了 integral image 的概念(Viola，1994)。Integral image 原為該論文用以計算
36
長方形特徵的方法。在 integral image 中任一位置(x,y)之 intensity 值為二值化影 像中所有在(x,y)左方及上方之像素其值的總和。
對一張二值化影像建構好 integral image 之後，若欲計算在此二值化影像中 某一方塊內的其值為 1 之像素總和，只需自 integral image 中以該方塊四個角的 總合值做簡單的加減便能夠完成，並且其計算量不受方塊大小的限制。以圖 3.5 為例，若要計算 ABCD 矩形內部二值化後其值為 1 之像素總和，只要將 D B C
A即可。更重要的是，建構 integral image 時只需要掃描原二值化影像 一次就能夠完成，因此可以省去大量的加減計算。圖 3.5 由 integral image 計算矩形內部二值化後其值為 1 之像素總和。
擷取出 hard constraint 之後，系統還必須計算前景與背景的事前機率分布以利後 續 graph cut 的處理。在單張影像的 graph cut 演算法中，此事前機率分布是以統 計 hard constraint 的 intensity 值之分佈取得。因此，既然已經得到了 hard constraint，事前機率的部分當可以如法得之。不過，本研究在此有一優勢即系統 中存有一張背景影像，故背景的事前機率分布完全可以由此背景影像統計而得，
比起僅取 hard constraint 部分的統計方式更加完整。以下為本系統應用 graph cut 之流程圖(圖 3.6)。經由全域門檻值的計算，得到初步去背景結果之後，系統就 能夠進行 hard constraint 的標記和前景背景事前機率的計算，以此提供建構 graph 所需要的輸入而能夠進行 graph cut 演算法。
B
C
D A
37
圖 3.6 Graph cut 流程圖。
圖 3.7 顯示使用 graph cut 擷取前景的比較範例。圖 3.7 中上排為原輸入影像，
中排為僅用 global threshold 擷取前景之結果，下排為 global threshold 後再利用 graph cut 擷取前景之結果。由圖 3.7 中可以看到 graph cut 演算法優異的表現。即 使因屬於背景的桌面顏色和人臉膚色過於接近而經由 global threshold 後在人臉 附近產生許多前景擷取錯誤的像素，在經過 graph cut 的處理之後，仍然能夠以 具同質性之像素間的內聚力將此錯誤修正。而且，利用 graph cut 技術所擷取出 的前景非常完整，因此也不需要再做其他的形態學處理。
Global Thresholding
Graph Construction
Weight Assignment
Hard Constraint Labeling
Prior Probability Computing
Graph Cut
38
圖 3.7 Graph cut 擷取前景的比較範例。上排為原輸入影像，中排為 global threshold 擷取前景之結果，下排為 global threshold 後再利用 graph cut 擷取前景之結果。
總而言之，本研究利用 graph cut 演算法來進行前景擷取，即將某像素分類 為前景或背景。而在下一個階段中亦將利用 graph cut 演算法來擷取前景的膚色 區域，即將前景像素分為膚色和非膚色。Graph cut 不只考量了各個像素在色彩 空間中的近似程度，更進一步將像素間的“距離”也納入考量，這樣的特性有利於 影像中的像素分類，因此能夠達到本研究想要的結果。
39