差值影像

本研究在前景初步擷取的部分首先參考了 Chiu(Chiu，2010)所提出的方法，

該研究利用輸入影像和背景影像相減所計算出來的影像(簡稱差值影像)建機率 模型，並且將左右兩邊離主峰最近的第一個反曲點定為 global threshold，以此做 為區分前景以及背景的門檻值。

圖 2.1 Difference histogram 和 turning point 示意圖(Chiu，2010)。

由圖 2.1 可以看出 Chiu 演算法的核心思維：差值影像中像素的 intensity 值 大多趨近於零，因此，由該影像所建立的 R、G、B 三個彩色維度的 color difference histogram(以下簡稱 difference histogram)皆分別趨近 zero mean 的 Gaussian 分布。

另一方面，前景像素的 intensity 差值因為大多為非零的值，會在 histogram 的兩 側造成一些波峰。該研究認為第一個屬於前景波峰的起點，就可以做為前景和背 景的分界點。

圖 2.2 為 Chiu 演算法流程圖，由 difference histogram 計算出 global threshold 之後，進行前景擷取。前景擷取之後，再進行一些型態學的後處理，包括 dilation，

hollow filling 和 shadow removal 等，最後再將確定是背景的像素之 intensity 值與 原來的背景影像對應像素的 intensity 值做線性內插(linear interpolation)處理，以

19

更新後背景像素的 intensity 值。

圖 2.2 Chiu 提出的前景擷取流程圖(Chiu，2010)。

圖 2.3 展示了一般未做形態學處理的實驗結果，除了前景中有少許缺孔之 外，大致上是正確的，爾後輔以一些填補、去陰影的動作，在原論文提及的實驗 結果中就已經能得到相當高的正確率。

圖 2.3 展示以差值影像實作前景擷取但尚未做形態學處理的實驗結果。由圖 中可觀察得知除了前景中有少許缺孔之外，前景擷取的結果大致上是正確的，爾 後輔以一些填補、去陰影的動作，就能得到相當高的正確率。

圖 2.4 為一利用 difference histogram 進行前景擷取的例子。由圖中可觀察到，

像素之 intensity 差值的波峰，除了接近零的大部分區塊以外，的確都屬於前景的 區塊；從圖 2.4(b )中 R、G、B channels 分別之 difference histograms 也可以發現，

在零點右側皆有另一個明顯的波峰出現，這是因為影像中前景部分的像素值大部 分都大於背景的像素值。

20

圖 2.3 以差值影像進行前景擷取的結果。(左)為原圖，(右)白色部分為前景

圖 2.4 Difference histogram 之範例。(a)由上至下分別為背景影像、原圖以及差值 影像(b) R、G、B channels 分別之 difference histograms

由上述結果可知以差值影像之 difference histogram 來擷取前景相當自然且合 理，而且不需耗費多少計算資源。輸入一張影像，只需要配合一張背景影像、計 算出 difference histogram 和一個 global threshold 就可以得到不錯的前景擷取結 果，不論是在時間和空間上的成本都非常小。儘管如此，要將此方法套用至本研 究上時卻發現了一些問題：

1. Difference histogram 的平滑度會影響 global threshold 的選取結果：理論上來 (a) (b)

21

說，最佳的門檻值應定義為“difference histogram 左右兩側離中心點最近的極 小值”(該值所在的位置稱為 turning point)，但在實作中 histogram 的曲線往往 是粗糙的，極易混淆極小值的定義。因此 Chiu 對於 difference histogram 做 了簡單的平滑化動作：將每一個點自己的 histogram 值與鄰近五個點的 histogram 值平均取代該點的 histogram 值。但這種平滑化的方式是否足以解 決此問題，畢竟缺乏理論支持。

2. 極小值的操作型定義並不完全適用於該方法：極小值在微積分中的定義為

“一次微分等於零，且二次微分大於零”之處。但 Chiu 對極小值的處理卻相 當簡單，由零點往左右兩側出發，往右邊找到第一個 histogram 值遞增的點

( [H i 1] H i[ ]& [ ]H i H i[ 1])；往左邊找亦找第一個 histogram 值遞增的點

(H i[  1] H i[ ] &H i[ ] H i[ 1])便視此兩點為極小值。這樣的作法對於前景面積

較大的影像而言就會產生問題，因為其 difference histogram 相對來說比較不 穩定。圖 2.5 即為實作 difference histogram 前景擷取的失敗範例。在該連續 影像中，一名學生因正要入座而進入了影像中，由於該學生在畫面中所佔的 面積比例相當大，有許多背景像素被遮蔽，因此在 difference histogram 接近 零點附近的點其 histogram 值也產生了劇烈的變化。在這種情況下，很有可 能會在非常接近零點附近找到極小值，而造成前景擷取包含背景的錯誤狀 況。

圖 2.5 實作 difference histogram 前景擷取的失敗範例。此為連續的五張輸入影像 之前景擷取結果。

3. RGB 三個門檻值的結合方式並不合理：由於差值影像分成 RGB 三個 channels，且分別計算出 difference histograms 和對應的門檻值。如何結合這 三個 channels 的門檻值作為分類依據在 Chiu 的演算法中亦扮演重要角色。

原論文取三個門檻值的絕對值之和為最終的門檻值，若差值影像的某個像素