第一章 緒論
1.2 文獻探討
1.2.1 前景擷取方法
前景擷取時較直觀的想法是計算兩張連續影像之間對應位置像素的 intensity 差值(temporal difference)。由於前景物體在影像中往往是處於移動狀態,一個瞬 間由背景變化為前景的像素,其 intensity 值必定會有相當程度的變動,可以藉由 設定這個差值的門檻值偵測前景。假設 f 為時間t t 的輸入影像,ft1( , )i j 與 ft( ji, )
6 值來區分前景背景。圖 1.2(b)為用 temporal difference 方法且取得適當門檻值之期 望結果。而圖 1.2(c)、(d)則分別顯示其門檻值設定過高與過低之結果。 進行分析,進而建立背景機率模型。比較基本的做法是以 histogram 為主的 probability model(圖 1.3)。建好所有位置的模型之後,對於每一張輸入影像,拿 取每一個位置的像素與該位置的模型做比對,依此判斷該像素值應屬於前景或背
7
圖 1.2 Temporal difference 示意圖(a) 輸入影像(b) Temporal difference (c) thresholding too high(d) thresholding too low(Piccardi,2004)
圖 1.3 單一位置像素 intensity 值的 histogram(Piccardi,2004)
Mixture of Gaussian (以下簡稱 GMM) 的技術可以用來建立背景模型,它利用多 個 Gaussian 模型 model 背景中每一個單一像點的 intensity 值,可以在規律性的 背景變化(如晝夜變化) 下穩定的擷取前景。其缺點是該方法無法自動決定每一 像素的最適當 Gaussian 函數個數。然而,由於其穩定且優越的結果,依然有大 量的研究使用 GMM 為主的前景擷取方法(Stauffer,2000)。
(b) (b)
(c) (d)
(a)
8
Elgammal et al.(Elgammal et al.,2002) 以數張單純背景的影像為基礎,在影
像中各個像素位置分別建立一個三維(即 R,G,B)的 Gaussian probability model,並 以某像素屬於背景的機率值決定該像素是否屬於背景。此一技術的優點是能夠同 時考慮 RGB,引進了這三個維度在機率上的相關性。若是將三個維度分別用一 維建模,就只能視其為機率獨立,但這與現實狀況不太相符。不同於一維的 Gaussian distribution,多維 Gaussian distribution 的參數由原來的平均值和變異數 改為平均向量
和變異矩陣
。Elgammal et al.(Elgammal et al.,2002)假設一給定 GMM 中有 K 個 channels,
每個 channel 皆為 Gaussian distribution。第 j 個 channel 其權重為
j,平均向量和變異矩陣分別為
j和
j;若以x 代表某像素的 intensity 值,則其分布函數可表t 所有的背景像素 intensity 值都符合 Gaussian distribution 的模型,而提出更一般 的 kernel distribution 概念。此外,Elgammal 放棄前段所建立的三維模型,將三 個維度分開建模之後以相乘的方式結合。假設此模型中每個像素除存有 N 個歷9 於光線變換的容忍程度有相當程度的提高,normalized RGB 的定義如下:
; ; ;
由這個定義來看,normalized RGB 將原來的三個特徵正規化到[0, 1]區間。因此,
對於倍數和小幅平移式的光線變換都有一定的容忍程度。
Kae and Bow(Kae and Bow
,2001)也利用三維的 Gaussian distribution 對各個 位置像素的 intensity 分布情形建立模型,由於該方法不需要事先做建背景的動 作,在該領域的研究中為一重大突破。他們假定單一位置的像素以背景出現的機在背景像素的 intensity 值所佔時間比例較大的基本假設之下,以一個有效率且不 致偏頗的方式去估計背景的分布。然而,該論文也提到,對於初始點為前景的像 素,要收斂到完美的背景分布需要極長的時間,儘管該論文提出另一個 EM 的學
10
習方法來解決這一個問題,前景的分布情形依然是決定正確率的最大因素。
總而言之,單一像素的 intensity 值的背景模型建立為現今前景擷取的研究者 主要的思考方向,但卻有幾個問題尚待解決: Cheng et al.(Cheng et al.,2011),該研究使用修正後的 SVM 作為建模的方法,用 以抵抗背景隨時間的變化,並以 GPU CUDA library 平行化程式,兼顧 real-time 的效果。但第二和第三個問題,本質上並不是單點建模所能夠處理的情況。