第三章 基於高斯混合模型之人物偵測
3.3 運用雙模式高斯混合模型於夜間感應式照明環境之人物偵測
3.3.3 開燈模式之人影濾除
(a) 模式切換後之第15 張影像 (b) (a)經高斯混合模型處理後之前景影像 圖 3.7 忽略光源漸進變化過程進行初始化開燈模式之高斯混合模型
不論使用此兩種方式的任一種,其影響偵測結果只出現在第一次切換模式的 時候。之後只需判斷模式切換事件,即切換為另一種高斯模型即可進行有效地偵 測,而偵測結果只在開關燈之漸進過程會有錯誤。此漸進過程通常為短暫幾個影 像畫面,因此不會對系統整體偵測結果造成太大的影響,因此使用雙模式之高斯 混合模型能獲得理想的感應式照明環境之物體偵測結果。
3.3.3 開燈模式之人影濾除
由於感應式照明設施於開燈模式下多半會提供強光,人行經此環境通常會形 成明顯之人影。使用雙模式之高斯混合模型切割出來的前景會包括這些與地面亮 度差異較大的人影前景,且此人影前景通常會與人的腳相連,如此將造成前景區 域過大,外接矩形包含大量非預期之前景資訊(只有人才是預期的前景)。除此 之外,若是人影前景的行徑重疊性過大,會因高斯混合模型的更新機制被學習為 背景並對接下來的偵測產生不良的影響。因此本研究希望能在強光照明的情況下 將人及人影的前景分割出來,並只對人的部分進行高斯混合模型之背景更新。
圖 3.8(a)(c)(e)(g)(i)依序為感應式照明環境有順序性之不連續影像,藉由其 分別之前景影像結果圖 3.8(b)(d)(f)(h)(j)觀察本模型處理人影所產生的問題。圖 3.8(b)因感應式照明設施剛開啟,其周圍尚有部分小雜訊。圖 3.8(d)因環境亮度 已經穩定,周圍部分小雜訊已經減少很多。因為人影的路徑重疊性過大,將造成 高斯混合模型容易將重疊性高之人影區域建構進高斯模型並擁有足以成為背景 高斯之權重值,如圖 3.8(f)之紅色矩形內之人影中間區域,圖 3.8(h) 之紅色矩 形內之人影中間區域亦有相同的問題。當人影離開此高重疊性之路徑時,亦會因 人影已變成主要背景高斯而造成誤判,如圖 3.8(j)之紅色矩形內原為背景之地板 因不符合新建的人影背景高斯模型而成為前景。
(a) 本範例第550 張影像 (b) (a) 經高斯混合模型處理後之前景影像
(c) 本範例第580 張影像 (d) (c) 經高斯混合模型處理後之前景影像 圖 3.8 人影造成高斯混合模型偵測之困難
43
(e) 本範例第610 張影像 (f) (e) 經高斯混合模型處理後之前景影像
(g) 本範例第640 張影像 (h) (g) 經高斯混合模型處理後之前景影像
(i) 本範例第695 張影像 (j) (i) 經高斯混合模型處理後之前景影像 圖3.8 (續)
文獻[11]提出一個以 HSV 色彩模型為基礎之影子濾除方式,然而夜間近紅 外線影像皆為灰階影像,無法提供色彩之資訊,因此無法使用此類影子濾除方式。
我們假設系統執行的環境其感應式照明設施所產生的影子,其角度δ 之範圍為
°
≤
<
° 225
180 δ 或−45°≤δ <0°兩種,並設法對此兩種範圍內角度的影子進行濾 除,如圖 3.8(b)之人影的角度介於180°<δ ≤225°此範圍內,本部分將以此角度 為範例進行介紹。
上述兩種角度之影子有兩個特性:一為該影子所在的區域皆比人類最低點
(即立足點)之位置要低,因此我們可藉由偵測人類立足點的位置將該像素點以 下之前景區域皆視為人影,並不對此區域進行高斯的更新;二為該影子角度之人 類立足點可藉由135°以及 45°背景掃描線快速地獲得,減少偵測立足點的複雜度。
如圖 3.9 所示,我們將前景影像結果利用紅色虛線之 45°掃描線以綠色實線的順 序逐線搜尋,當尋找到影像中第一個前景像素點時,即視此點為立足點。
圖 3.9 利用掃描線偵測立足點位置(紅色虛線為 45°之掃描線,綠色實線為掃描線執行掃瞄的順 序,藍色圓點表示利用此掃描線獲得之立足點)
在此例中,利用此掃描線方式找到的立足點皆為人之後腳跟,即影像中相對 位置於右方的那隻腳。然而由於人行走時,左右腳會交替作為立足腳,其兩腳的 高低位置亦會互換,如圖 3.9 之立足腳為影像中相對位置於左方的那隻腳,且其 高度亦較另外一隻腳為低,由此可知,僅以單向掃描的方式無法完全正確地掌握 立足腳及找出影像中相對位置較低之腳。因此我們需額外以圖 3.10 之掃描方式 來尋找前腳腳背,利用紅色虛線之45°掃描線以綠色實線的順序逐線搜尋,當尋
45
找到影像中背景區域掃描線長度小於5 時,即視此掃描線已為掃描終點並判斷此 點為前腳腳背。
圖 3.10 利用掃描線偵測前腳腳背位置(紅色虛線為 45°之掃描線,綠色實線為掃描線執行掃瞄 的順序,藍色圓點表示利用此掃描線獲得之前腳腳背)
利用 45°掃描線及其兩種順序逐線掃描的方式已能偵測出後腳腳跟及前腳 腳背的位置,而偵測此兩位置的目的是為了並挑選出位置較低的點當作人類外接 矩形的底邊界。我們視此底邊界以下的前景像素點為人影,因此在更新高斯模型 的時候不會為前景影子的部分建立一個新的高斯分佈,即不將影子建入背景模型 中。除此之外,我們在事後欲提供前景外接矩形的資訊,該外接矩形亦不考慮影 子的部分,如此才能獲得較理想之人物偵測結果。圖 3.11 為掃描線搜尋前、後 腳之結果,此時前腳為右腳。圖 3.12 為行人行徑後立足腳交換之情況,此時前 腳為左腳。圖 3.11 與圖 3.12 中綠點為後腳腳跟、藍點為前腳腳背、紅色線則為 相對位置較低之前腳,其以下之區域皆視為影子並不建立新的高斯分佈。
圖 3.11 利用掃描線尋找前、後腳位置,此時前腳為右腳(綠點:後腳腳跟、藍點:前腳腳背、
紅線:人類外接矩形之底邊界)
圖 3.12 利用掃描線尋找前、後腳位置,此時前腳為左腳(綠點:後腳腳跟、藍點:前腳腳背、
紅線:人類外接矩形之底邊界)
47
利用掃描線獲得前、後腳位置之方法有兩個困難:一為雜訊區域會導致搜尋 結果錯誤。如圖 3.13(a)所示,在掃描的過程中,由於紅色圓形內之雜訊點會比 後腳腳跟所在之綠色掃描線還要早被掃描到,因此會將誤判此雜訊點為後腳腳跟;
二為前景二質影像中破碎的前景區域也會導致搜尋結果錯誤。如圖 3.13(b)所示,
由於紅色矩形內的前景破碎,造成掃描線無法順利地找到前腳腳背的位置。
(a) 紅色圓形內之雜訊點造成掃描線誤判 (b) 破碎前景將造成掃描線誤判 圖 3.13 利用掃描線搜尋前、後腳偵測失敗的例子
首先,我們利用類似連通元件之概念解決雜訊區域之問題。每當掃描線搜尋 到一個前景像素點時,我們會使用連通元件搜尋該像素點所形成之前景區域,並 檢查其連通區域是否超過一定數量的掃描線。若是該連通區域擁有之掃描線數量 超過系統設定的閥值,本系統設定為 15,則判斷該區域夠大足以當作有意義之 前景,因此將搜尋到的前景像素點視為後腳腳跟,並停止繼續搜尋;反之,視此 區域微小雜訊點,則不將搜尋到的前景像素點視為後腳腳跟,並繼續搜尋。
由於高斯混合模型可能會將部分人影更新為背景,因此造成人在行進的過程 中人影區域會有破碎的情形,而圖 3.13(b)之破碎情況則發生於此狀況下導致偵 測上的錯誤。本掃描線搜尋方式會將連續影像裡的前、後腳偵測出來,高斯混合 模型在更新時不將其下方之影子部分更新為背景,所以若使用本掃描線偵測方式 即不會產生前景破碎的情況,此問題也就不復存在。圖 3.14(a)(c)(e)(g)(i)分別是 利用本掃描線方式定義出圖 3.13(b)(d)(f)(h)(j)的人之底邊界,圖中藍線的部分即
為底邊界,因此視其下方之前景區域為影子並不更新至高斯混合模型之背景中。
由圖 3.14 (e)(g)(i)皆可看出前景影子的部分已不再破碎,代表利用此方式確實不 會將影子建入高斯背景。圖 3.14(b)(d)(f)(h)(j)分別為利用此掃描線定義底邊界後 之前景外接矩形,並視極小面積之矩形為雜訊以濾除。
(a) 掃描線方式處理圖3.13(b)之結果 (b) 利用(a)之底邊界框出外接矩形
(c) 掃描線方式處理圖3.13(d)之結果 (d) 利用(c)之底邊界框出外接矩形
(e) 掃描線方式處理圖3.13(f)之結果 (f) 利用(e)之底邊界框出外接矩形 圖 3.14 利用掃描線方式重新定義前景區域之結果
49
(g) 掃描線方式處理圖3.13(h)之結果 (h) 利用(g)之底邊界框出外接矩形
(i) 掃描線方式處理圖3.13(j)之結果 (j) 利用(i)之底邊界框出外接矩形 圖3.14 (續)
第四章 實驗結果與討論
本系統的輸入為夜間近紅外線影像,其主要輸出結果為雜訊濾除及人物偵測 之結果。其中,我們使用時空域雙向濾波器進行影像之雜訊濾除,並使用高斯混 合模型建構背景並進行夜間人物偵測,本章將討論此兩部分之結果。
4.1 以雙向濾波器進行雜訊濾除之實驗結果
使用近紅外線攝影機拍攝夜間影像時,若某一像素點所接收到的近紅外光強 度大於攝影機所能容忍的最大強度,則該像素點之灰階值會有過飽和的情形,此 情形下灰階值為最大值255,即為白色。當拍攝之影像有大量像素點發生灰階值 過飽和的情形時,我們無法從此過飽和區域取出影像之特徵;亦由於該過飽和區 域為大量且連續的像素點,在此無特徵的區域中,我們亦無法透過一般灰階值線 性調整之特徵突顯方式製造新的特徵。因為近紅外線攝影機所照射之近紅外光強 度由其鏡頭周圍之發光二極體所控制,我們期望透過控制發光二極體數量來調整 近紅外光的強度,並解決此像素點灰階值過飽和的情形。
圖 4.1(a)為近紅外線攝影機拍攝得原影像,圖 4.1(b)為近紅外線攝影機關閉 12 個發光二極體所拍攝得影像,圖 4.1(c)(d)分別為圖 4.1(a)(b)中人臉(紅色矩 形)區域的放大影像。我們分別計算圖 4.1(c)(d)內像素點的平均數、標準差、及 Sobel 梯度大小之平均值如表 1。其中,標準差表示其全域性(global)變化程度,
而Sobel 梯度大小之平均值表示其區域性(local)變化程度。經過控制近紅外光 之照射強度後,不論是全域性或是區域性變化程度都較高,即可推論其影像畫面
而Sobel 梯度大小之平均值表示其區域性(local)變化程度。經過控制近紅外光 之照射強度後,不論是全域性或是區域性變化程度都較高,即可推論其影像畫面