• 沒有找到結果。

中 華 大 學

N/A
N/A
Protected

Academic year: 2022

Share "中 華 大 學"

Copied!
53
0
0

加載中.... (立即查看全文)

全文

(1)

中 華 大 學 碩 士 論 文

使用超像素迭代群組法之精準物件偵測技術 Precise Object Detection using Iterative

Superpixels Grouping Method

系 所 別:資訊工程學系碩士班 學號姓名:M09902016 林育瑋 指導教授:連振昌 博士

中 華 民 國 102 年 8 月

(2)

I

摘要

在視訊監控中物件偵測區域的完整度是很重要的一件事(例如行人與車輛辨識)。然而 一般的物件偵測技術中,因為目標物受容易受到顏色或亮度等變化所影響,使偵測的 目標物區域不完整。為了克服這個問題,我們提出超像素迭代群組法精準的分割目標 物的邊界並精準物件偵測中的目標物區域。使用超像素迭代群組法可以改善一般超像 素分割不準確的問題,並保持目標物區域的完整性。我們認為每一塊超像素區域中偵 測目標物像素越多,該超像素越有可能是目標物所在區域。因此,我們將偵測物件與 超像素結合增加目標物區域的完整性。實驗結果顯示,使用超像素迭代群組精準物件 可以比其它方法得到更完整的目標物區域。

關鍵字: 超像素、物件偵測、超像素迭代群組法、像素合併、視訊監控

(3)

II

ABSTRACT

The region completeness of object detection is very crucial to video surveillance, such as the pedestrian and vehicles identifications. However, many conventional object detecting techniques can’t guarantee the object region completeness because the object detections can be affected by lighting or color variations. In order to overcome this problem, we propose the iterative superpixels grouping (ISPG) method to extract the precise object boundary and generate the object region with high completeness after the object detections. By extending the superpixel segmentation method, the proposed ISPG method can improve the inaccurate segmentation problem and guarantee the region completeness on the object regions. The larger the number of object pixels in each superpixel, the more possibility this superpixel belongs to the object region. Hence, the region completeness can be improved by merging the superpixels that are classified into the object. Experimental results show that the proposed method outperforms the some conventional objection method in terms of object completeness evaluations.

Keywords: Superpixel, object detection, object completeness, Iterative Superpixels Grouping method, Superpixels Grouping , Surveillance

(4)

III

致謝

在研究的過程中能夠順利的完成這篇論文,首先要要感謝我的指導教授連振昌老師。

感謝老師在我研究的過程中給予許多的專業知識的指導與意見,讓我可以順利完成這 篇論文。同時也感謝老師平常對學生生活的關心以及教導我許多做人處事的態度。使 學生我獲益良多。也要特別感謝實驗室中的夥伴們,正達學長、阿德、佩蓉、尤文凱、

馬政、彥凡、建翔還有我的好室友李權峰。有他們的陪伴使我的求學生活更加的充實。

感謝我的家人的支持讓我可以順利的完成學業。最後衷心的感謝我周遭的所有人,謝 謝大家的關心與鼓勵。

(5)

IV

目錄

摘要…...i

ABSTRACT…...ii

目錄…...iv

圖目錄…...v

表目錄…...vii

第一章 簡介...1

1.1 研究動機...1

1.2 相關研究...2

1.3 研究方法與貢獻...3

第二章 超像素迭代群組法...6

2.1 影像的過分分割...7

2.2 遞回標記法...13

2.3 最佳配對法...15

2.4 併吞合併法...17

第三章 ISPG 之精準物件偵測技術...20

第四章 實驗...27

4.1 測試影像與目標物之 Ground-Truth 建立...27

4.2 數據估算...29

(6)

V

4.3 實驗數據與結果...32

第五章 結論與未來發展...41

參考文獻...42

圖目錄

圖 1-1. 使用高斯模型建立背景模型出現物件破碎的情形。(a)原始圖(b) 用高斯模型 所得到的物件偵測結果。………3

圖 1-2. Schick 使用馬可夫隨機場建立機率超像素之物件偵測,因為目標物移動緩慢 出現物件破碎的情形。(a)SLIC 超像素切割(b)PSP-MRF 物件偵測結果。...4

圖 1-3. 使用超像素迭代群組法之物件偵測系統流程圖。……….5

圖 2-1. 超像素分割。……….6

圖 2-2. ISPG 流程圖。……….7

圖 2-3. SLIC 在不同尺寸的超像素影像分割。(a)將影像切成 200 個超像素。(b)將影像 切成 400 個超像素。(c)將影像切成 800 個超像素。………8

圖 2-4. 減少超像素的搜索區域 SLIC 會制定出搜索區域,(a)是使用 K-means 演算法, 群中心與像素的距離計算會涵蓋整張影像,(b)為 SLIC 方法,制定出搜索範圍,以減 少群中心與像素的距離計算與迭代次數。………11

圖 2-5. 影像執行過份分割法的結果。………..………11

圖 2-6. SLIC 系統流程圖。………....12

圖 2-7. 使用遞迴標記法將特徵相似的超像素做結合的結果。……….13

圖 2-8. 遞迴標記法的系統流程圖。……….……….…14

圖 2-9. 最佳配對法圖示。...16

圖 2-10. 使用最佳配對法合併的結果。………16

(7)

VI

圖 2-11. 最佳配對法系統流程圖。………17

圖 2-12. 併吞合併法流程圖。………18

圖 2-13. 併吞合併法執行結果。………18

圖 2-14. 使用 ISPG 在自然影像中切割超像素的結果。………19

圖 3-1. 使用 GMM 方法進行目標物偵測,(a)原始影像。(b)偵測影像。………20

圖 3-2. 將單一像素的前景偵測結合 ISPG 方法之系統流程圖。………..21

圖 3-3. 使用過分分割法切割的超像素補償過度破碎的目標物。(a)原始影像分割後的 超像素分布。(b)使用 GMM 物件偵測的結果。(c)分割後的超像素對應 GMM 物件偵 測。(d)補償結果。………..22

圖 3-4. 使用 ISPG 方法將超像素合併,超像素內的區域完整度提高,利用區域內像 素的關係性改善目標物破碎的問題。圖(a)分割後的超像素進行 ISPG 合併後的結果。 圖(b)將第一階段中目標物補償的結果與 ISPG 的結果對應。圖(c)將目標物像素在超像 素區域中的比例大於臨界值 Tb ,該超像素區塊便被定義為超像素區塊。………….23

圖 3-5. 物件偵測與 ISPG 方法完成三階段結合的結果。(a)原圖。(b) 1010oversegmentation 分割的結果。(c) 方法 ISPG 將超像素合併。(d) 使用 GMM 物 件偵測的結果。(e) 使用圖 b 與物件偵測結合得到補償過後的物件。(f) 使用圖 c 與物 件偵測結合得到補償過後的物件。(g)為圖 e 加圖 f,灰色地帶為補償的地區。(h) 物 件偵測與 ISPG 方法完成三階段結合。……….24

圖 3-6. 目標物大幅度破碎在不同臨界值下的物件補償結果(a)原始影像。(b)GMM 物 件偵測。(c)~(j)臨界值大小為 0.1~0.9 之物件補償的結果。臨界值越小,目標物破碎 的部分容易越容易補償大幅度破碎的部分。………25

圖 3-7. 影像中背景出現雜點在不同臨界值下的物件補償結果(a)原始影像。(b) GMM 物件偵測。(c)~(j)臨界值大小為 0.1~0.9 之物件補償的結果。臨界值越小,目標物容 易受到背景雜點所影響,將背景誤判成目標物。………26

(8)

VII

圖 4-1. CDnet 提供的六類不同環境條件測試影像。(a)基線。 (b)動態背景。 (c)相機

抖動。 (d)陰影。 (e) 間歇性的目標物移動。 (f)熱感應。………….………28

圖 4-2. Ground-Truth 中,五種不同的灰階代表的區域。...29

圖 4-3. Baseline 類別中 pedestrians 影像的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew 物件偵測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。………34

圖 4-4. cameraJitter 類別中 boulevard 影像的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew物件偵測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。比較(l)與(r) 利用 ISPG 去掉背景中細碎的雜點。……….36

圖 4-5. dynamicBackground 類別中 overpass 的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew物件偵測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。………37

圖 4-6. shadow 類別中 peopleInShade 的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew 物件偵測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。……….38

圖 4-7. thermal 類別中 library 的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew物件偵 測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。……….40

表目錄

Algorithm 1. SLIC 超像素分割。………...………….………11

Algorithm 2. 遞回標記法。...14

Algorithm 3: 最佳匹配法。………16

Algorithm 4: 併吞合併法。………...19

Table 1.物件影像與Ground-Truth比對分析表。………...30 Table 2. 使用 Change Detection 方法估算 GMMkaew、GMMkaew+PSP-MRF、GMMkaew

(9)

VIII

+ISPG 之數據結果。………..………...31 Table 3. 使用 Change Detection 方法估算 SOBS、SOBS+PSP-MRF、SOBS+ISPG 之數 據結果。………..………..……….…...32

(10)

1

第一章 簡介

1.1 研究動機

近年來,隨著監控設備發展技術越來越成熟,自動化即時監控系統的研究正快速 的成長。在停車場、公園、銀行、車站等室內戶外等空間隨處都可以見到各種的監控 設備。因為自動化監控系統的發展,電腦視覺中影像處理的技術被廣泛的運用,其中 物件偵測技術是電腦視覺監控領域上很重要的一部份。 在目標物追蹤與辨識等技術 上 ,都需要分割出影像中的物件來確認物件是否為目標物。於是,物件的偵測就成 了視訊監控中頻繁使用的一門技術。在一般的目標物偵測與追蹤系統中,經常利用一 些典型的物件偵測法來辨識移動的物件,例如背景相減法(background subtraction)[1-2]

或高斯混合模型(Gaussian mixture model)[3-5]來建立背景。由於背景相減法容易受到 光線變化所影響,使得偵測的目標物出現破碎或不完整的情況,使系統可能會誤判成 為多個物件或非目標物。而使用高斯混模型可以有效降低光影變化所造成的影響,但 可能因為目標物與背景的色彩或亮度資訊太過相近,同樣會造成目標物破碎的情況,

使得目標物在辨識或追蹤的結果造成影響。

在本項研究中,我們認為影像單一像素的影像資訊無法表達出物件的完整性,所 以提出使用超像素迭代群組法(Iterative Super pixels Grouping)[6]的方法分割出影像中 性質相同的像素(顏色、亮度、紋理等)並結合物件偵測改善目標物破碎的情形。超像 素迭代群組法是利用色彩與位置的相關性將影像中同性質的區域進行分割,使得區域 內的像素具有關係性。接著,為了確保超像素中區域的完整性,會依照顏色、尺寸、

亮度等條件將區域內的超像素反覆的進行結合,最後經過 ISPG 方法所得到的超像素 會依照特徵條件限制的不同,在影像畫分出不同的區域。因此,任何一塊超像素所代 表的區域都有可能是目標物的一部分。我們的目標就是利用物件偵測找到目標物可能 所在的區塊,利用這些超像素代替原本單一像素的偵測結果,得到完整的目標物。

(11)

2

1.2 相關研究

在許多監控系統和電腦視覺的研究中,最基本的問題就是如何在影像畫面中擷取 出需要的物件區域或目標物,使系統能對目標物進行追蹤或辨識的動作。為了取得系 統需要的物件區域,經常使用一些典型的物件偵測法來辨識移動的物件,例如背景相 減法(background subtraction)[1-2]、光流法(optical flow)[8]、時間差異法 (temporal dif- ference)[9]等。早期的研究中,大多以單一像素為基本單位來進行物件的偵測,像素 之間的關係性較薄弱,於是在近期的研究中,有人開始使用已超像素為基本單位進行 物件偵測,希望藉由像素之間的關連性得到更好的物件偵測結果。

在監控場景中,大多數的監控器材都是固定的,因此影像中的場景不會變換。背 景相減法會對影像中的場景先建立一個背景模型,在每兩個畫面之間對應的灰階值算 出一個誤差值,建立背景模型的期間計算一個平均誤差值,接著在平均誤差值上加減 一個常數當作背景模型的臨界值,所以在進行物件偵測時,計算每個對應的像素,落 在臨界值內的像素就判斷為背景區域。但背景相減法容易受到光影變化所影響,使得 物件偵測的結果造成誤判,目標區域破碎不完整 (如圖 1-1)。Stauffer [3]使用以高斯 混合模型(GMM) 進行物件偵測,利用高斯機率密度的函數建立出背景模型,具有快 速的學習能力,對於背景變化可以快速的學習並更新,不容易受到光照、背景變動(陽 光、搖晃的樹枝等)改變所影響,但也可能因為物件的色彩、亮度資訊與背景太過相 似造成目標物破碎或消失,之後 KaewTraKulPong [7]將 GMM 的訓練過程做了改進,

取得更好的物件效果。Kim[10]提出 codebook 演算法,將影像的每個像素建立一個 codebook 結構,每個 codebook 由許多的 codeword 組成,利用建立好的 codebook 判 斷檢測圖像上像素的 maxmod 跟 minmod 判斷此像素是否為物件。

光流法主要是利用物體之間不同的光流來分離出物件和背景的區域,即使攝影機 移動也可以擷取出移動的物件,但光流法在受到外部照明發生劇烈變化時,即使影像 中沒有物件出現也會感測到光流,使系統發生誤判。此外如果偵測區域的光照太低使 得場景中的光流不容易發生變化,光流法也很難感測到移動的物件。時間差異法是利

(12)

3

用相鄰兩個畫面的差異值去偵測場景的移動物,這種方法不容易受到環境變化的影響。

但在目標物完全靜止或目標物移動緩慢的情況下,時間差異法就無法找到場景中的目 標物。

(a) (b)

圖 1-1 使用高斯模型建立背景模型出現物件破碎的情形。(a)原始圖(b) 用高斯模型 所得到的物件偵測結果。

Devi[11]提出了使用邊緣偵測以及Fuzzy C-means來-建立超像素[12-13 ]的背景,

來改善背景相減法的效能(圖1-2)。Schick[14 ]認為單一像素在影像當中沒有具體的意 義,容易被其它因素干擾,使物件偵測的結果出現雜訊或破碎。因此使用了超像素取 代了原本單一像素的物件偵測,他們利用simple linear iterative clustering (SLIC)[13]方 法對影像建立超像素,並使用馬可夫隨機場(Markov random field)[15]算出每塊超像素 可能為物件的區域,增加物件偵測的完整度。Li[16]提出目標物分類分割(Object class segmentation)使用條件隨機場(conditional random fields)[17]對超像素計算,找到目標 區域。對Liu[18]在行人辨識的研究中,將物件結合超像素,解決目標物破碎的問題,

能更好的使用物件偵測對目標物進行辨識。在一般超像素的分割法中,超像素都是以 網狀的形式呈現,分割出的超像素並沒有辦法真正的表示出區域的完整性,因此在目 標物出現大幅度破碎或目標物移動緩慢,使部分的超像素無法被認定為物件所在區域,

造成目標物仍然會出現破碎不完整的情況。

(13)

4

(a) (b)

圖 1-2 Schick 使用馬可夫隨機場建立機率超像素之物件偵測,因為目標物移動緩慢出 現物件破碎的情形。(a)SLIC 超像素切割(b)PSP-MRF 物件偵測結果。

1.3 研究方法與貢獻

在一般的物件偵測方法中,通常使用單一相素的影像資訊進行目標物的偵測。但 是使用單一像素的目標偵測,像素之間缺乏關係性,只能依靠顏色、亮度紋理等特徵 來判斷該像素是否為目標物。在人類視覺中,並不是依靠像素或分子來辨識物體。而 是將眼睛接收到的訊息,在腦內對物體的顏色、形狀以及所存在的空間區域等要素進 行同整,最後判斷出目標物件。因此我們認為使用單一像素的目標物偵測,無法完整 表示出目標物所在的區域。為了使我們的系統能更貼近人類視覺,我們使用超像素分 割出影像中性質相同的區域,使像素之間具有關係性,可以更好的表示出目標物的完 整度。在一般影像中超像素的分割法大多以網格狀的方式呈現,因此還是無法表示區 域的完整性。我們利用 ISPG 方法,反覆的將性質相似的超像素進行合併,增加目標 物區域的完整度,有效的改善物件偵測因為單一像素的資訊不足所產生目標物出現破 碎以及背景所產生的殘點。我們使用的方法如下:

1. 使用物件偵測法取得影像中目標物的像素所出現的位置。

2. 將影像同性質的區域進行超像素的分割。

3. 使用 ISPG 方法將超像素中相似的區域合併。

4. 在三個不同的階段中,將物件偵測的像素與 ISPG 結合,找出目標物的區域

(14)

5

的超像素取代原本單一像素的物件偵測,圖 1-3 為系統流程圖。

我們提出使用 ISPG 將影像將同性質的像素分割成超像素,並將性質相似的超像素進 行合併,利用超像素的特性將目標區域與背景區域能明確的被區分,避免單一像素的 物件影像中所出現的雜點或破碎問題。主要貢獻如下:

1. 利用超像素定義出像素之間的關係性,取得完整的物件區域。

2. 使用 ISPG 方法將影像中性質相似的超像素結合。

3. 將 ISPG 與物件偵測結合,使目標物完整。

4. 消除背景中多餘的殘點,使得物件區域更加的明確。

5. 與 GMM 結合偵測目標物,回傳的正確性比原本 GMM 的物件偵測高 10%

以上 。

Video

Object detection Iterative Super- Pixels Grouping

Object region segmentations with

ISPG method

ISPG superpixel Object image

圖 1-3 使用超像素迭代群組法之物件偵測系統流程圖。

(15)

6

第二章 超像素迭代群組法 ( Iterative Super pixels Grouping )

超像素是由影像中鄰近且同質性的區域所構成的。藉由影像的分割(圖 2-1)使得 影像中的像素具有意義性,每一個超像素中的區域可能是由許多相近顏色、紋理的像 素所組成。經過分割的超像素影像可以降低影像的複雜性,將百萬像素減少成數百個 超像素,而且每個超像素的顏色或紋理訊息相對於單一像素在影像上更具意義。超像 素迭代群組法(簡稱 ISPG)方法是通過合併分割後的超像素以減少不準確的分割並確 保超像素區域內的完整性。ISPG 方法主要分成四個步驟:

1. 將影像執行過分分割得到的超像素影像。

2. 利用遞迴的方式將相似的超像素合併。

3. 將所有面積過小的超像素找到與周圍最相似的合併。

4. 重複 3 的步驟,直到所有小面積的超像素都被合併,最後得到 ISPG 的結果,

系統流程如圖 2-2。

圖 2-1 超像素分割。

(16)

7

Input

Output Oversegmentation

Best Match Merging

Recursive Labeling

Annexation Merging

圖 2-2 ISPG 流程圖。

2.1 影像的過分分割(oversegmention)

在 ISPG 方法中使用 Simple Linear Iterative Clustering (SLIC) [13]來做超像素的分 割。SLIC 方法相較於其它超像素的影像分割方法有更高的計算效率與分割結果,圖 2-3 是影像使用 SLIC 將圖型分割成不同數量的超像素,在圖中可以看到,使用不同 尺寸的 SLIC 在影像中的超像素涵蓋完整物體邊界。

(17)

8

(a) (b) (c)

圖 2-3 SLIC 在不同尺寸的超像素影像分割。(a)將影像切成 200 個超像素。(b)將影像 切成 400 個超像素。(c)將影像切成 800 個超像素。根據不同的數量,可以分割出不同 大小的超像素。

在 SLIC 中為了要使影像資訊更貼近人類的視覺,使用了 CIELab 色彩空間 [19 ] 作為影像的資訊,CIELab 相較於 RGB 與 CMYK 具有較大的色域,而且 L 分量較符 合人類的感知亮度,a 和 b 分別代表紅色與藍色的色彩濃度,可以更好的判斷像素的 色階。在超像素的過份分割中中,像素之間位置的關係性也具有與很大的參考價值,

因此 SLIC 使用 CIELab 的色彩空間與像素位置等五種維度[l,a,b,x,y]來當作像素的資 訊,利用 5D 的維度計算像素與群中心之間的歐式距離找出相似的群集,並考慮每個 超像素的範圍,以減少群中心更新的次數,利用顏色與空間的資訊分割超像素的影像。

CIELAB 轉換方式如下:

1.先將 RGB 轉成 CIEXYZ:

=

 (2-1)

(18)

9

X=X/Xn, Xn=0.950456 (2-2) Z=Z/Zn, Zn=1.088754 (2-3)

2.將 CIEXYZ 轉為 CIELab:

 (2-4)

a=500(f(X)=f(Y))+delta (2-5) b=200(f(X)=f(Z))+delta (2-6)

(2-7)

Delta =

(2-8)

在 SLIC 演算法中,為了能夠有效的降低時間複雜度,會制定初群中心的搜索範圍(如 圖 2-4) ,減少群中心的更新次數,因此需要給定一個參數 K 來設定在影像中同樣大 小的超像素之中的數量以便定義每個群中心初始的搜索區域。每張影像的像素數量為 N,每個超像素的大小初始為 N/K。因此,我們在最初的影像中會得到 K 個格子狀並 大小相等的超像素,網格之間的距離為 S= ,接著將每個網格狀中心定義為超像 素的初始群中心 Ck = ,其中 k = [1,K],為了避免群中心落再邊緣或 雜訊區域,群中心會移動到區域中 33 鄰近像素中梯度值較小的位置。影像梯度值的 定義為:

(19)

10

(2-9)

在空間來說,每個超像素的範圍為 S2 ,因此可以定出 2S2S 的搜索區域,接著利用 歐式距離計算出範圍內每個像素與群中心之間的距離 D,找出與該群中心最小距離的 群集。D 的定義如下:

(2-10)

(2-11)

(2-12)

影像中每個像素都會找到距離最接近的群中心,計算屬於群中心中所有像素 labxy 的 平均向量找出新的群中心,接著反覆找出與該群中心距離最相近的像素並更新群中心 位置直到收斂,得到 SLIC 超像素分割的結果(圖 2-5)。Algorithm 1 與圖 2-6 為 SLIC 的演算法與流程圖。在下文中,為了確保超像素區域的完整性,我們會利用超像素的 面積與亮度的平均當成特徵向量,使鄰近的超像素進行合併。特徵向量定義如下:

(2-13)

其中 為超像素 SPk中的亮度,Ak為超像素 SPk的面積,SPCk是指與超像素 SPk連 接的成員。

(20)

11

s s

(a) (b)

圖 2-4 減少超像素的搜索區域 SLIC 會制定出搜索區域,(a)是使用 K-means 演算 法,群中心與像素的距離計算會涵蓋整張影像,(b)為 SLIC 方法,制定出搜索範 圍,以減少群中心與像素的距離計算與迭代次數。

圖 2-5 影像執行過份分割法的結果。

Algorithm 1: SLIC superpixel segmentation

01: Place cluster centers at regular grid steps interval . 02: Move cluster centers to the lowest gradient position in a neighborhood.

03: repeat

04: for each cluster center do

05: Assign pixels to the closest cluster centers from square around cluster centers.

06: end for

(21)

12

07: Compute new cluster centers and residual error {L1 distance between previous centers and recomputed centers}

08: Until 09: Enforce connectivity.

Start

End Set centers with

step interval S

Assign pixels to each centers by distance measure D and

search area of 2Sx2S Move centers to lowest

gradient position in 3x3 grid

Calculate new centers

E > threshold

Max iteration reached

Yes

Yes

No No

圖 2-6 SLIC 系統流程圖。

(22)

13

2.2 遞迴標記法

為了確保影像中區域的完整性,我們需要將特徵相近的超像素進行合併。在這裡 採用了遞迴結合標記的方法對 SPCk資訊中特徵相近的超像素遞迴的進行標籤的結合

。圖 2-8 與 Algorithm2 為遞迴標記法的流程與演算法。遞迴標記法起始於任何一個 超像素標記,檢查所有相連的超像素,如果超像素之間的特徵距離小於 Td 便將超像 素標記成為同一個超像素。接著將合併過的超像素做上記號,直到所有超像素都有記 號為止。圖 2-7 為 2-5 執行遞迴標記法的結果。

圖 2-7 使用遞迴標記法將特徵相似的超像素做結合的結果,除了邊界部分,其餘區域 性質類似的超像素被合併成一個。

(23)

14

Start

End Set CurrentLabel to 1

Next unlabeled superpixel

Label to CurrentLabel

Find superpixels connected to CurrentLabel superpixels with

distance < Td

Found

More unlabeled superpixels

No

Yes

No Yes

CurrentLabel + 1

圖 2-8 遞迴標記法的系統流程圖

Algorithm 2: Labeling

01: set all superpixel Labels to 0 02: set CurrentLabel to 1 03: initial a Queue 04: for each do

05: if label of != 0 then

06: continue

07: enqueue

08: repeat

09: for each superpixel in the Queue do 10: set Label of to CurrentLabel

11: for each superpixel that connected to do

12: if Label of == 0 then

13: continue

14: if distance of to then

(24)

15

15: enqueue

16: end for

17: end for

18: until Queue is empty 19: CurrentLabel ++

20: end for

2.3 最佳配對合併法

Oversegamentation 經過遞迴標記法後,鄰近的超像素中特徵距離相近的會被結合 在一起。但是仍然有一些距離很小卻沒被合併的。最佳配對合併法是想要用特徵距離 的估算方式找到配對度最高的鄰近像素並且找到一些較小的超像素新的可能區域。首 先要找到區域面積小於面積的臨界值 Ta的超像素。最好的配對結果是找到一對連接 的超像素 SPa與在所有像素之間是最接近的。這一對超像素的最佳配對必須滿足以下 條件:

1. SPa與 SPb必須是互相連接的兩個超像素。

2. SPa與 SPb必須要大於臨界值 Ta

3. SPa與 SPb必須要是彼此最接近的超像素。

圖 2-9 為最佳配對出的超像素 A 與 B, 超像素上的數字為超像素中 LAB 的亮度值。

第二步是確認兩個配對到的超像素的區域面積是否都小於 Ta ,並將兩個超像素合併。

接著再重新尋找最佳配對的兩個超像素直到所有的超像素都無法找到最佳配對的結 果,在圖 2-10 中可以看到使用最佳配對法將超像素結合在影像中出現完整的帶狀區 域。圖 2-11 與 Algorithm 3 為系統流程圖與方法的總結。

(25)

16

圖 2-9 最佳配對法圖示,A 與 B 為使用最佳配對法找到的一組超像素。

Algorithm 3: Best Match Merging 01: repeat

02: initialize List 03: for each superpixel do

04: if then

05: add to

06: end for

07: if 0 then

08: break

09: for each do

10: find Superpixel in that is closest to 11: if then

12: find superpixel that is closest to

13: if then

14: if then

15: merge and

16: end if

17: end for

18: if any single pair of superpixels were merged then

19: break

20: loop

圖 2-10.使用最佳配對法合併的結果,圖中原本模糊不清的區域變得更完整。

(26)

17 Start

Find and Merge Best Matches

Changed Initialize a List

Add all superpixels size < Ta

to the List

List Empty

End No

No

Yes

Yes

圖 2-11.最佳配對法系統流程圖。

2.4 併吞合併法

在圖 2-10 中可以看到,經過最佳配對法合併後的超像素影像仍有一切細小的區 域未滿足條件而未被合併。這種情況降低了區域的完整性,因此 ISPG 將最執行最後 的合併動作,使用併吞合併的方法將這些過小的超像素合併到較大的超像素, 圖 2-12 與 Algorithm4 為系統流程圖與方法的總結。併吞合併法就像一個清掃的過程,

將過於細小有如雜點般的超像素合併到大區域的超像素內。如果這些細小的超像素同 時連接到兩個大塊的超像素,則比較兩者的特徵距離,合併到較相似的超像素。 圖 2-13 為超像素經過併吞合併過後的結果。在圖 2-14 中為在自然景像中,使用 ISPG 分 割超像素的結果。不同於一般超像素以網狀的方式分布,使用 ISPG 方法所做的超像 素可以更好的表達區域的完整性。

(27)

18 Start

End

Find all small superpixels connected to large

superpixels

Merge them to closest large superpixels

connected

Small superpixels remaining

No Yes

圖 2-12 併吞合併法流程圖。

圖 2-13 併吞合併法執行結果,圖 2-10 中邊界附近的細小雜點經過合併後

,超像素得到完整的區域。

(28)

19

(a) (b)

圖 2.14 使用 ISPG 在自然影像中切割超像素的結果。(a)圖場景為一般走道,(b) 圖場景為地下鐵。

Algorithm 4: Annexation Merging

01: repeat

02: initialize List 03: for each superpixel do

04: if then

05: add to

06: end for

07: if 0 then

08: break

09: for each superpixel do 10: initialize List 11: for each superpixel

12: if then

13: add to

14: end for

15: if 0 then

16: continue

17: else

18: merge and closest superpixel in

19: end if

20: end for

21: loop

(29)

20

第三章 ISPG 之精準物件偵測技術

在一般 GMM 與背景相減等物件偵測方法,會因為色彩、亮度或陰影變化等原因 使得偵測的目標物產生破碎 (圖 3-1)。當目標物移動緩慢的情況下,也可能會出現偵 測時,目標物出現斷裂而使目標物不完整,這會使得系統在後續的偵測或辨識上產生 困難。因此,我們認為在執行物件偵測時不能只依靠影像的顏色、亮度等資訊,必須 要考慮目標物區域的完整性。在一般的影像中無法靠單一像素判斷物體的區域性,因 此我們使用 ISPG 方法建立超像素,使超像素內的每個像素有具有區域性的意義。在 本章中將介紹如何使用超像素結合物件偵測改善目標物破碎的方法。

(a) (b)

圖 3-1 使用 GMM 方法進行目標物偵測,(a)原始影像。(b)偵測影像。目標物與 背景色彩資訊太過相近,使得目標物部分被誤認為背景造成目標物破碎。

在傳統物件偵測技術中,都是使用單一像素進行偵測物件,像素之間缺乏關連性。

為了改善單一像素造成目標物出現破碎或雜點使得目標物不完整的情況,我們在物件 偵測的方法中,結合 ISPG 讓像素之間具有關係性,使目標物可以完整呈現。圖 3-2 為使用 ISPG 方法之物件偵測的流程圖。我們會利用 GMM 方法取得影像中目標物的 像素位置,並分三個階段使目標像素與超像素結合找出目標物區域所在的超像素。

(30)

21

Oversegmentation Superpixel 5*5

Iterative Super- Pixels Grouping

Superpixel classified into new

object Object area>Superpixel area

20%

Object area>Superpixel area

50%

Superpixel object image Oversegmentation

Superpixel 10*10

Object area>Superpixel area

50%

Superpixel object image

Integrate two Superpixels object

images

ISPG superpixel object image

Image

圖 3-2 將單一像素的前景偵測結合 ISPG 方法之系統流程圖。

首先,在 ISPG 中超像素過分分割的階段,計算在超像素區域中對應的 GMM 所偵測 到的目標物像素位置,計算區域內目標物的像素數量與超像素區域大小的比例,若計 算出來的比例值大於臨界值 Ta ,便將超像素標記為目標物的區塊。我們認為在超像 素的區域內出現目標物的像素越多,超像素為目標物區域的可能性越大。在這一階段,

主要是為了避免在 ISPG 將超像素合併之後,GMM 所偵測的目標物過於破碎,無法 正確找到為目標物區域的超像素區塊。圖 3-3 為使用超像素過分分割法階段將目標物 破碎部分補償的結果,我們先利用 55 的超像素分割所分割的超像素找到目標物所在

(31)

22

區塊,減少目標物過度破碎所造成的影響,並適當的過濾背景所產生的雜點。

(a) (b)

(c) (d)

圖 3-3 使用過分分割法切割的超像素補償過度破碎的目標物。(a)原始影像分割 後的超像素分布。(b)使用 GMM 物件偵測的結果。(c)分割後的超像素對應 GMM 物件偵測。(d)補償結果。目標物像素在超像素區域中的比例大於臨界值 Ta ,該 超像素區塊便被定義為超像素區塊。比較(b)圖與(d)圖,補償過的目標物破碎區 域明顯變小。

接著,利用 ISPG 方法將超像素合併,經過合併過後的超像素所代表的區域比使用過 分分割法所分割的超像素更加的完整。我們可以合併過後的超像素對應經過第一階段 處理過後的目標物像素位置,計算區域內目標物的像素數量與超像素區域大小的比例,

若計算出來的比例值大於臨界值 Tb,便將超像素標記為目標物的區塊(如圖 3-4)。

(32)

23

(a) (b) (c)

圖 3-4 使用 ISPG 方法將超像素合併,超像素內的區域完整度提高,利用區域內 像素的關係性改善目標物破碎的問題。圖(a)分割後的超像素進行 ISPG 合併後的 結果。圖(b)將第一階段中目標物補償的結果與 ISPG 的結果對應。圖(c)將目標物 像素在超像素區域中的比例大於臨界值 Tb ,該超像素區塊便被定義為超像素區 塊。

在這一個階段當中,因為超像素區域的完整性,所以使得像素之間的關係性不足使目 標物破碎的問題得到改善。一般而言,經過第二階段之後我們可以得到完整的目標物 所在區域,並且過濾背景所產生雜點。但是我們考慮到可能某些區域可能太過細小,

或是在 ISPG 方法合併時,特徵距離過於相近,使得原本因該存在的目標區域的超像 素被合併,導致最後目標物的不完整。所以我們使用不同大小的超像素補強目標物較 為細小的部分。我們對影像執行 1010 的過分分割,得到不同大小的超像素影像,若 是目標物像素的數量在超像素中區域的比例值大於臨界值 Tb ,便將超像素標記為目 標物的區塊並與第二階段的所得到的目標物區域進行合併,得到完整的目標物區域 (如圖 3-5) 。在第一階段中主要是為了要加強 GMM 物件偵測過於破碎的像素,因此 我們會使用較低的臨界值。在第三階段則是避免臨界值過低,使得偵測出現不必要的 雜點,因此我們會使用不同大小的超像素取得我們的目標物。

(33)

24

(a) (b) (c)

(d) (e) (f)

(g) (h)

圖 3-5 物件偵測與 ISPG 方法完成三階段結合的結果。(a)原圖。(b)1010oversegme ntation 分割的結果。(c)方法 ISPG 將超像素合併。(d)使用 GMM 物件偵測的結果。(e) 使用圖 b 與物件偵測結合得到補償過後的物件。(f)使用圖 c 與物件偵測結合得到補償 過後的物件。(g)為圖 e 加圖 f,灰色地帶為補償的地區。(h) 物件偵測與 ISPG 方法完 成三階段結合。

在此階段中,超像素區域內的臨界值大小會影響到物件補償的結果,圖 3-6 與圖 3-7 為不同臨界值所得到的物件補償的結果。在圖 3-6 與圖 3-7 中可以看到,臨界值的門 檻值較低,區域內條件越容易滿足,目標物破碎的區域也越完整,但同時也容易受到 背景雜點所影響,使得背景可能被誤判成目標物。為了避免目標物過於容易受到背景 雜點所影響,同時保持目標物的完整度,在接下來的實驗中,我們都使用 0.5(目標物 像素的數量在超像素中區域的比例值)做為目標物補償的臨界值。

(34)

25

(a) (b)

(c) (d) (d)

(e) (f) (g)

(h) (i) (j)

圖 3-6 目標物大幅度破碎在不同臨界值下的物件補償結果(a)原始影像。(b)GMM 物件偵測。(c)~(j)臨界值大小為 0.1~0.9 之物件補償的結果。臨界值越小,目標 物破碎的部分容易越容易補償大幅度破碎的部分。

(35)

26

(a) (b)

(c) (d) (d)

(e) (f) (g)

(h) (i) (j)

圖 3-7 影像中背景出現雜點在不同臨界值下的物件補償結果(a)原始影像。(b) GMM 物件偵測。(c)~(j)臨界值大小為 0.1~0.9 之物件補償的結果。臨界值越小,

目標物容易受到背景雜點所影響,將背景誤判成目標物。

(36)

27

第四章 實驗

在本章節中,為了驗證系統是否能夠得到較完整的目標物,我們使用 CDnet [20]

所提供的資料庫與驗證方法,計算出不同的數據,並使用不同的偵測方法結合 ISPG 來驗證 ISPG 方法是否可以有效的得到解決物件破碎不完整的問題。Change Detection 是由 Goyette 和 Jodin 所提出來變化檢測方法。在這之前,電腦視覺以及視訊處理在 偵測方面並沒有一個統一的檢測方法,因此他們分出六個不同類別的影像場景建立出 一個新的測試資料庫以及定量方法,希望定出一個有指標性的檢測方式。

4.1 測試影像與目標物之 Ground-Truth 建立

在 CDnet 中,一共提供了 31 個不同的影像進行測試,他們將影像依環境等條件 分為 6 大類。(圖.4-1)

1. 基線(Baseline):在此類別中有四段不同的影像,兩則室內,兩則室外,有些 影像背景會有細微的抖動,有的會出現陰影等,在一般影像處理中常出現的 情形,屬於難度較低的類別。

2. 動態背景(Dynamic Background):在此類別中有六段影像,分別有噴水池、湖 中波紋、行駛中的汽車等,著重於戶外環境的測試,在背景變化下物件目標 物是否會受到影響。

3. 攝影機晃動(Camera Jitter):此類別有四段影片,每段影片分別會出現不同程 度的晃動情形。

4. 陰影(Shadows):在此類別中的四段影片會出現不同類型的陰影,有一些十分 的狹小且不清楚,有一些則是佔據了大部分的場景。

5. 間歇性的目標物移動(IntermittentObjectMotion):此類別的影像是用來測試各 種演算法如何應對背景變化,影片中的目標會出現靜止與移動的狀態,或是

(37)

28

場景中的物體增加或減少(如圖 b)。

6.熱感應(Thermal):此類別的影片是由紅外線攝影機所拍攝,測試在此環境中是 否依舊能進行物件偵測。

在本次實驗中我們將使用 CDnet 所提供的這六大類測試影像作為實驗資料,嘗試讓系 統在不同的場景下進行各種測試。

(a) (b) (c)

(d) (e) (f)

圖 4-1 CDnet 提供的六類不同環境條件測試影像。(a)基線。 (b)動態背景。 (c) 相機抖動。 (d)陰影。 (e) 間歇性的目標物移動。 (f)熱感應。

影像檢測當中,我們需要用到一組 Ground-Truth來與我們的偵測結果作為比較。

CDnet 提供一組測試影像中物件與目標物的Ground -Truth,並利用灰階資訊標注影像 中每個像素所代表的意義為何,例如在影像中邊界模糊容易引起爭議的部分、跟目標 物產生陰影的部分等等。因此,他們將Ground-Truth的影像分成五個不同的灰階值表 示:

1. 靜止(Static):在影像中背景的部分,使用灰階值 0 表示。

2. 陰影(Shadows):在影像中目標物產生陰影的部分,使用灰階值 50 表示。

(38)

29

3. 非關注區域( Non-ROI):在影像中,可能因為樹木搖晃造成背景破壞造成偵 測誤判等區域,為了避免爭議而不列入計算的區域,使用灰階值 85 表示。

4. 未知(Unknown):影像中,邊界等模糊不清的地方,無法定義明確的答案,

使用灰階值 170 表示

5. 移動物(Moving):影像中物件或目標物的部分,使用灰階值 255 表示。

圖 4-2 Ground-Truth 中,五種不同的灰階代表的區域。

4.2 數據估算

為了準確的的測量檢測的結果,必須找到一種數據評估方法能夠有效的回報錯誤 率和正確率,同時考慮到誤判與誤報的發生。因此要觀察所有標準答案和檢測影像每 一個像素配對情況,利用這些配對分別計算出回報率、誤報率等各種數據,最後歸類 出 7 種不同目的的估算方法,以得到客觀且精準的數據。為了得到標準答案與檢測影 像的比對結果,我們會統計以下數據:

1. TP(True Positive) = 影像中所有 Ground-Truth 的像素為真(有出現目標物,灰

(39)

30

階值=255)且檢測影像為真(有出現目標物,灰階值=255)的數量。

2. TN (True Negative) = 影像中所有 Ground-Truth 的像素為否(沒有出現目標物,

灰階值=0)且(沒有出現目標物,灰階值=0)的數量。

3. FP (Felts Positive) = 影像中所有Ground-Truth的像素為否(沒有出現目標物,

灰階值=0)且檢測影像為真(沒有出現目標物,灰階值=255)的數量。

4. FN ((False Negative) = 影像中所有Ground-Truth的像素為真(沒有出現目標物,

灰階值=255)且檢測影像為否(沒有出現目標物,灰階值=0)的數量。

Table 1.物件影像與Ground-Truth比對分析表,TP、TN 表示正確的部分,FP、FN 分 別為誤判跟誤報。

Ground-Truth 像素為真 Ground-Truth 像素為否

檢測影像像素為真 TP FP

檢測影像像素為否 FN TN

接著利用 6 種數據評估的方法來計算統計的數值:

1. Recall (Re): TP/(TP + FN) (4-1) 2. Specificity (Sp): TN/(TN + FP) (4-2) 3. False Positive Rate (FPR): FP/(FP + TN) (4-3) 4. False Negative Rate (FNR): FN/(TN + FP) (4-4) 5. Percentage of Wrong Classifications (PWC):

100(FN + FP)/(TP + FN + FP + TN) (4-5) 6. Precision (Pr): TP/(TP + FP) (4-6) 7. F-measure:2(PrRe)/( PrRe) (4-7)

首先會利用上面幾個評估方法計算每個類別中的所有測試影像,將影像表示為,類 別表示為 c:

(40)

31

Re = TP,/( TP,c + FN,c ) (4-8)

然後將類別中將所有測試影像中的數值平均,|Nc|為類別中所有測試影像的數量。

c

N

c

| Re ,

| / 1

Re

(4-9)

最後將所有類別的結果平均,得到最終的數據結果。

c

Re

c

6 / 1

Re

(4-10)

4.3 實驗數據與結果

我們利用 Change Detection 所提供的方法來估算我們的實驗數據(Tabel2) ,並與 GMMkaew[21]、GMMkaew+PSP-MRF 比較,由數據中可看到,我們的方法相較於其他 兩個方法,在 Recall 中可以知道,在目標物的完整度上我們的方法是優於其它兩種方 法的。可是在 FPR 中因為晃動將使背景誤判出雜點,我們的方法卻將雜點誤認成物件,

反而補強了原本不是物件的區域,因此在誤判方面的數據並沒有太大的改善。

Table 2 使用 Change Detection 方法估算 GMMkaew、GMMkaew+PSP-MRF、GMMkaew +ISPG 之數據結果。

演算法 Recall Sp FPR FNR PBC F-Measure Precision GMMkaew 0.5072 0.9947 0.0053 0.0291 3.1051 0.5904 0.8228 GMMkaew+PSP-MRF 0.5221 0.9948 0.0052 0.0284 3.0252 0.6043 0.8359 GMMkaew+ISPG

0.6465 0.9949 0.0050 0.0132 2.0526 0.6461 0.8803

(41)

32

我們也試著用其它物件偵測方法結合 ISPG,得到完整的目標物。Tabel 3 是我們使用 SOBS[22]結合 ISPG 方法取得物件,並用 Change Detection 計算數據後所得到的結果。

SOBS 是使用類神經地圖的機器學習方法來偵測物件,從下面的表格可以看出,我們 使用 SOBS 結合 ISPG 在取得物件完整度方面有很大的成效。

Table 3 使用 Change Detection 方法估算 SOBS、SOBS+PSP-MRF、SOBS+ISPG 之數 據結果。

演算法 Recall Sp FPR FNR PBC F-Measure Precision SOBS 0.7882 0.9818 0.0182 0.0094 2.5642 0.7159 0.7179 SOBS+PSP-MRF 0.8037 0.9830 0.0170 0.0089 2.3937 0.7372 0.7512 SOBS+ISPG

0.9039 0.9914 0.0121 0.0068 1.3788 0.7151 0.7985

我們將利用二值化影像來表示我們的目標區域,將影像中目標的部分數值定為白 色(灰階值=255),非目標的部分為黑色(灰階值=0) (如圖 4-3 g ~ r) 。圖 4-3 是在 baseline 類別中 pedestrians 的影像,在這測試影像中一共有 1099 張的影像圖片,前面的 1~299 張影像是背景的部分,可用來訓練背景模型。在此類別的測試影片中,背景都較為單 純,並不會出現太多的光影變化或振動的干擾。我們的方法 GMMkaew +ISPG 在此類 別中可以很好的將目標物完整的切割,改善 GMMkaew 目標物破碎不完整的問題。圖 4-4 是 Camera Jitter 類別中名為 boulevard 的測試影像,在這個類別中的影像背景都會 出現晃動的問題。在這測試影像中總共有 2500 張的影像圖片,每張影像都有不同程 度的晃動問題,我們利用 ISPG 方法可以將背景細小的殘點部分消除。

dynamicBackground 類別中的 overpass 的測試影像,一共有 3000 張的測試圖片,在這 個類別中的影像會出現許多的動態背景,以 overpass 為例,在這個影像中會出現搖晃 的樹枝、以及湖中的波紋等不同的動態背景,我們使用 ISPG 方法,改善 GMM 受動

(42)

33

態背景干擾而出現破碎的部分,使物件目標完整的呈現。peopleInShade 影像中有 1199 張測試影像,被分類到 Shadow 的類別中,在此類別中 GMM 方法會受到陰影干擾而 使物件部分有局部出現破碎的情況(圖 4-6 g~l),我們利用 ISPG 將目標物與陰影分割,

改善陰影對物件畫面所造成的影響。Library 測試影像是由紅外線攝影機所拍攝的測 試影像,此類別的畫面並沒有其它測試影像有許多的色彩資訊可以參考,所有畫面都 由灰階影像呈現。ISPG 在灰階影像的環境下,同樣可以順利把目標物與背景部分進 行分割,改善影像破碎的問題。圖 4-7 中可以看到,使用紅外線攝影機拍攝的影像,

沒有太多的色彩資訊。在 Library 的測試影像中,目標物因為長時間坐著不動,使 GMM 將目標物逐漸融入背景而造成破碎。利用 ISPG 方法可以防止目標常時間不動造成的 破碎問題。

(a) (b) (c)

(d) (e) (f)

(43)

34

(g) (h) (i)

(j) (k) (l)

(m) (n) (o)

(p) (q) (r)

圖 4-3 Baseline 類別中 pedestrians 影像的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew物件偵測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。使用 ISPG 方法可完整的將目標物與背景分割。

(44)

35

(a) (b) (c)

(d) (e) (f)

(g) (h) (i)

(j) (k) (l)

(m) (n) (o)

(45)

36

(p) (q) (r)

圖 4-4 cameraJitter 類別中 boulevard 影像的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew物件偵測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。比較(l) 與(r)利用 ISPG 去掉背景中細碎的雜點。

(a) (b) (c)

(d) (e) (f)

(g) (h) (i)

(46)

37

(j) (k) (l)

(m) (n) (o)

(p) (q) (r)

圖 4-5 dynamicBackground 類別中 overpass 的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew物件偵測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。

(a) (b) (c)

(47)

38

(d) (e) (f)

(g) (h) (i)

(j) (k) (l)

(m) (n) (o)

(p) (q) (r)

圖 4-6 shadow 類別中 peopleInShade 的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew 物件偵測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。

(48)

39

(a) (b) (c)

(d) (e) (f)

(g) (h) (i)

(j) (k) (l)

(m) (n) (o)

(49)

40

(p) (q) (r)

圖 4-7 thermal 類別中 library 的執行結果,(a)~(f)原始影像。(g)~(l) GMMkaew物 件偵測的結果。(m)~(r) GMMkaew+ISPG 執行物件偵測結果。

(50)

41

第五章 結論與未來發展

在本篇論文中,考慮物件偵測中,單一像素的影像資訊像素之間缺乏關連性,使 得目標物容易產生破碎不完全。因此提出了使用 ISPG 方法結合物件偵測,利用合併 經過合併後的超像素,使區域內的像素彼此間具有關係性,同時也使物件偵測更貼近 人類視覺。利用物件偵測中目標物像素在超像素區域內的比例找出為前景物的區域,

最後使用超像素取代原本單一像素的偵測結果,得到完整的目標區域,同時過濾畫面 中背景晃動所造成的雜點。最後,經過實驗驗證,我們的方法在不同的實驗環境中,

都可以大幅的改善物件偵測中目標物破碎的問題。同時我們也測試在不同的物件偵測 方法中是否能夠達到同樣的效果,在實驗數據中,可以看到我們的方法在其它的物件 偵測中也同樣的具有成效。我們的方法有以下特點:

1. 利用超像素定義出像素之間的關係性,取得完整的物件區域。

2. 消除背景中多餘的殘點,使得物件區域更加的明確。

3. 分三個不同階段補償物件偵測中的目標物,可藉由調整臨界值得到更好的物 件偵測結果。

4. 可用於不同的物件偵測法,達到目標物補償的效果。

在系統中,因為必須先利用物件偵測找到目標物所在像素位置,找到物件可能所在的 超相素區域,因此在效能上並沒有太大的改善。在之後若要加上辨識或追蹤物件等技 術,可能無法達到即時的效果,在未來發展上必須需要提升系統效能,使系統更好的 能在監控技術上應用。

(51)

42

參考文獻

[1] C. C. Lien, J. C. Wang and Y. M. Jiang, “Multi-mode Target Tracking on a Crowd Scene,” Proceedings of the Third International Conference on International

Information Hiding and Multimedia Signal Processing, vol. 02, pp. 427-430, 2007.

[2] A. Elgammal, D. Harwood and L. Davis, “Non-parametric model for background subtraction,” in proceedings of the 6th

European Conference on Computer Vision, pp.

751-767,2000.

[3] C.Stauffer, and W. E. L. Grimson, “Adaptive background mixture models for real-time tracking,” IEEE Computer Society Conference on Computer Vision and

Pattern Recognition, vol. 02, 1999.

[4] Zivkovic, Z. and F. van der Heijden, “Recursive unsupervised learning of finite mixture models,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, pp. 651-656, 2004.

[5] H. H. Lin, J. H. Chuang, T. L. Liu “Recursive unsupervised learning of finite mixture models” IEEE Transactions on Image Processing, vol. 20, pp. 822-836, 2011.

[6] C. C. Lien, K. L. Yu. “Blur Image Segmentation using Iterative Super Pixels Grouping Method”, 2012.

[7] P. KaewTraKulPong, and R. Bowden, “An improved adaptive background mixture model for real-time tracking with shadow detection,” Computer Vision and

Distributed Processing, pp. 135-144, 2002.

[8] X. Dai and S. Khorram. “Performance of Optical Flow Techniques, ”IEEE Computer

Society Conference on Computer Vision and Pattern Recognitions, pp. 236-242, 1992.

[9] S. Wang, X. Wang, and H. Chen, “A stereo video segmentation algorithm combining disparity map and frame difference,” International Conference on Intelligent System and Knowledge Engineering, vol.1, pp.1121-1124, 2008.

(52)

43

[10] K. Kim, T. H. Chalidabhongse, D. Harwood, and L. S. Davis, “Real-Time Foreground -Background Segmentation using Codebook Model”, Real-Time Imaging, pp.172-185, 2005.

[11] K.S. Devi, N.Malmurugan, S.Poornima, “Improving the Efficiency of Background Subtraction using Super pixel Extraction and Midpoint for Centroid” International

Journal of Computer Applications, vol. 43, pp. 0975-8887, 2012.

[12] S. Wang, H. Lu, F.Yang and M. H. Yang, “Superpixel tracking,” IEEE International

Conference on Computer Vision (ICCV), pp. 1323-1330, 2011.

[13] R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua and S. Suutrunk, "SLIC

Superpixels Compared to State-of-the-art Superpixel Methods," IEEE Transactions

on Pattern Analysis and Machine Intelligence, vol. 34 pp.2274-2282, 2011.

[14] A. Schick, M. Baumi, R. Stiefelhagen, “Improving foreground segmentations with probabilistic superpixel Markov random fields,” IEEE Computer Society Conference

on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 27-31, 2012.

[15] http://en.wikipedia.org/wiki/Markov_random_field

[16] Xi Li and H. Sahbi, “Superpixel-based object class segmentation using conditional random fields,” IEEE International Conference on Acoustics, Speech and Signal

Processing (ICASSP), pp. 1101-1104, 2011.

[17] http://en.wikipedia.org/wiki/Conditional_random_field

[18]C. Liu and Z. Zhao, “Person Re-identification by Local Feature Based on Super Pixel,”

Advances in Multimedia Modeling Lecture Notes in Computer Science, vol. 7732, pp

196-205, 2013.

[19] http://en.wikipedia.org/wiki/Lab_color_space

[20] N. Goyrtte, P. Jodoin, F. Porikli and J. Konrad, “Changedetection.net: A new change detection benchmark dataset,” IEEE Computer Society Conference on Computer

(53)

44

Vision and Pattern Recognition Workshops (CVPRW), pp. 1-8, 2012.

[21] P. KaewTraKulPong and R. Bowden, “An improved adaptive background mixture model for realtime tracking with shadow detection,” EuropeanWorkshop on Advanced

Video Based Surveillance Systems, pp. 135-144, 2001.

[22] L. Maddalena and A. Petrosino, “The SOBS algorithm: what are the limits?,” IEEE

Computer Society Conference on Computer Vision and Pattern Recognition

Workshops (CVPRW) ,pp. 21-26, 2012.

參考文獻

相關文件

In this paper, we extend this class of merit functions to the second-order cone complementarity problem (SOCCP) and show analogous properties as in NCP and SDCP cases.. In addition,

This kind of algorithm has also been a powerful tool for solving many other optimization problems, including symmetric cone complementarity problems [15, 16, 20–22], symmetric

object of supreme nonconceptual gnosis = true suchness,’ ‘that which conforms to the ultimate truth = prajñā,’ and ‘the supreme object = true suchness,’ and we can see

JRE (Java Runtime Environment): for users, JVM + basic libraries JDK (Java Development Kit): JRE + compilers + ... —jdk-6u12-windows-i586-p.exe or other platform

OOP: organized DATA + organized code (ACTION) using classes as the basic module. action are closely coupled

this: a Sub-type reference variable pointing to the object itself super: a Base-type reference variable pointing to the object itself. same reference value, different type

Note that this method uses two separate object variables: the local variable message and the instance field name.. A local variable belongs to an individual method, and you can use

synchronized: binds operations altogether (with respect to a lock) synchronized method: the lock is the class (for static method) or the object (for non-static method). usually used