以改良型粒子濾波法進行視訊物件偵測與追蹤

以改良型粒子濾波法進行視訊物件偵測與追蹤

曾政賢 林孝杰* L. Lan

國立雲林科技大學 電子與光電工程研究所

*[email protected]

摘要 視訊物件偵測與追蹤在電腦視覺領域裡是一項十分重要的研究課題，其應用包含即時視訊監控系 統、人臉辨識、以物件為基礎的視訊壓縮技術、機器人視覺和智慧型運輸系統等等。粒子濾波器演算法 由於衍生自嚴謹的貝氏機率模型、具備彈性而且容易實現，近年來已引起相關研究人員的高度重視。當 粒子濾波器選用色彩直方圖當作物件特徵，並且在目標物件與背景色彩相似，或是目標物件周遭有色彩 相似的干擾物件，這些情況容易造成追蹤失敗的結果，因此本文對此缺點加以改善。改善係由三方面進 行：（1）採用切割區域的概念，讓更新參考樣板的過程能減少加入不必要的資訊；（2）檢查追蹤視窗的 寬高比例與面積，當追蹤視窗發生異常時，能盡快將以調整，使追蹤視窗能較快恢復成正常狀態；（3） 在追蹤過程的最後階段時，採用兩種判斷物件離開或被遮蔽的方法，其主要特色在能夠自動偵測判斷， 不須以手動的方式加以輔助。我們以常見之檢測視訊及自行拍攝之視訊進行測試，展示所提方法在視訊 物件偵測與追蹤上所帶來之性能提昇。 關鍵字：粒子濾波器、樣板更新、視訊物件追蹤

一. 前言

在近年來，由於通訊處理、信號處理和數位影像處理技術的快速發展與硬體設備的進步，系統在執 行時更為快速，又加上類比式攝影技術漸漸的被數位式攝影技術所取代，讓取得的影像更容易分析與處 理，並隨著視訊產品的普及化，影像處理的研究越來越受到重視，其應用上被世人不斷的提出，例如軍 事領域[1]、自動視訊監控[2]、影像物件分析[3]、 影像壓縮[4,5,6,7,8] 、 人機介面( human- computer interfaces )[9]、智能機器人( intelligent robotics )[10]，甚至是社會大眾的安全[11]等等。

隨著即時監視系統的發展，讓我們即使不在現場，也能隨時察覺到周遭環境的突發狀況，例如機場、 大樓、銀行甚至是社會大眾居家安全等等地方，減少保全人員的負擔與風險，相對也提高對於安全維護 及管理的程度。因近年來半導體製程技術不斷的進步，電腦運算速度越來越快，使影像處理被應用的領 域更為廣泛，其應用無非是希望藉由電腦來幫助人們對所需的影像做分析、追蹤與監控等等，讓人們的 生活能更為便利和安全。 視訊物件追蹤在電腦視覺的研究領域中，扮演著相當重要的角色，例如視訊監控、人機介面和影像 物件分析等等。視訊物件追蹤的困難點有很多地方，像是複雜的背景、非剛體( non-rigid )的物件、背景 ( background )和前景( foreground )的照明變化或是被遮蔽的物件。這些情況都會讓視訊在物件追蹤上變得 困難許多。視訊物件追蹤的原理，主要藉由物件的特徵，如色彩、紋理和輪廓 [12,13,14,15,16,17]等資訊， 藉由連續的分析處理，估測出目標物件的中心位置，來達到追蹤之目的。通常系統在偵測物件的方法上 可分為半自動與全自動。 半自動的偵測系統，必須在追蹤之前，需由使用者事先提供物件的資訊，之後系統才會將被偵測到 的物件加以追蹤。因此，半自動的系統較不適合應用於監視系統上，但也由於沒有複雜的偵測流程，因 此在偵測階段的執行速度會比全自動偵測還來的快速。 全自動的偵測系統，具有自動偵測移動物件之能力，在偵測到物件之後，系統才會將被偵測到的物 件加以追蹤。移動物件的偵測方法，主要是在畫面中尋找移動物件，常用的偵測方法都是藉由連續影像 之間的關聯性，依據移動物件之像素值變化，來達到偵測物件之目的。因此，在即時追蹤系統的應用中， 通常採用全自動的追蹤方式，當有不同物件進入畫面時也能夠加以偵測與追蹤。 本文是針對粒子濾波器( Particle Filter )[12,18,19,20,21,22,23]為主要架構來建立一套半自動追蹤系 統，採用色彩當作物件特徵，在運算速度上，偵測與追蹤皆達到即時處理的效果。在追蹤方面，雖使用 大量的和多種特徵可以增加穩定性與準確度，但執行效率卻會降低，因此本文提出一個利用切割區塊的 概念並搭配權重比例來更新參考樣板，在複雜背景或是目標物件的周遭有干擾物件時，也能追蹤到正確 的物件。並在追蹤的過程中加入調整追蹤視窗的判斷，讓追蹤視窗避免出現不正常的寬高比例與面積。最 後，在實驗結果將會以不同的視訊影像做測試，例如背景色彩與目標物件相似、目標物件周圍有色彩相 似的干擾物件和物件離開或被遮蔽來測試本文研究之方法。 本文結構如下，第二節介紹粒子濾波器大概架構，第三節介紹物件追蹤並提出的參考樣板更新與檢 查追蹤視窗的寬高比例與面積這兩種方法，第四節為本文所提出的兩種自動化判斷物件離開或被遮蔽的 方法，第五節為實驗結果與比較，第六節為結論，最後一節為參考文獻。

二. 粒子濾波器 粒子濾波器是一種貝氏(Bayesian)程序的重要取樣技術，主要動作為預測(prediction)與更新(update)， 使用動態模型找出事前機率(prior probability)，再利用測量(measurement)模型估測事後機率。假設 t x 為物 件在

t

時刻的內部狀態，z_{1: t}為

1

t時刻的觀察值之集合，即z_{1: t} = {z , z ,_{1 2} , z }_t 。若在t-1時刻所得到 的 事 後 機 率 為 t -1 1: t -1 p(x | z ) ， 由 動 態 模 型 可 以 得 到 物 件 的 狀 態 轉 移 機 率 (state transfer probability)p(x | x ) ，藉由(1)式可以求得_{t t -1}

t

時刻的事後機率： t 1 : t -1 t t -1 t -1 1 : t -1 t -1 p(x | z ) =

∫

p(x | x )p(x | z )dx (1) 由於機率計算複雜，在實作上比較因難，因此，粒子濾波器通常以粒子與權重的結合來近似事後機率 t 1: t

p(x | z

)

。

三. 物件追蹤 粒子濾波器應用在視訊物件追蹤上，主要是藉由視訊中目標物件的附近，隨機設置

N

個粒子 (particle)，且每一個粒子皆為一個樣本(sample)集合，以

s

_t( )n 表示之，

n

為第

n

個粒子，

n

=

1, 2,



,

N

，

t

為時刻。每一個粒子

s

_t( )n 都是物件的假設狀態(hypothetical)之集合，其中可能包含粒子的中心點位置

( , )

x y

、移動方向及速度

( ,

v v

_{x y}

)

、視窗大小

(

H H

_x

,

_y

)

，即

s

_t( )n

=

[ , ,

x y v v H H

_x

,

_y

,

_x

,

_y

]

。每一個粒子代 表著一個樣本集合中的狀態向量，利用不同的測量方法，各別給予每個粒子所代表的權重

π

_t( )n ，因此， 粒子與權重可 以構成集 合

S

=

{

(

s

_t( )n

,

π

_t( )n

),

n

= 

1,

,

N

}

。整體系統流 程分為三 個 主要步驟：取 樣 (sample)、預測(prediction)與測量(measure) ，如圖1所示。 圖1 粒子濾波器流程圖 3.1 取樣(Sampling) 根據測量步驟後，每一個粒子

s

_t( )₋n₁會得到各自的權重

π

_t( )₋n₁，藉由權重的大小來產生每一個粒子明顯 不同的機率密度分佈。而取様的主要目的是將機率密度較小的粒子去除，並將每一個粒子的機率密度值 趨近一致。 3.2 預測(Propagation) 在追蹤物件的過程中，物件可能會隨著時間變化而改變移動方向和移動速度，因此預測的主要目的 是為了估測出每一個粒子移動後的位置。在本文中，將使用簡單的動態模型來達到預測之目的：

( ) ( ) ( ) 1 2 ( ) ( ) ( ) 1 2

2

2

n n n t t t xt n n n t t t yt

x

x

x

w

y

y

y

w

− − − −



=

−

+





=

−

+



(2) 其中

w

_xt、

w

_yt為 t時刻之雜訊干擾，其範圍分別為前兩個時刻之間x與y方向的最大移動量。 3.3 測量模型(Measurement)

本文以色彩做為物件特徵，利用參考樣板(target model)與候選樣板(candidate model)之間的相似度程 度給予每一個粒子相對應的權重。在粒子濾波器初始化時，除了產生粒子之外，更重要的步驟是建立參 考樣板。 假設

{ }

* 1 i _{i n}

x

=  為樣板影像中像點的集合，我們將參考樣板的色彩分佈密度函數定義為

q

u，如(3)式 所示： 2 * * 1

(

) [ ( )

]

n u i i i

q

C

k x

δ

b x

u

=

=

∑

−

(3) 我們定義函數： 2 b : R → (1 M)，即

b x

( )

_i* 為 * i x 像點做色彩量化後之色彩索引值， * 2 i k( x )為核心函 數(Kernel function)，

C

為正規化函數。 2 -1 d E 1 c (d + 2)(1- x ) if x < 1 K (x) = 2 0 otherwise    

(4) n ₂ * i i = 1 1 C = k( x )

∑

(5) 每一個粒子皆是一個候選樣板，假設中心點為

y

的粒子之像點集合為 * i 1 {x }_i= _n，我們將候選樣板的色 彩分佈密度函數定義為p (y) ： _u 2 * n * i u i i = 1 y - x p (y) = Cδ[b(x ) - u]k( ) h

∑

(6) 其中，

h

為候選樣板的半徑，

C

為正規化函數。

得到參考樣板的色彩分佈密度函數

q

與中心點為

y

的候選樣板之色彩分佈密度函數

p(y)

後，我們採 用Bhattacharyya相似係數來計算兩者之間的相似度：

M

u u

u = 1

(y)

[p(y), q] =

p (y)q

ρ

≡

ρ

∑

(7) 其中

u

= 

1,

, M

為量化後色彩索引值，

ρ

(y)

介於

[0,1]

之間。

ρ

(y)

愈大，表示中心點為

y

的粒子與實際 的物件位置愈接近。 傳統的粒子濾波器通常以高斯函數(Gaussian function)計算粒子權重： 2 2 [1-ρ(y)] -(n) _2σ t ₂

1

π=

e

2

πσ

(8) 其中

σ

2為變異數(variance)。由(8)式中可發現，當相似度為

0

時，粒子依然有一定的權重存在。因此， 我們對

ρ

(y)

設定臨界值(threshold)： 2 2 [1-ρ(y)] -2σ (n) 2 t

1

e

if

(y) > threshold

π=

_2πσ

0

otherwise

ρ











(9) 經由測量模型後，每一個粒子具有各自的權重，而粒子之權重經過正規化後，依期望值(expect)估測 物件位置： N (n) (n) t t t n = 1

E[f(x )] =

πf(s )

∑

(10) 其中，

f(s )

(n)_t 定義為取出粒子中的資訊函數。 3.4 提出新的樣板更新方法 由於本文所使用之特徵為色彩直方圖，其特徵缺點為物件色彩與背景相似時，或是物件周遭有色彩 相似的干擾物件，讓物件追蹤可能造成失敗的結果。 因此我們提出一個新的更新方法，其研究構想是來自於當追蹤物件時，追蹤視窗標示出的資訊或多 或少都會包含到背景，如圖2所示。我們採用切割區域的方式以及利用權重分配的概念，計算出區域內的 色彩直方圖，並且結合調整後的初始參考樣板之色彩直方圖來完成參考樣板更新，其演算法如圖3所示。

(a) (b)

圖2 標示出目標物件時包含背景之示意圖：(a) 視訊 intersection；(b)視訊 hall_cif。

圖 3 提出的更新樣板演算法 圖 3 演算法的式子中，qu為偵測到物件時的初始參考樣板之色彩直方圖，tr是目前標示出物件的追 蹤視窗，qu _updata則是更新後的參考樣板之色彩直方圖，至於A、B、C則是權重比例分配的變數，且A+B+C = 1。A與B分別乘上tr中所對應區域的色彩直方圖，C乘上初始參考樣板之色彩直方圖qu，將此 6 個色彩 直方圖的結果相加，即可完成參考樣板的更新。圖 4 為本文所提出的參考樣板更新之追蹤結果。

(a) (b)

(c) (d)

3.5 檢查追蹤視窗的寬高比例與面積 在追蹤的過程中，有可能會遇到一些干擾的情況，讓追蹤視窗開始逐漸擴大或者是逐漸縮小，使追 蹤結果從不穩定最後變成追蹤失敗。 我們追蹤的目標物件通常是人物或者是汽車，其兩者的寬高皆有一定的比例，因此我們依據這個特 性，來檢查追蹤視窗是否為正常狀態，判斷定義如(11)式所示： _ if( (W H > 6 or H W > 6) or W H < 100 ) _ _ otherwise ÷ ÷ ×  =   Initial t t P wh P wh P wh

(11) t 為第 t 張畫面，

P

_Initial

_

wh

表示偵測到目標物件的初始粒子視窗之寬高，

P

_t

_

wh

表示目前時刻的 粒子群視窗之寬高，W 和 H 代表目前追蹤視窗之寬高。其定義的意思為當目前時刻追蹤視窗之寬高比例 小於 6 或面積大於 100 pixels 時，則追蹤的粒子群視窗之寬高將保持不變；若當目前時刻的追蹤視窗之寬 高比例大於 6 或面積小於 100 pixels 時，則判定追蹤視窗為不正常現象，並將粒子群視窗的寬高調回一開 始偵測到目標物件的初始大小。加入此定義後，在出現錯誤時，追蹤視窗能較快的重新追回目標物件， 以減少追蹤不穩定的情況發生。 四. 判斷物件離開或被遮蔽 目標物件在追蹤的過程中，有可能因為離錄影鏡頭越來越遠，導致目標物件在畫面上越來越小，導 致在追蹤上沒有足夠的色彩來進行色彩分佈函數，或者是目標物件離開畫面，以及目標物件被背景或其 它物件所遮蔽，讓粒子群中的大多數粒子得到很低的權重值，所以無法有效的估測出目標物件的位置， 有可能讓粒子群開始移動到不相關的背景或物件。 常用的判斷物件離開或被遮蔽之定義[12,24]如(12)式所示： ( )

[ ,

n

]

2

t S

p q

ρ

> +

µ

σ

(12) μ為佈滿畫面的多個橢圓區域，事先計算背景與目標物件的色彩相似度的平均值σ為其標準差。在物 件離開畫面後，總共有N個粒子分佈在可能出現的區域，當有超過 b

×

N個粒子符合目標物件出現的定義， 演算法就判斷物件進入畫面並開始追蹤，而同樣也用於判斷物件是否離開畫面，有少於 b

×

N個粒子符合 目標物件出現的定義，則判斷物件已離開。雖然此種方法能有效的判斷，但其缺點是需事前以人工圈選 的方式，指定用來判斷的粒子之分佈位置。因此我們提出兩種自動化判斷物件離開或被遮蔽的方法。 4.1 物件中心色彩判斷法 將追蹤視窗切割並提取出圖5的參考樣板之色彩直方圖qu，以及提取出圖6的候選樣板之色彩直方圖 pu，只需要追蹤視窗的中心區塊的原因，是減少不相關的資訊干擾，在追蹤過程中，目前追蹤視窗的大 小會因目標物件的寬高而有所調整，因此在比較qu與pu的色彩相似度之前，需先將色彩直方圖qu做比例調 整的動作，如(13)式所示： _

[(

) (

)]

u reg u

q

=

q

×

x

× ÷

y

w h

×

(13)

圖 5 物件中心色彩判斷法的參考樣板來源之示意圖 圖 6 物件中心色彩判斷法的候選樣板來源之示意圖 w和h為參考樣板的中心區塊之寬高，x與y為候選樣板的中心區塊之寬高， qu_reg則是qu經過比例調 整後結果。之後採用Bhattacharyya相似係數來計算 qu_reg和pu之間的相似度，若計算出來的

ρ

小於設定的 臨界值，則判定物件離開或被遮蔽，並移除該物件粒子群且系統回到偵測階段。 4.2 連續色彩距離變化量判斷法 此方法的構想是來自於連續影像相減法( Temporal Differencing )的概念，連續影像相減原理是利用時 間上連續的影像做一對一的像素相減，若是兩者差異小於臨界值，則表示此像素屬於背景像素，反之， 此像素則為移動物件像素，其流程圖如 7 所示。 我們利用連續影像相減法的概念來判斷物件離開或被遮蔽，並稍做些變化，假設目前畫面是第N張， 在經過t張畫面後，第N張畫面與第N+t張畫面的追蹤視窗內之色彩直方圖，計算其相似度距離dN，接著第 N+ t張畫面與第N+2t張畫面的追蹤視窗內之色彩直方圖，計算其相似度距離dN+t，相似度距離的計算式子 如(14)式所示，最後dN和dN+t相減後取絕對值，其值即為色彩直方圖的變化量，如(15)式所示，判斷其變 化量是否過大，若變化量大於設定的臨界值，則判定為物件離開或被遮蔽，並移除粒子群，系統回到偵 測物件的階段。

1

[ , ]

d

=

−

ρ

p q

(14)

variation =

d

_N

−

d

_{N t+}

(15)

圖 7 連續影像相減法的流程圖

[ , ]

p q

ρ

的求法與(7)式相同，d 為相似度距離。d 值若越小，則表示兩樣板之間越相似；反之，d 值 若越大，則表示兩樣板之間越不相似，而 d 值介於 0 ~ 1。 N 為第 N 張畫面，t 是經過 t 張畫面。連續色彩距離變化量判斷法的整體流程如圖 8 所示。 圖 8 連續色彩距離變化量判斷法之流程圖

五. 實驗結果與討論

為了比較本文提出的更新參考樣板之方法，我們採用固定式參考樣板[25]以及K. Nummiaro[12]等人 所提出的更新方法來進行結果比較，以OneShopOneWait2cor視訊進行追蹤視窗檢查與未檢查的結果比 較，intersection視訊進行追蹤結果的準確度比較，hall_cif視訊則是進行判斷物件離開或被遮蔽。程式所處 理時間，與粒子數量的多寡有極大關係，本文所使用的粒子數量是100個粒子，編輯程式方面我們是使用 Microsoft Visual Studio 2008 C++搭配OpenCV來運作，執行速度可達到30(frame/s)，電腦系統為Intel(R) CPU 2.8 GHZ，記憶體為1.5G。 圖 9 我們以 OneShopOneWait2cor 做比較測試，過程中也會有與目標物件的色彩相似之干擾物件，視 訊畫面的大小為 384

×

288，視訊總長度共 870 張畫面。圖 9 上排為未檢查追蹤視窗之測試結果，下排為 本文提出的追蹤視窗檢查方法之追蹤視訊的測試結果，圖 10 為寬高曲線圖。從圖 9 中可看出，未經過調 整的追蹤結果，在 frame 135 的追蹤視窗已出現不正常現象，一直到 frame 140 的結果依然不理想；而本文 提出的判斷方法，在 frame 135 已檢查到追蹤視窗的不正常現象，因此在粒子群上的寬高做調整動作，讓 追蹤視窗能較快恢復成正常現象，frame 136 後皆能較正確的標示出目標物件的位置與大小。

frame 135 frame 136 frame 137 frame 140

frame 135 frame 136 frame 137 frame 140

圖 9 OneShopOneWait2cor 測試結果：上排為未檢查之測試結果，下排則是使用本文提出的檢查追蹤視窗 的寬高比例與面積之測試結果。

圖 11 我們採用 intersection 視訊做測試，視訊內容為靜態背景和多個移動物件，目標物件是一台白色 汽車，背景色彩與目標物件些微相似，並有一個與目標物件色彩相似的干擾物件，視訊大小為 320

×

240， 視訊總長度共 1371 張畫面。圖 11 上列為固定式參考樣板之測試結果，中列為 K. Nummiaro 等人所提出 的參考樣板更新方法之測試結果；下列為本文所提出的參考樣板更新之測試結果，圖 13 為距離曲線圖。 固定式參考樣板的追蹤結果，因為在追蹤過程中出現色彩相似的干擾物件，加上不更新參考樣板，使得 追蹤結果把干擾物件誤判成目標物件，原因是當時的干擾物件與背景的色彩比例較接近於參考樣板。而 K. Nummiaro 等人所提出的參考樣板更新方法之結果，其更新參考樣板時，加入到過多的干擾物件與背 景之資訊，導致系統將干擾物件與背景視為目標物件的一部份。至於本文提出的更新方法，在更新過程 中，減少角落區域的部分，以減少加入到不必要的資訊，因此較不受到其它物件的干擾，雖然在追蹤過 程無法完美的標示出目標物件的大小，但相較於其他兩種參考樣板之結果，其追蹤視窗的位置是較為正 確的。

frame 450 frame 1120 frame 1180 frame 1210

frame 450 frame 1120 frame 1180 frame 1210

圖 11 視訊 intersection 的三種參考樣板之測試結果：上列為固定式參考樣板之結果；下列為 K. Nummiaro 等人所提出的參考樣板更新方法之結果；下列為本文所提出的參考樣板更新結果。

frame 450 frame 1120 frame 1180 frame 1210

圖 13 視訊 intersection 三種參考樣板與 ground truth 中心點距離之測試 20 次的平均結果曲線圖。

圖 14 使用 hall_cif 視訊，用來測試物件中心色彩判斷法之效果。視訊畫面的大小為 352

×

288，視訊

長度為 131 張畫面。frame 12 時偵測到目標物件， frame 120 開始離開視訊畫面，在 frame 124 中，因為 追蹤視窗內的中心色彩與初始偵測到物件的中心色彩之相似度距離超出所設定的臨界值，故 frame 125 移 除粒子群讓系統回到偵測物件的階段。

圖 15 採用視訊 Xtest 測試連續色彩距離變化量判斷法之結果。視訊內容為目標物件逐漸遠離攝影鏡

頭，最後會離開畫面，視訊畫面的大小為 768

×

576，視訊長度為 417 張畫面。frame 387、frame 390 和 frame

393 的相似度距離變化量超過設定的臨界值，因此判斷為物件離開或被遮蔽，並於 frame 394 重新偵測目 標物件。

frame 12 frame 120

frame 124 frame 125 圖 14 視訊 hall_cif 使用物件中心色彩判斷法之測試結果

frame 200 frame 384 frame 387

frame 390 frame 393 frame 394 圖 15 視訊 Xtest 使用連續色彩距離變化量判斷法之測試結果 六. 結論 本文所提出的更新參考樣板、檢查追蹤視窗的寬高比例與面積、判斷物件離開或被遮蔽之方法，由 實驗結果顯示，所提出的方法在相同初始參考樣板上時，其追蹤視窗的準確率與寬高大小皆有不錯的結 果，並能自動化判斷物件離開或被遮蔽的情況。本文目前只採用色彩做為特徵，雖然 多特徵的追蹤方式 能讓追蹤效果提升，但粒子濾波器本身演算法的運算量較為龐大，多特徵在運算速度上會不盡理想，因 此若能設置一個自動化切換特徵模型的機制，就粒子濾波器而言，將是未來十分重要的研究方向。 七. 參考文獻

[1] 藍于絢, 2009,“植基於多種監督式類神經網路之軍事影像分類研究(A Comparative Study Using Artificial Neural Networks for Military Imagery Classification),”碩士論文, 國防大學資訊管理學系. [2] 黃洪祥, 2009,“WiMAX 應用於月台安全監控系統之研究(The Study of Safety Monitoring System on

Train/Subway/MRT using WiMAX),”碩士論文, 台北科技大學自動化科技研究所.

[3] 蔡宗宏, 2009,“即時多物件追蹤與分析系統(A Real-Time Multiple Object Tracking and Analyzing System),”碩士論文, 臺灣大學電機工程研究所.

[4] Z-D Chen, R-F Chang, and W-J Kuo, Feb, 1999, ” Adaptive Predictive Multiplicative Autoregressive Model for Medical Image Compression,” IEEE TRANSACTIONS ON MEDICAL IMAGING, Vol. 18, No. 2, pp. 181-184.

[5] M. Dahmane and J. Meunier, 2005, “Real-Time Video Surveillance with Self-Organizing Maps,” IEEE Conf.

on Computer and Robot Vision, pp. 136-143.

[6] Q. Liu, C. Cai, King N. Ngan, H. Li, 2007, ”CAMSHIFT BASED REAL-TIME MULTIPLE FACES MATCH TRACKING,” IEEE Intelligent Signal Processing and Communication Systems, pp. 136-143. [7] C. Kublbeck, A. Ernst, 2006, ”Face detection and tracking in video sequences using the modified census

[8] Gary R. Bradski, S. Clara, 1998, ”Computer Vision Face Tracking For Use in a Perceptual User Interface,”

IEEE Workshop on App. Of CV, pp. 214-219.

[9] 李昆興, 2008,“以經驗模態分解法分析穩態視 覺誘發電位之大腦人機界 面(Implementation of a steady-state visual evoked potential based brain computer interface using Empirical Mode Decomposition),”碩士論文, 國立中央大學電機工程研究所.

[10] 呂育宏, 2007,“自主移動機器人之智能導航控制系統的設計與發展(Design and Development of an Autonomous Mobile Robot's Intelligent Navigation Control System),”碩士論文, 中原大學機械工程研 究所.

[11] 祝 珮 軒 , 2006, “ 遺 留 物 及 持 有 人 自 動 偵 測 並 具 關 鍵 影 像 提 供 能 力 之 視 訊 監 控 系 統 (A Video Surveillance System for Automatic Abandoned Object and Owner Detection with Keyframe Providing Capability),”碩士論文, 國立中央大學資訊工程研究所.

[12] K. Nummiaro, E. Koller-Meier and L. Van Gool, 2003, “An Adaptive Color-based Particle Filter,” Image

and Vision Computing, Vol. 21, pp. 99-110.

[13] K. She, G. Bebis, H. Gu, R. Miller, Oct, 2004, ”Vehicle Tracking Using On-Line Fusion of Color and Shape Features,” IEEE Intelligent Transportation System Conference, pp. 731-736.

[14] M. Isard and A. Blake, 1998, “Icondensation: Unifying Low-level and High-level Tracking in a Stochastic Framework”, In Proc. European conf. Computer Vision, Vol. 1, pp. 893-908.

[15] D. Comaniciu, V. Ramesh and P. Meer, 2000, “Real-Time Tracking of Non-Rigid Objects Using Mean Shift,” Computer Vision and Pattern Recognition, pp. 142-149.

[16] D. Comaniciu, V. Ramesh and P. Meer, May, 2003, “Kernel-Based Object Tracking,” IEEE Trans. On

Pattern Analysis and Machine Intelligence, pp. 564-575.

[17] A. Yilmaz, K. Shafique, N. Lobo, X. Lin, T. Olson and M. Shah, 2001, “Target Tracking in FLIR Imagery Using Mean-Shift and Global Motion Compensation”, Computer Vision Beyond the Visible Spectrum, pp. 54-58.

[18] C. Yang, R. Duraiswami and L. Davis, Oct, 2005, “Fast Multiple Object Tracking Via a Hierarchical Particle Filter,” IEEE International Conference on Computer Vision, Vol. 1, pp. 212-219.

[19] R. E. Kalman and R. S. Bucy, 1961, “New Results in Linear Filtering and Prediction Theory,” Trans. of the

ASME-Journal of Basic Engineering, Vol. 83, pp. 95-107.

[20] M. Isard and A. Blake, Aug, 1998, “Condensation－Conditional Density Propagation for Visual Tracking,”

Int’l Journal of Computer Vision, pp. 5-28.

[21] H. Kang and D. Kim, Dec, 2004, “Real-Time Multiple People Tracking Using Competitive Condensation,”

Pattern Recognition Society, pp. 1045-1058.

[22] C. Chang and R. Ansari, Mar, 2005, “Kernel Particle Filter for Visual Tracking,” IEEE Signal Processing

Letters, Vol. 12, pp. 242-245.

[23] Y.-T. Shiao, J.-R. Zhang, and L.-S. Lan, 2009, ” A New Video Tracking Method Based on Particle Filter,”

Proceedings of 2009 Conference on CYC University Alliance, pp. 738-746.

[24] 劉育倫 , 2008,“以粒子濾波法為基礎之改良式頭部追蹤系統,”碩士論文, 國立中央大學通訊工程研 究所.

[25] A. Li, Z.-L. Jing, and S.-Q. Hu, 2007, "Robust observation model for visual tracking in particle filter,"

An Improved Particle Filter Scheme for

Video Object Detection and Tracking

Jheng-Shien Tzeng

Hsiao-Jeh Lin*

L. Lan

Graduate School of Electronic and Optoelectronic Engineering

National Yunlin University of Science & Technology

*[email protected]

Abstract

Particle filtering is now a prevalent visual tracking tool in computer vision. We utilize particle filtering to perform object detection and tracking in video streams, where color histograms are used as image features. Color histograms have certain advantages for tracking non-rigid objects, specifically their robustness to partial occlusion. While most existing algorithms are able to track objects well in controlled environments, they usually fail in the presence of significant variations of the object’s appearance or surrounding interference. In this article, the approach we propose encompasses three new ingredients: (1) using the concept of segment regions to adaptively update the target model, (2) employing an automatic tracking recovery mechanism that improves the performance of a tracking algorithm whenever the tracking results are not acceptable, and (3) devising two methods to determine the target object’s disappearance. We demonstrate the effectiveness of the proposed scheme through testing on a variety of video sequences under different tracking environments.