應用於視訊監控之運動物體追蹤技術研究

行政院國家科學委員會補助專題研究計畫

□成果報告

期中進度報告

應用於視訊監控之運動物體追蹤技術研究

計畫類別：

個別型計畫 □ 整合型計畫

計畫編號：NSC 95-2221-E-009-106-MY2

執行期間：

95 年 8 月 1 日至 96 年 7 月 31 日

計畫主持人：王聖智

共同主持人：

計畫參與人員：

陳宜賢、王郁晴、蕭晴駿

成果報告類型(依經費核定清單規定繳交)：

精簡報告 □完整報告

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

□出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、

列管計畫及下列情形者外，得立即公開查詢

□涉及專利或其他智慧財產權，□一年□二年後可公開查詢

執行單位：交通大學電子工程系

中 華 民 國

96 年 5 月 31 日

應用於視訊監控之運動物體追蹤技術研究

計畫編號：NSC 95-2221-E-009-106-MY2 執行期限：95年8月1日至96年7月31日 主持人：王聖智 (交通大學電子工程系教授) 計畫參與人員：陳宜賢 王郁晴 蕭晴駿 (交通大學電子所研究生)

一. 中文摘要

我們提出能夠自動偵測畫面中移動物體 並持續追蹤的演算法，並嘗試解決在物體追蹤 問題中常遭遇的遮蔽、場景變化以及光源變化 等等問題。我們定義一個多團塊模型用以描述 移動物體，並基於多團塊模型定義適合的相似 度量測，進而發展出以平均移動法為基礎的追 蹤系統。另外，我們也運用等位函式法來做運 動物體的偵測與追蹤，此方法亦適用於背景隨 時間改變的狀況。實驗結果顯示在室內、室外 等不同場景都能夠正確地追蹤移動物體的運 動行為。 關鍵詞：區塊追蹤、平均移動法、等位函數法。

In this project, we proposed an object tracking system, which can automatically detect a single moving object in an image sequence and keep tracking of this object. In the proposed system, we deal with the problems of occlusion, scene change and luminance change. A multi-blob model is defined in our approach to represent the moving object. With this multi-blob model, we proposed a new similarity measure and developed a new object tracking algorithm based on the mean-shift method. Additionally, a level set function is used to detect and track the moving objects. A moving object can be well tracked by this method even when the background is under changing. Simulation results demonstrate that the proposed object tracking algorithm can faithfully track the

moving object in different scenes.

Keywords: Region tracking, Mean-shift method,

level set function.

二. 進度報告

(1) 背景 簡單來說，物體追蹤是找出連續影像的同 一目標物，而在本計畫所使用的平均移動法， 是目前其中一個常被使用的追蹤方法，其具有 簡單且強韌的特性，追蹤過程中，不需要知道 整張影像的色彩分佈特性，即可找到附近的目 標物。論文[1]中，Comaniciu和Meer依據移動 目標物的模型和影像相似度的比較，應用平均 移動法解決物體追蹤的問題，但他們的方法仍 存在一些問題，例如：影像中位置的資訊並未 適當地保留，以致於可能造成錯誤的追蹤結 果。再者，在相似度的運算方面，其所用的 Bhattacharyya coefficient 和 Kullback-Leibler distance，有時候所呈現的目標分辨力並不是 那麼理想。而[2]所提的spatiogram方法，同時 包含了色彩和位置資訊，但還是可能會失去影 像的細節資訊。我們將針對這些問題改善技 術。 本計畫另一個偵測和追蹤方法採用等位 函數法，主要是由大地測量主動式輪廓模型 （geodesic active contours model）發展而來 [3]。使用等位面來描述輪廓，而物體邊緣輪 廓 和此等 位面 的關係 可用 等位理 論加 以建 立。等位理論在處理輪廓和記錄多個目標物上 是個很好的工具。另外，[4]和[5]所提出的主 動式團塊模型則將統計特性列入考慮。[6]的

“active contours without edges”模型在利用統 計概念，將影像區分為兩部分方面，其結果更 是強韌，可用於背景相減結果中，區分移動區 域與靜止區域。對於移動的攝影機，而[7]所提 的區域追蹤模型可以在連續兩張影像間找出 最相像的區域。而[8]中，Yonggang Shi et al 則 應用了快速的等位方法到追蹤問題上。我們將 嘗試將等位理論應用於區域追蹤的問題，亦即 先實現[7]的方法，分析其結果的表現。 (2) 技術說明 2.1 多團塊模型 在論文[2]中，為了同時保留色彩和位置 的資訊，其目標物模型定義如下：

( )

p h b = nb, ,µb Σb ,b=1,...,M。 (1) b n 代表第b個色彩量化區域的像素點數目，µ_b 和Σ_b則代表平均向量和協方差矩陣。但是， 如此一來，色彩區塊的細節可能被移除，為了 呈現[2]的問題，我們產生像圖一這樣具有相同 圖一.相同spatiogram的樣本。 spatiogram的相異樣本，即使這兩個樣本大致 相似，但每個色彩區域的變動，對增加追蹤的 可靠性仍有相當大的幫助。為了保留這些特徵 資訊，我們在每個色彩區域上收集其統計特 性，因此，我們定義了一個新的多團塊模型如 下：

( )

Model d = nd,µvsd,Vsd,µvcd,V Tcd, d , 1,..., d= B。 (2) 公式(2)中，n_d 代表第 d 個色彩區域的像素點 數目，µv_sd和V_sd代表影像位置上的平均向量和 協方差矩陣;µv_cd和V_cd則代表 RGB 色彩空間 上的平均向量和協方差矩陣。另外，B是色彩 區域的數目，根據此模型，物體像素點可分成 B個團塊。除此之外，這些團塊應該會擁有不 同的可靠度，所以我們增加參數T_d來表示每個 團塊的可靠度。此處，T_d值先設為1，之後我 們將根據追蹤的情況來更新各團塊的可靠度。 圖二.紅色橢圓目標物中，五個最多像素點的 色彩團塊。每個團塊的圈選顏色，以其色彩平 均值畫出。 舉例來說，在RGB色彩空間上，每個色 彩我們分成四個區域來建立團塊模型，各團塊 以所屬像素點的多寡來排列，圖二中，我們以 團塊的色彩平均值的顏色畫出前五個擁有最 多像素點的團塊，而紅色橢圓代表所圈選的目 標物。根據這個團塊模型，大致可以估計出目 標物的色彩和位置空間的分佈情況。 2.2 相似度量測 我們以橢圓形圈選移動目標，令yv為目 標物的橢圓中心，µv為模型的橢圓中心，則將 影 像 區 域 和 此 多 團 塊 模 型 的 相 似 度 (similarity)J 定義為 1 1 ( ) (( ) ( ), ) ( , ) ( ( ) ) B i sd sd i I d i cd cd d i J y w y y V N w c V T b y d µ µ µ δ ∈ = = − − − × − −

∑∑

v v v v v v v v 。 (3) 其中

(

)

1 , exp 2 T xV x w x V − ⎛ ⎞ = _⎜− _⎟ ⎝ ⎠ v v v _{是一個多變異高斯}

核心(multi-variant Gaussian kernel)，I= v v

{

y c_i, _i

}

是橢圓目標物的樣本，而N則是樣本數目。每

個像素點在位置和色彩空間上都被高斯核心

公式(3)的相似度定義可視為重要性的平 均(the mean of the weightings)。圖三描繪出我

們 所 提 的 相 似 度 量 測 和 Bhattacharyya coefficient的比較，圖三(a)的左圖是一段影片 的第15張影像鏡頭，紅色橢圓為手動圈選的目 標物模型，而圖三(a)的右圖則是此影片的第 250張影像，綠色和藍色橢圓分別是以yv1和yv 為中心的橢圓目標物，我們特別算出yv1和yv兩 個相異位置附近的相似度，將Bhattacharyya coefficient的值畫在圖三(b)，而我們所定義的 相似度值則畫在圖三(c)。這裡可以看出，雖然 yv 是 較 合 理 的 追 蹤 結 果 ， 但Bhattacharyya coefficient 在yv1的相似度表現卻高過yv。相反 地，我們的相似度量測對於圖三(a)左右兩張 圖，反應了較合於實際情況的相似度大小。再 者，圖三(c)中，局部性最大值附近斜率較為陡 峭，也顯示了我們所提的相似度量測對於相配 區域的偵測擁有較佳的分辨能力。 接下來將推導如何利用平均移動法來達 成我們的追蹤模型理論。令∇J y

( )

v =0，即

(

) (

)

(

) ( )

1 0 B sd i i I d sd cd d id y y g y w c T µ µ µ δ ∈ = ⎡ − − − ⎤ ⎣ ⎦ × ∆ − ∆ ∆ =

∑∑

v v v v v v v ， (4) 其 中 g_sd

( )

xv = −w_sd

( )

xv = −w x V

(

v, _sd

)

是 shadow kernel。在我們的模型中，shadow kernel亦是 一 個 多 變 異 高 斯 核 心 ， 且∆ =yv

(

yvi−yv

)

，

(

sd

)

µ µ µ ∆ =v v − v ，∆ =cv

(

cvi−µvcd

)

。另外，如果yvi的 特徵值歸屬於模型中第d個特徵區域，則δ 等id 於1，反之則為0。(4)經過再整理，我們可得

[

]

1 1 1 B i sd id id i I d B id id i I d y w y w µ δ µ δ ∈ = ∈ = − =

∑∑

+

∑∑

v v _% v v % ， (5) 其 中 w%id =gsd

(

∆ − ∆yv0 µv

) ( )

wcd ∆c Tv d ，

(

)

0 i 0 y y y ∆ =v v − v ，而yv0是初始目標物位置，最後 1 yv 為新的目標物中心位置。推導出的公式(5) 即為我們平均移動法追蹤理論的核心。 圖三.(a)紅色橢圓圈選出目標物模型，藍色和 綠色橢圓則代表分別以yv1和yv為中心的橢圓 目標物。(b)依據Bhattacharyya coefficient 的相似度值。(c) 依據公式(9)的相似度值。 2.3 等位理論

主動式輪廓模型(active contour model) 首先在1988年被Kass[9]所提出。先建立一個可 以反應此輪廓曲線特性的能量函式，此輪廓曲 線將隨著此能量最小化的過程傳遞演變，一般 此能量函式可被定義成 2 1 1 ₂ 0 0 ( ) '( ) ( ( ( )) ) E Cv =α

_∫

C qv dq+

_∫

g ∇I C qv dq。 ₍₆₎ 輪廓曲線Cv被q∈[0,1]所參數化，而 I 是影像

資料，∇I則是I 的梯度(gradient)。(6)式中的 第一項表內部能量.，如果輪廓曲線越長，內 部能量就會越大。第二項為影像能量，越靠近 物體的邊緣，則影像能量要越小，因此影像能 量採用遞減函式來表示。α則決定內部能量和 影像能量之間的比例權重。 在[10]中，將主動式輪廓模型轉換成大地 測量主動式輪廓模型(geodesic active contour model)，此新的能量函式可表示成 1 0 ( ( ( )) ) '( ) R L =

_∫

g ∇I C qv C q dqv 。 ₍₇₎ 這個新模型可視為被g(∇I C q( ( )) )v 加權的線積 分。為了快速地將能量最小化，輪廓曲線的傳 遞方向會是

(

( ) ( ),

)

t Cv = g Cv κ− ∇g C Nv v Nv。 (8) (8)是由 Euler-Lagrange approach推導出，這裡 的 κ 和Nv 分別表示輪廓曲線Cv的曲率和法 線向量，此輪廓曲線傳遞方程式(8)包含了一個 量速度(scalar velocity)和一個法線向量(normal vector)，此方程式可改寫如(9)，成為較一般化 的形式。 ( ) t Cv =F κ Nv。 (9) 論文[10]使用等位理論，進一步地將此傳 遞方程式(9)加以實現。等位理論是以畫在圖四 中的等位面來實行，在物體外側，等位面呈現 正值；在物體內側，等位面則呈現負值，而輪 廓曲線會恰好落在等位面等於零的位置，如果 此等位面向上變動或向下變動，則輪廓曲線的 傳遞可以在此等位面和零平面相交處呈現出 來。輪廓曲線和等位面兩者的關係過去已經被 完善地推導出來，如果等位面的更新如下， ( ) F t ϕ _{κ ϕ} ∂ _{= ∇} ∂ ， (10) 則像(9)式的輪廓曲線傳遞便會在零平面出 現。在速度函數中的曲率κ 可以直接從等位面 算出，其公式為

(

)

2 2 3 / 2 2 2 2 xx y x y x y yy x x y div ϕ ϕ ϕ ϕ ϕ ϕ ϕ ϕ κ ϕ ϕ ϕ ⎛ ⎞ − + ∇ = = ⎜_⎜ ⎟_⎟ ∇ + ⎝ ⎠ 。 ₍₁₁₎ 式中div A

( )

v 代表向量Av的發散性。 圖四

.

物體及其相對應之等位面。 2.4 區域追蹤模型 區域追蹤模型是用來找一個特定區域，此 區域和前一張影像的某預定區域非常相似。我 們的追蹤模型採自於Abdol-Reza Mansouri [7] 所提出的區域追蹤模型，此模型中，現在時間 點影像上的每個像素點_{I xv}n( )_{，會從前一個時} 間點的影像中，在一個尋找區域範圍內，從預 定區域的內側和外側，找到最相配的像素點。 如圖五所示，R0 是我們的預定區域，假設在 R0 內側找到的最小誤差值為Vin ，而在外側找 到的最小誤差值為Vout ，我們可將Vin和Vout 公 式化成

(

)

0 2 1 , inf n( ) n ( ) in _{z x z R} V I x I x z δ − ≤ + ∈ = _{v v v} v − v v+ ₍₁₂₎ 和

(

)

0 2 1 , inf _c n( ) n ( ) out z x z R V I x I x z δ − ≤ + ∈ = _{v v v} v − v v+ 。₍₁₃₎ 在Abdol-Reza Mansouri 的區域追蹤模型中， 即將等位面的更新函式定義為 [(Vin Vout) ] t ϕ _{λκ ϕ} ∂ _{= − + ∇} ∂ 。 (14) 則在R0 內側找到的最小誤差值Vin 會使等位 面向上移動，因此像素點最後可能會歸屬於外 側區域。從另一方面來看，在R0 外側找到的 最小誤差值Vout ，可能會使相對應的像素點變 成內側區域的一部份，靠著公式(14)，Vin 和 Vout 的效應互相競爭拉扯，直到此等位面平衡

穩定為止。我們以圖六為例，再加以說明。 圖五. 區域追蹤模型之圖示說明。 圖六. “Car-phone”影片中的兩張連續影像。左 圖前一時間點的影像中，以紅色圈選出追蹤的 預定區域，右圖是現在時間點的影像，綠色點 是Vin - Vout < 0 的像素點。 圖六是“Car-phone”影片中的兩張連續影 像，圖中的臉部區域在前一時間點的影像中先 被定義圈選出來，而在現在時間點的影像中， 綠色點代表Vin - Vout < 0 的像素點。在這個例 子當中，等位面在這些綠色點的位置向下移 動，而在其他位置向上移動，此等位面會反覆 更新直到最後收斂為止，而這些綠色區域，可 以適當地預測現在時間點的臉部區域位置。 (3) 實驗結果 首先我們呈現使用多團塊平均移動法產 生的物體追蹤之結果。影像解析度是640× 480，實驗是透過MATLAB 6.5平台實現，且 在配有512MB DRAM的3GHz Pentium4電腦 上執行，而在目標物模型方面，我們將RGB 三個色彩空間各分成8個量化區域，來建立多 團塊模型，亦即我們的目標物模型含有512個 團塊。另外，我們也實行傳統平均移動法的追 蹤過程，目標物模型則採用16×16×16 RGB 色彩量化直方圖，測試影片則是用我們自己所 拍攝的Hans 影片。圖七為移動物體追蹤結 果，多團塊模型在影片第35張時被建立，其中 紅色橢圓圈選出我們所提方法的追蹤結果;而 藍色矩形則圈選出傳統平均移動法的追蹤結 果，由圖七可看出，當追蹤的影像越多、時間 越久，我們的多團塊模型較準確。 圖七. “Hans”影片的追蹤結果。紅色橢圓圈選 出我們所提方法的追蹤結果;而藍色矩形則圈 選出傳統平均移動法的追蹤結果。 接下來我們將等位面理論應用在區域追 蹤上，以公式(14)當作區域追蹤的模型，我們 測試了三種不同的影片，其背景皆是變動的狀 態。圖八是car-phone影片的追蹤結果，因為那 些距離預定區域R0 很遠的像素點，總會在前 一時間點影像的R0 外側找到相配的像素點， 因此，為了節省運算時間，等位面在綠色矩形 內的範圍，才做更新動作。從圖八可看出，在 這個影片中，應用等位面理論在區域追蹤上的 表現良好。圖九是football影片的追蹤結果，這 段影片含有一些來自雜亂背景的干擾，其追蹤 結果為圖九中橘色曲線圈選區域，我們可看出 這樣的追蹤結果受到背景的影響，並不是非常 理想。圖十則為coastguard測試影片，同理， 等位面只在綠色矩形範圍內做更新動作，以降

低運算量。在圖十中，因為受到大船的干擾， 小船的輪廓曲線傳遞演變的結果並不是很正 確，甚至最後完全追丟小船。

圖八. Apply the original region tracking model

to thecar-phone sequence.

圖九. Apply the original region tracking model

to the football sequence.

圖十. Apply the original region tracking model to the coastguard sequence.

(4) 結論 在本計畫中，我們實現了兩種不同種類的 偵 測和追 蹤方 法—平 均移 動法和 等位 面理 論。其中，相較於傳統的平均移動法，我們提 出了一個新的目標物模型，稱為多團塊模型， 不僅同時保留了目標物的位置和色彩空間的 資訊，更進一步地保留了物體的細節資訊，以 此多團塊模型為基礎，我們重新定義較符合實 際情況的相似度量測，並重新推導其對應的平 均移動追蹤程序，未來我們將繼續解決目標物 大小和方向的調整，並研究更穩健的方法。另 外，我們將等位面理論應用於區域追蹤[7]實 作出來，由實驗中我們發現，當移動物體的色 彩和亮度很接近背景環境時，此追蹤模型會出 現追蹤不當的問題，這也是一般追蹤常會遭遇 到的問題，尤其是當背景會隨時間改變下，問 題越發難以解決，接下來我們將會著手進行改 善此問題。

(5) 參考文獻

[1] Comaniciu D. ,Ramesh V. ,Meer P. , “Kernel-based object tracking”, in Proc. Real-Time Vision & Modeling Dept., Siemens Corporate Res., Princeton, NJ, USA.

[2] Birchfield, S.T., Sriram Rangarajan, “Spatiograms versus histograms for region-based tracking”, in Proc. Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on vol. 2, pp.1158-1163 20-25 June 2005.

[3] Nikos Paragios, Rachid Deriche, “Geodesic active Contours and Level Sets for the Detection and Tracking of Moving Objects,” IEEE Transactions on Pattern

Analysis and Machine Intelligence, Vol.

22, No. 3, pp.266-280, March 2000.

[4] Nikos Paragios and Rachid Deriche, “Coupled Geodesic Active Regions for Image Segmentation,” European

Conference in Computer Vision, Nov.

1999.

[5] Nikos K. Paragios, “Geodesic Active

Regions and Level Set Methods: Contributions and Applications in Artificial Vision,” PhD Thesis in

University of Nice Sophia Antipolis School of Computer Engineering, January 2000.

[6] Tony F. Chan, Luminita A. Vese, “Active Contours Without Edges,” IEEE

Transactions on Image Processing, Vol.

10, No. 2, pp.266-277, February 2001. [7] Abdol-Reza Mansouri, “Region Tracking

via Level Set PDEs without Motion Computation,” IEEE Transactions on

Pattern Analysis and Machine Intelligence,

Vol. 24, No.7, 947-961, July 2002.

[8] Yonggang Shi, William Clem Karl, “Real-time Tracking Using Level Sets,”

International Conference on Computer Vision and Pattern Recognition (CVPR)

June 2005.

[9] Kass, M., Witkin, A., and Terzopoulos, D. “Snakes: Active contour models.”

International Journal of Computer Vision,

1:321–331. 1988.

[10] V. Caselles, R. Kimmel, and G. Sapiro, “Geodesic Active Contours,” International

Journal of Computer Vision 22(1), 61-79,