移動物體之標記

將每個區塊的標準差與最大值求出後，兩者皆大於臨界值的，才視之為移動區塊，

我們將符合此條件的區塊填入它的標準差，可得到移動區塊圖 3.7，因為最大值出現在 移動物體的部分，我們便以擁有最大值的區塊為開始，利用八相鄰(8-Neighborhood)的性 質，將相鄰的區塊標記成移動區塊，再以己標記後的區塊繼續尋找八相鄰的區塊，直到 全部相鄰的區塊皆標記過，經由此過程，我們便可得到移動物體的區域，完成移動物體 偵測部分。

(a) (b) 圖 3.7：(a)圖 3.6(b)，(b)移動區塊圖

第四章

移動物體之自動追蹤系統

在第三章的移動物體偵測系統，我們以區塊為基礎求出區域移動向量並補償背景，

再利用連續影像相減法來求得可能移動的像素。接著，將影像以等分的區塊大小做分 割，統計各個區塊移動量的最大值與標準差之後，最後標定移動物體的位置與大小，此 移動物體樣版影像的相關資訊便可作為移動物體追蹤時的依據。

在這章節要探討如何在視訊影像中，準確且有效率的執行即時移動物體的追蹤，本 論文利用第三章所求得的移動物體的區域為樣版影像，使用以色彩分佈資訊為基礎的追 蹤法，採用平均位移法(Mean Shift)來計算候選影像與樣版的相似度，以達成追蹤的目的。

影像資料

影像前處理

區塊的移動向量

全域背景補償

連續影像相減法

估算區塊 移動變化量

移動物體區域

擷取色彩資訊

計算相似系數

追蹤成功 True

False

圖 4.1：自動追蹤系統流程圖(方框部分)

移動物體的追蹤可視為在多個候選影像中，找尋與樣版影像相似值最高的移動物 體。而相似值的估算可利用諸如色彩分佈、形狀模型、移動向量等資訊的變化，在本論 文我們利用樣版影像的色彩分佈密度函數，並使用 Bhattacharya 係數[29]來判斷與候選 影像的相似度，判斷的方法則使用平均位移疊代(Mean Shift Iteration)[28]-[32]，最後則 說明整體追蹤的系統流程。

Kronecker delta function；C為正規化常數，

∑

=

候選影像色彩分佈密度函數的定義 ( , )p u y 與 ( )q u 類似，差別是前者以 y 為中心，以

數，核心函數的定義：

X 代表d維的歐氏空間(Euclidean space)， x為此空間中的一點，x的歐氏長度 (Euclidean Length)為 x ² =x^tx， R 為實數域，設一函數K :X →R存在一剖面函數

(Profile Function)k:[0,∞]→R，即K(x)=k( x ²)，滿足以下條件：

1. k為非負的

2. k是非增的，若a<b，則k(a)≥k(b)

3. k為分段連續的，且^∞

∫

^<∞

0

) ( dtt k

則K(x)為核心函數。

以下介紹幾種較常被應用到的核心函數，分別為：

1. Uniform Kernel

2. Normal Kernel Function 3. Epanechnikov Kernel Function Uniform Kernel 它的定義如下：

⎩⎨

⎧

≥

= <

1 1 0

) 1

( if x x x if

K (4.3)

圖 4.3Uniform Kernel Function

Normal Kernel Function 又稱為 Gauss Kernel Function，它的定義如下：

圖 4.4 Normal Kernel Function

Epanechnikov Kernel Function，它的定義如下：

⎪⎩

圖 4.5 Epanechnikov Kernel Function

根據文獻[31]的機率密度函數估計，Epanechnikov Kernel Function 所得的平均全體 誤差(Average Global Error)會是最小，因此在此論文中選用 Epanechnikov Kernel Function 為核心函數。

4.2. 移動物體之候選位置相似係數

在本論文中，我們採用 Bhattacharyya 係數[33]量測樣版與候選影像的相似度，其定 義如下：

∫

=

≡ p u y q u p u y q u du y) [ ( , ), ( )] ( , ) ( ) ( ρ

ρ (4.6)

為了將 Bhattacharyya 係數運用至色彩分佈密度函數上，其型式可調整如下：

1

( ) [ ( , ), ( )] ( , ) ( )

m

u

y p u y q u p u y q u

ρ ρ

=

≡ =

∑

^(4.7)

由式(4.7)我們可以定義兩個色彩分佈密度函數的距離(Distance)為：

( ) 1 [ ( , ), ( )]

d y = −ρ p u y q u (4.8)

根據式(4.7)， Bhattacharyya 係數有下列三個特性：

1. 0≤ρ(y)≤1。

2. ρ(y)=1則 ( , )p u y = ( )q u ，反之亦然。

3. ρ(y)=0則 ( , )p u y 與 ( )q u 為正交，反之亦然。

根據以上三個特性做推論，當樣版影像與候選影像的色彩分佈密度函數最相似時，

便是 Bhattacharyya 係數最大的時候。

接下來，我們將利用泰勒展開式(Taylor Expansion) 對 Bhattacharyya 係數做展開，

以推導出如何尋找與樣版影像色彩分佈密度函數最相似的候選影像的方法，使得 Bhattacharyya 係數有最大值。在泰勒展開式中，越高階的導數項，其重要性越低，於是 我們只展開至一階導數項，而忽略其高階項，泰勒展開式對函數 [ ( , )]ρ p u y 在p u y( , ₀)的

為了得到最大的相似度，式(4.11)的 Bhattacharyya 係數必須達到最大值。我們由式 (4.11)中可以看出第一項的值由y 決定，為一常數。因此，主要影響 Bhattacharyya 係數₀ 是第二項，為了使 Bhattacharyya 係數達到最大，式(4.11)的第二項需達到最大值，接下 來我們將推導以平均位移法進行疊代，以求得最大值，並找出相對應的候選影像。

4.3. 應用平均位移法於移動物體之追蹤

平均位移法(Mean Shift)最早是由 Fukunaga 等人[34]在 1975 年提出，最初是用於機 率密度函數(Probability Density Function)的梯度(Gradient)估算，在 1995 年由 Yizong Cheng[35]做了兩方面的推廣，首先定義了一個核心函數(Kernel Function)，讓位於樣版 中心的值給予較高的權重，越遠離樣版中心則權重越低，接下來則設定權重係數(Weight Coefficient)，不同的樣版的點，給予的重要性不同。之後應用平均位移法在圖像平滑與 圖像分割中，進而應用於移動物體追蹤，將移動物體追蹤近似於平均位移法最優化的問 題，使得追蹤可在即時性的系統中運作。在這一章介紹平均位移法的理論基礎，與如何 運用至移動物體的追蹤應用上。

4.3.1. 平均位移法理論背景介紹

在d維空間R 中，給定^d n個點x ， i =_i 1,...,n，則在參考點x的平均位移向量(Mean Shift Vector)的定義如下：

( ) 1 ( )

'

_{i h}

h i

x S

M x x x

n

_∈

= ∑ −

^{， (4.13)}

其中S 是半徑為_h h的高維球形區域，滿足以下關係式的集合：

{

^{:( ) ( ) 2}

}

)

(z z z x z x h

S_h ≡ − ^t − ≤ (4.14)

'

n 則為在這n個x 中，落在_i S 內的個數。 _h

由式(4.13)可看出，x_i − 是x x 相對於參考點_i x的偏移量，M_h(x)即為落在S 內_h n'個 x 對參考點i x偏移量的平均。同時，M_h(x)也可看成是參考點x指向x 分佈密度較高的_i 方向向量，若以機率密度函數來看，因為機率密度函數的梯度指向機率密度增加最大的 方向，因此S 區域內有較多的_h x 落在機率密度梯度的方向，所以平均位移向量_i M_h(x)便 會指向機率密度梯度的方向。

(a) (b)

(c) (d) 圖 4.6 平均位移法示意圖

圖 4.6 為平均位移法示意圖，大圓圈的範圍為S ，小圓點代表落在_h S 的_h x ，數量有_i '

n 個，中間的黑點為參考點x，箭頭表示(x_i − )是x x 相對於參考點_i x的偏移向量如圖 4.6(a)所示；由圖 4.6(b)可看出平均位移向量M_h(x)會指向x 分佈較多的方向，即機率密_i 度函數的梯度方向；若新的參考點x'以舊的參考點x加上M_h(x)取代，則經過幾次疊代 後，新的參考點x'便會逐漸移至密度分佈最高的地方，如圖 4.6(b)(c)(d)所示。

在介紹完平均位移向量的標準形式，接下來引進核心函數的概念，我們考慮將距離 的影響加入平均位移向量，同時我們也將落在S 內的點_h x 根據重要性的不同，加入權重_i 係數，於是我們便可將基本的平均位移向量形式，擴充成下式：

Sh

( - )x_i x

x

)

我們使用 Bhattacharyya 係數來計算樣版影像與候選影像的色彩分佈密度函數的相 似度，Bhattacharyya 係數越高，代表樣版影像與候選影像越相似，如何找尋最高 Bhattacharyya 係數便是本節中所要探討的主題。

前面定義了樣版影像與候選影像的色彩分佈密度函數，分別為式(4.1)及式(4.2)，我

我們的目的是要估算出最高 Bhattacharyya 係數：

1

平均位移向量(Mean Shift Vector)是一個函數指向機率密度梯度的方向，它亦是此一 函數增加量最大的方向，以下我們便要導證如何用平均位移法求得 Bhattacharyya 係數最 大值。

給予一個機率密度函數 f(x)，在d維空間中已知n個點x ， i =_i 1,...,n， f(x)的核密 度估計(Kernel Density Estimation)為：

∑

現在我們將式(4.19)與式(4.11)做比較，分別重寫如下：

∑

來的平均移動向量，可以用來計算 Bhattacharyya 係數最大值，亦即式(4.2)所定義之候選 影像色彩密度分佈函數在y= +x M x( )時，Bhattacharyya 係數有最大值，其中，

現在我們考慮核心函數K(x)為式(4.5)的 Epanechnikov Kernel Function 如下所示：

⎪⎩

= otherwise

x

= otherwise x

將式(4.28)代回式(4.25)可得：

otherwise

因為

我們使用 Epanechnikov 核心函數在平均位移向量中，利用平均位移向量求得 Bhattacharyya 係數的最大值，此步驟可簡化以上式表示，於是我們便可用平均位移法計 算與樣版影像有最大的相似度的候選影像，藉由此法可快速且有效的找出和移動物體的 樣版影像最相似的候選影像，達到追蹤的效果。

4.4. 平均位移法的實作流程

之前章節已介紹平均位移法的基礎知識及應用原理，在此節將介紹在二維的視訊影 像中，以平均位移法實現追蹤的系統流程。

以上定義了樣版影像與候選影像的色彩分佈密度函數，以 Bhattacharyya 係數計算兩 者間的相似度，再利用平均位移疊代法求得最高的 Bhattacharyya 係數。在平均位移疊代 法中，候選影像的起始位置的選擇是很重要，若選擇錯誤會令追蹤的結果完全失敗，然

置 ， 根 據

∑

Bhattacharyya 係 數

∑

=

Bhattacharyya 係數。

4. 由

∑

證 Bhattacharyya 係數是否增加，若 Bhattacharyya 係數沒有增加，則修正新位置y₁。

經由以上步驟的疊代，我們可以藉著計算出相似度最高的候選影像，達到追蹤的效 果。

第五章 實驗結果

此系統的實驗影片是經由手持式攝影機，拍攝在戶外的環境中目標物體移動的影 像，並透過影像擷取卡將影像轉換成為 320*240 像素大小的影像序列，所擷取的影像資 料格式為 24 位元彩色的未壓縮 AVI 影像檔，將此 AVI 影像檔輸入至本論文的實驗系統，

產生輸出影像。此系統的測試硬體設備為 Pentium 4 2.8GHz 中央處理器，512MB 的記憶 體，作業環境是 Microsoft Windows XP，此實驗的開發平台為 Borland C++ 6.0，圖 5.1 為實驗的輸出畫面。

圖 5.1：系統程式輸出畫面

在左上角的部分為前一張視訊影像，紅色方框為移動物體偵測的結果，右上角為下 一張視訊影像，同時也顯示出每個區塊的區域移動向量，而在左下角為經由全域區域移 動向量補償後所得到的連續影像相減的結果，右下角為左下角的影像經過移動統計後所 求得的移動區塊。

在我們在實驗中，偵測到移動物體後，即以紅色方框來表示，進入追蹤部分，即以 藍色方框來表示。

frame 75 frame 76

圖 5.2：系統程式輸出結果

當與樣版影像相似度太低時，令其進入移動物體偵測程序。

frame 113 frame 114

圖 5.3：與樣版影像相似度太低時的結果

追蹤系統可以容忍部分遮蔽物的阻礙：雖然有黃色的旗子干擾，在干擾部分不大 時，仍能執行追蹤功能。

frame 210 frame 212

frame 214 frame 216

frame 219 frame 221

frame 227 frame 229

圖 5.4：部分遮蔽物時的結果

樣版影像中背景部分的影像變動，可使系統重新偵測移動物體，以更新移動物體的 資訊。實際執行三個影片，統計移動物體偵測與追蹤的執行時間與執行次數，完成下表：

影片 1 影片 3 影片 2

總圖幅 1179 2391 2070

整體效能 fps 27.681 24.277 20.135 MD 總秒數 19.857 52.752 70.805

MD 圖幅 112 298 404

MD fps 5.640 5.649 5.706

TR 總秒數 22.735 45.738 32.002

TR 圖幅 1067 2093 1666

TR fps 46.932 45.761 52.059 MD: Motion Detection TR: Tracking

表 5.1：移動物體偵測與追蹤的執行時間

在表 5.1 中我們先統計影片的總圖幅數與計算其整體效能，在此效能的計算單位為 fps(frames per second)，我們可以得到第一行及第二行的數據，再來針對影片中的移動物

在表 5.1 中我們先統計影片的總圖幅數與計算其整體效能，在此效能的計算單位為 fps(frames per second)，我們可以得到第一行及第二行的數據，再來針對影片中的移動物

在文檔中 應用於動態背景中的移動物體影像之偵測與即時追蹤系統 (頁 29-0)