第一章序論

(1)

致謝

這篇論文得以完成，首先得感謝我的指導教授鄭芳炫博士兩年來的耐心指導。

我也要感謝我的女友，她在我努力寫作時始終陪伴著我，也一直是激勵我的寶貴來源。

另外要感謝所有協助過我的同學，他們都是研究上的好夥伴。

特別要感謝的就是我的兄弟們，趙柏嵩(CPS)和張毅平(Jeffery)，因為他們在大熱天下協助我拍攝測試影片，才讓我論文中實驗的部分得以順利完成。

最重要的，我要感謝我最敬愛的母親，若沒有她辛勞的付出，我無法順利地完成學業，僅將此篇論文獻給她。

(4)

摘要

我們提出一個奠基在離散小波轉換上，用來偵測以及追跡多個移動物體的方法。許多追跡應用是以在相鄰畫面中，物體移動的變異很小為追跡的基準。

這個基準在背景是靜止時有很好的效果，但是在背景也有變化的時候效果則很差。根據這個原因，絕大部分的追跡演算法的應用環境必須位於室內，並不適用於戶外。為了解決這個問題，我們利用離散小波轉換將視訊轉至小波域。所有的小動態將會被分解至小波域中的高頻子頻帶中。而經過向下取樣後，背景中變化不大的部分也會被消除。在追跡多個移動物體的情況中，我們使用同一物體在相鄰兩畫面中距離最近，來作為分辨不同物體的特徵。

索引項目：動態偵測，追跡，離散小波轉換。

(5)

第一章序論

對電腦視覺而言，偵測以及追跡移動的物體是一個很重要的問題，而且也有非常廣泛的應用，像是視訊壓縮、監視系統或者機器視覺等。我們的論文是以離散小波轉換為基礎，在視訊中偵測與追跡數個移動中的物體。

1.1 相關研究

最近幾年，許多動態偵測的方法被提出來。早期的方法是偵測相鄰畫面的改變。像是方法 [1][2][3][5] 利用門檻值技術在差值影像上，差值影像被一個事先定義好的門檻值分成動與不動兩類。然而，如何定義出一個適當的門檻值成為這一類方法最主要的問題。

另一類方法則是將動態偵測考慮成一個機率統計上的問題。利用事先觀察到的資訊建立一個機率分類函數，用以分割影像。這一類的方法有著非常好的偵測結果，但是需要花費非常昂貴的計算成本。在視訊往高品質與高解析度發展的現代，這類方法難以應用於即時系統上。

最後一類方法是設計出一個簡化的統計模型。這類方法用一個統計週期來觀察畫面中每一個像素的變化範圍，並利用觀察到的資訊建立一個背景模型。這類方法有不錯的偵測結果，而且不需花費太多的計算成本。但是卻非常容易受到外在環境變化的影響。

上面提到的三種方法都有著雜訊問題，雜訊包含背景中的小變化或是任

(6)

何我們不需要的資訊。中值濾波器或離散傅立葉轉換被廣泛使用來消除雜訊。然而，效果卻是有限。

1.2 研究動機

為了可以更進一步減低所雜訊帶來的影響，我們使用了離散小波轉換。

觀察經過小波轉換後的影像(圖一)，我們可以發現低頻訊號的部分和原始影像非常的相似。這表示影像在經過小波轉換後同時保有頻率以及空間的特性。利用這個特性，我們可以直接分析低頻部分的子影像。

圖一 (a) 原始影像 (b) 第一階 DWT (c) 第二階 DWT (d) 第二階 DWT 的頻域分布圖。

(7)

第二章離散小波轉換

2.1 小波轉換的簡介

自從小波轉換於一九八五年被發展出來之後，就被應用在不同的領域，

像是地震學、量子物理學、訊號處理和影像處理等。因為小波轉換提供了一組特殊的基底，可以讓訊號更容易展現出某些特徵或是更有效率。

小波轉換是多重解析度分析的運算，並由脈衝反映濾波器與向下取樣所實現，其中脈衝反映濾波器分為無線與有限兩種。脈衝反映濾波器是由低通濾波器與高通濾波器所組成。利用小波轉換，一個訊號會被分解成兩個彼此正交的子頻帶。

論文中，我們只討論由有限脈衝反映濾波器所實現的離散小波轉換。因為我們處理的是數位視訊。

2.2 一維離散小波轉換

一維小波轉換的方程式如下：

[ ]

_{[ ]}

[ ] [ ]

[ ]

[ ] ⁿ ^L

_{[ ]}

[ ] [ ^m ^h ⁿ ^m ] ⁽ ^k ⁿ ^Z ⁾

H

m n l m L

n L

m k k

m k

k

∈

 



 



−

×

=

−

×

=

∑

∞

−∞

= −

∞

−∞

= −

, , 2

2

1 1

(2.1)

(8)

其中^l

[ ]

ⁿ ^和^h

[ ]

ⁿ ^{為脈衝反應濾波器，}L[_k]^[m^]與H_[_k_][m]為小波轉換後的結果。所得到的結果還需要經過向下取樣(2.3)，也就是將L_[_k_][m]和H_[_k_][m]，for all m 的一半作取樣，這種每兩個取樣點只保留其中一個取樣點的作法，論文中以 2↓ 表示。

在脈衝反應濾波器中，^l

[ ]

ⁿ 是一個低通濾波器，經此濾波器處理過後的訊號L_[_k_][m]，為L_[_k−₁_][m]的低頻訊號，相當於是將高解析度訊號降層到低解

析度。^h

[ ]

ⁿ 是一個高通濾波器，經此濾波器處理過後的訊號H_[_k_][m]，為 ]

][

1

[ m

L_k− 的高頻訊號，相當於是高解析度訊號與低解析度訊號之間的細節。

[ ]

_{[ ]}

[ ] [ ]

[ ]

[ ] ⁿ ^L

_{[ ]}

[ ] [ ^m ^h ⁿ ^m ] ⁽ ^k ⁿ ^Z ⁾

H

m n l m L n

L

m k k

nd

m k k

nd

∈

 



 



−

×

=

−

×

=

∑

∞

−∞

= −

∞

−∞

= −

, ,

1 1

(2.2)

[ ]

_{[ ]}

[ ]

[ ] ^m ^H

_{[ ]}

[ ] ^m ⁽ ^k ^m ^Z ⁾

H

m L

k nd k

 ∈

 



=

, , 2 2

(2.3)

濾波器所使用的係數列於表 2.1 中。

(9)

表 2.1 Daubechies forward coefficients

圖 2.1 一維離散小波轉換的流程圖

(10)

2.3 二維離散小波轉換

二維離散小波轉換可由一維離散小波轉換組成。

[ ]

_{[ ]}

[ ] [ ] [ ]

[ ]

_{[ ]}

[ ] [ ] [ ]

[ ]

_{[ ]}

[ ] [ ] [ ]

[ ]

_{[ ]}

[ ] [ ] [ ]

( )

,

2 2

, ,

2 2

, ,

2 2

, ,

2 2

, ,

1 1 1 1















∈

−

×

−

×

=

−

×

−

×

=

−

×

−

×

=

−

×

−

×

=

∑ ∑

∞

−∞

=

∞

−∞

= −

∞

−∞

=

∞

−∞

= −

∞

−∞

=

∞

−∞

= −

∞

−∞

=

∞

−∞

= −

Z x,y k n y h m x h n m LL y

x HH

n y h m x l n m LL y

x LH

n y l m x h n m LL y

x HL

n y l m x l n m LL y

x LL

n m

k k

n m

k k

n m

k k

n m

k k

(2.4)

圖 2.2 二維離散小波轉換的流程圖

(11)

圖 2.3 是第一階離散小波轉換的範例。經轉換之後，原始影像被分解成四個不同頻帶的四個子影像。每個子影像維原始影像大小的四分之一。其中左上角為原始影像的低頻部分，其他三個為不同特徵的高頻部分，分別為垂直(右上)、水平(左下)與斜向(右下)的細節。

圖 2.3 二維離散小波轉換範例 (a) 原始影像 (b) 第一階轉換結果 (c) 重建後的影像

(12)

第三章偵測與追跡

3.1 前處理

前處理包含下面三個步驟： 1) 用三階離散小波轉換將視訊轉至小波域中， 2) 利用低頻子影像建立差值影像， 3) 以八連結標示差值影像中的物件，並將過小的物件刪除。前處理完後，我們將可得到大小適當的物件，每個物件將可看成移動中的物體。

3.1.1 差值影像

我們利用下列的式子建立差值影像：

( ⁽ ^, ⁾ ⁽ ^, ⁾ )

) ,

( x y LL

_[₃_]

x y LL

_[₃_] ₁

x y

D = Φ

_n

−

_n₋ _(3.1)

根據試驗，我們將門檻值Φ設定為十。

3.1.2 物件標記

前一小節所得到的二值化影像，會包含許多團塊。我們在這個元件中，

為每個團塊做標記以及計算其大小。整個過程是以八連結為基礎。面積的單

(13)

位是像素。若團塊的面積小於一個給定的門檻值，就將該團塊捨去。論文中的實驗是將門檻值定為原始解析度的一百二十八分之一。

3.2 動態偵測

若是前處理完後有留下任何物件，表示畫面中有物體移動。

3.3 物件追跡

我們利用下面三個步驟來分析前處理完後的結果： 1) 找出每個移動物體的邊界， 2) 計算出每個移動物體的中心點座標， 3) 座標系統轉換。

3.3.1 移動物體的邊界

我們將移動物體的邊界定義為該物體於 x 與 y 軸方向的最大最小值 (3.2)。

[ ] ( )



 



=

∈

y x O y

x B

y x O y

x B

i O y x i

i i

, max

,

, min

,

max , max max

min , min min

(3.2)

3.3.2 移動物體的中心點座標

我們將移動物體的中心點座標定義為邊界的中心(3.3)。

(14)

[ ] ^x ^, ^y ^[ ^x

^min

^x

^max

₂ ^, ^y

^min

^y

^max

₂ ^]

C

ⁱ

= + +

_(3.3)

3.3.3 座標系統轉換

我們利用關係式(3.4)將座標系統轉換至原始解析度。

 

 



×

=

×

=

×

=

] 8 , 8 [ ]

, [

] 8 , 8 [ ]

, [

] 8 , 8 [ ]

, [

max max

min min

y x C y x C

y x B y x B

i i

(3.4)

3.4 系統架構

圖 3.1 系統架構

(15)

3.4.1 比較器

為了分辨移動物體於相鄰畫面中的關係，我們使用距離來當作特徵。我們假設移動物體在相鄰畫面中的位置是相近的。

) , ( min )

( i dist C

_p^j

C

ⁱ

D =

(3.5)

2

2 ( )

) (

) ,

(C_p^j Cⁱ x_i x_j y_i y_j

dist = − + − (3.6)

3.5 控制器的控制流程

1. Preprocessing:

2. Tracking Control:

IF coordinate buffer IS NULL THEN IF there exist moving objects THEN

Locating every moving object.

ELSE

OUTPUT: No moving object.

END IF

ELSE IF coordinate buffer has coordinate THEN IF there exist moving objects THEN

(16)

Locating every moving object and comparing with coordinate buffer.

ELSE

IF C at frame boundary THEN _p^j The object is out of survey range.

ELSE

The object is stop.

END IF END IF END IF

(17)

第四章實驗結果

我們實驗測試以下四種情況： 1) 靜止的背景中追跡單一物體，2) 動態的背景中追跡單一物體，3) 追跡兩個無交錯的物體，4) 追跡兩個擦身而過的物體。

4.1 靜止的背景中追跡單一物體

圖 4.1 為第一個實驗的結果。在圖 4.1(b)中，一個人進入監視範圍中，

系統開始追跡他。在圖 4.1(c)(d)(e)和(f)中，系統持續追跡他，直到他離開。

(18)

圖 4.1 靜止的背景中追跡單一物體。

4.2 動態的背景中追跡單一物體

我們選擇使用離散小波轉換的理由是它可以有效地削減雜訊。本節中，

我們將會展示離散小波轉換的優點。

圖 4.2 為一個人走在搖晃的樹前面。圖 4.3 為圖 4.2 的差值影像。我們可以發現，在差值影像中，背景變化的部分也被保留下來，所以我們無法利用差值影像中的資訊分辨出前景(移動中的人)與背景(搖晃的樹)。

圖 4.4 為第三階離散小波轉換後低頻部分的差值影像，我們可以發現背景變化所帶來的影響已經被消除了。

(19)

圖 4.2 原始影像

圖 4.3 (a) 圖一(a)與(b)之差值影像 (b) 圖一(b)與(c)之差值影像

圖 4.4 (a) 圖一(a)與(b)經三階離散小波轉化後，低頻部分之差值影像 (b) 圖一(b)與(c)經三階離散小波轉化後，低頻部分之差值影像

(20)

4.3 追跡兩個無交錯的物體

為了分辨移動物體在相鄰兩個畫面間的關係，我們使用了最短距離來代表移動物件的屬性。

圖 4.5(a)，一個人從畫面的右邊進入監視範圍內，系統開始追跡他。當他走到畫面中間後，另一個人從畫面左邊進入監視範圍內，系統也開始追跡他，並且以紅色代表他。接下來的畫面中我們可以看到，兩個人的顏色並無改變，這表示系統可以分辨兩個人的不同。

(21)

圖 4.5 追跡兩個無交錯的物體

4.4 追跡兩個擦身而過的物體

最短距離的屬性並不足以完整描述移動物體，當移動物體交錯而過時，

也許會發生誤判。本節中我們會展示這種情況。

在圖 4.6(a)時，兩個人分別從畫面的兩旁進入監視範圍內，系統分別將兩人標示成藍色與紅色。但是當他們兩人交錯而過後，系統則將他們兩人的顏色標示錯了。其原因如下，兩人分離前的一瞬間，中心點座標為[160, 104]。

而分離後兩人的中心點座標分別為[144, 104]與[184, 104]，根據我們所使用的距離公式，兩人與前一畫面的中心點座標距離分別為 16 與 24，所以系統發生誤判。

(22)

圖 4.6 追跡兩個擦身而過的物體

(23)

第五章結論與未來工作

5.1 結論

論文中，我們提出了一個以離散小波轉換為基礎的監視系統。利用離散小波轉換的特性成功的消除雜訊所帶來的影響。主要是因為離散小波轉換是由一組高低通濾波器與向下取樣所實現。首先，原始影像在經過低通率波器之後，細節部分已經被消除一部分。接著再經過向下取樣，使得原本背景中小面積的變化進一步得以消除。所以，利用離散小波轉換可以成功的消除背景中的小變化。

利用離散小波轉換也可以降低運算成本，因為論文中直接是分析第三階離散小波轉換的低頻子影像，而該子影像只有原始解析度的六十四分之一。

而且離散小波轉換的時間複雜度是O(n)，比離散快速傅立葉轉換的 )

log (n n

O 還快上許多。這些節省下來的計算成本將可以用在更複雜的追跡方

法上。

我們也利用移動物體的面積大小來考慮該物體是否為我們所關心的。例如在停車場的監視環境，我們所關心的移動物體是車子或者是行人，其他的小移動物體，像是貓狗等，則會被忽略。

(24)

5.2 未來工作

我們希望能利用更多的特徵來描述每個移動中的物體，像是材質或是區域上的特徵。

我們也希望監視系統能夠根據不同的環境，自動設定適當的門檻值。

論文中我們只有使用小波域中低頻的子影像，我們希望能夠更進一步的利用高頻訊號，將移動物體的輪廓切割出來，以達到更廣泛的應用。

第一章 序論

目錄

致謝

摘要