系統程式架構

本論文是的研究重點是在動態背景之下偵測移動物體並追蹤之，論文的系統程式 中，主要分為兩大部分：移動物體的偵測部分及自動追蹤部分。

在移動物體的偵測中，為了從動態的背景中取得移動物體，首先經過影像前處理，

再以區塊為基礎，利用連續的 2 張影像尋找每個區塊的移動向量，經過統計得到全域移 動向量，用來補償影像背景部分，進行到此的處理程序後，接下來就可以執行連續影像 相減法來求得移動的像素，再以求得每個區塊的統計值，用以辨別移動區塊，再進行移 動區塊的群聚，即可得到移動物體的區域。

因移動物體的偵測需對整張影像做處理，會使得計算量太高，我們從移動物體偵測 中得到移動物體的區域後，以此區域製造移動物體的樣版，使用色彩資訊來判別相似度 是否相近，利用運算速度快的平均位移法計算影像中與樣版相似度最高的候選影像，完 成移動物體的追蹤，系統流程圖如下：

圖 2.3 系統流程圖

第三章

動態背景中移動物體之偵測系統

在此章節介紹移動物體偵測系統，並對其方法做詳細的說明。此系統包含了 5 個模 組，如圖 3.1 所示，影像前處理將視訊影像從彩色影像轉換為灰階影像，得到灰階影像 後被為數個 N*N 的小區塊，經由區塊匹配求得每個區塊的區域移動向量(Local Motion Vector, LMV)，由區域移動向量找出全域的移動向量(Global Motion Vector, GMV)將移動 的背景補償回去，這時便可執行連續影像相減法得到移動的區域，經過每個區塊的統計 值[16]，找尋有可能的移動區塊並標記之，分別在以下各小節說明。

影像資料

影像前處理

區塊的移動向量

全域背景補償

連續影像相減法

估算區塊 移動變化量

移動物體區域

擷取色彩資訊

計算相似系數

追蹤成功 True

False

圖 3.1：移動物體偵測系統流程圖(方框部分)

3.1. 影像前處理

影像在進行主要的處理及判斷之前，通常會經過一道前處理的手續，主要的原因是 降低一些干擾因素(例如：光源的影響，雜訊的干擾等)，藉以提升影像的品質，這可使 之後誤判的情形降低，而使影像處理的正確性加以提升，這即是影像前處理主要的功 用。以下即針對此論文中所用到的影像前處理[17]-[20]，做一簡短的說明介紹。

3.1.1 彩色對灰階的轉換：

基本上對人類視覺來說，所謂的“色彩＂是自然光照射到物體，反射後被眼睛接收 的資訊，經大腦分析後，最後所得到的結果，人眼所能看見的光在光譜上非常的窄，可 見光的波長為 400nm 至 700nm，其它頻率低於可見光(紅外線、微波、無線電波)或高於 可見光(紫外線、X 射線、伽瑪射線)便無法辨視。若將所有可見光混合，即成為白光，

白光又可以紅、藍、綠三種基本色光混合而得之，因此若將三種基本色光以不同的比例 混合，可讓我們得到各種不同的顏色，此三種基本色光紅、藍、綠因而被稱為三原色。

我們使用的視訊影像是彩色的，首先要對影像做彩色與灰階的轉換，為什麼要將彩 色的影像轉換成灰階呢？其主要的原因是我們希望能降低在移動物體偵測部分的運算 量。在電腦視覺中，每個彩色像素包含 3 個資料，分別為之前所提到的三原色，紅、藍、

綠，經過轉換成為灰階值，只留下一個資料，運算上可降低為原本的三分之一，對速度 的提升有一定的幫助。

影像的彩色模式上，較常被應用的有下列幾種模式：1.RGB 模式，2.HSV 模式，3.YIV 模式，4.YUV 模式。基於應用層面上的不同，各個模式各有其使用上的優點，在此我們 需要知道的資訊是影像變動的情形，因此我們選擇 YUV 模式，因為它在數位色彩中是 最常被用到的格式，除此之外，Y 值包含了影像明暗的資訊，可以藉此來判斷影像是否 變動。從三原色 RGB 模式轉換成 YUV 模式，有以下的轉換關係：

⎥⎥

由上式(3.1)我們可得到 Y=0.299*R+0.587*G+0.114*B，在 YUV 模式中，Y 佔了全 部影像百分之九十以上的能量，利用上式我們可以保有高灰階影像，又可以大大地降低 濾波器(Mean Filter)來達到我們的目的。

均值平滑濾波器是利用一個 N*N 的矩陣，對原始影像做迴旋積分，其轉移數函數為：

⎪⎩

⎪⎨

⎧ − ≤ ≤ + − ≤ ≤ +

= otherwise

m y y m y and m

x x m x if n y n

x h

0

* 1 ) ,

( (3.2)

在此 2

−1

=n

m ，n 為奇數。

在此論文是用 3*3 的轉移矩陣，其各元素值標示如下：

1/9 1/9 1/9 1/9 1/9 1/9 1/9 1/9 1/9

在圖 3.3 中可觀察到，原本因樹葉搖晃而造成的雜訊，經均值平滑濾波器後，被抑 制後的結果。圖 3.3(a)是原始視訊影像，在圖 3.3(b)是未經均值平滑濾波之前的影像，有 很明顯樹葉搖晃的情形及邊緣，在經過均值平滑濾波器後，在圖 3.3(c)中可看出大大地 抑制這些雜訊。在此論文中移動物體偵測部分，是利用影像中的區塊做移動量的統計，

這些雜訊會影響到移動量的估計，若在做移動量的統計之前，讓影像經過均值平滑濾波 以降低雜訊，對之後的移動物體偵測結果可以降低其誤判的可能性，在 3.4 節會詳細地 說明。

(a)

(b) (c)

圖 3.3：(a)原始影像(b)未經均值平滑濾波器的影像(c)經均值平滑濾波器的影像

3.2. 移動向量之搜尋方式

在移動的背景之下，首先遇到的問題便是：何者為移動物體，何者為背景，建立全 域背景[21]是可快速偵測到移動物體的方法，首先將攝影機可能移動的區域建立起各個 部分的背景，找出各個背景的相似特徵，建立攝影機可照攝到的全域背景，當有移動物 體進入，先做背景的匹配，再與背景相減即可得到完整的移動物體區域[22]，但這方法 的缺點在於光源的影響，不同的光源下，可能使得背景匹配錯誤，或是移動物體區域的 誤判，此外最大的缺點是在於需要全域的背景，這也表示它不能應用於未知的背景中。

我們想用於可變換的背景中，必須讓背景的移動量是可知的，用以補償背景的變 動，於是我們利用區塊匹配法(Block Matching)[23]-[26]，尋找每個區塊的移動向量，從

而求得全景的移動向量。

圖 3.4：區塊匹配法

區塊匹配法主要是將影像區分為以 n*n 像素為單位所組成的區塊，尋找最相近的區 塊，舉例來說，在圖 3.4(a)和(b)中為時間 k 的影像，圖 3.4(c)和(d)則為時間 k+1 的影像；

圖 3.4(a)為時間 k 原始影像，在圖 3.4(b)將影像 k 等分為一個個的區塊，以中央的區塊 A 為例，其中間的點代表此區塊的中心像素，在圖 3.4(c)影像 k+1 中建立搜尋視窗(Search Window)，即虛線方框的部分，在影像 k+1 的搜尋視窗內找出與圖 3.4(b) 的區塊 A 最相 似的區塊，如此搜尋過整個搜尋視窗，相似值最近的我們就標示為區塊 A 的移動向量圖 3.4(d)。

目標區塊,A 點表示其中心位置

搜尋視窗 相似度最高的區塊

原始影像

在此論文中所採用的相似值量測，是以平均絕對差值(Mean Absolute Difference, MAD)來做判斷，如下式：

∑∑

−

= ⁿ

i n

j

j i B j i nn A

MAD

1 1

| ) , ( ) , ( 1 |

(3.3)

在搜尋視窗內擁有最小的 MAD 值，即為此區塊的區域移動向量(Local Motion Vector)，當計算完所有的區塊，我們得到全部的區域移動向量。

在區塊匹配中，我們為了精準度，且不影響即時性的應用之下，採取了全域搜尋(Full Search)，這時我們可以計算出全域的移動向量，以做背景的全景補償。

3.3. 動態背景之全景補償

從區塊匹配法中，我們求得了每個區塊的區域移動向量，接下來便是如何在這些區 域移動向量中，找出全域移動向量。在這裡我們先做個觀察，圖 3.5 藍點是區塊的中心，

從藍點延伸出去的紅線，便是移動向量的方向及移動量。我們發現這些區域移動向量有 個規則性，同一方向的區域移動向量是佔大多數的。雖然在物體移動的部分，移動向量 會散亂，但大多數的區域移動向量是同一個方向的，我們可以得到一個假設，背景的移 動佔大多數的區域移動向量，因此找到最常出現的區域移動向量，即是全域移動向量。

在這我們使用的方法是尋找區域移動向量的中位向量(median vector)。

Global_Motion_Vector = Median(Local_Motion_Vectors) 再依得到的全域移動向量，將補償整張影像。

圖 3.5：區域移動向量

再以補償後的影像，與其前張影像相減，得到背景被抑制的結果圖 3.6 移動邊緣圖。

(a) (b)

圖 3.6：移動邊緣圖(a)未補償的連續影像相減結果(b)補償後的連續影像相減結果

3.4. 移動物體之移動統計計算量

得到的移動邊緣圖中，移動的區域不僅僅移動物體，尚有抑制不完全的背景部分，

如何分辨此二者的差異呢？在此我們利用了統計的方式。首先觀察移動物體的區域與被 抑制的背景區域的相異點，背景部分的移動量較微小，移動物體的部分則擁有較大的變 化量，於是利用標準差(Standard Deviation)來量測變化量，但標準差只有變化情形，無 法得知變化量值的資訊，為了彌補此處資訊的不足，再加上每個區塊內的最大值計算，

因為我們觀察到，最大的變化量是出現在移動物體部分。由此二值，我們得到影像中每 個區塊的資訊，在下節便可就這些資訊得到移動物體的區域。

3.5. 移動物體之標記

將每個區塊的標準差與最大值求出後，兩者皆大於臨界值的，才視之為移動區塊，

我們將符合此條件的區塊填入它的標準差，可得到移動區塊圖 3.7，因為最大值出現在 移動物體的部分，我們便以擁有最大值的區塊為開始，利用八相鄰(8-Neighborhood)的性 質，將相鄰的區塊標記成移動區塊，再以己標記後的區塊繼續尋找八相鄰的區塊，直到 全部相鄰的區塊皆標記過，經由此過程，我們便可得到移動物體的區域，完成移動物體 偵測部分。

(a) (b) 圖 3.7：(a)圖 3.6(b)，(b)移動區塊圖

第四章

移動物體之自動追蹤系統

在第三章的移動物體偵測系統，我們以區塊為基礎求出區域移動向量並補償背景，

再利用連續影像相減法來求得可能移動的像素。接著，將影像以等分的區塊大小做分 割，統計各個區塊移動量的最大值與標準差之後，最後標定移動物體的位置與大小，此 移動物體樣版影像的相關資訊便可作為移動物體追蹤時的依據。

在這章節要探討如何在視訊影像中，準確且有效率的執行即時移動物體的追蹤，本

在這章節要探討如何在視訊影像中，準確且有效率的執行即時移動物體的追蹤，本