論文架構

此論文主要分為六章，第一章為緒論，主要是說明研究動機與介紹相關研究。第二 章則是摘要移動物體偵測與自動追蹤系統基礎理論，介紹相關方法，並討論其優劣，其 後介紹此論文的系統架構及完整流程。第三章則是詳述此系統中移動物體偵測的方法，

藉由移動物體偵測所引發的問題及研究現況，推演出此篇論文的移動物體偵測的演算 法，繼而細述每個流程所運用到的方法，以得到完整的移動物體區域，當成之後追蹤的 樣版。第四章是說明追蹤的系統，在此之前，先介紹動態追蹤所引發的問題及研究現況，

再來說明主要的理論基礎，與實作後的成效。第五章為實驗結果，在此章節將對整體移 動物體偵測及追蹤系統做一個完整的說明，在實際運作後對效能進行評估的動作，藉由 顯示的結果，說明此系統的能力。第六章是包含此論文中的研究心得，在此檢討系統中 不夠完善的地方，以供未來可能研究的方向。

第二章

移動物體偵測與自動追蹤系統基礎理論摘要

在監視系統中，主要分為兩大部分：一是移動物體偵測系統部分，二為自動追蹤系 統部分。移動物體偵測是為了偵測出畫面中是否有移動的物體，針對執行的環境分為兩 大種類，一為固定式攝影鏡頭之下的靜態背景，一為非固定式攝影鏡頭之下的動態背 景。在固定式攝影鏡頭之下是較簡易的移動物體偵測環境，靜態背景可透過時間域上連 續的影像相減而移除，建立一個影像差異圖(difference image)，再定義一個臨界值 (threshold value)過濾掉因擷取影像畫面所產生的雜訊，由此方法可有效率地得到移動物 體；但對於非固定式攝影鏡頭之下的動態背景卻無法直接使用上述方法，因為非固定式 攝影鏡頭是可移動的，其背景是動態的，除了移動物體本身的移動量(object motion)外，

尚有因鏡頭的移動而產生的全域移動量(global motion)，若直接使用連續影像相減所得到 的影像差異圖之中，除了得到移動的物體之外，還會包含移動的背景，換句話說，若我 們可以將影像中的全域移動量移除，便可將固定式攝影鏡頭之下的移動物體偵測方法，

應用於動態背景的移動物體偵測之中，因此非固定式攝影鏡頭之下的移動物體偵測系統 中，首要之務便是需從視訊畫面中擷取出全域移動量，得到全域移動量後便可對影像補 償，使背景類似於靜態背景，便可利用靜態背景的移動物體偵測方法將移動的物體與背 景分離出來。

自動追蹤系統的目的是在對特定的移動目標物，在視訊影像進行的同時，持續地跟 隨此目標物。追蹤移動物體的方法基礎的想法是在多個候選影像中，選出與被追蹤的目 標影像相似度最高的候選影像，相似度最高的候選影像則可判斷與目標物是吻合的結 果，因此我們需要被追蹤的移動物體所含有的相關資訊，以及相似度的定義與計算的方 式，用以選出相似度最高的候選影像，並在視訊影像中持續地追踨移動物體。在追蹤系 統中廣泛用到的移動物體相關資訊諸如色彩、紋理、移動速度、邊緣等，在目標物的形 狀或相關資訊未改變的情況之下，此時追蹤的條件是較容易處理的，若目標物產生形變

(deformed)的情形之下，其原有的資訊可能有所改變，進而導致追蹤錯誤，因此在追蹤 系統中，需對被追蹤之目標物的資訊作動態的更新，才能在物體形狀改變後仍然持續有 效地追蹤之。

2.1. 移動物體偵測

移動物體偵測的部分一直是電腦視覺中十分重要的一環。我們可以觀察到，在場景 中可察覺的移動量，會對視訊影像造成變化量，根據以上的觀察結果，我們可以說，在 視訊影像中有變動的部分，通常是移動物體所造成的，而如何找出這些變動的部分，便 是移動物體偵測主要的用途。以下介紹幾種主要的移動物體偵測方法，並討論之。

I. 光流法(Optical Flow)：當物體在移動時，在影像中對應物體的亮度也會產生變 化，光流則是指影像亮度的表面變化(apparent motion)分佈情形[1]-[3]。因需給影像 中每一個像素速度向量(motion velocity)，其運算量很高，且對雜訊非常敏感，若是 用於視訊影像無法執行即時性的應用，需要特殊的硬體設備。

II. 連續影像相減法(Temporal Differencing)：在連續的影像中，讓相隔兩、三張的 影像相減，若相差為零，則表示此像素不屬於移動物體，若不為零，則為移動物體 的像素，利用相減後所得的結果來辨別移動的區域[4]，與光流法相較之下，連續影 像相減法在運算上有大幅降低的情形，在實作在即時性的應用上，較為適用。但在 動態背景之下，對於背景移動與實際移動物體無分辨的能力，且對剛性物體造成內 部破碎，對移動物體偵測無法提供完整的資訊。

III. 背景相減法(Background Subtraction)：背景相減法是種易於實現且廣受應用的 方法，特別是在靜態背景的場景中；首先是建立好參考背景，再用現在的影像與參 考背景影像相減，以去除背景相同的部分，留下來的即為移動物體的區域[5][6]。

此種方法可以完整且清楚地辨別出移動物體的部分，但它受光影響很大，光線的變 化會導致相減後的結果不精確，因此良好的參考背景影像是很重要的，另一方面它 也不適用於動態背景，因為背景的資訊隨時在更動的情形之下，無法找到特定的背

景作為參考影像。

C. Kim[5]中運用了連續影像相減法和背景相減法，利用邊緣的資訊建立兩張邊緣圖 (Edge Map)，一個為參考背景邊緣圖，另一個則為由連續兩張的視訊影像相減而得的移 動邊緣圖，再將移動邊緣圖與參考背景邊緣圖相減，便可求得移動物體的區域。這是運 (conservation of image intensity)[8]如下：

)

光流法需對整張影像做微分，除了計算量高外，也容易造成誤差過大。C. J. Li [16]中以 區塊匹配法(block matching)偵測區塊周圍的鄰近區塊中是否具有相似區塊，即區域亮度 分佈守恆(conservation of local intensity distribution)[8]，給定第一張影像的像素，在第二 張影像中相對應的像素的區塊，在給定的搜尋視窗(search window)中找出相關度最高的 區塊，其移動量即為此區塊的位移向量，用此方式可以大大降低光流法計算量高的缺點。

本論文是的研究重點是在動態背景之下偵測移動物體，背景是隨時間而改變的狀態 下，是無法建立屬於靜態的參考背景，以背景相減法得到移動物體；由於在動態背景之 下整個影像畫面皆是處於移動的情形，需考慮如何將背景與前景(移動物體的區域)分 離；我們可以觀察到背景與前景的不同之處，在於背景所含有的位移向量是相同的，而 前景的位移向量則為不固定，且在一個影像中背景佔大多數的面積，我們可以說，數量 最多的移動向量便是屬於背景，利用此特性，我們使用區塊匹配法找出每個區塊的位移 向量，找出數量最多的移動向量為全域移動向量(global motion vector)，用以補償移動後 的背景，便可得到幾乎靜態的背景，再搭配連續影像相減法，以求出可能的移動物體的 區域，其方法的細節會在第三章中再詳細的介紹。

2.2.

自動追蹤系統

在監視系統中另一個重要部分，即為自動追蹤系統，追蹤的目的是利用移動物體偵 測到的目標物體，在連續的視訊影像中持續地找到目標物移動後的位置，因此我們需要 尋找與目標物吻合的候選影像，藉由目標物所含有的相關資訊量，計算觀察的候選影像 與參考物體之間的相似度是否夠高，相似度最高即可判別與目標物吻合，以下介紹幾種 追蹤的方法。

I. 區域為基礎的追蹤(region-based tracking)：區域追蹤主要是用影像中有變動的 區域為基礎，得到此區域的方法，例如用上一節所提到的背景相減法、連續影像相 減法得到移動物體的區域，再根據此區域內部參數來進行追蹤[9]。

II. 主動輪廓為基礎的追蹤(active-contour-based tracking)：輪廓追蹤是將移動物體

用輪廓線(contour)來表示，如影像邊緣、形狀等，再利用之後影像的輪廓線更新資 訊來追蹤物體[11]，在[12]將之應用於車輛的追蹤上，可得到良好的追蹤效果。

III. 特徵點的追蹤(feature-based tracking)：特徵點追蹤是先分析影像中物體的成分 特徵，將其群集到較高階的特徵，再比對之後的影像的特徵資訊，追蹤目標物。利 用到的特徵可能有質量中心、面積、色彩[13]等。

IV. 模型為基礎的追蹤(model-based tracking)：模型追蹤首先會建立起物體的模型 結構，再利用此模型進行比對追蹤，它需要較多的模型參數，才能精確地取得移動 物體[15]。

S. Gupte[9]藉由背景相減法得到連續影像i 與影像i+1的移動物體區域，利用空間匹 配的方法(spatial matching method)追蹤移動物體，因此需建立影像 i 與影像i+1的移動物 體區域之間的關係圖(association graph)，在此利用雙分圖(bipartite graph)(圖 2.1)，圖中 每一個點代表一個區域， P 分部(partition)內的點代表前一張連續影像內的區域，而C分 部的點代表下一張連續影像內的區域，分部間的邊E (edge)連結起_ij P 與_i C 間的關係，給_j 予每一個邊E 一個權重_ij w：

) (

)

(E_ij A P_i C_j

w = ∩ (2.5)

E 的權重即是ij P 區域與_i C 區域之間重疊的面積， _j

圖 2.1：雙分圖[9]

追蹤的問題即為尋求最大權重圖(maximal weight graph)；此方法需對整張影像做處理，

以求得到每個時間點的移動物體區域，運算量取決於整張影像的大小，運算量較高，不 易做到即時性追蹤。

M. Kass[10]提出了主動輪廓法(Active contour)，主要目的是在於找出物體區域的輪 廓線，一開始以一初始輪廓朝物體區域做輪廓演化以將物體分割出來，輪廓演化是藉由 最小化能量函數(energy function)來達成，當能量最小處所形成的輪廓即為所求，以此輪

M. Kass[10]提出了主動輪廓法(Active contour)，主要目的是在於找出物體區域的輪 廓線，一開始以一初始輪廓朝物體區域做輪廓演化以將物體分割出來，輪廓演化是藉由 最小化能量函數(energy function)來達成，當能量最小處所形成的輪廓即為所求，以此輪