第一章 緒論
1.1 研究背景與動機
隨著科技進步以及對於大量視訊影片資料管理上的需求，電腦視覺(computer vision)與影像處理(image processing)之技術已被廣泛的應用於生活中，其中物體 追蹤(object tracking)在電腦視覺上為一重要的課題，可以應用在許多領域中，例 如：監控系統(surveillance systems)、自動飛行導航系統(flight-guidance system)、
智慧型自動車輛追蹤(vehicle tracking)系統等，都需要物體追蹤的機制。而多目標 物體追蹤(multi-object tracking)的應用範圍更加廣泛，也更有挑戰性。以軍事領域 來說，如防空機制、目標攻擊任務等，都需要獲得多目標物體之資訊。另外，在 人工智慧研發上，若能追蹤多個目標物，產品便能執行更廣泛的任務。易言之，
多目標物體追蹤的應用層面較傳統單目標物追蹤更為廣泛，也更能提升研發產品 之功能。因此，在過去幾年，已經有許多演算法被用於多目標物體追蹤，例如光 流法(optical flows)[1][2]、背景相減法(background subtraction)[3]、Mean-Shift[4]、
粒子群聚最佳化法(Particle Swarm Optimization, PSO)[5]、以及粒子濾波器(Particle Filter, PF)演算法[6]等。
光流法常被應用於多目標物體之追蹤，光流之定義為在連續的影像畫面上，
從影像像素的強度變化，即為亮度梯度，來求取其對應的移動向量。基於光流法 的多目標物體即時影像追蹤方法[1]為從連續影像中擷取光流，當偵測到足夠的流 向時，便把其視為一個移動物體，並針對此區域，即目標物區域做光流的計算。
但由於光流的計算較複雜，故不適合使用在即時影像追蹤系統上。至於較單純的 追蹤方式，例如由 Valtteri 等人提出的一種以背景相減為模型之多目標物體追蹤 方法[3]，先利用背景相減的方式，把目標物擷取出來，再根據擷取出目標物的顏 色、特徵、移動資訊，在影像上做比對之動作，達到追蹤的效果。然而，以背景 為模型之追蹤系統也有其限制，當背景變換時，由於與原先建置好之背景資訊不
2
同，極有可能造成追蹤錯誤。而 Mean-Shift 算法追蹤[4]為一種基於機率梯度函數 的估計，在一組數值中找尋相對極值。假設極值分布為離散的，先計算兩個分布 密度相似性最大的地方，使設定的範圍沿著密度增加量最大的點移動，在以此方 向為基準，持續移動範圍。此方法雖然計算量少，移動速度快，但準確性較低，
容易發生追蹤錯誤的情形。
粒子群聚最佳化法(Particle Swarm Optimization, PSO)為根據動物群聚的行為 發展而來[7]，其最佳化求解的過程，是藉著群體移動的粒子根據自身的記憶性，
與群體的最佳解配合而成的一種具有群體智慧的演算法。PSO 由於其快速收斂的 能力，目前也被應用於許多多目標物體追蹤方面的研究[5][8][9]。經過粒子的記 憶功能，配合 PSO 本身的粒子更新公式，在不斷的迭代演化後，粒子便會收斂於 欲追蹤的目標物上。PSO 詳細的演算流程，我們會在第二章作介紹。然而，儘管 PSO 快速收斂的性能良好，在搜尋目標物時有很大的優勢，但當目標物持續移動 時，若沒有太劇烈的位移，其全畫面搜尋的方式將會造成追蹤系統計算上的負 擔。
粒子濾波器(Particle Filter, PF)是一種對目標狀態估測有效的方法，其概念為 利用貝氏濾波器迭代演算之方式[10]，利用已知訊息建立系統的概率密度函數 (Probability Density Function, PDF)[11][12]，得到對系統狀態估測的最佳解。因為 其快速追蹤的功能，粒子濾波器目前已被應用於許多多目標追蹤方面的研究 [6][13][14]。追蹤方式為利用取樣的方式，將較接近目標物的粒子選取出來，並 利用擾動的方式，讓粒子能有較大的機會探索其他的解，使得粒子不容易太快陷 入區域最佳解。經過不斷的迭代演化後，粒子便會收斂到欲追蹤之目標物。PF 詳細的演化流程，我們會在第二章作介紹。然而，儘管粒子濾波器在目標物追蹤 時性能良好，當目標物剛出現時，卻有收斂速度較慢的問題。
3
為了提升多目標物體追蹤的性能，本篇論文提出一種混合型演算法，結合粒 子群聚最佳化法與粒子濾波器之優點[15]，利用 PSO 快速收斂的能力與 PF 快速 追蹤的能力，使用系統切換的方式，完成兩演算法之結合，使其應用於多目標物 體追蹤系統中。主要的追蹤方式是在目標物出現時，先用 PSO 對目標物作快速搜 尋的動作，當粒子搜尋到目標物時，再切換到 PF 作快速追蹤的動作，充分利用 兩個演算法之優點，互相配合，完成一個快速的目標物追蹤系統。我們先對欲追 蹤之目標物做事先建模的動作，再來便分別用混合型演算法對各個目標物做搜尋 與追蹤。
然而，粒子濾波器與粒子群聚最佳化法在每一次進行迭代運算時，通常需要 使用許多複雜之數學運算，尤其是應用在多目標追蹤上，系統勢必需要大量的記 憶體空間，這種密集的計算以及大量的記憶體空間需求，會使得多目標物體之即 時影像追蹤性能受到影響。是故，本論文在可程式規劃系統晶片(System On Programmable Chip, SOPC) [16][17] 之 架 構 下 ， 以 軟 硬 體 協 同 設 計 之 方 式 [18][19][20][21]，實現所提出的混合型多目標物體追蹤系統。此方法不僅比純軟 體設計的執行速度還要快，使用軟硬體協同設計在解決問題時，也可以不須重新 設計整個硬體，在設計上也較有彈性。設計方式為以 Nios II 軟核心處理器來計算 權重值，以硬體電路做粒子更新的動作，以大幅降低 Nios II 處理器之負擔，當軟 體部分驗證完成後，即可以全硬體方式實現整個多目標物體追蹤系統，進一步提 升整體系統的效能。
1.2 論文架構
本論文共分為八章，第二章將介紹混合型多目標物體追蹤演算法，我們將對 主要使用的兩個演算法，粒子濾波器、粒子群聚最佳化法做說明，並且說明如何
4
整合此兩演算法用於多目標物體追蹤上。第三章介紹我們用來整合軟硬體協同設 計平台的方法，將針對多主從系統架構做說明。第四章介紹軟硬體協同設計平台，
我們將針對主要使用的 DE2-70 多媒體開發平台做介紹。第五章將介紹混合型演 算法用於軟硬體協同設計上之各個硬體模組的電路架構，以及權重計算的方式。
第六章將介紹混合型演算法應用在即時影像多目標物體追蹤系統的架構，其中包 括影像擷取、追蹤、顯示模組。第七章為我們的實驗結果，我們將驗證粒子濾波 器與粒子群聚最佳化法之搜尋、追蹤的速度，並且分別顯示軟硬體協同設計，與 純硬體設計之實驗結果。第八章為我們的結論與未來研究方向。
5