第二章、 研究方法與執行成果
第一節 無間隙人形追蹤系統
影像系統與其他感測系統最大的差異在於能夠完整偵測人形在環境中之位置與行為姿態，
而在此系統中，我們預期利用多個影像設備覆蓋所有智慧型環境空間，並進一步有效偵測與 追蹤多個人形在環境中之位置與運動軌跡。就技術方面而言，以影像為基礎之室內多相機人 形追蹤系統主要涵蓋：前景切割（Foreground Segmentation）、人形辨識（Human Recognition and Classification）以及追蹤（Human Tracking）。於此計畫報告中，我們將詳細說明於單一相機 下所採用之前景偵測與人形辨識的技術。
(一)前景切割
前景偵測的主要目的在於將所要分析的影像自背景中切割出來。由於光線波動的影響，
相機所感測之影像亮度與顏色並非固定不變；另一方面，背景亦可能隨著時間而呈現不同的 景緻。大致上來說影響背景變動的因素可分為：漸進光線變化(Gradual Illumination Variation)、
劇烈光線變化(Sudden Illumination Variation)以及陰影(Shadow)。目前用來進行前景切割的技術 主要可以分為兩類：背景相減法（Background Subtraction）以及根據運動切割法(Motion-Based Segmentation)。背景相減法意即透過背景模型建構之方式將背景影像記錄下來，經由與背景 模型對照相減後，將前景擷取出來，然而這類主要是在像素層次(Pixel-Level)進行前景切割，
因此容易受到光線變化的影響。而經由運動切割法的技術，主要根據前景的出現皆會伴隨著 運動的概念，經由運動切割的方式來切割出前景區域，然而如何有效估算運動(Motion Estimation)仍是非常複雜的問題。
有別於第一年所提出之背景相減法，我們提出一個架構(如圖十所示)整合了背景相減以 及 運 動 切 割 兩 種 方 式 來 達 成 。 主 要 的 貢 獻 在 於 利 用 運 動 資 訊 將 前 景 偵 測 從 像 素 層 次 (Pixel-Level)提升至區域層次(Region-Level)，另外根據貝氏網路我們整合背景模型以及運動資 訊，同時達到前景偵測以及運動估算。圖十一與十二為我們針對 IPPR 測試影像與 Lee 所提出 之方法所獲得之結果。
圖十：前景切割架構圖
圖十一：IPPR 測試影像一
圖十二：IPPR 測試影像二
(二)人形辨識
在這個計畫中，主要是利用人形樣版來偵測人形於影像中之存在，由於人形影像隨著其 姿的不同而會有不同的影像外觀，因此我們需要建構一個人形樣版資料庫作為人形比對之用。
而為使人形之比對更有效率，使人形辨識能夠達到即時的效果，我們將資料庫之人形樣版做 有系統的建構，所採用的方法為基因演算法（GA Algorithm），圖十三為所建構後之部分人形 樣板資料庫。
圖十三：人形階層資料庫
由於人形並非剛體，因此我們採用 Hausdorff Distance 來進行人形樣板比對以達到人形辨
其中d(.,.)為 Euclidean Distance。然而基本的 Hausdroff Distance 其比對的效果易受的真 實環境中的雜訊影像。在此計畫中，我們採用了 M-HD 做為樣板相似度（Similarity）比對的 度量，主要的原因在於，M-HD 在避免雜訊干擾以及遮蔽現象上有較好的成效及結果。M-HD
其中τ 為預設的門檻值。換句話說，在結合了 Cost Function 與 Directed Hausdorff Distance，M-HD 的函數可定義如下，將所擷取之影像與人形資料庫比對後，若其相似度大於 且在量測影像相似度上考慮接合影像相似度(Joint Image Likelihood)[48]，作為解決目標在影 像觀測上重疊時的判斷。
目標物的追蹤即為一種狀態的估測(State Estimation)，我們先由考慮單一目標的追蹤開始，
採用粒子濾波技術(Particle Filtering)為基礎的 Sequential Monte Carlo 方法來有效取得每一時 刻之事後機率的機率密度函數(pdf, Probability Density Function)。為了減少濾波時耗費的計算 時間以及增加估測準確度，我們採用了重要性取樣(Importance Sampling)的方法[49][50]，將對
(Auxiliary Knowledge)所得到目標物狀態的可能區域，而K
( )
⋅ 為核函數(Kernel Function)用作 KDE (Kernel Density Estimation)，α為正規化常數，wt( )i 為重要性取樣修正權重(Corrected外觀相同的目標物，zt代表t時刻的觀測影像，而z0:t則代表由初始時刻累積至t時刻的觀測影 像歷史。p
(
z Xtt| t)
為結合相似度(Joint Likelihood)，當目標物在影像當中沒有互相重疊之時，此式可以拆解成為
(
zt|Xtt)
=(
zt|x1,t) (
⋅⋅⋅ zt|xM,t)
p p p ,
並且套用分隔式重要性取樣(Separated Importance Sampling)的方法，將對此外觀之目標 物所求得之重要性函數q x ，利用上一刻的追蹤結果，分隔此重要性函數為