人臉追蹤相關的研究探討

近期人臉追蹤的研究著重在如何設計有效表示人臉的特徵，並針對光線等環 境因素在追蹤過程中的改變，提出更新比對特徵的適應式追蹤方法，最常被使用 的特徵有下列幾種：

(1) 人臉膚色：顏色是在追蹤技術中最常被使用的特徵，相較於其它複雜特 徵，顏色的資訊比較容易獲得與處理，而且對於不同角度的人臉，都仍 會有類似的顏色資訊被保留，因此被廣範地使用在追蹤技術中。但顏色 資訊容易受到光線等環境因素的影響，因此在追蹤的系統，通常會設計 更新比對特徵的機制，如Jacquot 等人[9]或是 Yang 等人[25]利用影像的 顏色長條圖(histogram)的分佈，配合自動選取顏色的特徵參數來達到追 蹤的效果。其它使用膚色訊息做為人臉特徵的追蹤方法還有[19], [16]等。

(2) 固有臉(Eigenface)特徵：固有臉特徵最早由 Turk 與 Pentland [20]提出用 來做為人臉辨識所使用的特徵，主要是將人臉影像組成的像素(pixel)值 用向量的方式來表示並利用PCA(Principal Component Analysis)將其投影 到低維度的空間，此時PCA 投影矩陣對應的固有向量(eigenvector)會保 留可以代表人臉影像的特徵資訊，即稱之為固有臉特徵。固有臉特徵因 為保留了人臉的主要特徵同時降低人臉影像處理的維度，因此可以達到 快速追蹤的目的，但固有臉特徵必須要事前經由訓練資料計算來獲得，

光線環境突然改變的情況，Ross 等人[18]提出了漸進式更新固有臉特徵 的方法，改良了傳統固有臉特徵無法反應目標變化的缺點，藉由新獲得 的目標影像來動態更新比對用的固有臉特徵。

(3) 人臉各部位的細節特徵：在傳統物件追蹤使用的比對方式是將整個目標 視為一個獨立的影像進行比較，這樣的做法在多視角的人臉追蹤裡並不 適用，因為人臉在不同的旋轉角度下差異很大，若只單純比較影格之間 目標的相似性，在不同角度的人臉轉換就會造成追蹤的失敗。另外人臉 在旋轉變化的時候，人臉各部位的細節特徵如眼睛、嘴巴等仍然會出現 在影像之中，只是它們的相對位置有改變，基於這樣的觀察，一些人臉 追蹤的方式是利用影格中人臉各部位特徵的移動比對來進行追蹤，如 Yao 與 Li [27]將人臉各部位的細節特徵截取出來後，再利用動態程式 (dynamic programming)的方式來搜尋下一張影格內對應的特徵位置，或 是Frank 等人[4]先找出影像中人臉眼睛的位置，再由眼睛的相對位置來 決定人臉的旋轉角度，其它的類似使用各部位的細節特徵的追蹤還有 [10], [5]等。

(4) 人臉 3D 模型：人臉是一個立體的物件，若只利用平面影像的資訊對於 不同角度的人臉進行比對無法正真反應人臉的各個角度的變化情形，因 此有人提出來在追蹤的同時動態建立對應人臉的 3D 模型來進行比對，

3D 模型具有精確描述人臉旋轉角度的特性，但建立 3D 模型需要花更多

額外的計算時間，如何設計一個適當的 3D 模型來表示人臉又不會太過 複雜而導致花費太多的計算時間是必須考量的地方。Dornaika 與 Davoine [2]所使用的 Candide 或是 Wen 與 Huang [23]使用的 3D face mesh model 等都是使用3D 模型做為人臉的特徵來進行追蹤。

用適當的特徵表示人臉後，必須配合特徵來設計追蹤的方法。在已知前一張 影格中目標的位置、大小等狀態下，要如何估計出這次讀入的影格中目標的狀 態，就是追蹤的相關研究所要解決的問題。在人臉追蹤的研究中，最常被使用的 追蹤方法可以分成下面三種：

前一張影格的目標位置

搜尋範圍

子視窗掃描

目前影格估計的目標位置

前一張影格 目前影格

圖2. 搜尋範圍示意圖。

(1) 搜尋範圍(search range)：如圖 2 所示，以前一張影格的目標為中心，設 定在某個範圍中進行目標的搜尋，搜尋的方式通常是用不同大小的子視 窗在設定的範圍內進行掃描，每次子視窗移動到不同的位置，就將子視 窗內的影像進行特徵的比對，如果子視窗內的影像與之前目標特徵有一

定的相似性或是具有高度的人臉特徵，則就是目標估計的位置。這個方 式必須要考慮搜尋範圍的大小，太大會造成計算上花費太多的時間，變 成針對每一張影格做人臉偵測，太小則有可能無法找到目標而造成追蹤 失敗。除此之外，進行掃描的子視窗要如何適當的表示才能反應追蹤過 程中人臉的變化是另一個要解決的問題。Stern 與 Efros [19]就是搜尋目 標周圍具有相似膚色的區域配合動態改變比對的顏色空間來達到人臉 的追蹤。其它使用搜尋範圍的方法還有[22], [17]等。

平均數移動演算法 第一次移動到的位置 平均數移動演算法

的計算範圍 前一張影格的目標位置

目前影格估計的目標位置 目標機率分佈圖

(機率)

(x)

(y)

(x)

(y)

(機率)

直到滿足收斂條件

前一張影格 目前影格

圖3. 平均數移動示意圖。

(2) 平均值移動(mean shift)：如圖 3 所示，以前一張影格的目標為中心，設 定在某個範圍中計算出範圍內每個像素點是目標人臉的機率，接著跟據 這些點的機率分佈將所要估計的目標區域住機率高的地方移動，直到滿 足收斂條件為止，收斂點即是目前影格估計的目標位置。這個方法必須 定義如何計算每個像素點的機率值，通常會與顏色特徵做結合，如果這 個像素點的顏色與目標的顏色相近或是接近膚色的顏色分佈，則對應這 個點的機率值就會比較高。除此之外，平均值移動演算法的範圍與計算 次數決定了整體的計算時間，收斂條件的設定也是一個要考慮的問題。

Grabner 等人[6]結合多種特徵值的選取並配合平均數演算法來達到物體 追蹤；Yang 等人[26]則是利用漸近式顏色特徵配合平均數演算法達到多 視角的人臉追蹤。

(3) 粒子濾波(particle filter)：粒子濾波是利用一群樣本與每一個樣本對應的 權重來表示目標的機率分佈。如圖4 所示，已知前一張影格的樣本分佈 情況，設定在某個範圍中根據特定的方式重新進行取樣。這些樣本通常 又被稱做粒子，樣本的形式取決於所使用的特徵，例如Ross 等人[18]使 用固有臉特徵來表示人臉並利用粒子濾波來進行追蹤，他們所使用的樣 本就是子視窗；Dornaika 與 Davoine [?11]用 Candide 當做人臉特徵，則 樣本就是不同大小與形狀的 Candide；Perez 等人[16]則是使用子視窗內 的顏色分佈當作特徵再利用粒子濾波來進行追蹤。取樣完後接著對於每

樣本進行特徵的比對，如果樣本與之前目標特徵有一定的相似性或是具 有高度的人臉特徵，則這個樣本會獲得相對應較高的權重。最後會利用 所有的樣本與每個樣本所對應的權重來估計出目前影格中目標的位 置。其中轉移性函式(transition function)用來定義如何取樣，相似性函式 (likelihood function)用來定義如何計算權重，這兩個函式就是粒子濾波的 設計重點。

前一張影格的 目標位置

進行取樣

計算權重

利用樣本與權重估計 目前影格的目標位置

前一張影格 目前影格

前一張影格樣本的分佈

圖4. 粒子濾波示意圖。

由上面的研究整理發現，大部分的人臉追蹤技術都會建立一個適應式的特徵 來表示人臉，用來解決追蹤時目標受到環境光線的影響而造成比對特徵的改變，

同時我們也希望可以簡化多視角追蹤時所使用的 3D 模型，因此我們設計了動態

檢查表並引入人臉判斷來輔助我們建立多視角的人臉資訊。另外我們希望能設計 一個具有高度準確性又兼具效率的追蹤方法，因此採用了粒子濾波做為追蹤的主 要方式，並且修改了其中的轉移性函式與相似性函式來符合我們的研究需求。