頭髮樣本區塊的擷取

從圖 1.1c 的畫面差異D ,ˆ

( )

x y 可以發現，畫面差異中的頭部位置會出現左右 兩個被中間線x=x_D區隔的黑色區塊，個別屬於參考影像F₁

( )

x,y 及待測影像

( )

x y

F₂ , 的頭髮區塊，因此個別統計兩個黑色區塊在影像F_i

( )

x,y 的亮度平均值，

並選取亮度平均值較小的該塊作為影像F_i

( )

x,y 頭髮樣本區塊。

此時已擷取到臉部及頭髮樣本區塊，統計兩個樣本區塊在影像F_i

( )

x,y 的亮 度平均值I 和_i^F I (根據頭髮亮度值比臉部為低的假設可知道_i^H I_i^F >I_i^H)，並將亮度 門檻值定為 ^{=α +}

(

^1−α

)

i^H,α∈

[ ]

^0,1

F i

I I I

Ti (目前將α 設為 0.4)，最後對影像F_i

( )

x,y

中所有像素點檢查亮度值是否小於該門檻值，若小於則將該點的色度 H 設為π 。

1 Euclidean Distance

2

1 Euclidean Distance

2 2

1 WeightedEuclidean Distance

2

但是變異數σ²S可能太大造成權重太低，讓整體的鑑別度無法發揮到最佳。為了 期望 H 和S的權重能同等考慮，因此採用第二種方法的S2來計算臉部色彩相似 度。

2.3 根據色彩相似度擷取臉部區域

已知^S2i

( )

^x,^y 為影像F_i

( )

x,y 的臉部色彩相似度，為了能找到一個適當的相似 度門檻值TS₂i，首先，從臉部樣本區塊以 Row Scan 方式搜尋兩側的臉部邊緣，

統計臉部邊緣之間的區域之相似度分佈，其相似度會比其他非臉部區域的相似度 高，因此取這個區域的相似度最小值作為相似度門檻值

S i

T ₂ ；之後以該門檻值對

( )

x y

S2_i , 進行二值化動作得到S2i

( )

x,y

∧

，最後再從S2i

( )

x,y

∧

取出最大的區塊作為 臉部區域，令臉部區域為Face_i

( )

x,y ，其中Face_i

( )

x,y =255表示像素點

( )

x,y 屬 於臉部區域，反之則不屬於臉部區域。

臉部區域Face_i

( )

x,y 在眼睛、鼻子或嘴唇等臉部特徵所在位置會殘留內部破 洞，但是並不會把內部破洞做填補的動作，由於這些內部破洞大致就是臉部特徵 所在的位置，故可以作為後續臉部特徵擷取的參考。

第 3 章 臉部特徵擷取

3.1 眼睛及嘴唇臉部平面特徵點的擷取

目前有參考影像^F1

( )

^x,y 和待測影像^F2

( )

^x,y 兩張影像，要個別從兩張影像的 臉部區域Face_i

( )

x,y 擷取上述的臉部特徵點，由於被拍攝者在兩張影像的位置僅 有些微變動，故可以假設參考影像和待測影像的臉部平面特徵點之間存在一個仿 射轉換(Affine Transform) A ，其中 A 可以根據兩張影像臉部區域之間的主軸夾角 及中心點距離估算出來，當參考影像的臉部平面特徵點已經確定，則這些特徵點 經過仿射轉換即可用來預測待測影像中臉部平面特徵點的位置，最後根據該預測 位置將待測影像的臉部平面特徵點擷取出來。

3.1.1 參考影像的臉部特徵點擷取

首先根據Face₁

( )

x,y 計算參考影像臉部區域的中心點

(

x1, y1

)

及長短軸方向

1 1,m Mv v

，然後根據長短軸方向將臉部區域轉正得到NFace₁

( )

x,y ，其中 FHeight

y FWidth

x≤ ≤ ≤

≤ ,1

1 ，並從轉正後的臉部區域取出內部破洞區塊

( )

x y

H₁ , ，如圖 3.1 所示，之後統計H₁

( )

x,y 中每條掃瞄線的內部破洞點個數，令 為

( ) ∑ ( )

=

=^FWidth

x

y x y

HCount

1 1

1 δ , ，其中當H₁

( )

x,y =0時，δ₁

( )

x,y =1；否則δ₁

( )

x,y =0。 如圖 3.2 所示，可以觀察到HCount₁

( )

y 在眉毛、眼睛、鼻孔或嘴唇的高度會形成 尖峰值(Peak Value)，因此利用該資訊將眼睛及嘴唇可能出現的高度找出來，各 令為y= y_EY及y= y_M。

圖 3.1 轉正後臉部區域 內部破洞H₁

( )

x,y

圖 3.2 轉正後臉部區域中每條掃瞄線的內部破 洞點個數HCount₁

( )

y

由於臉部區域內的特徵區塊之亮度值較皮膚區塊低，假設臉部特徵區塊的面 積佔整個臉部區域的 10%，因此從臉部區域取出亮度值最小、比例個數在前面 10%的像素點，並根據亮度值對這些像素點由小到大做排序的動作，令臉部區域 的亮度值影像為I

( )

x,y ，臉部區域面積為 A ，利用以下方式對像素點做排序：

這些像素點在臉部區塊中會集結成數個區塊，而這些區塊中某些便是我們所 要的臉部特徵區塊，因此先找出這些像素點集結而成幾個區塊，並從這些區塊中 利用臉部特徵的對稱性找出所要的左右眼及嘴唇特徵區塊，首先對這些像素點進 行區塊標號(Component Labeling )的動作，如下列流程：

(1) 初始化P=Φ，M =0、N = A×0.1

(2) 以 Row Scan 方式( y 為 Row 的索引值)判斷臉部區域內部的每個點

( )

^x,y

是否要加到 P 串列。若 P 串列的個數 M 已經達到N，則勢必有一個像素 點要捨棄(Case2)；否則直接加入即可(Case1)

Case1、 M <N

以 Reverse Sequential Search 找出最大的 i 使得

(

^{x y}

) ( )

^{I x y}

I _i, _i ≤ , ，若i=M 則

( )

^{x,y 附加到}

(

x ,i yi

)

之後；否則

( )

^x,y

插入到

(

x ,i yi

)

和

(

x_i+1,y_i+1

)

之間，並且M = M +1 Case2、 M =N

若I

(

x_N,y_N

) ( )

>I x,y，則以 Reverse Sequential Search 找出最大的 i 使得I

(

x_i,y_i

) ( )

≤I x,y，將

( )

x,y 插入到

(

x ,i yi

)

和

(

x_i+1,y_i+1

)

之間並 捨棄

(

x ,N yN

)

；否則捨棄

( )

x,y

(3) 最後得到P=

[ (

x₁,y₁

) (

x₂,y₂

)

L

(

xN,yN

) ]

串列，其中

(

xi yi

)

I

(

xj yj

)

I j

i≤ ⇒ , ≤ ,

接下來，將利用臉部特徵具有的性質，從區塊串列C=

[

C1 C2 L CN

]

中

若有多組區塊配對符合上述條件，則取最接近y= y_EY的區塊配對作為左右眼的 特徵區塊；對於嘴唇特徵區塊而言，從C中選取區塊C_M，其中M∈

{

1,2,...,N

}

， 使得該區塊符合以下條件：

1. 寬度皆為臉寬的 1/5 以上

2. 長軸方向和左右眼中心點連線方向接近平行

若有多個區塊符合上述條件，則取最接近y=y_Mouth的區塊作為嘴唇的特徵區塊。

左右眼特徵區塊C_REY、C_LEY及嘴唇特徵區塊C_M選取出來之後，便可利用區 塊中統計的資訊找出所要擷取的臉部特徵點，若要擷取眼睛區塊的內外眼角特徵 點，則沿著眼睛特徵區塊C_REY、C_LEY的長軸方向往兩側尋找 Isolated 點作為眼角 特徵點，令為p_REYO、p_REYI、p_LEYL和p_LEYO；若要尋找嘴唇區塊的嘴角特徵點，

則從嘴唇特徵區塊C_M中尋找內部的 Intensity Branch Point，若將該點移除的話，

則特徵區塊塊會產生分裂的情況，取分裂之後的子區塊之左右端點作為左右嘴角 特徵點，令p_RM和p_LM。

3.1.2 待測影像的臉部特徵點擷取

當參考影像的臉部特徵點完成擷取之後，將利用其點位的相對關係作為待測 影像的臉部特徵點之預測點位，已知參考影像及待測影像臉部區域^Face1

( )

^x,y 及

( )

^{x y}

Face₂ , ，其中^Face1

( )

^x,y 的中心點、長短軸方向及長度為

(

x1, y1

)

、Mv₁ 及 mv1( Mv₁ > mv₁ )，Face₂

( )

x,y 為

(

x2, y2

)

、Mv₂

及mv₂( Mv₂ > mv₂ )，可以利用這些資 訊計算出從參考影像至待測影像的仿射轉換 A ，令為

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡ −

=

1 0

0

cos sin

sin cos

y x

t s

s

t s

s

A θ θ

θ θ

當計算出仿射轉換 A 之後可以得知在待測影像中臉部特徵點的預測位置，令為 p"REYO、p"_REYI、p"_LEYI、p"_LEYO、p"_RM及p"_LM，根據臉部特徵點的預測位置可 以找出最符合的左右眼及嘴唇特徵區塊，最後再利用上述方法找出臉部特徵點

p'REYO、p'_REYI、p'_LEYI、p'_LEYO、p'_RM及p'_LM。 3.2 左右耳朵特徵點及輪廓的擷取

已知左右眼的特徵點位置，沿著左右眼特徵點連線方向、由上往下尋找臉部 區域最寬的高度，令其左右端點為左右耳特徵點。

第 4 章 臉部特徵比對

本章將說明以 Calibrated 及 Uncalibrated 兩種情況對兩張人臉進行臉部特徵 的比對，兩者前提皆必須有參考影像及待測影像間的臉部特徵點對應，根據特徵 點對應求出參考影像及待測影像間的臉部平面之 HomographyH ，並根據兩張影₀ 像的邊緣資訊以李門伯格-馬庫特非線性最小化反覆演算法(Levenberg-Marquardt Method / L-M Method)對估測出來的初始 HomographyH 進行修正，得到最後的₀ Homography H 。

Calibrated 及 Uncalibrated 兩種情況皆根據臉部特徵點對應，對這些點位進行 重建，其差異在於前者必須先利用相機校正(Camera Calibratioin)對相機內部參數 (Intrinsic Parameter) K 進行估算，故可將點位重建在歐式空間(Euclidean Space) 中；而後者則僅將點位重建在透視投影空間(Projective Space)中，若有兩組已經 完成重建的臉部特徵點集，則對這兩組特徵點集進行對齊(Alignment)的動作，由 於 Calibrated 情況的兩組特徵點集皆在歐式空間中，因此可直接根據對應特徵點 在 3D 空間的平均誤差距離判定臉部特徵的相似度；Uncalibrated 情況的兩組特 徵點集皆在透視投影空間中，因此將兩者點位轉換至共同的影像平面上，並在此

利用 6 組臉部特徵點對應以最小平方誤差(Least-Square Error)求取這 8 個未知 數，也就是以最小平方誤差求解。然而，利用上面方式估測出來的初始 HomographyH 可能並不是相當準確，原因是臉部特徵點擷取的結果會有所偏₀ 差，因此必須利用李門伯格-馬庫特非線性最小化反覆演算法，將初始的

HomographyH 進行修正。首先對灰階模式的參考影像₀ I

( )

x,y 及待測影像I'

( )

x,y 之眼睛及嘴唇等特徵區塊進行邊緣偵測得到E ,

( )

x y 和E'

( )

x,y ，並從中挑選邊緣

強度大的素點作為要考慮的邊緣資訊E ,ˆ

( )

x y 和Eˆ'

( )

x,y ，最後根據Eˆ'

( )

x,y 計算待 (Partial Derivative)，即

( ) ( )

其中λ 為一個隨時間變動的穩定性參數(Time-Varying Stabilization Parameter)。最 後更新這個回合 t 的 Homography 值H_t =H_t−1+ΔH，若在這個回合的亮度誤差值 E 上升則提高λ 值，反之則降低 λ 值；而當亮度誤差值 E 的變動情況已經收斂，

則將最後的結果 H 設為H 並結束 Homography 的修正。 _t 4.2 Calibrated 情況的臉部特徵比對

在 Calibrated 情況下，首先會利用相機校正估測出相機的內部參數，之後再 根據M ≅K⁻¹HK估測第一組參考影像及待測影像間的臉部平面之旋轉矩陣 R 及

我們希望估測出兩張影像之間臉部平面的旋轉矩陣 R 及位移向量T'=T d，同時 估測出參考影像中臉部平面的法向量 nv，在此將說明如何利用牛頓─拉弗森非線 性疊代演算法(Newton-Raphson Method)來分解 M 。將上面的關係式改寫成

⎥⎦

則求解矩陣式J_9×7Δx=−F_9×1並計算x^k+1 =x^k+Δx作為下一回合k+1的估算值。

[ ]

相似轉換(Similarity Transformation)關係S，使得

( ) ( )

其中 ^{( )}

∑

^{( )}

第 5 章 實驗與結果

在本論文中，人臉辨識的流程主要可分為臉部偵測、臉部特徵擷取和臉部特 徵比對三個步驟，本章將對這三個步驟執行出來的結果及相關數據做分析。

5.1 臉部偵測結果

在臉部偵測部分中，主要有下面的幾個步驟：

1. 計算兩張影像之間的畫面差異D

( )

x,y ，以門檻值T_D對D

( )

x,y 進行二值化得 到D ,ˆ

( )

x y ，並計算D ,ˆ

( )

x y 的中間線x=x_D。

2. 計算兩張影像的邊緣資訊E₁

( )

x,y 和E₂

( )

x,y ，以邊緣強度在前面 10%所在的 值作為門檻值，進行二值化得到Eˆ

( )

x,y

1 和Eˆ

( )

x,y

2 。

3. 根據D ,ˆ

( )

x y 及其中間線x=x_D、Eˆ

( )

x,y

1 和Eˆ

( )

x,y

2 取出臉部樣本區塊及頭髮 樣本區塊，並統計兩張影像的臉部樣本區塊色彩資訊。

4. 計算兩張影像的臉部色彩相似度^S21

( )

^x,y 和^S22

( )

^x,y 。 5. 根據Eˆ

( )

x,y

1 和Eˆ

( )

x,y

2 統計臉部區域內的統計相似值的分佈，並以最小值作 為門檻值對^S21

( )

^x,y 和^S22

( )

^x,y 做二值化得到S21

( )

x,y

∧

和^S22

( )

^x,y

∧

，並以最 大區塊作為臉部區域。

表 5.1 臉部偵測結果(一)

參考影像F₁

( )

x,y

/LKCheng(IronFolder3)/02.jpg

待測影像F₂

( )

x,y

/LKCheng(IronFolder3)/01.jpg

畫面差異及邊緣資訊

( )

x y

D ,ˆ 、^Eˆ1

( )

^x,y

畫面差異及邊緣資訊

( )

x y

D ,ˆ 、^Eˆ2

( )

^x,y

臉部及頭髮樣本區塊 臉部及頭髮樣本區塊

臉部色彩相似度

( )

x y S2₁ ,

臉部色彩相似度

( )

x y S2₂ ,

臉部區域Face₁

( )

x,y 臉部區域Face₂

( )

x,y

表 5.2 臉部偵測結果(二)

參考影像F₁

( )

x,y

/LKCheng(IronFolder3)/02.jpg

待測影像F₂

( )

x,y

/LKCheng(IronFolder3)/03.jpg

畫面差異及邊緣資訊

( )

x y

D ,ˆ 、^Eˆ1

( )

^x,y

畫面差異及邊緣資訊

( )

x y

D ,ˆ 、^Eˆ2

( )

^x,y

臉部及頭髮樣本區塊 臉部及頭髮樣本區塊

臉部色彩相似度

( )

x y S2₁ ,

臉部色彩相似度

( )

x y S2₂ ,

臉部區域Face₁

( )

x,y 臉部區域Face₂

( )

x,y

/LWHsu/N01.jpg /LWHsu/N10.jpg /LWHsu/N11.jpg

/WeiYu/N01.jpg /WeiYu/N10.jpg /WeiYu/N11.jpg

/Kelly/N01.jpg /Kelly/N10.jpg /Kelly/N11.jpg

/Chen/N01.jpg /Chen/N10.jpg /Chen/N11.jpg

/ChenTe/N01.jpg /ChenTe/N10.jpg /ChenTe/N11.jpg 圖 5.1 臉部偵測結果組圖

5.2 臉部特徵擷取結果

在臉部特徵擷取部分中，主要有下面的幾個步驟：

在臉部特徵擷取部分中，主要有下面的幾個步驟：

在文檔中 利用二維與三維特徵之人臉辨識 (頁 13-0)