• 沒有找到結果。

待測影像的臉部特徵點擷取

3.1 眼睛及嘴唇臉部平面特徵點的擷取

3.1.2 待測影像的臉部特徵點擷取

當參考影像的臉部特徵點完成擷取之後,將利用其點位的相對關係作為待測 影像的臉部特徵點之預測點位,已知參考影像及待測影像臉部區域Face1

( )

x,y

( )

x y

Face2 , ,其中Face1

( )

x,y 的中心點、長短軸方向及長度為

(

x1, y1

)

Mv1mv1( Mv1 > mv1 ),Face2

( )

x,y

(

x2, y2

)

Mv2

mv2( Mv2 > mv2 ),可以利用這些資 訊計算出從參考影像至待測影像的仿射轉換 A ,令為

⎥⎥

⎢⎢

⎡ −

=

1 0

0

cos sin

sin cos

y x

t s

s

t s

s

A θ θ

θ θ

當計算出仿射轉換 A 之後可以得知在待測影像中臉部特徵點的預測位置,令為 p"REYOp"REYIp"LEYIp"LEYOp"RMp"LM,根據臉部特徵點的預測位置可 以找出最符合的左右眼及嘴唇特徵區塊,最後再利用上述方法找出臉部特徵點

p'REYOp'REYIp'LEYIp'LEYOp'RMp'LM3.2 左右耳朵特徵點及輪廓的擷取

已知左右眼的特徵點位置,沿著左右眼特徵點連線方向、由上往下尋找臉部 區域最寬的高度,令其左右端點為左右耳特徵點。

第 4 章 臉部特徵比對

本章將說明以 Calibrated 及 Uncalibrated 兩種情況對兩張人臉進行臉部特徵 的比對,兩者前提皆必須有參考影像及待測影像間的臉部特徵點對應,根據特徵 點對應求出參考影像及待測影像間的臉部平面之 HomographyH ,並根據兩張影0 像的邊緣資訊以李門伯格-馬庫特非線性最小化反覆演算法(Levenberg-Marquardt Method / L-M Method)對估測出來的初始 HomographyH 進行修正,得到最後的0 Homography H 。

Calibrated 及 Uncalibrated 兩種情況皆根據臉部特徵點對應,對這些點位進行 重建,其差異在於前者必須先利用相機校正(Camera Calibratioin)對相機內部參數 (Intrinsic Parameter) K 進行估算,故可將點位重建在歐式空間(Euclidean Space) 中;而後者則僅將點位重建在透視投影空間(Projective Space)中,若有兩組已經 完成重建的臉部特徵點集,則對這兩組特徵點集進行對齊(Alignment)的動作,由 於 Calibrated 情況的兩組特徵點集皆在歐式空間中,因此可直接根據對應特徵點 在 3D 空間的平均誤差距離判定臉部特徵的相似度;Uncalibrated 情況的兩組特 徵點集皆在透視投影空間中,因此將兩者點位轉換至共同的影像平面上,並在此

利用 6 組臉部特徵點對應以最小平方誤差(Least-Square Error)求取這 8 個未知 數,也就是以最小平方誤差求解。然而,利用上面方式估測出來的初始 HomographyH 可能並不是相當準確,原因是臉部特徵點擷取的結果會有所偏0 差,因此必須利用李門伯格-馬庫特非線性最小化反覆演算法,將初始的

HomographyH 進行修正。首先對灰階模式的參考影像0 I

( )

x,y 及待測影像I'

( )

x,y 之眼睛及嘴唇等特徵區塊進行邊緣偵測得到E ,

( )

x yE'

( )

x,y ,並從中挑選邊緣

強度大的素點作為要考慮的邊緣資訊E ,ˆ

( )

x yEˆ'

( )

x,y ,最後根據Eˆ'

( )

x,y 計算待 (Partial Derivative),即

( ) ( )

其中λ 為一個隨時間變動的穩定性參數(Time-Varying Stabilization Parameter)。最 後更新這個回合 t 的 Homography 值Ht =Ht−1H,若在這個回合的亮度誤差值 E 上升則提高λ 值,反之則降低 λ 值;而當亮度誤差值 E 的變動情況已經收斂,

則將最後的結果 H 設為H 並結束 Homography 的修正。 t 4.2 Calibrated 情況的臉部特徵比對

在 Calibrated 情況下,首先會利用相機校正估測出相機的內部參數,之後再 根據MK1HK估測第一組參考影像及待測影像間的臉部平面之旋轉矩陣 R 及

我們希望估測出兩張影像之間臉部平面的旋轉矩陣 R 及位移向量T'=T d,同時 估測出參考影像中臉部平面的法向量 nv,在此將說明如何利用牛頓─拉弗森非線 性疊代演算法(Newton-Raphson Method)來分解 M 。將上面的關係式改寫成

⎥⎦

則求解矩陣式J9×7Δx=−F9×1並計算xk+1 =xkx作為下一回合k+1的估算值。

[ ]

相似轉換(Similarity Transformation)關係S,使得

( ) ( )

其中 ( )

( )

第 5 章 實驗與結果

在本論文中,人臉辨識的流程主要可分為臉部偵測、臉部特徵擷取和臉部特 徵比對三個步驟,本章將對這三個步驟執行出來的結果及相關數據做分析。

5.1 臉部偵測結果

在臉部偵測部分中,主要有下面的幾個步驟:

1. 計算兩張影像之間的畫面差異D

( )

x,y ,以門檻值TDD

( )

x,y 進行二值化得 到D ,ˆ

( )

x y ,並計算D ,ˆ

( )

x y 的中間線x=xD

2. 計算兩張影像的邊緣資訊E1

( )

x,yE2

( )

x,y ,以邊緣強度在前面 10%所在的 值作為門檻值,進行二值化得到Eˆ

( )

x,y

1Eˆ

( )

x,y

2

3. 根據D ,ˆ

( )

x y 及其中間線x=xDEˆ

( )

x,y

1Eˆ

( )

x,y

2 取出臉部樣本區塊及頭髮 樣本區塊,並統計兩張影像的臉部樣本區塊色彩資訊。

4. 計算兩張影像的臉部色彩相似度S21

( )

x,yS22

( )

x,y 。 5. 根據Eˆ

( )

x,y

1Eˆ

( )

x,y

2 統計臉部區域內的統計相似值的分佈,並以最小值作 為門檻值對S21

( )

x,yS22

( )

x,y 做二值化得到S21

( )

x,y

S22

( )

x,y

,並以最 大區塊作為臉部區域。

表 5.1 臉部偵測結果(一)

參考影像F1

( )

x,y

/LKCheng(IronFolder3)/02.jpg

待測影像F2

( )

x,y

/LKCheng(IronFolder3)/01.jpg

畫面差異及邊緣資訊

( )

x y

D ,ˆ 、Eˆ1

( )

x,y

畫面差異及邊緣資訊

( )

x y

D ,ˆ 、Eˆ2

( )

x,y

臉部及頭髮樣本區塊 臉部及頭髮樣本區塊

臉部色彩相似度

( )

x y S21 ,

臉部色彩相似度

( )

x y S22 ,

臉部區域Face1

( )

x,y 臉部區域Face2

( )

x,y

表 5.2 臉部偵測結果(二)

參考影像F1

( )

x,y

/LKCheng(IronFolder3)/02.jpg

待測影像F2

( )

x,y

/LKCheng(IronFolder3)/03.jpg

畫面差異及邊緣資訊

( )

x y

D ,ˆ 、Eˆ1

( )

x,y

畫面差異及邊緣資訊

( )

x y

D ,ˆ 、Eˆ2

( )

x,y

臉部及頭髮樣本區塊 臉部及頭髮樣本區塊

臉部色彩相似度

( )

x y S21 ,

臉部色彩相似度

( )

x y S22 ,

臉部區域Face1

( )

x,y 臉部區域Face2

( )

x,y

/LWHsu/N01.jpg /LWHsu/N10.jpg /LWHsu/N11.jpg

/WeiYu/N01.jpg /WeiYu/N10.jpg /WeiYu/N11.jpg

/Kelly/N01.jpg /Kelly/N10.jpg /Kelly/N11.jpg

/Chen/N01.jpg /Chen/N10.jpg /Chen/N11.jpg

/ChenTe/N01.jpg /ChenTe/N10.jpg /ChenTe/N11.jpg 圖 5.1 臉部偵測結果組圖

5.2 臉部特徵擷取結果

在臉部特徵擷取部分中,主要有下面的幾個步驟:

1. 根據兩張影像的臉部區域Facei

( )

x,y 計算中心點

(

x ,i yi

)

及長短軸方向Mvi

mv ,並將參考影像的臉部區域i Face1

( )

x,y 轉正得到NFace1

( )

x,y

2. 計算臉部區域NFace1

( )

x,y 的內部破洞Hole1

( )

x,y 在每條掃瞄線的個數

( )

y

HCount1 ,並根據HCount1

( )

y 中的幾個尖峰值分佈找出臉部特徵可能出現 的高度。

3. 從臉部特徵可能出現的高度附近,根據亮度值及臉部特徵的對稱性質尋找臉 部特徵區塊,並從特徵區塊擷取臉部特徵點

/LKCheng/N01.jpg /LKCheng/N10.jpg /LKCheng/N11.jpg

/ChinTe/N01.jpg /ChinTe/N10.jpg /ChinTe/N11.jpg

/LWHsu/N01.jpg /LWHsu/N10.jpg /LWHsu/N11.jpg

/WeiYu/N01.jpg /WeiYu/N10.jpg /WeiYu/N11.jpg(???) 圖 5.2 臉部特徵擷取結果組圖

5.3 臉部特徵比對結果

本節將以合成資料(Synthetic Data)和實際資料(Real Data)兩個部分介紹臉部 特徵比對的實驗,前者將說明本論文提出的臉部特徵比對方式之正確性,後者則 對實際拍攝的人臉影像進行臉部特徵比對,並觀察臉部特徵比對的效果。

5.3.1 合成資料的臉部特徵比對

在合成資料的臉部特徵比對部分,首先在歐式座標空間中以數個特徵點定義 一個簡易的臉部模型,如圖 5.3 所示:

圖 5.3 臉部模型及特徵點示意圖 此臉部模型中的特徵點位會以多種旋轉及位移方式進行運動,並經過已經事先定 義的相機參數轉換至影像平面上,臉部模型的特徵點集合如表 5.3 所示:

表 5.3 臉部模型特徵點集合

名稱 點位座標 名稱 點位座標

H1

(

−60,−75,0

)

E2

(

70,-25,25

)

H2

(

60,−75,0

)

E3

(

70,25,25

)

H3

(

60,75,0

)

E4

(

60,25,25

)

H4

(

60,75,0

)

E5

(

60,-25,50

)

H5

(

−60,−75,75

)

E6

(

70,-25,50

)

H6

(

60,−75,75

)

E7

(

70,25,50

)

H7

(

60,75,75

)

E8

(

60,25,50

)

H8

(

60,75,75

)

F1

(

-70,-25,25

)

P1

(

-40,-25,0

)

F2

(

-60,-25,25

)

P2

(

-20,-25,0

)

F3

(

-60,25,25

)

P3

(

20,-25,0

)

F4

(

-70,25,25

)

H4 H3

H7 H8

E1 E2

E4 E3 E5 E6

E8 E7 F1 F2

F4 F3 F5 F6

F8 F7

P1 P2 P3 P4

P5 P6

H5

H1

H6

H2

P4

(

40,-25,0

)

F5

(

-70,-25,50

)

從組圖中任取兩組影像作為個別的參考及待測影像,實驗流程如下:

1. 根據個別的特徵點對應(事先對臉部特徵點對應加入μ =0、σ =2pixels 之 Gaussian Noise)估算出參考影像及待測影像間臉部平面之 Homography H 。 2. 在 Calibrated 情況下,根據事先定義的相機參數 K 及第一步估算出來的

Homography H ,即可求出之間的旋轉及位移關係,進而重建出各組在歐式 空間中的臉部模型之特徵點位,由於所有組圖皆屬於同一個臉部模型,因此

Homography 估算結果

⎥⎥

臉部平面方位估測結果

[ ]

T

nv= 0.007 0.006 1 514.406

= d

°

= 5.096

α 、β = 4.492°、γ = 9.949°

⎥⎥

⎢⎢

=

0.992 0.088

0.078

-0.074 -0.982 0.172

0.092 0.165

-0.981

R

⎥⎥

⎢⎢

=

3.846 38.088

47.474

-Tv

歐式空間中的相機參數重建結果

[ ]

I 0v

K

Mr = 、

⎥⎥

⎢⎢

=

0.001 0.992

0.088 0.078

-0.012 0.074

-0.982 0.172

0.015 -0.092 0.165

-0.981 K

Ms

歐式空間中的特徵點位重建結果

表 5.5 第二組測試資料之相機參數與點位重建

Homography 估算結果

⎥⎥

[ ]

I 0v

K

Mr = 、

⎥⎥

⎢⎢

=

0.001 0.993

0.087 -0.078

0.016 -0.100 0.979

0.173

-0.010 0.061

-0.180 0.981

K Ms

歐式空間中的特徵點位重建結果

當兩組臉部模型的特徵點位已經完成重建之後,即可將這兩組臉部模型的特 徵點位進行對齊的動作:

表 5.6 Calibrated 情況的臉部模型特徵點位對齊

第一組特徵點位 第二組特徵點位

(對齊至第一組)

誤差距離

H1 (-0.02023, -0.02570, 0.17012) (-0.02019, -0.02563, 0.17017) 0.00009 H2 (0.02030, -0.02552, 0.17001) (0.02032, -0.02556, 0.17005) 0.00006 H3 (0.02061, 0.02532, 0.16970) (0.02064, 0.02538, 0.16972) 0.00006 H4 (-0.02062, 0.02525, 0.16964) (-0.02062, 0.02519, 0.16965) 0.00006 H5 (-0.02063, -0.02544, 0.19662) (-0.02061, -0.02530, 0.19673) 0.00017 H6 (0.02106, -0.02561, 0.19722) (0.02121, -0.02550, 0.19752) 0.00035 H7 (0.02080, 0.02539, 0.19619) (0.02091, 0.02562, 0.19641) 0.00033 H8 (-0.02020, 0.02582, 0.19724) (-0.02016, 0.02596, 0.19745) 0.00025 P1 (-0.01340, -0.00825, 0.17058) (-0.01341, -0.00825, 0.17059) 0.00001 P2 (-0.00698, -0.00883, 0.16944) (-0.00698, -0.00881, 0.16943) 0.00001 P3 (0.00672, -0.00872, 0.16961) (0.00672, -0.00872, 0.16962) 0.00001 P4 (0.01339, -0.00879, 0.16944) (0.01339, -0.00879, 0.16944) 0.00000 P5 (-0.01370, 0.00838, 0.16981) (-0.01371, 0.00836, 0.16979) 0.00003 P6 (0.01363, 0.00819, 0.16957) (0.01365, 0.00821, 0.16958) 0.00003 E1 (0.02062, -0.00866, 0.17878) (0.02069, -0.00861, 0.17887) 0.00013

E2 (0.02368, -0.00839, 0.17875) (0.02369, -0.00840, 0.17877) 0.00002 E3 (0.02354, 0.00872, 0.17849) (0.02351, 0.00871, 0.17846) 0.00003 E4 (0.02034, 0.00805, 0.17810) (0.02040, 0.00813, 0.17816) 0.00011 E5 (0.02086, -0.00852, 0.18797) (0.02096, -0.00843, 0.18814) 0.00022 E6 (0.02370, -0.00810, 0.18788) (0.02370, -0.00809, 0.18791) 0.00002 E7 (0.02421, 0.00879, 0.18797) (0.02428, 0.00889, 0.18809) 0.00016 E8 (0.02095, 0.00888, 0.18820) (0.02102, 0.00899, 0.18834) 0.00018 F1 (-0.02399, -0.00805, 0.17932) (-0.02400, -0.00805, 0.17930) 0.00002 F2 (-0.02047, -0.00827, 0.17918) (-0.02047, -0.00824, 0.17919) 0.00003 F3 (-0.02045, 0.00862, 0.17905) (-0.02044, 0.00863, 0.17908) 0.00002 F4 (-0.02389, 0.00856, 0.17902) (-0.02387, 0.00856, 0.17905) 0.00003 F5 (-0.02391, -0.00894, 0.18733) (-0.02384, -0.00882, 0.18744) 0.00017 F6 (-0.02046, -0.00881, 0.18747) (-0.02041, -0.00870, 0.18757) 0.00016 F7 (-0.02057, 0.00865, 0.18773) (-0.02056, 0.00870, 0.18780) 0.00007 F8 (-0.02401, 0.00812, 0.18726) (-0.02396, 0.00820, 0.18738) 0.00015 誤差距離平均 0.00010 誤差距離標準差 0.00009 1.00072

= S

⎥⎥

⎢⎢

=

0.99989 0.00690

-0.01262

-0.00691 0.99997

0.00025

0.01262 0.00034

-0.99992

R

⎥⎥

⎢⎢

=

0.00021 0.00167

-0.00126

-tv

從實驗可觀察到,若對同一個臉部模型重建出兩組臉部特徵點位,則兩組臉 部特徵點位在歐氏空間可以找到特定的轉換關係。因此,利用合成資料進行實驗 除了可以確信理論的正確性外,更可以將這套方式運用在實際的人臉影像之臉部 特徵比對中。

5.3.2 實際資料的臉部特徵比對

在實際資料的臉部特徵比對實驗部分,首先會對好幾組個別的參考影像及待 測影像進行臉部偵測及臉部特徵擷取的步驟,並從參考影像及待測影像間臉部平 面的特徵點pREYOp'REYOpREYIp'REYIpLEYIp'LEYIpLEYOp'LEYO

RM

RM p

p ↔ ' 和pLMp'LM之對應估算出初始的 HomographyH ,而後根據個別0 的邊緣資訊對其進行修正得到最後的 Homography H ,再利用如耳朵輪廓點等臉 部平面以外的特徵點進行重建,以其中一組臉部特徵點位作為參考,並和其他組 臉部特徵點位進行比對的動作,計算其平均誤差距離判定臉部特徵是否相符。

表 5.7 第一組測試資料(ChinTe-N10)

參考影像F1

( )

x,y /ChinTe/N01.jpg

待測影像F2

( )

x,y /ChinTe/N10.jpg

臉部區域Face1

( )

x,y 臉部區域Face2

( )

x,y

臉部平面特徵點 臉部平面特徵點

非臉部平面特徵點(耳朵輪廓線) 非臉部平面特徵點(耳朵輪廓線) 對初始 HomographyH 以 LM Method 修正得到 H 的結果 0

⎥⎥

表 5.8 第二組測試資料(ChinTe-N11)

參考影像F1

( )

x,y /ChinTe/N01.jpg

待測影像F2

( )

x,y /ChinTe/N11.jpg

臉部區域Face1

( )

x,y 臉部區域Face2

( )

x,y

臉部平面特徵點 臉部平面特徵點

非臉部平面特徵點(耳朵輪廓線) 非臉部平面特徵點(耳朵輪廓線)

臉部平面方位估測結果

[ ]

T

nv= -0.077 0.497 1

°

= 49.060

α 、β = 16.976°、γ = 44.858°

⎥⎥

⎢⎢

=

0.626 0.722

0.291

-0.400 -0.620 0.674

0.668 0.305

-0.677

R

⎥⎥

⎢⎢

=

0.298 0.408 0.563 -' Tv

歐式空間中的相機參數重建結果

[ ]

I 0v

K

Mr = 、

⎥⎥

⎢⎢

=

0.044 0.626

0.722 0.291

-0.060 0.400

-0.620 0.674

0.084 -0.668 0.305

-0.677 K

Ms

歐式空間中的特徵點位重建結果

表 5.9 第三組測試資料(LKCheng-N10)

參考影像F1

( )

x,y /LKCheng/N01.jpg

待測影像F2

( )

x,y /LKCheng/N10.jpg

臉部區域Face1

( )

x,y 臉部區域Face2

( )

x,y

臉部平面特徵點 臉部平面特徵點

非臉部平面特徵點(耳朵輪廓線) 非臉部平面特徵點(耳朵輪廓線)

臉部平面方位估測結果

[ ]

T

nv = 0.093 -0.024 1

°

= -17.144

α 、β = -7.531°、γ = -17.174°

⎥⎥

⎢⎢

=

0.947 0.292

-0.131

0.318 0.901

0.292

-0.032 -0.319 0.947

R

⎥⎥

⎢⎢

=

0.061 0.314

-0.008 -' Tv

歐式空間中的相機參數重建結果

[ ]

I 0v

K

Mr = 、

⎥⎥

⎢⎢

=

0.007 0.947

0.292 -0.131

0.038 -0.318 0.901

0.292

-0.001 -0.032 -0.319 0.947

K Ms

歐式空間中的特徵點位重建結果

表 5.10 第四組測試資料(LKCheng-N11)

參考影像F1

( )

x,y /LKCheng/N01.jpg

待測影像F2

( )

x,y /LKCheng/N11.jpg

臉部區域Face1

( )

x,y 臉部區域Face2

( )

x,y

臉部平面特徵點 臉部平面特徵點

非臉部平面特徵點(耳朵輪廓線) 非臉部平面特徵點(耳朵輪廓線)

臉部平面方位估測結果

[ ]

T

nv= -0.003 -0.120 1

°

= -22.288

α 、β =1.047°、γ = 27.354°

⎥⎥

⎢⎢

=

0.925 0.379

-0.018

-0.344 0.818

0.459

0.159 -0.431 -0.888

R

⎥⎥

⎢⎢

=

0.083 0.345

-0.225 '

Tv

歐式空間中的相機參數重建結果

[ ]

I 0v

K

Mr = 、

⎥⎥

⎢⎢

=

0.010 -0.925 0.379

-0.018

-0.043 0.344

0.818 0.459

0.028 -0.159 -0.431 -0.888 K

Ms

歐式空間中的特徵點位重建結果

表 5.11 第五組測試資料(YJKuo-N10)

參考影像F1

( )

x,y /YJKuo/N01.jpg

待測影像F2

( )

x,y /YJKuo/N10.jpg Calibrated 情況之相關數據

臉部平面方位估測結果

[ ]

T

nv= -0.091 -0.071 1

°

= -12.025

α 、β = 16.099°、γ = -35.755°

⎥⎥

⎢⎢

=

0.939 0.200

-0.277

-0.010 0.827

0.561

-0.341 0.524

0.779

R

⎥⎥

⎢⎢

=

0.083 0.345

-0.225 '

Tv

歐式空間中的相機參數重建結果

[ ]

I 0v

K

Mr = 、

⎥⎥

⎢⎢

=

0.007 0.939

0.200 -0.277

-0.000 0.010

0.827 0.561

-0.063 -0.341 0.524

0.779 K

Ms

歐式空間中的特徵點位重建結果

表 5.12 第六組測試資料(YJKuo-N11)

參考影像F1

( )

x,y /YJKuo/N01.jpg

待測影像F2

( )

x,y /YJKuo/N11.jpg Calibrated 情況之相關數據

臉部平面方位估測結果

[ ]

T

nv= 0.033 0.143 1

°

= 4.524

α 、β = 18.549°、γ = 31.062°

⎥⎥

⎢⎢

=

0.945 0.074

0.318

-0.096 0.866

0.489

0.312 0.492

-0.812

R

⎥⎥

⎢⎢

=

0.016 0.076

-0.235 -' Tv

歐式空間中的相機參數重建結果

[ ]

I 0v

K

Mr = 、

⎥⎥

⎢⎢

=

0.002 -0.945 0.074

0.318

-0.011 0.096

0.866 0.489

0.035 0.312

0.492 -0.812 K

Ms

歐式空間中的特徵點位重建結果

將這 6 組測試資料進行交叉比對,也就是對任意兩組測試資料計算其臉部特 徵點位(包括左右耳的輪廓點)在歐式空間中及投影到共同影像平面上的平均誤 差距離,以下兩個表格為兩種比對方式的結果:

將這 6 組測試資料進行交叉比對,也就是對任意兩組測試資料計算其臉部特 徵點位(包括左右耳的輪廓點)在歐式空間中及投影到共同影像平面上的平均誤 差距離,以下兩個表格為兩種比對方式的結果:

相關文件