實際資料的臉部特徵比對

S

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.99989 0.00690

-0.01262

-0.00691 0.99997

0.00025

0.01262 0.00034

-0.99992

R 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.00021 0.00167

-0.00126

-tv

從實驗可觀察到，若對同一個臉部模型重建出兩組臉部特徵點位，則兩組臉 部特徵點位在歐氏空間可以找到特定的轉換關係。因此，利用合成資料進行實驗 除了可以確信理論的正確性外，更可以將這套方式運用在實際的人臉影像之臉部 特徵比對中。

5.3.2 實際資料的臉部特徵比對

在實際資料的臉部特徵比對實驗部分，首先會對好幾組個別的參考影像及待 測影像進行臉部偵測及臉部特徵擷取的步驟，並從參考影像及待測影像間臉部平 面的特徵點p_REYO ↔ p'_REYO、p_REYI ↔ p'_REYI、p_LEYI ↔ p'_LEYI、p_LEYO ↔ p'_LEYO、

RM

RM p

p ↔ ' 和p_LM ↔ p'_LM之對應估算出初始的 HomographyH ，而後根據個別₀ 的邊緣資訊對其進行修正得到最後的 Homography H ，再利用如耳朵輪廓點等臉 部平面以外的特徵點進行重建，以其中一組臉部特徵點位作為參考，並和其他組 臉部特徵點位進行比對的動作，計算其平均誤差距離判定臉部特徵是否相符。

表 5.7 第一組測試資料(ChinTe-N10)

參考影像F₁

( )

x,y /ChinTe/N01.jpg

待測影像F₂

( )

x,y /ChinTe/N10.jpg

臉部區域Face₁

( )

x,y 臉部區域Face₂

( )

x,y

臉部平面特徵點 臉部平面特徵點

非臉部平面特徵點(耳朵輪廓線) 非臉部平面特徵點(耳朵輪廓線) 對初始 HomographyH 以 LM Method 修正得到 H 的結果 ₀

⎥⎥

表 5.8 第二組測試資料(ChinTe-N11)

參考影像F₁

( )

x,y /ChinTe/N01.jpg

待測影像F₂

( )

x,y /ChinTe/N11.jpg

臉部區域Face₁

( )

x,y 臉部區域Face₂

( )

x,y

臉部平面特徵點 臉部平面特徵點

非臉部平面特徵點(耳朵輪廓線) 非臉部平面特徵點(耳朵輪廓線)

臉部平面方位估測結果

[ ]

^T

nv= -0.077 0.497 1

°

= 49.060

α 、β = 16.976°、γ = 44.858°

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.626 0.722

0.291

-0.400 -0.620 0.674

0.668 0.305

-0.677

R 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.298 0.408 0.563 -' Tv

歐式空間中的相機參數重建結果

[ ]

^{I 0v}

K

M_r = 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.044 0.626

0.722 0.291

-0.060 0.400

-0.620 0.674

0.084 -0.668 0.305

-0.677 K

M_s

歐式空間中的特徵點位重建結果

表 5.9 第三組測試資料(LKCheng-N10)

參考影像F₁

( )

x,y /LKCheng/N01.jpg

待測影像F₂

( )

x,y /LKCheng/N10.jpg

臉部區域Face₁

( )

x,y 臉部區域Face₂

( )

x,y

臉部平面特徵點 臉部平面特徵點

非臉部平面特徵點(耳朵輪廓線) 非臉部平面特徵點(耳朵輪廓線)

臉部平面方位估測結果

[ ]

^T

nv = 0.093 -0.024 1

°

= -17.144

α 、β = -7.531°、γ = -17.174°

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.947 0.292

-0.131

0.318 0.901

0.292

-0.032 -0.319 0.947

R 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.061 0.314

-0.008 -' Tv

歐式空間中的相機參數重建結果

[ ]

^{I 0v}

K

M_r = 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.007 0.947

0.292 -0.131

0.038 -0.318 0.901

0.292

-0.001 -0.032 -0.319 0.947

K M_s

歐式空間中的特徵點位重建結果

表 5.10 第四組測試資料(LKCheng-N11)

參考影像F₁

( )

x,y /LKCheng/N01.jpg

待測影像F₂

( )

x,y /LKCheng/N11.jpg

臉部區域Face₁

( )

x,y 臉部區域Face₂

( )

x,y

臉部平面特徵點 臉部平面特徵點

非臉部平面特徵點(耳朵輪廓線) 非臉部平面特徵點(耳朵輪廓線)

臉部平面方位估測結果

[ ]

^T

nv= -0.003 -0.120 1

°

= -22.288

α 、β =1.047°、γ = 27.354°

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.925 0.379

-0.018

-0.344 0.818

0.459

0.159 -0.431 -0.888

R 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.083 0.345

-0.225 '

Tv

歐式空間中的相機參數重建結果

[ ]

^{I 0v}

K

M_r = 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.010 -0.925 0.379

-0.018

-0.043 0.344

0.818 0.459

0.028 -0.159 -0.431 -0.888 K

M_s

歐式空間中的特徵點位重建結果

表 5.11 第五組測試資料(YJKuo-N10)

參考影像F₁

( )

x,y /YJKuo/N01.jpg

待測影像F₂

( )

x,y /YJKuo/N10.jpg Calibrated 情況之相關數據

臉部平面方位估測結果

[ ]

^T

nv= -0.091 -0.071 1

°

= -12.025

α 、β = 16.099°、γ = -35.755°

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.939 0.200

-0.277

-0.010 0.827

0.561

-0.341 0.524

0.779

R 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.083 0.345

-0.225 '

Tv

歐式空間中的相機參數重建結果

[ ]

^{I 0v}

K

M_r = 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.007 0.939

0.200 -0.277

-0.000 0.010

0.827 0.561

-0.063 -0.341 0.524

0.779 K

M_s

歐式空間中的特徵點位重建結果

表 5.12 第六組測試資料(YJKuo-N11)

參考影像F₁

( )

x,y /YJKuo/N01.jpg

待測影像F₂

( )

x,y /YJKuo/N11.jpg Calibrated 情況之相關數據

臉部平面方位估測結果

[ ]

^T

nv= 0.033 0.143 1

°

= 4.524

α 、β = 18.549°、γ = 31.062°

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.945 0.074

0.318

-0.096 0.866

0.489

0.312 0.492

-0.812

R 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.016 0.076

-0.235 -' Tv

歐式空間中的相機參數重建結果

[ ]

^{I 0v}

K

M_r = 、

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

0.002 -0.945 0.074

0.318

-0.011 0.096

0.866 0.489

0.035 0.312

0.492 -0.812 K

M_s

歐式空間中的特徵點位重建結果

將這 6 組測試資料進行交叉比對，也就是對任意兩組測試資料計算其臉部特 徵點位(包括左右耳的輪廓點)在歐式空間中及投影到共同影像平面上的平均誤 差距離，以下兩個表格為兩種比對方式的結果：

表 5.13 在歐式空間中進行六組測試資料的交叉比對 點位平均

誤差(cm)

ChinTe N10

ChinTe N11

LKCheng N10

LKCheng N11

YJKuo N10

YJKuo N11 ChinTe

N10 ─ 0.306 1.781 0.940 0.551 0.977 ChinTe

N11 0.518 ─ 3.101 1.622 1.073 1.485 LKCheng

N10 0.867 0.700 ─ 0.429 0.922 0.766 LKCheng

N11 0.751 0.727 0.998 ─ 1.024 1.124 YJKuo

N10 0.876 0.861 1.533 1.287 ─ 0.500 YJKuo

N11 0.925 0.822 1.117 1.116 0.508 ─ 表 5.13 為歐式空間中進行六組測試資料的臉部特徵之交叉比對結果，為了 使得臉部模型的尺寸和實際人臉相近，本實驗將所有臉部模型外眼角連線的距離 固定設為 12cm，從表中可以觀察到以 ChinTe-N10 而言，該待測資訊(Sensed Data) 和其他五組參考資料(Reference Data)ChinTe-N11、LKCheng-N10、

LKCheng-N11、YJKuo-N10 和 YJKuo-N11 的臉部特徵點位之平均誤差距離各為 0.518cm、0.867cm、0.751cm、0.876cm 及 0.925cm，而其中待測資料 ChinTe-N10 和參考資料 ChinTe-N11 之間的誤差為最小(0.518cm)，因此將兩者的身份視為相 同。

觀察以上六組測試資料的交叉比對結果，可以知道最後的辨識結果是正確 的，但其中還是有鑑別度較差的部分，例如以 YJKuo-N10 作為待測資料的情況，

儘管最後的辨識結果是正確的，然而從表中可以發現參考資料 ChinTe-N10 和 YJKuo-N11 的臉部特徵點位的平均誤差相當接近(兩個誤差值各為 0.551cm 和 0.508cm)，兩者仍有相當程度的機會發生誤判，因此考慮更多其他的臉部特徵還 是有其必要性，而這或許也能將鑑別度提升，以減少誤判的機會。

表 5.14 在影像平面中進行六組測試資料的交叉比對 點位平

均誤差 (pixel)

ChinTe N10

ChinTe N11

LKCheng N10

LKCheng N11

YJKuo N10

YJKuo N11 ChinTe

N10 ─ 0.214 1.420 1.217 0.750 0.857 ChinTe

N11 0.192 ─ 1.482 1.343 1.180 0.949 LKCheng

N10 0.833 0.855 ─ 0.146 1.384 1.130 LKCheng

N11 0.871 0.885 0.364 ─ 1.646 1.351 YJKuo

N10 1.115 1.072 1.678 1.741 ─ 0.516 YJKuo

N11 1.065 0.991 1.325 1.367 0.371 ─ 表 5.14 為投影至影像平面上進行六組測試資料的臉部特徵之交叉比對結 果，觀察以上六組測試資料的交叉比對結果，可以知道最後的辨識結果如同表 5.13 也是相當正確的，由此可知利用本論文 4.2 節所提出的臉部特徵比對方法仍 是有其效果，而本實驗只是利用左右耳的輪廓線進行比對，若將其他例如眼睛、

嘴唇等臉部特徵也一倂考慮進去，其辨識的效果應會有更加顯著的提升。

第 6 章 結論與未來發展方向

在文檔中 利用二維與三維特徵之人臉辨識 (頁 37-51)