運用雙影像視覺與主要因素分析 (PCA) 於人臉辨識
田方正1 洪贊原, 蔡全益, 田方治2*
1中華大學應用數學系
2國立台北科技大學工業工程與管理研究所
摘 要
本研究之目的在運用雙影像系統 (Stereovision) 建立一有效三維之臉部辨識系。首先，以雙影像 系統取得之三維臉部資訊，再以主成份分析 (PCA, principal component analysis) 進行辨識的臉部辨 識系統。雙影像視覺 (Stereovision) 技術是運用兩影像視差 (disparity) 特性藉以恢復物體之三維資 訊，本研究之取 40 組臉部影像作實驗，每組影像取三種不同之表情。其中，以原始表情當訓練影像
，其餘兩種表情為測試影像。結果顯示，以三維臉部資訊辨識率可達 87.5%，故於小型之資料庫中 可成功地辨識。
關鍵詞：主要因素分析、雙影像視覺、視差、臉部辨識
1. 前言
隨著數位化時代的到來，生物認證技術
(Biometrics Technology)
得到迅速的發展。特別 是美國『911』恐怖事件發生以後，由於反恐、刑偵、信息安全、金融安全等多方面的需要，傳 統以密碼為特徵的生物認證技術開始難以滿足 行業高安全性的要求，因此生物認證技術受到格 外重視。生物認證 (Biometrics)，簡而言之即是 利用人體與生俱有、獨一無二之生理特徵 (如眼 球、臉型、指紋、掌型或聲音)，以確認身分。
近年來因技術日趨成熟與社會上之廣泛應用需 求，而得到顯著注意。相較諸多之生物認證技 術，人臉辨識技術具有非接觸性、安全性及被動 性等特性。综合以上觀點，人臉辨識技術確實有 其獨特優勢並普及大眾之潛力。
本研究主要之目的為運用現有簡易之雙影 像系統，建立三維臉部辨識資訊，之後，再將所 擷取出的資訊，經由主成份分析，將現有的資訊 做空間的轉換，以有效進行人臉辨識工作。
2. 文獻探討
人臉為具有三維資訊的物體，其往往因外在
光源位置及人臉姿勢的不同，呈現出不同之影像 灰階值變化。因此利用二維影像中灰階值的特徵 向量進行辨識，容易受外在光源位置及人臉姿勢 所影響，導致錯誤的辨認。因此如能有效擷取人 臉之深度資訊，則可利用此三維之人臉模型建構 於不同光源位置下之人臉二維影像，如此將有助 於提升辨識的準確；此外亦可以將深度的資訊作 為辨識的依據，以增加辨識的準確度。
運用二維影像重建三維模型，一直是影像處 理技術中相當熱門的之課題，並且也具有相當深 度之研究課題。而使用於人臉上之方法可分為三 大類，分別為 (1) 雷射掃瞄系統，(2) 使用光學 投影方式利用物體照度變化程度計算深度，及
(3)
利用兩張以上影像之雙影像視覺方式，其詳 細比較如表 1。因雙影像系統具有簡單、實用且 具彈性之優點，故往往使用於 3D 資訊之取得。2.1
雙影像視覺之原理“深度”的立體影像主要是由於利用人類 雙眼觀看同一物體角度不同所產生，所以物體前 後關係在兩眼「左右」方向上產生之差距，稱為 視差。由此原理，可以利用兩張或是更多不同方
* 聯絡作者：台北科技大學工業工程與管理系，台北市忠孝東路三段 1 號 Email: fctien@ntut.edu.tw
位相片或影像呈現出立體效果。本研究採用平行 式雙影像視覺模式，由圖 1 可知平行式雙影像視 覺中左右兩個照相機之光軸是相互平型，且均垂 直於基準線 (Baseline)，f 表示照相機成像面 (影 像平面) 至照相機透鏡 (Lens) 之距離，為該照 相機之焦距 (Focal Length)。Baseline 為兩個相 同照相機透鏡中心之間距離，以英文字母 b 表 示。若 (x, y, z) 為物件在三維空間中之一座標 點，其對應至左右影像平面之座標為分別是
) ,
(
X1 Y1 與(
X2,
Y2)
，由三角幾何原理可定義其間 關係為：z b x f X z
b x f
X
/ 2
2
/
21 = + ， = +
(1)
同理，
2
1
z y f Y f
Y = =
(2)
表 1. 取得人臉深度資訊方法比較圖 方法
特性 雷射掃瞄系統
(Laser Scan System)
SFS
(Shape From Shading)
雙影像視覺 (Stereo Vision)
人臉模型精密度 最高 尚可 尚可，依對應方法而定
實用性 價格昂貴，且所需程序較
繁複，實用性差 需於取像時移動光源或 同時用數組光源進行取 像，實用性較差
方法簡單實用性高
因此，物件在三維空間之座標點 (x, y, z) 可被表示如公式 (3)
( )
) (
2 / ) (
) (
2 / ) (
2 1 2
1 2 1 2
1 2 1
X X b f X z
X Y b Y X y
X X b X
x = −
−
= +
−
= + ， ，
(3)
其中，X1與X2間之距離
(
X1−X2)
稱之為視 差 (Disparity)。由式 (3) 得知當(
X1−X2)
越大時 z值會越小，成反比關係；f 值與 z 值是成正比關係。另外，b 值與視差是成正比例關係。因此，
距照相機越近的物體可被測量得更精確，但物體 深度 (Depth) 資訊可藉由調高 b 值而增加。
圖 1. 平行式雙影像系統
2.2
雙影像視覺於人臉辨識Cartoux (1989)
提 出 基 於 主 成 份 曲 率(Principal Curvature)
以取出人臉深度圖，並找出 人臉兩邊對稱的平面，並利用此平面以正規化(Normalize)
人臉姿勢 (Pose)。而由此對稱之平 面中進行對應人臉表面。在實驗人數以五人之情 況下，此方式之最佳辨識率為 100%。Lee 與Milios (1990)
提出，利用影像標記 (Sign) 之平 均 (Mean) 與高斯曲率 (Gaussian Curvatures) 以取出深度圖之凸面 (Convex Regions) 區域，並建立每個凸面 (Convex Regions) 區域之延伸 高斯影像 (Extended Gaussian Image, EGI)，以此 延伸高斯影像之相似性進行訓練影像與測試影 像之辨識。此方法可處理部份人臉表情 (Face
Expression)
之變化，但對人臉影像大小有變化 之情況下無法進行辨識。而 Gordon (1991) 亦提 出利用影像標記 (Sign) 之平均 (Mean) 與高斯 曲率 (Gaussian Curvatures) 以擷取人臉區域之 方法。利用鼻尖區域與擷取人臉區域之深度起伏 之等高線 (Ridge and Valley Lines) 作為標準姿 勢之辨識資料庫註冊基準。而利用訓練與測試影 像表面之體積差異 (Volume Difference) 以進行 辨識工作。此方法可處理人臉影像大小有變化之 情況，但對於無法處理人臉表情有變化之情況。Nagamine
等 (1992) 提出找出人臉之 5 個特徵 點，以正規化人臉姿勢，並以這些點的曲率變化 資料以進行辨識。測試實驗資料庫為 16 個人，每人取十張影像。而使用人臉中央區域影像側面 之曲率可得最佳辨識率。但此方法之缺點為需要 進行龐大之計算工作，因此 Nagamine 指出在考 慮計算量與硬體資源之情況下，利用全部之人臉 影像是不可行的。Achermann 等 (1997) 提出使 用特徵臉與隱藏馬可夫模型，以進行 2D 影像與 深度圖之辨識。而實驗結果顯示，在 24 位受測 者每人取 10 張影像之測試資料庫中，若使用適 應特徵臉辨識可達 100%之辨識率。Tanaka 等
(1998)
亦提出使用以曲率為基準之方法擷取人臉，並以延伸高斯影像
(EGI)
表示人臉。並使 用延伸高斯影像(EGI)
之球體相似度(Spherical Correlation)
進行辨識。Hesher 等 (2003) 使用 不同數量之特徵向量 (與影像大小，對人臉深度 圖進行主成份分析之方法。而實驗資料庫有 37 位受測者每人取 6 張不同之表情 (Expression)。而實驗結果顯示，增加訓練影像之數量，可在測 試影像變化增大之情況，提升人臉辨識率。
Medion
等 (2003) 提 出 ， 使 用 反 覆 接 近 點(Iterative Closest Point, ICP)
以對訓練與測試影 像之表面進行對應之 3D 人臉辨識方式。而使用 結構光源 (Structure Light) 之方式取得深度資 訊。而在 100 位受測者每人取 7 種表情之情況 下，正確辨識率可達 98%。Moreno 與其研究夥 伴 (2003) 提出以高斯曲率法擷取人臉區域影 像，並建立此區域之特徵向量 (Feature Vector)，並以 420 個人臉網格表示 60 位受測者。而其辨 識效果在人臉正面影像中其正確辨識率可達
78%
。Lee 與其研究夥伴 (2003) 提出以鼻尖(Nose Tip)
作為定位，以人臉深度值之輪廓(Contours)
所構成之特徵向量進行辨識。但並未 提出其完整測試正確辯識率。Chang 等 (1997) 提出一個有趣之結合 2D 與 3D 之人臉辨識法。使用同一個人之不同影像之深度圖結合照度變 化產生 2D 影像。並利用此人工產生之 2D 影像 配合實際之 2D 影像進行辨識，可達到較不受照 度影響之辨識效果。Beumier 與 Acheroy (2000) 提出之方法為使用權重總合 (Weighted Sum) 之 相似性衡量標準 (Similarity Measures) 以結合 人臉之 3D 與 2D 資訊。而實驗以 26 位受測者為 訓練影像，測試影像為 29 位受測者之影像。而 測試結果顯示，2D 與 3D 資訊同時錯誤 (Equal
Error Rate)
為可達 2%，只用 3D 資訊為 4%，而 單用 2D 資訊為 8%。Wang 等 (2002) 提出使用 蓋伯濾波 (Gabor Filter) 處理二維資訊，而用點 特徵 (Point signature) 之方式處理三維資訊之 方式，以進行人臉辨識。而將二維與三維資訊之 特徵使用向量之形式表示。而分類使用支援向量 機(Support Vector Machine)以進行辨識。而測試 影像資料庫使用 50 位受測者每人取 6 張影像，並且具有姿勢與表情之變化，而正確辨識率可達 超過 90%。Bronstein 等 (2003) 提出使用等長轉 換 (Isometric Transformation) 之方法，期望能對 於處理人臉表面之表情變化有較佳之結果。而辨 識方法是使用特徵分解 (Eigendecomposition) 之 方 式 處 理 包 含 二 維 資 訊 之 平 坦 化 材 質
(Flattened Texture)
影像，與包含深度資訊之標 準影像 (Canonical Image)。3. 研究方法
本研究藉由雙影像對應的技術，求取三維影 像空間的資訊，再使用 PCA 做影像空間的轉 換，以期能突破二維影像的瓶頸限制。故相關於 雙影像對應、PCA 轉換之技術分述如下。
3.1
雙影像的對應本研究中雙影像對應產生人臉深度圖之過 程可分為三步驟，分別為取像、雙影像對應、與 人臉定位與去除背景等，其流程如圖 2 所示，其 詳細內容如下。
【步驟一】取像
此步驟進行取像工作。首先設置左攝影機
(CCD
L)
與右攝影機 (CCDR)
，水平放置於左右 兩側。而受測者與攝影機之距離固定，並架設一 穩定光源使照度固定，且對每位接受取像者擷取 三種表情，表情一 (fa)
、表情二 (fb)
與表情三(f
c)
進行取像，取得三組左右對應之雙影像對(Stereo Image Pair) (L
aR
a ,L
bR
b, L
cR
c)
。其中左 攝影機取得之三種表情影像分別為(L
a,L
b,L
c)
， 右攝影機之影像則為(Ra,R
b,R
c)
。【步驟二】雙影像對應
將取得之人臉三種表情左右雙影像對(La，
R
a，Lb，Rb，Lc，Rc)，分別進行雙影像對應，
並將由雙影像對應技術所產生之三張人臉深度 圖，定義為表情一 (fa
)
之深度圖 (Da)、表情二 (f
b)
之深度圖 (Db)
與表情三 (fc)
之深度圖(D
c)
。因雙影像對應問題之複雜度高，故以 Tien 及 Tsai (2004) 所發展之遺傳演算式對應法所求 得。【步驟三】人臉定位與去除背景
此步驟將深度圖 (Da
, D
b,D
c)
以預先設定 人臉區域之方式，去除五官臉孔其餘之背景。最 後將表情一 (fa)
之之深度圖 (Da)
存入訓練影 像資料庫，而表情二 (fb)
與表情三 (fc)
之深度 圖 (Db,D
c)
存入測試影像資料庫。圖 2. 雙影像對應之研究流程
3.2 PCA
轉換於 PCA 轉換之階段中，首先將訓練影像資料 庫中，表情一 (fa
)
之深度圖 (Da)，進行 PCA 轉
換，以建立人臉影像之特徵空間 (Eigen Space)。而此特徵空間之座摽軸如以影像表示則與人臉 相似，此即是所謂之特徵臉 (Eigenface)。將測試 影像資料庫中表情二 (fb
)
與表情三 (fc)
之深度 圖 (Db,D
c)，投影至此特徵空間以進行辨識工
作。而此階段亦分為三步驟，其訓練及辨識之流 程如圖 3 所示。【步驟一】訓練階段，特徵空間計算
將訓練影像資料庫中表情一 (fa
)
之深度圖(D
a)
，擷取其像素灰階值，並使用向量 (Vector) 形式表示影像。並對以向量形式表示之深度圖(D
a)
進行 PCA，以建立特徵空間。最後並將訓練影像資料庫中所有影像 (深度圖)，投影至個 別建立之人臉特徵空間，並將產生之空間座標加 以儲存。
【步驟二】辨識階段，特徵空間投影
此步驟將測試影像資料庫中之影像，分別為 表情二 (fb
)
與表情三 (fc)
之深度圖 (Db,D
c)，
擷取其像素灰階值將其使用向量方式表示。將其 投影至於訓練階段建立之特徵空間，計算其投影 座標。
【步驟三】進行辨識之決策
最後將測試影像資料庫中表情二 (fb
)
與表 情三 (fc)
之深度圖 (Db,D
c)
之特徵空間座標，與訓練影像資料庫表情一 (fa
)
之深度圖 (Da)
進行比較，測量訓練資料庫影像與測試資料庫影 像於特徵空間之間距離差異，並選取較接近之影 像。∑
=ΦΦ= Ψ
− Γ
= Φ
M
n T i i i i
C M 1
1
∑
=Γ= Ψ
Γ Γ Γ
= Γ
M
n M
M i
M 1
2 1
1 ,.., ,
Ψ Γ
= Φ -
) ( ) ( ) ,
(x y x y R1 x y
d = − T − −
i new
i=minz −z
ε
i T i i=uΦ w
Φ
= Ti
i u
w
圖 3. 主成份分析之研究流程
4. 研究結果
本研究之雙影像系統以一對 Teli-8305 之
CCD
相 機 及 Piccolo-Pro 之 影 像 擷 取 卡 於Pentium-IV
之個人電腦下進行實驗，兩相機相隔5
公分之基準線距離 (b=5 cm)，而受測者與攝影 機之距離固定約為 70 公分，並於上方架設一穩 定光源，使每次取像時之照度固定，一共採用40
位研究主體 (Subject)，每位受取像者各取三 張不同之表情 (fa、fb、f )c 作測試如下：表情一 ( fa
)
：正常影像，無表情變化或具 輕微表情變化。表情二 ( f )：具正常表情變化，如微笑、b
張嘴等。
表情三 ( f )c ：變化幅度較大表情，如吐舌。
研究結果分為兩部份分別是 (一) 雙影像 對應結果與 (二) PCA 辨識結果，以下分別對兩 部份之結果進行說明。
4.1
雙影像對應結果本研究，首先讀取人臉左右雙影像對，利用 遺傳演算對應法進行對應處理進行對應。雙影像 對應程式介面如圖 4 所示。
圖 4. 雙影像對應程式執行結果 如圖 5 所示，受測者進行為表情三 ( f ) c 吐
舌動作，由對應產生之深度圖可明顯看出受測者 之臉型輪廓與臉孔之深度變化，深度圖中之方框 指出鼻子位置，而圓圈指出舌頭位置。而圖 6
與圖 7 顯示由不同視角觀察深度圖之結果。觀察 深度圖內紅色框可清楚看出受測者吐出之舌頭 大小，與鼻子之高、挺，等人臉三維 (深度) 資 訊。
圖 5. 原始影像與所對應之深度圖(表情三吐舌)
圖 6. 不同視角之人臉深度圖 (表情三：吐舌)
圖 7. 不同視角之人臉深度圖 (表情三：吐舌) 以上結果得知，本實驗所使用之雙影像對應
方式，已可有效表示人臉之高度變化，故此雙影 像對應方式產生之深度圖，擷取之人臉三維(深 度)資訊量，可供後續特徵臉處理，以進行人臉 辨識之需求。
4.2 PCA
辨識結果首先對表情二 ( f ) b 之辨識結果進行探 討，表情二之深度圖進行辨識之結果如圖 8。因 表情二之臉部表情變化不大，辨識難度較低。故 於圖中可發現於資料庫人數在 10 人以內時，其 辨識率還均為 100%，就算資料庫人數在 10 人以 上時，其辨識率都還有九成以上的水準。而表情 三 (f ) b 之辨識結果如圖 9。因表情三之臉部變 化較大，於圖中可見資料庫人數大於 10 以上
時，其辨識率均已降至九成以下，但尚有八成五 以上的辨識率。而綜合兩表情 ( fb+fc
)
之情 況，辨識結果可見圖 10。由圖 10 可知，將所有 表情綜合起來，於資料庫較小的情況下 (小於 40 人)，其辨識率至少都還有 87.5%。圖 8. 表情二 ( fb) 之辨識結果
圖 9. 表情三 ( fc) 之辨識結果
圖 10. 綜合兩表情之辨識結果
5. 結論
本研究以雙像系統擷取臉部之三維資訊，再 藉由 PCA 之分析辨認，可有效的利用三維之臉 部資訊進行身分之認證。經由實驗成果分析，以 雙影像對應方式產生之人臉深度圖，確實能有效 表示人臉之深淺立體分佈狀況。本次的研究以四 十對臉部影像作分析為例，經由深度圖能明顯分 辨人臉之臉型、輪廓及鼻梁高度與張嘴、吐舌等 人臉表情變化。而相較於利用網格之方式表示人 臉，人臉深度圖精細許多且包含較多之人臉資 訊；而相較於利用邊緣產生之深度圖，則本研究 之方式可表示較細膩之人臉深度變化；而相較於 利用投影不變性求出之相關仿射結構數方法，相 關仿射結構數利用一個數值代表一個人臉太過 於粗略，本研究之人臉深度圖明顯較佳，且不論 是細微或是極大的人臉的表情變化不論，均可達
87.5%以上的成效，可見雙影像系統可提供有效
之三維資訊於小型資料庫之人臉辨識。參考文獻
1. 黃雅軒，2001，淺談生物認證技術，電腦與通訊，96，
65-73.
2. Achermann, X. Jiang, and H. Bunke, 1997, Face recognition using range images, International Conference on Virtual Systems and Multimedia, 129-136.
3. Beumier and M. Acheroy, 2000, Automatic face verification from 3D and grey level cues, Eleventh Portuguese Conference on Pattern Recognition, 95-101.
4. B. Moreno, ´ Angel S´anchez, J. F. V´elez, and F. J.D´iaz, 2003,Face recognition using 3D surface-extracted descriptors, Irish Machine Vision and Image Processing Conference (IMVIP 2003).
5. Chang, K. Bowyer, and P. Flynn, 2003, Face recognition using 2D and 3D facial data, 2003 Multimodal User Authentication Workshop, 25-32.
6. C. Lee and E. Milios, 1990, Matching range images of human faces, International Conference on Computer Vision, 722.726.
7. Gordon, 1991, Face recognition based on depth maps and surface curvature, Geometric Methods in Computer Vision, 1-12.
8. Hesher, A. Srivastava, and G. Erlebacher, 2003, A novel technique for face recognition using range images, Seventh Int'l Symp. on Signal Processing and Its Applications.
9. M. Bronstein, M. M. Bronstein, and R. Kimmel, 2003, Expression-invariant 3d face recognition, Audio- and Video-Based Person Authentication (AVBPA 2003).
10. Medioni and R. Waupotitsch, 2003, Face recognition and modeling in 3D, IEEE International Workshop on Analysis and Modeling of Faces and Gestures (AMFG 2003), 232-233.
11. S. Chang, M. Rioux, and J. Domey, 1997, Face recognition with range images and intensity images.
Optical Engineering, 36 (4), 1106-1112.
12. S. Georghiades, P. N. Belhumeur, and D. J. Kriegman, 2001, From few to many: illumination cone models for face recognition under variable lighting and pose, IEEE Trans.
on Pattern Analysis and Machine Intelligence, 23, 643-660.
13. S.Y. Cho and T. W. S. Chow, 2001, Neural Computation Approach for Developing 3-D Shape Reconstruction Model, IEEE Tran. On Neural Networks, 12 (5).
14. T. Nagamine, T. Uemura, and I. Masuda, 1992, 3D facial image analysis for human identification, International Conference on Pattern Recognition, 324-327.
15. T. Tanaka, M. Ikeda, and H. Chiaki, 1998, Curvature- based face surface recognition using spherical correlation principal directions for curved object recognition, Third International Conference on Automated Face and Gesture Recognition, 372-377.
16. Y. Cartoux, J. T. LaPreste, and M. Richetin, 1989, Face authentication or recognition by profile extraction from range images, Proceedings of the Workshop on Interpretation of 3D Scenes, 194-199.
17. Y. Lee, K. Park, J. Shim, and T. Yi, 2003, 3D face recognition using statistical multiple features for the local depth information, 16th International Conference on Vision Interface.
18. Y. Wang, C. Chua, and Y. Ho, 2002, Facial feature detection and face recognition from 2d and 3d images, Pattern Recognition Letters, 23, 1191-1202.
19.
Tien, F.C., and Tsai, C.Y., Scanline-based stereo matching by genetic algorithms, International Journal of Production Research 42 (6), 1083-1106.Integrating Stereovision and Principle Component Analysis for Face Recognition
Fang-Chen Tien
1 Zan-Yuan Hong, Chuan-Yi Tsai, and Fang-Chih Tien2*1
Department of Applied Mathematics Chung Hua University
2
Department of Industrial Engineering and Management, National Taipei University of Technology
Abstract
This paper presents a 3D face recognition technique developed based on the stereovision system. The proposed method first extracts the information of 3D face by means of a stereovision system that restores the 3D information of an object by deriving the disparity of two images, and then uses the principal component analysis algorithm to learn and recognize faces. This research digitizes 120 images, including three face images for each 40 persons, and uses one normal image for training and the other two images for testing. Experimental results show that 87.5%
recognition rate is attained with the 3D face information.
Keywords: Face Recognition, Principle Component Analysis, Stereovision
* Correspondence: Department of Industrial Engineering and Management National Taipei University of Technology, 1, Sec. 3, Chung-Hsiao E. Rd., Taipei 106, Taiwan, R.O.C. Email: fctien@ntut.edu.tw
