行政院國家科學委員會專題研究計畫 成果報告
人臉辨識演算法研究
研究成果報告(精簡版)
計 畫 類 別 ： 個別型 計 畫 編 號 ： NSC 95-2221-E-151-044- 執 行 期 間 ： 95 年 08 月 01 日至 96 年 09 月 30 日 執 行 單 位 ： 國立高雄應用科技大學電子工程系 計 畫 主 持 人 ： 潘正祥 共 同 主 持 人 ： 朱淑娟、謝欽旭、陳聰毅 計畫參與人員： 博士班研究生-兼任助理：李君寶 碩士班研究生-兼任助理：呂永茂、張志平、林錦瑞 報 告 附 件 ： 出席國際會議研究心得報告及發表論文 處 理 方 式 ： 本計畫可公開查詢中 華 民 國 97 年 03 月 03 日
行政院國家科學委員會專題研究計畫成果報告
人臉辨識演算法之研究
Study on the Face Recognition Algorithms
計畫編號：NSC 95-2221-E-151-044
執行期限：95 年 8 月 1 日至 96 年 7 月 31 日
主持人：潘正祥
國立高雄應用科技大學電子工程系
E-mail : [email protected]
一、 中文摘要 人臉辨識研究已經成為電腦視覺和模 式識別領域最活躍、最有吸引力的研究領 域。人臉辨識技術也廣泛地被利用到身份驗 證、人機介面等領域。隨著第四代計算與資 訊技術的到來，作為最自然、最友好的身份 驗證方法，人臉識別將成為新一代計算技術 的關鍵部分。 本計畫中，我們提出及研究三個人臉識 別演算法。1)線性映射子空間人臉識別方 法：我們應用三個具有代表性的人臉識別方 法（PCA, LDA 和 LPP），首先我們分析它們 在提取判別資訊上的貢獻，然後以其子空間 維數為軸，組建三維參數模型。我們可以通 過搜索充分利用三維參數空間，而不是像常 規的 PCA, LDA 和 LPP 方法只限於線上或者 局部區域內搜索參數。最後，基於三維參數 空間，我們為 PCA, LDA 和 LPP 建立統一的 系統框架。2) 非線性映射子空間人臉識別 方法：我們利用核機（kernel-machine）的 方法，提出新的核判別分析方法，亦即核優 化判別分析。3)Gabor 小波核分析人臉識別 方法：該方法的主要創新點主要在特徵提取 的第一階段，應用 Gabor 小波提取恰當的面 部特徵資訊，這些特徵有空間頻域，空間位 置與方向可選擇性的特點，而這些特徵有助 於處理光照和面部表情的變化，其可以提高 人臉辨識效能；在特徵提取的第二階段，採 用最近提出的功能強大的判別器（CKFD）， 其通過兩種判別資訊來增強判別能力；將 FPP 模型應用到 CKFD 中來增加演算法效能。 在本計畫中，我們即將應用標準的性能 評估方法和標準的資料庫來評價提出的方 法。這樣，我們可以評價演算法在解決人臉 識別中的姿態、光照和表情（PIE）問題。 關鍵詞：人臉辨識、線性映射子空間方法、 非線性映射子空間方法、核方法、Gabor 小波 AbstractFace recognition research has become one of the most active and exciting research areas in computer vision and pattern recognition, and face recognition techniques are more and more widely used in identity verification, human-computer interface and so on. With the coming of the fourth generation of computing and information techniques, as the most natural and friendly identity verification method, face recognition will also become a key component of the new generation of computing techniques.
In this Project, we propose and investigate three novel face recognition algorithms as follows.1) the linear mapping subspace face recognition method: we apply three representative methods of subspace-based face recognition approaches, i.e., PCA, LDA and
LPP. We analyze their contributions of extracting the discriminating information respectively firstly, and then we construct a 3D parameter space using three subspace dimensions as axes. We can take advantage of the three subspaces through searching over the whole 3D parameter space instead of searching only in lines or local regions as the standard subspace methods. Finally based on the 3D parameter space, we propose a unified framework for PCA, LPP and LDA. 2) the nonlinear mapping subspace face recognition method: we apply the kernel-machine method. We propose a novel kind of kernel discriminant analysis, namely Kernel Optimization-based Discriminant Analysis (KODA). 3) the Gabor-based kernel method face recognition method: The novelty comes from Gabor wavelets, is employed to extract desirable facial features characterized by spatial frequency, spatial locality and orientation selectivity to cope with the variations in illumination and facial expressions, which improves the recognition performance; a recently proposed powerful discriminator CKFD, which enhances its discriminatory ability using two kinds of discriminant information (i.e., regular and irregular information), is employed to further extract the features in the second feature extraction stage; the fractional power polynomial models, are employed to CKFD analysis to enhance the recognition performance.
In the project, we will also apply the standard performance evaluation method and standard databases to evaluate the proposed methods. Thus, we can evaluate the performance of proposed algorithms in solving the pose, illumination, and expression (PIE) problems of face recognition.
Keywords : Face Recognition 、 Linear
Mapping Subspace Methods 、 Nonlinear Mapping Subspace Methods 、 Kernel Methods、Gabor wavelets 二、 緣由與目的 人臉識別技術[1-19]具有廣泛的應 用前景，在現代社會中，對個人身份識別 的需求可以說無處不在，並與日俱增。其 中，自動人臉識別技術作為一種極為有效 的身份鑒別途徑，在國家安全、金融、執 行司法等社會各個領域都具有巨大的市 場需求。例如，金融領域包括銀行卡持有 人的身份驗證、電子商務的網上交易身份 認證等，在國家機關及社會安全領域包括 視頻監控、緝拿罪犯、司法認證、海關出 入安檢、國安反恐、各類證件持有人的身 份驗證、門禁系統等。此外，隨著整個計 算、資訊技術的快速發展，人臉識別技術 已不再局限於上述傳統的應用領域。包括 可 穿 戴 電 腦 、 智 慧 環 境 和 普 適 計 算 （Pervasive Computing）在內的“第四 代計算與資訊技術＂及相關的設備將會 遍佈人類生活中的每個角落：家庭，辦公 室，汽車，衣服，眼鏡等等。它們對經濟 和文化的影響將可能使前三代技術相形 見絀。新一代計算技術的一個關鍵特徵就 是具有身份識別的感知能力，只有獲得關 於動作和行為的發起者及其周圍人的身 份的上下文資料，這些動作、行為和意圖 才能被正確理解，包括他們的話語、手勢 及無意識的身體語言。作為最自然的、最 友好的身份識別方式，自動人臉識別已成 為下一代計算技術的重要組成部分。 雖然人類能毫不費力地識別出人臉 及其表情，但機器自動人臉識別卻是一個 極具難度的課題。國外的人臉識別研究早 在 19 世紀後期就已開始。但總的來說，
20 世紀 90 年代之前的人臉識別方法都需 要人的大量干預。真正的機器自動識別始 於 Kohonen、Kirby、Pentland 等[4][5][6] 在 90 年代左右所做的工作，他們提出並 實現了基於特徵人臉方法的實驗系統。自 此，人臉識別研究重新引起了人們前所未 有的重視。 人臉識別可描述為模式識別中的“n 類＂(n-classes)問題，即在已知有 n 類 （n 個人）及每類的一個或若干個樣本的 情況下，如何對被識別樣本（待測人臉圖 像）進行歸類。近年出現了很多人臉辨識 演算法，其中，最成功之方法為根植於面 部之方法（appearance-based method） [1]，特徵子空間方法（Subspace-based method），尤其是主成分分析（Principal Component Analysis）方法[2]和線性辨 別分析（Linear Discriminant Analysis） 方法[3]為著名的方法。在這些方法中， 原 始 資 料 空 間 與 特 徵 空 間 的 映 射 （ mapping ） 為 線 性 映 射 （ linear mapping）。同時，研究人員利用非線性 映射（nonlinear mapping）將原始資料 空間映射至特徵空間，並採取核分析方法 （Kernel-based method）來解決非線性 映射（nonlinear mapping）問題。作為 模式分析研究領域的里程碑的技術-核分 析方法成為模式識別研究熱點，並且被廣 泛應用於各個領域，尤其是人臉辨識領 域。研究表明，核分析方法有效地解決模 式分析中的非線性分析，並取得巨大成 功。研究人員也把核分析應用於人臉辨識 中，並取得了良好的效果，提高辨識正確 率，並且可以有效解決光照、姿態、以及 表情問題。本計畫針對模式分析中的也核 方法進行深入研究，並將其應用於人臉辨 識中。 三、 結果與討論 本計畫主要發展下列三種技術: 1. 根植於非線性映射子空間演算法 在理論上，可以克服現有核判別分析演算 法中所存在的缺陷，從理論上可以提高核 判別演算法本身的性能，將優化的核分析 演算法應用於人臉辨識中，提高人臉辨識 系統的性能，同時解決人臉辨識中所面臨 的光照、姿態和表情等問題。 2. 根植於 Gabor 小波核分析之人臉辨識 演算法研究 Gabor 小波被廣泛應用於人臉辨識中，可 以有選擇地提取空域位置和方向特徵，而 這些特徵有助於處理人臉圖像中的光照 和臉部表情問題。因此，此方法的使用有 利於解決人臉辨識中的光照、表情問題， 從而提高人臉辨識的性能。本計畫採用的 完 整 核 Fisher 判 別 分 析 （ Complete Kernel Fisher Discriminant Analysis） 採用了兩種判別資訊，其增強了演算法的 性能。因此本演算法有利於提高人臉辨識 系 統 性 能 。 FPP(fractional power polynomial) 模 型 被 證 明 了 有 助 於 提 高 kernel-machine 的性能，在本計畫使用 FPP 模型，將其應用於 CKFD 中，有助於提 高 CKFD 的性能，並將其應用於人臉辨識 中，因而提高人臉辨識系統的性能。 3. 根植於線性映射子空間演算法研究 根植於特徵子空間之人臉識別方法 採用 PCA 、LDA 和 LPP 是三個具有代表性 的子空間人臉識別方法。本計畫中，我們 首先分析每個子空間人臉識別方法在提 取判別資訊上的貢獻，然後建立一個以子 空間維數作為坐標軸的三位參數空間。使 用這種方法進行識別，我們可以在三維空 間內進行選擇參數，而標準的子空間方法 （PCA 、LDA 和 LPP）只在局部的線或者 面內進行搜索參數。我們提出利用三維參
數子空間（3D parameter subspace）模 型之人臉辨識演算法得到很好之結果。 四、 計畫成果自評 本計畫使得老師及學生在人臉辨識上瞭 解各樣各式以核為基礎之辨識方法，對人 臉辨識之困難點能徹底體會。因本計畫經 費的支持，使得計畫執行能發表人臉辨識 相關期刊論文 9 篇，會議論文 8 篇，並已 申請 7 項專利，正在審查中。 參考文獻
[1]Qingshan Liu, Hanqing Lu, and Songde Ma, “Improving kernel Fisher discriminant analysis for face recognition,＂ IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 14, no. 1, pp. 42-49, Jan. 2004.
[2]P.N. Belhumeur, J.P. Hespanha, and D.J. Kriegman, “Eigenfaces vs. Fisherfaces: Recognition Using
Class Specific Linear
Projection,＂ IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 711-720, July 1997.
[3]A.U. Batur and M.H. Hayes, “Linear Subspace for Illumination Robust Face Recognition,＂ Proc. IEEE Int＇l Conf. Computer Vision and Pattern Recognition, Dec. 2001. [4]T. Kohonen, "Self-Organization and
Associative
Memory",Springer-Verlag, Berlin, 1989
[5]M. Kirby, L. Sirovich. Application of the Karhunen-Loeve Procedure for the Characterization of Human Faces. IEEE Transactions on Pattern Analysis and Machine Intelligence,Jan.1990,pp.103-10.
[6]Matthew Turk and Alex Pentland. Eigenfaces for recognition. Journal of Cognitive Neuroscience, vol. 3, no. 1, pp.71–86,1991. [7]4 Huilin Xiong, M.N.S. Swamy, and
M. Omair Ahmad, “Optimizing the Kernel in the Empirical Feature Space,＂ IEEE Trans. Neural Networks, vol. 16, no. 2, pp. 460-474, March 2005.
[8]Xiaogang Wang, and Xiaoou Tang, “A Unified Framework for Subspace Face Recognition,＂ IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 26, no. 9, pp. 1222-1228, Sep. 2004.
[9]G. Baudat and F. Anouar, “Generalized Discriminant Analysis Using a Kernel Approach,＂ Neural Computation, vol. 12, no. 10, pp. 2385–2404, 2000.
[10] S. Mika, G. Ratsch, and J. Weston, “Fisher discriminant analysis with kernels,＂ in Proc. Neural Networks for Signal Processing Workshop, Madison, WI, pp. 41–48, Aug. 1999.
[11] Jian Yang, Alejandro F. Frangi, Jing-yu Yang, David Zhang, and Zhong Jin, “KPCA Plus LDA: A
Complete Kernel Fisher
Discriminant Framework for Feature Extraction and Recognition,＂ IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 27, no. 2, Feb.2005.
[12] Chengjun Liu, “Gabor-Based Kernel PCA with Fractional Power Polynomial Models for Face Recognition,＂ IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 26, no. 5, pp. 572–581.MAY 2004.
[13] P Jonathon Phillips, Harry Wechsler, Jeffery Huang, and Patrick J Rauss. The FERET database and evaluation procedure for face recognition algorithms. Image and Vision Computing, vol. 16, no. 5, pp. 295– 306, 1998.
[14] P Jonathon Phillips, Hyeonjoon Moon, Syed A Rizvi, and Patrick J Rauss. The FERET evaluation methodology for face recognition algorithms. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 10, pp. 1090–1104, 2000. [15] K. Messer, J. Matas, J.
Kittler, J.Luettin, and G. Maitre. XM2VTSDB: The Extended M2VTS Database. In Proceedings of International Conference on Audio- and Video-based Biometric Person Authentication. pp. 72-77, 1999. [16] P.N. Belhumeur, J.P. Hespanha,
and D.J. Kriegman, “Eigenfaces vs. Fisherfaces: Recognition Using
Class Specific Linear
Projection,＂ IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 711-720, July 1997.
[17] F. Samaria and A. Harter, “Parameterisation of a stochastic
model for human face
identification,＂ Proceedings of 2nd IEEE Workshop on Applications of Computer Vision, 1994.
[18] P.N. Belhumeur, J.P. Hespanha, and D.J. Kriegman, “Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection,＂ IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 711-720, July 1997.
[19] Xiaofei He, Shuicheng Yan, Yuxiao Hu, Partha Niyogi, and
Hong-Jiang Zhang, “Face
Recognition Using
Laplacianfaces＂ IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 27, no. 3, pp. 328-340, March 2005.
