行政院國家科學委員會專題研究計畫 期中進度報告
真實人臉與虛假人臉之辨識(1/2)
計畫類別： 個別型計畫
計畫編號： NSC91-2219-E-011-005-
執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立臺灣科技大學電子工程系
計畫主持人： 胡能忠
報告類型： 精簡報告
處理方式： 本計畫可公開查詢
中 華 民 國 92 年 5 月 28 日
一、計畫中文摘要
關鍵詞：真假人臉辨識
在一般人臉辨識中，其首要條件是假設所要處理的人臉資料庫均為「真 人的臉」。例如在人臉偵測中利用人臉之五官等，做為人臉偵測的條件。然而 若在所欲處理圖檔中若含有非真實的人臉如：電腦動畫的虛擬人偶之臉、大 型玩偶的臉，或繪圖之人臉，則這些非真人的「人臉」亦會被偵測而歸類為 人臉。而這些假的人臉，有很多很容易的會被人眼一眼就分別出。故本計劃 之目的之一為判別所出現的臉是否屬於真人的臉，而非虛擬，亦其首先要找 出真人臉與虛擬人臉特徵差異，若能找出並模擬真、虛擬人臉的特徵，則本 計劃的目的二就是將此特徵差異加在非真實人臉，例如動畫人物的臉上，可 得更接近人臉的效果。而更進一步的挑戰是若一個真人與一般人身高一樣的 相片人一起照像，是否可透過電腦判定真假人。這有點類似若某甲戴著某乙 的臉所製成之面罩，則在監視器上擷取人臉後，是否可分辨為假人，而不致 於誤判為某乙。
二、計畫英文摘要
Usually in human face detection/recognition, we always assume the face to be detected/recognized is a real human face. For example, in human face detection using human’s five organs, if an image contains some not real human faces, such as dolls, portrait painting, computer animation, such faces will be detected. However they can be easily identified as artificial human faces. The purpose of this proposal is to find the feature differences of a real human face and an artificial human face.
Keywords：real human face/artificial human face recognition
三、研究計畫內容 (一) 前言
人工所製作的臉，不外乎電腦動畫，大的人形玩偶或人物繪像，其中又 以電腦動畫所畫的人臉，較逼真，故本計劃以動畫的人臉做一個探討。人臉 動繪與真人人臉在膚色調之變異性，縐紋，紋路，以及皮膚表面之油膩和膚 色有著較想注的差異。因此，我們就此差異點取出真假人臉的皮膚材質來作 為區分出真假人臉。
(二) 研究目的
人臉之辨識已被廣泛討論且亦非常有潛力的可被應用在例如做安全門禁 上。本計劃之目的有二，其一是人們利用現有之經驗與知識很容易將真、假 人臉分辨而出，然而卻不太容易說出這些知識與經驗是什麼，故我們嚐試要 分析與量化這些經驗，而利用電腦來執行這些經驗，先做真、假人臉之判定，
而這個真、假人臉的先篩選步驟可視為人臉識別的前量處理。第二個目的是：
若有辦法找出真、假人臉之差異，了解此差異而將之應用在電腦動畫，更可 提升動畫人物之逼真性，以了解動畫之過程為何會有讓人不逼真的原因。
(三) 文獻探討
近幾年來人臉偵測已經被廣泛的討論,且利用臉部的特徵及皮膚的顏色 來偵測人臉[1,2]。除了人臉偵測外，有關於人臉辨識、性別辨識和行人的偵 測也都被相繼的提出[3,4,5,6]。其中人臉的特徵粹取可分為 Gabor Wavelets[4]
和 Haar Wavelets[6]. 而在分類技術上則分為 support vector machine (SVM) [3,5,6] 和 enhanced fisher linear discriminant model (EFM)。在此次提出的真假 人臉的辨識計劃中，我們亦利用 Gabor Wavelets 來取出真假人臉的臉部材質 及五官特徵形成特徵向量。由於 SVM 對於影像分類是一種學習的演算法，
而且 SVM 可以找出最佳的 linear hyperplane 使得期待的分類錯誤最小，因 此我們使用 SVM 作為真人和假人的鑑別器。
(四) 研究方法
Gabor Wavelets 可以依據 spatial frequency(scale), spatial localization, and orientation 的不同來抓取影像的結構。就如同這樣的結果，Gabor Wavelets 的表示法對於人臉的明亮度及臉上表情的變化具有較好的適應性。 而 Gabor Wavelets (Kernels, filter) 可以被定義如下[4]:
(1) 其中 u 和 v 分別定義 Gabor Kernel 的方向及大小。 || || 表示 norm 的
運算。 可以定義成下式:
(2) 其中 和 。 因此將 128*128 的 RGB 臉部 影像經過 Gabor Wavelets 取出臉部特徵及皮膚材質形成特徵向量，在利用 SVM 可以找出最佳的 linear hyperplane 作為真假人臉的鑑別器。 這個線性 鑑別器可以定義如下:
(3) 其中 k(.,.) 是線性的核心函數。則整個程序如下圖一。
(三)結果與討論
在這次的實驗中，我們使用 30 張 128*128 的 RGB 人臉影像作為測試。
其中有 14 張真人影像和 16 張假人影像。此 30 張影像如圖二。選其中 6 張真 人臉影像及 6 章假人臉影像當作 training data， 其餘的影像作為測試用資料。
其結果如表一。
在真人臉部分都可以正確地判別出來為真人臉那一類，但是在假人臉部 分有 3 張假人臉影像被誤判成真人臉影像。其原因在於假人臉的影像變化較 為多樣化，因此在特徵向量空間上的分離度較大，較容易發生辨識上的錯誤。
而且目前所採用的 SVM 是 linear SVM。若改採以 Radial Basis Function (RBF) 為核心的 nonlinear SVM， 則會較有改善的空間，使得假人臉影像的特徵向 量轉換到較聚集的特徵空間上，可以畫得較佳的辨識結果。
表一、 辨識率
真人臉辨識率 100%
假人臉辨識率 81.25%
真假人臉辨識率 90%
Gabor Wavelets
Feature Vector Feature Vector Feature Vector Feature Vector
SVM F
F T T
圖一、 真假人臉鑑別器
四、參考文獻
[1]. Ming-Hsuan Yang, David J. Kriegman, Narendra Ahuja, Detecting Faces in Images, IEEE transactions on PAMI, Vol. 24, No. 1, January 2002, pp. 34-58.
[2]. Hongxun Yao, Wen Gao, Face Detection and location based on skin chrominance and lip chrominance transformation from color images, Pattern Recognition, Vol. 34, 2001, pp. 1555-1564.
[3]. Srinivas Gutta, Jeffrey R. J. Huang, P. Jonathon and Harry Wechsler, Mixture of Experts for Classification of Gender, Ethnic Origin, and Pose of Human Faces, IEEE transactions on neural network, Vol. 11, No. 4, July 2000, pp. 948-960.
[4]. Chengjun Liu, Harry Wechsler, Garbor Feature Based Classification Using the Enhanced Fisher Linear Discriminate Model for Face Recognition, IEEE transactions on image processing, Vol. 11, No. 4, April 2002. pp. 467-476.
[5]. Baback Moghaddam, Ming-Hsuan Yang, Learning Gender wit support vector, IEEE transactions on PAMI, Vol. 24, No. 5, May 2002, pp. 707-711.
[6]. M. Oren, C. Papageorgiou, P. Sinha, E. Osuna, and T. Poggio, Pedestrian Detection Using Wavelet Templates, Proc. IEEE Conf. Computer Vision and Pattern Recognition, 1997, pp. 193-199.
圖二、 真假人臉資料影像
五、計劃成果自評
依據先前用 ASAP 光學軟體做一個人臉光學模擬測試結果，我們著重 真人部分的皮膚有油質，且分佈不均勻，此外尚有如顴骨等之臉凹凸不平 受到光線照射所產生之反射、散射之模式為何。利用這種模式來表示真人 臉。另外若不考慮這些臉之油質，凹凸不平因素而只考慮部份散射因素所 製成光學反射、散射模式，利用這二種光學模式之差異來做為真、假人臉 差異特徵。
因此，延續先前的模擬結果。我們取出皮膚的材質及五官特徵來作為 辨識之用。目前所遇到的是在假人臉的部分判斷錯誤。最終目標依然有較 佳的辨識率且將人們很直接可以分辨真假人臉之能力，不用抽象之文字表 達，而用數量之方法具體表達。而且對於油畫之類的人臉依然可以辨識為 假人人臉。若將這些量化的差異用到動畫上可更加生動的表達逼真的人 臉。同時可應用例如在 ATM 上，若提款人臉戴臉人相片，而被偵測為假臉 則可拒絕被提領錢。
