【11】證書號數：I427545
【45】公告日： 中華民國 103 (2014) 年 02 月 21 日 【51】Int. Cl.： G06K9/80 (2006.01)
發明 全 7 頁 【54】名 稱：以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方法
FACE RECOGNITION METHOD BASED ON SIFT FEATURES AND HEAD POSE ESTIMATION
【21】申請案號：098138760 【22】申請日： 中華民國 98 (2009) 年 11 月 16 日 【11】公開編號：201118763 【43】公開日期： 中華民國 100 (2011) 年 06 月 01 日 【72】發 明 人： 林維暘 (TW) LIN, WEI YANG；黃嘉吉 (TW) HUANG, JIA JI
【71】申 請 人： 國立成功大學 NATIONAL CHENG KUNG
UNIVERSITY 臺南市東區大學路 1 號 【74】代 理 人： 桂齊恆；閻啟泰 【56】參考文獻： TW 200910223A TW 200943225A1 航測及遙測學刊,第十四卷,第二期,第 141-155 頁,民國 98 年 6 月,基於尺度不辨特 徵點轉換之精密多元影像套合 審查人員：李惟任 [57]申請專利範圍 1. 一種以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方法，包含：於一資料運算 裝置中預存一原型影像集，該原型影像集中具有複數張基礎影像；將一段視訊影片傳送 至該資料運算裝置中；於該視訊影片中擷取出具有人臉的複數張待測影像；自該複數張 待測影像中去除非正面人臉影像，保留待測正面人臉影像；對原型影像集中之各基礎影 像，以尺度不變特徵轉換法擷取出其特徵點並加以儲存；對各待測正面人臉影像，以尺 度不變特徵轉換法擷取出其特徵點並加以儲存；利用所擷取出之特徵點，將各待測正面 人臉影像與該原型影像集中之基礎影像逐一比對，進行辨識，以判斷是否有匹配之對 象，其中，在比對各待測正面人臉影像與原型影像集中之各基礎影像兩者特徵點時，係 進一步包含：計算該視訊影片之各待測正面人臉影像與各基礎 影像的相似度 ξ，其計算 公式為 ，其中 代表第 i 張待測影像與基礎影像 γ 兩者 之間匹配的特徵點對數量， 為待測正面人臉影像，該待測正面人臉影像共有 nprobe 張；γ 代表原型影像集中的一基礎影像。 2. 如申請專利範圍第 1 項所述以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方 法，係進一步包含一正 規化步驟，該正規化步驟係依據公式 進 行， 其中，ξ'(Ψ,γ )為正規化後的相似度，γk 代表第 k 張的基礎影像，ng 代表基礎影像的 總數。
3. 如申請專利範圍第 2 項所述以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方 法，前述待測影像與基礎影像兩者之間匹配的特徵點對數量係根據公式 計算兩特徵點 p 和 q 的特徵向量，其中 p 為待測正面人臉 影像中的一個特徵點 p，以該公式在基礎影像的所有特徵點中找到一相似度最高的特徵 點 q*以及一相似度第二高的特徵點 q**；若 σ(p,q*)/σ(p,q**)之值小於一預設門檻值 θ， 將 p 和 q*視為一組相對應的特徵點；將待測影像及基礎影像劃分為複數個區塊，判斷該 相對應的兩特徵點是否屬於同一區塊，若非屬同一區塊則加以排除。 4. 如申請專利範圍第 1 項所述以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方 法，在去除非正面人臉影像而保留待測正面人臉影像之步驟中，係利用人臉五官中的雙 眼、以及嘴唇的位置所形成的三角形進行角度估測。 5. 如申請專利範圍第 3 項所述以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方 法，在去除非正面人臉影像而保留待測正面人臉影像之步驟中，係利用人臉五官中的雙 眼、以及嘴唇的位置所形成的三角形進行角度估測。 6. 如申請專利範圍第 4 項所述以尺度不變特徵轉換和 人臉角度估測為基礎的人臉辨識方 法，該角度估測流程包含：眼睛定位，係定位出人臉中瞳孔之所在位置，以瞳孔為基準 向左上及右上延伸定義兩基準點 P1 、P2 ；嘴部定位，係定位出人臉中嘴巴之所在位置 為另一基準點 P3 ；以基準點 P1 、P2 及 P3 定義出一三角形，以基準點 P3 為準找到一條 垂直於 的線段 ，以線段 劃分該三角 形而得到一左三角形以及一右三角 形；根據該左三角形及右三角形估算偏航角、俯仰角及滾轉角而判斷是否為正面人臉影 像，其中：人臉之偏航角角度 h 係根據公式 h =sin-1 (R AREA )計算，其 中 ，ALFT 及 ARFT 分別為左三角形及右三角形 的面積； 人臉之俯 仰角角度 v 係根據公式 計算，其中，d 為俯仰角為 0 度時，前述線段 的 兩端 P3 及 P4 投影至 一影像平面的線段 長度，d’ 為頭部之俯仰角為 v 度時 投影 至該影像平面的線段 長度； 人臉之滾轉角係依公式 計算，
其中，其中 e1,x ,e2,x ,e1,y ,e2,y 分別代表雙眼位置 e1 及 e2 的 x,y 座標；當前述偏航角、俯 仰角及滾轉角均小於一特定值時，係判斷為正面人臉影像。
7. 如申請專利範圍第 5 項所述以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方 法，該角度估測流程包 含：眼睛定位，係定位出人臉中瞳孔之所在位置，以瞳孔為基準
向左上及右上延伸定義兩基準點 P1 、P2 ；嘴部定位，係定位出人臉中嘴巴之所在位置
仰角角度 v 係根據公式 計算，其中，d 為俯仰角為 0 度時，前述線段
的兩端 P3 及 P4 投影至 一影像平面的線段 長度，d’ 為頭部之俯仰角為 v 度時 投
影至該影像平面的線段 長度； 人臉之滾轉角係依公式 計
算，其中，其中 e1,x ,e2,x ,e1,y ,e2,y 分別代表雙眼位置 e1 及 e2 的 x,y 座標；當前述偏航 角、俯仰角及滾轉角均小於一特定值時，係判斷為正面人臉影像。 圖式簡單說明 第一圖：係本發明之主要階段流程圖。 第二圖：係本發明第二階段中，眼睛定位步驟流程圖。 第三圖：為本發明 p±ve(p)之示意圖。 第四圖：為本發明中人臉在 Yaw 角度變化的俯視示意圖。 第五圖：為本發明中人臉在 Pitch 角度變化的俯視示意圖。 第六圖：為本發明中雙眼在 Roll 角度變化時形成的三角關係示意圖。 附件一：為 Viola 演算法的人臉偵測結果之範例。 附件二：係本發明將人臉偵測的結果投影到二維空間的範例。 附件三 A、B：係分別為原始影像及各原始影像其重建後之對應影像。 附件四：係本發明原始影像和重建影像之差值分佈。 附件五：係本發明不同角度下人臉及眼睛區域偵測結果，紅色方框為人臉位置，藍色方 框為眼睛位置。
附件六：右圖為 radial symmetry contribution image S 的結果，左圖為眼睛區域之原始影 像。
附件七：本發明中瞳孔偵測結果之範例。
附件八：本發明經二值化處理之後的影像範例。 附件九：本發明中嘴唇偵測結果之範例。
附件十：本發明於人臉中取三個特徵點構成的三角形。
附件十一 A、B：本發明以 SIFT 對一 Gallery 影像及一 Probe 影像分別擷取其特徵點 (keypoints)之示意圖。
附件十二 A、B：本發明分別以同一人及不同人的影像
附件十三 A、B：本發明將 Probe 及 Gallery Images 劃分成 m×m 個區塊之示意圖。 附件十四 A、B：本發明基於不同人的影像上，根據空間資訊對特徵點對進行排除的比較 結果。
附件十五 A、B：本發明基於同一人的影像上，根據空間資訊對特徵點對進行排除的比較 結果。
