特徵點雙向辨識演算法

本章節將會詳細介紹雙向辨識中以特徵點為基礎的三種幾何模型結構。在事 前訓練方面，訓練資料庫人臉影像經由特徵點偵測處理，會將所偵測到的特徵點 資訊以及正規化後的人臉影像，儲存於訓練資料庫模型中，以供後續的測試辨識 使用。在測試方面，測試人臉影像經由特徵點偵測運算，找出測試影像上具有鑑 別性的特徵點後，再與資料庫訓練模型進行雙向辨識運算。本研究的特徵點根據 其位於人臉的位置不同將會給予不同的權重值，若特徵點位於人臉輪廓處或是嘴 巴附近則給予較低的權重值，因為這些地方容易受到邊緣環境以及人臉的情緒表 情所影響。圖 5-3 為一張特徵點權重示意圖，其中綠點為一般性的特徵點，而白 點為較容易受到表情或背景影響的特徵點。

圖 5-3、特徵點種類圖

在特徵點偵測完成之後，則進入雙向辨識系統進行測試比對。以順向辨識為例，

將測試影像的特徵點資訊於資料庫影像中進行特徵點匹配運算，來尋找於資料庫 影像中具有最小差異性的區塊和它所對應的像素點(即匹配像素點)。讓 𝐼_𝑟^𝑛為第 n 種角度配對的參考 LVP 特徵影像，𝐼_𝑚^𝑛為第 n 種角度配對的匹配 LVP 特徵影像，

(x,y)為參考影像特徵點的位置，(u,v)為位移量，而 B 為區塊半徑。為了因應雙向 辨識，第二階段會採用比第一階段辨識更大的範圍來進行正規化處理，因此需要

29

針對此正規化影像再重新進行 LVP 特徵轉換(如圖 5-4 所示)。

圖 5-4、雙向辨識中(α, β) = (0^°, 0^°)角度配對的 LVP 特徵影像

因為二階 LVP 有 16 種角度配對之 LVP 特徵影像，所以本論文會分別針對這 16 種特徵影像進行區塊式漢明距離計算，然後再將 16 種角度配對的距離相加，所 得到的值即代表兩個像素點間的 LVP 特徵差異量。假設第 n 種角度配對之參考 影像上以(x,y)為中心的區塊和匹配影像上以(𝑥 + 𝑢, 𝑦 + 𝑣)為中心的區塊之間的 影像差異量𝐻_(𝑥,𝑦)^𝑛 (𝑢, 𝑣)為

𝐻_(𝑥,𝑦)^𝑛 (𝑢, 𝑣) = ∑ ∑ 𝐵𝐼𝑇[𝑋𝑂𝑅(𝐼_𝑟^𝑛(𝑥 + 𝑖, 𝑦 + 𝑗), 𝐼_𝑚^𝑛(𝑥 + 𝑢 + 𝑖, 𝑦 + 𝑣 + 𝑗))]

𝐵

𝑗=−𝐵 𝐵

𝑖=−𝐵

則 16 種角度配對的 LVP 特徵影像差異量總和𝐷_(𝑥,𝑦)(𝑢, 𝑣)為

𝐷_(𝑥,𝑦)(𝑢, 𝑣) = ∑ 𝐻_(𝑥,𝑦)^𝑛 (𝑢, 𝑣)

16

𝑛=1

當此差異量越小時，表示所對應的區塊影像相似度越高；反之差異量越大時，則 表示對應的區塊影像之相似度越低。假設 R 為特徵點匹配的搜尋範圍半徑，則 參考影像特徵點(x,y)會在匹配影像中的搜尋區域內各影像點所對應的區塊逐一 地計算它們的 LVP 差異量，然後找出在搜尋區域內有最小差異量的一組位移量 (u,v)，即可得到最佳的位移量(u^∗, v^∗)，即

30

𝐷_(𝑥,𝑦)(𝑢^∗, 𝑣^∗) = 𝑎𝑟𝑔 𝑚𝑖𝑛_{−𝑅≤𝑢≤𝑅}

−𝑅≤𝑣≤𝑅

𝐷_(𝑥,𝑦)(𝑢, 𝑣)

當找出最佳的位移量以後，即可得知最佳的匹配位置 P 和其匹配差異 MD，即 𝑃 = (𝑥 + 𝑢^∗, 𝑦 + 𝑣^∗)

MD = 𝐷_(𝑥,𝑦)(𝑢^∗, 𝑣^∗)

由於表情會造成特徵點不同程度的位移量，我們會針對每個特徵點而給予權重值

w。由於輪廓、嘴巴及其附近的特徵點相較於其他部位較容易受到人臉的表情影

響，所以本論文利用眼睛點和嘴角點定義出二個區域，即輪廓區域和嘴巴區域，

而在此二區域內的特徵點會給予較低的權重值 0.6，而其餘區域內的特徵點則給 予較高的權重值 1.0。假設參考影像中總共有 K 個特徵點，而𝑀𝐷_𝑖表示第 i 個特 徵點的匹配差異，則其平均匹配差異(AMD)為

𝐴𝑀𝐷 = ∑^𝐾_𝑖=1𝑤_𝑖× 𝑀𝐷_𝑖

∑^𝐾_𝑖=1𝑤_𝑖

圖 5-5 為特徵點匹配的結果，其左半部影像所標記的紅點為參考影像中所偵測的 特徵點位置，而右半部影像中的紅點是參考影像特徵點在匹配影像中所匹配到的 最佳對應點位置。

圖 5-5、特徵點匹配對應圖

當所有的參考影像特徵點都以特徵點匹配運算得到了它們在匹配影像上的最佳 對應點位置之後，我們會根據這二組特徵點位置來建構出二個幾何模型，由參考 影像特徵點所建構的幾何模型稱為參考幾何模型(Reference Geometry Model,

31

RGM)，而由匹配影像特徵點所建構的幾何模型稱為匹配幾何模型 (Matching Geometry Model, MGM)。藉由這二個幾何模型(RGM 和 MGM)，我們會進行幾 何模型匹配計算，以求出這二個幾何模型之間的差異程度。幾何模型是用來表示 特徵點的幾何結構關係，主要包含兩點之間的距離、方向以及三點所形成的夾角 等。以下將會詳細的介紹三種幾何模型，5.2.1、5.2.2 和 5.2.3 將分別說明索引式 幾何模型、最長幾何模型和全域性幾何模型。假設參考影像總共有 K 個特徵點，

而𝑥_𝑖、𝑦_𝑖和𝑤_𝑖分別記錄第 i 個特徵點的水平座標、垂直座標和權重值。

圖 5-6 幾何模型示意圖(a)索引式幾何模型(b)最長幾何模型(c) 全域性幾何模 型

5.1.1 索引式幾何模型

索引式幾何模型是根據特徵點的編號順序所組成的迴圈式幾何結構，而此結 構的連接方式為𝑛₁ → 𝑛₂ → ⋯ → 𝑛_𝐾 → 𝑛₁，如圖 5-6(a)所示，其中 K 為特徵點的 個數。此結構所對應的特徵為前後二個特徵點間的距離以及連續三個特徵點間的 夾角。以特徵點𝑛_𝑡為例，我們會計算𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 的長度(‖𝑛_𝑡𝑛_𝑡+1 ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖)和(𝑛_𝑡𝑛_{𝑡+1 𝑡−1}, 𝑛_𝑡, 𝑛_𝑡+1) 等三個點所形成的夾角𝜃_𝑡，即

𝑛_𝑡𝑛_𝑡+1

⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ = [𝑥_𝑡+1− 𝑥_𝑡, 𝑦_𝑡+1− 𝑦_𝑡]^𝑇 𝜃_𝑡 = 𝑐𝑜𝑠^{−1 𝑛}⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ∙ 𝑛^{𝑡𝑛𝑡−1} ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ _𝑡𝑛_𝑡+1

‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖‖𝑛𝑡𝑛_𝑡−1 ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖_𝑡𝑛_𝑡+1

由於每個特徵點擁有各自的權重值，所以每個線段以及夾角就會有其相對應的權 重值。假設𝑤_𝑡,𝑡+1、𝑤_{𝑡,𝑡−1}和𝑤_𝜃𝑡代表𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 、𝑛_𝑡𝑛_𝑡+1 ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 和𝜃_𝑡𝑛_{𝑡−1 𝑡}的權重值，則

n 1

n 2

n 3

n 4

n 5

n 1

n 2

n 3

n 4

n 5

n 1

n 2

n 3

n 4

n 5

(a) (b) (c)

32

𝑤_𝑡,𝑡+1 = 𝑤_𝑡× 𝑤_𝑡+1 𝑤_{𝑡,𝑡−1} = 𝑤_𝑡× 𝑤_𝑡−1

𝑤_𝜃𝑡 = 𝑤_𝑡,𝑡+1× ‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖ × 𝑤_𝑡𝑛_{𝑡+1 𝑡,𝑡−1}× ‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖ _𝑡𝑛_𝑡−1

因此，在索引式幾何模型中，K 個特徵點可產生一組具有 4K 個數值的幾何模型

G，即

𝐺 = {𝑑_𝑡, 𝜃_𝑡, 𝑤_𝑡, 𝑤_𝜃𝑡|1 ≤ 𝑡 ≤ 𝑘} ∈ 𝑅^4𝐾

其中𝑑_𝑡 = ‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖，也就是𝑑_𝑡𝑛_{𝑡+1 𝑡}為第 t 特徵點和第 t+1 特徵點之間的距離 𝑑_𝑡 = ‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖, 1 ≤ 𝑡 < 𝐾且𝑑_𝑡𝑛_{𝑡+1 𝐾} = ‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖ _𝐾𝑛₁

假設參考幾合模型 RGM 和匹配幾合模型 MGM 為

𝑅𝐺𝑀 = {𝑟_𝑑𝑡, 𝑟_𝜃𝑡, 𝑤_𝑡, 𝑤_𝜃𝑡|1 ≤ 𝑡 ≤ 𝐾}

𝑀𝐺𝑀 = {𝑚_𝑑𝑡, 𝑚_𝜃𝑡, 𝑤_𝑑𝑡, 𝑤_𝜃𝑡|1 ≤ 𝑡 ≤ 𝐾}

則 RGM 和 MGM 的差異量(𝐺𝐷_{𝑖𝑛𝑑𝑒𝑥})為

𝐺𝐷 _{𝑖𝑛𝑑𝑒𝑥} =

√∑

^𝐾_𝑡=1

𝑤

_𝑑𝑡²

×

^{(𝑟𝑑𝑡−𝑚𝑑𝑡)2}_{𝑟𝑑𝑡+𝑚𝑑𝑡}

∑

^𝐾_𝑡=1

𝑤

_𝑑𝑡

× ^{√∑ 𝑤}

^𝜃𝑡

2

×|𝑟

_𝜃𝑡

−𝑚

_𝜃𝑡

|

𝐾𝑡=1

∑

^𝐾_𝑡=1

𝑤

_𝜃𝑡

5.1.2 最長幾何模型

索引式幾何模型存在一個容易造成比對錯誤的問題，那就是任意三個點所形 成夾角的穩定度，會隨著夾角二邊線段的長度而變化。當線段愈短時，則此夾角 大小愈容易受到線段二端點位置的偵測誤差或匹配誤差而變化，如下圖 5-7 所示。

當圖 5-7(a)中的𝑛_𝑖−1特徵點往右下移動些許位置到圖 5-7(b)時，雖然𝑛_𝑖−1𝑛_𝑖並沒有 明顯的變化，但是𝑛_𝑖−1、𝑛_𝑖和𝑛_𝑖+1所形成的夾角，卻會產生很大角度的改變，這 也會造成後續的辨識錯誤。

33

圖 5-7、索引式幾何模型的可能缺點範例

為了改善上述問題，我們提出了第二種幾何模型，最長幾何模型(如圖 5-8 所示)。

圖 5-8、最長幾何模型

這種幾何模型是以貪婪(Greedy)的方式，依序選取距離最遠的特徵點，再依 選取順序重新編號，然後以新的編號順序來建構索引式幾何模型。以圖 11 為例，

因為在所有特徵點當中，𝑛₁與𝑛₃和𝑛₄所形成的二邊線段的長度總合最大，故𝑛₁被 選擇為起始點，則下一個點會找到離𝑛₁位置最遠的點𝑛₃，之後再從剩餘的點中，

找出距離𝑛₃最遠的點𝑛₅，接著以相同方式就可陸續找出𝑛₂和𝑛₄，最後將𝑛₄與起 始點𝑛₁做連接，即完成最長幾何模型。最長幾何模型的特徵表示和差異量計算方 式都與索引式幾何模型相同。

(a) (b)



1

n

i



1

n

i



1

n

i



1

n

i

n

i

n

i

  ^

n 1

n 2

n 3

n 4

n 5

34

5.1.3 全域性幾何模型

全域性幾何模型是在特徵點集合中，以所有任意三個特徵點來配對所形成的 幾何結構，如圖 5-6(c)所示。當以𝑛₁為基準點時，從剩餘的 4 個特徵點中任意選 取二個點(假設為𝑛2和𝑛₅)，則此三點所形成的二個線段長(‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖和‖𝑛1𝑛₂ ⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖)和夾₁𝑛₅ 角(𝜃₂₁₅)即構成一個基本模型組件。因為 4 個特徵點會有𝐶(⁴₂)種二個特徵點組合 的選擇方式，所以也會產生相對應的𝐶(⁴₂)個基本模型組件。假設一個基本模型組 件以𝑛_𝑡為基準點，而另二個點為𝑛_𝑠和𝑛_𝑢，則此基本模型組件可表示為(‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗ ‖ ,_𝑡𝑛_𝑠

‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖ , 𝜃_𝑡𝑛_{𝑢 𝑠𝑡𝑢})，而

𝑛_𝑖𝑛_𝑠

⃗⃗⃗⃗⃗⃗⃗⃗ = [𝑥_𝑠− 𝑥_𝑖, 𝑦_𝑠− 𝑦_𝑖]^𝑇 𝑛_𝑖𝑛_𝑡

⃗⃗⃗⃗⃗⃗⃗⃗ = [𝑥_𝑡− 𝑥_𝑖, 𝑦_𝑡− 𝑦_𝑖]^𝑇 𝜃_𝑖𝑠𝑡 = 𝑐𝑜𝑠⁻¹ 𝑛⃗⃗⃗⃗⃗⃗⃗⃗ ∙ 𝑛_𝑖𝑛_𝑡 ⃗⃗⃗⃗⃗⃗⃗⃗ _𝑖𝑛_𝑠

‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗ ‖‖𝑛_𝑖𝑛_𝑡 ⃗⃗⃗⃗⃗⃗⃗⃗ ‖_𝑖𝑛_𝑠 假設𝑤_𝑡𝑠、𝑤_𝑡𝑢和𝑤_𝑠𝑡𝑢分別為𝑛⃗⃗⃗⃗⃗⃗⃗⃗ 、𝑛_𝑡𝑛_𝑠 ⃗⃗⃗⃗⃗⃗⃗⃗⃗ 和𝜃_𝑡𝑛_{𝑢 𝑠𝑡𝑢}的權重值，則

𝑤_𝑡𝑠 = 𝑤_𝑡× 𝑤_𝑠 𝑤_𝑡𝑢 = 𝑤_𝑡× 𝑤_𝑢

𝑤_𝑠𝑡𝑢 = 𝑤_𝑡𝑠× ‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗ ‖ × 𝑤_𝑡𝑛_{𝑠 𝑡𝑢}× ‖𝑛⃗⃗⃗⃗⃗⃗⃗⃗⃗ ‖ _𝑡𝑛_𝑢

因此，在 K 個特徵點的情形下可產生出一組具有𝐾^′ = 𝐾 × 𝐶(^𝐾−1₂ )個基本模型組 件的全域性組合模型 G，而𝐺_𝑡表示為第 t 個基本模型組件，即

𝐺_𝑡 = {𝑑_𝑡1, 𝑑_𝑡2, 𝜃_𝑡, 𝑤𝑑_𝑡1, 𝑤𝑑_𝑡2, 𝑤𝜃_𝑡}, 𝑡 = 1, … , 𝐾^′

其中，𝑑_𝑡1和𝑑_𝑡2代表第 t 個基本模型組件的兩邊線段長，𝜃_𝑡表示第 t 個基本模型 組件的夾角。假設參考幾合模型 RGM 和匹配幾合模型 MGM 為

𝑅𝐺𝑀 = {𝑟𝑑_𝑡1, 𝑟𝑑_𝑡2, 𝑟𝜃_𝑡, 𝑤𝑑_𝑡1, 𝑤𝑑_𝑡2, 𝑤𝜃_𝑡|1 ≤ 𝑡 ≤ 𝐾^′} 𝑀𝐺𝑀 = {𝑚𝑑_𝑡1, 𝑚𝑑_𝑡2, 𝑚𝜃_𝑡, 𝑤𝑑_𝑡1, 𝑤𝑑_𝑡2, 𝑤𝜃_𝑡|1 ≤ 𝑡 ≤ 𝐾^′} 而 RGM 和 MGM 的差異量

𝐺𝐷

_{𝑔𝑙𝑜𝑏𝑎𝑙}為

𝐺𝐷

_{𝑔𝑙𝑜𝑏𝑎𝑙}

=

∑ [

𝑤𝑑_𝑡×

^√(𝑟𝑑 _𝑟𝑑

^𝑡1

^{− 𝑚𝑑}

^𝑡1

⁾

²

𝑡1

+ 𝑚𝑑

_𝑡1

+ (𝑟𝑑

_𝑡2

− 𝑚𝑑

_𝑡2

)

²

𝑟𝑑

_𝑡2

+ 𝑚𝑑

_𝑡2

×

𝑤𝜃_𝑡

× |𝑟𝜃

_𝑡

− 𝑚𝜃

_𝑡

|]

𝐾^′ 𝑡=1

∑

^𝐾_𝑡=1^′ 𝑤𝑑_𝑡×𝑤𝜃_𝑡

35

5.1.4 辨識分數整合

藉由組合特徵點的平均匹配差異𝐴𝑀𝐷以及幾何模型的變化量𝐺𝐷，來得出最 後的單向辨識分數S，如下函式:

𝑆 = 𝐴𝑀𝐷 × 𝐺𝐷

假設𝑆₁為順向辨識分數，𝑆₂為逆向辨識分數，將它們加總則可得到最後的綜合辨 識分數 FS，即

𝐹𝑆 = 𝑆₁+ 𝑆₂

假設第 i 個候選人有𝑀_𝑖張的資料庫影像，𝐹𝑆_𝑗^𝑖為第 i 個候選人之第 j 張的綜合辨識 分數，𝐿^𝑖為第 i 個候選人的最小差異綜合辨識分數，則

𝐿^𝑖 = 𝑚𝑖𝑛

𝑗=1,…,𝑀_𝑖𝐹𝑆_𝑗^𝑖

接著，選取擁有最小差異分數的候選人來作為最後的辨識結果，即 𝑖^∗ = 𝑎𝑟𝑔 𝑚𝑖𝑛

𝑖=1,⋯𝑀𝐿^𝑖 此時，𝑖^∗即代表測試影像的辨識結果。

36

在文檔中 中 華 大 學 (頁 37-45)