人臉影像集之相似度計算與識別

在此節中，將依序介紹數種計算人臉影像集(或人臉影像串列)相似度的方法。

相似度的評估在本文中是計算兩影像集的距離，距離越短代表相似度越高。而這 些方法的評估方式有兩種：一種是計算人臉辨識的辨識率，另一種則是用 ROC curve。

人臉辨識就是進行分類的動作。首先要在一個資料集(data set or data base)中 將某些人臉影像集分為訓練資料(training data)，剩下的則是當作測試資料(testing data)。每一個測試影像集(testing image set)都和所有訓練影像集(training image set) 各別算出距離，並用 Nearest Neighbor Classifier 將該測試影像集歸類到相異程度 最小(距離最短)的訓練影像集，換言之就是將該測試影像集的身分定為最相似的 訓練影像集的身分。最後統計所有測試影像集的分類結果正確性來計算辨識率。

ROC curve 的部分，則是以人臉影像集(face image set)為單位，給定兩個人 臉影像集形成一組配對(pair)，驗證這兩個影像集是否為同一人。同一人則是陽 性(positive)，否則為陰性(negative)。設定某一距離為閥值(threshold)，若該組配 對的距離低於閥值，則視該組配對為同一人，否則為不同人。每一個閥值可以算 出一個 TPR(True Positive Rate)和 FPR(False Positive Rate)，計算方法如式(3、4)，

每次以不同的距離當作閥值可以得到一組 TPR 和 FPR，最後用所有得到的 TPR 和 FPR 畫出 ROC curve(橫坐標是 FPR，縱座標是 TPR)。ROC curve 越靠近左上 角代表效果越好。若是一條從左下原點至右上且斜率為 1 的直線則是隨機猜測的 結果。

TP：程式結果認定是相同身分而實際上也是相同身分的配對數量 FN：程式結果認定是不同身分而實際上是相同身分的配對數量 FP：程式結果認定是相同身分而實際上是不同身分的配對數量 TN：程式結果認定是不同身分而實際上也是不同身分的配對數量

我們接下來在以下各小節中介紹實驗中用到的相似度計算與人臉辨識的方 式。

4.2.1 LAHISD

LAHISD (Linear Affine Hull based Image Set Distance)用一個 affine hull 來代 表一個影像集(image set)或影像串列(image sequence)，而 image set 中的影像 (images)則是作為 affine hull 的特徵向量(feature vectors)。而影像集之間的相異程 度(dissimilarity)則是由 affine hull 之間的幾何距離來決定。本文中的實驗是直接 使用由[22]的作者所提供的程式碼。

4.2.2 MSM

MSM(Mutual Subspace Method)是由 Fukui 等人[19, 20]所提出。兩個圖像集 之間的相似性是由主成分分析法計算其線性子空間之間的夾角。本文中的實驗是 直接使用由[22]的作者所提供的程式碼。

4.2.3 PCA+voting

1. 將人臉影像存成行向量(column vector) → 人臉向量。

2. 利用 PCA(principal-component analysis)將所有人臉向量轉換低維度的特徵向 量(feature vector)。在第五章的實驗中將用「𝑑_𝑃𝐶𝐴」代表降維的目標維度。

3. 用 k-means clustering 對個別 training video(or image set)中的所有人臉向量做分 群，並以群中心當作該代表臉向量(representative face vector)。因此每個人臉 影像集各有 k 個代表臉向量。在第五章的實驗中將用「𝑛_𝑘𝑒𝑦」來表示代表臉 向量的數量。此目的主要是為了選出較有代表性的人臉來代表此人物並且降 低後續步驟的運算量。

4. 對某一 testing video(or image set)中的所有人臉向量，個別找出最相似(即歐氏 距離最小)的 training video 中的代表臉向量，並以多數決方式決定此 testing video 的身分。

p.s. 此方法只適用於人臉辨識，人臉分群不適用。因為人臉分群的時候需要 有明確的兩群之間的距離，而此方法只是用多數決決定身分，並沒有一個明 確的距離值，需要用在分群上時需改用 4.2.4 的方法。

4.2.4 PCA+AvgDist

1. 利用 PCA(principal-component analysis)將所有人臉向量轉換成維度較低的特 徵向量(feature vector)。

2. 算出兩影像集(image set)所有特徵向量(feature vector)之間的歐氏距離。若影 像集 A 和 B 各有 a 和 b 張人臉影像，則共有(𝑎 × 𝑏)組距離。

3. 將步驟 2 的所有距離的平均值，即為兩兩影像集(image set)之間的相異程度 (dissimilarity)。

4.2.5 2DPCA+AvgDist

利用 2DPCA(2 dimensional principal-component analysis)將所有人臉向量轉 換成維度較低的特徵向量(feature vector)，本文中實驗取 10 個 basic component。

1. 算出兩影像集(image set)所有特徵向量(feature vector)之間的歐氏距離。若影 像集 A 和 B 各有 a 和 b 張人臉影像，則共有(𝑎 × 𝑏)組距離。

2. 將步驟 2 的所有距離的平均值，即為兩兩影像集(image set)之間的相異程度 (dissimilarity)。

4.2.6 SANP

SANP (Sparse Approximated Nearest Points distance)計算兩個影像集相異程 度(dissimilarity)的方法是根據兩個影像集中最接近點的距離決定，而最近點 (nearest points)是從個別影像集合的影像樣本(image samples)稀疏近似(sparsely approximated)而得。本文中的實驗是直接使用由[37]的作者提供的 SANP 程式 碼。