第二章 人臉辨識的相關研究及探討
2.2 整體特徵方法
Turk et al.【7】假設所有的人臉都可以用一組基底人臉的線性組合表示，
而作者以主成份分析（Principal Components Analysis，PCA）【9】【10】來找 出這個基底，其簡介如下：
PCA 主要目的是將許多變項加以減少，使其改變為少數幾個互相獨立的 線性組合變項，經由線性組合所得的成分之變異數會變為最大，使得原本的 N 維資料在這些成分上顯出最大的個別差異。
PCA 使用在特徵擷取有兩個理由，第一 PCA 方法能夠快速容易的計算 出結果，第二在線性投影中 PCA 方法能夠維持被投影資料最大的資訊。其 目的是期望能使用比較少的變數來解釋原先資料中的大部分變異，使得許多 相關性很高的變數轉變成彼此互相獨立的新變數，我們從其中選取比原來變 數個數少的幾個新變數，就能代表大部份資料中的變異，這就是主成分，其 主要特性如以下二點所示：（1）各主成分的方向是互相垂直的。（2）各主成
分是互相獨立的。
令轉換前的平均向量(Mean Vector)為X，則轉換後的平均向量如（2-2）
式：
以全域散佈矩陣(total scatter matrix）表示所有特徵參數相對於其平均向 量的分散程度。令轉換前n × n全域散佈矩陣如（2-3）式。
( )( ) ( )( )
根據線性代數理論，可以採用某方陣之跡( Trace）或是行列式(Determinant）
表示其內部元素分布的情形。因此（2-5）式可以改寫成以下兩種形式。如
為使F(P)最大化，必須根據P取其一階導數，並將其結果設為零。如此可以 得到（2-9）式：
0 2 ) 2
( = − =
∂
∂ S P P
P P F
tx λ (2-9)
再進一步簡化式子如（2-10）式：
StxP=λP
(
Stx−λI)
P=0 (2-10)解(2-10)式之結果，可得P恰為Stx之特徵向量(eigenvector）所組成之矩陣。
因此，原始的人臉特徵參數經過PCA轉換後，可以得到新的特徵參數，
而這組特徵參數除了維度降低之外，各參數間的變異程度也是最大，所以我 們可以用較少維度的特徵，來表達出每張不同人臉影像之間的差距，也就是 取得最具代表性的特徵。如果我們把每一個特徵向量依照影像形成特徵參數 順序來排列成一張影像，會發現其形成的圖形看起來很像一張人臉，所以這 種PCA轉換後的人臉特徵，又被稱做特徵臉(Eigenface)【15】，如圖2-2所示。
圖2-2 Yale 人臉資料庫，取 10 個特徵值所對應的特徵臉影像
Yang et al.【16】提出2D-PCA的方法，基本概念是使用較直覺二維矩陣 (Matrices)代替特徵臉技術使用之一維向量(Vector)，表示人臉影像像素資 料，以進行主要成份分析。首先求出特徵值(eigenvalue)與特徵向量
(eigenvector)，它可以把矩陣中的元素成分重組，將重要的資訊集中在較大 的特徵值所對到的特徵向量中。其特殊的性質如下：
(1) 方陣中所有非零的特徵值之”積和”，等於該方陣的行列式值如（2-11）
式：
∏
= m =i
tz
i S
1
λ (2-11)
(2) 方陣中所有特徵值之和，等於該方陣的跡，如（2-12）式：
∑
= m =i
tz
i tr S
1
)
λ ( (2-12)
第二步為求得我們所需的特徵空間，一般都是先求平均值 -> 求Zero Mean -> 計算Covariance Matrix -> 計算特徵值與特徵向量 -> 最後求得特徵空 間。詳細的過程和公式如下：
求平均值：將訓練樣本加總起來除以個數如（2-13）式
[
Ni T ii k i
i
i x x x x
k x
m 1 , , ,...,
2 1 1
=
=
∑
=
]
(2-13) 其中k為訓練樣本個數，N 為每一樣本的維度Zero Mean：把所有訓練樣本減掉平均值如（2-14）式
k i
m x
xi = i − , =1,2,... (2-14)
計算Covariance Matrix，如（2-15）式：
k iT
i i x x
C
∑
=
⋅
=
1
(2-15)
計算特徵值與特徵向量：由 Covariance Matrix 來求得特徵值與特徵向量，
如（2-16）式：
i
cφi =λφ (2-16) 其中φ 為特徵向量，i λ為特徵值
計算特徵空間：依照計算得到的特徵值由大到小做排序，將所對應的特徵向 量組合而成特徵空間，而選取的特徵向量則為所對應的特徵值，是個非零的 特徵向量如（2-17）式。
[
φ φ φk]
φ= 1, 2,..., (2-17) 其中λi =φi ⊂ϕi ≠0 and λi >λi +1,for 1≤i≤k
第三步為將訓練樣本投影到特徵空間，根據上述的步驟可得訓練樣本的
特徵，如（2-18）式。
多之係數表示人臉，故效率較差。而實驗結果顯示，在已知之三個人臉資料 庫中，2D-PCA具有較佳之辨識率，但在其他資料庫中，與特徵臉並沒有顯 著之差異。
Belhumeur et al.【8】更進一步利用 Linear Discriminant Analysis（LDA）
【17】將不同的人臉影像投射到高維空間使其儘量分開，因而提高辨識率。 是一個basis。如（2-20）式：
W basis。分子分母因為W是矩陣，所以必須加個determinant 才能變成常數。
若要求W為第i個column vector，只要解如（2-22）式，則取得第i大的特徵值 )
(W J
（eigenvalue），即可求出對應的特徵向量（eigenvector）。因此若要投影到k 維的空間，只要取前k大的特徵值對應的特徵向量就可以了。
n i
W S W
SB i =λ W i, =1,2,..., (2-22)
如圖2-4所示，為一個PCA及FLD的比較。圖中的 o 跟 ＋ 是兩個不同 的類別，用PCA求出降維後的basis，會使所有的資料投影到那basis 產生的 error (Euclidean distance)最小。另一方面，Fisher Linear Discriminant (LDA) 所 產生的basis 就不一樣了，你可以看得出來 o 跟 ＋ 被投影到LDA basis上 時，有明顯被區分成兩群的情況，我們可以在投影過後的空間中，決定出一 個點把兩群資料分開，而PCA投影過後的資料沒有辦法決定一個點把兩群資 料分開。
圖2-4 PCA 及 FLD 的比較
作者在實驗的人臉資料庫中採用了 Harvard 資料庫，此資料庫共分為 五個 subset，每個 subset 都是由不同角度的光源照射變化（如圖 2-5），
各種方法的辨識率如圖 2-6，正確數據如表 2-1。
圖2-5 不同角度的光源照射
圖2-6 各種方法的辨識結果
表 2-1 各種方法的辨識數據
S u b s e t 1 S u b s e t 2 S u b s e t 3 E i g e n f a c e 4
1 0
0 .0 0 .0
3 1 .1 4 .4
4 7 .7 4 1 .5 E i g e n f a c e
w / o 1 s t 3
4 1 0
0 .0 0 .0
1 3 .3 4 .4
4 1 .5 2 7 .7
C o r r e l a t i o n 2 9 0 .0
0 .0 0 3 3 .9
L i n e a r
S u b s p a c e 1 5 0 .0
0 .0 4 .4 9 .2
F i s h e r f a c e 4 0 .0
0 .0 0 4 .6
R e d u c e d S p a c e
M e t h o d E r r o r R a t e ( % )
作者在實驗的人臉資料庫中採用了 Yale 資料庫，此資料庫影像各有不同的 情緒與光照條件（如圖 2-7），各種方法的辨識率如圖 2-8。
圖2-7 各種情緒及光照的影像
圖2-8 各種方法的辨識結果
Jing et al.【12】則利用離散餘弦轉換（Discrete Cosine Transform，DCT）
將原始影像（如圖2-9）降維後（如圖 2-10），以降低運算量再加以辨識。
Er et al.【13】認為一般人將原始影像抽取出特徵後，再利用最近鄰居 法（Nearest-Neighbor）來辨識，像 Eigenface 及 Fisherface 都是屬於這種方 式，於是本篇作者提出一個比較快速的方式，即原始影像經過DCT 後轉成 一維向量（如圖2-11），然後再利用類神經網路（Neural Network）來作辨 識，作者以Yale 及 ORL 人臉資料庫做測試，皆得到不錯的辨識率。
圖2-11 二維影像經 DCT 轉成一維向量
Chen et al.【14】在處理光源照射不均勻的問題，提出了一個前處理的 手法，即將欲辨識的人臉，轉成一個除掉光源資訊的格式，再做人臉辨識。
此篇論文提出在對數域（logarithm domain）再進行離散餘弦轉換做處理，
作者認為光源的變化主要在低頻，因此只要針對低頻做處理，即可消除光 源的影響。圖2-12 所示為離散餘弦轉換後欲捨棄的順序圖，圖 2-13a 為原 始的影像，圖 2-13b 為捨棄 3 個係數的影像，圖 2-13c 為捨棄 6 個係數的 影像，圖 2-13d 為捨棄 15 個係數的影像，圖 2-13e 為捨棄 20 個係數的影 像，圖2-13f 為捨棄 35 個係數的影像，圖 2-13g 為捨棄 50 個係數的影像。
經實驗結果可得到不錯的辨識率。
圖2-12 離散餘弦轉換後欲捨棄的順序圖
圖2-13 捨棄係數的影像