有許多的學者曾致力於人臉辨識上的研究，我們大致可以將人臉辨識的研究 方向分為二類[1][33][28]:
1.單張影像上之人臉辨識 以單張影像進行人臉辨識
2.影片上之人臉辨識
未利用相鄰影像之資訊:
(1) 給定一串有序影像，藉由單張影像之人臉辨識技術加上投票機制來 求得辨識結果。
(2) 在一串有序影像上建造二維或三維的人臉結構來進行人臉辨識。
利用相鄰影像之資訊:
(1) 在單張影像的辨識技術中加入一串有序影像所隱含之重要資訊，建 立屬於此人的機率模型來求得辨識結果。
下列將對於上述各類的研究之優缺點進行初步之探討。
2-1 單張影像上之人臉辨識
首先，在討論單張影像之人臉辨識前，必須先建立一個觀念，「辨識時，若 以原始的人臉影像直接當作測試值或訓練值，是不可行的」，在原始高維空間中 做運算，不僅計算量會很大並且容易受到雜訊的干擾，因此在人臉辨識前，會先
將人臉影像以保留最大特徵的方式來降維，而後在低維的子空間中再進行比對，
如圖 2-1[1]。
圖 2-1 人臉辨識技術之步驟[1]
在單張影像之人臉辨識中，大多數的方法都是將整張的人臉影像當作輸入，
待完成降維的動作後，再行辨識，因此降維方法衍然成為辨識率或高或低之一大 關鍵。而不同的人臉辨識技術常會伴隨著不同的降維方法，因此我們探討人臉辨 識之主要技術如下:
特徵臉(EigenFaces)[29][2]:先對輸入之人臉影像以主要成份分析法(Principal
Component Analysis，PCA)[24]之技術把變異較大的資訊保留下來，而後求得 屬於此影像的特徵臉。再以最近距離法(Nearest Neighbor classifier，NN)來比 對，此為人臉辨識運用最為廣泛的方法。
費雪臉(FisherFaces,FLD)[2][18]:採用線性鑑別分析法(Linear Discriminant
Analysis，LDA)[24]之技術，把最具有鑑別力的資訊保留下來。在線性鑑別分 析法(LDA)所求得之子空間中，能滿足以下特點:降維後，可拉開不同人的人臉 影像之彼此距離並且拉近同一個人的人臉影像之彼此距離。
支持向量機(Support Vector Machine，SVM)[26][10]:運用支持向量機(SVM)之技 術來完成不同人臉之分類。支持向量機(SVM)，簡單來說就是當資料降維後還 是沒辦法分開時，能找到一組超平面(Hyperplane)，把降維後的資料再升維，
讓不同的集合得以分開。在解決非線性以及高維的識別問題中表現出許多特有 的優勢，如圖 2-2。
圖 2-2 支持向量機(SVM)之示意圖
獨立成份分析法(Independent Component Analysis，ICA)[3][6]:獨立成份分析法
(ICA)可被視為主要成份分析法(PCA)的延伸。在應用上主要成份分析法(PCA) 強調資料維度的降低，而獨立成份分析法可能降低維度、維度不變、或增加維 度，因此獨立成份分析法(ICA)比主要成份分析法(PCA)更能廣泛應用於現實 中。如圖2-3[6]、圖2-4[3]。
圖 2-3 PCA 和 ICA 所建立的特徵臉影像[6]
上排為取前 8 大特徵根所建立的特徵臉影像 下排為用 ICA 取得的 8 個之特徵向量
圖 2-4 資料在 PCA 及 ICA 上的分布情況[3]
圖中資料分佈明顯分成兩群，最大變異方向為垂直的軸(PCA Projection)，而獨立成份分析法則找出能將資料分成兩群的方 向也就是橫軸(ICA Projection)
保留局部關係之投影(Locality Preserving Projections，LPP)[11]:主要成份分析法
(PCA)及線性鑑別分析法(LDA)是保留全域結構(global structure)，不會考慮資 料與資料之間的相關性。保留局部關係之投影(LPP)則考慮了不同資料之間的 相關性，較能有效的描述多樣化(manifold)的結構，如某個人在某一時刻由各 個角度同時拍下的照片，用保留局部關係之投影(LPP)較能描述此人臉之結構。
以上所提出的人臉辨識之技術皆是把二維人臉影像轉成一維後再做運算，
如此便會失去一些原始空間中點與點之間相關性的資訊。在近年來的研究中，如:
二維主要成份分析法(2DPCA)[30]、二維線性鑑別分析法(2DLDA)[31]、二維保 留局部關係之投影(2DLPP)[5]皆是直接對二維的影像做降維的動作，即是不需要 把原始影像轉成一維的向量方可做運算。在[30]、[31]、及[5]中，皆有實驗證明 二維的辨識效果比一維的較佳，如圖 2-5[30]，而另一方面也提及了，當直接對 二維影像做處理時，無論空間跟時間之複雜度都比一維影像來的降低許多。
在[5]的實驗中，將上述三種二維的方法之辨識率與訓練速度做比較。其中 三種二維方法皆違反了一維方法的一種常理現象，「當降維後保留越多的維度 時，此三種二維方法的辨識率反而都會降低」，因此當使用二維的方法做降維時，
保留的維度不能太高。再者，當降維到較低維度時，比較這三種二維的方法，二 維線性鑑別分析法(2DLDA)之辨識率會高於二維主要成份分析法(2DPCA)，更值 得提及的是，雖然二維線性鑑別分析法(2DLDA)之辨識率比二維保留局部關係之 投影(2DLPP)低一些，但是在訓練之速度上，二維線性鑑別分析法(2DLDA)卻比 二維保留局部關係之投影(2DLPP)來的快得多，因此，上述的三種二維的方法，
又以二維線性鑑別分析法(2DLDA)兼具準確度與速度，能擁有最好的效能。
圖 2-5 上排為 2DPCA 重建後的結果；下排為 PCA 重建後的結果[30]
2-2 影片上之人臉辨識
在現今科技發達的時代，攝影機的價位已不再昂貴，因此目前的人臉辨識之 研究已有越來越多以影片為主，希望能在整合整串有序影像之結果後，來達到即 時且辨識率高的辨識結果。
在影片上之人臉辨識，雖然會擁有比單張影像更多的資訊來提高準確率，卻 也擁有更多的不確定因素之挑戰需克服。典型的一串有序影像上之人臉辨識方法 分成兩個階段:(1)人臉追蹤(2)人臉辨識。當給定一串有序影像時，第一個步驟即 是對人臉的位置做追蹤，方可定位，以截取出每張影像中屬於人臉位置之區域，
接著再將這些截取出的人臉影像交給第二個步驟做辨識，本研究主要探討的是第 二個步驟之方法，因此對於人臉追蹤的部份就不多加討論。
一串有序影像中，相鄰影像間的關係性可用來提升辨識率，以下即針對在影 片上做人臉辨識時，是否加入相鄰影像間的關係性之資訊，來做分類及探討。
2-2.1 未加入相鄰影像之資訊
由單張影像之人臉辨識變成一串有序影像之人臉辨識時，剛開始，尚未加入 每張影像之間的關係性，即是每張影像之辨識結果是互相獨立的[9][27]，因此我 們可以用以下三種方式來求得此串有序的人臉影像之最終辨識結果。當每張影像 各自做完單張影像之人臉辨識後，(一) mean rule:將此串影像的所有辨識率取平 均，辨識率最大者，即是最終之辨識結果，(二) majority rule:由於每張影像之辨 識結果是獨立的，因此可用投票的方式來求得最終之辨識結果，(三) product rule:
把所有影像之單張影像的辨識率相乘，值越大者即是最終的辨識結果，上敘不管 採用何種方式，在最終之辨識率上，還是會受到單張影像之辨識率的影響。另外，
還有許多的研究是利用多角度之人臉影像建造出屬於此人的二維或三維之人臉 結構模型[12][16][34][7]，此方式雖然可以有效的改善光線以及角度的問題，但
是，相對來說，建造人臉模型也需要更複雜的程序及演算法，此方式也沒有善加 利用有序影像中的時間資訊，因此章節 2-2.2 探討了如何在加入時間的資訊後，
在訓練與辨識之過程簡單化的基礎下，提升辨識率之研究。
2-2.2 加入相鄰影像之資訊
一串有序影像相對於單張影像有許多優勢，其中包括了不同的視角、相鄰影 像的資訊等，這些資訊都能提升人臉辨識的準確度。起初，在一串有序影像上做 人臉辨識時，是將每張人臉影像利用時間資訊串連起來， Li 等人在[19]中所提 出之理論，是將每個人的各種姿勢建構成一個屬於個人的人臉(identity surface)，
利用截取核心特徵(kernel feature)之演算法來建立一條軌道(trajectory)，使得無論 何種角度之人臉都能遵循這條軌道變形成正面之人臉，如圖2-6[19]。然而，此方 法除了利用帶有權重的時間性投票機制來解出模型參數外，他並沒有完全去利用 相鄰畫面的連貫性資訊。
圖 2-6 個人人臉表示法(identity surfaces)[19]
Zhou 和 Chellappa 在[35]中提出，藉由個人可變量(identity variable)與運動 向量(motion vector)的加入，可同步解決人臉追蹤與辨識之問題，也將狀態空間 模型(state space model)之架構運用於有序影像之分類上。而Liu 和 Chen 在[20]
中提出使用隱藏式馬可夫模型(Hidden Markov Models，HMM)來執行人臉辨識。
一般的馬可夫模型(Markov Model)只能描述狀態(state)與狀態(state)之間的關 係，而在隱藏式馬可夫模型(HMM)中，實際改變的狀態(hidden state)是觀測不到 的，即是有序影像中人臉姿勢(pose)變化的狀態是無法觀測到的，因此我們只能 透過觀測到的觀測值(observation)估計出觀測值和隱藏狀態(hidden state)之間的 轉移關係，而能計算出觀測值(observation)所對應之機率密度函數，如圖2-7[20]。
在[20]中，使用主成份分析法(PCA)計算出人臉影像之多個姿勢(pose)中具有強大 辨識力之特徵，但是並不適用於人臉影像有多種姿勢(pose)的情況，因而在[17]
中，採用線性鑑別分析法(LDA)，可以比主成份分析法(PCA)較容易取得更具鑑 別性之特徵，來將同個人不同姿勢區分的更開，而後再使用隱藏馬可夫模型 (HMM)來做一串有序影像之人臉辨識。
圖 2-7 一串有序的人臉影像之隱藏式馬可夫模型[20]
再者， Lee 等人又在[21]和[22]中提出，將每個人之不同角度的影像降維 後，建立一個在低維子空間中屬於自己的人臉外貌(appearance manifold)，如圖 2-8[21]所示。其中，他將每個人的每個姿勢(pose)運用主要成份分析法(PCA)，
計算出在低維空間中具代表性的PCA-plane，而後將每個人之不同姿勢的 PCA-plane收集起來，即能代表此人在子空間中的人臉外貌(appearance
manifold)。接著在辨識時，融合時間之資訊，去找尋在子空間中和此串有序影像 最近之人臉外貌(appearance manifold)，如圖2-9[21]，即能得到辨識結果。
圖 2-8 M 這個人在低維空間的表示法[21] k C 表示此人第 i 個姿態的 PCA-plane ki
圖 2-9 一串有序影像之辨識情況[21]
6 3
t t
I− I+ 是一串動態之人臉影像。雖然在It−1,It−2發生錯誤之辨識結 果，但是受到前後之辨識結果影響，整串影像之最終判斷仍會正確
在[21]中，雖然可以即時的(on-line)做人臉辨識，但是屬於個人的人臉機率 模型(appearance manifold)還是必需在事前(off-line)先訓練完成，因此 Lee 等人 又在[23]中提出，希望藉由[4]、[13]和[14]的方法，使得個人的人臉機率模型
(appearance manifold)也可以即時的訓練，也就是在辨識的過程中，我們先建立 一個一般的人臉機率模型(a general appearance manifold)，而後我們將辨識成功 的影像去重新訓練這個一般的人臉機率模型，在重新訓練之次數足夠的情況
(appearance manifold)也可以即時的訓練，也就是在辨識的過程中，我們先建立 一個一般的人臉機率模型(a general appearance manifold)，而後我們將辨識成功 的影像去重新訓練這個一般的人臉機率模型，在重新訓練之次數足夠的情況