第四章、 實驗結果
4.2. 基本情緒辨識結果
當由 AAM 擷取特徵點後，即可計算情緒特徵值，進行情緒 Likelihood 辨識。
在本實驗過程中，為了避免特徵點偵測之誤差，而造成特徵擷取不準確，因此在 本論文 4.2 ~ 4.4 節之實驗，利用手動標示之 18 個特徵點，擷取情緒辨識之特徵，
如本論文 3.3 節所述之 16 個幾何特徵，以驗證本研究情緒 Likelihood 辨識與 A-V 辨識之效能。
本實驗從 CK+資料庫中已標註情緒類別之序列影像，每種情緒(生氣、厭惡、
害怕、高興、傷心與驚訝)各取 10 組由中性情緒變化至特定基本情緒之序列影像 樣本，共 60 組序列影像樣本做為基本情緒類別之辨識效果驗證。在本實驗中每 組序列影像用來訓練 RVM 分類器，進而判斷端點影像之情緒 Likelihood。圖 4-3 以 10 張序列影像樣本為例，序列中，前 3 張影像(No. 1-3)選其中 1 張做為中性 情緒之訓練樣本，其餘 2 張則做為判斷基本情緒類別辨識結果之端點影像樣本；
1 2 3 4 5 6 7 8 9 10
Training data for neutral emotion
Training data for basic emotion
Determine the emotion category
Determine the emotion category
圖 4-3、序列影像中訓練 RVM 分類器與判斷情緒 Likelihood 影像樣本示意圖。
65
最後 5 張影像(No. 6-10)選其中 2 張做為特定情緒之訓練樣本，其餘 3 張則做為 判斷基本情緒類別辨識結果之端點影像樣本。本實驗以上述之訓練樣本，利用距 離特徵與位移特徵分別訓練 3.3 節所述之 RVM 靜態分類器(SRVM)與動態分類器 (DRVM)。
實驗中分別以本研究提出之 Likelihood 時序辨識，與情緒 Likelihood 非時序 辨識，進行 7 種基本情緒類別(含中性)辨識比較，而情緒類別之判定，以影像樣 本中 Likelihood 值最大者決定之，然而，為了與 Likelihood 非時序辨識進行基本 情緒類別之比較，必須確保 Likelihood 時序辨識其端點影像 Likelihood 已完全收 斂，因此當(3-25)限制之變化量臨界值到達TE× 10時，即 Likelihood 走勢已確定，
本實驗將端點影像持續丟入 RVM 分類器做 Likelihood 辨識直到收斂為止，如本 論文 3.3.3 節之說明，以此結果判斷端點影像之基本情緒類別。其中本實驗 Likelihood 非時序辨識，其辨識結果為直接由本論文 3.3.1a 節之 RVM 演算法做 情緒辨識，而未加入 DRVM(位移特徵訓練之 RVM，如 3.3.1b 節之說明)，以及
表 4-2、Likelihood 時序辨識方法之基本情緒辨識率。
Observation Truth
Neutral Anger Disgust Fear Happy Sadness Surprise
Neutral 95.83% 1.67% 0.56% 0.28% 0.00% 1.67% 0.00%
Anger 3.33% 91.11% 2.22% 0.00% 0.00% 3.33% 0.00%
Disgust 5.56% 0.00% 94.44% 0.00% 0.00% 0.00% 0.00%
Fear 3.53% 0.00% 0.00% 90.68% 3.49% 2.30% 0.00%
Happy 0.00% 0.00% 0.00% 2.22% 97.78% 0.00% 0.00%
Sadness 0.00% 0.00% 0.00% 0.00% 0.00% 100.00% 0.00%
Surprise 0.00% 0.00% 0.00% 1.11% 0.00% 0.00% 98.89%
Total average: 95.64%
66
表 4-3、Likelihood 非時序辨識方法之基本情緒辨識率。
Observation Truth
Neutral Anger Disgust Fear Happy Sadness Surprise
Neutral 96.67% 0.28% 1.67% 0.00% 0.00% 1.39% 0.00%
Anger 11.11% 83.33% 0.00% 0.00% 0.00% 5.56% 0.00%
Disgust 14.44% 2.22% 83.33% 0.00% 0.00% 0.00% 0.00%
Fear 17.78% 0.00% 0.00% 82.22% 0.00% 0.00% 0.00%
Happy 2.22% 0.00% 0.00% 4.44% 93.33% 0.00% 0.00%
Sadness 20.00% 0.00% 0.00% 0.00% 0.00% 80.00% 0.00%
Surprise 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 100.00%
Total average: 90.89%
Likelihood 時序分析(如本論文 3.3.3 節)之情緒辨識方法。表 4-2 為本研究提出情 緒辨識方法之基本情緒辨識率，表 4-3 為 Likelihood 非時序辨識方法之基本情緒 辨識率。由此二表可看出，個別情緒辨識率由本研究提出之方法整體而言比 Likelihood 非時序辨識方法來得好，甚至有大幅度之改善，而本研究提出之情緒 辨識方法平均辨識率亦高於 Likelihood 非時序辨識方法，且對於較不易與中性情 緒區分之生氣、厭惡、害怕與傷心情緒，受到中性情緒之影響則有所改善，傷心 情緒辨識率更是大幅的提升。
另外，與其他同樣使用 CK+資料庫，對情緒做 7 種基本情緒分類之研究比 較如表 4-4 所示，其中 Jain 等人[53]利用序列影像資訊對人臉情緒做辨識，此研 究結合隱藏變量動態條件隨機域模型(Latent-dynamic conditional random fields, LDCRFs)與條件隨機域模型(Conditional random fields, CRFs)，經由序列影像建立 描述人臉形狀微妙變化之機率模型，有效區分相似人臉表情之動態形狀特徵，藉 由人臉形狀時序變化資訊對情緒類別做時序分析與情緒類別辨識。[17, 54]則以
67
單 張 影像 辨識 基本 情 緒為 主 ，Song 等人[17] 提出結合皮膚形變參數 (Skin deformation parameters, SDPs)與臉部動態參數(Facial animation parameters, FAPs) 之分析，藉由已知的使用者中性表情為基礎，擷取影像強度比例特徵與位移特徵 判斷人臉形變，最後以支持向量機(Support vector machine, SVM)進行情緒分類。
Silva 等人[54]則以局部二值模式(Local binary pattern, LBP)為基礎進行改良，對人 臉影像以像素之梯度大小做編碼，擷取人臉情緒辨識特徵，並以卡方度量 (Chi-squared metric)為基礎，設計人臉情緒分類器，對人臉情緒做分類。
本研究提出之情緒辨識方法，利用時序分析對序列情緒做辨識，最後以最強 程度之端點影像做基本情緒類別判斷與比較。經由相關研究之比較可以看出，本 研究提出之方法，個別情緒辨識率皆可達到 90%以上，相較於同樣以連續人臉資 訊做為辨識特徵之研究[53]，由於特徵之選擇與分類器之設計有所不同，造成個 別情緒辨識效能之優劣有所差異。然而，整體平均辨識率皆較相關研究之方法還 要來得高。主要原因包含兩個部份，其一為本研究時序分析之方法，如本論文
表 4-4、本研究提出之 Likelihood 時序辨識方法與相關研究之比較。
Category Song et. al. [17] Jain et. al. [53] Silva et. al. [54] Proposed method
Neutral 90.07% 73.46% 91.5% 95.83%
Anger 90.57% 76.71% 78.2% 91.11%
Disgust 86.05% 81.51% 92.5% 94.44%
Fear 84.62% 94.37% 71.7% 90.68%
Happy 93.62% 98.55% 93.9% 97.78%
Sadness 90.24% 77.22% 70.4% 100.00%
Surprise 92.31% 99.06% 85.2% 98.89%
Average 89.64% 85.54% 85.3% 95.83%
68
3.3.3 節，能夠避免單張影像不確定之情緒特徵而造成誤判；其二則是本研究於 序列影像中取得特定情緒特徵為基準，將距離特徵結合位移特徵進行情緒辨識，
如本論文 3.2 節之說明，有效提升情緒辨識之效能。