與其他方法的效能比較

為了證明我們所提的研究方法具有一定的準確性，在此，我們與相關文獻 [55][64]所提的方法進行效能比較，表 4.12 為相關的實驗數據。

表 4.12：本論文所提方法與其他文獻的準確度比較

方法 辨識率

Block-Based LBP[55] 88.9%

Boosted-LBP[55] 91.4%

Boosted-LBP+Boosted-WLDP[64] 91.1%

Ours(2×2) 96.5%

Ours(4×4) 98.0%

[55]主要是利用區塊式 LBP 進行臉部表情紋理特徵擷取，其辨識率為 88.9%。此外，再使用 AdaBoost 演算法訓練出臉部中較具辨識性的區域取代固定 區塊，由實驗數據發現，準確度可達 91.4%。[64]則是提出使用 AdaBoost 演算法 對各類表情訓練出對於分類結果較有幫助的區域後，再利用 LBP 及權重式區域 方 向 性 圖 樣 特 徵 (WLDP) 來 描 述 這 些 重 要 區 域 ， 最 後 結 合 Boosted-LBP 與 Boosted-WLDP 兩種不同性質的混合特徵彼此彌補兩者在表情辨識上的不足，其 辨識率為 91.1%。

由於實驗環境設置不同，不宜直接將表 4.12 中的數據進行比較，但這些實 驗數據仍然可以提供我們作為參考，並了解目前相關技術的研發水準。其中，我 們的方法與文獻[55][64]相較之下，[55]的方法是將每張影像大小 110×150 切割成 18×21 成大小的子區塊，共 42 塊(6×7)，因此其表情特徵直方圖的維度為 42×59 = 2478。文獻[64]以 AdaBoost 選取人臉影像中 100 個有效的區域，將其串接後得

到 100×59 = 5900 維度的特徵，接著使用主成份分析演算法進行降維。我們的方

高達 21%及 17%。相較之下我們的方法可以有效的解決生氣及悲傷這兩類表情 被歸為無表情的問題，使得整體的辨識效果明顯的大幅提升。

表 4.14：本論文所提方法之七種表情混淆矩陣 Predict

Input

Neutral Anger Disgust Fear Happy Sadness Surprise

筆數 筆數 筆數 筆數 筆數 筆數 筆數

Neutral 300 0 2 1 6 9 2

Anger 5 100 0 2 1 0 0

Disgust 1 0 119 0 0 0 0

Fear 3 0 0 94 0 2 0

Happy 8 0 0 0 274 0 0

Sadness 8 0 0 0 0 118 0

Surprise 5 0 0 0 0 0 220

表 4.15：本論文所提方法之七種表情混淆矩陣(%) Output

Input

Neutral Anger Disgust Fear Happy Sadness Surprise (%) (%) (%) (%) (%) (%) (%) Neutral 93.8 0 0.6 0.3 1.9 2.8 0.6

Anger 4.6 92.6 0 1.9 0.9 0 0 Disgust 0.8 0 99.2 0 0 0 0

Fear 3.0 0 0 95.0 0 2.0 0

Happy 2.8 0 0 0 97.2 0 0

Sadness 6.3 0 0 0 0 93.7 0

Surprise 2.2 0 0 0 0 0 97.8

表 4.16：[55]所提方法之七種表情混淆矩陣(%) Output

Input

Neutral Anger Disgust Fear Happy Sadness Surprise (%) (%) (%) (%) (%) (%) (%) Neutral 95.2 0 0 0.8 0.4 3.6 0

Anger 20.4 66.6 3.7 2.0 0 7.3 0 Disgust 5.0 0 92.5 2.5 0 0 0 Fear 10.0 0 0 70.0 17.0 3.0 0 Happy 7.4 0 0 2.5 90.1 0 0 Sadness 31.6 6.4 0 0 0 61.2 0.8 Surprise 5.7 0 0 1.3 0 0.5 92.5

表 4.17：[64]所提方法之七種表情混淆矩陣(%) Output

Input

Neutral Anger Disgust Fear Happy Sadness Surprise (%) (%) (%) (%) (%) (%) (%) Neutral 97.3 0.9 0.3 0.3 0 0 0.3

Anger 21.0 72.4 0 1.0 0 5.7 0 Disgust 3.3 0 94.2 0.8 1.7 0 0 Fear 4.7 1.6 0 80.6 8.5 0 4.7 Happy 3.0 0.4 0 1.9 94.8 0 0 Sadness 17.0 2.6 0 2.0 0 78.4 0

Surprise 0 0 0 0.5 0 0 99.5

(a) (b) (c)

圖 4.9：無表情、憤怒及悲傷的表情影像。(a)無表情、(b)憤怒及(c)悲傷的 表情影像

我們將表 4.15、表 4.16 及表 4.17 整理成圖 4.10，由圖 4.10 可以明顯看出不 同的方法對於每一類表情的分類情形。根據圖 4.10 所示，我們所提的方法在憤 怒、厭惡、恐懼、高興及悲傷的表情中，辨識效能較文獻[55]及[64]的方法優異，

其原因為本論文所提方法為結合全域與區域之紋理特徵，相較於單一使用 AdaBoost 演算法選取特定區域後再進行特徵擷取表現得佳。

然而，我們的方法在無表情的辨識效能略低；反觀[55][64]所提出的方法對 於無表情的分類效能較佳。究其原因可能在於，由於每張無表情影像皆是取自每 一段影像序列中的第一張，最後三張當作表情影像，由於我們所提的方法是將整 張影像進行特徵提取，因此若此段影像序列的表情較不明顯，就容易與無表情過 於相近。由於[55][64]採用 AdaBoost 演算法直接選取較具鑑別度區域進行特徵擷 取，較無此問題存在，故在無表情類別的分類效能較我們所提的方法好。

50.00%

55.00%

60.00%

65.00%

70.00%

75.00%

80.00%

85.00%

90.00%

95.00%

100.00%

Neutral Anger Disgust Fear Happy Sadness Surprise

Accuracy

Facial Expression Classes

文獻[55]

文獻[64]

Ours

圖 4.10：我們的方法與兩篇文獻對七類表情辨識的效能比較

第五章 結論

在臉部表情辨識系統中，一個優異的特徵擷取方法是影響系統效能的關鍵。

本論文中，我們提出一個結合局部與全域臉部表情紋理特徵的擷取技術，期望應 用於表情辨識時能有較佳的效能與準確性。在局部紋理的中，我們使用 LBP 來 擷取特徵，因為 LBP 對於臉部細微紋理特徵的描述較具優勢。至於全域紋理特 徵的擷取，我們使用 TLBP 運算子，由於 TLBP 對於全域特徵的表現較佳，因此 本論文結合上述兩種方法彌補彼此的缺點，比起單獨使用 LBP 或 TLBP 方法，

更能提高表情的辨識效能。

此外，與其他特徵擷取方法相較下，LBP 及 TLBP 具有運算簡單且速度快的 優點。在臉部表情辨識系統中，若能將表情影像樣本先以 SVM 進行訓練後得到 模型，則往後只需將臉部表情影像提取特徵後送入此模型即可辨識，因此很適合 應用在即時的系統上。

針對本論文提出的方法，主要的研究結論有：

1. 臉部表情特徵擷取方法是造成臉部表情辨識系統的成敗關鍵。本論文提出結 合局部與全域的特徵擷取技術，並在實驗中，證實我們所提方法對於表情的 辨識能力及穩定性。因此，我們的方法對於整體的表情辨識系統是具有幫助 的。

2. 為了證實我們的方法在現實生活中能夠應用，我們將本論文提出的方法進行 低解析度影像的臉部表情辨識。結果證實，本論文所提方法不僅比 LBP、

Gabor 小波及幾何特徵的方法辨識準確度高，而且結果也較穩定，對於低解 析度影像仍有相當高的辨識率並兼具強韌性。

3. 為了使臉部表情影像的特徵維度降低，保留重要的資訊並濾除雜訊，我們利 用 DWT 達成資訊量縮減之目的。實驗結果顯示，經由 DWT 處理後的影像 不但可使表情辨識的準確度大幅提高，更兼具降低特徵維度的優點，使得整 體運算速度加快。

4. 樣本數的多寡通常會直接影像分類器的分類能力，造成分類器的分類能力隨 著樣本數的增減而產生大幅度的變化。但是，我們所提的方法能夠擷取出每 類表情之間差異性較大的特徵；因此，從實驗結果中證實，即使每個類別採 用的樣本數大幅減少，也不會對系統的辨識能力產生巨大的影響。

此外，針對本論文提出的方法，未來主要的研究重點有：

1. 將此方法實現於動態影像上。由於動態影像中頭部的姿勢往往會對辨識結果 造成影響，例如頭部方向若非正面或傾斜，則可能導致無法準確擷取到臉部 表情特徵，造成辨識結果不準確。未來希望能夠對於頭部傾斜及臉部方向這 類問題，進一步探討，使得整體表情辨識系統更加完善。

2. 改進無表情類別的辨識效能。實驗結果顯示，與文獻[55][64]相較之下，本 論文所提的方法對於無表情的辨識效能略顯不足。未來希望能結合其他演算 法改善此問題，提升無表情類別的辨識準確率。

3. 目前通用的表情資料庫中，其影像大多為西方人。雖然目前已有一個由日本 女性組成的表情資料庫 JAFFE[59]，為了能更實際應用到我們的日常生活 中，我們希望能夠取得或建立一套具有多樣性的東方人表情資料庫，並套用 本論文所提出的方法，測試其系統辨識效能或進一步改善。將我們的表情辨 識系統應用於各種人機互動的裝置，發揮其所能。

4. 在實際應用中，如果我們提供非表情影像(例如：影像處理中常用的測試影 像，Lena、Cameraman、或 Baboon)作為本系統之輸入，系統仍會將此非表 情影像歸類至七類表情中其中一類。由於我們採用了特徵直方圖進行相關處 理，因此，系統無從判定所取得之影像是否為正確的人臉表情。未來我們需 將取得影像進行前置處理，判定為合法表情影像後才能進行表情辨識。

1 參考文獻

[1] C. Shan, S. Gong, and P. W. McOwan, “Robust facial expression recognition using local binary patterns,” in Proc. Image Processing, Sep.2005, vol. 2, pp.

370-373.

[2] Y. Tian, T. Kanade, and J. Cohn, Handbook of Face Recognition. 2nd Ed., Springer, 2005.

[3] Y. Yacoob and L. S. Davis, “Recognizing human facial expression from long image sequences using optical flow,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 18, no. 6, pp. 636-642, Jan. 1996.

[4] I. Essa and A. Pentland, “Coding, analysis, interpretation, and recognition of facial expressions,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 757-763, Jul. 1997.

[5] M. Yeasin, B. Bullot, and R. Sharma, “From facial expression to level of interests: a spatio-temporal approach,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2004, vol. 2, pp. 922-927.

[6] J. Hoey and J. J. Little, “Value directed learning of gestures and facial displays,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2004, vol. 2, pp. 1026-1033.

[7] M. Pantic and L. Rothkrantz, “Expert system for automatic analysis of facial expression,” Image and Vision Computing, vol. 18, no. 11, pp. 881-905, 2000.

[8] Y. Tian, T. Kanade, and J. Cohn, “Recognizing action units for facial expression analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 2, pp. 97-115, Feb. 2001.

[9] R. E. Kaliouby and P. Robinson, “Real-time inference of complex mental states from facial expressions and head gestures,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2005, pp. 181-200.

[10] M. Pantic and L. J. M. Rothkrantz, “Facial action recognition for facial expression analysis from static face images,” IEEE Transactions on Systems, Man, and Cybernetics, vol. 3, no. 34, pp. 1449-1461, 2004.

[11] M. Pantic and I. Patras, “Dynamics of facial expression: recognition of facial actions and their temporal segments from face profile image sequences,” IEEE Transactions on Systems, Man, and Cybernetics, vol. 2, no. 36, pp. 433-449, 2006.

[12] P. Ekman and W. V. Friesen, “Facial Action Coding System,” Consulting Psychologists Press, College Avenue, Palo Alto, CA, 1978.

[13] I. Kotsia and I. Pitas, “Using geometric deformation features and support

vector machines,” IEEE Transactions on Image Processing, [14]

vol. 16, no. 1, pp.

172-187, Jan. 2007.

Z. Zhang, M. J. Lyons and M. Schuster, and S. Akamatsu, “Comparison between geometry-based and Gabor-wavelets-based facial expression recognition using multi-layer perceptron,” in Proc. IEEE International Conference on Automatic Face & Gesture Recognition, Apr. 1998, pp.

454-459.

[15] M. Valstar, I. Patras, and M. Pantic, “Facial action unit detection using probabilistic actively learned support vector machines on tracked facial point data,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2005, vol. 3, pp. 76-84.

[16] M. Valstar and M. Pantic, “Fully automatic facial action unit detection and temporal analysis,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2006, pp. 149-156.

[17] J. Whitehill and C. W. Omlin, “Haar feature for FACS AU recognition,” in Proc. International Conference on Automatic Face and Gesture Recognition, April. 2006, pp. 2-6.

[18] Y. Zhang and Q. Ji, “Active and dynamic information fusion for facial expression understanding from image sequences,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 5, no. 27, pp. 1-16, 2005.

[19] L. Zhang, D. W. Tjondronegoro, and V. Chandran, “Discovering the best feature extraction and selection algorithms for spontaneous facial expression recognition,” in Proc. IEEE International Conference on Multimedia Expo [20]

, 2012, pp. 9-13.

J. Hamm, C. G. kohler, R. C. Gur, and R. Verma, “Automated facial action coding system for dynamic analysis of facial expressions in neuropsychiatric disorders,” Journal of Neuroscience Methods, vol. 200, no. 2, pp. 237- 256, 2011.

[21] M. S. Bartlett, J. R. Movellan, and T. J. Sejnowski, “Face recognition by independent component analysis,” IEEE Transactions on Neural Network, vol.

6, no. 13, pp. 1450-1464, 2002.

[22] M. J. Lyons, J. Budynek, and S. Akamatsu, “Automatic classification of single facial images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 12, no. 21, pp. 1357-1362, 1999.

[23] M. Turk and A. P. Pentland, “Face recognition using eigenfaces,” in Proc.

IEEE Conference on Computer Vision and Pattern Recognition, 1991, pp.

586-591.

[24] P. N. Belhumeur, J. P. Hespanha, and D. J. Kriegman, “Eigenfaces vs.

fisherfaces: recognition using class specific linear projection,” IEEE

Transactions on Pattern Analysis and Machine Intelligence, vol. 7, no. 19, pp.

711-720, 1997.

[25] X. Feng, M. Pietikainen, and A. Hadid, “Facial expression recognition with local binary patterns and linear programming,” Pattern Recognition and Image Analysis, vol. 15, no. 2, pp. 546-548, 2005.

[26] Z. Zhang, M. J. Lyons, M. Schuster, and S. Akamatsu, “Comparison between geometry-based and gabor-wavelets-based facial expression recognition using multi-layer perceptron,” in Proc. IEEE International Conference on Automatic Face & Gesture Recognition, Apr. 1998, pp. 454-459.

[27] Y. Tian, “Evaluation of face resolution for expression analysis,” in Proc.

CVPR Workshop on Face Processing in Video, 2004, pp. 82-88.

[28] G. Donato, M. Bartlett, J. Hager, P. Ekman, and T. Sejnowski, “Classifying facial actions,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 10, no. 21, pp. 974-989, 1999.

[29] M. S. Bartlett, G. Littlewort, M. Frank, C. Lainscsek, I. Fasel, and J.

Movellan, “Recognizing facial expression: machine learning and application to spontaneous behavior,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2005, vol. 2, pp. 568-573.

[30] X.-B. Bai, Y. Pei, L. Ma, and W. Liu, “Automatic facial expression recognition using gabor filter and expression analysis,” in Proc. Second International Conference on Computer Modeling and Simulation, Jan. 2010, pp. 22-24.

[31] S. Bashyal and G. K. Venayagamoorthy, “Recognition of facial expressions using Gabor wavelets and learning vector quantization,” Engineering Applications of Artificial Intelligence, vol. 21, no. 7, 2008, pp. 1056-1064.

[32] S. M. Lajevardi and Z. M. Hussain, “Facial expression recognition using Log-Gabor filters and local binary pattern operators,” in Proc. International Conference on Communication, Computer and Power, Feb. 2009, pp. 15-18.

[33] T. Ahonen, A. Hadid, and M. Pietikainen, “Face recognition with local binary patterns,” in Proc. European Conference on Computer Vision, 2004, vol.

3021, pp. 469-481.

[34] A. Hadid, M. Pietikainen, and T. Ahonen, “A discriminative feature space for detecting and recognizing faces,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2004, vol. 2, pp. 797-804.

[35] X. Feng, A. Hadid, and M. Pietikainen, “A coarse-to-fine classification scheme for facial expression recognition,” in Proc. International Conference on Image Analysis and Recognition, 2004, vol. 3212, pp. 668-675.

[36] P. Viola and M. J. Jones, “Robust real-time face detection,” International Journal of Computer Vision, vol. 57, no. 2, pp. 137-154, 2004.