實驗四

受到光照方向、拍攝角度等因素影響，拍攝出來的影像也會有所不同。由於 各個表情影像資料庫的影像建立環境不太一致，產生出來之表情影像亦會有所差 異，為了測試我們的方法，是否也適用於其他資料庫的表情之辨識，實驗四我們 將針對四個表情資料庫進行辨識率的測試，以我們所提的方法分別對 CK、CK+、

JAFFE 以及 TFEID 資料庫進行辨識準確率的實驗，特徵擷取方法以實驗一與實驗 二所得之最佳參數：門檻值為 5、區塊大小為 24 pixels × 24 pixels、所取區塊比例 為 60%，作為本實驗之參數設定，結果如表 4.2 所示。

表 4.2：所提方法對於不同資料庫之辨識率

資料庫 6-class 辨識率(%) 7-class 辨識率(%)

CK 99.7 ±0.7 99.3 ±0.5

CK+ 99.4 ±0.8 98.8 ±1.0 JAFFE 86.1 ±3.5 83.2 ±5.8 TFEID 94.3 ±3.4 93.7 ±4.1

相較於 CK 與 CK+的辨識率，在七類表情的辨識結果，TFEID 的辨識率下降 至 93.7%。我們探討其可能原因為：由於 TFEID 資料庫各類表情影像中，每一位 拍攝者只會有一張該類別表情影像，排除了 CK、CK+與 JAFFE 都可能發生訓練資 料集與測試資料集同時擁有同一名拍攝者之同一類別表情影像之情形，辨識難度 提升，進而造成辨識率降低。相較於其他三個資料庫的辨識結果，JAFFE 資料庫 的辨識結果則降至 83.2%，造成此辨識率的大幅落差，探究其可能原因為：JAFFE 資料庫中某些表情之五官變化不太明顯，甚至以人工方式進行表情的辨別，亦難 將其所屬表情分辨出來，如圖 4.10 所示。如此將導致不同類別影像卻擷取出相似 的特徵，進而影響 SVM 所訓練出來的模型，最後造成測試影像被分類錯誤的情形。

(a)無表情 (b)厭惡 (c)悲傷 圖 4.10：JAFFE 中部份較難分辨所屬表情之影像

為了檢視各類表情辨識的情形，我們將各個資料庫之六類及七類辨識結果建 立成混淆矩陣。混淆矩陣主要用於觀察方法對於各類表情的分類效果，以測試資 料對建構出之 SVM 模型進行驗證。表 4.3、表 4.4 為 CK 資料庫之六類與七類表情 之混淆矩陣，表 4.5、表 4.6 為 CK+資料庫之六類與七類表情之混淆矩陣，表 4.7、

表 4.8 為 JAFFE 資料庫之六類與七類表情之混淆矩陣，表 4.9、表 4.10 為 TFEID 資料庫之六類與七類表情之混淆矩陣。

表 4.3：CK 資料庫之六類表情混淆矩陣(%) Output

Input Anger Disgust Fear Happy Sadness Surprise

Anger 99.1 0 0 0 0.9 0

Disgust 0 100 0 0 0 0

Fear 0 0 100 0 0 0

Happy 0 0 0 100 0 0

Sadness 0.8 0 0 0 99.2 0

Surprise 0 0 0.4 0 0 99.6

表 4.4：CK 資料庫之七類表情混淆矩陣(%) Output

Input Anger Disgust Fear Happy Sadness Surprise Neutral

Anger 99.1 0 0 0 0.9 0 0

Disgust 0 100 0 0 0 0 0

Fear 0 0 100 0 0 0 0

Happy 0 0 0 100 0 0 0

Sadness 0 0 0 0 96.8 0 3.2

Surprise 0 0 0 0 0 99.6 0.4

Neutral 0 0 0 0.3 0.6 0 99.1

透過表 4.3 與表 4.4 可得知，CK 表情資料庫在憤怒以及悲傷兩類表情上是較 容易造成判斷錯誤的，甚至在七類表情辨識中，悲傷的表情也有 3.2%會被判定為 無表情。

表 4.5：CK+資料庫之六類表情混淆矩陣(%) Output

Input Anger Disgust Fear Happy Sadness Surprise

Anger 98.1 1.9 0 0 0 0

Disgust 0 100 0 0 0 0

Fear 0 0 100 0 0 0

Happy 0 0 0 100 0 0

Sadness 1.1 0 0.5 0 98.4 0

Surprise 0 0 0 0 0.4 99.6

表 4.6：CK+資料庫之七類表情混淆矩陣(%) Output

Input Anger Disgust Fear Happy Sadness Surprise Neutral Anger 97.5 0.6 0 0 0.6 0 1.3

Disgust 0 100 0 0 0 0 0

Fear 0 0 99.4 0.6 0 0 0

Happy 0 0 0.4 99.6 0 0 0

Sadness 1.6 0 0.5 0 96.2 0 1.6

Surprise 0 0 0 0 0 99.6 0.4

Neutral 0.3 0 0 0 1.0 0 98.7

從表 4.5 與表 4.6 可觀察出，CK+資料庫在六類表情中容易判斷錯誤的表情為 憤怒與悲傷。而無表情的加入，也使得憤怒與悲傷的誤判率更加提升，無表情本 身也容易與憤怒和悲傷表情混淆。

表 4.7：JAFFE 資料庫之六類表情混淆矩陣(%) Output

Input Anger Disgust Fear Happy Sadness Surprise Anger 86.7 10.0 0 0 3.3 0 Disgust 10.3 89.7 0 0 0 0

Fear 0 9.4 81.3 0 6.3 3.1

Happy 0 0 0 96.8 3.2 0

Sadness 3.2 9.7 6.5 3.2 77.4 0

Surprise 0 0 0 3.3 0 96.7

表 4.8：JAFFE 資料庫之七類表情混淆矩陣(%) Output

Input Anger Disgust Fear Happy Sadness Surprise Neutral

Anger 83.3 6.7 0 0 10.0 0 0

Disgust 3.4 86.2 0 0 3.4 0 6.9 Fear 0 6.3 71.9 0 6.3 3.1 12.5

Happy 0 0 0 96.8 0 0 3.2

Sadness 0 9.7 6.5 3.2 67.7 0 12.9 Surprise 0 0 3.3 3.3 0 93.3 0 Neutral 0 0 0 0 13.3 3.3 83.3

觀察 JAFFE 資料庫之辨識結果所產生之混淆矩陣表 4.7 與表 4.8 可以清楚看出，

悲傷表情是最不容易辨別的表情，而七類表情當中僅有 83.3%的憤怒與無表情以及 71.9%的恐懼表情能被正確判定，悲傷甚至只有 67.7%被正確的辨識出來，這也說 明了 JAFFE 資料庫的各類表情影像之間過於相似，造成辨識率偏低的情形。

表 4.9：TFEID 資料庫之六類表情混淆矩陣(%) Output

Input Anger Disgust Fear Happy Sadness Surprise

Anger 94.1 0 0 0 5.9 0

Disgust 0 97.5 2.5 0 0 0

Fear 0 0 85.0 5.0 10.0 0

Happy 0 0 0 100 0 0

Sadness 10.3 0 0 0 89.7 0

Surprise 0 0 0 0 0 100

表 4.10：TFEID 資料庫之七類表情混淆矩陣(%) Output

Input Anger Disgust Fear Happy Sadness Surprise Neutral

Anger 91.2 0 0 0 5.9 0 2.9

Anger Disgust Fear Happy Sadness Surprise

Recognition rate(%)

Facial expression

CK CK+

JAFFE TFEID

圖 4.12：各個資料庫之七類表情辨識結果

Anger Disgust Fear Happy Sadness Surprise Neutral

Recognition rate(%)

Facial expression

CK CK+

JAFFE TFEID

的實驗，期望能找出不一樣的參數設定使得 JAFFE 資料庫的辨識效果得到提升，

結果如圖 4.13 所示。

圖 4.13：JAFFE 資料庫在不同區塊大小與所取區塊比例設定之辨識率

從圖 4.13 得知，與 CK 資料庫的實驗結果相同的是，區塊大小為 24 pixels 時 能得到最好的辨識率為 88.2%；而不同的地方是，所取區塊比例要取至 80%時在各 大小區塊才能得到一個較佳的辨識結果。推測其可能原因為：由於 JAFFE 資料庫 的表情影像較易混淆，需要多一些區塊進行特徵擷取，才能將它們區隔出來，但 若對過多的區塊進行特徵擷取，會因為擷取出較不具辨識能力的特徵進而影響最 後的辨識結果。