混合情緒辨識結果

本實驗挑選 CK+資料庫中未標註情緒類別之序列影像，進行混合情緒問卷 調查，更進一步驗證本方法對混合情緒類別辨識性能做驗證。資料庫中有未標註 情緒類別之序列影像，意味著其端點影像具有不確定性，可能為數種情緒之混合，

故本實驗選擇此類序列之端點影像做問卷調查。本問卷共挑選 CK+資料庫未標 註情緒類別 10 組序列之端點影像供 13 位受測者觀看。受測者根據本身認知，判 斷影像包含哪些基本表情，以百分比形式填入該影像 7 種基本表情(含中性)之比 例，問卷之樣張如附錄 A 所示。

本實驗經由 Likelihood 時序辨識，判斷序列之端點影像基本情緒類別 Likelihood 組合之辨識結果，以驗證本系統能夠對混合情緒 Likelihood 做適當之 判斷。其中 6 組序列影像之端點影像如圖 4-4 ~ 圖 4-9 所示，辨識結果與問卷調 查結果如表表 4-5 ~ 表 4-10。在表 4-5 ~ 表 4-10 中問卷調查之平均為，13 位受 測者判斷該影像每個情緒類別之比例平均，而問卷調查每個情緒之均方根誤差 (Root-mean-square-error, RMSE)( RMSE )，可由(4-1)計算得知，

RMSE = √∑ (x^N_{i=1 i,} − y )²

N , k = 1, 2, … , 7, (4 − 1) 其中 N = 13 (13 位受測者問卷調查結果)；x_i, 代表每位受測者對該影像樣本 情緒比例填寫結果；y 代表第 k 個情緒類別，由 13 位受測者對於該影像樣本情 緒比例判斷結果之問卷調查平均。本實驗對辨識結果與問卷調查結果進行相關性 (Correlation)、均方根誤差(Root-mean-square-error, RMSE)，與情緒類別組合三個 部份之評估，以驗證辨識結果之正確性為目的。

69

圖 4-4、混合情緒測試樣本(Sample Index：2)。

表 4-5、混合情緒辨識與問卷調查結果(Sample Index：2)。

Neutral Anger Disgust Fear Happy Sadness Surprise Proposed

method 0.00% 35.32% 64.66% 0.00% 0.00% 0.01% 0.00%

Average of

survey result 6.92% 28.46% 54.62% 4.23% 0.77% 4.62% 1.92%

RMSE of

survey result 11.82% 29.11% 28.76% 7.03% 2.77% 9.46% 4.80%

圖 4-5、混合情緒測試樣本(Sample Index: 3)。

表 4-6、混合情緒辨識與問卷調查結果(Sample Index：3)。

Neutral Anger Disgust Fear Happy Sadness Surprise Proposed

method 23.16% 3.83% 4.06% 4.45% 56.30% 4.35% 3.84%

Average of

survey result 33.46% 0.00% 0.00% 1.54% 64.23% 0.00% 0.77%

RMSE of

survey result 21.15% 0.00% 0.00% 3.76% 21.59% 0.00% 2.77%

70

圖 4-6、混合情緒測試樣本(Sample Index：4)。

表 4-7、混合情緒辨識與問卷調查結果(Sample Index：4)。

Neutral Anger Disgust Fear Happy Sadness Surprise Proposed

method 12.27% 1.35% 13.66% 57.25% 6.56% 7.51% 1.4%

Average of

survey result 8.46% 13.85% 33.46% 35.00% 0.00% 3.08% 6.15 % RMSE of

survey result 12.14% 22.56% 24.27% 32.02% 0.00% 6.30% 14.46%

圖 4-7、混合情緒測試樣本(Sample Index：7)。

表 4-8、混合情緒辨識與問卷調查結果(Sample Index：7)。

Neutral Anger Disgust Fear Happy Sadness Surprise Proposed

method 0.00% 0.00 % 0.00 % 0.00% 0.00% 100.00% 0.00%

Average of

survey result 2.31% 4.23% 13.85% 7.31% 0.00% 71.92% 0.38%

RMSE of

survey result 4.39% 8.13% 15.02% 9.71% 0.00% 16.27% 1.39%

71

圖 4-8、混合情緒測試樣本(Sample Index: 8)。

表 4-9、混合情緒辨識與問卷調查結果(Sample Index：8)。

Neutral Anger Disgust Fear Happy Sadness Surprise Proposed

method 39.72% 28.85% 30.85% 0.00% 0.00% 0.56% 0.00%

Average of

survey result 37.69% 17.31% 21.92% 0.00% 0.00% 21.92% 1.92%

RMSE of

survey result 22.70% 15.89% 16.01% 0.00% 0.00% 32.76% 6.93%

圖 4-9、混合情緒測試樣本(Sample Index：10)。

表 4-10、混合情緒辨識與問卷調查結果(Sample Index：10)。

Neutral Anger Disgust Fear Happy Sadness Surprise Proposed

method 0.00% 0.00% 0.01% 1.57% 0.00% 0.00% 98.41%

Average of

survey result 39.23% 0.77% 1.15% 4.23% 0.00% 2.69% 52.31%

RMSE of

survey result 28.42% 2.77% 3.0% 9.09% 0.00% 6.65% 28.62%

72

4.3.1. 問卷調查結果與辨識結果相關性評估

本實驗以統計學 Correlation 定義，以(4-2)評估問卷調查個別情緒比例與辨識 結果之相關性，

Corr (X^P, X^Q) =cov(X^P, X^Q)

σ_X^Pσ_X^Q

= ∑ (x^N_{i=1 i,} ^P − y^P)(x_i, ^Q − y^Q)

√∑ (x^N_{i=1 i,} ^P − y^P)²∑ (x^N_{i=1 i,} ^Q − y^Q)²

, k = 1, 2, … , 7, (4 − 2)

其中 N = 10 (10 組序列影像)；X^P代表 Likelihood 辨識結果，x_i, ^P 代表 10 組 序列影像第 k 個情緒類別之 Likelihood，y^P代表 10 組序列影像第 k 個情緒類別 之 Likelihood 平均；X^Q代表問卷調查結果，x_i, ^Q代表 10 組序列影像第 k 個情緒類 別之比例，y^Q代表 10 組序列影像第 k 個情緒類別之比例平均； Corr (X^P, X^Q)值 介於 -1 ~ 1 之間，由表 4-11 結果可看出，所有情緒類別之平均相關性(Correlation) 皆大於 0.5，而其中 6 種基本情緒之平均相關性可達 0.8 以上，高興情緒之平均 相關性達到 0.98，因此整體而言，情緒類別 Likelihood 辨識結果與問卷調查之平 均結果有明顯的正相關。

4.3.2. 整體情緒類別 RMSE 評估

本實驗以整體情緒類別 RMSE 分析問卷調查結果與辨識結果，整體情緒比 例差異之合理性。圖 4-10 為 10 組序列辨識結果之 RMSE(黑直方)，以及問卷調 查中每位受測者判定其中一張端點影像情緒類別整體 RMSE 之平均(灰直方)，

RMSE 公式如(4-3)所示，

表 4-11、情緒 Likelihood 辨識結果與問卷調查平均相關性。

Neutral Anger Disgust Fear Happy Sadness Surprise

Correlation 0.53 0.84 0.86 0.95 0.98 0.95 0.97

73

RMSE = √∑ (x^N_{i=1 i}− y_i)²

N , (4 − 3) 其中 N 代表資料樣本數；x_i代表資料樣本；y_i代表資料樣本平均。辨識結果 RMSE(RMSE_P)計算時，N = 7 (7 類基本情緒)；x_i代表辨識系統辨識之各種情緒 Likelihood；y_i代表各種情緒問卷調查平均。受測者 RMSE(RMSE_Q)計算時，N = 7；

x_i代表受測者判斷各種情緒之情緒比例；y_i代表各種情緒問卷調查平均，所有受 測者RMSE_Q加總取平均即為圖 4-10 灰直方之值。由圖 4-10 可看出，調查結果平 均情緒比例與辨識結果之人臉情緒 Likelihood 大致吻合，整體而言二者關係一致，

RMSE 介於 5% ~ 20%之間。其中，RMSE_P於樣本編號 1 與編號 10 有 20%之誤差，

主要原因在於，13 位受測者或系統本身對於人臉表情認知差異所造成，可由問 卷調查結果RMSE 看出，大多數情況RMSE 相當大。例如：圖 4-9 與表 4-10 中，

問卷調查結果平均以中性情緒與驚訝情緒之比例較高，而辨識系統辨識之 Likelihood 則以驚訝情緒最高，如此之差異，導致系統辨識 Likelihood 之整體

圖 4-10、10 組序列人臉情緒比例調查結果整體均方根誤差(灰直方)，與辨識結果 之均方根誤差(黑直方)。

1 2 3 4 5 6 7 8 9 10

RM S E f o r E m o tio n a l Rat io(%)

Sample Index

Sample Index and RMSE for Emotional Ratio

Proposed method Questionnaire

74

RMSE_P偏高。另外，若與RMSE_Q相比，由圖 4-10 可看出，RMSE_P與RMSE_Q差距 皆不到 5%，除了編號 10 有較大之差距，但其仍在 10%以內，本實驗以此評估 判定辨識結果之誤差在合理範圍內，系統辨識結果與每位受測者判斷影像樣本情 緒之認知差異一致。

4.3.3. 混合情緒類別組合評估

本實驗另外以情緒類別組合做分析，評估問卷調查結果之情緒類別組合，與 辨識結果之情緒類別組合之一致性。在此以(4-4)判斷影像樣本之情緒組合，

SR = ∑ Ratio_i

t

i

, t < 7, (4 − 4)

其中 SR代表問卷調查平均人臉情緒比例之和。當該影像前 t 大問卷調查平均 人臉情緒比例之和SR大於 70%，則影像樣本呈現之情緒，視為此 t 個情緒之組合，

通常為 1 ~ 3 類情緒組合，例如：圖 4-6 與表 4-7 所示，該影像樣本生氣、厭惡、

害怕三者之情緒比例和為 82.31%，故該人臉情緒視為此三者之組合。所有影像 統計結果如圖 4-11 所示，圖 4-11 灰直方為人臉影像經問卷調查判定之主要情緒 組合比例之和，黑直方為由辨識系統對該影像情緒組合之 Liklihood 加總結果，

同樣可以看出辨識結果與問卷調查結果呈現正相關性，辨識結果情緒組合 Likelihood 之和，遠大於其餘 Likelihood 之和。