結合嬰兒臉部表情及聲音所分類的情緒結果與分析

(b)

圖 6.27 嬰兒聲音受到雜訊干擾時的聲音波形圖之範例。

(a)嬰兒無聲音的聲音波形圖之範例；(b)嬰兒因撒嬌而哭泣的聲音波形圖之範例。

第四節 結合嬰兒臉部表情及聲音所分類的情緒結果與分析

實驗影片共有 100 段，每段影片均長 1 分鐘 (299 張 frame、3600 個音框)且 整段影片均為同個表情及聲音類別。本系統每 10 秒輸出分類結果，所以每段 60 秒的影片共會輸出 6 次分類結果，而影像部分 10 秒會執行 50 張影像，將此 50 張 影像的表情分類結果經過多數決，選擇出表情分類的類別。而聲音部分 10 秒共會 切割成 600 個音框，將每個音框的聲音分類結果經過多數決，選擇出聲音分類的 類別。由於嬰兒臉部表情的辨識率較嬰兒聲音的辨識率高，所以情緒分類的類別 是以表情分類結果為基礎，像是若表情分類結果為哭時，則聲音分類結果會從飢 餓、疼痛、生氣、想睡覺及撒嬌中選擇音框數量最多的類別，作為嬰兒聲音分類 結果。最後，將表情及聲音的分類結果整合成嬰兒情緒類別。表 6.8 為結合嬰兒 臉部表情及聲音的情緒辨識結果，由表 6.8 可知嬰兒情緒以恬靜辨識效果最為良 好，達到 100%，而平均正確率約為 85.3%。

由於上述實驗影片中每段影片僅包含單一情緒，然而嬰兒的情緒有可能隨時 變化，所以選擇了 1 段包含多種情緒的影片進行測試。該影片長度為 1 分 20 秒 (80 秒)，系統每 10 秒會輸出分類結果，共會輸出 8 次分類結果，而影片中嬰兒的 情緒變化為恬靜至苦惱-低至愉悅。

Time(s)

Time(s)

60

表 6.8 嬰兒情緒的辨識結果 輸入影片類別

訓練資料 測試資料

總影片數 總影片數 系統輸出 正確率 結果數

正確 結果數

苦惱-低 10 20 120 91 75.8%

85.3%

苦惱-中 5 10 60 49 81.7%

苦惱-高 10 20 120 103 85.8%

愉悅 10 20 120 89 74.1%

恬靜 10 30 180 180 100%

(a)

(b)

(c)

圖 6.28 多情緒影片的部分連續影像。

(a)恬靜的連續影像；(b)苦惱-低的連續影像；(c)愉悅的連續影像。

61

(a)

(b)

圖 6.29 連續結果圖之範例。

(a)影片 0 至 10 秒之結果圖；(b)影片 11 至 20 秒之結果圖。

62

(c)

(d)

圖 6.29(續) 連續結果圖之範例。

(c)影片 21 至 30 秒之結果圖；(d)影片 31 至 40 秒之結果圖。

63

(e)

(f)

圖 6.29(續) 連續結果圖之範例。

(e)影片 41 至 50 秒之結果圖；(f)影片 51 至 60 秒之結果圖。

64

(g)

(h)

圖 6.29(續) 連續結果圖之範例。

(g)影片 61 至 70 秒之結果圖；(h)影片 71 至 80 秒之結果圖。

65

圖 6.28 為多情緒影片的部分連續影像，圖 6.28(a)為嬰兒情緒為恬靜的連續影 像，圖 6.28(b)為嬰兒情緒為苦惱-低的連續影像，圖 6.28(c)為嬰兒情緒為愉悅的 連續影像。圖 6.29 為連續結果圖之範例，圖 6.29(a)為影片 0 至 10 秒之結果圖，

此時嬰兒處於發呆狀態，系統將表情判斷為無表情(expressionless)，聲音判斷為無 聲音(soundless)，情緒判斷為恬靜(peace)。圖 6.29(b)為影片 11 至 20 秒之結果圖，

此時嬰兒仍處於發呆狀態，系統將表情判斷為無表情(expressionless)，聲音判斷為 無聲音(soundless)，情緒判斷為恬靜(peace)。圖 6.29(c)為影片 21 至 30 秒之結果 圖，此時嬰兒短暫哭泣約 4 秒，其餘時間處於發呆狀態，因為多數決的緣故，最 後系統將表情判斷為無表情(expressionless)，聲音判斷為無聲音(soundless)，情緒 判斷為恬靜(peace)。圖 6.29(d)為影片 31 至 40 秒之結果圖，此時嬰兒約 0 至 3 秒 處於發呆狀態，接著開始哭泣，因為多數決的緣故，最後系統將表情判斷為哭(cry)，

聲音判斷為撒嬌(cuddle)，情緒判斷為苦惱-低(low distress)。圖 6.29(e)為影片 41 至 50 秒之結果圖，此時嬰兒處於哭泣狀態，系統將表情判斷為哭(cry)，聲音判斷為 撒嬌(cuddle)，情緒判斷為苦惱-低(low distress)。圖 6.29(f)為影片 51 至 60 秒之結 果圖，此時嬰兒仍處於哭泣狀態，系統將表情判斷為哭(cry)，聲音判斷為撒嬌 (cuddle)，情緒判斷為苦惱-低(low distress)。圖 6.29(g)為影片 61 至 70 秒之結果 圖，此時嬰兒由哭轉換至笑，系統將表情判斷為笑(laugh)，聲音判斷為笑(laugh)，

情緒判斷為愉悅(delight)。圖 6.29(h)為影片 71 至 80 秒之結果圖，此時嬰兒處於 笑的狀態，系統將表情判斷為笑(laugh)，聲音判斷為笑(laugh)，情緒判斷為愉悅 (delight)。

由此測試影片中可知，嬰兒的情緒是有可能隨時變化，而由圖 6.29 可知，系 統在辨識多種情緒的影片時，其辨識結果也會隨著嬰兒情緒的不同而改變，故此 系統的辨識結果具有一定的可信度。

66