第一節 結論
本研究使用嬰兒臉部表情及聲音，辨識嬰兒目前的情緒及生理需求，其目的 在於藉由跨領域的整合提高情緒辨識的正確率，並藉此得知嬰兒目前情緒類別，
以幫助父母了解嬰兒的情緒變化及生理需求，並更有效率的安撫及滿足嬰兒的需 求。本系統主要分為嬰兒臉部偵測、嬰兒臉部特徵擷取、聲音特徵擷取及情緒分 類。
本 研 究 將影 像 轉 至 NCC(normalized color coordinates) 色 彩 空 間 ，並 利 用 Soriano 等人所提出 Locus model 擷取出影像中膚色區域。然後使用外輪廓線來描 述影像中膚色區域的各個區塊，並選擇最大的區塊做為嬰兒臉部區域。找出嬰兒 臉部區域後，本研究採用 local ternary pattern 標示影像中嬰兒臉部輪廓線及五官，
接著進行差分影像的累積並計算 Zernike moments 值，當作嬰兒臉部特徵使用。
聲音特徵擷取方面，則採用語音研究中計算常見的 MFCCs 與其差量倒頻譜係數 作為嬰兒聲音特徵使用。最終系統將表情及聲音的分類結果整合成嬰兒情緒類 別。
實驗影片共有 100 段且整段影片均為同個表情類別，合計影片長度約為 100 分鐘。因為嬰兒情緒時常變化，所以本系統每 10 秒輸出嬰兒表情、聲音及情緒分 類之結果，透過實驗結果可得知，嬰兒情緒辨識之平均正確率約為 85.3%(表 6.8)，
若未來考慮加入更多特徵並深入考慮嬰兒臉部表情及聲音之間的對應關係，則本 系統的辨識效果會更加良好。
第二節 未來工作
本系統未來還有些許地方需要改進，在嬰兒臉部特徵擷取及聲音特徵擷取方 面，因為考慮到即時性，選擇的特徵數有所限制，未來希望將系統加速並加入其 他特徵使得嬰兒表情分類能更加準確。在嬰兒表情分類方面，本系統僅將嬰兒表 情分為三類，但實際上嬰兒還有其他表情，未來希望能增加嬰兒表情分類的類別，
67
使得分類結果能更多樣化。在嬰兒聲音分類方面，本系統使用攝影機內建的麥克 風作為錄音設備，雖然已將攝影機放置於嬰兒身旁，但仍會受到他人聲音與背景 音的干擾，未來希望能過濾非嬰兒發出的聲音，使得聲音辨識能更加準確。
本系統選擇對情緒變化較明顯的紅圈區域，做為後續 Zernike moments 的計 算區域。但目前系統在偵測嬰兒臉部時，都繪製固定大小且固定位置的紅圈區域 於嬰兒臉部，當嬰兒有較大的動作時或嬰兒屬於側臉時，可能會造成繪製紅圈的 位置不夠準確，因此未來希望能增加動態改變紅圈位置的機制，使得該紅圈位置 能更準確的框出嬰兒五官，進而改善本系統表情辨識之效果。
本系統結合臉部表情及聲音進行嬰兒情緒辨識，當系統偵測不到嬰兒臉部時 或無法收音時皆能正常運作，但若是兩者皆無時，系統會無法啟動。所以未來希 望能與嬰兒呼吸監控系統整合，發展成全方位的嬰兒監控系統。
68
參考文獻
[Bri32] K. M. B. Bridges, “Emotional Development in Early Infancy,” Child
Development, vol. 3, no. 4, pp. 324-341, 1932.
[Che09] W. Chen, T. Sun, X. Yang, and L. Wang, “Face Detection Based on Half Face-template,” Proceedings of the International Conference on
Electronic Measurement & Instruments, Beijing, China, pp. 4_54-4_58,
2009.[Chi13] C. Y. Chiu and P. T. Huang, “Application of the Honeybee Mating Optimization Algorithm to Patent Document Classification in Combination with the Support Vector Machine,” International Journal
of Automation and Smart Technology, vol. 3, no. 3, pp. 179-191, 2013.
[Coo95] T. F. Cootes, C. J. Taylor, D. H. Cooper, and J. Graham, “Active Shape Models—Their Training and Application,” Computer Vision and Image
Understanding, vol. 61, no. 1, pp. 38-59, 1995.
[Cru14] A. C. Cruz, B. Bhanu, and N. S. Thakoor, “Vision and Attention Theory Based Sampling for Continuous Facial Emotion Recognition,” IEEE
Transactions on Affective Computing, vol.5, no.4, pp. 418-431, 2014.
[Ekm78] P. Ekman and W. Friesen, “Facial Action Coding System: A Technique for the Measurement of Facial Movement,” Consulting Psychologists
Press, 1978.
[Gee09] A. Geetha, V. Ramalingam, S. Palanivel, and B. Palaniappan, “Facial Expression Recognition—A Real Time Approach,” Expert Systems with
Applications, vol.36, no.1, pp. 303-308, 2009.
[Kan00] T. Kanade, J. F. Cohn, and Y. Tian, “Comprehensive Database for Facial Expression Analysis,” Proceedings of the IEEE International Conference
on Automatic Face and Gesture Recognition, Grenoble, France, pp.
46-53, 2000.[Laj12] S. M. Lajevardi and H. R. Wu, “Facial Expression Recognition in Perceptual Color Space,” IEEE Transactions on Image Processing, vol.
21, no. 8, pp. 3721-3733, 2012.
69
[Li13] Y. Q. Li, S. F. Wang, Y. P. Zhao, and Q. Ji, “Simultaneous Facial Feature Tracking and Facial Expression Recognition,” IEEE Transactions on
Image Processing, vol. 22, no. 7, pp. 2559-2573, 2013.
[Lin12] J. C. Lin, C. H. Wu, and W. L. Wei, “Error Weighted Semi-coupled Hidden Markov Model for Audio-visual Emotion Recognition,” IEEE
Transactions on Multimedia, vol. 14, no. 1, pp. 142-156, 2012.
[Pal06] P. Pal, A. N. Iyer, and R. E. Yantorno, “Emotion Detection from Infant Facial Expressions and Cries,” Proceedings of the IEEE International
Conference on Acoustics, Speech and Signal Processing, Toulouse,
France, vol.2, pp. II_721-II_724, 2006.[Sat96] J. Sato and S. Morishima, “Emotion Modeling in Speech Production Using Emotion Space,” Proceedings of the IEEE International Workshop
on Robot and Human Communication, Tsukuba, Japan, pp. 472-477,
1996.[Sin13] A. K. Singh, J. Mukhopadhyay, and K. S. Rao, “Classification of Infant Cries Using Epoch and Spectral Features,” Proceedings of the National
Conference on Communications, New Delhi, India, pp. 1-5, 2013.
[Sir14] P. Siritanawany and K. Kotani, “Facial Expression Classification by Temporal Template Features,” Proceedings of the SICE Annual
Conference 2014, Sapporo, Japan, pp. 604-609, 2014.
[Sor02] M. Soriano, B. Martinkauppi, and S. Huovinen, “Skin Detection in Video under Changing Illumination Conditions,” Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition, Barcelona,
Spain, vol.1, pp. 839-842, 2002.[Tan10] X. Tan and B. Triggs, “Skin Detection in Video under Changing Illumination Conditions,” IEEE Transactions on Image Processing, vol.
19, no. 6, pp. 1635-1650, 2010.
[Taw13] A. Tawari and M. M. Trivedi, “Face Expression Recognition by Cross Modal Data Association,” IEEE Transactions on Multimedia, vol. 15, no.
7, pp. 1543-1552, 2013.
[Tha89] R. E. Thayer, “The Biopsychology of Mood and Arousal,” NewYork, NY,
USA: Oxford Univ. Press, 1989.
[Val11] M. F. Valstar, B. H. Jiang, M. Mehu, M. Pantic, and K. Scherer, “The
70
First Facial Expression Recognition and Analysis Challenge,”
Proceedings of the IEEE International Conference on Automatic Face &
Gesture Recognition and Workshops, Santa Barbara, USA, pp. 921-926,
2011.[Wan09] Y. Wang, X. Ning, C. Yang, and Q. Wang, “A Novel Method for Face Detection Across Illumination Changes,” Proceedings of the Global
Congress on Intelligent Systems, Xiamen, China, vol. 2, pp. 374-378,
2009.[Wu13] C. H. Wu, W. L. Wei, J. C. Lin, and W. Y. Lee, “Speaking Effect Removal on Emotion Recognition from Facial Expressions Based on Eigenface Conversion,” IEEE Transactions on Multimedia, vol. 15, no. 8, pp. 1732-1744, 2013.
[李 11] 李宜蓁，〈孩子語言發展有問題，怎麼辦？〉。出自《親子天下》，第 22 期，2011。
[陳 10] 陳秋利，〈自動膚色範圍界定之嬰兒臉部偵測及表情辨識系統〉。
出自國立臺灣師範大學碩士論文，2010。
[黃 11] 黃律嘉，〈以主成份分析為基礎之嬰兒表情辨識系統〉。出自國立 臺灣師範大學碩士論文，2011。
[游 07] 游祿勳，〈新生嬰兒哭聲情緒之辨識〉。出自國立成功大學碩士論文，
2007。
[盧 93] 盧素碧，〈幼兒的發展與輔導〉。出自文景書局，1993。
[1] Erik Erikson, Available at: http://www.simplypsychology.org/Erik-Er ikson.html, Accessed at 2014.
[2] LIBSVM — A Library for Support Vector Machines, Available at:
http://www.csie.ntu.edu.tw/~cjlin/libsvm/, Accessed 2013.