本節展示系統計算情緒轉折較為明顯的音樂之結果,本次範例歌曲為英國樂 團 Breed 77 翻唱之 Zombie,原唱為 The Cranberries(小紅莓樂團)。選擇本音樂作 為範例之原因為此曲段落分明,圖 5.2.1 為此曲的時域波形,並附有各個段落的 樂器編制。
圖 5.2.1 Zombie-時域波形與樂器編制
圖 5.2.1 可以看到 Zombie 從 0 至 100 秒之時域波形與樂器編制,總共有 6 個明 顯的段落,段落 1 到 3 為前奏的部分,第 1 段為木吉他刷和弦節奏,第 2 段加入 了電吉他、鼓與貝士,第三段類似於第 1 段。段落 4、5 為主歌的部分,第 4 段 為木吉他刷和弦節奏與音量適中的歌唱,第 5 段加入了電吉他、打擊樂器且歌唱
聲音變的稍微高亢一些。第 6 段為副歌的部分,較前段加入了鼓與貝士,歌唱部 分變成激烈的嘶吼。
系統介面於各個段落尾端時的軌跡可以參考圖 5.2.2 至圖 5.2.7。可以看到第 1 段的情緒較為舒適偏向振奮;第 2 段則因為鼓和電吉他的聲音使情緒偏向焦慮 與振奮;第 3 段回到舒適區且前奏結束;第 4 段為主歌的部分較為舒適;第 5 段末準備進入副歌情緒偏向振奮與焦慮;第 6 段副歌進行中,情緒高漲位於焦慮 區域。系統實際動畫請至交通大學聲音與音樂創意科技碩士學位學程網頁觀賞。
圖 5.2.2 Zombie-第 1 段末之情緒軌跡變化
圖 5.2.3 Zombie-第 2 段末之情緒軌跡變化
圖 5.2.4 Zombie-第 3 段末之情緒軌跡變化
圖 5.2.5 Zombie-第 4 段末之情緒軌跡變化
圖 5.2.6 Zombie-第 5 段末之情緒軌跡變化
圖 5.2.7 Zombie-第 6 段末之情緒軌跡變化
六 六 六
六、 、 、 、結論與未來展望 結論與未來展望 結論與未來展望 結論與未來展望
在往後的系統中,將會考量更多足以影響情緒的音樂特徵,並且實作於智慧 手機應用程式上,配合即時的音樂情緒軌跡互動與概要情緒辨識功能,將帶給使 用者更深刻的音樂聆聽經驗。目前也有學者正在進行腦波與音樂情緒的相關研 究,並使用類似於 Thayer 的情緒模型,往後若能得到更具信服力的研究結果,
將可以利用其結果對本系統進行最佳化,使的各個特徵值對應的情緒分數能夠更 精準並且貼近人類的感知。
配合及時的情緒的變化,人與電腦的創意互動也將增加相當大的可能性,例 如在舞台劇中,可以配合音樂情緒變化來控制舞台燈光的變化,使觀眾經歷更有 趣的鑑賞經驗。在音樂檢索的相關應用中,反向的應用目前也逐漸有學者投入研 究,如利用節奏追蹤系統來控制燈光與舞台表演者互動,往後或許能依照該情緒 的特有模式來進行自動作曲,即自動作出帶有特定情緒的音樂,這也是相當值得 研究的方向。
七 七 七
七、 、 、 、參考文獻 參考文獻 參考文獻 參考文獻
[1] Feng, Y., Zhuang, Y., Pan, Y., “Music information retrieval by detecting mood via computational media aesthetics,” Proceedings of the 2003 IEEE/WIC International Conference on Web Intelligence Washington, DC, USA 2003.
[2] W. Chai and B. Vercoe., “Detection of key change in classical piano music,” In ISMIR, London, 2005.
[3] Kyogu Lee, “Automatic Chord Recognition from Audio Using Enhanced Pitch Class Profile,” In Proc. Intl. Computer Music Conf. (ICMC), New Orleans, USA, 2006.
[4] L. Lu, D. Liu, and H.-J. Zhang, “Automatic mood detection and tracking of music audio signals,” IEEE Transactions on Audio, Speech, and Language Processing, 14(1): 5–18, January 2006.
[5] Yi-Hsuan Yang, Yu-Ching Lin, Ya-Fan Su y Homer H. Chen. “Music Emotion Classification: A Regression Approach,” In Proc. IEEE Int. Conf. Multimedia Expo 2007 (ICM E'07), Beijing, China, pp. 208-211.
[6] Foote, J., “Visualizing music and audio using self-similarity,” In Proc. ACM Multimedia 99, Orlando, FL, pp 77-80, 1999.
[7] Foote, J., “Automatic Audio Segmentation using a Measure of Audio Novelty,” in Proc. ICME 2000.
[8] Foote, J. and Uchihashi S., “The beat spectrum: a new approach to rhythm analysis,” In Proceedings of the 2nd International Conference on Multimedia and Expo (ICME’01), IEEE, 2001.
[9] Y.-H. Yang et al, “Mr. Emo: Music retrieval in the emotion plane,” Proc. ACM MM, 2008, accepted.
[10] Cyril Laurier and Perfecto Herrera, “Mood Cloud: A Real Time Music Mood,”
Music Technology Group Universitat Pompeu Fabra, 2008.
[11] Hevner, K., “Experimental studies of the elements of expression in music,”
American Journal of Psychology, 48, 248-68, 1936.
[12] Lazarus, R.S., “Progress on a cognitive-motivational-relational theory of emotion,” American Psychologist, 46, 819-834, 1991b.
[13] Thayer, R.E. “The Biopsychology of Mood and Arousal,” Oxford University Press, NY, 1989.
[14] A. Tellegen, D. Watson and L.Clark., “On the dimensional and hierarchical structure of affect,” Psychological Science, 1999.
[15] R. Reisenzein and W. Schonpflug, “Stumpf 's Cognitive-Evaluative Theory of Emotion,” American Psychologist, 1992.
[16] Meyers, O.C., “A Mood-Based Music Classification and Exploration System,”
MS Thesis, Massachusetts Institute of Technology (MIT), USA, 2007.
[17] Fabien Gouyon and Perfecto Herrera, “A beat induction method for musical audio signals,” in Proc. WIAMIS Special session on Audio Segmentation and Digital Music, 2003.
[18] Dixon, S. (2001b). “An interactive beat tracking and visualisation system,” In Proceedings of the International Computer Music Conference, pages 215–218, San Francisco CA. International Computer Music Association.
[19] C. Duxbury, M. Sandler, and M. Davies, “A hybrid approach to musical note onset detection,” in Proc. Digital Audio Effects Conf. (DAFX,’02), Hamburg, Germany, 2002, pp. 33–38.
[20] Andre Holzapfel and Yannis Stylianou, “Beat tracking using group delay based onset detection,” in MIREX at 7th International ISMIR 2008 Conference, 2008.
[21] V. Kandia and Y. Stylianou, “Detection of clicks based On group delay,”Accepted in Canadian Acoustics, 2008.
[22] Simon Dixon, “Mirex 2006 audio beat tracking evaluation: Beatroot,” in MIREX at 7th International ISMIR 2006 Conference.
[23] Fabien Gouyon and Perfecto Herrera, “A beat induction method for musical audio signals,” in Proc. WIAMIS Special session on Audio Segmentation and Digital Music, 2003.
[24] F. Gouyon, A. Klapuri, S. Dixon, M. Alonso, G. Tzanetakis, and C. Uhle, “An
Speech and Audio Proc., vol. 14, no. 5, 2006, to appear.
[25] Hanna Järveläinen,Vesa Välimäki, “Audibility of initial pitch glides in string instrument sounds,” Proceedings of the International Computer Music Conference, Havana, Cuba, 17-23 September 2001, 282–285.
[26] Thomas D. Rossing, Richard F. Moore, Paul A. Wheeler ,“The science of the sound” 3rd Ed.
[27] Jyh-Shing Roger Jang, “Audio Signal Processing and Recognition,” available at the links for on-line courses at the author's homepage at:
http://www.cs.nthu.edu.tw/~jang.
[28] Simon Dixon, “Onset detection revisited,” In Proc. of the Int. Conf. on Digital Audio Effects (DAFx-06), pages 133–137, Montreal, Quebec, Canada, Sept.
18–20, 2006.
[29] Krumhansl, C.L., “Cognitive Foundations of Musical Pitch,” Oxford Psychological Series, no. 17, Oxford University Press, New York, 1990.
附錄 附錄
31 Sit on the Sun Keren Ann 1
44 Mountain Greenery John Pizzarelli 1
45 Moon River Fried Pride 1
68 Summer 久石讓 2
69 Summer 久石讓 2
70 Vent D'Ailleurs Jacques Stotzem 2
71 Gloomy Sunday Loreena McKennitt 2
72 Sleep Don’t Weep Damien Rice 2
95 Paranoid Android Radiohead 2
96 15 Steps Radiohead 3
105 Showbiz Muse 3
140 Paranoid Android Radiohead 3
141 Electioneering Radiohead 3
142 Electioneering Radiohead 3
143 Electioneering Radiohead 3
144 Sky Sky Sky DEPAPEPE 4
179 Star Chaser Spitz 4
180 Star Chaser Spitz 4
181 Am I Wry No Mew 4
182 Eurostar T Square 4
183 Eurostar T Square 4
184 Fightman T Square 4
185 Bird land Weather Report 4
186 Bird land Weather Report 4
187 The Man in the Green Shirt Weather Report 4
188 Jerry's Breakdown Peppino D'Agostino 4
189 Tennesee Rag Chet Atkins 4
190 Higher The Band Apart 4
191 When You Wish Upon a Star The Band Apart 4
192 Band Apart Band Apart 4
附錄 附錄 附錄
附錄 B- 不同高斯函數個 不同高斯函數個 不同高斯函數個數 不同高斯函數個 數 數的 數 的 的 的 GMM 訓練結果 訓練結果 訓練結果 訓練結果
高斯函數個數:2
Inside-Test 辨識率:80.0595%
圖 B.1 高斯函數個數 2-類別 1&2 分佈
圖 B.2 高斯函數個數 2-類別 3&4 分佈
圖 B.3 高斯函數個數 2-所有類別邊界
高斯函數個數:4
Inside-Test 辨識率:81.8452%
圖B.4 高斯函數個數4-類別1&2分佈
圖B.5 高斯函數個數4-類別3&4分佈
圖B.6高斯函數個數4-所有類別邊界
附錄 附錄
附錄 附錄 C- 查準率與查全率之數學定義 查準率與查全率之數學定義 查準率與查全率之數學定義 查準率與查全率之數學定義
在評估資料檢索的方式中,常利用查準率(Precision)與查全率(Recall)來衡量 系統的效能,以下為其數學定義:
Relevant Documents Retrieved Precision
Total Retrieved Documents
Relevant Documents Retrieved Recall
Total Relevant Documents
=
=
其中Relevant Documents Retrieved為檢索系統所找到正確的資料數目,Total Retrieved Documents為檢索系統總共回傳的資料數目,Total Relevant Documents 則為被檢索的資料庫中實際上符合檢索條件的資料數目。也就是說查準率為評估 系統回傳資料的正確比例,而查全率為評估系統實際上能找到的正確資料數目。