第四章 系統實作
4.6 系統介面
我們建立一個簡單的系統，簡單介紹各個步驟，系統的介面。圖 4.3 為系統首頁，可 以讓使用者聆聽原始的MIDI。經由粗略分段的結果，將每一段以 Motivic treatment 方法找 出的動機，我們分別統計出各個動機變化出現的數量，以及動機的長度。圖 4.4 為最後精 細分段結果呈現的頁面，所有段落的長度也會被呈現出來。四個步驟的 MIDI 音樂檔都可 以直接在線上收聽。
圖 4.3：原始 MIDI 檔案頁面。
圖 4.4：最後找出精細段落的頁面。
第五章
實驗
5.1 實驗資料與實驗設計
本研究目的在於提供使用者可以瀏覽音樂的主題段落。所以我們針對 10 首不同的音 樂，做主題分段。表 5.1 為我們所實驗的音樂列表，包含有巴洛克時期、古典時期、浪漫 時期等不同時期。所有的音樂我們請兩位受過專業音樂教育的愛樂者，以主題為基礎做分 段，以作為評估實驗結果的Ground truth。
表 5.1：音樂資料列表
作曲者 曲名 時間長度
海頓 小夜曲 05:43
莫札特 土耳其進行曲 03:44
柴可夫斯基 胡桃鉗序曲 03:18
芭達潔芙絲卡 少女的祈禱 03:52
布拉姆斯 圓舞曲 01:42
莫札特 小步舞曲 02:26
貝多芬 給愛麗斯 02:56
巴哈 聖母頌 02:25
布拉姆斯 匈牙利舞曲 02:03
韋瓦第 春之頌 03:08
在我們所提出來的方法中的第一步驟對於所有音樂，我們針對音長的部分產生兩份不 同的資料，分別以Original Duration 與 IOI 的表示法來表示。接者分別從兩份資料找出粗 略分段結果、動機以及最後的精細分段結果。最後，我們將兩份個別的精細分段結果與 Ground truth 做比較，評估我們所提出的方法效果。
5.2 實驗評估方法
目前的相關研究在評估準確率時，常用Precision 以及 Recall 兩種評估值。Precision 的 值表示找出來的分段結果中，符合Ground truth 的比例；Recall 的值表示找出來的分段結果
包含的Ground truth，與所有 Ground truth 的比例。至於，判斷是否與 Ground Truth 相符合，
是比較找出來的一個分段與Ground truth 對應的段落，是否誤差在一定的範圍內。
然而，考慮Precision 與 Recall 可能造成兩種問題的發生。第一種，當我們將一段 Ground truth 切成一個以上的段落時，也就是多找出幾個分段點，所有的結果都會被判斷為不符合 Ground truth，造成 Precision 或 Recall 的值降低。如圖 5.1 所示，下方的長條圖為分段結果 的Gruond truth，上方為欲評估的分段結果。長條圖內的數字代表小節。假設誤差不能超過 3 個小節，我們在第一段的地方多分出了一段，因為超過誤差範圍，所以在計算 Precision 和Recall 時，會把第一段的結果全部當作不符合。第二種，依據我們的方法所切割出來的 結果與Ground truth 都相近，但是都超過誤差時，會被判斷為全部不符合使得 Precision 與 Recall 的值為 0。如圖 5.2 所示，上方為 Ground truth 的結果，下方為透過我們方法分段的 結果，由於每一個小節都超過誤差，所全部都不能算是符合。因此，Precision 與 Recall 並 不能表示出相似的程度，所以我們必須利用其他能夠呈現相似度的評估方法來對結果作評 估。
圖 5.1：Precision 與 Recall 誤判的第一種情形。
圖 5.2：Precision 與 Recall 誤判的第二種情形。
我們設計一個新的評估實驗效果方法，比較我們方法所找出來的結果以及Ground truth 之間的相似度，我們令U=<u1, u2,…, um>代表我們方法的分段結果，V=<v1, v2,…, vn>為 Ground truth。ui 或 vj 以(starti,endj)或(startj,endj)所表示，start 表示段落 ui 開始的小節，end 表示段落ui 結束的小節。
[範例 5.1] 一首音樂段落的情形為<(1,5), (7,11), (15,20)>，表示這首音樂總共分為三段，第
一段由第一個小節開始，到第五個小節結束；第二段由第七個小節開始，第十一個小節結
1 20 21 30 31 40
1 10 11 20 21 30 31 40
1 10 11 20 21 30 31 40
1 5 6 15 16 25 26 37
束；第三段由第十五個小節開始，第二十個小節結束。 似度時，也會有好壞不同的結果。舉例來說，U = <(1,9), (10,13), (14,29), (30,33), (34,58)>，
(1, 9) (10, 13) (14, 29)(30, 33)(34, 58)
V=<(1,4), (5,29), (30,33), (34,58)>，可能有圖 5.3 所示的兩種對應方法。圖 5.3 的上方，是 將 U2對應到 V2的情形，下方是將 U3對應到 V2的情形，兩者在總體所計算出來的相似度 並不相同。因此，我們必須考慮所有對應的情形，並且挑出最佳的結果。
我們可以應用Dynamic programming 的技術建立一個矩陣 S，求出 S(U,V)的結果。在 Dynamic programming 的計算過程中，我們只考慮下面兩種情形。第一種為 Map 的情形，
對於S[m, n] = S[m-1, n-1] + s(um,vn)。第二種為 Ignore 的情形，對於 S[m, n] = S[m, n-1]。所
我們以U = <(1,9), (10,13), (14,29), (30,33), (34,58)>，V=<(1,4), (5,29), (30,33), (34,58)>
為例，我們可以建構出如圖 5.5 的矩陣。其中，圓圈所標記的部分代表 U 與 V 之間的對應 關係。所以我們可以求得U 與 V 的相似度(Similiarty)為 104/30。最後，我們必須以長度作 Normalize，得到最後相似度的結果，所有的結果會介於 0 與 1 之間。
U 與 V 比較相似度時，會有三種可能的情況。第一種，U 與 V 的段落數目相同；
Algorithm Similarity Evaluation
Input: Fine segment result U and ground truth V Output: Similarity between U and V
1. if m ≧ n then {
第二種，U 的段落數大於 V 的段落數；第三種，U 的段落數小於 V 的段落數。一般
以下我們將資料分別以Original duration 與 IOI 兩種不同的方法表達旋律，找出個別的粗略 段落、動機以及最後的精細段落。我們利用5.2 所提出的評估方法，評估最後的實驗結果。
表 5.2 為 Original duration 表示節奏的實驗結果。其中，效果最好的為莫札特的土耳其進行 曲，與Ground truth 的相似度為 0.84，透過我們方法找出來的段落有 17 段，正確的結果有
表 5.2：以 Original duration 來表示音樂節奏的實驗結果。
作曲者 曲名 Result
海頓 小夜曲
0.72
莫札特 土耳其進行曲
0.84
柴可夫斯基 胡桃鉗序曲
0.51
芭達潔芙絲卡 少女的祈禱
0.64
布拉姆斯 圓舞曲
0.81
莫札特 小步舞曲
0.64
貝多芬 給愛麗斯
0.83
巴哈 聖母頌
0.58
布拉姆斯 匈牙利舞曲
0.35
韋瓦第 春之頌
0.59
表 5.3：以 IOI 來表示音樂節奏的實驗結果。
作曲者 曲名 Result
海頓 小夜曲
0.63
莫札特 土耳其進行曲
0.75
柴可夫斯基 胡桃鉗序曲
0.51
芭達潔芙絲卡 少女的祈禱
0.82
布拉姆斯 圓舞曲
0.75
莫札特 小步舞曲
0.64
貝多芬 給愛麗斯
0.80
巴哈 聖母頌
0.43
布拉姆斯 匈牙利舞曲
0.35
韋瓦第 春之頌
0.51
第六章
結論與未來研究
6.1 結論
我們利用音樂的動機輔助對音樂作主題式的分段，進一步提供使用者以主題段落瀏覽 音樂。由於音樂的主題必須透過音樂內容做分析，所以我們探勘出音樂的動機，改善在主 題分段時的效果。
我們利用構成音樂主題最重要的因素動機來輔助主題的分段。我們提出一個以主題分 段的方法，分為以下四個流程。首先，針對一首音樂，我們以All-mono 的技術擷取出音樂 的主旋律，以供分析。我們採用兩種不同的方法來表達主旋律的節奏，分別是保留原始音 長的 Original Duration 與以開始發音時間為間隔的 IOI 表示法。第二，我們修改探勘 Non-trivial 重複樣式的探勘方法，對主旋律做粗略的分段，粗略分段的結果可以用來探勘動 機，以及在最後精確分段的參考。第三，我們利用粗略分段的結果，以 Motivic treatment 的方法探勘動機。我們共考慮Repetition，Transpose，Sequence，Contrary motion，Retrograde 與Augmentation or Diminution 等六種動機變化。分別利用這六種不同的特性，修改傳統找 重複樣式的技術，用以探勘符合動機變化的重複樣式。第四，找出動機後，我們用粗略分 段的結果與動機出現的位置，判斷是否要對一個粗略分段做 Split 或將兩個粗略分段做 Merge，產生出 Theme segments。找出所有的 Theme segments 後，音樂中剩下的 Non-theme segments 會分別檢查長度是否超過一個定值。如果長度超過該定值，也將符合條件的 Non-theme segment 保留在最後的結果內。最後的結果，即可以用來做主題的瀏覽。
我們提出一個新的評估分段效果的方法，改進以前只考慮Precision 或 Recall 所可能造 成的缺點。傳統Precision 或 Recall 的方法不能判斷相似的程度，用在音樂主題分段結果的 評估並不適合。我們提出來的評估方法，找出正確段落的答案與透過我們方法的段落結果 之間，找一個最佳的對應，並且計算每個對應段落之間的相似度，得到最後的結果。
最後，我們針對十首音樂，以Original duration 以及 IOI 兩種不同表示節奏的方法分別 做實驗，並且以我們提出來的評估方法做結果的評估。
6.2 未來研究
除了以 Motivic treatment 的方法來探勘動機外，我們可以用其他的方法來探勘動機。
LBDM 的技術可以將音樂分解成許多的音型(Figure)，動機可以由一個以上的音型所構成。
所以我們可以先利用 LBDM 的技術將粗略分段的結果分解成很多個音型。然後利用 Clustering 的技術將這些音型做分群，同一個群組內的音型即可能與同一個動機相關。我們 在分群的時候，計算音型之間的距離，也可以利用動機變化的六種情形。
除了修改傳統探勘重複續列的方法以符合動機特性外，我們可以進一步訂立出符合動 機特性而且與一般重複序列特性不同的的動機樣式(Motive pattern)，以及探勘的方法，以改 進效率或效果。
直 接 利 用 探 勘 出 來 的 動 機 ， 我 們 也 可 以 自 動 產 生 出 音 樂 的 摘 要(Summary 或 Thumbnailing)。因為動機代表音樂的主題，摘要必須呈現音樂中最主要的部份。所以透過 產生出來的動機，我們可以結合成音樂的摘要。
此外，動機也可以作為以音樂內容查詢(Content based music retrieval)時，比對的資料。
相對於對整首音樂作查詢比對，音樂的動機可以改進比對時的效率。
參考文獻
[1] M. A. Bartsch and G. H. Wakefield, “To Catch a Chorus: Using Chroma-Based Representations for Audio Thumbnailing,” Proc. of Workshop on Applications of Signal
Processing to Audio and Acoustics, WASPAA’01, 2001.
[2] R. Bod, “A Memory-Based Model for Music Analysis: Challenging the Gestalt Principles,”
Journal of New Music Research, Vol. 31, pp. 27-37, 2001.
[3] E. Cambouropoulos, “A Formal Theory for the Discovery of Local Boundaries in a Melodic Surface,” Proc. of the III Journees d' Informatique Musicale, 1996.
[4] E. Cambouropoulos, “The Local Boundary Detection Model (LBDM) and its Application in the Study of Expressive Timing,” Proc. of the International Computer Music Conference,
ICMC’01, 2001.
[5] W. Chai and B. Vercoe, “Folk Music Classification Using Hidden Markov Models,” Proc.
of the International Conference on Artificial Intelligence, ICAI’01, 2001.
[6] W. Chai and B. Vercoe, “Music Thumbnailing via Structural Analysis,” Proc. of ACM
International Conference on Multimedia, MM’03, 2003.
[7] W. Chai and B. Vercoe, “Structural Analysis of Musical Signals for Indexing and Thumbnailing,” Proc. of ACM/IEEE Joint Conference on Digital Libraries, JCDL’03, 2003.
[8] Y. J. Chen, “A Fast Repeating Pattern Finding Algorithm for Music Data: A Human Perceptive Approach,” Master Thesis, Department of Electrical Engineering, National Cheng Kung University, Taiwan, 2004.
[9] D. Conklin and C. Anagnostopoulou, “Representation and Discovery of Multiple Viewpoint Patterns,” Proc. of the International Computer Music Conference, ICMC’01, 2001.
[10] R. B. Dannenberg, “A Brief Survey of Music Representation Issues, Techniques and Systems,” Computer Music Journal, Vol. 17, No. 3, pp. 20-30, 1993.
[11] R. B. Dannenberg, B. Thom, and D.Watson, “A Machine Learning Approach to Musical Style Recognition,” Proc. of International Computer Music Conference, ICMC’97, 1997.
[12] C. David, Virtual Music : Computer Synthesis of Musical Style, MIT Press, 2001.
[13] S. Dixon, E. Pampalk, and G. Widmer, “Classification of Dance Music by Periodicity Patterns,” Proc. of International Symposium on Music Information Retrieval, ISMIR’03, 2003.
[14] M. Grachten, J. L. Arcos and R. L. Mántaras, “Melodic Similarity: Looking for a Good Abstraction Level,” Proc. of International Symposium on Music Information Retrieval,
ISMIR’04, 2004.
[15] K. Hirata and S. Matsuda, “Interactive Music Summarization based on GTTM,” Proc. of
International Symposium on Music Information Retrieval, ISMIR’02, 2002.
[16] J. L. Hsu, “Content-based Music Information Retrieval and Analysis,” Ph.D. Thesis, Department of Computer Science, National Tsing Hua University, Taiwan, 2001.
[17] J. L. Hsu, C. C. Liu, and A. L. P. Chen, “Discovering Nontrivial Repeating Patterns in
[17] J. L. Hsu, C. C. Liu, and A. L. P. Chen, “Discovering Nontrivial Repeating Patterns in