音樂多重主題結構分析

音樂之多重主題結構分析為系統測試資料的訊號預處理步驟，主要是擷取音樂多重 主題結構的音樂片段。為了測量以多主題音樂結構為基礎的音樂片段，首先要分析的是 樂曲中近似重複片段的週期 t₁,t₂,t₃,t₄ (包含主歌和副歌的近似重複片段)，分別以主歌的近 似重複片段週期之邊界和副歌的近似重複片段週期之邊界作為主題性音樂片段的切割 點，基於音樂時序性分析所有擷取的切割點來找出樂曲演奏完所有主題結構(第一主題 曲式結構)，即將進入第二次重複演奏以前的時間點，亦即間奏部分，由於間奏在音樂 結構中主要扮演連接的角色，對於音樂情緒感受的影響並不大，因此我們將間奏部分視 為自由性擷取，最後，並將所擷取的時間點作為音樂多重主題結構之週期切割點。音樂 多重主題結構之音樂片段的擷取主要著重於主題段落，預設擷取的音樂片段週期如圖 20 的紅色現段，A 代表主歌；B 代表副歌。

圖 20 說明預設擷取的音樂多重主題結構之週期

34

音樂多重主題結構之分析方法分成(1)粗略分段(Rough Segmentation)和(2)精細分段 (Salient Segmentation)兩個主要步驟,詳細說明如下：

(1) 粗略分段－近似重複片段之邊界檢測

訊號預處理：統一所有要分析的音樂檔案格式為.wav 檔，雙聲道，設定取樣頻率為 11025Hz，將音訊檔案切割成固定的音框長度，音框數目依各個音訊檔案的時間長 度改變。

特徵萃取：統一設定音訊檔案的所有參數後，首先萃取音頻訊號波形在頻域空間上 的頻譜特徵來取代萃取音頻訊號中音樂內容相關的聲音特徵所造成複雜且過大的 運算量，常見的如：音高(Pitch)、和弦(Chord)、調性(Tonality)、主音(Key)、rhythm(節 奏)、節拍(Tempo)等。考慮重複片段出現的頻率，將每個音框的頻譜振幅值取平方 而得的能量頻譜(power spectrum)作為一特徵向量，所謂能量頻譜(power spectrum) 定義為一個時間序列的訊號經快速傅立葉(FFT)轉換後振幅的平方值，說明一個時 間序列的訊號變化在頻域空間上的能量分步。接著，利用自相關函數(Autocorrelation) 計算每個音框的能量頻譜特徵來強調重複片段在時域空間上出現的頻率，如圖 21 頻域上能量分布豐富且明顯的部分代表近似重複片段可能發生的時間點。

圖 21 利用各個音框之能量頻譜進行自相關函數計算 資料來源：Mariage Damour.wav

35

相似矩陣：參考 Foote[9][10][11]提出的 Foote’s Self-Similarity 方法，首先利用餘弦 相似度之距離演算法來計算任兩個音框能量頻譜特徵向量之間的相似度，如圖 22，相似 矩陣中顏色越亮代表其相似性越高，主對角線白色部分代表音框自己本身的相似度。從 圖 22 中可以由平行主對角線的白色線條或較明亮的方形區塊來判斷歌曲中近似重複片 段的部分，其中平行主對角線的線條說明了再次發生的“連續性序列音樂”，而方形區 塊表示內部重複出現同種音樂的狀態。基於相似矩陣的對稱性，可以單只針對一個上三 角型或下三角型上的資料做分析。

圖 22 以自相關函數計算任兩個音框能量頻譜特徵向量之相似矩陣

音樂分段：如同 Foote’s Self-Similarity 的做法，根據公式 23，利用一個 32×32 的棋 盤內核矩陣和相似矩陣做各個元素的乘積運算，最後再加總所有音框內的元素乘積 數值而得新穎性計分。如圖 23，其下方圖為新穎性計分的峰值圖。

 

   

2 2

, ,

w w

w w

m n

N i C m n S i m i n

 



 

36

圖 23 相似矩陣和新穎性計分之比對圖 資料來源：Mariage Damour.wav

利用已量測的新穎性計分之峰值來判斷近似重複片段之週期切割點，利用前三高的 新穎性計分做為各個主題週期的切割點，初步以最高之新穎性計分峰值作為近似重 複片段之粗略分段，如圖 23 中之下方圖的 91.45s 處，即為近似重複片段之粗略分 段。在此，將針對新穎性計分的峰值(Novelty score = 1)和谷值(Novelty score = 0)分 別做介紹：

 Novelty score = 0

根據新穎性計分公式，若將棋盤內核矩陣和一個組成元素皆為 1 的矩陣直接作 乘積運算後加總起來，其新穎性計分為等於零，亦即代表圖 23 中下方圖的谷 值部分。依據組成棋盤內核的概念來說明組成元素皆為 1 的矩陣，參考公式 24

37

38

39