第四章
實驗找出各音樂使人產生的情緒變化情形以及實驗分析
4.1 實驗方式及系統實做
在實驗方面，我們找 45 位受測者，每人做七次實驗。實驗用的音樂，則是採用日本 National Institute of Advanced Industrial Science and Technology (AIST)所製作的 RWC Music
Database[17]，且使用其中的 POP、CLASSICAL、JAZZ 以及 GENRE 這四種音樂。實驗的 進行則是在設計好的網頁上，只要受測者連上網頁便能夠開始進行實驗。
4.1.1 進行實驗找出能引導情緒至正向的音樂
讓受測者模擬當他處於非正向情緒時，哪些歌曲能將他的情緒引導至正向。而實驗 時，會透過前測與後測量表(圖4.1,圖4.3)的方式，讓受測者填寫當時的自身的情緒狀 態，且量表上將配合文字敘述以及數值，提示受測者該量表的意義及填寫目的，以 下是實驗流程：
Step 1. 受測者填寫第一次量表
圖4.1：填寫前測量表。
首先，受測者先透過量表填入他目前的情緒狀態。
Step 2. 撥放音樂
圖4.2：撥放音樂。
接著，當使用者按下確定後，便開始撥放音樂。
Step 3. 受測者填寫第二次量表
圖4.3：填寫後測量表。
當音樂結束或使用者按下停止後，再次填寫情緒量表紀錄聽完音樂後的情緒狀態。
4.1.2 實驗結果
最後，總共在 300 首歌曲之中，有 185 首歌曲讓受測者的情緒導引至正向，64 首歌 曲讓受測者的情緒導引至負向，剩下的 59 首歌曲則是只影響受測者情緒的 Arousal，
並沒有在情緒的正負向上面起作用。
這樣的結果顯示，當人在聽音樂時，只有在少數情況下，音樂才會使人的情緒 產生負向的變化，例如：受測者多次實驗之後產生倦怠，或是受測者個人對於音樂 的喜好關係影響，而大部分還是會讓情緒產生正向的變化。
4.2 實驗分析
首先要比較的是，之前用來做情緒音樂檢索的方法[1]，以及本篇論文所提出的方法，在 尋找引導情緒的音樂上，效果的好壞。接著觀察的是利用本篇論文的方法，是否真的能 夠將導引至正向以及負向情緒的音樂分類出來。最後是觀察不同類型的音樂，影響情緒 變化的情形。
4.2.1 兩種音樂表示方法的比較
在[2]這篇論文的情緒音樂檢索方法中，在選擇音樂特徵上，所選用的是音高、音量、
音符長度以及速度等，基本的音樂特徵，並且直接做統計上的分析後，用來代表一 首音樂的特性。而本篇論文選用的特徵則是音高變化，音量變化，合音，清晰度以 及和絃等，在音樂家作曲上用來表現個人情感以及音樂主題的元件，且這些特徵在 許多相關的文獻中也有被提到，是影響人們聽音樂時情緒變化的重要因素。因此本 論文在選用這些特徵之後，特別針對了樂理上提到，關於音樂特徵的順序性，把這
些特徵重新定義了表示法。
接著，對於這兩種計算音樂相似度的方法，做了評估，我們利用10times 10-fold cross-validation的方法[26]，即每次從300首歌之中，選取不重複的30首歌曲當作test data，總共做10次。假設某次試驗中，這30首歌中導引至正向的音樂有a首，接著讓 這a首音樂在剩下的270首音樂中，各自去找到與其最相似的λ首歌，並設定一門檻 條件為：「λ首歌之中，要有超過δ個百分比的歌曲是導引至正向的音樂。」假如
這a首歌曲中符合條件的有b首，我們就定義該次試驗的成功率為：
a b
。
舉例來說，我們假定λ=5，δ=80%的情況下，在一次validation時，有15首音樂 是會引導情緒至正向的。若這15首歌曲中的其中一首音樂M1，跟資料庫中最相似 的5首歌曲裡面有80%以上，也就是4首歌曲，也同樣是屬於會引導情緒至正向的音 樂，就可將成功次數加1。如果最後成功的次數為10，那麼成功率就是66%。
最後，在使用本論文的相似度計算方法以及音樂特徵定義下，以及用以前的方 法訂定音樂特徵以及相似度計算方法來做比較，兩者之間成功率隨著δ值的升高，
差距越來越明顯，同時本篇論文的方法其成功率並沒有太明顯的下降趨勢，而另外 一種方法就顯的成功率越來越低。此處的成功率也可以想成是音樂檢索時的準確 率。另外，從實驗結果中可以發現，當δ值提高之後，兩種方法的成功率都會有下 降的趨勢，這是因為即便是引導至相同情緒的歌曲，彼此之間也會有些許的差異性 在，當我們在資料庫中找到最相似的一部分歌曲時，其中必定會包含一些不是我們 所要的答案，也就是δ越高，就代表這些最相似的歌曲中，有越高的比例要跟測試 的歌曲一樣能引導情緒有相同的變化。同樣的，λ值的提高也是因為相同的原因，
所以產生一樣的效果。
以下便是針對不同的λ及δ值所做的實驗結果：(圖中「最相似歌曲數目」即為λ)
δ=60%
0 10 20 30 40 50 60 70 80 90 100
15 20 25 30
最相似的歌曲數目
成功率(%)
本論文方法 方法：李侃儒
圖4.4：δ = 60%時，兩種方法的成功率比較。
δ=70%
0 10 20 30 40 50 60 70 80 90
15 20 25 30
最相似的歌曲數目
成功率(%)
本論文方法 方法：李侃儒
圖4.5：δ = 70%時，兩種方法的成功率比較。
δ=80%
0 10 20 30 40 50 60 70 80 90
15 20 25 30
最相似的歌曲數目
成功率(%)
本論文方法 方法：李侃儒
圖4.6：δ = 80%時，兩種方法的成功率比較。
從上面的結果來看，音樂特徵的順序性在表現一首音樂時，是頗為重要的一項 特性，如果只利用統計的方式來處理音樂的特徵，再去做音樂之間的相似度計算，
當要進行跟情緒有相關的音樂檢索時，效果便會有所差別。
舉個例子來說，當我們有一首歌曲，它的音高根據每個小節來看是：高 高 中 中 低 低，這樣子的順序。如果我們利用統計的方式表現這首歌的音高特徵值，就 會變成：高音1/2、中音1/2、低音1/2。但是這樣子表示最大的缺點就在於，如果有 另外一首歌曲的音高是：低 中 高 中 高 低，雖然用統計的方式表示出來會是一 樣的，但是前一首歌曲聽的人會感覺到音高不斷降低，而後一首曲子的音高會是，
由低轉為中高音變化之後再回到低音，也因此這兩首歌給人的感覺就會有所差異，
但是卻無法用統計特徵的表示法顯現出這樣的差別。所以當我們要利用音樂特徵來 簡化的表示一首歌曲時，就必須先把這些音樂特徵轉變成序列化的形式，也就是本
篇論文所採用的方法，再去做音樂相似度的計算時，就能夠將這些順序上的特性也 表現出來，並且反應在這些歌曲的相似度上。
4.2.2 音樂分群的效果
我們觀察導引情緒至正向的音樂之間，任兩首歌曲的相似度大於給定threshold時各 有多少首，其中每一首音樂都跟其他的每一首音樂互相比較，例如編號1號的正向 音樂，就要跟編號2至185號的音樂做相似度比較，假如編號100號跟1號的音樂，其 相似度大於threshold值，就認定這兩首歌曲相似：
表4.1：不同threshold時，正向音樂之間相似歌曲的數目。
接著觀察導引情緒至正向與負向的兩種音樂之間，任意兩首正向與負向音樂的 相似度大於給定threshold時各有多少首，我們將每一首正向音樂都對負向音樂的每 一首音樂做比較：
Threshold 75% 80% 85% 90%
正向音樂之間 相似歌曲的數目
(共185首)
185 176 125 75
表4.2：正向音樂在不同門檻值下，與負向音樂相似的歌曲數目。
從上面兩個表格中可以看出，當我們設定任兩首音樂相似度門檻大於85%，即認 定兩首音樂是相似時，就可以明顯的透過本篇論文的方法來區分出，導引至正向以及 導引至負向這兩種音樂。這也就代表了這兩種音樂在經過特徵轉換後，一樣是能夠透 過相似度的計算表現出兩者的差異性。
4.2.3 各類型音樂影響情緒的情形
下面圖中的向量箭頭表示使用者情緒的變化情形；箭頭之後的數值後則是表示該種 變化情形共佔該類音樂的百分比；虛線的箭頭則表示，該種變化情形佔該類音樂中 的比例屬於非常少數的情況；橫軸代表的是Valence，縱軸代表的是Arousal，因此箭 頭指向右半邊就代表情緒是往正向的方向變化。
Threshold 75% 80% 85% 90%
正、負向音樂之間 相似的歌曲數
(共185首)
155 109 60 21
圖4.4：古典音樂引導正向情緒。 圖4.5：爵士樂引導正向情緒。
圖4.6：流行音樂引導正向情緒。 圖4.7：各類音樂(不包含以上三種音樂；
有傳統音樂，拉丁音樂，童謠，行進曲等)。
從上面的圖來看，我們可以發現，大部分能引導情緒至正向的音樂，影響的方 式是使得Arousal與Valence兩者成正比的關係，且極少數的音樂是只會影響Valence 至正向，但對Arousal幾乎不產生影響。再來是Valence與Arousal呈現反比關係的音 樂，這些音樂則是在特定(JAZZ)的音樂型態中才出現的比較多，不如正比關係的音 樂那樣一般性較高。
根據前面的結果，當我們碰到需要讓情緒的Arousal與Valence呈現正比且正向的 變化時，我們只要找到是屬於引導情緒至正向的音樂，大部分都可以達到這樣的效 果。因此，在影響情緒至正向的音樂中，不管是哪一種類型的音樂，都會引導情緒 往2DES情緒象限的右上方變化，也就是大部分引導情緒至正向的音樂，很容易會 讓情緒呈現比較高亢的狀態。但是我們發現，引導情緒至正向且會降低arousal的音 樂，也就是情緒變化是往2DES右下方的情形，為什麼在數量上會比較少，所以針 對這個情形做了以下的分析，對於引導情緒至正向且會降低arousal的音樂，以及會 引導情緒至負向的音樂做了相似度的比較：
負向音 樂類別 相似度
引導情緒至負向且降低arousal(↙) 引導情緒至負向且提升arousal(↖)
引導情緒至正向且 降低arousal(↘)
67.33% 25.46%
表4.3：引導情緒至正向且降低arousal的音樂，與兩種負向音樂的相似度。
表4.3中的相似度，是把兩種類型的音樂，兩兩之間計算相似度之後平均的結 果。我們可以看到，在引導情緒的變化上，會使情緒往2DES右下方變化的音樂，
在對於那些往左上方變化的音樂，彼此之間的相似程度的確是很低，但是跟往2DES 左下方變化的音樂卻有67%的相似度在。這表示，那些會降低arousal的音樂，在影 響valence至正向或是負向的效果是不容易區別的。
而的確，當受測者在實際聽到這類的音樂時，也表示會容易有模糊的感覺，因 此在填寫情緒量表時，就比較不容易分辨出到底情緒的變化是往正向或是負向，只 能明確知道 arousal 的確是降低了，但是在填寫 valence 的時候比較沒辦法做出準確 的結果。所以，當我們在尋找引導情緒至正向的音樂時，判斷一首影響情緒至 2DES 右上方的歌曲，會比判斷一首影響情緒至 2DES 右下方的歌曲，有更高的信心度。
