行政院國家科學委員會專題研究計畫 成果報告
建構聆聽音樂之腦波分析模式
計畫類別： 個別型計畫
計畫編號： NSC94-2213-E-038-008-
執行期間： 94 年 08 月 01 日至 95 年 07 月 31 日 執行單位： 臺北醫學大學醫學資訊研究所
計畫主持人： 邱泓文 共同主持人： 徐建業
計畫參與人員： 陳致中 洪斐鴻 張文彥
報告類型： 精簡報告
處理方式： 本計畫可公開查詢
中 華 民 國 95 年 10 月 25 日
行政院國家科學委員會專題研究計畫成果報告
建構聆聽音樂之腦波分析模式
Building an analysis model for EEG in response to music
計畫編號：NSC 94-2213-E-038-008 執行期限：94 年 8 月 1 日至 95 年 7 月 31 日 主持人：邱泓文 臺北醫學大學醫學資訊研究所 共同主持人：徐建業 臺北醫學大學醫學資訊研究所
計畫參與人員：陳致中 洪斐鴻 張文彥 臺北醫學大學醫學資訊研究所 一、中文摘要
近年來越來越多的人在推廣音樂用於放鬆及 焦慮舒緩的應用，很多相關的研究也證實了音樂 的效果能夠在焦慮量表及一些生理數據上反映出 來，但目前為止，音樂對人類腦部活動造成的影 響還在初探的階段。本研究著重在聆聽音樂時腦 波之分析方法以及釐清在不同音樂刺激下腦波之 差異。預期以頻譜分析(Spectral Analysis)、獨立 元件分析法(Independent Component Analysis, ICA) 來分析腦波在不同音樂刺激下所產生的變化與差 異，並運用叢集分析(Cluster Analysis)，以腦波變 化差異為特質加以分之為群組，同時並對音樂做 頻譜分析與腦波特質互相比對，藉此觀察音樂特 質與生理訊號特質間的相關性。藉此建立一套音 樂刺激下腦波分析模式並釐清不同類型音樂刺激 下腦波之差異。而本研究的假說有兩點：1.音樂 刺激下會對受測者的腦波造成影響。2.不同的音 樂類型會對受測者的腦波造成不同影響。具體而 言，本研究目的包括：1. 建構一套在音樂刺激下 腦波分析模式。2. 探討在音樂刺激下，腦波在不 同音樂類型狀態下之差異。
本研究主要探討，聆聽不同音樂下，所產生 的腦波訊號。我們用頻譜分析的方法來分析受測 者對不同音樂刺激下之腦波反應。並運用類神經 網路去預測分析。透過頻譜分析取出 4-22Hz 頻譜 能量值，並取 Fp1、P3、P4，當作類神經網路的 輸入，選出 11 位健康的受測者來當作本次實驗的 對象。使用的是國際標準的 10-20 System 來擷取 21 個頻道的腦波。音樂刺激分別為：自選音樂、
重金屬樂、鋼琴鳴奏曲。結果顯示在類神經網路 的模式表現方面，倒傳類神經網路(BPN)在聆聽不 同音樂可以正確被分類出來；自我組織映射圖 (SOM)可以看出不同人之間聽音樂的差異性大於 每個人聽不同音樂的差異。
關鍵詞：音樂治療、頻譜分析、時頻分析、類神 經網路、腦波
Abstract
In recent years, many researches have focused on the physiological effects of music. The electroencephalographic (EEG) is often used to verify the influences of music on human brain activity. In this study, we attempted to apply the spectral analysis and the independent component analysis (ICA) to analyze and to discover the EEG responses of subjects with different musical signal stimuli. It is expected that some features on EEG can be demonstrated to reflect the different musical signal stimuli.
We have demonstrated the responses listening different music by the traditional spectral power data in regarding to slow or fast waves, i.e. α,β, γ waves. In this study, we focused on the EEG classification methods while listening different kind of music. We used spectral power of EEG as the features to be classified. 19 features of 4-22Hz spectra of EEG are used as inputs of artificial neural network for training. Eleven healthy volunteers were chosen to listen to music, and EEG was recorded. 21 channels of EEG signal of international 10-20 system were recorded when subjects listened to music. Fp1 ,P3 and P4 channels were selected for analysis. Musical signal stimuli are metal music, sonata music, and the favorite music selected by subjects. The supervised Back-Propagation neural network can correctly classified the EEG signal in response to different music. The clustering results performed by Self Organization Map revealed that the differences between subjects were greater than those induced from listening different music.
Keywords: Music Therapy, Spectral Analysis, Time-frequency analysis, Artificial Neural Network (ANN), Electroencephalographic (EEG)
二、緣由與目的
近幾年中，越來越多研究在探討音樂在生理 上之影響。腦波(electroencephalographic (EEG))是
過去被廣泛應用在測量腦部活動上之生理訊號。
以往的醫學治療偏重於生理上的治療，而缺乏整 體精神上的醫療照護，故在現代醫學中，精神層 面的療法也日趨重要。音樂治療(Music Therapy) 也是一種治療的方式，依據美國國立音樂治療協 會(The National Association for Music Therapy)於 1977 年「音樂治療職業」(Music Therapy as a Career)一書中，對音樂治療下了如下的定義：「音 樂治療是把音樂的成就當成治療的目標；令音樂 達到恢復(restoration)、保持(maintenance)以及改 進(improvement)個體心理和生理健康的作用，以 使個體行為上帶來良好的(desirable)改變，這種改 變使個體能夠在進行治療以後，對他自己及其所 生存的環境，會有較大的了解，進而達到適當的 社會適應。」音樂治療最大的特色是透過音樂的 變化與運用，進而達成非音樂性的治療目標[1]。
在評估受音樂刺激後腦波變化方面往往採用受測 者填寫問卷分析模式，或將聆聽音樂與種種心智 活動測試(如閱讀、背誦、聆聽等)相比較[2]。
以腦波來說，由於生理訊號是屬於時變訊 號，且所收集到的生理訊號充滿著許多不必要的 雜訊，去除這些雜訊干擾是研究重要的一個議 題。此外，Fitzgiboon 等人的研究探討認知活動 (Cognitive tasks)對 Gamma 波所造成的影響，由 於 Gamma 波對於許多認知活動皆有關連。在特 定的音樂對腦部活動影響方面，最著名的就是 Mozart Effect[3][4]。在 1993 年，當時 Frances 對 36 名心理學大學生進行測試。測試的內容為聆聽 10 分鐘的 Mozart’s (1985, track 1) Sonata for Two Pianos in D Major, K. 448，統計結果發現接 受測試學生的 IQ 測試成績普遍提高了 8 到 9 分。
雖然這不是永久性的，但可以看出 IQ 成績的提高 正是莫札特音樂所具有的某些特殊作用的一個表 現[5]。
此外，也有利用不同的分析方法，對生物訊 息特徵狀態做分類；Guess 與 Wilson[6]兩位研究 者 所 發 表 的 Introduction to Hierarchical Clustering，這篇研究中 Hierarchical Clustering 所 使用的例子，文中截取腦波信號特徵方式為判斷 固定時間長度內腦波的主要波形次數與振動幅度 大小，依照此兩值作為 Hierarchical Clustering 分 類的特徵值來對腦波信號作分類。以往文獻中也 有運用類神經網路來評估腦波特徵值，2003 年日 本一篇研究報導，研究者使用基因演算法 (GA) 去選擇腦波中具有個人特徵的成份，利用因素分 析(FA)來擷取具有個人特徵的腦波資料與利用類 神經網路(NN)去評估經 FA 擷取出的腦波[7]。也 有研究者提出利用不同的分類方法運用於腦-機 介面，所以發展類神經網路於腦波的應用，是一 個不錯的方向[8, 9]。
本團隊已建立起的音樂治療裝置與生理信號 量測的設備，包括音樂播放設備以及心電圖、腦 波圖的紀錄裝置。在腦波量測方面購置 Stellate Sytems 公司的 HARMONIE 腦波量測與儲存分析 設備。內容包含傳統的腦波分析與心律變異性分 析來評估聆聽不同音樂之生心理狀態。獲得下面 五點結論：
1. 有 無 聽 音 樂 以 及 聽 不 同 的 音 樂 類 型 會 對 α power 造成不同的影響。
2. 聽 rock 會引起較強的β power 。 3. 聽音樂會使γpower 上升。
4. α power 和交感神經興奮狀態呈現負相關；
和副交感神經興奮呈現正相關。
5. 音樂的喜好因素會影響α power 的強度。
但由之前研究發現，腦波的頻帶分析雖然可以 幫助我們觀察聽不同情境音樂時的生理狀態，但 是無法增進腦中對音樂的解讀機制的了解，因此 本研究計畫，希望透過 ICA 與叢集分析等新工具 建構腦波分析模式。
本研究著重在聆聽音樂時腦波之分析方法以 及釐清在不同音樂刺激下腦波之差異。預期以頻 譜分析(Spectral Analysis)來分析腦波在不同音樂 刺激下所產生的變化與差異，並運用叢集分析 (Cluster Analysis)，以腦波變化差異為特質加以分 之為群組，同時並對音樂做頻譜分析與腦波特質 互相比對，藉此觀察音樂特質與生理訊號特質間 的相關性。希望藉此建立一套音樂刺激下腦波分 析模式並釐清不同類型音樂刺激下腦波之差異。
因此本研究運用類神經網路分析聆聽不同音樂刺 激下，腦波是否可被正確的分類。
三、材料與方法
腦波擷取與實驗設計
腦神經細胞的活動，可由神經電生理的方法 量測得到腦波(electroencephalogram)，簡稱 EEG。
腦波所測量的波型反映出大腦皮質的電位反應，
依照不同的頻率可以將腦波分成四種，分別以 alpha、beta、theta 和 delta 來命名。在量測收集腦 波資料方面，本研究邀請十一位受測者，使用 10–
20 electrode placement systems 國際標準法經腦波 機擷取二十一組 Channel 訊號(Fp1, Fp2, F3, F4, F7, F8, T3, T4, T5, T6, C3, C4, P3, P4, O1, O2, A1, A2, Fz, Cz ,Pz)，如圖 1 所示。為了讓受測者能更 專注聆聽音樂，本研究讓受測者配戴耳塞式耳 機，使聆聽音樂可以更加專注。我們的取樣頻率 是 200Hz，所有的電極阻抗均小於 5 kΩ。實驗情 境音樂方面，我們採用三種音樂情境，分別是：
自選喜愛音樂(favorite)、重金屬音樂(mental)、鳴 奏曲(sonata)，每種音樂有五分鐘長度，而每段情
境間皆間隔一分鐘之空白以便緩和前次情境對接 續情境所造成之干擾。實驗流程如圖 2 所示。
圖 1. 10-20 國際腦波標準擷取圖
圖 2. 聆聽音樂實驗流程圖
頻譜分析
腦波訊號為一種組合各種頻率的方式呈現 的時間序列函數，若是要在時間頻域上直接觀 察，往往會遺失掉許多重要的訊息，所以做傅立 葉轉換將時域的序列信號轉換至頻域中，以便觀 察每個頻率下的訊號能量變化，將腦波訊號以時 間為單位，作傅利葉轉換分析，再作頻譜分析，
即得到腦波在每一頻率上的分佈情形。首先，先 採用 notch filter 以過濾 60Hz 的雜訊，然後採取頻 譜分析使用 Welch's method，在 Welch 的 window 長度設定，本實驗設定值為 200，搭配取樣頻率 為 200Hz 下去做頻譜分析，我們取 14-22Hz 共 19 點 的 頻 譜 能 量 作 為 腦 波 特 徵 值 ， 並 且 分 別 取 Fp1,P3,P4 三點，如圖 1，以類神經網路加以分析。
實驗流程如圖 3 所示。
類神經網路
類神經網路(Artificial Neural Network)起源 於 1950 年代，那時科學家仿造人類大腦的組織及 運 作 方 式 ， 開 始 提 出 稱 之 為 「 感 知 機 」
（perceptron）的神經元模型，這是最早的類神經 模型，感知機通常被拿來做分類器（classifier）使 用[9]。本研究將使用自組織映射圖神經網路(Self Organization Map ， SOM) 與 倒 傳 遞 神 經 (Back-Propagation Network，BPN)作為主要訓練模 式。
腦波訊號；21channels，
200point/sec
濾波：notch filter 去除 60Hz 雜訊
濾波：notch filter 去除 60Hz 雜訊
利用 Welch’s menthod 進 行頻譜分析
取 4-22Hz 共 19 點頻譜能量 值
產生 19x33 的矩陣以 ANN 分析
以 BPN model 分析 以 SOM model 分析
圖 3. 腦波分析處理流程圖
A). 倒 傳 遞 類 神 經 網 路 (Back-Propagation Network，BPN)
倒 傳 遞 類 神 經 網 路 ， 是 屬 於 監 督 式 學 習 (supervised learning)，一般而言，倒傳遞類神經網 路之結構包含三層：輸入層(Input layer)、隱藏層 (Hidden layer)及輸出層(Output layer)，其中隱藏層 之數目可以是一層或多層。在輸入層部分，神經 元的數目即為我們所欲輸入的變數個數，而輸出 層中神經元的輸出結果則為網路最後的輸出值。
本研究創建兩層倒傳遞類神經網路，為限制輸出 值介於 0，1 間，本研究之隱藏層和輸出層都選用 Log sigmoid 轉移函數，輸入層取 14-22Hz 共 19 點的頻譜能量值，隱藏層取 20 個，最後輸出層預 期分出聽三種音樂之結果。如圖 4
圖 4. BPN 架構：輸入層：4-22Hz 共 19 點頻譜能 量值；隱藏層：20 個；輸出層：如表 2 分類編碼 表
在 ANN 訓練過程中，必須定義一個樣板資
料，作為訓練目標之用，在本實驗中我們也利用”
0,1”編碼，使得三種音樂各有一個樣版，自選音 樂(Favorite)為”100”、重金屬樂(Mental) 為”
010”、鋼琴鳴奏曲(Sonata)為”001”，如表 2 所 示，每個人可以產生出一個 3*3 的矩陣，此編碼 好處在於簡單，容易做分類。另外我們找了一位 也是聆聽三種音樂，但未在本次實驗訓練範圍之 內，作為測試分析 BPN 訓練的結果，我們將門檻 值設為 0.5，若大於 0.5 則編碼成 1，反之則編碼 成 0。
表 2. 分類編碼表
favorite mental sonata
Output [1] 1 0 0
Output [2] 0 1 0
Output [3] 0 0 1
B). 自組織映射圖(Self Organization Map，SOM) 自我組織網路(Self- Organizing Map, SOM) 由 T. Kohonen 在 1980 年提出此網路架構[10]。是 屬於非監督式學習(unsupervised learning)，依照本 研究取 4-22Hz 共 19 點頻譜能量值。如圖 5 自我 組織法的主要元件包括下列三項：1.輸入層：為 網路的輸入變數、或稱特徵向量，其神經元數目 依待解決問題而定。2.輸出層：為網路的輸出變 數，即訓練樣本的分類，其神經元數目依問題複 雜情況而定，本實驗期望分為聽三種音樂的結果。
3.網路連結：輸出層神經元與輸入層相連結的加 權值所構成的向量，表示兩者間映射之函數關 係。當網路學習完成後，其相臨近之神經元會具 有相似的加權值。
圖 5. SOM 架構：輸入層：4-22Hz 共 19 點 頻譜能量值；輸出層：三個神經元分別代表三個 類別。
四、結果與討論
BPN 分類的結果
在 BPN 的模式下；以 Matlab 創建兩層倒傳遞類 神經網路，為限制輸出值介於 0，1 間，本研究之
隱藏層和輸出層都選用 Log sigmoid 轉移函數。，
學習效率 0.1，誤差目標為 10-9 ，最小誤差梯度 為 0.1，其餘皆設定為內定值。各電極的訓練誤差 以及 epochs 如表 3 所示，我們可以看出在 BPN 的訓練過程中，大約在 2000 epoch 左右可以達到 學習目標。
表 3. BPN 訓練的結果
電極 Fp1 P3 P4
誤差 9.71*10
-99.65*10
-99.57*10
-9epochs 1810 1632 2902
我們利用一位未訓練的測試者資料來顯示此 此類神經網路的推廣性(generalization) 。表 4 分 別表示在 FP1、P3、P4 三點的測試結果。由表列 我們可以看出在 Fp1 這個點，僅有聽 mental 可以 被正確分類出來；在 P3 這個點則是有聽 mental 及 sonata 可以被分出來，而在 P4 這個點則是只有 聽 mental 可以被分類出來，綜合上述來說，聆聽 mental 音樂在這三點都可以正確地被分類。此顯 示聆聽 metal 時的腦波較容易被區分出來，另外 P3 點的腦波似乎較適合用以分類聆聽不同音樂的 腦波。最後聆聽 favorite 音樂幾乎無法被分類出 來，
表 4. BPN 網路的測試結果
favorite mental sonata
0 0 1
1 1 0
FP1
0 0 1
0 0 0
0 1 0
P3
1 0 1
0 0 1
1 1 0
P4
0 0 0
SOM 自動分類結果
從表 5 SOM 分類的結果上，可以看出 SOM 對於每個人聽不同的音樂分類效果並無一致性，
也就是說，在聽同一種音樂時，不同的人之間腦 波的表現並不相似無 法產生一致的歸類。其中有 一個現象，同一個人聆聽三種不同音樂的腦波非 常相近而分類成同一類，在 Fp1 點我們可以發現 s1、s3、s4、s6、s7、s9、s11 這些人的腦波都是 分類成一類，在 P3 點有 s1、s3、s5、s6、s8、s9、
s11 這些人的腦波也是分類成一類，在 P4 點 s1、
s3、s4、s5、s6、s8、s9、s11 這些人的腦波也分 為同一類。這似乎顯示出個別性的差異大於聆聽
音樂所引起的腦波差異。
本研究探討類神經網路預測聆聽音樂刺激下 腦波分析，利用監督式學習的 BPN 去學習認識聆 聽不同音樂時的腦波頻譜特性，另外使用非監督 式學習的 SOM 神經網路對腦波頻譜特性做分 類。對於本次實驗有些許地方可以做思考的：
1. 我們主要是取 Fp1、P3、P4 作為實驗電極，
未來可以嘗試以其他部位的電極，以取得更 多不同位置，可以找出它們之間共同的關聯。
2. 本研究以單電極間比較，未來將一次以多電 極一起實驗如 Fp1 與 Fp2，P3 與 P4 一起當 作類神經網路的輸入。
3. 本次實驗主要取樣是 11 人，主要是要測試腦 波的分類是否可行。未來希望取得更多人 數，透過較大的樣本數對於預測及分類，能 夠有一定的幫助。
五、結論
本研究計畫之目的在探討音樂刺激下之腦波 利用類神經網路進行分類的可行性，主要的研究 結論包含:
1. 我們發現 Metal 音樂是可能屬於節奏比較強 烈明顯之旋律，對大多數人來說當此旋律一出 現時，注意力很易就集中在這股音樂刺激上，
所以似乎所引起的腦波差異較大，較容易被學 習及正確歸類 。這與我們以前研究顯示聽 Metal 音樂 Alpha 波下降，造成 Metal vs. No Music、Metal vs. Favorite 這兩組相比時 Metal 皆統計上之顯著較低之現象相呼應。
2. 我們嘗試尋找較能反映聽音樂腦波變化的電 極位置，發現 P3 似乎是較能獲取正確歸類腦 波的位置。
3. 個人的差異可能大於聆聽音樂所引起的腦波 頻譜特性差異，從 SOM 的結果中可以看出，
同一個人的腦波會被歸為同一類，而不管他聽 什麼音樂，這與我們先前在腦波的相似度研究 方面的結果相同。所以需尋找其他的特性來分 類腦波。
六、計畫成果自評
研究音樂刺激下的生理信號變化，特別是腦 波與心律變異性，是我們近年來的研究重點，研 究結果除了可以增進了解人腦解讀音樂的機制，
協 助 腦 機 介 面 (Brain-machine interface) 的設計 外，還有望成為方興未艾的音樂治療的實證基 礎，讓音樂治療的運作更能有效的利用生理表現 達到預期效果。在經過一連串的研究後，我們發 現一些基本的生理信號及聆聽音樂的相關性，也
建立了一些實驗機制與方法。一些研究的結論，
包括聽古典音樂時會增加心率變異性的高頻成分 顯示提高副交感神經的控制力，聽搖滾金屬樂會 減低腦波的 alpha 波，顯得無法放鬆等，都顯示出 音樂治療有其生理基礎，相關結果也已發表。本 研究旨在顯示除統計結論外，是否可發展出適當 歸類方法，使得腦波在聽不同音樂時的反應可被 正確找出，無論如何效果並不佳，需要在多方嘗 試新的特性與方法方能使其有應用價值。其中腦 波因個體不同所引起的差異性可能大於音樂刺激 所引起之差異性，可能是需要仔細探討的問題。
七、參考文獻
[1]. 汪彥青、林芳蘭、吳佳慧、張乃文、張初穗、
蔡安悌等(民 91)。《音樂治療—治療心靈的樂 音》，台北：先知，
[2]. Fitzgibbon SP, Pope KJ, Mackenzie L, ClarkCR, Willoughby JO (2004). Cognitive tasks augment gamma EEG power. Clin Neurophysiol., 115:
1802-9.
[3]. Thompson WF, Schellenberg EG, Husain G (2001) Arousal, mood, and the Mozart effect.
Psychol Sci., 12: 248-51.
[4]. Jackson NA. (2003) A survey of music therapy methods and their role in the treatment of early elementary school children with ADHD. J Music Ther., 40: 302-23.
[5]. McLachlan JC. (1993) Music and spatial task performance. Nature., 366: 520.
[6]. Guess MJ, Wilson SB. (2002) Introduction to Hierarchical clustering., J Clin Neurophysiol., 19: 144-51.
[7]. Ito S, Mitsukura Y, Fukumi M, Akamatsu N, Khosla R. (2003) An EEG feature detection system using the neural networks based on genetic algorithms. IEEE Computational Intelligence in Robotics and Automation, 3：
1196- 1200.
[8]. Siamak R, Kouhyar T, Ali MN and Setarehdan SK (2006) Different classification techniques considering brain computer interface applications. J. Neural Eng., 3 :139–144.
[9]. Ito S, Mitsukura Y, Fukumi M, Akamatsu N, Khosla R. (2003) A feature extraction of the EEG during listening to the music using the factor analysis and neural networks. IEEE Neural Networks Proceedings, 3: 2263- 2267.
[10]. 郭人介(民 90)。整合自組織映射圖與倒傳遞 神經網路於網頁瀏覽路徑分析,國立台北科技 大學生產系統工程與管理研究所,碩士論文。
表五. SOM 類神經網路分類結果
S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11
f m s f m s f m s f m s f m s f m s f m s f m s f m s f m s f m s 0 0 0 1 1 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 1 1 1 1 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 FP1
1 1 1 0 0 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 1 0 0 0 1 0 0 1 1 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 P3
0 0 0 1 1 0 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 1 1 P4
0 0 0 1 1 0 1 1 1 1 1 1 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 0 0 0
f: favorite music m: metal music s: sonata music
