• 沒有找到結果。

音樂刺激下腦波信號分析

N/A
N/A
Protected

Academic year: 2021

Share "音樂刺激下腦波信號分析"

Copied!
69
0
0

加載中.... (立即查看全文)

全文

(1)臺北醫學大學醫學資訊研究所 碩士論文 Taipei Medical University Graduate Institute of Medical Informatics Master Thesis. 指導教授:徐建業 (Chien-Yeh Hsu) 邱泓文 (Hung-Wen Chiu). 音樂刺激下腦波信號分析 Analysis of the EEG Signals in Response to Musical Signal Stimuli. 研究生:林威志(Wei-Chih, Lin)撰. 中華民國九十四年七月 July,2005 i.

(2) 音樂刺激下腦波信號分析 Analysis of the EEG Signals in Response to Musical Signal Stimuli 本論文係臺北醫學大學醫學資訊研究所研究生林威志所著, 作為審查授與理學碩士學位之一部份。. 本論文承蒙下列考試委員審查通過:. 姓名. _____________________服務機關、職稱. (指導教授) 姓名. _____________________服務機關、職稱. 姓名. ______________________服務機關、職稱. 姓名. 服務機關、職稱. 姓名. 服務機關、職稱. 中華民國. 年. ii. 月.

(3) 博碩士論文電子檔案上網授權書 (提供授權人裝訂於紙本論文書名頁之次頁用). 本授權書所授權之論文為授權人在 臺北醫學大學 醫學資訊研究所 93 學 年度第 二 學期取得 碩士 學位之論文。. 論文題目: 音樂刺激下腦波信號分析 指導教授: 徐建業 邱泓文. 茲同意將授權人擁有著作權之上列論文全文(含摘要) ,非專屬、無償授權 國家圖書館及本人畢業學校圖書館,不限地域、時間與次數,以微縮、光 碟或其他各種數位化方式將上列論文重製,並得將數位化之上列論文及論 文電子檔以上載網路方式,提供讀者基於個人非營利性質之線上檢索、閱 覽、下載或列印。 讀者基非營利性質之線上檢索、閱覽、下載或列印上列論文,應依著作權法相關規 定辦理。 . 授權人:林威志 簽. 名:_____________________. iii. 中華民國 94 年 07 月 25 日.

(4) 博碩士論文授權書 (國科會科學技術資料中心版本 93.2.6) 本授權書所授權之論文為本人在___臺北醫學___大學(學院)_醫學資訊_系所 __. _組__九十三_學年度第_二_學期取得_碩_士學位之論文。. 論文名稱:_音樂刺激下腦波信號分析. 5同意. __. □不同意. 本人具有著作財產權之論文全文資料,授予行政院國家科學委員會科學技術 資料中心(或其改制後之機構) 、國家圖書館及本人畢業學校圖書館,得不 限地域、時間與次數以微縮、光碟或數位化等各種方式重製後散布發行或上 載網路。 本論文為本人向經濟部智慧財產局申請專利(未申請者本條款請不予理會) 的附件之一,申請文號為:______,註明文號者請將全文資料延後 半年再公開。 -------------------------------------------------------------------------5同意 □不同意 本人具有著作財產權之論文全文資料,授予教育部指定送繳之圖書館及本人畢 業學校圖書館,為學術研究之目的以各種方法重製,或為上述目的再授權他人 以各種方法重製,不限地域與時間,惟每人以一份為限。 上述授權內容均無須訂立讓與及授權契約書。依本授權之發行權為非專屬性發行 權利。依本授權所為之收錄、重製、發行及學術研發利用均為無償。上述同意與不同意 之欄位若未鉤選,本人同意視同授權。 指導教授姓名: 徐建業 副教授 研究生簽名:. 學號: M110092005. (親筆正楷). (務必填寫). 日期:民國 九十四 年 六 月 二十九 日 1.本授權書 (得自 http://sticnet.stic.gov.tw/sticweb/html/theses/authorize.html 下載或至 http://www.stic.gov.tw 首頁右下方下載) 請以黑筆撰寫並影印裝訂於書名頁之次頁。. 2.授權第一項者,請確認學校是否代收,若無者,請自行寄論文一本至台北市(106)和平東路二 段 106 號 1702 室 國科會科學技術資料中心 黃善平小姐。(本授權書諮詢電話: 02-27377606. 傳真:02-27377689). iv.

(5) 簽署人須知 1.依著作權法的規定,任何單位以網路、光碟與微縮等方式整合國內學術資料,均須先 得到著作財產權人授權,請分別在兩種利用方式的同意欄內鉤選並填妥各項資料。我 國博碩士論文八十二學年度以前資料庫及八十三學年度以後全文資料微片目錄資料 庫已上載於行政院國家科學委員會科學技術資料中心網站 www.stic.gov.tw,或至教育 部國家圖書館網站 www.ncl.edu.tw 之博碩士論文書目摘要資料庫查詢。 2.所謂非專屬授權是指被授權人所取得的權利並非獨占性的使用權,授權人尚可將相同 的權利重複授權給他人使用; 反之即為專屬授權,如果您已簽署專屬授權書予其他法 人或自然人,請勿簽署本授權書,著作人日後不可以主張終止本授權書,但您仍可授 權其他法人或自然人上述的行為。 3.全國博碩士論文全文資料整合計畫的宏觀效益: 在個人方面,您的論文將可永久保存(微縮技術在理論上可保存八百年,實證已逾百 年),也因為您的授權,使得後進得以透過電腦網路與光碟多管道檢索,您的論文將因 而被充分利用。在國家總體利益方面,紙本容易因影印而造成裝訂上的傷害,圖書館 中孤本的公開陳列與外借也有破損之虞,唯有賴政府全面性的整合,借助科技設備才 能一舉完成保存與利用的全方位效益,回憶您過去尋找資料之不便經驗,學弟與學妹 確實須要您的論文與授權書。. v.

(6) 誌. 謝. 回想這兩年在北醫醫資所學習的日子,從剛入學時濛濛不知,至有幸順 利完成碩士學位,過程中的歡樂與艱辛如人飲水,冷暖自知。. 此篇論文能完成不是一個人的成果,需要感謝許多人的幫助。我的兩位 指導教授-徐建業老師與邱泓文老師。當我面對未知的問題時,兩位老師 總能給予我新的知識和提示,並以無比耐心容許我不斷於錯誤中學習。尤 其感謝邱老師,您指導學生研究學習上許多疏漏,並逐字逐句審閱論文, 不斷低反覆思量與修改,著實讓學生欽佩與感激。. 在腦波分析上,非常感謝徐榮隆醫師及陳致中醫師提供了許多專業上看 法與建議。同時也要感謝新光醫院腦波室在腦波擷取上之指導。還有所有 曾提供腦波資料的朋友,沒有你們就沒有此篇論文的存在。. 此外在求學期間,曾經一起同甘共苦的同窗好友:文傑、小泰、芷瑩、 宜芬、雯雯、宇瑄、楊大哥、小胡、德慧學姐、雨婷學姐、宥蓁,這段日 子所建立的特別感情,另我難以忘懷。. 家人無怨的付出、無條件的支持與包容,使我無後顧之憂於學業上。在 此,僅以此篇論文,獻給我的父母、妹妹、彥臻及阿姨們。. 林威志 於臺北醫學大學醫學資訊研究所 2005/07. vi.

(7) 目錄 __________________________________________________________________________ 頁數 標題 ...........................................................................................................................................1 博碩士論文電子檔案上網授權書 ...........................................................................................iii 博碩士論文授權書 ...................................................................................................................iv 簽署人須知 ................................................................................................................................v 誌 謝 .....................................................................................................................................vi 目錄 ..........................................................................................................................................vii 圖目錄 .......................................................................................................................................ix 表目錄 ........................................................................................................................................x 論 文 摘 要 .............................................................................................................................xi 第一章 緒論 ..............................................................................................................................1 1.1. 研究動機 ................................................................................................................1 1.2. 研究目的與假設 ....................................................................................................3 第二章 文獻探討 ......................................................................................................................4 2.1. 腦波 ............................................................................................................................4 2.2. 腦波相關研究 ............................................................................................................5 2.2.1. 腦波與認知活動 .............................................................................................5 2.2.2. 腦波與音樂 .....................................................................................................7 2.3. 莫札特效應 ................................................................................................................8 2.4. 腦波信號分析 ..........................................................................................................10 2.4.1. 叢集分析於腦波之研究 ...............................................................................10 2.4.2. 獨立元件分析於腦波之研究 ....................................................................... 11 2.4.3. 其他分析法於腦波之研究 ........................................................................... 11 第三章 研究材料與方法 ........................................................................................................13 3.1. 研究材料 ..................................................................................................................13 3.1.1. 研究儀器 .......................................................................................................13 3.1.2. 受測者 ...........................................................................................................15 3.1.3. 10-20 國際標準腦波擷取法..........................................................................15 3.1.4. 實驗情境音樂 ...............................................................................................17 3.1.5. ICA Tool Box for MatLab ............................................................................17 3.2. 實驗流程 ..................................................................................................................19 3.3. 腦波信號分析方法 ..................................................................................................21 3.3.1.頻譜分析 .........................................................................................................22. vii.

(8) 3.3.2. 獨立元件分析(Independent Component Analysis, ICA) .........................23 3.3.3. 相關係數 (Correlation coefficient) ............................................................24 3.3.4. 叢集分析(Cluster Analysis).........................................................................25 3.6. 資料分析與統計 ......................................................................................................25 第四章 結果 ............................................................................................................................27 4.1 4.2. 各種情境下之腦波與其頻譜 ..............................................................................27 不同情境下之各導程中各頻帶能量比較 ..........................................................28 4.2.1 Alpha 波...................................................................................................29 4.2.2 Beta 波 .....................................................................................................30 4.2.3 Theta 波 ...................................................................................................30 4.2.4 Gamma 波 ...............................................................................................31 4.3 腦波相似度 ..........................................................................................................31 4.3.1 不同個體在相同音樂情境下 ........................................................................31 4.3.2 同個體在不同音樂情境下 ............................................................................34 4.4 ICA 分析法..........................................................................................................36 第五章 討論與結論 ................................................................................................................42 5.1. 不同情境間之腦波差異 ......................................................................................42 5.1.1. Alpha 波 .........................................................................................................42 5.1.2. Beta 波 ...........................................................................................................42 5.1.3. Gamma 波 .....................................................................................................42 5.1.4. Theta 波 .........................................................................................................43 5.2 個體差異與音樂差異 ..........................................................................................43 5.3 應用 ICA 於腦波訊號分析.................................................................................44 參考文獻 ..................................................................................................................................46 附錄一、音樂與腦波研究紀錄表 ..........................................................................................51 附錄二、同情境之間各導程下各頻帶能量比較統計 P-value 表 .......................................52. viii.

(9) 圖目錄 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖. 一 Gamma Power 狀態圖 .................................................................................................6 二 音樂旋律圖 ..................................................................................................................8 三 叢集於腦波之特徵值擷取圖 ....................................................................................10 四 Stellate Harmonie 腦波機 ..........................................................................................14 五 腦波機量測腦波軟體之畫面 ....................................................................................14 六 10-20 國際標準腦波擷取法......................................................................................15 七 10-20 system 國際標準腦波擷取法操作畫面.............................................................16 八 ICA ToolBox 繪製腦波訊號圖....................................................................................18 九 單一導程頻譜分析 ......................................................................................................18 十 A、B 實驗流程圖......................................................................................................19 十一 腦波實驗進行畫面 ..................................................................................................20 十二 腦波信號處理流程圖 ............................................................................................21 十三 原始腦波訊號圖 ....................................................................................................27 十四 腦波訊號頻譜分析圖 ............................................................................................28 十五 Alpha 波中聆聽不同音樂時各導程之統計差異圖 ............................................29 十六 Beta 波中聆聽不同音樂時各導程之統計差異圖...............................................30 十七 Theta 波中聆聽不同音樂時各導程之統計差異圖 .............................................30 十八 Gamma 波中聆聽不同音樂時各導程之統計差異圖 .........................................31 十九 各導程之高相關係數比例圖 ................................................................................32 二十 圖各導程之相關係數中位數圖 ............................................................................34 二十一 Metal vs. Favorite 各導程之相關係數中位數圖 ..............................................35 二十二 Sonata vs. Favorite 各導程之相關係數中位數圖 ............................................36 二十三 A 實驗之受測者獨立元件圖 ..............................................................................37 二十四 B 實驗之受測者獨立元件圖 ..............................................................................37 二十五 A 實驗中 ICA 後各獨立元件腦部關連強弱圖 ...............................................38 二十六 B 實驗中 ICA 後各獨立元件腦部關連強弱圖................................................39 二十七 A 實驗獨立元件頻域圖 ....................................................................................40 二十八 B 實驗獨立元件頻域圖 ....................................................................................40. ix.

(10) 表目錄 表一 情境比較下各導層具有顯著意義之導程數量表 ………………………………….. 43 表二 不同情境間各導程腦波能量相關係數之全距與中位數表 ...................................... 47. x.

(11) 論 文 摘 要 論文名稱:音樂刺激下腦波信號分析 臺北醫學大學醫學資訊研究所 研究生姓名: 林威志 畢業時間:. 93 學年度. 指導教授:徐建業. 第 二 學期. 臺北醫學大學醫學資訊研究所 副教授. 協同指導教授:邱泓文. 臺北醫學大學醫學資訊研究所 副教授. 近幾年中,越來越多研究在探討音樂在生理上之影響。腦波是過去被 廣泛應用在測量腦部活動上之生理訊號。本研究中,我們嘗試運用頻譜分 析和獨立元件分析法來分析受測者對不同類型音樂刺激下之腦波反應。. 本研究擷取三十二位受測者於接受不同音樂訊號刺激下之腦波,音樂 訊號刺激分別為重金屬樂(Metal)、鋼琴奏鳴曲(Sonata)、受測者自選音樂 (Favorite)和無音樂狀態(No Music)。將腦波訊號依頻率不同濾波成 Alpha、 Beta、Theta 與 Gamma 波,並計算各波中各導程之能量值,並依此值作為 特徵求出各導程間不同音樂刺激與不同受測者間之相關係數。. 結果顯示,在 Metal 狀態下,有最小的 Alpha 能量。而在 No Music 狀 態下,Gamma 能量呈現較小的情況。顯示聆聽音樂時會出現 Gamma 波, 而聽 Metal 時會降低 Alpha 波。. xi.

(12) 而在個體間之差異情形探討上,發現聆聽 Metal 時,不同個體間腦波特 徵相似度高,而聆聽 Favorite 時,相似度最小。顯示聆聽 Metal 可引起較為 相似之腦波。此外本研究發現,前顱左半區域於三情境下(Metal、Sonata、 Favorite)腦波相似度差異較大,代表此區對腦部音樂感知較為敏感,也就是 不同音樂類型會引起相似度較小之腦波。. 此外,本研究發覺個體間的腦波差異大於音樂所引起之腦波差異,故 腦波研究上如何排除降低因個體不同所造成研究資料之差異,將可對研究 目的降低變數達到更準確之分析。. 本研究中,我們亦嘗試 ICA 分析,發覺腦波經 ICA 後所得之某些獨立 元件在頻譜分析上,對於不同情境可顯示其頻譜能量差異,但並非每一個 體實驗皆有此現象。. 關鍵字:音樂、頻譜分析,獨立元件分析法,腦波,導程,相關係數. xii.

(13) Abstract Title of Thesis:Analysis of the EEG Signals in Response to Musical Signal Stimuli Author:Wei-Chih Lin Thesis advised by : Chien-Yeh Hsu, Associate Professor Hung-Wen Chiu, Associate Professor Taipei Medical University, Graduate Institute of Medical Informatics In recent years, many researches have focused on the physiological effects of music. The electroencephalographic (EEG) is often used to verify the influences of music on human brain activity. In this study, we attempted to apply the spectral analysis and the independent component analysis (ICA) to analyze and to discover the EEG responses of subjects with different musical signal stimuli. It is expected that some features on EEG can be demonstrated to reflect the different musical signal stimuli. The EEGs of thirty-two healthy volunteers listening to different music was acquired. Musical signal stimuli are categorized into metal music, sonata music, no music and the favorite music selected by subjects. Spectral analysis wase applied to obtain the Alpha, Beta, Theta and Gamma band power of EEG signal under different music stimuli. The power at each band of each channel was used as the features of EEG. The correlation of the features between different situations and subjects was used to show which channel displays the difference of EEG signals. The results show that minimum alpha power was recorded in listening to metal 1.

(14) music and the power of gamma band is lower when listening to no music, which imply that gamma band appears during music listening process, and reduction of alpha band occurs when listening to metal music. Regarding the difference between each individual, we found that the similarity between individuals is high when listening to metal music, and it is low when listening to favorite music. Besides, the similarity between each individual is high in the channel at the left of anterior cranial is highly different. When listening to metal music, sonata music and favorite music, which implies that this section may be sensitive to musical signal stimuli. Besides, the study discovers that the difference between individual is greater than the difference between musical signal stimuli. So how to eliminate the difference of EEG data caused by the difference of individual is important to obtain the accurate analysis results. In the study of independent component analysis, we discovered that some independent components of EEG can display the difference of spectral power in listening different music. But not every subject showed this phenomenon. Keywords: Music, Spectral Analysis, Independent Component Analysis (ICA), Electroencephalographic (EEG), Channel, Correlation. 2.

(15) 第一章 緒論 1.1. 研究動機 由於科技愈發達、醫療分科方面也愈深入明確,但醫療本質上似乎離人本醫療漸行 漸遠,往往只著重於生理結構等表面現象等,卻缺少了整體性與精神性之層面,此種現 代醫學已不能滿足現代人對身、心、靈的整合性醫療需求。現代的醫療更得注重身心靈 合一的全人醫療,而音樂治療(Music Therapy)就是其中的一套治療方式。近年來,音樂 治療一詞近來漸受矚目,以 PubMed 進行 Music Therapy 搜尋,從幾年前寥寥數篇相關 研究,增加至 2004 年 12 月 1256 個文獻,顯示音樂治療越來越受到重視。而音樂治療 的定義是什麼呢?根據美國國立音樂治療協會(The National Association for Music Therapy)於 1977 年「音樂治療職業」(Music Therapy as a Career)一書中,對音樂治療下 了 如 下 的 定 義 :「 音 樂 治 療 是 把 音 樂 的 成 就 當 成 治 療 的 目 標 ; 令 音 樂 達 到 恢 復 (restoration)、保持(maintenance)以及改進(improvement)個體心理和生理健康的作用,以 使個體行為上帶來良好的(desirable)改變,這種改變使個體能夠在進行治療以後,對他自 己及其所生存的環境,會有較大的了解,進而達到適當的社會適應。」而另一個英國音 樂治療學會(British Society for Music Therapy)也對音樂治療下了定義,音樂治療是一種 個案和治療師兩者關係建立的介入模式,並且在這之中進行改變,治療師在各種有身心 疾病或是障礙的個案中工作,藉由臨床中創造性音樂的使用,治療師尋找可以幫助個案 達到治療目標的音樂體驗或活動。整合以上定義,「音樂治療」是運用音樂對人生理及 心理所可能產生的影響,配合治療技巧,來協助個體達到維持及增進身心健康的目標。 音樂治療的目標並非增進治療對象的音樂能力,而是透過各類音樂活動,來增進治療對 象肢體感官、心理情緒、人際互動、語言或認知等方面的目標。音樂治療最大的特色是 透過音樂的變化與運用,進而達成非音樂性的治療目標。(汪彥青,2002). 音樂治療的療效在過去許多病例報告與文獻資料中皆獲得良好證實,改善癲癇症狀 (epilepsy) (Sidorenko, 2000)、降低術後焦慮與疼痛(Ikonomidou, 2004)、注意力不足過動 症(Attention-Deficit Hyperactivity Disorder, ADHD)(Jackson, 2003)等等。然而當人體在接. 1.

(16) 受音樂刺激時,生理方面究竟產生了什麼變化?近年來許多相關的研究也證實了音樂的 效果可以反映在人體的一些生理數據(邱安偉,2003),也有研究者探討心率、血壓、呼 吸速率與音樂之關係(Collins, 1994),而睡眠品質與音樂更是大家探討許久的議題(Tan, 2004)。這些研究都證實了當人體在音樂刺激下,生理反應會隨著音樂刺激呈現某種程 度上的變化。也就是說音樂與人體生理狀態的確是有著密不可分的微妙關係。. 而在人們日常生活中,音樂已經成為其中的一個不可缺少的因子。音樂類型的不 同,往往也讓聆聽者產生不同的情緒波樣。許多人也藉著音樂達到他們所需要的目的, 若需要休閒放鬆,就聆聽比較舒服的軟性音樂,若需要激發動力,就聽些令人振奮的音 樂作品。甚至到了現代,音樂也變成醫療上的一項療法。有些音樂對一些特定的人,往 往也代表著一段特殊的情感。以心理角度來說,音樂對現代人而言,已不再是單純頻率 變化或是休閒時的小品。音樂類型的不同對人體情緒上已經扮演著牽一髮而動全身的角 色。. 音樂刺激與人體生理狀態在許多過去研究上已證實存在關連性。但在腦波 (electroencephalogram, EEG)方面,多數關於音樂的腦波研究報告,在評估受音樂刺激後 腦波變化方面往往採用受測者填寫問卷分析模式,或將聆聽音樂與種種心智活動測試 (如閱讀、背誦、聆聽等)相比較,以探討不同心智活動進行時,人體腦部產生何種差異 變化 (Fitzgiboon et al., 2004)。鮮少有實證性的研究專門去尋求不同類型音樂刺激下,整 體頭部腦波活動是呈現何種狀態。. 且由於生理訊號是屬於時變訊號,且臨床上所收集到的生理訊號往往充斥著許多不 必要的雜訊,去除這些雜訊干擾往往是研究人員重要的一個課題。尤其頭部的腦波信號 雜訊更是十分敘亂,因腦波信號則是大腦皮質的神經細胞動作電位所導致,而臨床上收 集腦波主流是使用非侵入式腦波採樣法,以非侵入方式在人體頭部上黏貼電極片收集腦 波信號,故大腦皮質神經元細胞所產生的動作電位得經過頭骨、頭皮、頭髮等等傳導體 (Volumn conductance)。導致腦波信號的衰減與干擾十分嚴重,這也造成了腦波信號與其 他生理信號分析上顯得更加不易的原因。若單只由頻譜分析中從時域及頻域方面分析腦 波生理訊號,在訊號分析上不免會遺失一些重要資訊。因此為了能更精準的探討腦波信 號與音樂信號間的關連性,達到更佳的信與效度。本研究除了使用過去研究中常運用的. 2.

(17) 頻譜分析信號外,也加入獨立元件分析法、叢集分析與統計分析。希望藉著這些分析法 能夠釐清不同類型音樂在人體生理上能得到何種生理反應。. 而在目前科技上,許多產品利用分析擷取聲音的聲紋特徵,來達到控制目的。這已 經是非常普遍的技術。而在腦波上,若也能成功分析擷取腦波特徵,歸納成一些有特定 意義的指令,完成一套腦波分析模型,建構腦波與外界機器溝通的介面。這對許多身心 障礙者,比如植物人、腦性麻痺患者、重度中風的病人或中樞神經系統損傷者都是項福 音。藉此介面使用腦波訊號達到與外界溝通、控制的目的,對於患者身心自主、社會成 本、人力資源等皆具有相當正面的幫助。. 1.2. 研究目的與假設 本研究著重在聆聽音樂時腦波之分析方法以及釐清在不同音樂刺激下腦波之差 異。預期以頻譜分析(Spectral Analysis)、獨立元件分析法(Independent Component Analysis, ICA)來分析腦波在不同音樂刺激下所產生的變化與差異,並運用叢集分析(Cluster Analysis),以腦波變化差異為特質加以分之為群組,同時並對音樂做頻譜分析與腦波特 質互相比對,藉此觀察音樂特質與生理訊號特質間的相關性。藉此建立一套音樂刺激下 腦波分析模式並釐清不同類型音樂刺激下腦波之差異。而本研究的假說有兩點:1.音樂 刺激下會對受測者的腦波造成影響。2.不同的音樂類型會對受測者的腦波造成影響。. 具體而言,本研究目的包括: 1.. 分析聆聽不同音樂之腦波。. 2.. 分析腦波與音樂之關連性,進一步應用音樂於醫療上。. 3.. ICA 應用於聆聽音樂之腦波。. 3.

(18) 第二章 文獻探討. 本章主要在說明本研究的相關文獻探討。分為腦波、腦波相關研究、腦波信號分析 與莫札特效應四大範疇來探討:. 2.1. 腦波. 腦神經細胞的活動,可用神經電生理的方法偵測而得到腦波。早在 1875 年,英國 利物浦的生理學教授 Richard Caton 首度從兔子的大腦皮質表面紀錄到記錄到一種電 波,此電波與呼吸或心跳無關,是一種腦部的生理變化,且動物在死亡後消失。後來他 又發現刺激動物的身體能使腦波發生變化,他利用這種變化來研究身體之部位與大腦皮 質區的關係,並探討大腦皮質區的功能,成為後來神經診斷學中誘發電位(evoked potential)發展的基礎。. 直到 1929 年,一位德國精神科醫師 Hans Berger,發現在人類完整的頭蓋骨上紀錄 到相同電氣活動,這是首次發表人類的腦波記錄,並命名為腦電波圖 (electroencephalogram),簡稱 EEG,此後腦波即開始被應用在醫學的領域。從字義上來 看 electro-electrical-電的;encephalo-brain-大腦的;gram(ma)-picture-圖像。所 指的就是記錄大腦活動時的電波變化。EEG 在臨床上的應用其實已經非常廣泛,它據有 經濟、安全、方便的特性。可以用於篩檢病患,以及昏迷、中風、癲癇、腦炎、和其他 腦疾病病人的追蹤檢查。. 經由腦波所測量的波型主要反映出大腦皮質的電位反應,依照腦波不同的頻率可以. 4.

(19) 將腦波分成四種,分別以希臘文字 alpha、beta、theta 和 delta 來命名(Duffy FH,2003)。 而依此分類每種不同頻率之腦波也具有不同的意義與特性。各種腦波簡介如下:. 1. Alpha 波,頻率約在 8-12 Hz ,通常為一般正常人處於清醒休息且閉眼而放鬆狀態下 出現,當人體張眼、集中注意或做特定的心智活動時,alpha 波的振幅將會明顯減少。 2. Beta 波,頻率為 12Hz 以上,一般很少高於 50Hz ,腦波中波形最為密集,在清醒警 覺與高度活躍的意識狀態下較明顯。 3. Theta 波,頻率約為 4 至 8Hz ,腦波中波形較為稀疏,在慢度睡眠與意識深層放鬆 狀態下,此波段較明顯。 4. Delta 波,其頻率低於 4Hz ,腦波中最疏鬆的波形,常出現在深度睡眠狀態。值得注 意若在清醒時出現 delta 節律(rhythm)則為異常狀態。 5. Gamma 波,指的是 30hz 以上 50hz 以下的高頻腦波,在過去常被學者忽略,但近年 來越來越多的學者發現 Gamma 波和選擇性的注意力有關,Gamma 波在腦波研究上地位 顯得越來越重要,也有相關的研究發現和認知與知覺活動皆有關連。. 2.2. 腦波相關研究 2.2.1. 腦波與認知活動. Fitzgiboon 等人的研究探討認知活動(Cognitive tasks)對 Gamma 波所造成的影響, 由於 Gamma 波對於許多認知與知覺活動皆有關連,故研究者請二十位受測者進行八種 心智活動,另一方面也設計了對照組與實驗組相比對。資料分析方面運用頻譜分析計算 出不同頻率的能量大小。結果顯示在 Gamma 波中,大多數的心智活動在腦部中 Posterior 和 Central 部分,與對照組相比顯示出 Gamma 能量呈現二至五倍的上升,證實心智活 動與 Gamma EEG Power 間的確存在著關連性。. 5.

(20) 圖 一. Gamma Power 狀態圖. 圖一為實驗組與對照組相比較時 Gamma Power 狀態圖,黑色部分相比為一倍,而白色 部分則為五倍,紅色區域則為統計有效範圍。 (Fitzgiboon et al., 2004)。. 在 Natarajan 等人的研究中,研究者運用四種非線性分析法(Correlation Dimension, Lyapunov exponent,Hurst Exponent and Approximate Entropy),分析三十位受測者腦波在 四 種 狀 態 ( 聆 聽 搖 滾 與 鋼 琴 奏 鳴 曲 、 閉 上 眼 呈 現 放 鬆 狀 態 以 及 Foot Reflexology Stimulation)下之差異。結果顯示在聆聽音樂以及接受 Foot Reflexology Stimulation 後, 經非線性分析法分析腦波所得到的 Randomness 及 Disorderliness 數值,呈現出下降的狀 態。證實了在接受音樂和 Foot Reflexology Stimulation 後,腦部是處於放鬆的狀態。 (Natarajan et al. 2004)。. Bhattacharya 和 Petsche 研究中,邀請二十位男性受測者閉著眼睛聆聽一段鋼琴奏鳴 曲(the Gigue of the French Suite Number 5 for harpsichord, by J. S. Bach)以及一段無關實 驗的故事(a short story called Versuendigung gegen die Nachwelt by H. Weigel read by C.. 6.

(21) Hoerbiger over 2min),並要求受測者想像圖片在腦海中旋轉(Shepard & Metzler 1971; Bhattacharya et al. 2001),使用 10–20 electrode placement system 收集 19 個 channel 腦波 資料,在資料分析方面採取 Wavelet transform, Hilbert transform 以及 Kullback-Leibler divergence 方法。研究發現在聆聽音樂時 Gamma 波在腦部分佈比聽故事和想像圖片統 計上有顯著差異。(Bhattacharya & Petsche, 2001)。. Bhattacharya 等人在 2001 年時發表一篇研究,探討 Gamma 波與音樂感知之關連 性,研究者不採用傳統分析腦波常使用的 Spectral Power,而是運用一種稱之為 Similarity Index 方法。實驗設計請來 10 位受測者,並分為音樂家與非音樂家兩種族群,使用 10–20 electrode placement system 擷取 19 個 channel 腦波資料,實驗過程並要求受測者聆聽五 分鐘音樂(J. S. Bach French Suite No. 5 for Harpsichord, Gigue: the piece was not familiar to the subjects)並傾聽一段兩分鐘故事(a short story, “Versuendigung gegen die Nachwelt” by H. Weigel, read by C. Hoerbiger),同時並記錄受測者在休息狀態時張眼與閉眼的腦波資 料。研究者發現當聆聽音樂時,散佈在音樂家腦部皮脂區的 Gamma 波 很顯著的比非 音樂家來得高。且在聆聽故事與休息的狀態,這兩種族群的腦波狀態是沒有顯著差異。 這說明了 Gamma 波在人體感知上扮演了重要角色。(Bhattacharya et al., 2001)。. 2.2.2. 腦波與音樂. 而音樂的變化是否能夠在腦波上反映出來呢?在 Koelsch 與 Mulder 研究中提到,實 驗讓十八位受測者聆聽 Haydn, Mozart, Beethoven 以及 Schubert 等人的奏鳴曲,而在 Haydn 中的 a piano sonata from Haydn (Hoboken XVI:48),則是製作了兩個版本,一首是 原始未經修改,而另一首則是音樂尾段的短暫旋律被刻意更改,使音樂呈現不和諧但又 難以發覺的曲調。. 7.

(22) 圖 二. 音樂旋律圖. 圖二 a 為一首未經修改之旋律,而 b 則是與 a 相同旋律但差別在音樂尾段的短暫部分被 刻意更改,使音樂呈現不和諧但又難以發覺的曲調。. 整個實驗過程維持四十分鐘,研究者採用 10–20 electrode placement systems 收集四 十九個 channel 的腦波資料。資料分析上採取計算腦波上 Amplitudes 並依此值進行統計 分析。研究結果表示在非預期旋律發生後 0.25 秒,在腦部中 Right Temporal 的電位 Amplitudes 與預期旋律所呈現的電位 Amplitudes 相比較,在統計上是呈現顯著差異。 (Koelsch et al. 2002). 2.3. 莫札特效應 在特定的音樂對腦部活動影響方面,最著名的就是 Mozart Effect。在 1993 年,當 時 Frances 對 36 名心理學大學生進行測試。測試的內容為聆聽 10 分鐘的 Mozart’s (1985, track 1) Sonata for Two Pianos in D Major, K. 448,統計結果發現接受測試學生的 IQ 測 試成績普遍提高了 8 到 9 分。雖然這種提高只是暫時性的、只在聽完樂曲後的 10 到 15 分鐘內產生,但研究者仍然做出如此結論:IQ 成績的提高正是莫札特音樂所具有的. 8.

(23) 某些特殊作用的一個表現。(McLachlan et al., 1993). Jenkins 在 2001 年的一篇研究上並更進一步將 Mozart Effect 應用在癲癇病治療 上,研究者讓癲癇病患聆聽 Mozart’s (1985, track 1) Sonata for Two Pianos in D Major, K. 448 並記錄其腦波,結果發現癲癇病患腦部典型癲癇活動特徵都成下降的現象。研究 者並利用電腦對幾位作曲家的作品進行音樂分析,結果發現發現 Mozart 與 Bach 的音 樂皆具有一共通的特徵,即旋律週期比其他作曲家作品較為緩和悠長,也就是同一作 品中旋律呈現規律地不斷重複,而重複段落較其他作品來得悠長,而對空間圖像思維 能力或抑制癲癇病特徵之音樂則不具備上述特性。此研究提出一個與之前研究不同的 論點。Mozart Effect 不單只會出現在 Mozart 音樂上,符合 Mozart Effect 特性的音樂也 能對人體引誘出 Mozart Effect(Jenkins et al. 2001)。. 在 Thompson 等人的研究中比較了兩種類型音樂(Mozart’s (1985, track 1) Sonata for Two Pianos in D Major, K. 448 and Albinoni’s (1981, track 1) Adagio in G Minor for Organ and Strings)以及無聲狀態下對 Spatial abilities, arousal and mood 的影響。研究邀請二十 四位受測者參與實驗並接受四種圖像思維能力測試(剪紙、摺紙等)與一種實驗過程投入 程度問卷調查。研究結果表示在聆聽 Mozart’s Sonata 後所做測驗之分數,在統計上與 聆聽 Albinoni’s Adagio 以及無聲狀態之分數差異達到顯著水準。(Thompson et al. 2001). Rauscher 在 1997 發表了一篇研究,為了要找出可以令由音樂所誘導提高的 spatial-temporal reasoning 能力維持下去的方法,研究者採取聆聽音樂(Mozart K448)方法 作研究,受測者對象為三至四歲的小孩並隨機分成四組,一組學習彈奏鋼琴,一組學電 腦,另一組學唱歌,而最後一組則任何事情都不學只單純聆聽音樂(此為控制組)。結果 發現學習彈奏鋼琴那組小孩的圖像思維(spatial-temporal reasoning)能力提高了百分之三 十四,而其他組別的這項分數並沒有提高。研究的結果表示,聽 Mozart 音樂可短暫地 提高圖像思維能力,而且學習彈奏鋼琴則可使該能力得以維持下去。(Rauscher, 1997). 9.

(24) 2.4. 腦波信號分析 2.4.1. 叢集分析於腦波之研究. 在 Geva 於 1998 年的研究中,研究者嘗試以 Hierarchical Fuzzy Clustering 擷取與辯 識生物信號的特徵與狀態。研究者假設信號為 S(n), n = 1,…., L, L = N + M - 1, L 為信號 裡的 Sample 總個數,S 為 N X M 矩陣。故一個 S 就可擁有 N、M 兩個 Feature。同理, S’, S’’等等皆可如此類推。作者舉了一個心率變異信號為例,這例子中信號為 S(n), n = 1,….,L, S of N = 2, M = L – N + 1 = L – 1, 並作 phase space 作圖以 feature 1 (S(L-1))與 feature 2 (S(L))為座標,即可發現三群明顯群組。而對 temporal patterm number 與 state number 作圖也可發現明顯三段不同(Geva, 1998)。. 另一個關於 EEG 的 Clustering 研究,則是 Guess 與 Wilson 兩位研究者所發表的 Introduction to Hierarchical Clustering,這篇研究中 Hierarchical Clustering 所使用的例子 即為腦波信號,文中截取腦波信號特徵方式為判斷固定時間長度內腦波的主要波形次數 與振動幅度大小,依照此兩值作為 Hierarchical Clustering 分類的特徵值來對腦波信號作 分類。. 圖 三. 叢集於腦波之特徵值擷取圖. 10.

(25) Guess 和 Wilson 的研究中,提出一套分析腦波方式,也就是運用階層式叢集法 (Hierarchical Clustering)來分離腦波資料,使具有相似特性的資料聚成同一群,同群之間 同質性高,不同群之間有顯著性的差異。階層式叢集法所呈現的是一種樹狀架構,比較 能符合資料本身的特性進行叢集。方法在一開始的時候是將腦波每一點資料視為分離的 一個點,之後將達到相似度的水準的腦波資料相繼的結合成一群。研究者人工製造了一 段腦波資料,並使用階層式叢集法對此腦波資料進行分析,研究結果顯示階層式叢集法 對於分離不同情境的腦波資料以及雜訊排除具有良好效果(Guess & Wilson, 2002)。. 2.4.2. 獨立元件分析於腦波之研究. 在 Tran 等人的研究中,研究者對十六位正常孩童以及十六位具有結巴現象的孩童 記錄其朗讀時腦波變化情形。並試圖嘗試利用獨立元件分析法去移除當結巴情形發生時 腦波所產生的雜訊。研究結果發現具有結巴現象孩童的腦波的確比無結巴現象孩童的腦 波來得雜亂,並證實了 ICA 可以有效的移除這些結巴現象所產生的雜訊。(Tran et al., 2004)。. ICA 也曾運用在 magnetoencephalography (MEG)上,因大部分腦波信號都存在著雜 訊,故研究者嘗試運用 ICA 去分離這些無用的雜訊。而實驗結果也證實 ICA 在分離這 些腦波信號雜訊上有良好的效果(Ikeda & Toyama, 1999)。在 Iriarte 等研究者的研究中, 80 位受測者並嘗試以 ICA 去除腦波中突波、EKG 之雜訊、50-Hz 阻抗、肌肉或電極雜 訊。實驗結果顯示 ICA 是一套去除腦波雜訊十分實用的工具,且不會對腦波造成有影響 的破壞(Iriarte et Al., 2003)。. 2.4.3. 其他分析法於腦波之研究. 2003 年日本一篇研究報導,研究者使用基因演算法 (GA)去選擇腦波中具有個人特 徵的成份,利用因素分析(FA)來擷取具有個人特徵的腦波資料與利用類神經網路(NN) 去評估經 FA 擷取出的腦波。研究者準備五位受測者四種狀態 Fp1 腦波(聆聽搖滾樂、古 典樂、日本民謠與治療音樂)來驗證研究所提新方法與傳統頻譜判斷法之正確率。. 11.

(26) 研究中所提出方法之架構。將 FFT 後的 EEG data 作 GA 判斷是否具個人特徵,再 經 FA 抽取個人特徵,接下來再跑三層架構的 NN 評估腦波資料。在 GA 部分,腦波的 基因可視為 0 與 1,若 GA 跑出結果為 1,則這段腦波經 FFT 的 DATA 就可接著 FA 處 理。反之若是 0,就視為此段無個別特徵。第二個步驟是跑 FA,在此篇研究中 FA model 架構為 cross-factor,作者認為具特徵的腦波資料就是 the data of first factor loading。第三 則為三層架構的 NN,用來判斷評估腦波狀態來判斷處於何種狀態。在有使用 GA 與傳 統使用頻譜判斷腦波狀態正確率之比較上,可發現有使用 GA 鑑別率可達到 95%,而一 般只有 80%。 (Ito al et. 2003). 12.

(27) 第三章 研究材料與方法. 本研究於實驗過程中,將給予受測者音樂情境刺激並記錄其腦波信號。在腦波信號 分析部分,為了能更精準的探討腦波信號與音樂信號間的關連性,達到更佳的信與效 度。本研究除了使用過去研究中常運用的頻譜分析信號外,也加入獨立元件分析法、相 關係數、叢集分析,同時也對頻譜分析後結果進行統計分析。希望藉著這些分析方法能 夠釐清不同類型音樂在人體生理上能得到何種生理反應。. 3.1. 研究材料 在量測收集腦波資料方面,本研究邀請三十二位受測者,使用 10–20 electrode placement systems 國際標準法經腦波機擷取二十一組 Channel 訊號。為了讓受測者能更 專注聆聽音樂,本研究讓受測者配戴耳塞式耳機,以達到隔絕外界聲音藉此讓受測者能 更專注於實驗音樂上之目的。. 在分析腦波信號上,除了使用 MatLab 程式對腦波信號進行頻譜分析,並經 SPSS 統計軟體進行統計分析外,本研究也使用 Matlab ICA ToolBox 作為工具對腦波信號進行 分析。. 3.1.1. 研究儀器. 1. 音樂訊號編輯軟體:Cool Edit 2000。 2. 音樂播放工具:NoteBook 內建光碟機、Panasonic RP-HV152 耳塞式耳機與 Windows XP 附設 Media Player 音樂播放軟體。 3. 生理訊號分析軟體:Mat Lab 6.1 程式語言、ICA Tool Box。 4. 統計分析軟體:Statistical Package for the Social Sciences 12。 5. 腦波測量儀:Stellate 公司出產的 Stellate Harmonie 腦波機(圖四)。本研究中從受測者 收集二十六組 Channel 訊號。其中一組 Channel 連接 EKG,而參考電位在此則是運. 13.

(28) 用單極連接法(monopolar montage),兩組 Channel 連接雙耳後骨頭隆起部分做為參考 點。而腦波訊號之取樣頻率為 200 point/sec。. 圖 四. 圖 五. Stellate Harmonie 腦波機. 腦波機量測腦波軟體之畫面. 14.

(29) 3.1.2. 受測者. 實驗對象之選取以三十二位台北醫學大學學生為主且無聽覺之障礙、無任何已知會 影響腦波的疾病、未定期服用藥物且願意配合參與本實驗者,預計邀請男、女性各十六 位學生擔任本實驗之受測者。並依照實驗程序不同之設計,將受測者分為 A、B 兩群組, 每組包含男女各八位受測者。. 3.1.3. 10-20 國際標準腦波擷取法. 在收取腦波信號方面,本研究採用 10-20 國際標準腦波擷取法(圖六)。茲將此法說 明如下: 1. 頭之縱線,以鼻跟(Nasion)與枕凸隆(Inion)為基點,分為 10%、20%、20%、20%、 20%與 10%等六部分。 2. 頭之橫線,以兩耳(Ear)為基點,亦分作 10%、20%、20%、20%、20%與 10%等六部 分。 3. 以通過上述每 10%部分為週線,將此週線由正中線分成左右兩半,再由各半邊取 10%、20%、20%、20%、20%與 10%等六部分。 4. 各分隔點之位置如圖六所示,而 F3、F4、P3、P4 點分別為(F7 與 Fz)、(Fz 與 F8)、 (T5 與 Pz)、(Pz 與 T6)之中間點。. 圖 六. 10-20 國際標準腦波擷取法. 15.

(30) 腦波訊號擷取是藉著黏貼於受測者腦部之氯化銀電極貼片感測電位變化,而收取腦 波訊號前一天需請受測者清洗頭髮與頭皮。而電極黏貼之順序可隨著黏貼者之經驗與喜 好而不同,主要的原則為先確認各參考點,再將電極黏貼於其上。. 而黏貼電極之步驟如下: 1.. 將黏貼面之頭皮以充滿酒精之棉花擦拭,此動作之目的為去除頭皮上之油脂,然後 讓酒精完全發揮。因為殘留之酒精會對導電膏造成破壞之緣故。. 2.. 將黏貼面之頭皮以充滿磨砂膏之棉花擦拭,此動作之目的為去除頭皮上之多餘角 質,避免造成不必要的雜訊。. 3.. 利用細竹棒將黏貼面之頭髮撥開後,將導電膏均勻塗抹於頭皮上,其大小直徑約為 一公分。再將電極片均勻施力黏貼於其上。. 4.. 取一塊三公分之正方形紗布覆蓋於電極上,並向電極之周圍均勻施壓,固定電極, 也可利用醫用膠布固定電極。. 圖 七 10-20 system 國際標準腦波擷取法操作畫面. 16.

(31) 3.1.4. 實驗情境音樂. 在實驗情境音樂上,本研究採用四種音樂情境,分別為古典鋼琴奏鳴曲(Mozart’s (1985, track 1) Sonata for Two Pianos in D Major, K. 448)、重金屬音樂(Heavy Metal)、受測 者自選喜愛音樂(Favorite)以及不聽音樂(No Music),藉此給予受測者主動刺激。音樂格 式上本研究直接由音樂光碟轉換進電腦成為 44100Hz、128Bits 之 WAV 檔,鋼琴奏鳴曲、 重金屬音樂長度為五分鐘,不聽音樂長度為一分鐘數段,受測者自選喜愛音樂則因個人 喜好不同而長度不一。. 而在 Sonata 與 Metal 上,本研究利用 CoolEdit 2000 聲音編輯軟體對這兩首音樂進 行音樂編曲處理,使之成為 A、B 兩種類型之音樂。A 音樂為兩段 Metal 與 Sonata 之旋 律,長度為五分鐘,並且具有每隔一分鐘音樂旋律就重複一次之特性,重複五次後結束。 B 音樂為總長十分鐘,Metal 與 Sonata 交錯連續播放,每段 Metal 和 Sonata 皆為一分鐘, 各交錯播放五次成為總共十分鐘之旋律。. 此編曲動作之目的有兩個,一為藉此種固定週期且重複旋律之音樂刺激,可對腦波 進行同步觀察,尋找在腦波信號中是否具有因此音樂刺激而引誘呈現固定週期且重複旋 律之特徵。二為由於腦波實驗過程中充滿著許多變數,為了降低擷取後腦波訊號之雜 訊,有許多腦波研究者將實驗設計為同樣實驗設計之實驗分為許多天進行,也就是重複 的實驗重複做幾次,利用此種重複方式收集重複實驗資料,再對實驗資料做 signal average,藉此動作降低實驗資料之雜訊。本實驗考慮收集資料時間與尋找受測者困難 度,故設計此重複旋律以達到降低雜訊之目的。. 3.1.5. ICA Tool Box for MatLab 而在 ICA 上,本研究使用在 Matlab 環境下運作的一套 ICA ToolBox(圖八、九),此 套 ToolBox 為 Institute for Neural Computation, University of California, San Diego 所發展 的工具,於許多 ICA 相關研究上都被引用為工具,在許多研究上公認為一套可信賴的 ICA ToolBox。 ( http://www.sccn.ucsd.edu/~scott/ica-download-form.html ). 17.

(32) 圖 八 ICA ToolBox 繪製腦波訊號圖. 圖 九 單一導程頻譜分析. 18.

(33) 本研究將腦波訊號輸入至 Matlab 中成為一個 M x N 矩陣,便可呼叫此工具對腦波 信號進行龐大的 ICA 計算,本研究中腦波信號為十九組,故所分析出獨立元件也具有十 九個。同時也可對分析出的獨立元件繪製腦部上各獨立元件對腦部區域相關強度圖。藉 此可與神經認知上腦部意義作比對,瞭解當音樂刺激時,腦部變化發生的區域在神經認 知上是代表何種意義。. 3.2. 實驗流程 本研究安排受測者聆聽音樂,量測受測者在接收音樂刺激狀態下,擷取約二十分鐘 長度之腦波資料。音樂刺激的選擇分別為經過重新編曲的 Sonata 與 Metal,以及 Favorite 和 No Music 總共四種情境。且實驗將受測者分為 A、B 兩實驗群組,A、B 實驗群組主 要差別於 Metal、Sonata 呈現上有所差異(圖十),群組 A 聆聽 A 音樂,為每段一分鐘並 重複五次之 Metal 與 Sonata。而群組 B 聆聽 B 音樂,為 Metal 與 Sonata 交錯連續播放, 每段 Metal 和 Sonata 皆為一分鐘。而每段情境間皆間格一分鐘之空白以便緩和前次情境 對接續情境所造成之干擾。而設立 A、B 兩實驗之目的為方便 ICA 分析,由於 ICA 後 之獨立元件為時域狀態,本研究可藉此觀測單一情境較長(A 實驗)與單一情境較短(B 實 驗)之腦波訊號,經 ICA 後不同情境之交界是否會出現交錯之狀態,藉此實驗設計觀測 ICA 於腦波分析上之成效如何。. 圖 十. A、B 實驗流程圖. 19.

(34) 實驗進行的地點為一處安靜不受外界干擾的實驗室(圖十一)。當受試者來到實驗室 後並填寫腦波與音樂研究記錄表(見附錄一),接著本研究者為受試者接上腦波機與戴上 耳機,並對受測者朗讀實驗指導語。. 圖 十一 腦波實驗進行畫面. 受試者坐在具靠背可自然放鬆的椅子上接受實驗情境。並為了觀察 Alpha 波的活 動,研究者將會要求受測者放鬆心情並輕鬆的闔眼接受實驗情境刺激。為了緩和實驗情 境播放順序所造成的誤差,故實驗情境採用隨機的方式呈現給予受測者主動刺激。. 指導語:首先感謝你參與本次實驗。整個實驗約 20 分鐘,在這期間會有生理測量 儀器來測量你的反應。實驗進行中將會播放音樂,請你在聆聽音樂的同時閉上眼睛且保 持放鬆聆聽音樂,實驗的過程中音樂有時會出現有時則沒有,這為正常的現象。若有疑 問,我們在實驗結束後會替你解釋說明。謝謝您的合作。. 20.

(35) 3.3. 腦波信號分析方法. 如圖十二顯示,腦波分析方法上運用頻譜分析(Spectral Analysis)、獨立元件分析法 (Independent Component Analysis, ICA)、叢集分析(Cluster Analysis)、相關係數(Correlation Coefficient),統計上使用相依樣本 T 檢定(Paired-Samples T test)來檢驗在不同實驗情 境下的腦波頻譜是否有有所差異。. 圖 十二. 腦波信號處理流程圖. 21.

(36) 3.3.1.頻譜分析. 腦波信號為一種複和各種頻率的方式呈現的時間序列函數,而腦波振福上也有很大 的差異,故若在時間頻域上直接觀察腦波信號往往會無法觀察到必要的訊息而漏失重要 的意義。而傅立葉轉換係將時域的序列信號轉換至頻域中,以便探討每個頻率下的信號 能量變化。因此通常腦波都作傅立葉轉換將複雜的波型合成為數個簡單的成分,將腦波 信號以時間為單位,作傅利葉轉換分析,再作頻譜分析,即可得到腦波在每一頻率上的 分佈情形。藉此觀察不同頻率上腦波的分佈強弱。. 1.. 傅立葉轉換 (Fourier transform): jω. X ( e ) = F [ x ( n )] =. ∞. ∑ x ( n )e. − jω n. n = −∞. 上式 F 為執行傅立葉轉換的函數表示。對一個週期性的信號,其相位會繞著一個圓 在運轉,所以每一個信號點 X(n)進行與其對應的角頻率指數值乘加運算後,可以想成所 有信號在某一角度 ω 下的能量值總和 X( e jω )。所以,把 ω 當作橫軸,運算結果當作縱 軸,便可以表現出該信號之頻譜。. 2.. 快速傅利葉轉換 (Fast Fourier transform):. 早期的傅利葉轉換大都利用手算完成,因此傅利葉轉換樣本個數皆偏小,直到 1965 年 Cooley 及 Tukey 發表一系列快速傅利葉轉換的論文,由於計算機能力加強,傅利葉 轉換樣本個數容許更大的數值,一套使用更快計算方式來節省計算時間的快速傅利葉轉 換變就此產生。. 當一個 N 點的序列而言,使用傳統離散傅利葉轉換(Discrete Fourier Transform, DFT)計算方式需 N 平方的計算量,可是當使用快速傅利葉轉換時,卻只要 N*N 之計 算量。故當 N 值很大時,這樣節省下來的計算時間是相當可觀的。這也是快速傅利葉 轉換至今被廣泛使用的原因。 22.

(37) 而在本研究中,我們將腦波訊號輸入至 Matlab 軟體中,做時域轉頻域處理,並依 照頻率不同切分出 Alpha、Beta、Gamma、Theta 不同頻帶,並作頻譜分析得到在不同頻 帶上之能量值,再由此值作為特徵進行其他分析。. 3.3.2. 獨立元件分析(Independent Component Analysis, ICA). 獨立成份分析最早為 Makeig 所提出(Makeig et al. 1996)。為一種尋找隨機型態信號 或變數中隱藏因子(hidden factor)的統計與分析方法。在研究者想研究的資料中,可先假 設所求模型裡資料形式由線性或非線性潛在變數(latent variable)組合而成。這些潛在變 數為非高斯分佈且互相獨立,被稱為觀察資料的獨立成份。且整個系統模式是允許研究 者對整個系統處於未知的狀態,而獨立成份分析就是運用來尋找這些獨立成份來源的方 法分析法。. 獨立成份分析法主要被應用於未知訊號分離的領域,最典型且廣為人知的未知訊號 分離問題就是:在一密閉空間中,兩種樂器同時在演奏,並有兩隻不同位置的麥克風同 時進行收音動作,假設兩位種樂器發出的訊號定義為 S1、S2,兩隻麥克風收到的訊號分 別別為 X1 及 X2。S1 及 S2 可視為獨立音源,以線性方程式描述就如下所示:. X1 = A11 × S1 + A12 × S2 X2 = A21 × S1 + A22 × S2. A11、A12、A21 及 A22 等參數取決於兩種樂器分別與麥克風之間的距離,且是允許研 究者無法得知的。在無法得知 A11、A12、A21 及 A22 等參數,也就是兩種樂器與麥克風 之間距離的狀態下,可利用獨立成份分析法將混合訊號重建復原成原來獨立訊號。. 近年獨立成份分析(independent component analysis, ICA)在各種領域廣泛的被當成 工具在運用,各方面的研究也紛紛有研究報告出現。獨立成份分析被應用在生物訊號處 理(biomedical signal processing)、語音訊號處理(speech signal processing)、特徵擷取 (feature extraction)、資料探勘(data mining)與數位影像(Digital Image)等等研究領域中。. 23.

(38) 一般而言,我們收集 EEG 是為了瞭解各部份腦神經的活動,而非眼球或是肌肉的 活動,但是往往這些訊號遠大於腦部訊號,造成許多 EEG 分析上的困難,尤其當我們 收集及研究受測者的 EEG 時,這些雜訊更是無所不在。ICA 一旦能把這些雜訊分離出 來,我們就可以只投影腦神經的訊號回到頭皮上,而得到乾淨(clean)的 EEG。且由於量 測 EEG 訊號時,需利用放置頭皮上的電極(electrodes)去收集腦裏神經元的活動,但是因 為大腦、小腦據頭皮有一小段距離,這中間充滿了 Volumn- conductance,所以頭皮上的 任何一個電極都會收集到在一個相當大區域內腦神經元的活動。當 ICA 用來分析腦波訊 號時,在不同電極上收集的 EEG 訊號是輸入的矩陣X,而 ICA 的輸出U代表不同的獨 立元素 (Independent Component)。U的每一列 (Row) 代表不同的神經網路或是腦外 (Extra-brain)訊號源(例如眨眼睛,臉面肌肉抖動)所產生的波型。因為 ICA 是一個十 分簡單的線性系統,U=WX,所以我們也可以將一個的獨立元素,單獨地投影到頭皮 上的電極,也就是X=W-1U。. 許多 ICA 的應用結果,證明了 ICA 不只能清除 EEG 的雜訊,更能把腦部受到不同 刺激(stimuli)或是腦部在學習新的事物時,腦神經元的各種活動分離成不同的獨立元件 (Jung et al. 1998b; 1999; Makeig et al. 1999)。. 3.3.3. 相關係數 (Correlation coefficient). 在許多調查研究中,常需要就實驗中的每一實驗單位觀察兩個或兩個以上的變數, 以決定是否可以從其他的變數衡量預測另一主要變數的情形。相關係數就是描述變數間 關係的數字,其定義公式如下:. γ XY =. ∑ X Y − (∑ X ∑ Y ) n − (∑ X ) n ∑ Y − (∑ Y ) i i. ∑X. 2 i. i. i. 2. i. 2. 2. i. i. n. γ XY 為相關係數,在本研究中,聆聽相同音樂時,不同的受測者在腦部變化上是否 會有不同。普遍認知上,聆聽舒緩性質的音樂可令人放鬆感到舒適,聆聽節奏感強烈之 音樂令人充滿活力心情亢奮,這代表著音樂通常能帶給人類某種特定的反應。然而聆聽. 24.

(39) 特定音樂在不同的受測者上會具有相同的反應趨勢嗎?本研究將腦波能量質作為 X iYi 變數,藉此求出相關係數。方法如下所述: 將同一受測者中同個情境下之各頻帶中每組導程能量依頻帶區分所得能量值數列 作為相關係數公式中的 Xi Yi 變數,由此計算受測者差異相關係數(受測者 01 vs. 受測者 02、受測者 01 vs. 受測者 03、受測者 01 vs. 受測者 04……受測者 31 vs. 受測者 32), 並計算出大於 0.7 相關係數之機率,藉此值繪製成圖觀測不同受測者對相同音樂的敏感 性 (個體對腦波之相似度)。 另一方面,本研究將 Metal、Sonata、Favorite 情境下三十二位受測者各頻帶中各導 程能量質數列作為變數 Xi、Yi,計算出 Metal vs. Sonata、Metal vs. Favorite、Sonata vs. Favorite 三組相關係數,接著並將每個導程中所求得之三十二個相關係數取中位數,並 藉此值繪製成圖,觀察在受測者對不同音樂的敏感性 (音樂對腦波之相似度)。 3.3.4. 叢集分析(Cluster Analysis). 在叢集分析方法中,最普遍的就是階層式叢集法(Hierarchical Clustering)。叢集之意 義與目的就是使具有相似特性的資料聚成同一群,同群之間同質性高,不同群之間有顯 著性的差異。而階層式叢集法所呈現的是一種樹狀架構,比較能符合資料本身的特性進 行叢集。當階層式叢集法運用在腦波信號上,方法則為一開始的時候是將腦波每一點資 料視為分離的一個點,之後將達到相似度的水準的腦波資料相繼的結合成一群。. 不過當叢集法運用在腦波分析上時,首要的工作就是定義與找尋腦波特徵值。過去 關於叢集法於腦波的研究中,研究者利用腦波主要波形振福、次數或腦波信號之行列次 數當特徵值去作叢集分析,在許多研究結果上證實叢集分析法對腦波信號可達到有效分 類之目的。. 3.6. 資料分析與統計 在分析腦波資料上,如圖六所示將擷取到的腦波訊號依實驗情境不同分為 Sonata、. 25.

(40) Metal、No Music 以及 Favorite 四個情境,並利用 Matlab 程式對腦波信號作時頻域轉換, 以便分析其時頻訊號之特性,並以腦波定義範圍對腦波信號進行濾波動作,截取出 Alpha 波(8 至 12Hz)、Beta 波(12 至 30Hz)、Gamma 波(30 至 50Hz)、Theta 波(4 至 8Hz),同 時進行頻譜分析計算各頻帶之能量數值,如此便能觀察出在各頻率中能量之強弱分佈。 而在 Metal 與 Sonata 上,本研究每段一分鐘重複五次情境之腦波進行濾波計算出各頻帶 之能量數值,為了達到降低雜訊的目的,故將總能量除以五成為一分鐘之平均值。. 另一方面同時將腦波訊號透過 ICA 作處理,目的是為了將雜訊成分居多的腦波訊號 去除。同時將 ICA 過後各獨立元件做叢集分析,根據過去學者研究結果,以腦波主要波 形振福、次數為特徵值在叢集分析上皆有不錯的效果。故本研究中叢集分析之特徵值定 義為腦波主要波形振福、次數。藉此特徵值將各獨立元件分群組,每一群組內獨立元件 相似度高,而不同群組之獨立元件差異度大,藉此觀察由叢集所分族群間與所聽音樂之 相關性。. 而在統計分析方面,音樂的差異能確實顯現在腦部活動嗎?也就是說當受測者接受 不同情境刺激下,其腦部上之反應變化是否也隨音樂類型變化而呈現不同。本研究將不 同情境下各導程之腦波濾波成各頻帶後,計算出其頻域上之能量。藉此值執行相依樣本 T 檢定。目的為觀測不同情境下之各導程中各頻帶能量間是否有統計上顯著意義。同時 執行完上述統計分析後,本研究依不同頻帶,將共十九導程中有顯示統計意義之導程, 於腦部圖中標示出,藉此觀察四個頻帶下,不同情境之間腦波於腦部區域變化現象。. 26.

(41) 第四章 結果. 4.1 各種情境下之腦波與其頻譜 圖十三為腦波原始訊號於時域中繪製而成之波形,左排數字為腦波各導程,依次為 "F4-REF", "C4-REF", "P4-REF", "O2-REF", "F8-REF", "T4-REF", "T6-REF", "A2-REF", "Fz-REF", "Cz-REF", "Pz-REF", "F3-REF", "C3-REF", "P3-REF", "O1-REF", "F7-REF", "T3-REF", "T5-REF", "A1-REF", "Fp1-REF", "Fp2-REF",而下排 355 至 365 則代表此腦波 訊號於第 355 秒至 365 秒。而 355~360 秒為 Metal 情境,360~365 秒為 Sonata 情境。. 圖 十三. 原始腦波訊號圖. 27.

(42) 圖十四則為原始腦波訊號經過頻譜分析後繪製成頻譜強度分佈圖。另外並經 moving average 後所繪製而成另一張圖。左排數字代表頻率範圍,下排標誌則為各情境階段 (BL:No Music,M:Metal,S:Sonata,Fav:Favorite)。圖中紅色部分代表頻譜能量較 高區域,而深藍色區域則是代表能量較低部分。由此圖可觀察出當第三次 Metal 情境開 始後,Alpha 能量呈現上升的狀態。而第四次 Metal 出現後,Gamma 能量是出現下降的 現象。. 圖 十四. 腦波訊號頻譜分析圖. 4.2 不同情境下之各導程中各頻帶能量比較. 本研究依不同頻帶,將共十九導程中有顯示統計意義之導程(原始數據統計表見附 錄二)於腦部區域圖中標示出,下列四圖(圖十五〜十八)為各頻帶中具顯著統計意義超過 八導程以上之情境互相比較。藉此腦部區域圖觀察四個頻帶下,不同情境之間腦波於腦. 28.

(43) 部區域變化現象。 表一 情境比較下各導層具有顯著意義之導程數量表 (P value < 0.05) Metal vs. Sonata. Alpha Number. Number. Number. 4.2.1. 10. Metal vs. No Music. Metal vs. Favorite. 14. 0. Metal vs. No Music. Metal vs. Favorite. 0 Metal vs. Sonata. Theta. 10. 0. Metal Gamma vs. Sonata Number. Metal vs. Favorite. 0 Metal vs. Sonata. Beta. Metal vs. No Music. 1 Metal vs. No Music. 0. 8. Sonata vs. No Music 5 Sonata vs. No Music 17 Sonata vs. No Music. 0. 18. Metal vs. Favorite. Sonata vs. No Music. 0. 8. Sonata vs. Favorite 0 Sonata vs. Favorite 8 Sonata vs. Favorite 4 Sonata vs. Favorite 1. No Music vs. Favorite 2 No Music vs. Favorite 3 No Music vs. Favorite 14 No Music vs. Favorite 5. Alpha 波 由圖十五中可觀察出在 Alpha 頻帶時,當 Metal vs. No Music、Metal vs. Favorite、. 這兩組腦部上是呈現較大差異的,且兩組比較中統計有意義之導程皆是 Metal 狀態時能 量較小,而 F8 導程於兩組統計上皆無顯著差異。. 圖 十五. Alpha 波中聆聽不同音樂時各導程之統計差異圖. 29.

(44) 4.2.2. Beta 波 由圖十六可發覺在 Beta 頻帶時,Metal vs. No Music、Sonata vs. No Music、Sonata vs.. Favorite 這三組於腦部統計差異較為廣泛,尤其於 Metal vs. No Music、Sonata vs. No Music 這兩組,Beta 頻帶差異幾乎占滿整個頭部。且三組比較中統計有意義之導程具較 強能量分別 No Music、No Music、Favorite。. 圖 十六 Beta 波中聆聽不同音樂時各導程之統計差異圖 4.2.3. Theta 波. 圖 十七. Theta 波中聆聽不同音樂時各導程之統計差異圖. 由圖十七可察覺於 Metal vs. No Music、Sonata vs. No Music 時,Theta 波幾乎是出 現在 T3、F7、Fp1、Fp2、F8、T4 前顱環狀區域,且中央區域之導程完全不具有統計上 30.

(45) 具差異,而此兩組比較皆為 No Music 狀態時能量較高。 4.2.4. Gamma 波. 圖 十八. Gamma 波中聆聽不同音樂時各導程之統計差異圖. 由圖十八可得知 Gamma 波出現於 No Music vs. Favorite、Sonata vs. No Music 這兩 情境,尤其是在 Sonata vs. No Music 這組,Gamma 頻帶幾乎全部導程都具有顯著意義, 且此兩組皆是 No Music 能量較高。. 4.3 腦波相似度. 4.3.1 不同個體在相同音樂情境下. 圖十九顯示不同受測者對相同音樂的敏感性 (個體對腦波之相似度),在各種導程 下,不同受測者對相同音樂的敏感性。本研究將各頻帶下之腦波訊號能量值作為特徵計 算相關係數。可查知在大多數的導程中,Favorite 出現高相關係數之機率為三組中 (Metal、Sonata、Favorite)最低,而 Metal 出現高相關係數之機率往往是最高。. 31.

(46) 圖 十九. 各導程之高相關係數比例圖. 32.

(47) 表二 不同情境間各導程腦波能量相關係數之全距與中位數表。(M_S:Metal vs. Sonata、 M_F:Metal vs. Favorite、S_F:Sonata vs. Favorite) F4 M_S. C4 M_F. S_F. M_S. P4 M_F. S_F. M_S. O2 M_F. S_F. M_S. M_F. S_F. Range 0.39408 0.73818 0.59091 0.44270 0.80012 0.60739 0.88333 0.70796 0.73807 0.96145 0.81539 0.85351 Median 0.98844 0.97493 0.96354 0.98605 0.96936 0.97088 0.99137 0.97944 0.96671 0.98788 0.98385 0.97230 T4 M_S. T6 M_F. S_F. M_S. Fz M_F. S_F. M_S. F8 M_F. S_F. M_S. M_F. S_F. Range 0.98210 0.88150 0.66294 0.59880 0.71976 0.46724 0.56666 0.71830 0.57023 0.47411 0.74796 0.92723 Median 0.97041 0.94237 0.90956 0.98119 0.98584 0.96549 0.98725 0.96746 0.95721 0.96628 0.94985 0.95623 Cz M_S. Pz M_F. S_F. M_S. F3 M_F. S_F. M_S. C3 M_F. S_F. M_S. M_F. S_F. Range 0.48743 0.91476 0.70573 0.58231 0.89672 0.82090 0.50819 0.63748 0.51160 0.50726 0.87761 0.82072 Median 0.98836 0.97005 0.96903 0.98024 0.98248 0.97403 0.98648 0.95553 0.96301 0.98505 0.97368 0.97723 P3 M_S. O1 M_F. S_F. M_S. F7 M_F. S_F. M_S. T3 M_F. S_F. M_S. M_F. S_F. Range 0.53108 0.88056 0.86390 0.94354 0.98253 0.75843 0.50498 0.78649 0.65371 0.89546 0.92627 0.57343 Median 0.98100 0.97699 0.97262 0.98531 0.98553 0.97361 0.96781 0.96193 0.96667 0.97832 0.93420 0.93443 T5 M_S. Fp1 M_F. S_F. M_S. Fp2 M_F. S_F. M_S. M_F. S_F. Range 0.72582 0.85908 0.69489 0.47213 0.77564 0.70089 0.30781 0.67149 0.64013 Median 0.98769 0.98594 0.96205 0.98347 0.97218 0.96848 0.97332 0.97021 0.96897. 上表為不同情境間各導程腦波能量相關係數之全距與中位數表,可發現幾乎三個情 境之中位數皆落於 0.9 以上,但全距則在 0.3~0.9 間,顯至資料的分佈差異較大。. 33.

(48) 4.3.2 同個體在不同音樂情境下 另一方面,圖二十〜二十二可觀察在受測者對不同音樂的敏感性 (音樂對腦波之相 似度)。圖二十顯示當 Metal vs. Sonata 時,在各種導程下對音樂的敏感性。由圖可察知 F7、F8、T4 這三導程相對其他導程的相關係數之中位數是較低的。. 圖 二十. 圖各導程之相關係數中位數圖. 34.

(49) 圖二十一顯示當 Metal vs. Favorite 時,在各種導程下對音樂的敏感性。由圖可知 F8、 T4、F3、T3 的相關係數之中位數相對其他導程是較低的。. 圖 二十一. Metal vs. Favorite 各導程之相關係數中位數圖. 35.

(50) 圖二十二顯示當 Sonata vs. Favorite 時,在各種導程對音樂的敏感性。由圖可察知 T4、T3 這兩導程相對其他導程的相關係數之中位數是較低的。尤其在 T4 導程與其他導 程具有一段落差。. 圖 二十二. Sonata vs. Favorite 各導程之相關係數中位數圖. 4.4 ICA 分析法 圖二十三、二十四中分別為 A 實驗與 B 實驗之受測者腦波訊號(包括 A1、A2)經 ICA 處理,將所得到之二十一組獨立元件在時域下繪製成圖,兩圖中左側數字代表為各個導. 36.

(51) 程,而下方則是秒數,這兩圖中意義代表兩情境之交會點,五十四秒至六十秒為 Metal 情境,六十秒至六十六秒代表為 Sonata 情境。本研究藉此 ICA 方式分析當兩情境交會 點是否會呈現差異、交錯之現象。. 圖 二十三 A 實驗之受測者獨立元件圖. 圖 二十四 B 實驗之受測者獨立元件圖. 37.

(52) 圖二十五為經獨立元件分析法後所獲得十九個獨立元件腦部關連強弱圖,圖中每一 小頭部區域圖代表將每一個獨立元件去跟整個腦部做關連,得到每一個獨立元件在這位 置貢獻程度的大小,紅色部分為正相關,藍色部分為負相關。由這二十一組獨立元件分 析可去觀察腦部區域關連較強或較弱之處。. 圖二十五、二十六為 A、B 兩實驗中 ICA 後各獨立元件腦部關連強弱圖。藉此分析 本研究嘗試去觀測腦波訊號在腦部發散來源,比如說圖二十五第一個獨立元件圖為此獨 立元件跟整個腦部區域做關連,而發現這個獨立元件跟後顱區域相關性較高,故來自後 顱區域的貢獻較強。. 圖 二十五. A 實驗中 ICA 後各獨立元件腦部關連強弱圖. 38.

(53) 圖 二十六. B 實驗中 ICA 後各獨立元件腦部關連強弱圖. 圖二十五為 A 實驗中原始腦波訊號經 ICA 後所得之獨立元件。上圖為獨立元件之 頻譜圖。下圖為上圖做 Moving Average 後所繪製而成。而圖二十六為 B 實驗中原始腦 波訊號經 ICA 後所得之獨立元件。圖二十七為圖二十五中第一個獨立元件之時域與頻域 圖(BL: No Music, Metal 情境, Sonata 情境以及 favorite 情境)。圖二十七顯示出第一個獨 立元件於時域上之變化。中圖則是將獨立元件一對頻域作頻譜分析,藉此可以觀察到 Sonata 部分 Alpha 波是呈現上升現象,而在 Metal 剛開始時,Alpha 波呈現出短暫時間 的上升。而下圖為上圖做 Moving Average 後所繪製而成。. 39.

(54) 圖 二十七. A 實驗獨立元件頻域圖. 圖二十八為圖二十六中第一個獨立元件之時域與頻域圖(BL: No Music, Metal 情境, Sonata 情境以及 favorite 情境)。圖二十八顯示出第十四個獨立元件於時域上之變化。中 圖則是將獨立元件一對頻域作頻譜分析,M 代表 Metal,S 代表 Sonata,發覺在這種情 境交錯播放時,十至五十赫茲皆呈現明顯的上升現象。同樣的圖二十八下圖為圖二十八 上圖做 Moving Average 後所繪製而成。. 圖 二十八 B 實驗獨立元件頻域圖. 40.

(55) 另外 A、B 實驗中各十五位受測者之腦波經 ICA 後繪製成如上之頻域圖,普遍觀察 可發現某幾個獨立元件在不同情境中會呈現能量上升或下降之狀態,但此間之關連與意 義解讀仍須更進一步探討。. 41.

數據

圖  一  Gamma Power 狀態圖
圖  二    音樂旋律圖
圖  三    叢集於腦波之特徵值擷取圖
圖  四  Stellate Harmonie 腦波機
+7

參考文獻

相關文件

(1) Western musical terms and names of composers commonly used in the teaching of Music are included in this glossary.. (2) The Western musical terms and names of composers

Wang, Solving pseudomonotone variational inequalities and pseudocon- vex optimization problems using the projection neural network, IEEE Transactions on Neural Networks 17

To compare different models using PPMC, the frequency of extreme PPP values (i.e., values \0.05 or .0.95 as discussed earlier) for the selected measures was computed for each

Define instead the imaginary.. potential, magnetic field, lattice…) Dirac-BdG Hamiltonian:. with small, and matrix

Miroslav Fiedler, Praha, Algebraic connectivity of graphs, Czechoslovak Mathematical Journal 23 (98) 1973,

Microphone and 600 ohm line conduits shall be mechanically and electrically connected to receptacle boxes and electrically grounded to the audio system ground point.. Lines in

We may observe that the Riemann zeta function at integer values appears in the series expansion of the logarithm of the gamma function.. Several proofs may be found

To decide the correspondence between different sets of fea- ture points and to consider the binary relationships of point pairs at the same time, we construct a graph for each set