希爾伯特黃轉換應用於單筆腦電波訊號
179
0
0
全文
(2) 致謝 碩士班兩年的時間中，承蒙指導教授葉榮木博士以及蔡俊明博士的督促 與指導，幫助我在研究領域上有所成長，並逐漸養成發現問題、解決問題的 能力，激發我對於研究的興趣。同時還要特別感謝口試委員，李炯博士和陳 弘斌博士，特地從百忙中抽空來指導我研究內容，提出改進的方向，並且鉅 細靡遺地糾正碩士論文的寫作，您們寶貴的意見使我受益良多。 接著，還要特別感謝我的父母，父親石登讚先生、母親任麗霞女士，在 生活上無微不至地照顧我的生活起居，維繫我的健康狀況，使我能毫無後顧 之憂的進行研究。在研究所繁忙的兩年內，對於在家裡陪伴你們的時間相對 的少了很多，感到相當的內疚，謝謝你們無時無刻的為我著想、加油打氣， 並且容忍我的早出晚歸，這兩年來讓你們擔心了。 感謝A.I. Lab的育財學長、超然學長，引導我進入這個研究領域，使我 能順利地進入狀況；還有我的同學，宇璁和建中，這兩年與你們討論與共同 努力，讓我感到充實、愉快；還有學弟勉光、昀松、育聖，與你們的教學相 長讓也受益不少，並感謝你們幫了我不少忙。 最後還要感謝Signal Processing Lab的吳順德博士給予我不少研究建 議，拓展我的視野與思考能力；感謝同學思予和祥偉，雖然我們不是同一間 實驗室，卻也能互相討論研究內容、一起渡過艱辛的研究生活，讓我感到非 常難得；還有功達學長、學弟正倫、士宜、家齊、虹伯、求文、宗銘以及師 大機電系所有的夥伴，你們的幫忙和激勵，讓我順利且愉快地完成碩士學 位，同時也帶給我不少回憶，在此由衷地感謝你們。 僅將此論文獻給陪伴在我生活周圍的每一個人，祝福你們順心如意。. I.
(3) 摘要 大腦人機介面為近幾年來很活躍的研究領域，然而腦電波包含著許多雜 訊，並且具有非線性、非穩態等特性，所以腦電波的「特徵擷取」和「分類」 為世界各國相關研究團隊共同努力的方向。本研究針對「特徵擷取」提供一 套單筆腦電波分析法，可應用於大腦人機介面。此方法同時結合了獨立成份 分析法和希爾伯特黃轉換來分析腦電波訊號。整個分析方法可以分為兩個階 段：第一階段是利用獨立成份分析法的盲源分離特性把腦電波紀錄分解成具 有時間、空間特性的成分；第二階段是利用一種時頻分析法，希爾伯特黃轉 換將第一個階段所得到的成分做時頻分析。其中希爾伯特黃轉換的前半段架 構被稱為經驗模態分解法，在本論文中用於訊號重建以及雜訊去除。當腦電 波經過前面兩個階段的處理後，將可以同時保留腦電波的時間、頻率、空間 特徵，建立時頻空間樣本。另外，本研究同時比較三種時頻分析法在處理腦 電波訊號上的表現，分別為希爾伯特黃轉換、短時距傅立葉轉換、莫雷轉換。 實驗結果為希爾伯特黃轉換在頻譜圖上不論高頻和低頻皆有較佳的解析度。 在研究流程的最後一個階段，選擇支持向量機分類四種想像動作(想像 左手動、想像右手動、想像腳動、想像舌頭動)的腦電波資料，對於想像右 手 動 可 到 達 83.33% 的 辨 識 率 ， 而 整 體 四 種 想 像 動 作 的 平 均 辨 識 率 為 54.17%。另外，本研究結合經驗模態分解與快速獨立成份分析法定位想像動 作之訊號源，平均準確率可達到 72.12%。. 關鍵詞：腦電波、大腦人機介面、獨立成份分析法、希爾伯特黃轉換、時頻 分析法、經驗模態分解、時頻空間分析法、單筆資料分析、訊號源定位、支 持向量機。. II.
(4) Abstract Brain computer interface (BCI) is a highly active field in the recent years. However, electroencephalogram (EEG) is a non-linear and non-stationary signal which contains various noises. Hence, the research groups in the world put effort into “feature extraction” and “classification” of EEG signal. In this study, an analysis strategy of single-trial EEG is developed for BCI and focus on “feature extraction”. The proposed method is to combine Independent Component Analysis (ICA) and Hilbert-Huang Transform (HHT) to analyze EEG. The EEG signal processing is performed in two stages: (1) ICA, a kind of Blind Source Separation (BSS), is used for dividing temporal-spatial components of EEG recordings; (2) HHT, a kind of temporal-frequency analysis (TFA), is used for processing these components. The empirical mode decomposition (EMD) in part of HHT is used for signal reconstruction and noise rejection. When the EEG is processed by above mentioned methods, the time-frequency-spatial features will be preserved. In additional, three kinds of TFAs (HHT, short time Fourier transform (STFT), and Morlet Transform) are experimented to compare the performance. The results show that the HHT has the better resolution in high frequency and low frequency. The last stage of the research, Support vector machine (SVM) is selected to classify EEG data of four motor imageries (left hand, right hand, foot, and tongue). The experiment result presents that the classification accuracy of imaging “right hand” moving is 83.33%, and total averaged accuracy is 54.17%. In additional, the method combined with both EMD and FastICA has 72.12% averaged accuracy of signal source localization of motor imagery. III.
(5) Keyword：Electroencephalogram, Brain Computer Interface, Independent Component Analysis, Hilbert-Huang Transform, Time-frequency Analysis, Empirical Mode Decomposition, Time-frequency-spatial Analysis, Single-trial Analysis, Signal source localization, Support vector machine.. IV.
(6) 目錄 致謝.........................................................................................................................I 摘要.......................................................................................................................II Abstract...............................................................................................................III 目錄.......................................................................................................................V 圖目錄..................................................................................................................IV 表目錄...............................................................................................................XIV 第一章 緒論..........................................................................................................1 1.1 研究背景與動機..............................................................................1 1.2 腦電波......................................................................................................5 1.2.1. 國際 10-20 腦電波系統............................................................5. 1.2.2. 腦電波的時間域分析...............................................................6. 1.2.3. 腦電波的頻率域分析...............................................................7. 1.3 腦電波的特徵擷取..................................................................................9 1.4 研究目的................................................................................................10 1.5 研究架構................................................................................................13 1.6 論文架構................................................................................................14 第二章 文獻探討................................................................................................15 2.1 單筆腦電波訊號處理之文獻與發展概況....................................15 2.2 時頻空間分析法應用在腦電波樣本建立之文獻................................17 2.3 同一腦電波資料之文獻........................................................................21 2.4 文獻回顧整理........................................................................................24 第三章 相關研究方法與腦電波資料集............................................................25 3.1 腦電波資料集........................................................................................25 3.2 獨立成份分析法....................................................................................27 V.
(7) 3.2.1 引言..............................................................................................27 3.2.2. 獨立成份分析之基本定義與說明..........................................27. 3.2.3. 獨立成份分析法應用於腦電波分析......................................29. 3.3. 希爾伯特黃轉換..................................................................................30. 3.4. 支持向量機..........................................................................................37. 第四章 實驗設計與流程....................................................................................41 4.1. 腦電波訊號的重建..............................................................................41. 4.2. 獨立成份分析法應用於四種想像動作的訊號源定位......................46. 4.3. 希爾伯特黃轉換應用於時頻分析......................................................57 4.3.1 三種時頻分析之比較與介紹.......................................................57 4.3.2 希爾伯特黃轉換應用於時頻空間遮罩....................................61. 4.4. 腦電波資料的特徵向量建立與分類..................................................68 4.4.1 時頻空間樣本的前處理............................................................68 4.4.2 特徵擷取....................................................................................69 4.4.3 資料分類....................................................................................71. 第五章 實驗結果與討論....................................................................................73 5.1. 腦電波訊號的重建..............................................................................73. 5.2. 四種想像動作的訊號源定位..............................................................75 5.2.1 實驗結果....................................................................................75 5.2.2 單筆腦電波資料投射到皮質表面圖........................................76. 5.3. 四種想像動作分類結果......................................................................78. 第六章 結論........................................................................................................80 參考文獻..............................................................................................................82 附錄. 四種想像動作同條性估計圖..................................................................87. VI.
(8) 圖目錄 圖 1.1. 中樞神經運動控制系統圖[1].................................................................3. 圖 1.2. 大腦人機介面的主要環節[4].................................................................3. 圖 1.3. 思想轉譯控制裝置[7].............................................................................4. 圖 1.4. 國際 10-20 腦電波系統電極位置分布圖[11].........................................6. 圖 1.5. 受到聽覺刺激的平均腦電波圖[12].......................................................7. 圖 1.6. 腦波基本波段..........................................................................................8. 圖 1.7. 整體研究架構流程圖............................................................................13. 圖 2.1. 柏林腦機介面應用在想像文字輸入系統(Hex-o-Spell)[24]...............16. 圖 2.2. 欲擷取特徵的九個電極........................................................................18. 圖 2.3. 腦電波特徵擷取過程............................................................................19. 圖 2.4. 受測者在想像右手動時的時頻空間特徵............................................19. 圖 2.5. 受測者在時頻圖 ERD 和 ERS 的分布..................................................21. 圖 2.6. 兩位受測者 s4、s6 在大腦拓樸圖上頻帶能量的分布(ERS/ERS).......22. 圖 2.7. 平均最大 kappa 值在大腦拓樸圖的分布.............................................23. 圖 3.1. 電極點分布位置....................................................................................25. 圖 3.2. 想像動作實驗流程................................................................................26. 圖 3.3. 訊號源與觀測訊號關係圖....................................................................29. 圖 3.4. 希爾伯特黃轉換之流程圖....................................................................34. 圖 3.5. 快速傅立葉轉換和希爾伯特黃轉換時頻圖之比較..........................35. 圖 3.6. 支持向量機分類示意圖[42].................................................................37. 圖 4.1. 原始腦電波與分解出的 9 個本質模態函數.........................................42. 圖 4.2. 本質模態函數快速傅立葉轉換頻譜圖................................................43. 圖 4.3. 原始與重建的腦電波訊號的比較........................................................44 VII.
(9) 圖 4.4. 腦電波訊號重建之流程圖....................................................................45. 圖 4.5. 想像左手動作腦電波資料的獨立成份訊號源....................................47. 圖 4.6. 想像右手動作腦電波資料的獨立成份訊號源....................................48. 圖 4.7. 想像腳動作腦電波資料的獨立成份訊號源....................................48. 圖 4.8. 想像舌頭動作腦電波資料的獨立成份訊號源....................................49. 圖 4.9. Hanning window[41].............................................................................51. 圖 4.10 想像左手動之獨立成份與 C3、C4 電極的同調性估計.......................52 圖 4.11 想像右手動之獨立成份與 C3、C4 電極的同調性估計.......................53 圖 4.12 想像腳動之獨立成份與 Cz 電極的同調性估計...........................54 圖 4.13 想像左手動之獨立成份與 Cz 電極的同調性估計..............................54 圖 4.14 四種想像動作的主要獨立成份訊號源..............................55 圖 4.15 四 種 想 像 動 作 訊 號 源 定 位 之 流 程 圖 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 6 圖 4.16 想像腳動之獨立成份時頻圖(希爾伯特轉黃轉換)............................59 圖 4.17 想像腳動之獨立成份時頻圖(莫雷轉換).................................................59 圖 4.18 想像腳動之獨立成份時頻圖(短時距傅立葉轉換)............................60 圖 4.19 第 7 筆想像左手動的希爾伯特黃時頻圖.............................................62 圖 4.20 第 7 筆想像右手動的希爾伯特黃時頻圖.............................................63 圖 4.21 第 7 筆想像腳動的希爾伯特黃時頻圖.................................................64 圖 4.22 第 7 筆想像舌頭動的希爾伯特黃時頻圖.............................................65 圖 4.23 本研究之時頻空間遮罩流程圖.............................................66 圖 4.24 分析時頻圖的範圍................................................................................68 圖 4.25 資料降維(子時頻空間樣本的建立)...................................................69 圖 4.26 統計式特徵向量....................................................................................70 圖 5.1. 原始 Cz 訊號............................................................................................73. 圖 5.2. (a) FIR Cz 訊號 (b) 重建後的 Cz 訊號................................................74 VIII.
(10) 圖 5.3. 第一筆想像左手動同調性估計...........................................................87. 圖 5.4. 第一筆想像右手動同調性估計...........................................................88. 圖 5.5. 第一筆想像腳動同調性估計...........................................................89. 圖 5.6. 第一筆想像舌頭動同調性估計...........................................................89. 圖 5.7. 第二筆想像左手動同調性估計...........................................................90. 圖 5.8. 第二筆想像右手動同調性估計...........................................................91. 圖 5.9. 第二筆想像腳動同調性估計...........................................................92. 圖 5.10 第二筆想像舌頭動同調性估計...........................................................92 圖 5.11 第三筆想像左手動同調性估計...........................................................93 圖 5.12 第三筆想像右手動同調性估計...........................................................94 圖 5.13 第三筆想像腳動同調性估計...........................................................95 圖 5.14 第三筆想像舌頭動同調性估計...........................................................95 圖 5.15 第四筆想像左手動同調性估計...........................................................96 圖 5.16 第四筆想像右手動同調性估計...........................................................97 圖 5.17 第四筆想像腳動同調性估計...........................................................98 圖 5.18 第四筆想像舌頭動同調性估計...........................................................98 圖 5.19 第五筆想像左手動同調性估計...........................................................99 圖 5.20 第五筆想像右手動同調性估計..........................................................100 圖 5.21 第五筆想像腳動同調性估計..............................................................101 圖 5.22 第五筆想像舌頭動同調性估計..........................................................101 圖 5.23 第六筆想像左手動同調性估計..........................................................102 圖 5.24 第六筆想像右手動同調性估計..........................................................103 圖 5.25 第六筆想像腳動同調性估計..............................................................104 圖 5.26 第六筆想像舌頭動同調性估計..........................................................104 圖 5.27 第七筆想像左手動同調性估計..........................................................105 IX.
(11) 圖 5.28 第七筆想像右手動同調性估計..........................................................106 圖 5.29 第七筆想像腳動同調性估計..............................................................107 圖 5.30 第七筆想像舌頭動同調性估計..........................................................107 圖 5.31 第八筆想像左手動同調性估計..........................................................108 圖 5.32 第八筆想像右手動同調性估計..........................................................109 圖 5.33 第八筆想像腳動同調性估計..............................................................110 圖 5.34 第八筆想像舌頭動同調性估計..........................................................110 圖 5.35 第九筆想像左手動同調性估計..........................................................111 圖 5.36 第九筆想像右手動同調性估計..........................................................112 圖 5.37 第九筆想像腳動同調性估計..............................................................113 圖 5.38 第九筆想像舌頭動同調性估計..........................................................113 圖 5.39 第十筆想像左手動同調性估計..........................................................114 圖 5.40 第十筆想像右手動同調性估計..........................................................115 圖 5.41 第十筆想像腳動同調性估計..............................................................116 圖 5.42 第十筆想像舌頭動同調性估計..........................................................116 圖 5.43 第十一筆想像左手動同調性估計......................................................117 圖 5.44 第十一筆想像右手動同調性估計......................................................118 圖 5.45 第十一筆想像腳動同調性估計..........................................................119 圖 5.46 第十一筆想像舌頭動同調性估計......................................................119 圖 5.47 第十二筆想像左手動同調性估計......................................................120 圖 5.48 第十二筆想像右手動同調性估計......................................................121 圖 5.49 第十二筆想像腳動同調性估計..........................................................122 圖 5.50 第十二筆想像舌頭動同調性估計......................................................122 圖 5.51 第十三筆想像左手動同調性估計......................................................123 圖 5.52 第十三筆想像右手動同調性估計......................................................124 X.
(12) 圖 5.53 第十三筆想像腳動同調性估計..........................................................125 圖 5.54 第十三筆想像舌頭動同調性估計......................................................125 圖 5.55 第十四筆想像左手動同調性估計......................................................126 圖 5.56 第十四筆想像右手動同調性估計......................................................127 圖 5.57 第十四筆想像腳動同調性估計........................................................128 圖 5.58 第十四筆想像舌頭動同調性估計......................................................128 圖 5.59 第十五筆想像左手動同調性估計......................................................129 圖 5.60 第十五筆想像右手動同調性估計......................................................130 圖 5.61 第十五筆想像腳動同調性估計..........................................................131 圖 5.62 第十五筆想像舌頭動同調性估計......................................................131 圖 5.63 第十六筆想像左手動同調性估計.....................................................132 圖 5.64 第十六筆想像右手動同調性估計......................................................133 圖 5.65 第十六筆想像腳動同調性估計..........................................................134 圖 5.66 第十六筆想像舌頭動同調性估計......................................................134 圖 5.67 第十七筆想像左手動同調性估計......................................................135 圖 5.68 第十七筆想像右手動同調性估計......................................................136 圖 5.69 第十七筆想像腳動同調性估計..........................................................137 圖 5.70 第十七筆想像舌頭動同調性估計......................................................137 圖 5.71 第十八筆想像左手動同調性估計......................................................138 圖 5.72 第十八筆想像右手動同調性估計......................................................139 圖 5.73 第十八筆想像腳動同調性估計..........................................................140 圖 5.74 第十八筆想像舌頭動同調性估計......................................................140 圖 5.75 第十九筆想像左手動同調性估計......................................................141 圖 5.76 第十九筆想像右手動同調性估計......................................................142 圖 5.77 第十九筆想像腳動同調性估計.......................................................143 XI.
(13) 圖 5.78 第十九筆想像舌頭動同調性估計......................................................143 圖 5.79 第二十筆想像左手動同調性估計......................................................144 圖 5.80 第二十筆想像右手動同調性估計......................................................145 圖 5.81 第二十筆想像腳動同調性估計..........................................................146 圖 5.82 第二十筆想像舌頭動同調性估計......................................................146 圖 5.83 第二十一筆想像左手動同調性估計..................................................147 圖 5.84 第二十一筆想像右手動同調性估計..................................................148 圖 5.85 第二十一筆想像腳動同調性估計......................................................149 圖 5.86 第二十一筆想像舌頭動同調性估計..................................................149 圖 5.87 第二十二筆想像左手動同調性估計..................................................150 圖 5.88 第二十二筆想像右手動同調性估計..................................................151 圖 5.89 第二十二筆想像腳動同調性估計......................................................152 圖 5.90 第二十二筆想像舌頭動同調性估計..................................................152 圖 5.91 第二十三筆想像左手動同調性估計..................................................153 圖 5.92 第二十三筆想像右手動同調性估計..................................................154 圖 5.93 第二十三筆想像腳動同調性估計......................................................155 圖 5.94 第二十三筆想像舌頭動同調性估計..................................................155 圖 5.95 第二十四筆想像左手動同調性估計..................................................156 圖 5.96 第二十四筆想像右手動同調性估計..................................................157 圖 5.97 第二十四筆想像腳動同調性估計......................................................158 圖 5.98 第二十四筆想像舌頭動同調性估計..................................................158 圖 5.99 第二十五筆想像左手動同調性估計..................................................159 圖 5.100 第二十五筆想像右手動同調性估計..................................................160 圖 5.101 第二十五筆想像腳動同調性估計......................................................161 圖 5.102 第二十五筆想像舌頭動同調性估計..................................................161 XII.
(14) 圖 5.103 第二十六筆想像左手動同調性估計..................................................162 圖 5.104 第二十六筆想像右手動同調性估計..................................................163 圖 5.105 第二十六筆想像腳動同調性估計......................................................164 圖 5.106 第二十六筆想像舌頭動同調性估計..................................................164. XIII.
(15) 表目錄 表 1.1. 常見的腦電波特徵擷取方法..................................................................9. 表 2.1. 過去作法比較表....................................................................................24. 表 4.1. EMD 參數設定......................................................................................45. 表 4.2. 本研究電極位置座標配置....................................................................47. 表 4.3. 三種時頻分析的比較............................................................................61. 表 4.4. 子時頻空間樣本頻率範圍....................................................................70. 表 4.5. 四種想像動作特徵向量的資料分配....................................................71. 表 4.6. 想像動作類別與其輸出對應類別....................................................72. 表 5.1. 26 筆四種想像動作訊號源定位精確度...............................................77. 表 5.2. 四種想像動作辨識率............................................................................78. 表 5.3. 本研究成果與其他 BCI 團隊之比較 (同一受測者)..........................79. XIV.
(16) 第一章 緒論. 1.1 研究背景與動機 人類之所以稱作「萬物之靈」取決於人類大腦結構遠複雜於其他生物， 不論思考、判斷、決策、五官感受等，都是經由大腦繁複的程序處理，才能 做下一步的反應和行動，大腦是人類最神秘也是功能最強大的器官。一套完 整的人類訊號傳遞過程如圖1.1所示[1]，受器(如：五官)接受外來訊息刺激 經由感覺神經元送到中樞神經(包含：大腦、小腦、脊髓等)，中樞負責整合 處理訊息，再將命令經由運動神經元傳送到動器(如：肌肉等)完成整個流 程。許多四肢癱瘓患者，他們雖然無法行動，意識卻是存在著，擷取這些意 識作為訊號源來控制外在裝置，就可以與外面溝通，這是許多國內外學者研 究的方向，而這項研究被稱為大腦人機介面(Brain computer interface, BCI)。 雖然大腦人機介面在近幾年發展迅速，已經應用於虛擬實境[2]、想像拼字[3] 等，但是如「準確率」、「方便性」、「功能性」等，由於目前對於大腦功 能的認知不足、量測技術的限制、腦電波特徵的辨識等影響，仍有相當大的 改進空間[2][3]。 承上述所提，大腦人機介面作為控制外在裝置的訊號媒介，通常使用腦 電波(Electroencephalogram, EEG)。擷取與紀錄大腦訊號的方式可分為兩 類，「侵入式」(Invasive)和「非侵入式」(Noninvasive)量測：「侵入式」量 測需要打開受測者的頭骨，將電極貼片放置在大腦皮質上，量測大腦皮質表 面電流(Electrocorticography, ECoG)，由於少了頭骨、頭皮和毛髮等干擾，侵 入式量測一般都比較準確；非侵入式量測是目前普遍常用來量測腦電波的方 式，原因是不需要動手術，受測者感到比較舒適，實用性較高，成本也比較 低。然而，非侵入式量測紀錄容易受到各種干擾影響，所以腦電波訊號的前 處理如去除雜訊、特徵擷取等是大腦人機介面研究中不可獲缺的環節。 另外，設計一套完整的大腦人機介面還必須考慮幾個重要的課題：輸入 1.
(17) 腦電訊號的種類、實驗流程的設計、操作的模式、有無生物回饋等，如圖1.2 所 示 [4]。 其 中 ， 操 作 的 模 式 可 區 分 為 提 示 觸 發(Cued)以 及 非 提 示 觸 發 (Uncued)，提示觸發的操作模式被稱為同步(Synchronous)的大腦人機介面， 反之非提示觸發的操作模式(Mode of operation)被稱為異步(Asynchronous)的 大腦人機介面。舉例來說，一個同步操作模式的大腦人機介面，受測者會受 到如視覺刺激、聽覺刺激等提示做某種大腦認知活動，而受測者在進行特殊 認知活動的同時，系統便同時存取並處理大腦訊號，並達到控制外在裝置的 目的，所以同步操作模式的大腦人機介面，在訊號處理上容易受到實驗的時 間分配影響。反之，異步大腦人機介面允許受測者不需要透過任何外在的刺 激或提示來進行特定大腦認知活動，也就是不受到任何時間視窗的限制，直 接進行大腦訊號的分析[5][6]。 大腦人機介面應用的一個例子為Kübler等人於西元1999年時開發了思 想轉譯裝置(Thought translation device)[7]。裝置的主要架構為：從頭皮擷取 腦電波訊號，透過放大器(The Brain Amp system form Brainproducts, Munich) 將訊號放大，再經過16 bit A/D轉換器(PCIM-DAS1602/16 from Measurement Computing, Inc.)將訊號類比轉數位化。一般的大腦人機介面將取樣頻率設為 256赫茲(Hz)，並將腦電波通過帶通濾波器(0.01Hz至40或70Hz)後才進行一連 串的分析。經過上述之流程處理過後的腦電波訊號，可存入電腦進行分析， 訊號的分析包括：雜訊偵測去除、空間濾波器、時頻分析等，另外還支援腦 電 波 特 徵 的 分 類 (Classification) 如 ： 線 性 鑑 別 分 析 法 (Linear discriminant analysis, LDA)或是支持向量機(Support vector machine, SVM)。於是，思想轉 譯裝置可以將進行受測者的腦電波擷取、放大、數位化、特徵擷取(Features extraction)、分類、辨識(Identification)，最後達到人機介面上的應用(如經由 想像控制游標點選網頁等)。從此研究成果可知，訊號處理(Signal processing) 以及機器學習(Machine learning)在大腦人機介面相關研究上扮演著重要的角 色。. 2.
(18) 圖1.1. 圖1.2. 中樞神經運動控制系統圖 [1]. 大腦人機介面的主要環節[4] 3.
(19) • • • •. 圖1.3. Data acquisition and storage Signal processing Classification Feedback and computer interface. 思想轉譯控制裝置[7]. 目前有許多技術用來觀察大腦活動並應用於大腦人機介面，包括：腦電 波、腦磁波(Magnetoencephalography, MEG)、正子斷層掃描(Positron emission tomography)、功能性磁共振成像(Functional magnetic resonance imaging, fMRI)。腦磁波、正子斷層掃描、功能性磁共振成像由於儀器昂貴且用於醫 療方面，並不適用於一般實驗室研究，然而這些技術應用於定位大腦活動的 訊號源以及診斷神經疾病傷害等都有很好的研究成果。腦電波量測方便，量 測儀器也較廉價，所以常為世界各個大腦人機介面研究團隊應用的對象。但 是腦電波容易受到外在環境或內在生理雜訊等干擾，訊號相當的微弱，如何 從腦電波中擷取包含最多資訊且利於辨識的特徵，一直是相關領域重要的研 究主題。. 4.
(20) 1.2 腦電波 腦電波最初的發現是在西元1875年，英國生理學家Richard Caton在兔子 大腦皮質記錄到的一種電波[8]。直到西元1924年，德國Hans Berger才首次在 人類頭蓋骨上記錄到相同的電氣活動，他的第一份關於腦電波的研究，成功 的記錄了一到三分鐘的人類腦電波活動[9]。 產生腦電波訊號的機制為人體中樞神經系統的神經元活動電位(Action potential)主要是藉由與鈉(Na+)、鉀(K+)、鈣(Ca2+)等離子相關離子通道的開 閉，來傳遞電訊號，這些離子通道的開閉，使得神經元本身在傳遞電訊號的 短暫過程中形成微小的電場。理論上認為，腦電波訊號主要是由大腦皮質 中，神經組織的突觸後(Post-synaptic neuron)神經元電位變化，同步整合而來 的。這些突觸後神經元電位變化主要只限於細胞本體(Cell body, or soma)以 及神經元樹突(Dendrites)兩部分，並不包括電位變化較快、也較不容易記錄 的軸突(Axons)部分。 頭皮上量測到腦電波訊號之後，可以從三個域(Domain)去作分析，分別 為 空 間 域 (Space domain) 、 時 間 域 (Time domain) 以 及 頻 率 域 (Frequency domain)，分析腦電波在這三個域所呈現出的意義和特徵，進而做後續的處 理工作。以下從這三個域的觀點，簡單介紹有關腦電波的基本知識：. 1.2.1. 國際 10-20 腦電波系統. 大腦皮質上不同的部位分別管理人體不同的功能，因此在不同皮質區域 所量測到的腦電波所代表的意義也各不相同，如：視覺、聽覺、嗅覺、語言 區等，因此，在設計大腦人機介面時，量測的部位要依照實驗設計的刺激形 式和受測者想像動作來決定。 然而，由於每位受測者頭部形狀皆不同，腦波量測的位置，必須要有一 個國際通用的標準，因此在西元1958年，Jasper提出「國際10-20腦電波系統」 [10]，現今已成為一套國際標準量測位置系統，其電極分布的位置說明，如 5.
(21) 圖1.4. 國際 10-20 腦電波系統電極位置分布圖[11]. 圖1.4所示[11]。 國際10-20腦電波系統為電極的位置訂下一個量測的統一標準。從鼻根 (Nasion)到枕骨隆突(Inion)連成一線，以這一條線為基準前、後各10%長度的 位置分別當作起點跟終點，在這兩個位置之間，每隔20%的長度各設置一個 電極，由前至後分別命名為Fz、Cz、Pz；水平方向則是將左、右耳的頂點連 成一線，在左、右各10%長度的位置分別設置T3、T4兩個電極，其間每隔20% 的長度再設一個電極，由左至右分別為C3、Cz、C4，其他點電極也依此比 例來設置。. 1.2.2. 腦電波的時間域分析. 腦電波是一種時間序列訊號，所以某些腦電波特殊現象，在時間域即可 清楚觀察到，如事件相關電位 (Event-related potential, ERP)，通常都是發生 在受到刺激後的數百毫秒，腦電波的振幅會產生可預期的上升或下降(例如 圖1.5中的P50、N100與P200)。事件相關電位最明顯的優勢是具有很高的時 間分辨率，這是一般在研究認知過程大腦活動很有利的特徵，反映出大腦對 刺激帶來訊息引起的反應以及認知過程中大腦的神經電生理變化。 6.
(22) 圖1.5. 受到聽覺刺激的平均腦電波圖[12]. 由於每個人的反應時間並不一樣，每次動作的反應時間也會有微小差 異，因此時間上的特徵需要經過多次相同動作的腦電波疊加約千次平均後， 才會有顯著的時間域特徵顯示出來。圖1.5是將受測者受到總共756次聽覺刺 激時，刺激前、後各0.5秒鐘的腦電波波段的平均波形[12]，其中聽覺刺激發 生在標示為0 sec的時間點，可以發現大約在聽覺刺激後50、100、200毫秒的 時候，腦電波振幅有明顯的上升或下降，其中上升與下降分別以英文字母P 與N註明。. 1.2.3. 腦電波的頻率域分析. 腦電波除了空間域與時間域的特徵以外，腦電波的節律(Rhythms)，也 隱含著重要的意義。研究腦電波的學者們，發現當人的狀態發生改變時，如 從疲憊轉變為睡眠，腦電波的振幅和頻率都會發生改變，他們將腦電波依照 頻率的不同，分為delta(δ)波、theta(θ)波、alpha(α)波、beta(β)波(有時被稱做 快速beta波)，與gamma(γ)波等基本波段[13]。在不同的精神狀態下，大腦會 出現不同頻率的腦電波。除了上述幾個基本頻帶，另外還存在如：phi(ψ)節 律，約低於4 Hz，在閉眼後會出現兩秒鐘左右[14]；kappa節律，出現在較早 時間序列與alpha節律相似，目前被認為是眼球側邊間斷性的振動所造成的雜 訊。要直接從腦電波了解及偵測大腦節律是件非常困難的工作，必須透過進 階的訊號處理分解或分析來觀察。下一段將簡單介紹幾個腦電波的基本節律 7.
(23) 圖1.6. 腦波基本波段. 與其代表的生理訊息。 圖1.6的(a)-(e)，分別是δ、θ、α、β、γ波的腦電波圖，從圖中振幅的變 化情形，可以明顯的看出頻率的不同。δ波的頻率範圍在0.5-4 Hz，當人處於 深層睡眠狀態下，會產生較高的δ波；θ波是指4-8 Hz的腦波，正常人在淺層 睡眠時會產生此頻帶的腦波；α波是指頻率範圍在8-13 Hz的腦波，一般人在 清醒且身心感到舒服、輕鬆的情況，特別是在閉眼時，α波會較明顯；β波是. 8.
(24) 指13-30 Hz的腦波，相對於α波，β波是發生在情緒較不安，或是腦中作思考， 張開眼時的腦波；另外，25-50 Hz的腦波，是近幾年才受到注意的腦波波段， 研究發現此頻帶的能量在聽不同類型音樂的時候會有不同的變化[13]，稱之 為γ波。. 1.3 腦電波的特徵擷取 承1.1節的說明，大腦人機介面的性能好壞，主要取決於特徵的提取， 而特徵的提取可從時域、頻域、空間域依需求選擇處理，某些研究甚至結合 兩個域以上的特徵，目的是在於增加關於腦電波的各種資訊以提高大腦人機 介面的效能。表1.1整理出一些關於腦電波特徵擷取常見的方法。. 表1.1. 常見的腦電波特徵擷取方法. 大腦人機介面研究常見之特徵擷取方法 種類 方法. 時域. 時域結合頻域. 時域結合空間域 1.Independent. 1.Bandpass filter. 1.Fouier transform. 2.Template matching. 2.Wavelet transform. component. 3.Spike detection. 3.Hilbert transform. analysis. 4.Autoregressive. 4.Short time Fourier. models. transform. 2.Common spatial filter 3.Laplacian filter. 9.
(25) 1.4 研究動機與目的 在一般的腦電波訊號處理方式，為了增加雜訊比(Signal noise ratio, SNR)，或是為了強化某些特徵如刺激誘發(Stimulus-evoked)、事件相關電位 等，做了多筆固定時間區段(Time-locked)的腦電波資料平均動作。然而有些 腦科學學者對於平均腦電波的方法提出了看法，認為這種分析方法不適用在 某些腦電波現象以及觀察探討腦電波的動態活動。關於平均分析法的缺點如 下：(1) 平均腦電波資料的方式會隱蔽腦電波在時間域以及空間域上的變 異，但是那些變異或許會反映出受測者在不同狀態下所呈現出的重要特徵， 而這些特徵可能受到注意力、清醒度、測驗的方式等因素影響[15][16]；(2) 事 件相關電位的特性在於其電位變化跟各項認知活動有高度相關性，若是為了 平均多筆腦電波資料而做許多次事件相關電位實驗，會造成受測者疲倦等過 度測試的現象，影響腦電波的紀錄和真實性[17]；(3) 平均的事件相關腦電 波資料無法區分相位鎖定(Phase-locked)訊號，如：誘發電位(Evoked potential, EP)和非相位鎖定(Non phase-locked)訊號，如：事件相關非同步(Event-related desynchronization, ERD)和事件相關同步(Event-related synchronization, ERS)) 等腦電波活動[18][19]。這些問題會造成以事件相關電位為基礎的大腦人機 介面嚴重的錯誤。所以近年來許多學者研究如何從單筆腦電波資料 (Single-trial EEG data)，也就是不經過多筆資料的平均來讀取大腦的功能和 尋找有用的資訊[20]-[25]。 然而，單筆腦電波分析還是存在許多仍待解決的課題：(1) 如何去除人 體內的雜訊(Artifacts)；(2) 如何不必透過平均資料的方式來擷取在不同認知 活動下，腦電波最明顯的特徵；(3) 如何抑制單筆資料間的變異度，並建立 理 想 的 腦 電 波 特 徵 。 參 考 前 人 的 研 究 ， 獨 立 成 份 分 析 法 (Independent component analysis, ICA)[18][26][27]和時頻分析法(Time-frequency analysis, TFA)[28]對於解決這些問題都有不錯的表現。其中時頻分析法屬於一種訊號 處理的技巧，已經應用於病情診斷、大腦人機介面、心理狀態評估等。. 10.
(26) 時頻分析法的基本概念在於若存在一個未知的訊號模型，不論只從時域 或頻域單一切入分析都無法完整提供關於訊號的資訊，也就是如果從頻域的 角度建立訊號模型，那麼關於訊號在時域的特徵或許就會因此遺漏，於是時 頻分析法常用來解決這類相關的問題，所以，訊號的特性就可以透過在時間 頻率域的能量集中度(Energy concentration)、幅度大小(Magnitude)、小波係 數(Wavelet coefficients)等來觀察。 此外，Wang等人提供了一個結合時域、頻域、空間域的分析法來處理 想像動作分類和擷取腦電波的資訊[29]。這些分析法基於窄頻寬(Narrowband) 的概念進行多通道訊號的時頻分析，根據訊號在時頻域的特性以及電極點的 分布，建立時頻空間遮罩(Time-frequency-spatial masks)，最後再進行資料的 分類。這種方法可以克服一些問題，如：在某一電極紀錄的腦電波會被附近 的電極的腦電波紀錄干擾、事件相關電位訊號源的問題、高資料維度、訊號 源定位(Source localization)與認知行為(Cognitive behavior)的關連性。在近幾 年，類似這種空間、頻譜遮罩和空間遮罩的概念已經由許多學者相繼提出 [19][29][30]，這些方法能夠根據大腦拓樸圖或是電極點分布的位置的資訊， 給予事件相關大腦活動的特徵權重作接下來的分析和處理，這種方法被稱作 時頻空間分析法(Time-Frequency-Spatial analyses, TFSAs)，此方法在腦電波 的樣本辨識(Pattern recognition)上已經有很好的成效，同時也提供大量關於 腦電波活動在不同的認知行為下的資訊。基於前人的研究和構想，因此提出 一種建立時頻空間遮罩的方法來建立腦電波在不同認知活動的時頻空間樣 本(Time-frequency-spatial patterns)，此方法將希爾伯特黃轉換(Hilbert-Huang transform, HHT)取代以往時頻分析法如小波轉換(Wavelet transform)，並同時 結合獨立成份分析法來分析單筆事件相關腦電波資料。 本篇論文的研究目標為： (1) 計算四種想像動作(想像左手動、想像右手動、想像腳動、想像舌頭 動)相關電極點所記錄的訊號與其獨立成分之間的同調性 (Coherence)，並根據同調性大小來挑選四種想像動作各自的主要獨 11.
(27) 立成份完成訊號源定位。 (2) 以單筆腦電波分析的方式建立四種想像動作的腦電波樣本。 (3) 比較希爾伯特黃轉換和傳統時頻分析法如快速傅立葉轉換(Fast Fourier transform, FFT)的差別，以突顯時頻分析法的特性與優點。 (4) 觀察且比較三種時頻分析法：希爾伯特黃轉換、莫雷轉換(Morlet transform)和短時距傅立葉轉換(Short time Fourier transform, STFT) 的時頻圖(Time-frequency map)，以突顯希爾伯特黃轉換的特性與優 點。 (5) 根據四種想像動作主要獨立成份的希爾伯特黃轉換時頻圖，擷取其 特徵，進行腦電波資料的分類(Classification)。. 12.
(28) 1.5 研究架構 本研究可以分為四個部份：(1) 訊號重建(Signal reconstruction)：目的為 僅保留欲分析頻帶(Frequency band)的訊號作後續處理; (2) 訊號源定位 (Signal source localization)：利用獨立成份分析法於空間和時間上獨立的特 性，建立空間遮罩，重新賦予各通道時間序列訊號權重，挑選與四種想像動 作最相關的通道(成分)作下一階段處理； (3) 時頻分析法：將具有空間權重 的時間序列訊號作時頻轉換，得到時頻空間樣本； (4) 特徵擷取和資料分 類，整體研究架構如下圖 1.7 所示。. 圖1.7. 整體研究架構流程圖 13.
(29) 1.6 論文架構 本論文分為五章，其主要內容如下： 第一章：緒論 第二章：文獻探討 第三章：研究方法與腦電波資料集 第四章：實驗設計與流程 第五章：實驗結果與討論 第六章：結論. 14.
(30) 第二章 文獻探討. 為了提升大腦人機介面的性能，尋求較好的特徵以及如何讓系統能即時 操作，「快速」、「準確」是國內外努力的共同目標。如1.4研究目的所提 及，為了擷取單筆腦電波訊號的特徵應用於大腦人機介面，必須尋找強而有 利的特徵，然而，腦電波不僅微弱，還受到許多雜訊干擾。以下將介紹國外 幾位學者關於如何擷取單一筆腦電波特徵的研究以及其應用，另外還介紹關 於時頻空間分析法應用於單一筆腦電波處理的研究，最後做整個文獻回顧整 理。. 2.1 單筆腦電波訊號處理之文獻與發展概況 D. G. Childers博士的研究團隊於西元1982年時，提出一套方法[17]，特 點是只需要透過單筆腦電波資料，不需以多筆資料 (Multi-trial) 作平均來訓 練分類器，方法概念相較於傳統基於特徵向量 (Eigen vector) 的方法如主要 成分分析法 (Principle component analysis, PCA) 擷取特徵，Childers以一筆 巨大的腦電波資料根據Fisher ratio來找尋最佳的特徵向量，不過其缺點是辨 識率不穩定，只能偶然挑到合適的特徵。另外，透過特徵向量所尋找到的特 徵對於大腦生理上的意義也模糊不清，無法正確分辨真實腦電波和雜訊。 近年來，有許多學者使用獨立成份分析法來探索事件相關電位等腦電波 現象，成功地不需要靠平均多筆固定時間長度分段的腦電波訊號來強化事件 相關電位的變化，而只用單筆腦電波資料分析事件相關電位的現象。相較於 主要成分分析法的去相關性(Uncorrelatedness)，獨立成份分析法是使混合的 訊號分離出的成分具有統計上的獨立性(Independence)，並假設原始的多通 道訊號是由這些獨立成份訊號源線性組合而成，所以獨立成份分析法很適合 多通道的腦電波紀錄。Jung等人於西元1999年時，發表以獨立成份分析法為 基礎的工具[31]，可以分析單筆腦電波資料，並且可以顯示出事件相關電位 15.
(31) 在相位、振幅、時間上的關係圖(ERP image)，利用此工具去除了如眼動訊號 (Electro-occlugram, EOG)和肌電訊號(Electro-myogram, EMG)等雜訊。然而， A. Delorme於西元2002年認為透過獨立成份分析法拆解出來的成份，直觀上 不好理解其代表的意義，只有有經驗的腦科學家等才能確定哪些成份屬於特 徵，哪些成份屬於雜訊。 西元2007年，柏林技術大學(Technical university Berlin, Germany)的K. R. Müller博士等整合了單筆腦電波分析法、時頻空間分析法、機器學習等方 法，成功地應用在柏林腦機介面上(Berlin brain computer interface)[24]。其中 一項應用為Hex-o-Spell文字輸入系統(圖2.1)，藉由想像右手動(開始旋轉)、 腳動(停止旋轉)控制中間的輪盤轉動來選擇受測者想要的字母。系統介面為 六個六邊形包圍著一個輪盤，六邊形的區域內各有五個字母或符號，輪盤中 間有一條指標指向周圍的六邊形，當想像右手動時，中間輪盤就會開始轉 動；當輪盤上的指標指向受測者想要的區域時，受測者可以想像腳動，輪盤 就會停止，指標則停留在指定的區域；接著系統進入下一個階段，以相同的 機制選擇最後想要選取的字母或符號。此系統雖然只能分辨兩類腦電波想像 動作，不過卻成功地展示單筆腦電波分析應用於腦機介面的可能性。. 圖2.1. 柏林腦機介面應用在想像文字輸入系統(Hex-o-Spell)[24]. 16.
(32) 2.2 時頻空間分析法應用在腦電波樣本建立之文獻 本文根據Wang等人的研究，於西元2006年N. Yamawaki所發表，提出以 時頻空間分析法進行腦電波特徵擷取，並做想像動作的分類[30]。 時頻空間分析法的概念在於：腦科學家們發現進行想像動作實驗時會誘 發大腦某些區域的神經元產生特殊活動，這些區域包含了主要運動皮質區、 前額葉皮質區等；另外，從頭皮測量的腦電波中發現，想像動作會引起腦電 波產生分別在mu節律(8-12Hz)和beta節律(13-28Hz)產生短暫的下降和上揚 的現象，此現象就是事件相關非同步性(ERD)和事件相關同步性(ERS)。本文 獻的目標為建立腦電波的特徵並同時包含時間、頻率、空間的資訊。 在本文獻中，首先進行想像左右手的試驗，依照國際10-20腦電波系統 電極位置放置32個電極量測腦電波。在作特徵擷取前，原始的腦電波訊號必 須經過一些訊號前處理的作業，以提升辨識率。首先，本文獻參考「表面拉 普拉斯濾波器」(Surface Laplacian filter)[38]，如式(2.1)所示：. V jLap = V j −. 1 ∑ Vk n k∈S j. (2.1). 其中 V j 代表第 j 個通道所量測到的腦電波電位，而 S j 代表與第 j 個通道相鄰 所有通道的集合，換句話說，表面拉普拉斯濾波器將我們感興趣的通道與這 通道鄰近通道的平均電位值作相減的動作，此概念近似於空間上的高通濾波 器 (Spatial high-pass filter) ， 如 圖 2.3(a)為原始腦電波訊號，經過 Surface Laplacian filter處理後，如圖2.3(b)所示，相較於原始腦電波訊號，屬於低頻 成份的突波等已被濾除，只留下相對高頻成份的訊號。由於顱內不同組織 (Tissue)存在著Volume conductor effect會汙染欲量測區域的原始腦電波紀 錄，造成腦電波在空間域上的錯誤和互相干擾(Overlap)，故本文獻選擇 Surface Laplacian filter來解決相關等問題。經過上述處理後，選擇如圖2.2所 示的9個電極來做分析，其電極分佈位置為大腦皮質的感覺運動區域。 接下來將6-30Hz的腦電波經過四階巴特沃斯帶通濾波器(Fourth order 17.
(33) filter Butterworth band-pass filters)並根據常數Q(Constant-Q)理論[39]分成13 個以6.0、6.9、7.8、9.0、10.2、11.7、13.4、15.3、17.5、20.0、22.8、26.1 和29.8Hz為中心，頻寬為一個常數的頻帶。本文獻將上述13個頻帶的腦電波 分別做希爾伯特轉換(Hilbert transform)，得到各個頻帶腦電波瞬時能量 (Instantaneous power)之上包絡線或波包(Envelope)來做為各頻帶之事件相關 同步和事件非相關同步的特徵，如圖2.3(c)，頻帶中心為11.7 Hz的腦電波資 料以及其波包，同時取代圖2.3(a)的原始腦電波資料作為特徵。 經過上述描述的前處理後，原始32個通道的原始腦電波紀錄，剩9個通 道、13個頻帶(13個波包)組成的時間序列資料，所以單筆腦電波資料包含了 13 × 9 = 117 個波包，將117個波包全部放入到特徵向量 p ，則此向量被稱作時. 頻空間樣本(Time-frequency-spatial pattern, TFSP)(圖2.4)。 然而，並非117個波包都是有利於分類的特徵，於是本文獻於此建立一 個最佳化的時頻空間特徵樣本(Characteristic TFSPs)：首先分別平均所有筆想 像左右手動的訓練資料(Training data)，得到兩個初始特徵向量，分別代表想 像左手、想像右手的特徵樣本，個別給予其中117個波包相等的初始權重 (Weights)；接著，從第一筆至最後一筆訓練資料檢視其個別117個波包關於 分類的貢獻度，對於分類正確度有效的波包就提高其權重，反之，導致錯誤 分類的波包就降低其權重，根據此準則，同時進行平均目前檢視過的特徵向 量的動作及更新其中波包們的權重，完成最佳化的特徵樣本。. 圖2.2. 欲擷取特徵的九個電極. 18.
(34) 圖2.3. 圖2.4. 腦電波特徵擷取過程. 受測者在想像右手動時的時頻空間特徵. 從訓練資料得到最佳化時頻空間特徵樣本後，分別建立想像左右手的特. 19.
(35) 徵模型 PL 和 PR ，於是，測試資料(Test dataset)即可與特徵模型比較，然後進 行分類。分類的準則如式子(2.2)、(2.3)所示。將欲判別類別的特徵向量 p 與 特徵模型 P ( P = PL or PR )計算相關係數(Correlation coefficients, CC)，. C ( p, P ) =. ( p − p )T ( P − P). (2.2). p− p ⋅ P−P. 其中 p 和 P 分別為 p 、 P 的平均值。最後由式子(2.3)來判定分類的結果。 f ( p) = sgn(C ( p, PL ) − C ( p, PR )). (2.3). 如果 f ( p) > 0 代表受測者在想像左手動；相反地，代表受測者在想像右 手動。最後兩位受測者的辨識率分別為91.3%和90.8。. 20.
(36) 2.3 同一腦電波資料集之文獻 本文由G. Pfurtscheller博士的團隊於西元2006時發表，提出以事件相關 同步和事件相關非同步發生在大腦各區域的情形來分辨人類想像左手動、右 手動、腳動、舌頭動四種類別的腦電波[23]。由與我們的研究使用的腦電波 資料與G. Pfurtscheller博士團隊為同一筆資料集，所以腦電波資料紀錄情形 於第三章再詳述。 本文獻研究主要目的為當多名受測者進行想像四種動作時，比較同一受 測者多次想像同一動作時，多筆同類別資料間ERS和ERD的變化，並且同時 比較不同受測者、同類別資料間ERS和ERD的變化；另外再比較同一個大腦 皮質區域在不同頻率時，觀察ERD和ERS的現象；找出區分四種想像動作的 特徵，並用單筆資料分析來進行分類；改善大腦人機介面在多類別分類的性 能。 在此G. Pfurtscheller博士也使用2.2節所提到的表面拉普拉斯濾波器，根 據先前的研究經驗，最後挑選C3、Cz、C4電極的腦電波訊號做以下的分析。. 圖2.5. 受測者在時頻圖 ERD 和 ERS 的分布. 圖2.5是一位受測者s6的腦電波在時頻圖上事件相關非同步和事件 相關同布分布的情形，X座標軸代表時間(0~10second)，Y座標軸代表頻 21.
(37) 率(0~40Hz)，而藍色代表事件相關同步，紅色代表事件相關非同步。由 圖可以觀察到想像左手和想像右手在C3、C4、Cz的分布相當相似，在 C3、C4電極存在著mu(約8-13 Hz)和beta(約13-30 Hz)的事件相關非同 步；而想像腳動和舌頭動在Cz電極可清楚被分辨出來，想像腳動的事件 相關同步在Cz電極先發生在15Hz，隨後在20Hz附近最為明顯，舌頭動 的事件相關同步在Cz電極卻不太明顯，由此可知，想像腳動和舌頭動可 以Cz電極的事件相關同步來判別。. 圖2.6. 兩位受測者 s4、s6 在大腦拓樸圖上頻帶能量的分布(ERD/ERS). 圖2.6表示兩位受測者s4、s6在上alpha(Upper alpha)頻帶(10-12Hz)的平均 能量拓樸圖，選擇此頻帶的目的是觀察四種想像動作的事件相關非同步和事 件相關同步在此頻帶平均能量的分布。在此圖中，藍色代表的是事件相關同 步，紅色代表的是事件相關非同步。同樣地，想像左手動和想像右手動的事 件相關非同步分布情形還是相當相似，皆分布於大腦對側區域，從兩位受測 者的拓樸圖來觀察，只能推測出想像右手的事件相關非同步分布範圍比較 廣。然而，相同於圖2.5的結果，想像腳動和想像舌頭動同樣地在Cz電極附 近可以清楚地分辨出來，想像腳動在大腦拓樸圖中央附近(Cz電極)，事件相 22.
(38) 關非同步能量比較高，而想像舌頭動相對於想像腳動事件相關非同步的能量 較低，甚至受測者s6的事件相關同步能量有偏高的趨勢，藉由此現象，可以 利用Cz頻道附近區域來區分想像腳動和想像舌頭動。-. 圖2.7. 平均最大 kappa 值在大腦拓樸圖的分布. G. Pfurtscheller博士利用大腦拓樸圖的方式呈現四種想像動作的腦電波 在每個時間和每個電極點的最大平均kappa值。圖2.7為9個受測者大腦拓樸 kappa值分布情形，其最大特色為可用單筆腦電波分析，並計算kappa值來作 四種想像動作的分類，0代表無法分類，1代表最好的分類，也就是紅色代表 最適合作分類的重要區域，所以由此可知s1、s3、s5、s6、s8等受測者，最 適合分辨想像左手動、想像右手動、想像腳動、想像舌頭動的區域分布在C3、 C4、Cz附近的區域。 最後，G. Pfurtscheller博士認為單筆腦電波分析可利用頻帶能量的變化 (能量抑制或增強)來區分不同認知活動的腦電波訊號。雖然想像左手動和想 像右手動在C3和C4區域仍不太好分辨，然而卻成功地使用單筆腦電波分析 法分辨出想像舌頭動和想像腳動的腦電波，這對於大腦人機介面無疑地為一 大福音。. 23.
(39) 2.4 文獻回顧整理 前面幾節介紹了幾篇過去的文獻，本文將5篇關於單筆腦電波特徵擷取 的文獻，列於表2.1中比較並加以討論。從表中可以發現，腦電波的特徵擷 取在近幾年來，國外多位學者皆尋找混合時域、頻域或空間域的特徵，在分 類演算法上偏向使用線性，或是較簡單的分類法，以減少資料運算計算上的 負擔，而選擇分析的腦電波都針對事件相關電位(ERP)、事件相關同步(ERS) 或事件相關非同步(ERD)等特殊腦電波現象。從此可發現擷取的特徵包含的 資訊若適當充足，搭配運算負荷較低的線性分類器，即可完成單筆腦電波訊 號分析與分類，由於不必透過事後大量平均腦電波資料尋找特徵來進行分類 或辨識，所以可以應用在即時系統(Real-time system)。 表2.1 研究團隊. D. G. Childers et. 過去單筆腦電波分析法文獻比較表. 特徵擷取演算法. 分類演算法. Eigenvector-based. PCA,. algorithm. Stepwise linear. on Fisher ratio. discriminant. al, 1982 [17] T. P. Jung et al, 1998 [28] S. Lemm et al., 2005 [22] K. R. Müller et al., 2007 [24]. G. Pfurtscheller et al., 2005 [23]. 腦電波. ERP. ICA. ERP. Spatio-spectral Filter. Mu rhythm,. (CSSP) Common spatial filter (CSP). LDA. LDA. Laplacian filter,. Minimum. adaptive. Mahalanobis. autoregressive(AAR),. distance (MDA). 24. beta rhythm Mu rhythm. ERD, ERS.
(40) 第三章 相關研究方法與腦電波資料集 本章將介紹本研究使用的腦電波資料集以及所應用到的方法與基本原 理。3.1節介紹腦電波資料集的紀錄、研究流程和實驗設計；3.2節介紹獨立 成份分析法之基本原理與應用；3.3節介紹希爾伯特黃轉換的流程與架構； 3.4節介紹支持向量學習機(Support vector machine, SVM)的基本架構與原理。. 3.1 腦電波資料集 本研究所使用的腦電波資料集來自國際大腦介面競賽(BCI competition 2005)網站所提供的資料集Data set Ⅲa，此資料集為奧地利，G. Pfurtscheller 博士率領的Graz BCI團隊紀錄人類想像左手動、右手動、腳動、舌頭動所獲 得的腦電波資料，受測者總共三名，每類想像動作想像各60次。其中30筆資 料為已知想像動作類別的腦電波資料，其餘30筆皆不知類別以作為測試或預 測(Prediction)用途。. 圖3.1. 電極點分佈位置. 25.
(41) 量測腦電波訊號的儀器為NeuroScan公司所出產的64通道腦電波放大 器。其中左耳突出(Left mastoid)當作參考電位(Reference)，右耳突出(Right mastoid)當作接地(Ground)，腦電波僅使用60個電極點紀錄，電極點的佈置 如圖3.1。腦電波訊號的取樣頻率(Sampling rate)為250Hz，並加入notch filter 和帶通濾波器(Band-Pass Filter)把腦電波訊號濾除至1-50Hz，其中notch filter 是為了消除50Hz市電干擾(歐洲市電)而設置的。根據前人的研究與建議 [20][23]，我們選擇分析的電極點分別為C3、C4、Cz、Fz(第13通道)和Pz(第 49通道)，代表大腦的對側部位(Contra lateral)、前額(Frontal)中心、頂葉中心 (Parietal)。 實驗流程如圖3.2，首先要求受測者坐在有扶手的椅子上放輕鬆。接著 實驗內容會根據畫面上的提示要求作想像左手、右手、腳動和舌動，提示是 以隨機的方式出現。實驗至少重複6輪，每一輪包含40次的想像動作；一次 的想像測驗一開始，都會要求受測者安靜放鬆2秒，在測驗第2秒會出現聲音 刺激(Beep)提示，同時畫面會出現「+」，此為告知受測者開始準備想像動 作；在第3秒時會出現箭頭指向上、下、左或右，且箭頭會持續約1秒鐘；箭 頭出現的同時，受測者被要求分別想像腳動(上)、舌頭動(下)、左手動(左)、 或右手動(右)；在第7秒的時候，「+」會消失，表示想像測驗即將結束。. 圖3.2. 想像動作實驗流程. 3.2 獨立成份分析法 26.
(42) 3.2.1. 引言. 獨立成份分析法已經被應用在處理腦電波訊號用來去除雜訊[27]，或是 估計腦磁波(Magneto-encephalogram, MEG)的極性(Dipole)位置。從頭皮量測 到的腦電波紀錄通常都是已經混雜大腦活動成份以及各式雜訊，如：眼動訊 號(Electrooculography, EOG)、肌電訊號(Electromyography, EMG)等，若是假 設這些皆為獨立的訊號源，透過獨立成份分析法即可得到感興趣的大腦活 動，以及去除視為非大腦活動等雜訊，目前已經有許多研究證實獨立成份分 析法可以成功的應用在腦電波的訊號分離、辨識以及訊號源位置的定位。 目前較常被應用的獨立成份分析法約可分為兩類，其中為Lee等人於西 元1998年所提出的InformaxICA，優點為具適應性(Adaptive)的學習，藉由調 整學習率來達到多頻道的分析，缺點為迭代的速度較慢。另一類由Hyvärinen 於西元1999年所提出的FastICA，其學習法是由類神經網路的學習法則出 發，經過推導後發現可以使用較簡單的定點演算法來完成，故其收斂速度較 快，但是缺點為FastICA必須整批資料一起運算才能一次找出全部的獨立成 份，且不一定收斂，也較不穩定。. 3.2.2. 獨立成份分析法之基本原理. 獨立成份分析法的基本原理如圖3.3，假設存在三個觀測訊號 X 1 、 X 2 和 X 3 ，由三個獨立訊號源 S1 、 S2 和 S3 線性組合而成，如關係式(3.1)所示：. X 1 = a11 S1 + a12 S2 + a13 S3 X 2 = a21 S1 + a22 S2 + a23 S3. (3.1). X 3 = a31 S1 + a32 S2 + a33 S3 其中 a11 、 a12 、 a13 、 a21 、 a22 、 a23 、 a31 、 a32 和 a33 均為常數。 式(3.1)聯立方程式可以在整理成如下之矩陣表示式：. X = AS. (3.2) 27.
(43) 其中：. ⎡ a11 ⎡ S1 ⎤ S ≡ ⎢⎢ S 2 ⎥⎥ ， A ≡ ⎢⎢ a21 ⎢⎣ a31 ⎢⎣ S3 ⎥⎦. a12 a22 a32. a13 ⎤ ⎡ X1 ⎤ a23 ⎥⎥ ， X ≡ ⎢⎢ X 2 ⎥⎥ 。 ⎢⎣ X 3 ⎥⎦ a33 ⎥⎦. 因此，若能得到混合矩陣(Mixing matrix) A ，便可透過反矩陣的運算，式 (3.3)，求得訊號源，而獨立成份分析法可提供這樣的訊號分離技術。. S = A−1 X. (3.3). 獨立成份分析法是由一連串數學與統計的運算完成的，其中根據中央極 限定理(Central limit theorem, CLT)，若將一群非高斯(Non-Gaussian)且互相獨 立的隨機變數(Random variables)一個一個的相加，其加總結果會逐漸趨近於 高斯分佈(Gaussian distribution)。獨立成份分析法即是將此定理作一個逆向思 考，藉由估計非高斯性，使成份之間的相依性(Dependent)降低，成為一個獨 立 的 變 數 ， 也 就 是 獨 立 的 訊 號 源 ， 通 常 使 用 峭 度 (Kurtosis) 或 負 熵 值 (Negentropy)來度量訊號的非高斯性。 如圖3.3，Source1、Source2和Source3為三名不同的人發出的聲音，假設 這些聲音為獨立的訊號源，並且分別由三個麥克風(Sensor1、Sensor2和 Sensor3)來量測接收，每個麥克風所接收到的訊號為三個各自獨立訊號源線 性組合而成，獨立成份分析法的目的就是從這三個麥克風接收到的聲音訊 號，透過反矩陣運算來還原原始三名不同人所發出的聲音。 另外，如文獻[27]，由於原始腦電波紀錄會受到許多內在生理雜訊等干 擾(Artifacts)，所以Jung等人在紀錄腦電波訊號時，也同時紀錄眼動訊號、肌 電訊號等，將這些頻道的量測值，經過獨立成份分析法及反矩陣運算，即可 得到與頻道數目相等的訊號源；判斷哪些訊號源是屬於眼動成份或肌電成份 等，去除這些雜訊成分，再透過混合矩陣，最後得到去除雜訊的腦電波訊號。. 28.
(44) 圖3.3. 3.2.3. 訊號源與觀測訊號關係圖. 獨立成份分析法應用於腦電波分析. 本研究利用獨立成份分析法的精神，選擇FastICA來當作一種空間上的 遮罩(Spatial masks)來克服電極通道間腦電波訊號互相的干擾重疊，概念類似 於表面拉普拉斯濾波器的功用，尋找視為與認知行為相關的獨立訊號。本研 究選擇加州大學聖地牙哥分校(University of California, San Diego)所開發的 工具箱：EEGLab[31]，將不同想像動作的單筆腦電波資料拆解成數個獨立成 份，並根據獨立成份與想像動作相關電極之間的同調性(Coherency)，選擇最 有意義且相關性最高的獨立成份來做後續的處理。. 29.
(45) 3.3 希爾伯特黃轉換 希爾伯特黃轉換由黃鍔院士於 1998 年所提出[32]，被認為很適合處理非 線性或非穩定的訊號，且具有多尺度(Multi-scale)、適應性等特性。希爾伯 特 黃 轉 換 的 架 構 主 要 分 成 兩 大 部 分 ： 經 驗 模 態 分 解 (Empirical mode decomposition, EMD)和希爾伯特轉換(Hilbert transform, HT)。其中經驗模態 分解法可以將訊號拆解成有限個本質模態函數(Intrinsic mode functions, IMFs)與一個均值趨勢殘留量(Mean trend)的加總，而這些拆解出來的成份皆 具有正交性(Orthogonal)、適應性、完整性。對這些本質模態函數做希爾伯 特轉換，即可得到每一時間點上的瞬時頻率(Instantaneous frequency)和瞬時 振幅，進而取得時間、頻率、能量分布的情形，這也是希爾伯特黃轉換被認 為適合處理生物訊號的主要原因。下一個段落將簡單介紹經驗模態分解和希 爾伯特黃的整體流程。 為了定義有意義的瞬時頻率，本質模態函數必須滿足以下兩點條件： (1) 在整筆資料中，局部極小值(Local minima)和局部最大值(Local maxima)的數目之合要與跨零點(Zero-crossing)的數目相同或是最多 相差一個。 (2) 在任何時間點上，局部極大值所定義的上包絡線(Upper envelope)與 局部及小值所定義的下包絡線(Lower envelope)平均值必須為零。 這些條件的目的是為了避免在求得訊號每一個時間點的瞬時頻率時，受到非 對稱波形(Asymmetric wave forms)所造成不必要的干擾，所以理想上希望訊 號任一局部平均值(The local mean)為零，以保持訊號的對稱性。然而對於非 穩定訊號，以局部時間尺度(Local time scale)內的局部平均值來計算整體訊 號的平均值是不可能的，於是在此以條件(2)來解決這個問題。而之所以稱作 「本質模態函數」，是因為此函數皆以振盪成份的模式(The oscillation mode) 內嵌於原始訊號，並根據此定義，本質模態函數以過零點的方式呈現一種特 30.
(46) 定模式的振盪，並排除複雜的載波(Riding waves)。 然而，大部分的訊號並無法與本質模態函數的條件吻合。為了確定經驗 模態分解有足夠的能力拆解訊號，則上述兩個條件必須要做一些調整[32]， 調整過後的分解程序稱之為「篩選程序」(Sifting process)，其流程如下： (1) 確定原始訊號 x(t ) 的極值點，並使用立方雲線(Cubic spline)找出局部 極大值和局部極小值所定義的上包絡線以及下包絡線，並計算包絡 線之均值 m(t ) 。 (2) 將原始訊號和包絡線均值作相減。. h(t ) = x(t ) − m(t ). (3.4). (3) 重覆第一個和第二個步驟直到 h(t ) 滿足本質模態函數的條件成為第 一個本質模態函數，稱之為 c1 (t ) 。緊接著第一個殘留訊號(Residue)：. r1 (t ) = x(t ) − c1 (t ). (3.5). 會被當作一筆新的資料繼續進行篩選程序，擷取出第二個本質模態 函數。 (4) 篩 選 程 序 會 一 直 持 續 到 殘 留訊 號 變 成 一 個 單 調 函 數 (Monotonic function)且無法再分解出本質模態函數為止。然而實際操作上，也 可以定義篩選程序停止的標準(Stop criterion)，使迭代的程序終止。 以標準的經驗模態分解來說，一般都設定前後兩次迭代後結果的標 準差(Standard deviation, SD)為停止標準，標準差值介於 0.2~0.3 之 間。 (5) 最後原始訊號 x(t ) 將被分解成數個本質模態函數， c j (t ) 且 j = 1,..., n 和一個殘留訊號 rn (t ) ，如式(3.6)所示。 n. x(t ) = ∑ c j (t ) + rn (t ). (3.6). j =1. 31.
(47) 其中 n 代表本質模態函數的數目， rn (t ) 代表最後的殘留訊號。 由於經驗模態分解的條件和篩選程序的定義，所以 c j (t ) j = 1,..., n 每一個本 質模態函數彼此間幾乎具有正交性且平均值為零。 接 著 ， 將 每 一 個 本 質 模 態 函 數 c j (t ) 透 過 希 爾 伯 特 轉 換 至 複 數 平 面 (Complex plane)，而轉換公式如下式(3.7)所示：. y j (t ) =. P c j (τ ) dτ π ∫ t −τ. (3.7). 其中 P 為柯西主值(Cauchy principle value)，每一個本質模態函數 c j (t ) 的每一 個時間點皆有相對應的希爾伯特轉換。 另外，在此定義 y j (t ) 和 c j (t ) 為共軛 複數對(Complex conjugate pair)，並得到欲分析之複數平面訊號 z j (t ) 為：. z j (t ) = c j (t ) + iy j (t ) = a j (t )e. iθ j ( t ). (3.8). 其中，. a j (t ) = c j (t ) 2 + y j (t ) 2. θ j (t ) = arctan. (3.9). y j (t ). (3.10). c j (t ). i = −1 ， a j (t ) 、 θ j (t ) 分別為瞬時振幅(Instantaneous amplitude)和瞬時相位. (Instantaneous phase)，接著對瞬時相位角 θ j (t ) 取一階微分，由於柯西主值的 校 正 ， 所 以 可 以 直 接 根 據 式 (3.11) 得 到 瞬 時 頻 率 (Instantaneous frequency) ω j (t ) ：. ω j (t ) =. dθ j (t ). (3.11). dt. 將式(3.8)-(3.11)延伸， x(t ) 可表示為：. 32.
(48) n. x(t ) = Re(∑ a j (t )e j =1. iθ j ( t ). n. ) = Re(∑ a j (t )e ∫. i ω j ( t ) dt. j =1. ). (3.12). 因此，給定時間序列訊號 x(t ) ，透過希爾伯特黃轉換進行時頻分析，即可得 到訊號在任一時間點上頻率 f j 、振幅 F 的變化，如式(3.13)、(3.14)所表示：. F ( f j , t ) = a j (t ). (3.13). f j = ω j (t ). (3.14). 也就是分別代表瞬時振幅與瞬時頻率。為了比較希爾伯特黃轉換和傅立葉轉 換的不同，將式(3.12)重新表示為： n. x(t ) = ∑ a j (t ) exp(i ∫ ω j (t )dt ). (3.15). j =1. 另外，在此黃鍔院士等人認為進行希爾伯特黃轉換時，考慮最後的殘留訊號 rn (t ) 其訊號趨勢的不確定性以及過大的能量影響感興趣訊號中高頻低能量. 成份，所以最好將它去除，並視為非本質模態函數。由式(3.15)，希爾伯特 黃轉換可將每個訊號成份的頻率與振幅以時間函數的方式來表示。同樣的資 料以傅立葉轉換的方式來表示，如下式(3.16)： ∞. x(t ) = ∑ a j e. iω j t. (3.16). j =1. a j 和 ω j 兩者皆為常數。同時比較式(3.15)和式(3.16)，可以清楚的分別希爾伯. 特黃轉換可以更有效處理變動的振幅和頻率，因此相較於傅立葉轉換，具有 足夠能力處理非穩態訊號。同時，整個轉換流程包含了經驗模態分解，所以 可以解決振幅調變(Amplitude modulation)或頻率調變(Frequency modulation) 等訊號，突破訊號進行傅立葉級數展開時，常數振幅和固定頻率上的限制。 式(3.15)將訊號振幅與頻率以時間函數的方式來表示，並可以三維繪圖 的方式來呈現振幅、頻率、時間的關係。希爾伯特頻振幅頻譜圖(Hilbert amplitude spectrum)，H (ω , t )，簡稱(Hilbert spectrum)，可以呈現訊號在時間、 33.
Outline
相關文件
Principle Component Analysis Denoising Auto Encoder Deep Neural Network... Deep Learning Optimization
• While conventional PCA extracts principal components in the input space, KPCA aims at extracting principal components of variables (or features) that are nonlinearly related to
Keywords: time management, the analysis of the factor, the analysis of the reliability and the validity... 第一章
FMEA, fail mode and effective analysis, which is one of a common method to analysis and find out the fail mode of the product is to dig out the unobservable problem or hidden
Failure Mode and Effects Analysis (Failure Modes and Effects Analysis, FMEA) is used to analyze the product / system, the potential failure modes, identify potential trouble spots
傳統的 RF front-end 常定義在高頻無線通訊的接收端電路，例如類比 式 AM/FM 通訊、微波通訊等。射頻(Radio frequency,
首先考慮針對 14m 長之單樁的檢測反應。如圖 3.14 所示為其速 度反應歷時曲線。將其訊號以快速傅立葉轉換送至頻率域再將如圖
背景:結合 Lego NXT 主機及超音波
