想像幾何旋轉動作與數學心算之腦電波分析

全文

(1)國立臺灣師範大學機電科技學系碩士論文指導教授：葉榮木博士蔡俊明博士想像幾何旋轉動作與數學心算之腦電波分析 The Analysis of EEG of Imaging Geometry Rotation and Doing Mental Arithmetic Task. 研究生：廖宇璁. 撰. 中華民國九十八年八月.

(2) 致謝在研究所二年的生涯中，承蒙指導教授葉榮木博士及蔡俊明博士在學業及研究上的苦心指導，本論文才使得以順利完成。除指導教授外，也由衷感謝口試委員李炯三博士與陳弘斌博士給予本論文之建議和指導，在此獻上我最高的感謝之意。在這二年求學及做研究的這段期間，感謝許育財、李超然學長在學業上的指導，以及曜嘉、建中、祥瑋同學，昀松、勉光、育聖、正倫、士宜、莞慈學弟、妹彼此間的相互照顧及討論課業上的問題，與實驗室中伙伴們相處愉快的氣氛是我研究進度得以順利進行的重要動力。最後要感謝我的家人，父親廖山陽先生，母親鍾秀玉女士及我的妹妹宇瑄，有他們的支持與鼓勵，我才能夠順利完成碩士班的學業及研究，僅以此論文獻給一路走來，我最愛的家人、師長、朋友們。. I.

(3) 摘要大腦進行運作的機制一向是科學與醫學的研究重點，本論文使用快速傅立葉轉換(FFT)和多尺度熵(MSE)的方法，分析大腦進行數學認知行為的空間能量分佈特徵，兩類分析方法的實驗結果同時指出，大腦前額葉與頂葉為數學認知行為的主要激發區域，大腦枕葉的能量特徵相對較不顯著，而四類基礎數學運算以加法及乘法運算對大腦負荷度較低，減法及除法對大腦負荷度則相對較高。本研究另外探討當我們數學計算時，常伴隨出現的空間旋轉概念(如：建築工程、向量計算…等)的空間能量特徵，發現其大腦特徵與數學運算時高度相似，都是以大腦前額葉為顯著特徵區域，而我們也使用適用於非穩態訊號的經驗模態分解法(EMD)進行濾波，及線性鑑別分析法(LDA)與最近鄰居法(NNR)辨識想像順時針旋轉與逆時針旋轉的腦電波，實驗結果以 FZ 電極與 FCZ 電極的組合辨識率最高，四位受測者平均辨識率可達 80.7%，辨識率較想像四肢活動雖無顯著提升，但證實了想像幾何旋轉動作為有效的想像辨識標的。. 關鍵詞：認知科學、腦電波、大腦人機介面、多尺度熵、經驗模態分解法. II.

(4) Abstract The mechanism of how the brain functions and processes the data has always been the major research concern in both scientific and medical fields. This thesis presents the spatial energy distribution characteristics when the brain doing mathematical cognitive behaviors via the application of FFT and MSE. And the results of both analyses had pointed out that frontal lobe and parietal lobe of the brain are the major stimulating areas for mathematical cognitive behaviors, while the occipital lobe holds comparatively less obvious energy characteristics. Meanwhile, among the four basic operations of arithmetic, subtraction and division put more loadings to our brain, compared to addition and multiplication. This research also probes into the spatial energy distribution characteristics for 3D rotating concepts that we applied while doing math calculations, such as building construction programs and vector quantity calculations. We have discovered a highly similarity as doing arithmetic. There are both more energetic performances on the frontal lobe of the brain. We also use LDA and NNR, to recognize the EEGs while imagining clockwise rotations and anticlockwise ones. The outcomes show that the combination of FZ electrode and FCZ electrode has the best recognition rate, an average of 80.7% among our experimental subjects. Though the rate doesn’t suggest a higher recognizablity than picturing the limb activities, it proves that imagining geometric rotation surely is a valid alternative for imagining recognition. Key words: Cognitive Science、Electroencephalography (EEG)、Brain-Computer Interface (BCI)、Multiscale Entropy、Empirical Mode Decomposition. III.

(5) 目錄致謝....................................................................................................................I 摘要...................................................................................................................II Abstract.................................................................................................................III 目錄.......................................................................................................................V 圖目錄..................................................................................................................VI 表目錄..................................................................................................................IX 第一章緒論................................................................................................................1 1.1. 研究動機..............................................................................................1. 1.2. 研究目的..............................................................................................3. 1.3. 常見腦電波分析域與控制訊號..........................................................5. 1.4. 研究架構..............................................................................................8. 第二章文獻探討................................................................................................10 2.1. 數學認知行為研究概況...................................................................10. 2.2. 應用於大腦人機介面的想像各類動作...........................................20. 第三章實驗設計與流程....................................................................................23 3.1. 數學認知行為實驗............................................................................22. 3.2. 想像幾何旋轉實驗............................................................................24. 3.3. 實驗設備與環境................................................................................27. 3.4. 腦電波訊號前處理............................................................................31. 第四章實驗方法................................................................................................29 4.1. 數學認知研究腦電波訊號前處理........................................................29. 4.2. 數學認知研究腦電波訊號後處理....................................................37. 4.3. 想像幾何旋轉研究腦電波前處理....................................................43. 4.4. 想像幾何旋轉研究腦電波後處理....................................................47 IV.

(6) 第五章實驗結果與分析..................................................................................51 5.1. 數學心算結果分析...........................................................................51. 5.2. 想像幾何旋轉動作結果分析...........................................................71. 5.3. 數學運算與幾何旋轉特徵比較.......................................................80. 第六章結論......................................................................................................81. V.

(7) 圖目錄圖 1.1 國際 10-20 腦電波電極位置分布圖 .......................................................2 圖 1.2 大腦人機介面系統概要流程圖與其應用 ..............................................3 圖 1.3 大腦皮質的各功能區 ..............................................................................4 圖 1.4 P300 腦電波應用 .....................................................................................5 圖 1.5 認知活動對大腦能量空間分布圖 ..........................................................6 圖 1.6 腦電波主要頻段 ......................................................................................7 圖 2.1 β頻段腦電波相位同步關係圖 ............................................................ 11 圖 2.2 數學減法運算大腦 fMRI 造影圖 ......................................................... 11 圖 2.3 三類腦電波的平均 ERP 比較圖 ...........................................................13 圖 2.4 小、大差距問題與正確答案問題正向能量差異圖 ............................14 圖 2.5 小、大差距問題與正確答案問題負向能量差異圖 ............................15 圖 2.6 Yu 團隊實驗流程圖 ...............................................................................16 圖 2.7 alpha 頻段腦電波比較圖和 beta 頻段腦電波比較圖..........................17 圖 2.8 各電極 entropy 比較圖 ..........................................................................17 圖 2.9 Kamousic 實驗流程圖 ...........................................................................19 圖 2.10 主成分分析法示意圖 ..........................................................................20 圖 2.11 Phothisonothai 團隊所使用之電極分佈圖布......................................20 圖 3.1 數學認知研究流程圖 ............................................................................24 圖 3.2 想像集合旋轉動作研究流程圖 ............................................................25 圖 3.3 輔助想像旋轉動作圖 ............................................................................26 圖 3.4 想像幾何旋轉研究流程圖 ....................................................................26 圖 3.5 實驗設備 ................................................................................................28 圖 3.6 實驗環境 ................................................................................................28. VI.

(8) 圖 4.1 眼動訊號電極擺置示意圖 ....................................................................29 圖 4.2 線性誘導示意圖 ....................................................................................30 圖 4.3 去眼動指令框 ........................................................................................31 圖 4.4 去眼動前、後腦電波圖 ........................................................................32 圖 4.5 各電極分段後腦電波圖 ........................................................................33 圖 4.6 單一電極分段後腦電波圖 ....................................................................33 圖 4.7 Artifact reduction 指令框.......................................................................34 圖 4.8 Averaging 指示框...................................................................................35 圖 4.9 各電極平均後腦電波圖 ........................................................................35 圖 4.10 單一電極平均後腦電波圖.....................................................................35 圖 4.11 輸出各頻帶腦電波指令框.....................................................................36 圖 4.12 快速傅立葉轉換信號流程示意圖.........................................................39 圖 4.13 多尺度熵計算示意圖.............................................................................41 圖 4.14 數學認知研究整體實驗流程圖.............................................................42 圖 4.15 經驗模態分解法示意圖.........................................................................44 圖 4.16 EMD 流程示意圖.................................................................................46 圖 4.17 線性鑑別分析法示意圖.........................................................................47 圖 4.18 想像幾何旋轉動作整體實驗流程圖.....................................................50 圖 5.1 數學加法運算空間能量分佈圖.............................................................52 圖 5.2 數學減法運算空間能量分佈圖.............................................................54 圖 5.3 不同數學認知行為平均能量比較圖.....................................................55 圖 5.4 數學乘法運算空間能量分佈圖.............................................................56 圖 5.5 數學除法運算空間能量分佈圖.............................................................58 圖 5.6 困難數學運算空間能量分佈圖.............................................................59 圖 5.7 多尺度熵分析採用電極.........................................................................63 VII.

(9) 圖 5.8 FZ、CZ、OZ 電極腦電波複雜度示意圖.................................................65 圖 5.9 FZ、CZ、OZ 電極腦電波複雜度比較圖.................................................66 圖 5.10 F3、C3、O1 電極的腦電波複雜度示意圖.............................................67 圖 5.11 F3、C3、O1 電極的腦電波複雜度比較圖.............................................68 圖 5.12 F4、C4、O2 電極的腦電波複雜度示意圖.............................................69 圖 5.13 F4、C4、O2 電極的腦電波複雜度比較圖.............................................70 圖 5.14 四位受測者想向旋轉動作的空間能量分佈圖.....................................72 圖 5.15 辨識想像旋轉動作腦電波所採用電極.................................................73 圖 5.16 FZ、FCZ、CZ 電極經驗模態分解法示意圖.........................................75 圖 5.17 挑選本質模態函數示意圖.....................................................................76 圖 5.18 想像旋轉動作資料矩陣.........................................................................77. VIII.

(10) 表目錄表 2.1 數學認知研究文獻比較表...................................................................18 表 3.1 數學認知實驗題型...............................................................................23 表 5.1 Theta 頻譜空間特徵比較表.................................................................59 表 5.2 Alpha 頻譜空間特徵比較表................................................................60 表 5.3 各類數學題型解題所需平均時間.......................................................61 表 5.4 各電極 entropy 比較表.........................................................................71 表 5.5 每位受測者所被挑選的本質模態函數...............................................76 表 5.6 各電極組合辨識正確率.......................................................................78 表 5.7 文獻比較表...........................................................................................79. IX.

(11) 第一章. 緒論. 1.1 研究動機數百年以來，大腦一直是人類最致力研究，且努力想要揭開其神秘面紗的器官。人體在心智思考及肢體活動上，都由大腦所支配著，經由大腦中各司不同功能的區域所發出的指令，使得人體可以按照自我意識進行活動與思考。而大腦所發出的指令則是以電訊號的方式傳遞，自大腦皮質的神經元經神經系統傳達到肌肉細胞所達成。而經由頭蓋骨所量測到的電訊號，就是大腦科學研究中所謂的腦電波(Electroencephalogram, EEG)。腦電波最早於 1875 年，由英國利物普的生理學教授李察卡頓，首度從兔子的大腦皮層表面所紀錄到的一種與呼吸及心跳無關的電位變化 [1]。而首次的人類腦電波紀錄則是一直到 1929 年，才由德國的精神科醫師漢司伯格所成功量測和發表，並命名為腦電波圖(Electroencephalogram, EEG)。此後腦電波即開始被應用在醫學的領域。人體中樞神經系統的神經元活動電位(Action Potential)主要是藉由鈉、鉀等離子相關離子通道的開閉來傳達電訊號，這些離子通道的開閉，使得神經元本身在傳遞電訊號的短暫過程中形成一微小電場[2]。腦電波訊號的產生，理論認為，主要是由大腦皮質中神經組織的突觸後 (Post-synaptic neuron)神經元的電位變化，同步整合而來。這些突觸後神經元電位變化主要只限於細胞本體以及神經元樹突(Dendrites)兩部分，並不包括電位變化快，也較不易紀錄的軸突(Axons)部分。腦電波在量測方式上主要分成兩類: (1) 侵入式量測法此類方法須經由外科手術打開頭蓋骨，將電極直接置於大腦皮質層上，因為少了頭骨和毛髮的阻隔，所以此種方法量測到的腦電波有很高的準確特性，但由於過程繁複且危險性高，一般腦電波訊號量測多不採用此種方式，而使用以下介紹的「非侵入式」量測法。 1.

(12) (2) 非侵入式量測法此類量測法是以有電極在其上的電極帽攫取受測者的腦電波訊號，受測者只需將電極帽戴於頭皮上，再將電極所量測到的腦電波訊號經由放大器約數萬倍的放大後紀錄、儲存下來。此種方法具有安全與簡易的特性，但由於過程中因頭蓋骨所造成的高電阻，導致所量測到的腦電波訊號微弱，並且容易摻雜許多不必要的雜訊(例如:肌電訊號、眼動訊號等)。採用此種方法量測時必須使用導電膠降低電阻，在量得腦電波訊號後也必須先經由訊號前處理，消除不必要的雜訊，進而得到真實的腦電波訊號。本研究所採用的量測法為非侵入式的量測法。電極在頭皮上所擺設的位置，則以參照在西元 1958 年，Jasper 提出的「國際 10-20 腦電波系統」，其電極分布位置如圖 1.1 所示[3]。. 圖 1.1. 國際 10-20 腦電波電極位置分布圖. 大腦人機介面(Brain-Computer Interface)是一種將人類的思想與意識轉化為控制訊號，進一步操作外在裝置的溝通系統。大腦人機介面系統革新了傳統人類與機器溝通的方式，捨棄了以往必須使用到肌肉的溝通管道，改採以心智行為(例如:決策、意圖、運算…等)間的差異性，來達成行為與目的。當前應用範圍主要在使活動不便的身體傷殘者(例如:漸凍症、腦中風、肢殘…等)，能藉由大腦人機介面自由地控制外在裝置(例如:輪椅、. 2.

(13) 電腦游標…等)，這也是大腦人機介面研究最重要的貢獻；其他如以腦電波控制電腦遊戲等的一般生活應用，也使人類日常生活更加便利，其主要是擷取腦電波的特徵，利用特徵的相異性進行分類，最後輸出成控制指令操縱外在裝置。大腦人機介面系統概要流程與其應用如圖 1.2 所示[4]。. 圖 1.2 大腦人機介面系統概要流程圖與其應用. 1.2 研究目的腦電波研究領域中，相當重要的一部分就是大腦人機介面的應用，如何想像具有差異性的心理活動，以及腦電波資料的特徵擷取和資料分類，這些大腦人機介面最重要的課題，是影響一套大腦人機系統是否可以正確、快速地完成使用者指令最重要的關鍵因素。以往大腦人機介面的研究中，想像動作大多以想像左手、右手、左腳、右腳動作與吐舌頭為主，此類的想像動作較適合原本四肢活動健全，但後天發生殘疾的傷患，此類使用者可以充分了解該如何想像運動的發生；反之，對於先天性肢體殘缺的. 3.

(14) 使用者，並無法真正想像四肢或舌頭活動的情況，鑒於此，本研究希望以較簡易，且不會有想像難易度差異的幾何空間中的「順時針旋轉」與「逆時針旋轉」動作，將其應用於大腦人機介面的研究上，驗證是否可以正確地進行辨識，應用為新的想像標的。除了大腦人機介面領域外，腦電波研究的另外一大領域是「大腦認知科學」。大腦自古以來一直是最神秘的器官，直到近代的科學研究，還是無法直接檢驗這個帶給我們思考、記憶、感覺和知覺的地方，大腦的本質還是只能靠觀察他的效應來推論。經由不斷的實驗觀察，大腦的神秘面紗慢慢地被揭開，從發現大腦不同區域各司不同的生理功能如圖 1.3 所示 [5]，男、女大腦思考模式的不同，左撇子與右撇子大腦的差異性，甚至於殺人狂的大腦剖析…等各類差異性大腦行為的探討，都是大腦認知科學的研究範疇。. 圖 1.3 大腦皮質的各功能區. 本研究在大腦認知研究上，探討大腦處理基本數學心算題目時的腦電波差異性，我們分別量測受測者進行單一項目加法、減法、乘法、除法運算時的大腦活動情形，並逐一分析比較。最後以較困難的雙位數乘以雙位數數學題目，來增加大腦的負荷程度，在困難的題目中，會牽扯到乘法運算和加法運算，並有十進位的運算過程，而雙位數乘以雙位數的實驗結 4.

(15) 果，也將與四類單一項目的數學運算進行分析比較。. 1.3 常見腦電波分析域與控制訊號自 1929 年首次成功量取人類的腦電波後，腦科學的發展不論在大腦人機介面的應用上，或是腦神經認知科學的探討中，大多以分析三大域的大腦或腦電波活動情形為主要研究方向。分別為時間域、空間域和頻率域。 (一) 時間域的特徵分析當感官受到外在刺激或輸入變化時，腦電波會產生相對應的電位變化，此類的電位變化往往是很微弱的，而產生的時間點通常是在接受外在刺激前後的數百毫秒，此類時間域上的特徵，稱為事件相關電位 ERP(Event-relative potential)。事件相關電位 ERP(Event-relative potential) 指的是凡是外加一種特定的刺激，作用於感覺系統或腦的某一部位，在大腦所引起的電位變化。其優勢是具有很高的時間域分辨率(毫秒)，便於與傳統的心理學指標有效地配合，進而進行認知過程研究。目前 ERP 方法的應用越來越廣泛，例如:認知心理學、醫學、神經科學、人工智慧等多個領域以此方法發現了許多與認知活動過程密切相關的成分、如 CNV、 P300、ERD、ERS…等。事件相關電位常被使用於大腦人機介面上，作為控制訊號源，如應用於拼字和家居系統中的 P300 腦電波，如圖 1.4 所示[6]。. 圖 1.4 P300 腦電波應用 5.

(16) (二) 空間域的特徵分析. 大腦認知科學是一門從多方位探究人腦與心智工作機制的前沿性交叉學科。身理、心理現象是腦整體活動的產物，是腦對現實刺激和過去種種經驗的反映。因此，認知科學著重從整體觀點來看待作為心理現象基礎的神經活動。大腦認知科學研究腦的各部分結構的功能，重在瞭解及分析這些部分如何參與腦的整體工作，且大腦執行各類工作(如:記憶、演講…) 時的能量分佈與負荷差異性，如圖 1.5 所示，同樣也是認知科學研究的重點[7]。. 圖 1.5 認知活動對大腦能量空間分布圖. (三) 頻率域的特徵分析腦電波由許多不同頻段的電訊號所組成，如圖1.6所示[8]，藉由拆解出不同頻帶的腦電波分布情形，也是腦電波研究的一大課題。在不同的精神或工作狀態下，大腦會出現以不同頻帶為主的腦電波，大致上主要探討的頻段以α波(意識與潛意識的橋樑)、β波(意識)、Θ波(潛意識)、δ(無意識)波段為主。α(8-12Hz)為優勢腦波時，人的意識清醒，但身體卻是放鬆的，它提供意識與潛意識的橋樑。由於在這種狀態下，身心能量耗費最少，相對地腦部所獲得的能量較高，運作就會更加快速、順暢、靈感及直覺敏銳，腦的活動活潑。在β波(12-30Hz)為優勢腦電波時，人清醒時大部份的腦波狀態。隨著β波的增加，身體逐漸呈緊張狀態，準備隨時因應外在環境作 6.

(17) 反應。在此狀態下人的身心能量耗費較劇，快速疲倦，若沒有充份休息，非常容易堆積壓力。然而，適量的β波，對積極的注意力提升，以及認知行為的發展有著關鍵性的助益。θ波(4-8Hz)為優勢腦波時，人的意識中斷，身體深層放鬆，這是一種高層次的精神狀態，也就是我們常聽到的「入定態」。θ波與腦部邊緣系統有非常直接的關係，對於觸發深層記憶、強化長期記憶(LTP)等幫助極大。δ波(0.5-4Hz)為優勢腦波時，為深度熟睡，無意識狀態。人的睡眠品質好壞與δ波有非常直接的關聯；δ睡眠是一種無夢且很深層的睡眠狀態，通常一夜正常的睡眠周期會出現四至五次，而發生在睡眠初期第一個出現周期是無夢的δ波狀態。. 圖 1.6 腦電波主要頻段. 7.

(18) 1.4 研究步驟 1.相關文獻探討與研讀：了解神經認知大腦的基本分工機制，以及目前相關研究中大腦在不同數學算術問題刺激下，做認知活動時所出現的特徵以及差異情形，也研討應用於分類想像幾何轉動作的濾波方法，與特徵攫取和分類的演算法用於辨識腦電波。 2.實驗設計：針對數學基本運算，設計出單純的加、減、乘、除運算的實驗流程，在各個單一算數實驗中，並不能涉及其他運算過程。想像幾何旋轉動作時，腦電波的攫取方法與分段過程。使用想像幾何旋轉動作特徵最明顯的電極的腦電波資料，再利用線性鑑別分析法和最近鄰居法則進行特徵擷取與分類。 3.實驗操作：經由實驗擷取腦電波資料，將腦電波進行去眼動雜訊、分段、平均等資料前處理，再利用快速傅立葉轉換(FFT)得到頻率域和空間域上的特徵。希爾伯-黃轉換則使用於腦電波的濾波工作，再以線性鑑別分析法與最近鄰居法辨識腦電波。 4. 結果與討論：根據實驗結果加以總結。. 8.

(19) 第二章文獻探討. 大腦人機介面主要研究在於擷取腦電波，進而對腦電波進行特徵分析與準確的分類，最後藉由分類後的結果來驅動外在的機械裝置。而在分析腦電波前，我們必須先充分了解大腦的結構和活動情形，才能精確地應用於大腦人機介面。有鑑於此，許多對大腦認知行為的相關研究一直不斷地進行著，各個團隊各使用不同的腦電波特徵與分析技術，探討大腦進行各種認知行為時不同區域間的相互關聯性與能量分佈情形，而數量的處理和數學的計算方面則是認知行為研究領域中，大家愈來愈感興趣的研究方向。本章將介紹數篇近年來在數學相關認知行為上的研究成果，分別以比較數字大小的量化行為、數學運算上的四則運算…等不同的數學心理活動進行分析探討，而想像幾何旋轉動作的文獻中，將介紹傳統想像四肢活動與日本團隊所做的是與非想像實驗，而以上文獻所使用的方法與辨識結果，一併於本章介紹。. 2.1 數學認知行為研究概況 Rocha 團隊在 2005 年的研究指出，前額區至頭頂偏下方一點的區域為大腦在處理認知活動時主要的區域，而在處理認知活動的過程中除了主要區域的腦神經元自己的功能外，彼此間的相互關係也是非常重要的，以對數學計算的認知活動為例，在面對一題數學問題時，需要感覺運動區來做視覺上問題的審閱，去確認面臨的計算狀況以及定義問題內各符號，並也需要運動神經元作眼球的轉動審閱，以及標註記號之類的動作，再藉由累計的神經元做運算的動作，所以並非特定部位的神經元才有活動的情形，大腦的神經元認知的處理過程是全面且相輔相成的。 Mizuhara 團隊[9]於 2005 年提出以同時量測 fMRI 和 EEG 的方法研究 9.

(20) 人類大腦處理數學運算時大腦血氧濃度的變化情形和腦電波的時間相位同步性。腦電波的相位同步可反映出大腦處理認知活動時，不同區域神經元的激發程度，也可藉此觀察不同腦區域相互在時間和空間上的一致性程度。Mizuhara 團隊讓受測者進行連續的減法心算實驗，以數值 1000 連續減去一固定數值，運算過程連續進行 30 秒後閉眼休息 30 秒，如此重複 5 次循環為 1 個 trial，每一位受測者總共進行 2 個 trials。在實驗過程中所量測到的腦電波將被用來計算每個電極對間的 PSI(phase synchronization index)，計算式如(2-1)。. PSIlm( j, f ) = Xlm( j, f )2 + Ylm( j, f )2. (2-1). 其中，. X lm ( j , f ) = Ylm ( j , f ) =. jN. ∑ cos( Δϕ. k =( j −1) N +1. lm. (k, f))/N. (2-2). (k, f))/N. (2-3). jN. ∑ sin( Δϕ. k = ( j −1) N +1. lm. △ψlm 表示第 l 個和第 m 個電極間的瞬時相位差。經由計算後的每對電極間的 PSI 進行比較分析，受測者在進行數學減法心算時，β頻段有最多對的電極擁有高度相位同步的情況，相對在閉眼休息時，擁有最多對高度相位相同電極的頻段則出現在α頻段，這與β頻段腦電波多出現在高度認知行為相符合。另外比較進行數學減法和閉眼休息時發現，減法運算時相對休息 PSI 值增加最多的電極對則出現在 P3-CP4，說明了在進行數學減法運算時，功能連結度最高的部份發生在右腦頂葉較上方的區域和左腦角腦迴之間，同時驗證大腦進行數學減法認知行為時，並不是單獨以左腦或右腦進行，而是以跨越左右腦的運作機制進行，如圖 2.1 所示。. 10.

(21) 圖 2.1 β頻段腦電波相位同步關係圖. 除了腦電波外，以 fMRI 所量測到大腦中血氧濃度的結果發現，右腦前額葉的皮質層邊側有很高的血氧濃度，如圖 2.2 所示，代表此區域的腦神經元細胞活動較為劇烈，也因為此結果，Mizuhara 團隊推斷，大腦進行數學減法運算時，大腦反應的區域主要發生於左腦角迴和右腦頂葉較高區域之間，另外右腦前額葉的側邊腦皮層也是能量集中的區域。. 圖 2.2 數學減法運算大腦 fMRI 造影圖. 大腦科學家對大腦數字相關資訊的處理機制一直以各種不同現象分析探討，其中 Ashcraft 團隊於 1981 年，提出了以分辨數字相關程度不同的 11.

(22) 大腦認知活動作為其研究，此研究主要探討當問題所出現的數字和預期正確的數字產生差異度時大腦所產生的反應情形，此數字差異度認知行為稱為差距效應(split effect)[10]。1999 年，Niedeggen 團隊進行相關研究，他們要求受測者進行簡單的乘法計算，之後再給受測者一答案，要求受測者判斷其正確與否。結果發現，當給予錯誤的答案後約 400 毫秒事件相關電位(ERP)會產生一負向的峰值，之後緊接著正向的能量反彈[11]。相似的大腦事件相關電位現象，在 2005 年 Szucs 和 Csepe 的數學加法分辨認知實驗中也得到相同的驗證[12]。延續以往使用事件相關電位的研究，Isabel 和 Esceray 於 2007 年[13]，利用事件相關電位(ERP)探大腦進行計算數字序列判斷時的差距效應(split effect)，觀察差距大小分別對腦電波造成的影響和大腦能量分布情形。實驗進行時，受測者會看到一個五項數字皆為偶數的數列，前四項數字為等差數列，受測者則需判斷第五位數是否為相同規則數列之一的數字。當第五項數字被給予非正確答案的數值時(例如:6-10-14-18-26)，第五位非正確數字分為小差距(small-split)與大差距 (large-split)，當小差距時，正確答案將被+2 或-2 (例如:6-10-14-18-26)，大差距時正確答案則將被+26 (例如:6-10-14-18 -48)。此研究採用和本研究相同的國際 10-20 系統和 19 個電極量測腦電波，取樣頻率為 500Hz，濾波頻帶從 0.05Hz 至 30Hz。每位受測者被量測到的腦電波分別以正確、小差距、大差距不同類別計算其平均的事件相關電位，並互相比較其結果，如圖 2.3 所示。. 12.

(23) 圖 2.3 三類腦電波的平均 ERP 比較圖. 由結果圖 2.3 可發現當大腦處理大差距的數學序列問題時，較早出現的負向峰值約出現在刺激過後的 250 毫秒至 300 毫秒之間，而到了 500 毫秒至 600 毫秒間，則會產生劇烈的正向波形，研究為了探究不同類別間的腦電波相關性，將大腦進行大差距和小差距問題時的腦電波相關電位個別減去正確答案時的腦電波相關電位，分別觀察腦電波能量減少或增加的情形。大腦在進行大差距問題時，正向腦電波相對正確答案能量增加位置從大腦前額蔓延至枕葉部位，並且均勻地發生在左腦半球和右腦半球，而增強對高的區域發生在頂葉正中央，觀察小差距問題相對正確答案時的正向腦電波能量增加區域卻僅僅發生在頂葉正中央，其他區域並無能量的差異，另外大差距問題的能量也顯著的較小差距問題能量要來的高，如圖 2.4 所示。發生較早的負向腦電波同樣分別減去正確答案時的腦電波，可以觀察位於頂葉的區域能量不論大小差距問題都比正確答案問題來的低，且大小差距問題間的負向腦電波能量並無明顯的差異性，如圖 2.5 所示。. 13.

(24) 圖 2.4 小、大差距問題與正確答案問題正向能量差異圖. Isabel 和 Esceray 團隊依據以上實驗結果推論，在 500-600 毫秒間出現的正向腦電波，會依據答案差異度而有所不同，當所給予的答案和原先設想的正確答案差距愈大時，所產生的正向腦電波也愈大，而產生的區域以頂葉正中央最為顯著，但發生於正向腦電波之前的負向腦電波卻不會因為答案的差異度有所不同，但其主要發生區域也同樣集中在大腦頂葉區域，原因可能是出現的答案和受測者預想的不同所導致。另外以發生正向腦電波時的觀點分析，大差距問題的大腦能量增加區域從前額一直到枕葉，但小差距問題只有在頂葉部分才有能量增加，此現象說明了大腦處理小差距問題時採用的是全計算的策略(whole-calculation strategy)，而差距明顯較大的問題則是以信賴度檢測的策略(plausibility-checking strategy)進行處理。最後在答題正確率的部份，小差距數列比較問題的答對率最低，正確答案的數列比較問題答對率居次，大差距數列比較問題的答對率最高，答對率分別為 82%、92.4%、95.35%。. 14.

(25) 圖 2.5 小、大差距問題與正確答案問題負向能量差異圖. Peyron 團隊和 Critchley 團隊相繼在 1999 年和 2000 年發表了大腦皮層的相關研究[14]，他們提出了人類在身理、心智程度和身心壓力都與大腦有著密不可分的關係，大腦中皮質層的活動同時也會引起心跳速率和血壓的改變。2007 年 Gray 團隊更指出，因為情緒或心理壓力所引發的腦部活動設置可能會使心臟異常活動而導致死亡[15]，由前述許多研究可以了解到大腦的活動與心臟的律動有著一定程度的關連性，於是在 2009 年 Yu 團隊研究了大腦在進行數學運算比較認知活動時，大腦皮質電位和人體自律性神經活動的關係[16]。醫學領域上，自律性神經活動包含了交感神經活動與復交感神經活動，當交感神經活動增加時，人體會發生血壓上升、心跳加快、消化作用減緩的現象，反之當副交感神經活動發生，則會有血壓下降、心跳減緩、消化作用加強的現象[17]。此研究為了了解自律性神經活動情形，除了量測受測者腦電波之外，也同時量測其心跳速率以進行兩者間的分析和比較。 Yu 團隊的實驗流採用 18 個電極量測腦電波，每位受測者進行五分鐘的實驗流程，受測者在實驗中會被給予四個個位數數字的加減法數學題目，經由心算後的答案必須和螢幕上給予的答案進行比較，判斷其大小關係，在使用鍵盤上的方向鍵做出決定，流程如圖 2.6 所示。在量測腦電波的同時，也以放置於胸前的電極量測受測者的心電圖。 15.

(26) 圖 2.6 Yu 團隊實驗流程圖. 除了進行有時間限制的實驗組外，另外量測沒有時間限制的控制組的腦電波與心電圖，以進行兩者間的比較。經由量測所得到腦電波會以小波波包參數(wavelet packet parameter)與計算其亂度(entropy)的方式觀察腦電波的變化，再與控制組作比較。此研究以腦電波主要頻帶α波和β波進行比較分析，根據以往研究可知大腦進行數學心算比較認知行為時，能量的改變主要集中在頂葉和枕葉的區域，所以 Yu 團隊主要以位於這些區域的六個電極進行比較。由實驗結果發現，實驗組的α頻帶腦電波的能量明顯比控制組低，而頂葉和枕葉的能量分布則是處於均勻分布的情形，但在高頻段β波段的能量則是以實驗組相較控制組來的高，另外在空間域上的特徵則是發生了枕葉能量高於頂葉的情形，不論是實驗組或是控制組都有此現象產生，如圖 2.7 所示。.. 16.

(27) 圖 2.7 alpha 頻段腦電波比較圖和 beta 頻段腦電波比較圖. 另外腦波經過亂度的計算後發現，實驗組大腦各區域的腦波亂度相較控制組的都要來的高，另外在 O1、O2、Oz 電極的腦電波亂度也顯著的較 P3、P4、Pz 電極的腦電波亂度來的高，如圖 2.8 所示。. 圖 2.8 各電極 entropy 比較圖. 17.

(28) 我們將本章所介紹的過去文獻探討整理成一個比較表，由表中可以了解到前人對於數學相關認知行為研究的方法和結果，如表 2.1。. 表 2.1 數學認知文獻比較表作者. 數學認知行為. 分析方法. 空間特徵. theta、. left angular gyrus. alpha、. -right superior parietal. beta. gyrus. H.Mizuhara et al.[9]. 數學連續減法. prefrontal lobe、. M.Isabel. 數學加法、. et al.[13]. 量化比較. ERP. X.Yu. 數學加、減法. alpha、. et al.[16]. 、量化比較. beta、. parietal lobe. temporal lobe. entropy. 以往文獻往往以單一特定的數學心算活動，來進行大腦活動的認知研究，而本研究更進一步探討，當大腦進行數學基本運算中的加法、減法、乘法、除法運算時，其腦電波的分析與比較，使我們更深入的了解到大腦在不同數學認知行為間的激發情形與能量分布特徵，以期將本研究的成果在未來可以應用於人類醫學或教育心理學領域上，對人類生活有所貢獻。. 18.

(29) 2.2 應用於大腦人機介面的想像各類動作大腦人機介面系統效能的優劣取決於資料的特徵是否能將真正的被擷取出來，在特徵被擷取出來後分類方法的準確性和分類速度也是影響最終結果的關鍵。除了特徵擷取和分類方法兩大影響大腦人機介面的因素外，近年來也有團隊開始著重於想像不同行為的腦電波分析。過去大腦人機介面多是以想像左手動、右手動、左腳動、吐舌等動作，Kamousi 團隊[18] 以 ICA 演算法辨識想像左手動和右手動則為一典型的應用。Kamousic 與 Liu 等人以獨立成份分析法辨識想像左右手動，實驗流程如圖 2.9 所示，實驗開始前兩秒時螢幕呈現空白狀態，使受測者穩定心情，思路保持清晰狀態，空白螢幕持續至 3.75 秒時受測者會接受到一個提示訊號，受測者接著開始準備進行實驗，然後在第 5 秒時告知受測者開始進行想像左右手動作，想像時間約 0.95 秒，至此一個實驗流程結束，而此實驗所量測到的想像左右手的腦電波，經由獨立成份分析法辨識後，辨識率為 80%。. 圖 2.9 Kamousic 實驗流程圖. 近期的文獻中，辨識想像四肢動作如「以主成分分析法和線性鑑別分析法辨識想像左右手動」[19]，也是想像左手動與右手動對辨識目標，是利用主成分分析法和線性鑑別分析法進行兩類想像行為的辨識。經由紀錄後的腦電波資料量非常的龐大，此篇文獻利用主成分分析法將原始的腦電波資料經由計算，選取出前n個較大的特徵值所對應的特徵向量，再將原 19.

(30) 始資料投影在該特徵向量上，藉此將原始的腦電波降低維度，卻又可以保留資料中重要的資訊。降維後的腦電波資料在以本研究也使用的線性鑑別分析法將資料分開成兩類，讓資料的特徵更顯著的區分出來，最後以最近鄰區法則分類。因為線性鑑別分析法和最近鄰居法對腦電波資料是簡單且有效的分析方法，所以也將應用此兩演算法於本研究中。. 圖2.10 主成分分析法示意圖. 有別於以往想像四肢動作，日本的Phothisonothai團隊[20]在2006年利用三層的類神經網路分類器，分類新的想像任務則是以辨識想像回答問題”是”與”否”為主，總共使用15個通道如圖2.11 所示，利用事件相關同步 /去同步電位(ERS/ERD)來當特徵，並利用斜率與歐式距離(SCED)來做為特徵擷取的方法，再藉由人工類神經網路來做分類的動作，此團隊在二維的辨識率可達到80%。. 圖2.11 Phothisonothai團隊所使用之電及分布圖. 20.

(31) 近年來除了傳統的辨識想像四肢活動的研究外，也開始有團隊嘗試不同的想像目標來做為分類的資料，日本團隊在 2006 年就提出了想像是與非的研究成果，而本研究是以想像幾何旋轉來作為想像標的，藉由實驗進行驗證不同的幾何旋轉方向是否可以有效地辨識分類，更甚至比傳統想像四肢活動或是想像是與非擁有更高的辨識成果，最後本研究的成果也會與以上文獻進行比較與分析。. 21.

(32) 第三章實驗設計與流程. 本研究所進行的數學算術認知活動與想像幾何旋轉動作的實驗設計和實驗流程將在此章節逐一說明介紹，而本實驗所使用的實驗器材與使用簡介，也一併於此章節提出。. 3.1 數學認知行為實驗 (一) 數學認知行為實驗設計本研究希望以分析腦電波的方法，探討大腦進行數學基本運算，加法、減法、乘法、除法時活動情形，除了單一項目的數學算術認知活動分析外，我們進一步使用較困難的雙位數乘以雙位數的數學題目進行腦電波的分析探討。在較困難的數學題目中，包含了加法運算和乘法運算的結合，我們將對單一項目算數認知活動進行相互間的比較和分析，另外也以包含加法和乘法的較困難題目實驗結果分別與單一項目算術心智活動的實驗結果逐一進行比對分析。探討四類不同基本數學算術認知行為的差異，為本實驗主要研究目的，所以我們在加法、減法、乘法、除法四類不同算術行為中，各提供了 20 題單一運算項目的數學題目，在每一題單一運算項目的題目中，只會使用到該類的運算技術，並不會包含其他項目的運算和任何進位步驟，因為我們希望針對單一運算項目的腦電波進行分析，且其結果在與其他單一運算項目腦電波進行比較時才具有客觀性。受測者在進行完四類單一運算總共 80 題的題目之後，我們將再給予受測者 10 題較困難的雙位數乘上雙位數的數學題目，此類題目中包含了加法及乘法間的交互運算，同時也需使用到十進位的運算技術，此類題目相較單一運算項目題目明顯來的困難，而進行此類較困難運算問題目的，則是爲了比較大腦的負荷程度差異，數學認知行為研究的五類數學題型，以表 3.1 所示。 22.

(33) 俵 3.1 數學認知實驗題型 Plus. Minus. Multiple. Divide. Hard. 3+8=. 9-2=. 3*6=. 8÷4=. 18*17=. 11+6=. 10-6=. 14*2=. 56÷7=. 11*16=. ...... ..... ...... ..... ..... (二)數學認知行為實驗流程本實驗共有 8 名受測者，皆為身心健康且無精神與腦部疾病史，教育程度皆為大學以上，慣用右手，年齡介於 20-29 歲之間的青年男、女性。在量測電極的使用上，因為每個電極量測到的腦電波各代表大腦不同區域間的腦電波訊息，又根據許多文獻[21][22][23]指出各大腦區域都可能對數學認知活動有所反應，所以本研究採用完整的國際 10-20 系統，共 36 個電極量測腦電波。實驗開始前，受測者會先被要求坐在隔絕外在干擾的房間內，我們同時仔細地對受測者講解整個實驗流程，並提醒受測在進行整個實驗流程時，全程使用心算運算，不得使用紙筆做計算。使受測者清楚了解我們的實驗流程步驟之後，我們使受測者進行實驗前訓練，受測者在進行訓練時，需模擬實驗完成一次完整的實驗流程，以降低正式實驗時犯錯的機會，讓受測者更順利地完成實驗。經過一次完整的實驗前訓練後，我們先讓受測者休息 3 分鐘並讓心情平靜，大腦保持清醒專著準備開始進行正式的實驗流程。實驗開始後，受測者首先依照要求閉眼休息 30 秒，在第 30 秒時，我們會給予受測者提示音，提示受測者開始做答，首先 20 題數學題型為加法運算，我們並不限制受測者的作答時間，在受測者進行完 20 題的數學加法題型後，要求受測者閉眼休息 30 秒，使大腦平靜下來，腦電波恢復成平穩的狀態，休息 23.

(34) 30 秒過後給予受測者提示音，開始進行 20 題數學減法題目，受測者會進行相同的流程直到完成數學除法題型，完成數學除法題型後休息 30 秒，最後進行 10 題的困難數學題目，完整的數學認知行為實驗流程依照圖 3.1 的實驗流程圖進行，同時進行腦電波的量測。. 圖 3.1 數學認知行為實驗流程圖. 3.2 想像幾何旋轉實驗在想像幾何旋轉實驗中，我們首先向每位受測者詳細地講解本實驗的流程，以求正確地量測到有意義的腦電波。想像幾何旋轉的實驗中，想像標的分別是順時針旋轉與逆時針旋轉，實驗開始後的前 0-3 秒，我們要求受測者先閉眼休息，到第 3 秒時我們給予受測者聽覺上的指示音，下令受測者開始想像順時針旋轉動作或逆時針旋轉動作，而順時針旋轉與逆時針旋轉的指示音則是隨機的給予，當受測者接受到提示音後，開始持續想像旋轉動作 2.5 秒，給予提示音後的前 0.5 秒想像腦電波不予使用，在想像 2.5 秒旋轉動作後有 3 秒的休息時間，休息 3 秒後我們再給予受測者另一個語音指令。此 2.5 秒的想像時間與 3 秒的休息時間為一個實驗循環，稱為一個 trial，想像幾何旋轉實驗流程如圖 3.2 所示。本實驗爲了使每位受測者在想像旋轉動作時有一致性的想像目標，我們提供受測者少女旋轉圖片幫助受測者進行想像，如圖 3.3 所示。而在實驗正式開始前，我們先讓 24.

(35) 受測者進行 100 個 trials 的想像訓練，藉以熟悉整個實驗流程，而少女旋轉圖只在訓練時提供給受測者想像標的的參考，正式實驗則不採用。進行完 100 個 trials 的想像訓練後，則開始進行正式的實驗流程。. 圖 3.2 想像幾何旋轉動作實驗流程圖. 想像幾何旋轉實驗的受測者總共有四位，都是身、心理健康，大腦無受過創傷的男性，年齡介於 23-27 歲間，慣用右手。我們對受測者詳細地解釋實驗流程後，幫受測者戴上量測腦電波的電極帽，而量測腦電波的電極則是使用國際 10-20 系統，電極數量為 36 個採用 36 個電極是因為在本研究前並沒有相關文獻指出，大腦想像幾何旋轉動作時的能量空間特徵位於何處，以致我們必須先進行大腦全區域的腦電波量測，再進一步以腦電波後處理找出腦電波特徵的所在區域。每位受測在量測前必須先在每個電極上打入導電膠，腦電膠的功用在於降低大腦頭皮上的阻抗，使電極可準確的量測到腦電波。實驗開始前我們會讓受測者先進行 100 個 trials 的實驗前訓練，接著開始進行正式的實驗流程，而因為實驗的時間冗長，容易造成受測者疲勞的現象產生，所以我們每 150 個 trials 過後，會讓受測者休息 10 分鐘，再繼續實驗，每位受測者總共會進行 300 的 trials，分別想像順時針旋轉 150 個 trials，逆時針旋轉 150 個 trials，每一個 trial 就是一筆腦電波資料，而往後的分析我們則只採用想像動作的腦電波資料，而辨 25.

(36) 識正確率則以每位受測者自己的 300 筆資料中，辨識正確的比率得到個人的辨識正確率，在將四位的辨識正確率平均後，得到我們最後的辨識正確率。. 圖 3.3 輔助想像旋轉動作圖. 在我們找出想像旋轉動作時的大腦特徵最為顯著的區域後，我們擷取這些電極的腦電波資料，並利用經驗模態分解法進行濾波的工作，濾波後的腦電波資料以線性鑑別分析法擷取其特徵，最後使用最近鄰居法則將腦電波資料分類，獲得最終的辨識結果，想像幾何旋轉研究流程圖如圖 3.4 所示。. 圖 3.4 想像幾何旋轉研究流程圖. 26.

(37) 3.3 實驗設備與環境在本研究中，測量腦電波所使用的器材與環境在本節逐一介紹，因為腦電波是大腦中很微弱的電位變化，所以量測儀器上必須更加地精確細微，操作儀器的過程也必須小心謹慎，以避免例如室電訊號等...的雜訊干擾，受測者在進行實驗時，也必須處於沒有外在干擾的環境下，才能準確地量測到有意義的腦電波資料。 (一) 實驗設備 (1) 電極帽： NeuroScan公司的產品，依照國際10-20腦電波系統的電極分布準則，放置有30個電極的彈性帽。將帽子上的Cz電極對準正確位置後，其他電極也會符合國際10-20腦電波系統規定的相對位置；若不使用電極帽，則電極需一個一個量測其標準位置並黏貼固定，相當耗時。 (2) 腦電波 A/D 放大器：同樣是NeuroScan公司生產的「NuAmps」40通道腦電波放大器，與電極帽相連接，將電極帽量測到的類比腦電波訊號，以1000 Hz的取樣頻率轉換成數位訊號，並將訊號放大一萬倍，再傳送到個人電腦作後續的數位訊號處理，其類比轉數位位元數可選擇16位元或32位元。 (3) USB資料傳輸線：連結電腦與腦電波放大器，傳輸腦電波資料至電腦。 (4) Keyport： NeuroScan公司專屬的Keyport，使用軟體紀錄或處理腦波時，必須把它插在USB插槽方可正常運作。 (5) 導電用耗材：為了降低頭皮與電極間的電阻值，我們需要以針筒在電極與頭皮之間注滿導電膠，以順利量到正確的腦電波訊號。. 27.

(38) (6) 去角質用耗材：除了電極帽上分布的電極以外，我們仍需要量測眼睛上方與耳後的量測參考的訊號，因為在這些部位皮膚的角質層較厚，因此在注入導電膠之前，要先去除角質層，我們使用棉棒與去角質凝膠來達成這個目的。. 圖3.5 實驗設備. (二) 實驗環境腦電波是一種非常微弱(基本單位為10-6伏特)的電訊號，因此在實驗室環境中的各種電訊號，相對腦電波而言，是非常巨大的雜訊，為了減低外界雜訊對腦電波量測的干擾，我們在實驗室中搭建了一個隔絕空間，如圖 3.4所示。. 圖 3.6 實驗環境 28.

(39) 第四章實驗方法. 4.1 數學認知研究腦電波訊號前處理我們在本研究中，腦電波擷取所設定的取樣頻率是1000Hz，也就是每秒擷取1000個腦電波資料點。經過實驗得到的腦電波訊號資料中含有許多的雜訊，其中以眼動訊號為影響最為顯著的雜訊，所以首先我們必需先將眼動雜訊去除才可以進行往後的分波析作業。以往眼動訊號只採用一個 VEOU電極進行量測，之後再將原始腦電波被眼動雜訊干擾的部分濾除，此種採用單電極量測眼動訊號的方法雖然簡便，但因為眼動電極所量測到的眼動訊號中，實際上也含有腦電波訊號，以致將原始腦電波濾除眼動雜訊時，也將一部分不屬於眼動雜訊的腦電波訊號濾除掉了，可能造成腦電波訊號的不完整性。本研究為了避免腦電波訊號的不完整性，將傳統量測眼動訊號的電極增加為四個電極VEOU、VEOL、HEOR、HROL，VEOU電極置於左眼眉毛上方，VEOU電極的位置垂直下方經過眼球的左眼下眼瞼位置，則是 VEOL電極的擺置位置，而HEOL電極則擺置於左眼與太陽穴中間，HEOR 電極則是擺放在右眼和右邊太陽穴中間，四個電極擺置位置如圖4.1所示。. 圖4.1 眼動訊號電極擺置示意圖. 29.

(40) 眼動訊號的產生是由於眨眼與眼球移動所造成的，眨眼只有垂直方向的運動，而眼球除了垂直方向外還會有水平方向的運動，所以我們另外增加一組水平方向的電極HEOR、HROL，另外垂直方向也增加了VEOL電極。因為每一個眼動電極所量測到的眼動訊號都包含了腦電波，首先我們先將垂直方向的眼動電極組VEOU、VEOL的眼動訊號相減，眼動訊號相減後已將腦電波訊號扣除，剩餘的眼動訊後我們視為真正垂直方向的眼動雜訊，定義為VEOG眼動雜訊。水平方向的電極組HEOR、HROL也使用相減的方法，得到HEOG眼動雜訊，我們將之視為真正的水平眼動雜訊。我們量測處理眼動雜訊的方法稱為線性誘導(Linear derivation)，此方法就是將水平和垂直的眼動訊號進行兩兩相減，去除所含的腦電波訊號後只剩下VEOG和HEOG訊號，分別代表垂直和水平的眼動雜訊，如圖4.2。. 圖4.2 線性誘導示意圖. Linear derivation處理過程是腦電波資料前處理中，極為重要的步驟， 30.

(41) 如前段所提到的，腦電波是相當微弱的訊號，所以如果我們沒將眼動訊號濾除乾淨，這樣我們之後所分析的腦電波資料將包含極高成分的眼動雜訊，有鑑於此，本研究將以往研究用來量測眼動雜訊的電極，由一個增加到四個電極，並以線性誘導處理，以利我們之後的腦電波分析的準確性。經由線性誘導(Linear derivation)後我們得到垂直與水平的眼動雜訊，腦電波訊號是很微小的，所以眼動對腦電波所產生的雜訊相對是很大的，因此在進行所有腦電波訊號分析，一定要先做去眼動雜訊的工作。我們使用 NeuroScan 4.3中Transforms中的Ocular artifact reduction指令，接著在出現如圖3.10的指令框中的Trigger選項勾選Negative，此指令是依照眼動訊號發生時的峰值為正或為負來決定，而在此指令框的右邊有一名為Blink Value的欄位，需選取channel中的VEOG的電極選項，因為VEOG是實驗中經過線性誘導後的眼動雜訊，選取後才可以讓軟體依此點的訊號來做眼動訊號的消除，如圖4.3所示。在圖4.3指令框中的Output選項中，選取LDR+CNT選項，在Review欄位中則都不勾選，如此即設定好去眼動雜訊的流程。. 圖 4.3 去眼動指令框. 我們以其中一位受測者的腦電波訊號圖來看，上圖為尚未去除眼動雜訊的腦電波圖，在圖上最上方為眼動訊號，可以發現每當產生眼動訊號. 31.

(42) 時，會影響到其他正常腦電波的量測，但在經過去眼動訊號處理後，可以發現本來受干擾的腦電波訊後都變得更加平順清楚，如圖 4.4 所示。. 圖 4.4 去眼動前、後腦電波圖. 因為一整段的腦電波資料包含了加法、減法、乘法、除法運算和閉眼休息時的腦電波資料，所以我們需先將各個種類的腦電波挑選出來，我們使用 NeuroScan 4.3 軟體中的 Reject block 的功能，此功能可以將不需要的腦電波資料段刪除，被使用此功能配選取的腦電波段會明顯的出現不同顏 32.

(43) 色的背景，代表已成功濾除。經過以上步驟後，我們進行腦電波的分段工作，使用的則是 NeuroScan 4.3 軟體中 Epoch file 的功能，在 Epoching properties 指令框中，我們在 Mode 選項中選取 no trigger，並且在腦電波時間段落中設定為 1024 個資料點，因為當初本研究設定的腦電波取樣頻率為 1000Hz，所以分段後的每段腦電波時間段落約為 1 秒鐘，而經分段後的 1 秒鐘腦電波才是適合我們分析的腦電波長度且又同時包含足夠的資訊，如圖 4.5 所示。. 圖 4.5 各電極分段後腦電波圖. 圖 4.6 單一電極分段後腦電波圖. 我們經由量測所得到的腦電波資料中，除了眼動雜訊外，還包含著許多我們不需要的生理雜訊和室電訊號，這些生理雜訊與室電訊號我們使用 33.

(44) Artifact reduction 的功能來濾除，在 Operation 選項中選取 Reject on criteria，而在 Criteria 選項中選取 Time domain，並將區將設定成符合腦電波範圍的-85 至 85 之間，如圖 4.7 所示，最後選取需要濾除生理訊號的電極，在這裡我們選取所有的電極，除了量測眼動訊號的電極 VEOG 和 HEOG 除外。. 圖 4.7 Artifact reduction 指令框. 將分段後的腦電波濾除生理雜訊後，我們必須將每個電極的每段腦電波進行平均的工作，因為我們分析著重於腦電波頻譜上的特徵，在 Averaging 指示框中我們就選取 Frequency domain，並且選擇我們所要平均的 Scaling 為 Amplitude，因為腦電波資料的振幅代表的電壓的大小值才是我們分析的重點，最後在 Window 選項中必須選取 Hanning 視窗來進行平均腦電波的動作，如圖 4.8 所示。經過平均後的每個電極的腦電波圖如圖 4.9 所示，單一電極平均後的腦電波放大圖，如圖 4.10 所示。. 34.

(45) 圖 4.8 Averaging 指示框. 圖 4.9 各電極平均後腦電波圖. 圖 4.10 單一電極平均後腦電波圖. 35.

(46) 經過以上腦電波的資料前處理工作後，我們大致上可以開始進行腦電波的分析作業，本研究部分的目的為探討進行數學四則運算時，大腦的活動特徵，為了明顯且有效率地達成此目的，我們必須先加以分析腦電波每個主要頻帶，我們將在大腦認知活動中經常被各研究團隊所探討的 Delta、 Theta、Alpha、Beta 頻段，分別作平均處理得到每個電極的腦電波位於各個頻段的能量大小，並輸出成文件檔以利於我們進行之後的腦電波資料分析，如圖 4.11 所示。. 圖 4.11 輸出各頻帶腦電波指令框. 36.

(47) 4.2 數學認知研究腦電波訊號後處理腦電波經過前節所闡述的訊號前處理過程後，將進行腦電波訊號後處理的步驟，在腦電波訊後處理的過程中，我們會針對數學認知研究與想像幾何旋轉動作研究分別提供不同的訊號後處理方法與模式，在數學認知研究中，我們將探討大腦進行五類不同的數學認知行為時，大腦中空間能量特徵的分佈情形，各區域能量發生的強弱與區域間的運做連結情形，都是本研究的分析重點，我們將使用快速傅立業轉換，得到大腦的空間能量特徵分布情形，另外依據文獻所進行的腦電波亂度(Entropy)分析，本研究也以計算腦電波的多尺度熵(Multiple-Scaling Entropy)進行數學認知行為腦電波的亂度分析。快速傅立葉轉換最早於1965年由Cooley和Tukey所提出[24]，但其實數學家Gauss早於1805年[25]就提出相似理論，快速傅立葉轉換是為改善離散傅立葉轉換所提出的快速頻譜分析方法，在介紹之前，先從傅立葉級數開始說明。傅立葉級數的基本觀念，就是任何一個週期函數，都可表示成不同頻率的弦波函數的線性組合，即一個週期訊號x(t)，可以表示為傅立葉級數，如(4.1)式所示。. a0 ∞ ⎛ 2πn 2πn ⎞ x(t ) = + ∑ ⎜ an cos t + bn sin t⎟ , 0 ≤ t ≤ T 2 n=1 ⎝ T T ⎠ 其中 T. 2 a0 = ∫ 2T f (t )dt T −2. an =. 2 2 2πn f ( t ) cos tdt , n = 1,2,3... T T ∫− 2 T T. 2 2πn bn = ∫ 2T f (t ) sin tdt , n = 1,2,3... T −2 T T. ，T為取樣週期。 37. (4.1).

(48) 以複數型式表示傅立葉級數，將更為簡潔。整理(3.1)可得複數型式的表示式為：. x(t ) =. ∞. ∑c. n = −∞. n. ⎛ j 2πn ⎞ exp⎜ t⎟ , 0 ≤ t ≤ T ⎝ T ⎠. (4.2). 其中. 1 2 ⎛ − j 2πn ⎞ f ( t ) exp t ⎟dt , n = 1,2,3... ⎜ T T ∫− 2 ⎝ T ⎠ T. cn =. 由(4.2)式可知，傅立葉級數所使用的條件是對週期為T的信號進行分析。若取樣週期不是信號週期的整數倍，或信號本身即是非週期性時，將會造成分析的誤差[26]。傅立葉級數僅適合對連續的週期性訊號做頻譜的分析，而我們所要處理的腦電波訊號，則是非週期性的訊號，因此，當我們將一段有限長度的類比腦電波訊號，轉換成數位訊號以輸入到個人電腦中做後續訊號處理的時候，則必須使用離散傅立葉轉換，才得以準確分析其頻譜。假設一段長度為N個取樣點的數位訊號，則離散傅立葉轉換可表示為：. ⎛ j 2πmn ⎞ x(n) = ∑ X (m) exp⎜ ⎟ , n = 0,1,2,..., N − 1 ⎝ N ⎠ m =0 N −1. (4.3). 其中. 1 X ( m) = N. N −1. ⎛ − j 2πmn ⎞ ⎟ , m = 0,1,2,..., N − 1 N ⎠. ∑ x(n) exp⎜⎝ n =0. 在實際分析腦電波訊號時，取樣點數N往往非常大，因而造成很大的計算量，使得計算速度緩慢，在用於即時系統的時候，這個問題就顯得特別嚴重。因此，在實際應用的時候，通常會採用Cooley與Tukey所提出的快速傅立葉轉換[20]，來取代原始的離散傅立葉轉換，以降低計算量，增加系統的速度。我們先將(4.3)式的離散傅立葉轉換，重新表示如(4.4)式的形式：. 38.

(49) 1 X ( m) = N. N −1. ∑ x(n)W. mn. , m = 0,1,2,..., N − 1. n =0. (4.4). ⎛ − j 2π ⎞ ⎟ ，N必須為2的次方。若N=8，則X(0)~X(7)可表示為：式中 W = exp⎜ ⎝ N ⎠ ⎡W 0 ⎡ X (0)⎤ ⎢ 0 ⎢ X (1) ⎥ ⎢W ⎢ ⎥ ⎢ 0 ⎢ X (2)⎥ ⎢W ⎢ ⎥ ⎢ 0 ⎢ X (3) ⎥ = 1 ⎢W ⎢ X (4)⎥ N ⎢W 0 ⎢ ⎥ ⎢ ⎢ X (5) ⎥ ⎢W 0 ⎢ X (6)⎥ ⎢ 0 ⎢ ⎥ ⎢W ⎣⎢ X (7)⎦⎥ ⎢ 0 ⎣W. W0 W0 W0 W0 W0 W0 W0⎤ ⎥ ⎡ x(0)⎤ 1 2 3 4 5 6 7 W W W W W W W ⎥ ⎢ x(1) ⎥ ⎥ ⎥⎢ W 2 W 4 W 6 W 0 W 2 W 4 W 6 ⎥ ⎢ x(2)⎥ ⎢ ⎥ W 3 W 6 W 1 W 4 W 7 W 2 W 5 ⎥ ⎢ x(3) ⎥ ⎥ W 4 W 0 W 4 W 0 W 4 W 0 W 4 ⎥ ⎢ x(4)⎥ ⎥ ⎥⎢ W 5 W 2 W 7 W 4 W 1 W 6 W 3 ⎥ ⎢ x(5) ⎥ ⎥ ⎢ x(6)⎥ W 6 W 4 W 2 W 0 W 6 W 4 W 2 ⎥⎢ ⎥ ( 7 ) x ⎢ ⎣ ⎦⎥ ⎥ W 7 W 6 W 5 W 4 W 3 W 2 W1 ⎦. (4.5). 如(4.5)式，原始的離散傅立葉轉換的計算過程，需要作 N 2 次的複數乘法，與 N(N-1)次的複數加法。快速傅立葉轉換是把原來離散傅立葉轉換中 N 維的方陣，將其因子分解(Factorization)成 r (r = log 2 N)個均為 N 維方陣的矩陣因子，在分解時，將零引入矩陣內，使得每一個矩陣因子的每一列中，只有兩個非零的數。所以快速傅立葉轉換的計算，只需要(N × r)/ 2 次複數乘法，和(N × r)次的複數加法運算，節省了很多計算所需的時間。若以信號流程圖表示，則可得如圖 4.12 所示的流程圖[27]：. 圖 4.12 快速傅立葉轉換信號流程示意圖 39.

(50) 多尺度熵(MSE)，是一種分析時間序列內含訊息之複雜度的數學方法，藉由計算系統在不同的時間-空間尺度下的熵值，提供檢驗訊號複雜度的一個量化標準。在傳統計算亂度的概念上，是以找出訊號的亂度特徵與量測訊號不穩定性為目標，然而，傳統計算亂度熵的定義只適用於無限長的資料，此類傳統計算亂度方法稱為 sample entropy[28]。而在現實環境中並沒有這種無限長訊號的存在，2002 年，Coast 團隊將傳統 sample entropy 加入多尺度的概念，以計算多尺度熵(MSE)來辨別心臟健康與心臟患有疾病患者間的差異性，而亂度愈高，則訊號的自我相似度(self-match)則愈高。近年來多尺度熵(MSE)除了應用在生理訊號分析外，也被使用於影像處理的研究上。多尺度熵(MSE)是以傳統的 sample entropy 作為基礎的應用，我們首先介紹 sample entropy 的理論，令一長度 N 的有限時間序列如式(4.6)所示:. {X i } = {x1 , x 2 ,....,. xN }. (4.6). 式(4.6)可產生數量為 N-m+1 個，維度 m 的子序列，如式(4.7)所示:. {. }. y ( m ) (i ) = x1 , x 2 ,...., x i + m −1 ，1 ≤ i ≤ N - m + 1. (4.7). 而其中任兩個子序列 y ( m ) (i) 與 y ( m ) ( j) 如果相互間的距離，如式(4.8)所示，小於容忍值 δ(tolerance level)則為相似。. d (i, j ) = max{x(i + k ) − x( j + k ) : 0 ≤ k ≤ m − 1}. (4.8). ni(m ) 表示在容忍值 δ(tolerance level)下，子數列 y ( m ) (i) 與 y ( m ) ( j) 相似的元素 ( m +1). 個數，同樣的， ni. 則表示子數列 y ( m+1) (i) 與 y ( m+1) ( j ) 相似元數的個數，則. sample entropy 計算式如(4.9)所示:. H. (m) N. ni( m ) (δ ) = ln( ( m +1) ) ni. (4.9). 多尺度熵(MSE)則是將上述 sample entropy 的理論引入多尺度的概念，令尺 40.

(51) 度為 τ ，則在尺度下的時間序列如式(4.10)所示:. v j (τ ) =. jτ. 1. τ. ∑τx ,1 ≤ j ≤ N τ. (4.10). i i =( j −1) +1. 將每個尺度內的時間序列計算出所對應的熵值，即為多尺度熵(MSE)的訊號分析，訊號的複雜度以多尺度的熵值展現之。多尺度熵(MSE)依據尺度的不同，將尺度內的原始時間序列平均後成為新的 v j (τ ) 序列的元素，計算的方法如圖 4.13 所示。. Scale 2. X1. X2. X3. V1. Scale 3. X1. X2. V1. X4. X5. V2. X3. X4. X6. Xi. V3. X5. X6. Xi+1. Vj=. Xi. V2. Xi +Xi+1 2. Xi+1. Vj=. Xi+2. Xi +Xi+1+Xi+2 3. 圖 4.13 多尺度熵計算示意圖. 在數學認知行為研究中，我們所要探討的是不同數學認知行為的空間能量特徵分布情形，也同時以多尺度熵的方法計算腦電波亂度，研讀文獻令我們更加了解目前數學認知研究的發展，也作為我們實驗設計的參考，而在腦電波的訊號前處理作業同時決定了是否擷取到有意義的腦電波，並進行分析研究，數學認知行為研究的整體實驗流程圖如圖 4.14 所示。. 41.

(52) 文獻探討. 實驗設計. 擷取不同數學認知活動腦電波. 腦電波資料前處理. FFT. MSE. 實驗結果與討論. 圖 4.14 數學認知研究整體實驗流程圖. 42.

(53) 4.3 想像幾何旋轉研究腦電波前處理一般我們所量測到的生物訊號中，經常包含了許多不必要的雜訊，雜訊對於原始波型特徵的辨認及原始訊號內部所蘊含資訊的擷取，會造成直接的影響，因此在如何保留原始訊號所含有的資訊前提下，有效地濾除雜訊，是訊號分析上一個很重要議題。傳統進行腦電波分析時，因為直接量測到的腦電波訊號中包含了許多不必要的雜訊，如高頻的室電訊號、肌電訊號、眼動訊號等，都是在分析腦電波訊號前必須濾除的雜訊，一般較為被使用的方法為數位濾波器。數位濾波器一般分為有限脈衝響應(Finite Impulse Response, FIR)，和無限脈衝響應(Infinite Impulse Response, IIR)濾波器兩大類型。而數位濾波器常見由 Z 轉換(Z-Transform)求得系統之轉移函數(transfer function)，再利用 Z 反轉換(Inverse Z-Transform )求得系統之差分方程式(Difference Equation)。Z 轉換在數位濾波器中可視為分析與設計的一項工具[29]。在傳統使用數位濾波器的方法上，雖然展現了良好的濾波效果，卻存在著訊號原始波形的失真與相位延遲的可能性，這使得攫取訊號中資訊的過程有著不確定性。有鑑於傳統數位濾波器可能對訊號造成失真與相位延遲的缺點，我們在想像幾何旋轉動作的研究中，腦電波前處理波改採用經驗模態分解法進行濾波去雜訊的工作。黃鍔(Norden E. Huang)博士團隊在 1998 年提出了以經驗模態分解法為基礎的希爾伯-黃轉換法(Hilbert-Huang Transform)[30][31]，此方法是將原始訊號拆解成有限個由高頻到低頻的震盪波形函數，每個震盪波形函數皆稱為本質模態函數(Intrinsic Mode Function)，除了本質模態函數外，最後會有一均值趨勢分量函數，接著透過希爾伯-黃轉換法得到訊號的瞬時頻率與瞬時振幅，進而獲得訊號完整的時間、能量與頻率的分佈資訊。經驗模態分解過程是透過局部特徵時間尺度(Local Characteristic Time Scale)[32]來得到本質模態函數，也因為瞬時時 43.

(54) 間尺度的特性，經驗模態分解對於非線性與非穩定的訊號有著較佳的解析度。本研究中的腦電波訊號特性為非線性且非穩定的生理訊號，我們將此訊號分析方法應用於腦電波訊號的分析，經驗模態分解法如圖 4.15 所示。. 圖 4.15 經驗模態分解法示意圖. 利用經驗模態分解法將原始訊號分解成數個本質模態函數，這些本質模態函數可是為原始訊號的基底函數，此訊號拆解的過程具備了適應性、完整性，且數個本質模態函數彼此正交。經由拆解出的本質模態函數的定義必須滿足以下兩項條件[30][31]: (1) 整筆原始訊號中，局部極大值與局部極小值的數目之和與跨零點的數 44.

(55) 目需相等或至多相差一個。 (2) 任一時間點上，由局部極大值和局部極小值所定義出的上包絡線和下包絡線平均值為零。然而大部分的時間訊號並無法滿足本質模態函數的基本定義，要找出滿足基本模態函式定義的本質函數，有一篩選流程，程序如下： (1) 分別找出局部極大值與局部極小值，再利用立方雲線(Cubic Spline)連接所有局部極大值成上包絡線，連接所有局部極小值成下包絡線。 (2) 計算包絡線的均值 m(t)。 (3) 將原始訊號減去包絡線均值，得到一分量 h(t)。. h (t ) = x (t ) − m (t ) (4) 持續上述流程，直到滿足本質模態函數定義，並將第一個滿足的分量定義為第一個本質模態函數，再將原始訊號減去第一個本質模態函數得到第一個殘餘量：. r1 (t ) = x(t ) − h1 (t ) 接著將 r1 (t ) 當作起始訊號，重複上述程序篩選出第二個本質模態函數。 (5) 重複上述流程，直到殘餘函數無法在分解出下一個本質模態函數時，整個模態經驗分解法將停止。. 經由上述的篩選流程，我們可將原始訊號表示成 n 個本質模態函數與數個趨勢函數的組合： n. x(t ) = ∑ hk (t ) + rn (t ) k =1. 本質模態分解法的過程就是一種濾波的作用，如圖 4.16 所示，經由分解出的數個本質模態函數和一個趨勢函數中，我們將不是腦電波訊號的本質模態函數剔除，再將真正屬於腦電波的本質模態函數經由訊號重建，得 45.

(56) 到真正含有資訊的腦電波訊號。. Original EEG x(t). Find local maximum and minimum. No. Get upper envelope and lower envelope. Find mean of two envelope m(t). Shifting Process. h(t)=x(t)-m(t). No Trend. r(t)=x(t)-h(t). Yes n. x(t) = ∑ hk (t) + rn(t) k =1. 圖 4.16 EMD 流程示意圖. 46. Yes. IMF.

(57) 4.4 想像幾何旋轉研究腦電波後處理經由資料前處理過後的腦電波資料，我們將其原本每秒取樣1000個資料點向下取樣至每秒250個資料點，再使用線性鑑別分析法將資料變得具有鑑別性，線性鑑別分析法主要的目的是要找到一個轉換向量，經由此轉換向量的運算後，就像是讓一群已分類完成的資料點投影到低維度空間，因此我們希望能將同一類的資料盡量集中，不同類型的資料能盡量散開，所以計算出最佳轉換向量就是線性鑑別分析法的要點[33][34]。. 圖4.17 線性鑑別分析法示意圖. 線性鑑別分析法的運算流程如下：假設有一個大小為m×n的資料集X，其中有m筆資料，每筆維度是n，此資料表示如(4.11)式，. ⎡ a11 a12 ... a1n ⎤ ⎥ ⎢a a a ... n 21 22 2 ⎥ X =⎢ ⎢ M M O M ⎥ ⎥ ⎢ ⎣am1 am 2 ... amn ⎦ m×n. (4.11). 其中 a11 ， a21 … am1 可組成行向量 A(1)， a12 ， a22 … am 2 可組成行向量 A(2)，依序類推， a1n ， a2 n … amn 組成行向量 A(n)，資料集由行向量 47.

(58) A(i)組成， i=1,2,…,n。 z 表示資料集 X 的 n 個行向量之平均值，其表示法如式(4.12)所示，. 1 z= n. n. ∑ A(i). (4.12). i =1. 其中 n 為資料集 X 中行向量的數目，A(i)為行向量的值，i=1,2,…,n。 zj 表示資料集 X 內第 j 類資料行向量的平均值，j=1,2…,k，k 為資料集 X 所分成類別的數目，如果資料集內共有兩類資料，則 k=2，zj 的表示法如式(4.13) 所示，. 1 zj = nj. nj. ∑ A (i). (4.13). j. i =1. 其中 nj 為資料集 X 中第 j 類資料行向量的數目，Aj(i)為在第 j 類資料中行向量的值，i=1,2,…,nj。每個類別內有 mj 筆資料，j=1,…,k，k 為分類的數目，類別內散佈矩陣 (Sw)定義如式(4.14)所示，類別間散佈矩陣(Sb)定義如式(4.15)所式:. Sb =. k. ∑m. j. ( z j − z ) ⋅ ( z j − z )T. j =1. S w = XX. T. −. (4.14). k. ∑m j =1. jz jz j. T. (4.15). 為了求得最佳的轉換矩陣，因此制定了一個條件式如式(4.16)所示:. D T Sb D J (D) = T D SwD. (4.16). 當 J 值最大化的情況下所對應的轉換向量 D1，即為最佳的轉換向量。也就是說，能夠使類別間散佈矩陣最大，並且使類別內散佈矩陣最小，其在物理意義方面，表示同一類別內的資料能夠盡可能集中，而不同類別之. 48.