基於腦波訊號發展注意力辨識系統
59
0
0
全文
(2) 基於腦波訊號發展專注力辨識系統 學生：游智名. 指導教授：陳志銘博士 洪欽銘博士. 國立臺灣師範大學工業教育學系. 摘. 要. 本研究利用 CPT 持續注意力測驗檢測受試者的注意力高低，以獲得對應之高 低注意力腦波訊號，作為訓練與測試樣本，在腦波訊號處理上則採用小波轉換， 據此從將不同腦波頻帶中抽取出影響注意力高低的特徵值，並利用基因演算法進 行特徵選取，以有效找出影響注意力高低的主要腦波訊號特徵，再以支持向量機 建立高低注意力辨識模型，據此發展出基於腦波訊號之注意力辨識系統，結果顯 示本研究所發展系統的整體辨識率高達 90.39%，可以有效辨識注意力高低。 本研究亦將基於腦波訊號之注意力辨識系統與具標記功能之影片撥放器進 行整合，使得整合之系統可以偵測出學習者在觀看影片時注意力較為低落的影片 片段，並據此進行低注意力影片片段的補救學習，以提升學習成效。經由多重實 驗的驗證，顯示本研究發展之系統在辨識學習者的低注意力時間點上的準確率、 召回率以及 F 測量值，均達一定程度的水準，並且系統偵測出的受試者低注意力 時間點個數與學習成效呈現顯著的負相關性；低注意力時間點個數與基於低注意 力時間點影片段之補救學習後的進步成績，亦呈現顯著的負相關。顯示本研究所 發展之系統確實可以有效辨識出學習者在學習過程中的高低注意力。. 關鍵字：腦波訊號、CPT、小波轉換、支持向量機、基因演算法 i.
(3) Developing an Attention Recognition System based on Brainwave Signals Student：Chih-Ming Yu. Advisors：Dr. Chih-Ming Chen Dr. Chin-Ming Hong ABSTRACT. A Continuous Performance Test was conducted in this research to assess subjects’ attention levels. The corresponding brainwave signals collected were then used as the training and testing samples. Wavelet Transform was employed for signal processing. Features affecting the attention levels were extracted from various bands of brainwaves to perform a Genetic Algorithm for feature selection. An attention measuring model was generated with the Support Vector Machine after key features were captured and finally produced the Attention Recognition System. The System has yielded a total recognition rate of 90.39% that could effectively recognize subjects’ attention levels. A time-stamped supported video player was further integrated for learning result improvement during low-attending periods via remedial instructions. The results showed. high. precise. rate,. recall. rate. and. F. measurement. value.. Negative correlations of learning results and numbers of low-attending period as well as numbers of low-attending period and the range of improvement after remedial instruction were found. In sum, the Attention Recognition System can efficiently and effectively recognize individuals’ high and low attention level during the learning process. Keywords：EEG, CPT, Wavelet Transform, Support Vector Machines, Genetic Algorithm ii.
(4) 誌. 謝. 兩年的時光飛逝，隨著論文的完成，我的碩士生涯即將畫下句點，回想起剛 進實驗室時，對於做研究是一知半解，至此，面對未知的問題，皆能積極面對予 以克服。 由衷感謝我的指導教授 洪欽銘博士兩年來的照顧與提攜，不論是研究、生 活與人際關係上，皆能給我寶貴的意見與想法，且老師那圓融的智慧亦給了我一 個最佳的典範，著實讓我成長。由衷的感謝我的共同指導教授 陳志銘博士對於 我的碩士論文給予指導與建議，使我的碩士論文能夠順利的完成。感謝口試委員 銘傳大學 王豐緒博士以及龍華科技大學 王榮英博士，提供多項寶貴的建議與意 見，使論文中的各項缺失得以修正，讓本論文更加完整，在此致上最深的謝意。 由衷感謝在工研院服務的瑄易學長的指導與照顧，為我的碩班生涯建立了研 究基礎。由衷感謝實驗室同學詩靜與家平學長的指導與照顧，讓本論文得以順利 完成。感謝實驗室學長士恆的照顧與幫忙，實驗室學長勝輝與建成的幫忙，學弟 妹逸翔、林宓、婷芸、苹源以及助理穎盈的陪伴，還有工教系碩士班電機電子組 的同學們的照顧，讓我的碩班生活過得充實也很快樂，在此致上由衷的感謝。 由衷感謝我的良師 黃文楠博士一路以來之支持與照顧，讓我在徬徨無助的 時候，有如一盞明燈，點亮我所前進的道路，讓我不迷失方向，在此將這份榮耀 獻給您，並致上最深的感謝之意。 特別感謝我的女友孟頷這兩年多來的包容忍讓與支持鼓勵，以及論文上的協 助與幫忙，陪伴我度過這個人生的重要階段，讓我的碩班生活更添色彩，極為感 恩。由衷的感謝我的家人，特別是我的父母親，給了我一個幸福的家庭與良好的 生活品質，以及健全的品德教育，讓我在求學期間可以無後顧之憂，在此，將這 份榮耀獻給他們，並希望你們身體健康。 最後，感謝所有幫助過我的師長與親愛的朋友們，由於你們不吝的付出，讓 我的碩班生涯得以圓滿順遂，在此致上最深的感謝之意。 游 智 名 謹誌 於臺灣師範大學 智慧型控制實驗室 2013 年 8 月 iii.
(5) 目 摘. 錄. 要.......................................................................................................................... i. ABSTRACT ................................................................................................................... ii 誌. 謝........................................................................................................................ iii. 目. 錄........................................................................................................................ iv. 圖 目 錄........................................................................................................................ vi 表 目 錄....................................................................................................................... vii 第一章 緒論 ................................................................................................................... 1 1.1 研究背景與動機 ............................................................................................... 1 1.2 研究目的與方法 ............................................................................................... 2 1.3 論文架構 ........................................................................................................... 3 第二章 文獻探討 ........................................................................................................... 6 2.1 注意力 ............................................................................................................... 6 2.1.1 注意力及其對於學習的影響 ................................................................. 6 2.1.2 基於腦波訊號之注意力偵測 ................................................................. 7 2.2 小波轉換 ......................................................................................................... 10 2.3 特徵萃取 ......................................................................................................... 14 2.3.1 近似熵(Approximate Entropy) .............................................................. 14 2.3.2 總變異(Total Variation) ......................................................................... 16 2.4 基因演算法 ..................................................................................................... 17 2.4.1 定義染色體與編碼 ................................................................................ 18 2.4.2 適應函數 ................................................................................................ 18 2.4.3 選擇......................................................................................................... 18 2.4.4 交配......................................................................................................... 19 2.4.5 突變......................................................................................................... 19 2.5 支持向量機 .............................................................................................. 19 iv.
(6) 第三章 研究設計與方法 ............................................................................................ 23 3.1 研究架構 ......................................................................................................... 23 3.2 研究工具 ......................................................................................................... 26 3.2.1 腦波訊號量測儀器 ................................................................................ 26 3.2.2 軟硬體開發工具 .................................................................................... 27 3.3 CPT 持續注意力測驗實驗設計...................................................................... 27 3.4 腦波訊號資料處理 ......................................................................................... 28 3.5 多重實驗設計 ................................................................................................. 30 3.5.1 整合腦波之注意力辨識系統與影片撥放器之標記系統 ................... 30 3.5.2 多重分析實驗設計 ............................................................................... 33 第四章 實驗結果與分析 ............................................................................................. 35 4.1 基於腦波訊號之注意力辨識系統辨識結果 .................................................. 35 4.2 多重實驗分析結果 .......................................................................................... 37 4.2.1 效能評估指標 ....................................................................................... 37 4.2.2 自行標記低注意力時間與系統辨識低注意力時間之效能評估 ....... 37 4.2.3 加入干擾因素引發之低注意力時間與系統辨識出低注意力時間 之效能評估........................................................................................... 38 4.2.4 受試者自我評量系統所辨識出的低注意力時間之效能評估 ............ 39 4.2.5 系統偵測所得受試者低注意力總時間與學習成效之相關分析 ........ 39 第五章 結論與未來展望 ............................................................................................. 42 5.1 結論 .................................................................................................................. 42 5.2 未來展望 .......................................................................................................... 43 參考文獻....................................................................................................................... 45. v.
(7) 圖. 目. 錄. 圖 1-1 研究流程圖 ........................................................................................................ 5 圖 2-1 腦波基本波段 .................................................................................................. 10 圖 2-2 傅立葉轉換、短時傅立葉轉換與小波轉換之差異比較 .............................. 11 圖 2-3 四階小波轉換分解腦波訊號之架構圖 .......................................................... 13 圖 2-4 使用 Daubechies 濾波器所分解出來之結果 ................................................ 14 圖 2-5 基因演算法之基本演算流程 .......................................................................... 17 圖 2-6 支持向量機之二元分類圖 .............................................................................. 20 圖 3-1 系統開發流程圖 .............................................................................................. 25 圖 3-2 NeuroSky MindWave Mobile 腦波意念耳機 .................................................. 26 圖 3-3 CPT 持續注意力測驗影片畫面 ....................................................................... 28 圖 3-4 利用 CPT 持續注意力測驗擷取高低注意力原始腦波訊號流程................. 28 圖 3-5 將原始腦波訊號進行 4 階小波轉換分解流程 .............................................. 29 圖 3-6 以基因演算法優化支持向量機高低注意力辨識率之架構 .......................... 30 圖 3-7 整合腦波之注意力辨識系統與影片撥放器之標記系統介面 ...................... 31 圖 3-8 整合腦波之注意力辨識系統與影片撥放器之標記系統 -顯示自我標記時間 ........................................................................................ 32 圖 3-9 整合腦波之注意力辨識系統與影片撥放器之標記系統 -顯示系統辨識之低注意力時間 .................................................................... 32 圖 3-10 整合腦波之注意力辨識系統與影片撥放器之標記系統 -顯示學習者標記之低注意力時間與系統辨識之低注意力對應圖示 ........ 33. vi.
(8) 表. 目. 錄. 表 4-1 基因演算法進行小波轉換所得特徵選取後支持向量機 之注意力辨識結果 ......................................................................................... 36 表 4-2 基因演算法進行小波轉換所得特徵選取後倒傳遞類神經網路 之注意力辨識結果 ......................................................................................... 36 表 4-3 受試者自行標記低注意力時間之效能評估結果 ........................................... 38 表 4-4 受試者在加入干擾因素影片引發低注意力之效能評估結果 ....................... 38 表 4-5 受試者填寫系統所識別出的低注意力時間量表之自我評量結果 ............... 39 表 4-6 受試者低注意力時間個數與前測分數、後測分數與進步分數 敘述統計結果 ................................................................................................. 40 表 4-7 受試者低注意力時間個數與學習成效之相關分析結果 ............................... 40 表 4-8 後測分數、進步分數與低注意力時間個數之迴歸分析結果 ....................... 41. vii.
(9) 第一章. 緒論. 1.1 研究背景與動機 注意力一直是教育與學習科技領域中非常重視的議題，特別是認知心理 學領域尤為重視，過去的研究指出大多數的學習者通常都會有注意力不集中 的問題[36]。然而注意力能否集中是造成學習過程是否有效的主要因素，亦 是學習成效良好與否的關鍵[37]。換句話說，在學習過程中若注意力不集中， 就不能有效的辨識、學習與記憶[38]。尤其是教師在講台上授課的傳統課堂 學習裡，學習者常會受到周遭環境或是個人因素的影響，使得注意力無法集 中，導致學習效果不好[39]。人類的學習是以感覺器官接收外在訊息的方式 進行，而許多外在的訊息經常是瞬間的出現後即消失，經由短期記憶(short term memory)的幫助，使得這些訊息仍能保留一段短暫的時間，而只有這段 被短暫保留的訊息被學習者注意到時，才會進一步的被大腦所處理[40]，並 且有機會形成長期記憶(long term memory)。注意力是人類的中樞神經系統與 大腦功能最根本的活動[41]，如何透過擷取大腦的活動訊息，發展能夠即時 量測學習者注意力的工程方法，並且將其應用於發展諸如注意力識別為基礎 的學習診斷、補救學習或者是基於注意力監測提升學習過程中的注意力等輔 助學習機制，都是相當具有挑戰與價值的研究議題。 由於近年來生理訊號量測技術的發展快速，目前諸如腦電圖、心電圖以 及肌電圖等，皆已被廣泛應用。其中腦波是由記錄大腦活動時所產生的微弱 電壓訊號所得，須經由放大器放大後才比較容易辨識，也很容易受到雜訊的 干擾。目前非侵入式的腦波訊號量測技術的發展已趨於成熟，因此已被廣泛 應用在諸如癲癇、中風與腦炎等腦部疾病的臨床診斷上。除了應用在醫學上 的臨床診斷外，還有應用在情緒識別[1]、學習注意力[42][43]以及各種諸如. 1.
(10) 閱讀、聆聽、視覺等外在活動的評估上[2][44][3]。此外，也有研究將腦波應 用在人機介面的意念控制上，藉以輔助肢體殘障人士的人機互動[4][5][6]。 另外，也有利用視覺與聽覺的注意力分析使用者在觀看影片時的注意力變化， 識別出影片中受歡迎片段的應用[7]。 因此，本研究希望發展一個能夠有效辨識注意力高低的工程技術方法， 經由設計能引發注意力高低變化的測驗任務，蒐集基於監督式機器學習方法 發展可分辨注意力高低之分類器所需訓練及測試樣本，據此發展出一個基於 腦波之注意力辨識系統，並嘗試將此注意力辨識系統與影片撥放器整合，據 此發展成一個可以診斷影片中低注意力影片片段之補救學習系統，以驗證此 一基於腦波發展之注意力診斷系統，是否可以正確的診斷出學習者不專注的 學習片段，並且基於注意力診斷結果之補救學習，是否有助於提升學習成 效。. 1.2 研究目的與方法 基於研究背景與動機，本研究之研究目的為發展一基於腦波之注意力辨 識系統，可以有效的辨識出學習者的學習注意力高低。此外，本研究亦將此 一基於腦波之注意力辨識系統與影片撥放器整合，讓系統可以辨識出學習者 利用影片內容進行學習時之低注意力時間點，幫助學習者針對低注意力之影 片片段進行補救學習與回顧，希望藉此提升學習者的學習成效。 本研究先以 CPT 持續注意力測驗，蒐集建立基於腦波之注意力辨識系 統所需之訓練與測試樣本。在腦波訊號分析上，本研究採用小波轉換將原始 腦波訊號進行轉換，並得到五個頻段之高低注意力識別特徵，再應用支持向 量機為識別注意力高低之分類器，用以建立注意力預測模型。此外，為了達 到最佳化的注意力辨識結果，本研究利用基因演算法進行小波轉換所獲得注 意力特徵之特徵選取，以獲得主要影響注意力識別之特徵，據此得到更高的. 2.
(11) 高低注意力辨識率。為了評估系統的辨識效能，本研究亦發展一套影片標記 系統，可以讓學習者在學習影片內容後，自行標記產生低注意力時間點之影 片段落，據此即可評估本研究所發展之基於腦波之注意力辨識系統對於注意 力高低識別之準確率(Precision Rate)、 召回率(Recall Rate) 與 F 測量值 (F-measure)。此外，本研究也使用李克特氏五等量表讓受試者填答，據此評 估受試者對於系統所辨識出的低注意力時間點的同意程度。最後，本研究探 討依據系統識別出之低注意力時間影片片段進行補救學習後，其系統識別出 之低注意力時間點個數與學習成效彼此之間是否具有顯著的相關性，以作為 系統效能評估之依據。. 1.3 論文架構 本論文共分五個章節，第一章為緒論，說明研究背景與動機、研究目的 與方法及論文架構；第二章為文獻探討，深入的介紹注意力與腦波訊號之處 理方法、小波轉換、特徵萃取方法、基因演算法與支持向量機；第三章為研 究設計方法，說明本研究發展之基於腦波之注意力辨識系統的系統架構、 CPT 持續注意力測驗之設計、結合注意力辨識之影片低注意力時間點標記系 統以及所發展注意力辨識系統之效能評估方法；第四章為實驗結果與分析， 說明本研究發展之注意力辨識系統的辨識效能、使用影片標記系統所獲得之 注意力辨識效能，並針對注意力辨識系統所偵測之低注意力時間點個數與後 測成績進行 Pearson 積差相關分析，據此進一步驗證所發展注意力辨識系統 支援補救學習的效益；第五章為結論與未來展望，針對將本研究所獲得結論 進行歸納，並提出後續建議與未來研究方向。 本論文的研究流程圖如圖 1-1 所示，說明如下： 1.蒐集相關文獻以確定研究方向，並擬定研究目的與方法。 2.針對注意力辨識系統進行相關文獻蒐集與探討，並確認研究目標。. 3.
(12) 3.設計 CPT 持續注意力測驗之實驗平台與蒐集受試者高低注意力腦波訊號 資料。 4.基於腦波之注意力辨識系統演算法設計與建立預測模型 5. 結合基於腦波之注意力辨識系統與影片撥放器之標記系統介面設計。 6.設計基於腦波之注意力辨識系統效能評估實驗。 7.針對注意力辨識系統之辨識率與效能評估實驗進行分析與討論。 8.根據注意力辨識系統與效能評估之實驗結果，撰寫研究論文。. 4.
(13) 圖 1-1 研究流程圖 5.
(14) 第二章. 文獻探討. 2.1 注意力 2.1.1 注意力及其對於學習的影響 人們的注意力與人體神經和心理因素有著密不可分的關係，也與腦部活 動有關。注意力的探討與研究範圍相當廣泛，並且對於注意力定義均有不同。 在認知心理學領域中，一般認為大腦的容量並不龐大，但是卻可以快速處理 已接收到的外部訊息，其主要原因是大腦具有訊息過濾及關注機制，讓大腦 在面對外部環境時，可以有效的處理與選擇訊息[45]。所以，注意力是選擇 與過濾訊息的處理機制，能同時處理多樣性的資訊，因此，注意力在選擇訊 息處理時扮演重要角色[46]。有學者強調注意是專一體悟(Awareness)的一種 狀態，並且伴隨清楚的感覺與知覺以及中樞神經對刺激反應的預備情形，可 將一部分的外部環境，帶入人的主觀意識中，調整自我行為[47]。注意力被 歸納成兩種：第一種是主張「注意為選擇反應的歷程」，認為注意力跟其他 行為相同，也受學習過程的影響；而第二種則是主張「注意為過濾器」，認 為注意力為感覺輸入與認知結構之間的「過濾器」，亦即選擇或接受某些特 定資訊而過濾其餘者[48]。而 Treisman 認為人類並非如 Broadbent 的過濾理 論所說的完全排除其他資訊，而是慢慢的減弱進而消失，Treisman 也採用和 Broadbent 相同的實驗設計，結果顯示資訊並非完全被排除在人類的訊息處 理中，而是一種漸漸減弱的歷程[8]。此外，許多心理學家認為專注力是一種 選取某種外在刺激並加以反應的心理歷程[49]；也認為專注力是對某特定資 訊產生刺激而給予反應，並且對於不感刺激的資訊就不給予反應的心理活動 [48]。. 6.
(15) Best 提到注意力有三大特點：選擇性、焦點的轉移與分成眾多部分[50]。 鄭昭明也提到注意力是人類在各種活動的心智配置，包含三方面意涵：其一 是選擇性(selectivity)，也就是對於外部環境的各種事件，有些會被注意，有 些並不會被注意；其二是持續性(persistence)，能依循自我的意願，不間斷地 注意物件，而不受外在刺激干擾；其三是注意的轉移(attention shift)，依據自 身需求，將焦點從某物件轉移至另一物件上[38][40]。 Parasuraman 指出持續注意力係指持續對某一個資訊保持一段時間的注 意，若注意力可以維持很長一段時間，則表示此資訊是讓人感到興趣且吸引 人的；反之，若此資訊是單調無趣的，則在此資訊上維持專注的時間會不長 [9]。Klorman 發現注意力有缺陷的孩童，在持續注意力測驗上錯誤較多，反 應也較慢[10]。林崇德提出若教材新穎、教法適當，高年級學生維持 40 分鐘 以上的注意力是可以做到的[51]。此外，除了年齡，生理、心理、環境因素 和作業性質也會影響注意力的持久性[52]，並且只要其中一個出現負面的狀 況，要維持注意力就很難。 2.1.2 基於腦波訊號之注意力偵測 所謂的腦波是指大腦內的神經纖維及神經細胞在傳遞神經脈衝時，所產 生的微弱電訊號[11]。英國的生理學家李察卡通早在 1875 年，即首次從動物 的大腦皮質表面紀錄到一種與呼吸或心跳無關的電訊號，此訊號是一種腦部 的生理變化，並且隨著動物受麻醉、缺氧的破壞或是在死亡後隨即消失。後 來他又發現刺激動物的身體能使腦波發生變化，他利用這種變化來研究身體 之部位與大腦皮質區的關係，並探討大腦皮質區的功能，成為後來神經診斷 學中誘發電位（evoked potential）發展的基礎。但因當時儀器靈敏度的問題， 所以無法做出較準確的腦波紀錄。隨後在 1929 年德國精神科醫師漢斯伯格 （Hans Berger）[12]，在人類完整的頭蓋骨上紀錄到相同的電氣活動，這是 7.
(16) 首次發表人類的腦波記錄，並命名為腦電波圖(electroencephalogram)，簡稱 EEG，至此以後腦波即開始被應用在醫學的領域中。目前腦波訊號在臨床上 的應用其實已經非常廣泛，它有經濟、安全、方便的特性，可用於篩檢病患， 以及昏迷、中風、癲癇、和其他腦疾病病人的追蹤檢查[13-16]。 一般所稱的腦波是指當腦部在運作時神經運動所產生出的電磁訊號，在 大 腦 層 或 頭 皮 表 層 所 記 錄 到 的 電 磁 訊 號 ， 就 是 俗 稱 的 腦 電 圖 EEG (Electroencephalogram)。一般在大腦表層量測到的腦波約在 10Mv 左右。基 本上，透過儀器所量測到的人體腦波訊號，是由皮質細胞樹突和細胞體之間 的波動電偶間的電流所形成，原本訊號就非常薄弱，又經過蜘蛛膜、硬腦膜、 顱骨和頭皮等頭皮組織層層衰減後，訊號小到只剩約 0.5-100μV 之間，而其 頻率範圍約在 0.5-100Hz 之間[17]。因此，EEG 的紀錄有一定的困難度，主 要係因為 EEG 的信號微弱，可能稍微移動就有可能導致接觸不良，而接收 不到訊號，實驗操作時也很容易受到雜訊的影響。一般而言，腦波的量測方 式分為侵入式與非侵入式兩種[53]。在侵入式量測方式中，必須經由手術將 頭蓋骨打開，將電級裝置直接放置於大腦皮質層，也因為直接透過頭皮組織 進行量測，因此可以測量到較為精確的腦波訊號，但由於必須使用手術打開 頭蓋骨，較為危險，所以一般不會採用此方式進行腦波量測。另一種為非侵 入式量測方式，是讓受試者戴上附有電擊裝置之電極帽，只需將電極貼近受 試者之頭皮上，所得之微弱電訊號再經由放大器放大後，即可作為訊號分析 之依據。此方法相較於侵入式量測法更為簡單與安全。 腦電波依據頻率的不同，可將腦波分為 δ 波、θ 波、α 波、β 波與 γ 波五 個主要的波段[18][19]，如圖 2-1 所示，分別介紹如下： 1. Alpha activity(α 波)： α 波頻率範圍為 8~15Hz，振幅約為 20-200 μV，其電位約為 50 μV。一般. 8.
(17) 正常人在清醒並處於安靜、放鬆的大腦活動狀態之下最為明顯。大腦若是 在這種狀態下，身心能量耗費會最少，且當有思考、睜眼或其它刺激時， α 波就會消失。 2. Beta activity(β 波)： β 波頻率範圍為 15Hz~30Hz，電位約為 5-20 μV。在清醒而警覺的狀態下， 較容易出現在頂葉部及額葉部(frontal region)，尤其當大腦思考或接受感 官刺激時，此波段會較明顯。大腦若是處於此狀態下，人的體力和精神能 量耗費會較大。 3. Gamma activity(γ 波)： γ 波頻率範圍為 30~60Hz，為最近幾年才被注意到的波段，通常在冥想狀 態時才會產生。 4. Theta activity(θ 波)： θ 波頻率範圍為 4~8Hz，其振幅較小。主要在小孩的頂葉部及顳葉部 (temporal region)會出現，一般正常人在淺層睡眠或是在意識中斷亦或是身 體放鬆時，此波段會很明顯。 5. Delta activity(δ 波)： δ 波頻率範圍為 0Hz~4Hz 的腦波波段，振幅約 20-200 μV。正常成人在清 醒狀態下沒有 δ 波，通常發生在深層睡眠、深度麻醉、缺氧或有大腦器官 性疾病變患者身上。. 9.
(18) 圖 2-1 腦波基本波段[18]. 2.2 小波轉換 小波函數的理論早期是由一群數學家所發展出來，並且初期只有數學家 與物理學家在做這方面的研究。在1984年時，物理學家Morlet將小波函數的 理論引入訊號分析裡，隨後與物理學家Grossmann提出以小波函數為基礎的 連續小波轉換，命名為「wavelet」[20][21]。隨著小波轉換被提出後，1985 年Meyer建構了Meyer wavelet，其特性是易衰減、具正交的平滑小波函數[22]。 1987年時，Mallat建構了一種以多重解析度分析理論來產生小波基底的方法，. 10.
(19) 此方法能將訊號加以拆解與重建[23]。1988年時，Daubechies提出Daubechies wavelet，為有限支撐、有正交性，並且具有好的時頻局部定位性[24]。 早期的訊號分析方法主要以傅立葉轉換(Fourier Transform, FT)為主，但 傅立葉轉換的缺點是當訊號經由傅立葉轉換成頻域後，此時的時頻資訊就會 消失。為了修正傅立葉轉換的缺點，英國科學家 Dennis Gabor 提出將時頻訊 號 取 區 段 時 間 做 傅 立 葉 轉 換 ， 即 為 短 時 傅 立 葉 轉 換 (Short-Time Fourier Transform, STFT)[25]，他將時域訊號切割成小片段，再對每段作傅立葉轉換 以獲得時頻訊息。但是短時傅立葉轉換也有其缺點，當選擇訊號視窗的寬度 時，會限制時間與頻率的解析度，當分析低頻訊號時，就必須加大視窗函數 的寬度；若要分析高頻訊號，則必須縮小寬度。當無法事先知道訊號是在高 頻帶還是低頻帶時，也就無法選擇視窗函數的寬度。但小波轉換就沒有這個 問題了，小波轉換除了有時間與頻率的關係外，還有與振幅的關係，有效改 善了短時傅立葉轉換必須選取適當視窗寬度的問題。圖 2-2 為傅立葉轉換、 短時傅立葉轉換與小波轉換之差異比較，可以看出小波轉換除了有時間與頻 率的關係，也提供了時間與頻率尺度的關係，有效改善短時傅立葉轉換的缺 點。. 頻率尺度. 頻率. 振幅 頻率. 時間. 傅立葉轉換 (Fourier Transform). 短時傅立葉轉換 (STFT). 時間 小波轉換 (Wavelet Transform). 圖 2-2 傅立葉轉換、短時傅立葉轉換與小波轉換之差異比較 小波轉換已被廣泛應用於各領域中，例如工程領域中的數位訊號處理、 11.
(20) 語音訊號、影像處理與電力品質分析，以及腦電訊號與心電訊號等生理訊號 分析等，結果均顯示有非常好的訊號分析效果。因此，本研究使用小波轉換 作為分析腦波訊號之工具，藉以拆解出不同頻段的小波訊號，並據此利用基 因演算法進行特徵選取後，再利用支持向量機進行注意力辨識模型之建立。 小波轉換是由小波函數經伸縮與平移所得的基底函數，藉由小波基底函 數一定比例的拉伸與壓縮來改變時頻的解析度。數學公式定義如下： Wψ f (b, a ) ≡ ∫. ∞. f (t )ψ b ,a (t )dt. −∞. (2-1). 其中， f (t ) 為輸入訊號，ψ b ,a (t ) 為小波函數： t −b a . ψ b ,a (t ) ≡ a −1/ 2ψ . a>0. (2-2). 其中 a 為伸縮的比例， b 為訊號的平移。 小波轉換改善了傅立葉轉換只能提供頻率與振幅資訊，卻無法得知時域 訊息的缺點，小波轉換不僅可以得知時間與頻率的訊息，亦可獲得時間與振 幅的關係，這也讓我們在分析連續信號上，如腦電圖、心電圖與其他生理訊 號上可以獲得更好的效果。 每個離散小波轉換會將輸入信號分解成高頻與低頻信號，該轉換所產生 的兩個分解信號，公式如下: Ylow [n] = Yhigh [n] =. ∞. ∑ x[k ]g[2n − k ]. (2-3). k = −∞ ∞. ∑ x[k ]h[2n − k ]. (2-4). k = −∞. 其中，x 為輸入小波轉換之信號(長度為 n)，g 為高通濾波器，h 為低通濾波 器。在分解訊號的過程中，時間分辨率會減半，並移除一半的頻率訊號，並 且根據奈奎斯特的規則，有一半的樣本可以被移除，而分解出次樣本。為了 進一步取得更低的頻率信號，低頻輸出信號會被當作下一階離散小波轉換的 輸入信號。 12.
(21) 而一個四階小波轉換在轉換的過程中，每個階層的小波轉換會依序拆解 原始腦波訊號，如圖 2-3 所示，我們將訊號做四次的分解動作以得到腦波訊 號的五個子頻段。. 圖 2-3 四階小波轉換分解腦波訊號之架構圖[54]. 圖 2-4 為輸入訊號使用 Daubechies 濾波器所拆解出來的五個子頻段， 所分解出的頻段 D1、D2、D3、D4 和 A4，其各自的頻率範圍依序為 30~60Hz、 15~30Hz、8~15Hz、4~8Hz 和 0~4Hz，即分別是腦波訊號中的 γ、β、α、θ 和 δ 波，本研究即是使用這五個腦波訊號的子頻段，作為基因演算法進行特 徵萃取之依據。. 13.
(22) 圖 2-4 使用 Daubechies 濾波器所分解出來之結果[54]. 2.3 特徵萃取 在 4 階的小波轉換經由濾波與訊號分解成 8 個子頻段範圍後，其中有 5 個是主要的腦波訊號子頻段，在特徵萃取的過程中，每個子頻段都會包含近 似熵(Approximate Entropy, ApEn)、總變異(Total Variation)、能量(Energy)、 偏度(Skewness)與標準差(standard deviation)五個腦波特徵[26][54]，其中能量、 偏度以及標準差為一般常用的特徵，因此下面針對近似熵與總變異兩個特徵 進行詳細的說明。 2.3.1 近似熵(Approximate Entropy, ApEn) 近似熵(Approximate Entropy, ApEn)係由 Pincus 於 1991 年提出的一種度 量序列複雜度與統計量化的非線性動力學參數[27]。而在分析生理訊號資料 時間序列之規律性中，近似熵經常被使用於各種非線性之生理訊號的應用分 析[28]，尤其是在醫療數據分析方面，例如像心電的心律分析、內分泌研究、 14.
(23) 癲癇以及阿茲海默氏症等。近似熵是一個量化的尺度，可以據此得到時間序. 列數據的複雜性、規律性以及可預測性的訊息，以有效區分不同生理訊號之 型態。近似熵除了具有可以描述生理訊號序列複雜度的參數之外，還有下面 三個特點[55]： 1. 抗雜訊與抗干擾的能力較好，特別對於瞬間的強干擾有較好的承受能 力。 2. 只需要較短數據資料即可估算出較穩健的估計值，在 100~5000 的資料點 中，一般僅需要取 1000 點左右。 3. 不論訊號為隨機或是確定性的訊號皆可使用，亦可使用在隨機成分與確 定性成分所組成的混合訊號中。 由於生理訊號通常是由已知訊號與隨機訊號所組成的混合信號，並且分 析所需的資料長度較短，因此近似熵非常適合分析像腦波這類非線性的生理 訊號。 在計算近似熵的估測值中，必須先決定兩個參數：資料比較個數(m)與 雜訊過濾係數(r)，這兩個參數在計算過程中均為固定不變，其中 m 為比較 序列的長度，r 是一個有效的門檻值。當給定 N 個欲分析資料的時間序列為 x(n) = x(1), x(2),..., x( N )，並針對 m 和 r 定義兩參數，一個是極限值 ApEn(m, r)，. 一個為 N 個點的統計估計值 ApEn(m, r, N)。其演算法如下： Step1. 給定一個時間序列資料 [ x(n)] = x(1), x(2),..., x( N ) ，N 為資料筆數。設定 一閥值 r 和比較個數 m 值。 Step2. 將時間序列資料依序組成 m 維向量集，如下： X (i ) = [ x(i ), x(i + 1),..., x(i + m − 1)],. 1 ≤ i ≤ N − m +1. Step3. d [ X (i ), X ( j )] 為 X(i)與 X(j)之距離，兩者之最大距離可定義為： d [ X (i ), X ( j )] = max ( u (i + k − 1) − u ( j + k − 1) ) k =1, 2 ,..., m. 15.
(24) 其中 1 ≤ i ≤ N − m + 1 、 1 ≤ j ≤ N − m + 1 。 Step4. 將 d [ X (i ), X ( j )] ≤ r 的資料個數定義為(2-5)式，並與 N-m+1 相比值。 Cim (r ) =. N − m +1 1 ∑ d [ x(i) − x( j )] N − m + 1 i =1. (2-5). i≠ j. 1, d [ X (i ) − X ( j )] ≤ r 。 0, d [ X (i ) − X ( j )] > r. 其中 d [ X (i ), X ( j )] = . Step5.取 Cim (r ) 的自然對數，再以(2-6)式計算所有 i 的平均值。 Φ m (r ) =. N − m +1 1 ∑ ln Cim (r ) N − m + 1 i =1. (2-6). Step6. 最後將維數(資料比較個數)加 1 即為 m+1，重複 Step2~Step5 的步驟， 可得到 Cim+1 (r ) 與 Φ m+1 (r ) ，即可得到 ApEn 如下： ApEn(m, r, N) = Φ m (r ) − Φ m+1 (r ). (2-7). 2.3.2 總變異(Total Variation) 在數學領域中，總變異(Total Variation)可以根據其具體使用的情況進行 定義和解釋，總變異大部分用於圖像去雜訊降噪[29]與差分方程之分析[30]， 在總變異的概念中對於一個實值的連續函數在定義域上可被視為是一個包 含積分的函數。並且對於複雜的程度，總變異也有不同的定義，式(2-8)定義 了總變異為單估量（實際值）的公式。總變異的定義可以被解釋為一個特定 函數的期數值變化差的總和，而總變異值較大表示在選定的時間間隔中有著 較快的波動值，反之亦然。在參考不同的腦電波訊號研究，及其應用於各種 關於腦部疾病之醫學臨床案例後，本研究採用總變異作為分析注意力的腦波 訊號特徵之一。 b. Vba ( f ) = ∫ f ' ( x) dx. (2-8). a. 16.
(25) 2.4 基因演算法 基因演算法(Genetic Algorithms, GA)為模擬達爾文進化論中”適者生存， 不適者淘汰”的搜尋法則，以得到問題的最佳解。最初是在 1975 年由 John Holland 教授所提出，他主張自然界的演進是由染色體中的基因決定，而適 者生存即表示較優的基因樣式會在演化過程中被保留，並產生更優的下一代 基因樣式[56]。換句話說，基因演算法是模仿自然界的演化過程，利用包括 選擇(Selection)、交配(Crossover)以及突變(Mutation)等運算來進行基因的演 化，並利用適應函數(Fitness Function)來評估演化過程的好壞，重複這些步 驟，直到符合終止條件。基因演算法的基本演算流程如圖 2-5 所示。. 開始. 產生初始種群. 計算個體的適應值. 突變 交配 否. 終止條 件. 選擇. 是 結束 圖 2-5 基因演算法之演算流程. 17.
(26) 基因演算法主要分成下列五個部分[57]： 1. 定義染色體(Chromosome)與設計編碼(Encoding) 2. 定義適應函數 3. 選擇 4. 交配 5. 突變 2.4.1 定義染色體與編碼 基因演算法是以染色體(chromosomes)內的基因(gene)作為編碼的依據， 一個染色體對應一個實數或整數解答，一個染色體上會有多個基因，並且通 常使用二進制編碼，而染色體的數目即為求解問題之參數數目，多個染色體 即構成代表解答的個體(individual)。為了有效搜尋，利用基因演算法求解最 佳化問題解答時，必須先確定每個染色體對應參數的搜尋範圍，並據此決定 編碼長度。 2.4.2 適應函數 適應函數(fitness function)係用來評估基因演算法解答好壞的效能指標， 一組由若干個染色體組成個體的解答，均可利用適應函數對應到一個適應值， 藉由觀察適應值高低即可得知解答的好壞。然而依據問題所設計的適應函數 雖然可用來評估個體(individual)的適應度，但有些目標函數要修正後才能適 用，甚至有些問題沒有目標函數可用。本研究以支持向量機的分類正確率為 適應函數，作為基因演算法評估可以分辨注意力高低腦波特徵的依據。 2.4.3 選擇 挑選機制其實就是探討如何從群體 (樣本空間) (population) 挑選出個 體 (樣本) 的取樣方式，被挑選的個體就是親代，可經由遺傳運算來產生子 代。基本的取樣機制有三種，分別是隨機取樣(stochastic sampling)、明確取. 18.
(27) 樣(deterministic sampling)以及混和取樣(mixed sampling)，隨機取樣是最普遍 的一種取樣方式，作法是先計算出個體的期望值，再依據群體規模把個體期 望值轉換成個體數目，其中最著名的隨機取樣為輪盤式選擇。明確取樣是直 接從樣本空間選出最佳的染色體，而不經由隨機選擇。混和取樣式則是同時 包含隨機與明確取樣兩種特性。本研究是採用隨機取樣的方式來挑選個體。 2.4.4 交配 交配(crossover)是主要的基因運算子，將兩個個體先經由選擇程序選出， 經過交配的動作來產生子代，讓子代具有上一代的部分特性。目的是希望子 代能夠組合出更具適應性的個體，達到演化的目的。但是亦有可能子代只遺 傳了上一代不良的基因，因此交配不一定可以獲得更好的子代，但如果反覆 運作此一演算機制，較差的子代還是會逐漸被淘汰，並進化出更好的下一代。 常見的交配方式有三種，分別是單點交配、雙點交配與多點交配，本文是使 用單點交配的方式，隨機選取一個交配點，將該交配點之後的基因做交換， 其交配機率設定為 0.3。 2.4.5 突變 突變(mutation)的過程會導致染色體基因突然間做隨機的變化，常見的 做法是改變染色體上的一個基因，並將突變過後的全新基因導入到群體中， 防止演化會陷入到局部最佳解。常見的突變的方式有三種，分別是單點突變、 全基因突變與浮點突變，本研究是使用單點突變的方式，將突變機率設定在 0.1。. 2.5 支持向量機 支持向量機(Support Vector Machine, SVM)是一種可針對樣本進行分類 的技術，在近幾年中，支持向量機受到統計學習理論的發展與計算機處理能 力提升的影響，而成為一個應用廣泛的機器學習方法[31][32]。除了支持向. 19.
(28) 量機外，常用的分類器技術尚包括決策樹與類神經網路等，雖然這些分類器 都具有不錯的分類能力，但是支持向量機的優點在於它容易使用，並且具有 較高的辨識率；缺點則是必須花較長的訓練時間。 支持向量機的概念是利用一個線性的超平面來建立分類器的分類決策 超平面，並利用支持向量與邊界來尋找此一決策超平面，屬於一種線性分類 器。一般而言，支持向量機係利用給定的訓練樣本集建立分類模型，然後再 利用訓練完成的模型預測未知類別，每個訓練樣本皆會映射到超平面，並依 據映射至超平面的位置作為分類決策依據。支持向量機會建構一個超平面集 來分類一個多維的訓練樣本集，然而，有些情況是該樣本集為非線性且不易 分類。為了解決這類非線性函數在低維度空間中，無法輕易進行分類的問題， 可使用核函數(kernel function)將非線性的資料映射到高維度的特徵空間，使 其滿足線性可分類的特性。 以下利用如圖 2-6 所示之最簡單可進行兩個類別分類的 SVM 架構，說 明其分類原理。 Support vector. X2. wT x+b =1 wT x+b =0 wT x+b =−1. X. X X. X X X X. X X. x+. X x−. Margin. Optimal Hyper-plane. X1. 圖 2-6 支持向量機之二元分類圖 20.
(29) 假設輸入測試樣本有 n 個維度向量，公式如下： ( xi , yi ), i = 1, , n, xi ∈ R d , y ∈ {1, - 1}. (2-9). 其中， ( xi ) 為特徵向量， ( yi ) 為類別標籤。 為了要得到支持向量機的最佳超平面，就必須要有權重向量(weight vector)w 和一個偏移植(bias)b，而最佳超平面就可表示為 w ⋅ xi + b = 0 ，此時 所有的分類向量就可表示為 yi ( w ⋅ xi + b) ≥ 1 i = 1,2,..., n ，為了使超平面的分類 間距( 2 / w )最大，就必須讓( w / 2 )為最小，根據 Lagrangian 理論導入 Lagrangian multiplier α i 可得： n. Ld (α ) = ∑ α i − i =1. 1 n n ∑∑ α iα j yi y j ( xi ⋅ x j ) 2 i =1 j =1. 其中在約束條件(constraint). n. ∑α y i =1. i. i. (2-10). = 0 且 α i ≥ 0 下，其輸入向量即稱為支持向. 量(Support Vector)，經由訓練便可得到 Lagrangian 乘子與偏移值。 若資料為線性不可分離的情況時，必須加入一個間隔鬆弛變量(Margin Slack Variable) ξ i , i=1,2,…,n 的參數，以調整誤差值使其小於某個範圍內。則 原本的式子可表示成 yi ( w ⋅ xi + b) ≥ 1 + x i i = 1,2,..., n 。最佳超平面則可表示成 下列公式： J ( w, ξ i ) =. n 2 1 w + C ∑ ξi 2 i =1. (2-11). 其中 C 是衡量訓練錯誤的一個參數，Lagrangian 函數改寫成： n. Ld (α ) = ∑ α i − i =1. 1 n n ∑∑ α iα j yi y j ( xi ⋅ x j ) 0 ≤ α i ≤ C , 2 i =1 j =1. n. ∑α y i =1. i. i. =0. (2-12). 求出 Ld (α ) 的最大值就可以得到最佳超平面。 然而有許多情況是，輸入樣本在原空間中是以非線性分佈呈現，此時我. 21.
(30) 們必須利用核函數，將輸入樣本映射到高維度的線性空間分佈，此高維空間 稱為特徵空間，然後再求得最佳超平面的最佳參數值，本研究使用徑向基核 函數作為支持向量機的核函數。下面列出支持向量機常見的四種核函數 [58]： 1. 線性核函數(Linear)： K ( xi , x j ) = xi ⋅ x j. (2-13). 2. 多項式核函數(Polynomial)： K ( xi , x j ) = (γ xi ⋅ x j + coef ) d. (2-14). 3. 徑向基核函數(Radial Basis Function, RBF)：. (. K ( xi , x j ) = exp − γ ( xi − x j ) 2. ). (2-15). 4. S 型核函數(Sigmoid)： K ( xi , x j ) = tanh(γ xi ⋅ x j + coef ). (2-16). 其中 γ、d 與 coef 為常數參數值。 利用支持向量機作分類辨識與回歸問題時，在參數與核函數的選擇上並 沒有一個最佳的模式，必須實際驗證與文獻比較後，得到最好的支持向量機 參數，藉由交叉驗證(Cross Validation)方式，找到最佳的參數值。 本論文所使用的支持向量機之架構為台灣大學林智仁(Chih-Jen Lin)教 授所開發設計的 LibSVM[33]，其操作容易且使用方便，並且提供了原始碼 與各種參數調整方式，便於使用者做參數修改與修正，因此選擇此套件作為 本研究發展注意力辨識系統之預測模型建模。. 22.
(31) 第三章 研究設計與方法 本章分為五個小節，分別詳細說明本研究所發展注意力辨識系統之設計 方法，以及評估系統注意力辨識效能之各項實驗設計。第一節為系統架構； 第二節為研究工具，介紹腦波量測儀器、系統開發與驗證工具；第三節說明 CPT持續注意力測驗的實驗設計；第四節說明基於腦波發展之注意力辨識系 統的資料處理；第五節說明實驗分析的方式。. 3.1 研究架構 本研究發展之基於腦波訊號之注意力辨識系統主要包含四個部份：CPT 專注度測驗、特徵萃取、特徵選取以及注意力辨識模型建立，圖 3-1 為本研 究系統發展之流程。 首先本研究透過 CPT 持續注意力測驗所蒐集受試者原始腦波訊號，並 以 CPT 持續注意力測驗結果的正確與否作為注意力高低之分類依據，將所 蒐集到的腦波訊號對應成高注意力與低注意力兩個類別，並分別以小波轉換 進行特徵萃取，藉由小波轉換可得到 γ、β、α、θ 和 δ 五個子頻段，每個子 頻段分別會再萃取出包括近似熵、總變異、能量、偏度與標準差五個特徵值， 接著將這些特徵匯入至選定之分類器進行注意力辨識模型建模。但是為了有 效選取特徵以提高注意力辨識率，因此本研究以基因演算法作為特徵選取的 機制，最後以基因演算法選取出來的腦波訊號特徵建立基於支持向量機之注 意力辨識預測模型，據此發展出本研究所提出基於腦波訊號之注意力辨識系 統。此外，為了有效評估此一注意力辨識系統之辨識效能，本研究發展一套 結合影片撥放器之注意力標記系統，可以讓受試者在觀看影片之後標記出注 意力低的影片片段，並且與本研究基於腦波訊號之注意力辨識系統所得之注 意力高低辨識結果進行對應，據此本研究設計多重實驗，進行系統不同面向. 23.
(32) 的效能評估，多重實驗設計的細節將於本章第五節進行詳細說明。 此外，本研究所發展基於腦波訊號之注意力辨識系統的每個主要部份， 皆進行獨立模組化的設計，透過模組化的設計，可讓發展的系統在日後應用 上具有更大的彈性發展空間。例如，可以輕鬆地更換每個模組，以達不同注 意力辨識效能。例如在特徵萃取模組中，本研究係以小波轉換進行腦波訊號 之特徵萃取，擷取出我們想要的頻帶範圍，但是因為有模組化的優點，亦可 以採用諸如短時傅立葉轉換取代小波轉換；再則，在辨識模組中也可以採用 類神經網路的分類器取代本研究採用的支持向量機分類器。. 24.
(33) 圖 3-1 系統開發流程圖. 25.
(34) 3.2 研究工具 3.2.1 腦波訊號量測儀器 本 研 究 利 用 美 國 神 念 科 技 公 司 (NeuroSky) 所 開 發 的 腦 波 意 念 耳 機 (MindWave Mobile)進行受試者腦波訊號量測，如圖 3-2 所示。此耳機為非 侵入式的腦波量測方式，只抓取前額之單極點訊號，並採用乾式電極，因此 在使用上非常安全且舒適，並且不易受到頭部晃動、呼吸與眨眼的干擾而影 響到訊號擷取的品質，配戴方式如圖 3-2 所示，只需將耳機上的電極放置在 前額上 ，然 後將 參 考電位 的電 極夾 在 耳垂上 ，即 可進 行 腦波的 量測。 MindWave 耳機可量測到每一秒 512 筆的原始腦波訊號， 並以.csv 檔儲存至 訊號接收端的電腦主機上。. 圖 3-2 NeuroSky MindWave Mobile 腦波意念耳機 26.
(35) 3.2.2 軟硬體開發工具 本研究用來記錄、建置系統與實驗分析所使用的電腦規格為 Intel Core i5 2.67GHz 處理器，記憶體為 DDRIII 4GB，作業系統為 Windows7-64 位元。 系統建置所使用的軟體開發工具為 MatlabR2010a、Visual Studio 2012 以及 Visual C#。. 3.3 CPT 持續注意力測驗實驗設計 CPT(Continuous Performance Test)持續注意力測驗常被用於注意力不足 過動症(Attention Deficit Hyperactivity Disorder, ADHD)的診斷上，為評估 ADHD 兒童的一種指標，也是國內外臨床實驗與研究單位廣泛使用的評量方 式。CPT 持續注意力測驗是一種量測注意力在持續一段時間下的集中表現， 因此必須有足夠的專注、良好的反應、拒絕分心與抑制衝動反應才能在此測 驗中得到好的表現[34]。 為了讓本研究所發展基於腦波訊號之注意力辨識系統在預測模型建立 所需的訓練及測試樣本集裡，同時具有高低注意力類別所對應的腦波訊號， 因此本研究採用 CPT 持續注意力測驗中的 A-X 任務，作為本研究偵測高低 注意力腦波訊號之依據。測驗畫面如圖 3-3 所示，影片中會出現黑底白字的 英文字母，每個字母出現的時間間隔為 1 秒，受試者必須注意畫面中的英文 字母，當看到字母”A”的後面緊接著出現字母”X”時，必須按下滑鼠右鍵； 相對的，若緊接著字母”A”出現其餘的字母時，皆須按下左鍵。本研究邀請 了 12 位受試者，刪除掉蒐集到腦波訊號品質不佳的 2 位，總共有效蒐集 10 位受試者腦波訊號。若答題正確則表示該段腦波訊號為高注意力之類別；反 之，若答題錯誤則該段腦波訊號為低注意力之類別。本研究合計蒐集到 1988 筆高注意力類別及 799 筆低注意力類別之腦波訊號。. 27.
(36) A. B (2). (1). 左鍵. X. A (3). 左鍵. (4). 左鍵. X (5). 右鍵. 左鍵. 圖 3-3 CPT 持續注意力測驗影片畫面. 3.4 腦波訊號資料處理 本研究將蒐集到的原始腦波進行小波轉換，作為萃取高低注意力腦波訊 號特徵之用，其流程如圖 3-4 所示。本研究在 CPT 持續注意力測驗結束後， 將答題正確與錯誤的時間算出來，再用算出來的時間找尋相對應的原始腦波 訊號，如此即可得到答題正確與答題錯誤的原始腦波訊號，答題正確的腦波 訊號被視為高注意力類別腦波訊號；答題錯誤的腦波訊號則被視為低注意力 類別腦波訊號，以此作為訓練分類器建立高低注意力辨識模型之依據。. 原始腦波 資料 分類答對與答錯 的測驗時間 取出對應的原始 腦波資料. 答對時間 原始腦波資料. 答錯時間 原始腦波資料. 圖 3-4 利用 CPT 持續注意力測驗擷取高低注意力原始腦波訊號流程 有了高注意力與低注意力的原始腦波訊號後，即可以利用小波轉換進行 28.
(37) 訊號的拆解以及特徵的萃取。本研究將每秒取樣之 512 筆腦波訊號樣本輸入 到一個 4 階的小波轉換，在轉換過程中，每個階層的小波轉換會依序拆解原 始腦波訊號，以分解出五個主要腦波訊號的子頻段，並取出每個子頻段的特 徵。如圖 3-5 所示[26]，本研究將訊號做四次的分解動作，以得到腦波訊號 的五個子頻段，每個子頻段分別會計算出五個特徵，有了這些特徵就可以利 用機器學習方法建立高低注意力辨識模型。. EEG Signal. Entropy TotalVar SD Energy Skewness. 圖 3-5 將原始腦波訊號進行 4 階小波轉換分解流程. 本研究使用支持向量機作為基於腦波之高低注意力辨識系統建模所需 之分類器，希望達到令人滿意的高低注意力辨識率。此外，經由小波轉換所 萃取出來之不同頻段的腦波訊號特徵中，有些特徵並非建立高低注意力辨識 系統所需之有用特徵，為了去除無效之特徵，本研究使用基因演算法進行最 佳化之特徵選取，期望藉由基因演算法找到以支持向量機進行注意力辨識系 統建模所需之有用的腦波訊號特徵，以得到較高的注意力辨識率，如圖 3-6 所示為以基因演算法優化支持向量機辨識率之架構[35]。其高低注意力辨識 結果將於第四章進行說明及討論。. 29.
(38) Features. Features. 圖 3-6 以基因演算法優化支持向量機高低注意力辨識率之架構. 3.5 多重實驗設計 為了評估本研究所發展基於腦波訊號之的注意力辨識系統是否可有效 辨識注意力高低，本研究將發展基於腦波訊號之注意力辨識系統與影片標記 系統整合，使得此一系統除了可以基於腦波訊號辦識學習者在觀看影片時之 低注意力時間點外，也可以讓受試者標記影片中之任一受試者自覺觀看影片 時之低注意力時間點，在影片觀賞完畢後，系統會將學習者所標記之低注意 力時間點與系統判定之低注意力時間點進行對應，讓使用者可以針對低注意 力的影片片段進行複習觀看。為了評估此一整合系統所識別出的低注意力時 間點與使用者標示之低注意力時間點的吻合度，本研究採用準確率(Precision Rate)、召回率(Recall Rate)與 F 測量值(F-measure)作為此一整合注意力高低 辨識系統與影片標記系統的效能評估指標。此外，為了瞭解學習者若能針對 此一整合系統偵測出低注意力時間的影片內容進行複習，是否會影響學習成 效，本研究將系統偵測出之受試學習者低注意力的時間與後測成績及進步成 績進行皮爾森績差相關分析，以評估基於低注意力之影片內容進行複習是否 具有提升學習成效之效益。 3.5.1 整合腦波之注意力辨識系統與影片撥放器之標記系統 圖 3-7 為整合腦波訊號之注意力辨識系統與影片撥放器之標記系統介 面，當影片開始撥放時，學習者可以藉由下方的標記按鈕標記影片播放當下 之低注意力時間點，系統會將受試者所標記之時間顯示於左上方文字方塊中，. 30.
(39) 如圖 3-8 所示。在學習者觀看影片完畢後，系統會識別出受試者於此影片中 的低注意力時間點，此時只要按下畫面左下方的匯入系統辨識時間的按鈕， 即可將腦波訊號之注意力辨識系統辨識之時間顯示於左下方文字方塊中，如 圖 3-9 所示。最後按下系統畫面右下方的顯示自我標記與系統標記的按鈕， 即可在畫面下方顯示學習者標記之低注意力時間與系統辨識之低注意力時 間對應，如圖 3-10 所示，。. 圖 3-7 整合腦波訊號之注意力辨識系統與影片撥放器之標記系統介面. 31.
(40) 圖 3-8 整合腦波訊號之注意力辨識系統與影片撥放器之標記系統-顯示自我 標記時間. 圖 3-9 整合腦波訊號之注意力辨識系統與影片撥放器之標記系統-顯示系統 辨識之低注意力時間 32.
(41) 圖 3-10 整合腦波訊號之注意力辨識系統與影片撥放器之標記系統-顯示受 試者標記之低注意力時間與系統辨識之低注意力對應 3.5.2 多重分析實驗設計 接下來說明針對本研究所發展基於腦波訊號之注意力辨識系統效能評 估之各項實驗設計，說明如下： 實驗一：受試者自行標記低注意力影片片段與系統所辨識出的低注意力時間 點分析；本實驗挑選 3 位研究生當作受試者，並觀看一段長 16 分 鐘的影片，受試者在影片觀看完畢後，以影片標記系統標記低注意 力影片片段，本研究將受試者自我標記之低注意力時間點與系統辨 識出的低注意力時間點進行比較，以準確率(Precision Rate)、召回 率(Recall Rate)與 F 測量值(F-measure)作為系統效能評估指標。 實驗二：受試者觀看一段加入干擾因素之影片片段，再與系統所辨識出的低 33.
(42) 注意力時間點進行比較；本實驗挑選 4 位研究生當作受試者，並觀 看一段長 10 分鐘的影片，該影片中加入了 7 個干擾因素，包括聲 音與小圖示等，用以分散受試者的注意力，本實驗將影片中具有干 擾因素之時間點與注意力辨識系統所辨識出的低注意力時間點進 行比較，以準確率(Precision Rate)、召回率(Recall Rate)與 F 測量值 (F-measure)作為系統效能評估指標。 實驗三：以李克特氏 5 等量表讓受試者自我評估注意力辨識系統所辨識出來 的低注意力時間是否正確；本實驗挑選 4 位研究生當作受試者，觀 看一段長 10 分鐘之影片，在受試者觀看影片完畢後，調查受試者 對於系統辨識出的低注意力時間點的同意程度，填寫 5 等量表問卷， 評估選項包括非常不專注(1)~非常專注(5)，作為評估系統效能之依 據。 實驗四：針對一教學影片教授內容進行前測，然後讓受試者觀看此一教學影 片，並針對系統所辨識出的低注意力時間點影片內容進行複習，並 於影片觀看完畢後施予後測，最後進行系統辨識出之低注意力時間 點個數與後測成績及進步成績之相關性分析；本實驗挑選了 8 位受 試者，觀看一段長 16 分鐘的教學影片，影片名稱為勞工安全衛生 宣導-工作場所電器安全，前後測為紙筆測驗，從勞工安全衛生技術 士檢定的筆試測驗中，挑選出與影片有相關的題目。首先，先施予 前測，在影片撥放完畢後，針對系統所辨識出的低注意力時間點影 片內容進行複習，在觀看完複習影片片段後，再施予後測，並進行 系統辨識出之低注意力時間與後測成績和進步成績之皮爾森積差 相關分析，據此探討系統辨識出之低注意力時間點個數與學習成效 的相關性。. 34.
(43) 第四章. 實驗結果與分析. 本章基於第三章設計之多重實驗，評估本研究所發展基於腦波訊號之注 意力辨識系統效能，並詳細說明各項實驗分析之結果。. 4.1 基於腦波訊號之注意力辨識系統效能分析 在發展基於腦波訊號之注意力辨識系統過程中，本研究以 CPT 持續注 意力測驗所量測到的高低注意力原始腦波訊號作為支持向量機的訓練與測 試樣本，CPT 持續注意力測驗影片時間為 315 秒，扣除掉影片中講解 CPT 持續注意力的時間，以及訊號品質不佳的樣本，總樣本數為 2787 筆，其中 2100 筆作為訓練樣本，687 筆做為測試樣本。訓練樣本先輸入至小波轉換拆 解出包括 γ、β、α、θ 和 δ 五個子頻段，每個子頻段分別萃取出標準差、總 變異、能量、近似熵與偏度五個特徵。因此，總共可以得到 25 個特徵，再 經由基因演算法選取出主要影響腦波注意力的特徵後，作為支持向量機進行 高低注意力辨識模型建模之用。訓練樣本之正確率為 100%，測試樣本之辨 識結果如表 4-1 所示，在高注意力類別中的正確率達 91.60%；低注意力類別 之正確率為 87.44%；整體之辨識率為 90.39%，結果顯示本研究基於小波轉 換及基因演算法進行特徵選取所發展基於腦波訊號之注意力辨識系統，確實 可以有效的識別高低注意力。最後經由基因演算法所選取出的特徵為 γ-近似 熵、γ-總變異、β-近似熵、β-總變異、β-偏度、α-總變異與 θ-能量，顯示本 研究選用近似熵與總變異之特徵作為辨識注意力高低之腦波訊號是有效 的。. 35.
(44) 表 4-1 以基因演算法進行小波轉換特徵之特徵選取後支持向量機之注意力辨 識結果 正確樣本. 錯誤樣本. 正確率. 高注意力類別. 447. 41. 91.60%. 低注意力類別. 174. 25. 87.44%. 整體類別. 621. 66. 90.39%. GA-SVM. 此外，在同樣採用基因演算法針對小波轉換之特徵進行特徵選取下，本 研究亦比較使用倒傳遞類神經網路發展基於腦波訊號之注意力辨識系統與 支持向量機所發展基於腦波訊號之注意力辨識系統的注意力辨識正確率，結 果如表 4-2 所示。結果顯示，倒傳遞類神經網路在高注意力類別中的正確率 為 81.35%；低注意力類別之正確率為 79.90%；整體類別之正確率為 82.39%， 結果顯然不如以支持向量機當分類器所得之辨識結果，因此後續的實驗評估 中以支持向量機所建立之注意力辨識系統為主。. 表 4-2 以基因演算法進行小波轉換特徵之特徵選取後倒傳遞類神經網路之注 意力辨識結果 正確樣本. 錯誤樣本. 正確率. 高注意力類別. 407. 81. 81.35%. 低注意力類別. 159. 40. 79.90%. 整體類別. 566. 121. 82.39%. GA-BPN. 36.
(45) 4.2 多重實驗分析結果 為了進一步評估本研究基於小波轉換、基因演算法及支持向量機所發展 基於腦波訊號之注意力辨識系統，是否能夠有效的識別出受試者高低注意力， 本研究設計了四個實驗作為系統效能評估之依據，各項實驗結果分析與歸納 如後。 4.2.1 效能評估指標 在實驗結果的效能評估上，本研究使用準確率(Precision Rate)、召回率 (Recall Rate)與 F 測量值(F-measure)作為注意力識別的效能評估指標，分別 定義如下： 準確率=. 召回率=. 系統正確辨識出低注意力的總時間 系統辨識出低注意力的總時間. (4-1). 系統正確辨識出低注意力的總時間 受試者具低注意力的總時間. F 測量值= 2×. (4-2). 準確率×召回率 (4-3). 準確率+召回率. 其中，準確率越高表示系統所辨識出的低注意力總時間與正確辨識出低注意 力的總時間越相近；召回率越高則表示系統所辨識出的低注意力總時間能夠 涵蓋越多受試者具低注意力的總時間；而 F 測量值係為綜合考量準確率與召 回率的評估指標，F 測量值越高，表示系統的辨識效能越好。 4.2.2 自行標記低注意力時間與系統辨識低注意力時間之效能評估 本實驗挑選了三位受試者，藉由影片撥放系統觀賞片長 16 分鐘的影片 後，讓受試者自行標記該影片中自己認為注意力不集中的時間點，再與本研 究發展的注意力辨識系統所辨識出的低注意力時間點進行比對後，以效能評 估指標進行效能評估，結果如表 4-3 所示。 37.
(46) 表 4-3 注意力辨識系統辨識受試者自行標記低注意力時間之效能評估結果 受試者. 準確率. 召回率. F-measure. 受試者 1. 56.09%. 94.78%. 0.7047. 受試者 2. 40.00%. 62.20%. 0.4869. 受試者 3. 61.36%. 80.68%. 0.6971. 平均值. 52.48%. 79.22%. 0.6296. 根據表 4-3 的結果顯示，平均召回率為 79.22%，最高召回率達到 94.78%， 平均準確率為 52.48%，最高準確率也有 61.36%，平均 F 測量值為 0.6296， 最高 F 測量值也有 0.7047，顯示本研究所發展之注意力辨識系統確實能夠有 效的辨識出受試者在觀看影片時的低注意力時間片段。 4.2.3 加入干擾因素引發之低注意力時間與系統辨識出低注意力時間之效能 評估 本實驗讓 4 位受試者觀看一段加入了 7 個具有聲音與圖片干擾因素的影 片，用以影響受試者之注意力，本研究將影片中具有干擾因素的時間點與注 意力辨識系統所辨識出之低注意力時間點進行比對，以效能評估指標進行評 估，結果如表 4-4 所示。. 表 4-4 注意力辨識系統辨識加入干擾因素影片引發低注意力之效能評估結果 受試者. 準確率. 召回率. F-measure. 未辨識出之數量. 受試者 1. 43.86%. 51.02%. 0.4717. 2. 受試者 2. 35.40%. 77.55%. 0.4861. 1. 受試者 3. 46.25%. 66.07%. 0.5441. 1. 受試者 4. 32.9.%. 54.42%. 0.4103. 3. 平均值. 41.84%. 62.27%. 0.4780. 1.75. 38.
(47) 根據表 4-4 的結果顯示，平均召回率為 62.27%，最高召回率為 77.55%， 平均準確率為 41.84%，最高準確率為 46.25%，平均 F 測量值為 0.478，最 高 F 測量值為 0.5441，未被辨識出來的數量平均不到 2 個，顯示本研究所發 展之注意力辨識系統可有效辨識出受試者觀看影片時因注意力分散而降低 注意力的時間點。 4.2.4 受試者自我評量系統所辨識出的低注意力時間之效能評估 本實驗讓 4 位受試者觀看一段影片，在影片觀看完畢後，讓受試者填寫 一五等第量表，回答對於注意力辨識系統所識別出的低注意力時間，是否為 自己注意力較為低落時間點的同意程度，結果如表 4-5 所示。 根據表 4-5 的結果顯示，所有受試者的量表平均分數皆未超過 4 分，最 高為 3.36 分，最低分為 2.09 分，所有受試者量表分數的總平均值為 2.83 分， 落在稍微不專注(2)與有專注(3)之間，說明大部分的受試者一定程度認同本 研究所發展注意力辨識系統所辨識出的低注意力時間。 表 4-5 受試者填寫系統所識別出的低注意力時間量表之評量結果 受試者. 系統辨識所得低注 意力時間. 量表平均分數. 受試者 1. 22. 3.36. 受試者 2. 36. 3.00. 受試者 3. 23. 2.86. 受試者 4. 32. 2.09. 平均值. 28. 2.83. 4.2.5 系統偵測所得受試者低注意力時間點個數與學習成效之相關分析 本實驗讓 8 位受試者施予欲觀看教學影片內容之前測，之後讓 8 位受試 者觀賞影片進行影片內容學習，觀賞完後隨即施予後測，作為學習成效評估 39.
(48) 之依據，表 4-6 為受試者低注意力時間點個數與前測分數、後測分數與進步 分數之敘述統計結果。表 4-7 為系統偵測出之受試者低注意力時間個數與學 習成效之相關分析結果。. 表 4-6 受試者低注意力時間點個數與前測分數、後測分數與進步分數敘述統 計結果 受試者. 系統辨識受試者低. 前測分數. 後測分數. 進步分數. 注意力時間個數 受試者 1. 87. 82.5. 90. 7.5. 受試者 2. 10. 83. 97. 14. 受試者 3. 34. 91.5. 95.5. 4. 受試者 4. 70. 80.5. 86.5. 6.5. 受試者 5. 51. 81. 90. 9. 受試者 6. 81. 87.5. 89.5. 2. 受試者 7. 110. 92.5. 88.5. -4. 受試者 8. 68. 87. 88.5. 1.5. 表 4-7 受試者低注意力時間點個數與學習成效之相關分析結果 低注意力時間點個數 Pearson 相關. 顯著性(雙尾). 受試者人數. 前測分數. .269. .519. 8. 後測分數. -.806*. .016. 8. 進步分數. *. .024. 8. -.774. *p<.05。 根據表 4-7 的結果顯示，系統偵測出受試者的低注意力時間點個數與後 測分數具有顯著負相關(r=-.806, p=.016<.05)，受試者的低注意力時間與進步 40.
(49) 分數具有顯著負相關(r=-.774, p=.024<.05)，顯示受試者處在低注意力時間越 多，其後測分數與進步分數就越低；由於後測分數與進步分數和低注意力時 間具有顯著負相關，因此可進一步對學習成效與系統偵測出的低注意力時間 點個數進行迴歸分析，結果如表 4-8 所示。. 表 4-8 後測分數、進步分數與低注意力時間點個數之迴歸分析結果 模式摘要. ANOVA. 標準化係數. 選入變項. R. R 平方. F值. Beta 分配. t. 後測分數. . 806𝑎. .649. 11.096. -.806. -3.331. .016. 8.95. -.774. -2.992. .024. .599 . 774𝑎 a：預測變數為低注意力時間個數. 進步分數. 顯著性. 根據表 4-8 所示，顯示受試者的低注意力時間點個數可以有效預測後測 分數(R2=.649, p=.016)，能夠解釋後測分數之變異量為 64.9%；受試者的低注 意力時間點個數可以有效預測進步分數(R2=.599, p=.024)，能夠解釋進步分 數的變異量為 59.9%，皆具有不錯的預測效果。. 41.
(50) 第五章. 結論與未來展望. 5.1 結論 一、本研究所發展的基於腦波訊號之注意力辨識系統，可有效辨識出高低注 意力： 本研究藉由 CPT 持續注意力測驗的答題正確與否，作為擷取受試者高 低注意力腦波訊號的依據，再用小波轉換將腦波訊號進行拆解，以得到高低 注意力腦波訊號特徵，再利用基因演算法選取影響高低注意力主要特徵，以 提高基於支持向量機發展高低注意力辨識系統之辨識正確率。結果顯示，使 用支持向量機所建立之高低注意力辨識系統，在高注意力類別中的辨識正確 率達 91.60%；低注意力類別之辨識正確率為 87.44%；整體之辨識正確率為 90.39%，具有不錯之高低注意力辨識效能，因此具有實際應用價值。 二、本研究發展一套結合影片撥放之標記系統，便於做影片時間標記： 為了評估基於腦波之注意力辨識系統的高低注意力辨識效能，也進一步 發展整合基於腦波之注意力辨識系統與影片播放器之影片標記系統，可讓使 用者標記觀看影片時產生低注意力之時間點，以便與基於腦波之注意力辨識 系統所辨識之低注意力時間點進行對應。 三、本研究發展之結合影片撥放之標記系統，可有效辨識出受試者在觀看影 片時的低注意力時間： 由實驗結果顯示，本研究發展基於腦波訊號之注意力辨識系統所偵測之 低注意力時間點與受試者標記之低注意力時間點，具有極高的吻合度，在準 確率、召回率及 F 測量值上皆達一定水準。 四、以李克特氏 5 等量表讓使用者自行評量系統辨識出的低注意力時間，結 果顯示使用者皆同意大部分系統所辨識出的低注意力時間：. 42.
(51) 本研究也使用李克特氏五等量表分析使用者對於系統所辨識出的低注 意力時間，是否與受試者的認知吻合，結果顯示使用者的認同度介於稍微不 專注與專注之間，顯示本研究發展基於腦波訊號之注意力辨識系統的確能一 定程度辨識出受試者觀看影片時的低注意力時間點。 五、注意力辨識系統輔助影片學習的受試者在低注意力時間與學習成效上具 有顯著負相關： 本研究針對注意力辨識系統所辨識出的低注意力時間個數與學習成效 進行皮爾森積差相關分析，結果顯示以本研究所發展之注意力辨識系統輔助 影片中低注意力影片片段之複習的受試者，在影片中由系統所偵測出的低注 意力時間個數與學習成效及進步分數均呈現顯著負相關。顯示本研究所發展 之注意力辨識系統，的確能有效診斷出因低注意力影響學習成效之影片學習 內容，在輔助影片學習上具有不錯的效能。. 5.2 未來展望 一、將神念科技開發的 MindWave 腦波耳機之開發套件與本研究的影片標 記系統做結合，發展出一套基於注意力識別之影片學習補救教學系統： 在腦波訊號處理的相關文獻中，大多是採用 10-20 非侵入式腦波電極點 量測電極帽來擷取腦波訊號，而本研究使用的是單極點單通道的非侵入式腦 波量測耳機收集腦波訊號，雖然在腦波訊號擷取上不如 10-20 非侵入式腦波 電極點量測電極帽來的精確，但是具有配戴方便的優勢，在發展成實務應用 系統上較具潛力。由於目前本研究所發展的影片標記系統，尚未取得神念科 技所開發的 MindWave 腦波意念耳機之 SDK 軟體開發套件，因此尚無法發 展出能立即依據取得之原始腦波訊號進行高低注意力識別之系統，未來希望 可以將神念科技所開發的 MindWave 腦波意念耳機之開發套件與本研究之標 記系統結合，發展出一套基於注意力識別之影片學習補救教學系統。. 43.
(52) 二、將場景偵測技術與本研究之影片撥放系統結合，讓系統達到自動篩選低 注意力時間範圍的功能： 本研究在判讀低注意力影片片段時，係採用人工篩選方式進行，以受試 者具有低注意力時間點之場景畫面時間作為低注意力的時間範圍，未來希望 可以將場景偵測技術與本研究之影片撥放系統結合，讓系統達到自動篩選低 注意力時間範圍的功能。 三、未來可進行大規模的教學實驗，進一步驗證系統在輔助教學應用上的價 值： 若本研究發展之整合腦波注意力辨識系統與影片撥放系統之補救教學 系統能完成上述兩項功能的發展，將具有極高的輔助教學應用價值，未來即 可進行大規模的教學實驗，進一步驗證系統在輔助教學應用上的價值。. 44.
相關文件
the prediction of protein secondary structure, multi-class protein fold recognition, and the prediction of human signal peptide cleavage sites.. By using similar data, we
include domain knowledge by specific kernel design (e.g. train a generative model for feature extraction, and use the extracted feature in SVM to get discriminative power).
2 Distributed classification algorithms Kernel support vector machines Linear support vector machines Parallel tree learning.. 3 Distributed clustering
2 Distributed classification algorithms Kernel support vector machines Linear support vector machines Parallel tree learning?. 3 Distributed clustering
He proposed a fixed point algorithm and a gradient projection method with constant step size based on the dual formulation of total variation.. These two algorithms soon became
Lin, A smoothing Newton method based on the generalized Fischer-Burmeister function for MCPs, Nonlinear Analysis: Theory, Methods and Applications, 72(2010), 3739-3758..
support vector machine, ε-insensitive loss function, ε-smooth support vector regression, smoothing Newton algorithm..
Parameter/kernel selection and practical issues Multi-class classification.. Discussion
