行政院國家科學委員會補助專題研究計畫
▓ 成 果 報 告
□期中進度報告
結合生物反饋之新世代腦機介面及其在移動載具控制之應
用–總計畫
計畫類別:□ 個別型計畫 ■ 整合型計畫
計畫編號:NSC 96-2221-E-009-243-
執行期間:96 年 8 月 1 日至 97 年 7 月 31 日
計畫主持人:林進燈 教授
共同主持人:范倫達助理教授、陳永昇助理教授、張志永教授、盧智成
博士
計畫參與人員:柯立偉博士、邱德正、陳世安、黃騰毅、林盈宏、王怡
然、呂紹瑋
成果報告類型(依經費核定清單規定繳交):■精簡報告 □完整報告
本成果報告包括以下應繳交之附件:
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
處理方式:除產學合作研究計畫、提升產業技術及人才培育研究計畫、
列管計畫及下列情形者外,得立即公開查詢
□涉及專利或其他智慧財產權,□一年□二年後可公開查詢
執行單位:
交通大學 電機與控制工程學系(所)
中 華 民 國 97 年 10 月 24 日
行政院國家科學委員會專題研究計畫成果報告
結合生物反饋之新世代腦機介面及其在移動載具控制之應用-總計畫
計畫編號:NSC 96-2221-E-009-243-
執行期限:96 年 08 月 01 日至 97 年 07 月 31 日
主持人:林進燈 教授
執行機構:交通大學 電機與控制工程學系(所)
一、摘要
隨著醫學、生物科技、電機資訊等領域的 快速發展,我們對人體因此有了更深層的了 解,雖然直到今日,人體的奧妙仍像是一巨大 謎團,但由已知人腦的組織與架構,以及人體 中可量測到的訊號與反應,已經足以讓研究人 員思考以腦波、肌電波等生理訊號為基礎,建 立新的人機介面的可能性。腦機介面藉由腦波 訊號的分析、特徵擷取與命令轉譯來進行機構 控制已成為新一代的人機互動介面。然而腦機 介面的系統效能是否能有效提升成為其未來 實用化與生活化的關鍵課題。此研究與傳統控 制問題最大的差別在於使用者本身即位於控 制迴路中,因此腦機面效能的提升除了對改善 機構的控制法則外,生理特徵的強化與擷取則 扮演更重要與關鍵的角色。 本計畫的目標為結合適用於開放環境之 腦電訊號感測系統與多面向的生物反饋機制 以開發新世代之腦機介面系統,並應用於移動 載具之控制。目前大多數的生理感測器多僅適 用於封閉與控制環境中,因此本計畫將開發開 放式生理訊號擷取感測器(Bio-Sensors)以 在日常環境中擷取高感度的腦電生理訊號,並 設計即時訊號處理晶片與嵌入式整合系統作 為腦機介面載台。此外有別於傳統之二元式腦 機介面,我們將開發多重命令之運動想像腦機 介面,以產生控制命令進行移動載具作控制。 為了提升腦機介面之控制效能,我們將開發多 面向生物反饋技術,利用反饋式學習與訓練, 增進使用者本身之空間巡行能力、精神專注力 以提升其腦電訊號特徵之強度與淨度,以大幅 提升腦機介面之系統效能。此腦機介面有別於 傳統的神經與肌肉系統之通訊與控制管道,除 了讓神經或肢體受創的人有另一種與外界溝 通的選擇,而它也會是一種人類操控機器的新 模式,透過移動式載具的操控,驗證其在日 常生活與工業應用的可行性。 本計畫今年度已完成建構多項可適性輔 助科技與實驗,以下是總計畫與各子計畫整合 後的兩大研究主題與其本年度之進度。主題 一—開發腦機介面並實現移動載具之控制:開 發適用於開放環境之抗雜訊腦電生理訊號感 測器,在取得可靠的訊號之後,透過智慧型生 理訊號處理晶片,將訊號經過分析,透過嵌入 式腦機介面擷取意念腦波特徵,再根據所欲控 制的機構,將其轉換成適當控制指令。我們將 透過移動載具(Moving Vehicle)的控制,結合 以機器視覺為基礎之移動載具獲知與追蹤,以 驗證此系統之可行性與效能。主題二—透過多 面向生物反饋技術,大幅提升腦機介面之系統 效能與穩定性:探討使用者本身空間巡行 (spatial navigation) 功能之行為與生理關 連性,透過生物反饋訓練以調整使用者之空間 巡 行 策 略 及 反 覆 練 習 , 減 低 迷 向 / 迷 路 (disorientation)的機會,以控制載具到達目 的地。當使用者明確清楚該行進的路徑與方位 後,接下來的問題就是使用者是否能專注於特 定事件以產生特定的腦電波特徵訊號,讓腦機 介面能清楚擷取其所欲下達的命令來控制載 具。當人類進行雙重或多重工作時,腦波活化 區域與特性可能會與進行單一工作不同,此分 心效應(distraction)會影響驅動腦機介面的 特定腦電特徵訊號之強度與純度,混淆控制命 令的判斷,降低系統效能。因此我們將分析與 估測分心效應產生的腦電波訊號變化,並藉由 生物反饋補償提升使用者的專注力及其腦電 波特徵訊號之強度與純度。而最後腦波特徵之 活動強度提示與視覺化控制結果提示亦將回 饋給使用者,讓使用者自我訓練強化腦電波特 徵的技巧,進一步提升腦機介面之系統效能。 關鍵字:腦電波、腦機介面、生物反饋、移動 載具控制、開放環境腦電波感測圖1、計畫總體架構與各子計畫間關聯圖
二、研究目標與架構
本計畫之主要目標分為三大項目:(1) 開 發開放式生理訊號擷取感測器;(2) 開發多重 命令之運動想像腦機介面,以產生控制命令進 行移動載具作控制;(3) 開發多面向生物反饋 技術,利用反饋式學習與訓練,增進使用者本 身之空間巡行能力、精神專注力以提升其腦電 訊號特徵之強度與淨度。為了達到這三項主要 目標,本計畫分成四項子計畫進行,第一年的 研究目標為規劃計畫整合性主題、建構基本設 備與環境、規劃實驗設計、進行初步實驗以及 實驗資料初步分析。各子計畫所構成之整體架 構如圖 1 所示。 子計畫二:智慧型感測系統單晶片設計與嵌入 式無線生醫平台開發 主持人:范倫達助理教授 本子計畫主要目的在負責進行包括腦電波訊 號等多生理訊號感測系統單晶片的設計與製 作,及其相對應的嵌入式無線生醫平台整合。 本計畫分三年執行,主要基於超大型積體電路 系統單晶片整合設計技術(VLSI-SoC),除分別 製作生醫應用之多感測器整合通用型類比數 位轉換器、獨立成份分析設計、應用於生醫感 測網路之低功耗控制等主要核心電路以外,並 結合上述核心電路研究成果,將各項元件縮 小、精化,進一步的整合成為智慧型感測系統 單晶片設計;且應用自行設計的晶片,搭配其 他商用元件,開發結合可攜式、低功耗、無線 通訊傳輸等特色的嵌入式無線生醫平台。 子計畫三:運動想像腦電波之腦機介面系統 主持人:陳永昇助理教授 本子計畫的目的,是在於設計不同的想像 運 動 實 驗 , 並 使 用 小 波 轉 換 (wavelet transform)、時間頻率分析(time-frequency analysis)、事件相關同步/非同步分析等許多 離線訊號分析的方法,觀察受試者在各種不同 的想像運動中量測到的腦電波訊號,藉以針對 變化最顯著的運動發展有效的空間濾波器技 術。根據腦電波訊號源逆向估算的技術,再搭 配 不 同 的 限 制 式 設 計 空 間 濾 波 器 (spatial filter),對量測到的腦電波訊號作整體的濾 波,得到最具有代表意義的訊號,以提升後續 研究工作的效能。後續再搭配總計畫與其他子 計畫之推展與需求,設計由簡單到進階的腦機 介 面 (brain-computer interface) 訓 練 系 統,藉由生物反饋(bio-feedback)的機制,讓 受試者能根據訓練系統的指示做自我訓練,此 時就可以配合已發展的空間濾波器技術來最 佳化量測的訊號,使生物反饋的根據有更高的 準確度。由於使用者在不同的心智情況下腦電 波生理訊號量測的結果會略有不同,因此藉由 多次的訓練實驗,我們也擬發展自動化調整空間濾波器的技術,在線上的實驗中根據使用者 當下的心智情況,對濾波器做即時的最佳化調 整,使長時間訓練中濾波器仍保有效果。而運 動想像腦電波分析與模型建構將結合子計畫 二作為載具控制的整合性系統,為整體計畫提 供了一個可即時運作的作業平台。 子計畫四:以機器視覺為基礎之人意向移動載 具獲知與追蹤 主持人:張志永教授 本子計畫在於利用視覺狀態回饋給使用 者,探討其對的人腦波訊號之影響。利用本計 畫結果,子計畫三可據此鑑別岀重要視覺腦波 生理訊號的位置,即頻道,及訊號強弱變化, 一起與子計畫五方向感腦波訊號、注意力腦波 訊號,整體訓練學習後,能提昇在移動載具的 控制效率。子計畫四執行所需之移動載具,擬 以電動代步車為實驗平台。本計畫將探索在不 同環境(包括影子干擾,高低照度情況,車顏 色、人衣服、背景相近)等情況下,移動載具 車之視訊獲知方法,並研究移動載具車之視訊 空間定位與移動辨識方法,提供受試驗者自然 地交互作用,本計畫之輸出,可以語意式描 述,如右前方快速前進、慢速左轉、慢速右轉 後退等文字型式表達,或以運動向量(向量方 向代表載具車方向 向量長度代表載具車速度) 於面板顯示。最後則將推廣至任何視角均可適 用之移動載具車的視訊空間定位與移動辨識 方法。 子計畫五:增進人類空間巡行能力之生物反饋 訓練系統 主持人:林進燈教授 本計劃利用虛擬實境技術探討不同方向 感的人策略之差異,探討被動式導引與主動式 導引條件下之使用者行為與腦電波生理反應 之關連性,並利用調控腦電波活動區域與特徵 的生物反饋技術,訓練缺乏方向感的人改變想 法與策略,提升空間巡行之能力。可預期使用 者在經過空間航行能力訓練後,提升控制移動 載具到達目標的正確率。 由圖1可知,每個子計畫皆有本身的主要 研究目標,為了達到完成一結合適用於開放環 境之腦電訊號感測系統與多面向生物反饋機 制之新世代腦機介面系統,並應用於移動載具 之控制,各子計畫間有相互連結之計畫整合性 研究主題。這些整合性研究主題皆有其功能性 (monitoring、helping與training)與目的, 透過各子計畫間的連結,以實際之合作建構輔 助與訓練方案。此系統除了讓神經或肢體受創 的人有另一種與外界溝通的選擇外,也是一種 使用者位於控制迴路並進行訓練之操控機器 新模式。 主題一—開發腦機介面並實現移動載具之控 制: 本項主題主要是以控制為主軸,首先我們 開發適用於開放環境之抗雜訊腦電生理訊號 感測器(總計畫) ,在取得可靠的訊號之後, 透過智慧型生理訊號處理晶片(子計畫二),將 訊號經過分析,透過嵌入式腦機介面(子計畫 二、三)擷取意念腦波特徵,再根據所欲控制 的機構,將其轉換成適當控制指令。我們將透 過移動載具(Moving Vehicle)的控制,結合以 機器視覺為基礎之移動載具獲知與追蹤(子計 畫四),以驗證此系統之可行性與效能。 主題二—透過多面向生物反饋技術,大幅提升 腦機介面之系統效能與穩定性: 本項主題是透過多面向生物反饋技術(總 計畫和子計畫三、五),提升使用者意念之正 確性及其腦電特徵訊號之強度與純度,以大幅 提升腦機介面之系統效能與穩定性。我們將探 討使用者本身空間巡行(spatial navigation) 功能之行為與生理關連性,透過生物反饋訓練 以調整使用者之空間巡行策略及反覆練習,減 低迷向/迷路(disorientation)的機會,以控 制載具到達目的地(子計畫五)。當使用者明確 清楚該行進的路徑與方位後,接下來的問題就 是使用者是否能專注於特定事件以產生特定 的腦電波特徵訊號,讓腦機介面能清楚擷取其 所欲下達的命令來控制載具。當人類進行雙重 或多重工作時,其腦波活化區域與特性可能會 與 進 行 單 一 工 作 不 同 , 此 分 心 效 應 (distraction)會影響驅動腦機介面的特定腦 電特徵訊號之強度與純度,混淆控制命令的判 斷,降低系統效能。因此我們將分析與估測分
心效應產生的腦電波訊號變化,並藉由生物反 饋補償提升使用者的專注力及其腦電波特徵 訊號之強度與純度(總計畫)。而最後腦波特徵 之活動強度提示(子計畫三)與視覺化控制結 果提示(子計畫四)亦將回饋給使用者,讓使用 者自我訓練強化腦電波特徵的技巧,進一步提 升腦機介面之系統效能。
三、本年度子計畫研究目的與成果
子計畫二:智慧型感測系統單晶片設計與嵌入 式無線生醫平台開發 本年度子計畫二之執行目標在於各項感 測器雛型開發,先確立有效之多感測訊號擷取 路徑,進而經由電路設計方式降低功耗。此子 計畫目標、具體研究方法和結果如下所述: A. 可調變式Sigma-Delta類比數位轉換器設 計 本研究設計一個可依選擇的模式而改變 解析度的三角積分類比數位轉換器,總共分為 二種模式可供選擇,此二種模式依不同的輸入 訊號而有不同需求的解析度,一為生理電訊 號,一為生理影像訊號。則在生理電訊號和生 理影像訊號的擷取系統中,透過後端的控制來 轉換不同解析度的模式,達到不同通道共用一 顆ADC的設計以結省整體系統面積和功耗。ADC 的架構選用Sigma-Delta的架構,主要分為二 個部分:三角積分模組和後端的降頻數位濾波 器,如下圖2。 圖 2、可調式 Sigma-Delta ADC 方塊圖 本年度重點研究結果: 本設計亦已完成設計及下線流程,其晶片 佈局如圖 3,由於此晶片是類比和數位混合訊 號的電路,因此佈局時將有以下重點需注意: z 數位與類比電路之間要以電容隔開,避 免數位高頻訊號耦合至類比電路產生雜 訊。 z 數位與類比的電源要分開供應,且儘可 能的遠離,並用不同的 pad 接至外部, 以提高類比電路的 PSRR (power supply rejection ratio) z 在敏感電路中,外加一層或多層 guard ring,來保護電路,並能將雜訊從 guard ring 排除。 z 若電容或電阻的精確度要求高,在佈局 時,電容要使用共質心佈局,而電阻要 用交叉(intersection)佈局。 z 在佈局差動輸入元件時(如:運算放大器 的差動輸入對)要儘可能的對稱。 z 為了降低 latch up 效應,必須做 ESD (electro-static discharge)防護,在 PAD 製作時可以使用有靜電保護電路的 PAD。 z 在元件兩旁做 dummy cell 以避免元件蝕 刻不完全。 根據上述雙模式設計概念與佈局規則,其晶片 規格如表 1,並完成下列佈局後,生理電訊號 之模擬如圖 4,生理影像訊號之模擬如圖 5: 圖 3、可調式生醫應用 Sigma-Delta ADC(含 ESD PAD) 表 1 可調式 Sigma-Delta ADC 規格表Process TSMC 0.18um CMOS
Supply Voltage 1.5V
Temperature range 0°
C~ 90°
Input Clock 1.28MHz
Mode Bio-electric Bio-image
Signal Bandwidth 1.25kHz 10kHz
Sampling Frequency 640kHz
SNR 60 dB 50 dB
Resolution 10 bit 8 bit
Power Dissipation 14.2 mW (analog:977.53uW; digital:13.235mW) 圖 4、輸入生理頻帶測試訊號之頻譜分析模 擬圖 圖 5、輸入生醫影像頻帶測試訊號之頻譜分析 模擬圖 B. 獨立成份分析(ICA)加速運算器IP設計: 研究方法 在真實世界的多感應器應用中,如何從混 合訊號中分析出獨立訊號的瞎訊號分離是一 個常見的問題,例如:音訊和生醫訊號處理。 本論文提出一個基於資訊最大化之獨立事件 分析方法應用於四通道 EEG 訊號分離。並用定 點數實現於 FPGA,再藉由藍芽傳輸分離後的訊 號。經由實驗的結果,本論文所提出的硬體方 式比軟體運算快 56 倍,且絕對相關係數和離 線訊號處理比較至少有 80% 。 最後,實際示 範將用 Altera DE2 發展板展示,此設計使用 16605 邏輯單元。 而本研究所提出的四通道即時獨立事件 分析系統也加入彈性的介面用於實際 EEG 訊 號分離的應用。用資訊最大化演算法的即時生 醫訊號分離其取樣頻率設定在 64Hz,並藉由 整合性的算術運算架構可讓整體操作速度在 68MHz。下圖 6 為即時 ICA 與非即時 ICA 之差 異比較,而下圖 7 為本研究之硬體架構圖。
圖 6、On-line ICA(右)與 OFF-line ICA(左) 之差異
圖 7、On-line ICA 加速器之硬體架構圖 本年度重點研究結果:
本設計已完成設計,matlab 層級模擬,如 下圖 8 所示,HDL 模擬,以及將其硬體描述語 言佈植於 ALTERA DE2 FPGA 系統開發板上, 如下圖 9 所示:
圖 8、On-Line ICA 與 OFF-Line ICA 之比較圖 (MATLAB)
圖9、On-Line ICA在FPGA上之實現 C. 嵌入式無線生醫平台開發 研究方法 為求能確實量測至真實 EEG 信號,本計畫 從晶片設計以及系統設計層面雙管齊下,預防 因為硬體架構的延遲開發造成總計畫之核心 演算法進度延遲。 1.前端無線感測電路 本電路之設計方針亦同前述前級放大濾 波器之動機,且訊號處理流程如圖 10 所示。 原始腦波訊號先經放大器做 99 倍的放大,然 後訊號會經由一個帶通濾波器保留 1 到 100 赫 茲。經過帶通濾波之後,訊號會再放大 50 倍, 總結腦電波訊號的總放大倍率是 4950 倍。最 後,倍放大後腦電波訊號會轉換成 8 位元的數 位訊號,以每秒 256 點進行取樣。 圖 10、前端無線感測電路架構圖 2.數位信號處理平台
本計畫採用 Analog Device Instrument 公司所設計之晶片 ADSP-BF533 (Blackfin533) 為數位信號處理平台,其架構圖為圖 11。本 平台支援 BLUETOOTH 藍芽無線傳輸通信模組, 內建 16MB SDRAM,4MB Flash RAM,電源管理 模組以及解析度 240×320 之 TFT LCD。預計在 未來將會建構一有效演算法,並使用本平台進 行諸如 FFT 等信號處理時專用指令。 圖 11、數位信號處理平台架構圖 本年度重點研究結果: 1. 前端無線感測電路 腦電波前端放大濾波電路實體圖如圖 12 所示。我們實現前述之四通道架構電路於 65mm ×45mm 雙面雙層電路板,包含下列離散元件如 儀表放大器、放大濾波器、類比轉數位器、信 號編碼電路以及藍芽無線傳輸模組。實驗後證 明本電路能有效擷取運算所需之腦電波頻 帶,並減少了系統體積,讓電路更適合於可攜 式裝置來使用。 圖 12、腦電波前端放大濾波電路 2.數位信號處理平台 本計畫之數位信號處理平台實體圖如圖 13 所示。依照前述之系統架構圖,本年度完 成了以 ADSP-BF533 為計算核心的嵌入式生理 訊號分析系統,並建構於 65mm×45mm 雙面單層 電路板上,內建藍牙無線傳輸模組以及 TFT-LCD 小型面板。目前本系統已完成硬體設 計,正進入軟體操作系統平台 OS(Operation System)之建構,希冀將其他子計畫之演算法 實現在本系統上。 圖13、腦電波數位信號處理平台
子計畫三:運動想像腦電波之腦機介面系統 本年度子計畫-是對運動想像時腦電波的變化 做完整的分析與探討。為了後續研究時的方 便,並且能更有效達成腦機介面應用的目標, 我們希望可以運用能使腦電波產生最顯著變 化的運動想像,經過設計搭配之後作為系統命 令的基本來源此目標、具體研究方法和結果如 下所述: 實驗流程的設計主要分為兩大類,分別是 以提示為基礎的運動(cue-based movement) 以 及 自 發 性 的 自 我 節 律 運 動 ( self-paced movement),將在以下分述。而運動的設計有 幾種區分方式,例如以部位區分:手部、腳部、 舌頭,以複雜度區分:抓取動作、抬起動作等 等,以及一些重要的其他比較研究例如慣用手 與分慣用手的研究、運動次數不同的研究等 等,將在以下條列式分述一些設計方法以及相 關研究。而由於研究腦電波時量測到的訊號訊 雜比(Signal-to-Noise Ratio, SNR)非常低, 很難從原始資料去觀察分析出有用資訊,因此 良好的資料前處理步驟能更有助於提高對處 理完的訊號做後期分析的效能,而資料前處理 又可分為訊號重新參考 (Re-reference)、人 為雜訊去除(Artifact removal)等二個重要 步驟。而訊號經由腦電波或腦磁波量得且前處 理後,仍屬於高維度的資料,因此我們必須進 行特徵擷取以降低資料維度且突顯有意義的 腦波特徵,特徵的好壞對於後續的分辨處理有 著極大的影響,因此如何找到好的特徵實為整 個腦機介面系統中重要的一環。 A.不同形式的運動想像實驗設計: 研究方法 以提示為基礎的運動以及自我節律運動 的實驗流程(experiment paradigm)以提示 為基礎的運動(cue-based movement)的實驗 設計中必須有提示(cue),來提示受試者現在 應做何種運動,自我節律運動(self-paced movement)中則不需任何提示,受試者在一定 間隔時間範圍做自發性的運動。這便帶出一個 問題,在以提示為基礎的運動中應以何種形式 來呈現提示,我們實做兩種作法,一是以視覺 刺激為提示,二是以聽覺刺激為提示。無可避 免的是無論用何種方式來呈現提示(cue)都 會對受試者的腦電波造成一定的影響 [Pfurtscheller 04],這種事件刺激造成的腦 電波改變可以稱為事件相關電位 (Event-related potential),因此我們實驗 圖 15、不同的身體部位運動對應到運動區中負責的區域示意圖 圖 14、實驗流程
設計應盡量減少這種刺激的影響。 我們設計以提示為基礎的實驗中,受試者 在沒有干擾的實驗地點接受實驗,坐在有椅背 的舒適椅子上,雙手自然平放在桌上,再根據 前方螢幕的指示做運動想像或實際運動,而實 驗的流程如圖 14,在每個 trial 的一開始螢 幕中間會出現一個十字持續兩秒,此時受試者 便專心盯著十字的中心並且放輕鬆,兩秒過後 會有一個警告聲音(warning tone)提醒受試 者提示要出現了,聲音持續一秒後畫面上的十 字將根據運動的設計改為不同的圖示,以左右 手指抬動時為例,提示便是一個向左或向右的 箭頭。受試者根據提示做相對應的運動,接著 持續五秒的時間為完整地收集運動前後的腦 電波訊號。Trial 之間有一到三秒不等的隨機 間隔,這種設計是為了不讓受試者對實驗的時 間間隔趨於習慣使得收到的訊號強度變弱。每 次實驗預計做三段,每段持續 15-20 分鐘後稍 作休息。 自我節律運動的實驗和上述以提示為基 礎的實驗除了有無提示的差別之外,還有一個 特點就是只能做實際運動的實驗,並且須設計 能偵測運動的儀器,否則我們將無從得知受試 者在什麼時間間隔後做了下一次的運動。而沒 有運動的提示也是這類實驗的一項優點,因為 將不會有提示造成的刺激干擾腦電波的量測 結果。在自我節律運動的實驗中,我們擬使用 紅外線接收器、紅外線發送器能偵測紅外線遮 斷的特性,設計可以偵測手腳抬動的儀器。在 實驗的過程中,受試者專心注視著固定的物體 盡量避免眼動干擾,並將雙手雙腳放在設計偵 測動作的儀器上,實驗開始後受試者以自我節 律的方式,每過 8-15 秒不等做一次運動,例 如左手食指抬動或右腳的抬動,每次實驗預計 做三段,每段時間在接偵測器接收到 40 次運 動後結束,之後稍作休息再繼續。 不同部位的運動比較 研究指出人腦有負責運動相關的區域,稱 為運動區(motor area),而不同的身體部位 運動又對應到運動區中不同的區域,如圖 15 所示,負責腳部運動的區域在比較靠近頭頂的 部份,負責舌頭運動的區域在靠近兩側的部 份,而負責手部運動的區域則大致在前面兩者 中間。研究不同部位的運動主要就是基於這項 已知的知識,若是在做不同部位運動時能在各 部位在運動區相對應的位置量測到顯著的腦 電波變化,那我們就能利用這項資訊來做區分 的依據之ㄧ。 目前已有的一些腦機介面研究中,有呈現 對腳掌抬動運動和右手指抬動運動做腦電波 分析的結果,結果指出手部與腳部運動的腦電 波訊號在 beta 頻帶(16-32 赫茲)有較顯著 的變化,而其中手部運動的腦電波變化又集中 在較低頻的 beta(lower beta),而腳部運動 則 表 現 在 相 對 高 頻 的 beta 頻 帶 ( upper beta)。不過這些實驗內容都在研究的最初設 定好了,缺乏針對各種不同部位運動結果的整 體分析整理,因此我們希望藉由多樣化的實驗 設計,對不同身體部位及不同複雜度的運動的 腦電波做全面的探討。 不同複雜度的運動比較 針對不同複雜度的運動實驗設計,我們分 別針對手部、腳部與舌頭設計幾種不同複雜度 的運動:手部分別為食指抬動與手腕抬動的比 較、抓取動作與抬起動作的比較、快速抬起與 緩慢抬起的比較。腳部分別為腳趾抬起運動與 腳掌抬起的比較、單腳運動與雙腳同時運動的 比較。而舌頭為水平、垂直移動、舌頭捲曲運 動的比較。以上實驗根據研究文獻指出,人在 做較為複雜的運動時,腦電波所呈現的變化將 會比簡單的運動來得顯著,以手腕和手指為 例,當受試者在進行手腕運動時,所表現出的 事件相關同步(event-related synchronous, ERS)現象比手指運動時來得強烈,因為手腕 運動需用到較多的肌肉,相對於手指顯得更為 複雜。 其他比較 另外我們也比較運動想像與實際運動時 的大腦活化反應,動作的想像可以被視為是一 種動作執行的狀態演練,研究指出動作想像應 會與真正執行動作時的準備、計畫狀態具有相 似的大腦活化現象:在真正執行運動時,在運
動區中相對的位置量測到的腦電波會有特定 的事件相關同步及非同步現象,這些現象在運 動想像時也能被觀察出來,只是相較之下較為 微弱,而這些事件相關非同步現象在 alpha (8-12 赫茲)和 beta(18-32 赫茲)頻帶又 會有些許的差異性在,因此我們根據上述這些 基本的生理現象,對我們的實驗設計反覆地做 驗證,以設計出更完善的實驗工作以及實驗流 程。 慣用/非慣用手、腳的比較,研究指出非 慣用的四肢運動時,運動區相對位置會有特別 明顯的訊號強度變化,並且這種情形在對側腦 又更為顯著,因此若是我們的實驗驗證達到一 樣的結果,就可以增加後續研究實驗設計的變 化性,例如以左手腕抬動以及右腳趾抬動作為 兩種工作的實驗等。 B. 主 要 資 料 前 處 理 步 驟 (Data pre-processing): 訊號重新參考(Re-reference) 我們選擇使用之主要方法為 Laplacian reference;而 Laplacian 的計算方式為,各 個電極訊號在每個時間點涼測到的訊號減去 周圍四個電極訊號的平均,藉此得到受周圍干 擾較小的新訊號。 人為雜訊去除(Artifact removal) 此步驟依訊號強度以及頻率而使用兩種雜訊 瀘除方法 i.去除眼動(EOG rejection) 由眼動(Electrooculogram,EOG)形成的 電位差主要影響分布於前大腦區域,在量測腦 電波的過程中,眼動干擾會很明顯地在時間域 的訊號上觀察到,若是在分析時保留眼動的干 擾,則會降低分析的準確度。因此我們使用以 下方法去除眼動干擾。簡單的作法是我們在眼 睛周圍擺放四個電極,根據實驗觀察結果得 知 , 當 這 四 個 電 極 的 訊 號 強 度 大 於 -100~100μV 時,表示有眨眼等眼動發生,因 此我們便以此為偵測的標準,在離線分析之前 把包含眼動干擾的實驗 trial 捨棄。 ii.帶通濾波器(Band-pass filter) 我們使用 5 – 30 Hz 之帶通瀘波器對訊號進 行瀘波,一方面可避免較低頻之心跳干擾,另 一方面可去除 60Hz 市電干擾。 C.特徵擷取(Feature extraction): 時間-頻率分析(Time-Frequency analysis) 經過小波轉換後的分析的方法為時間-頻率分 析,我們可以藉由觀察時頻圖得到在某一頻 率,某段時間區段之內的能量大小變化,可以 在頻率之間以及時間區段間交叉觀察比較。而 在我們這裡使用 Morlet wavelet 來進行時頻 分析,再依此項資訊對訊號做濾波處理,且更 有利於對運動想像極為重要的 alpha 頻帶和 beta 頻做進一步觀察比較。 事件相關同步/非同步(Event-related synchronous/desynchronous,ERS/ERD) 在這些實驗資料的觀察中,我們將主要觀 察事件相關同步/非同步現象,這種現象大量 地被用在運動相關的實驗資料分析上,以訊號 的呈現來解釋的話,事件相關同步現象便是指 訊號強度的提高,而事件相關非同步則是訊號 強度的降低,因此在觀察這兩種現象時須決定 兩件事,一是用來當做基準強度的時間區段 ( baseline ), 一 般 取 休 息 狀 態 ( resting state)的腦電波來當基準,二是將時序訊號 換算為強度的計算方式,一般簡單地將時序訊 號平方後便能代表強度,而我們所使用的是 Pfurtscheller 於 1999 所提出之 ERD/ERS 訊 號分析流程,來算出訊號強度的變化。 本年度重點研究結果: 目前我們已經完成手部運動的相關實驗 分析,針對手部運動的方式做比較分析,包括 慣用手與非慣用手的比較、手指與手腕運動的 比較、持續運動和單一次運動的比較。也進行 了手部與腳部的運動比較,也更進一步的完成 了真實運動和運動想像之間的比較。我們主要 使用與大腦運動區接近的三個頻道 C3、Cz、 C4 訊號,接著使用時間-頻率圖的訊號分析技 術來對不同的實驗作觀察。 我們目前測試了一位 24 歲的男性受試 者,依照上述的實驗流程進行了多種運動的實
驗,以下是實驗成果: 手指 vs. 手腕 圖 16、手腕運動及手腕運動想像在時間-頻率 分析圖的表現,由上而下分別是 C3、Cz、C4 三個頻道,圖中左圖為左手手腕運動,右圖為 左手腕運動想像,縱軸為頻率,橫軸為時間。 本圖頻率為 6-32Hz 如圖 16 所示,我們觀察到雙腳的運動在 Cz 和 C4 頻道有較劇烈的強度變化,另外 C4 右為最 劇烈。理論上來說應該是 Cz 位置是最能代表 腳部運動的頻道,結果並不如預期,但是其中 若只觀察 beta band 的變化,可以看到 Cz 位 置的確非常顯著,比起手部的運動,腳部的運 動更能在 beta band 上呈現強度的改變,因此 後續的實驗將在腳部運動的分析上著重於 beta band。而手腕運動的在 C4 有明顯且集中 的強度變化,相對於腳部運動,手腕運動對應 的腦部活動有較突出的表現,所以之後會著重 於手部的實驗分析。 真實運動 vs. 運動想像 圖 17、手腕運動及手腕運動想像在時間-頻率 分析圖的表現,由上而下分別是 C3、Cz、C4 三個頻道。圖中左圖為左手手腕運動,右圖為 左手腕運動想像,縱軸為頻率,橫軸為時間。 本圖頻率為 6-32Hz 從圖 17 中觀察出,真實手腕運動在 C4 的 alpha band 上有明顯的強度變化,而在想像運動雖 不如預期般在 C4 有相對明顯變化,但仍能看 出 C4 較 C3 的有一定的差異,強度仍是 C4 有 較大的能量,在之後的目標是希望透過這樣的 差距,來達到分辨的效果。 圖 18、此為運動相關之 ERD 和 ERS,cue 點為 提醒受試者做運動 圖 18 為手部運動所量測到之 ERD 和 ERS, 可以看到在受試者接受到指令做運動準備 時,訊號強度相對變小即為 ERD,而在運動結 束後,訊號強度相對提升稱為 ERS,這和我們 預期相穩合,而在之後空間濾波器的設計,也 希望能針對這點,來拉大 ERD 和 ERS 的差距, 讓分辨技術的開發能更簡單分出受試者是否 有做運動想像。 子計畫四:以機器視覺為基礎之人意向移動載 具獲知與追蹤 子計畫四本年度之目標為結合二維影像輪 廓比對與臉部方位偵測來完成三維人體方位偵 測。各分項研究與整體計畫之關係、本年度研 究重點以及與其他子計畫之聯結如下所述: A.物體方向檢測 研究方法 本計畫提出一個方法,結合以傅利葉級數 分 析 為 基 礎 上 的 傅 利 葉 描 述 元 (Fourier Descriptor ) 與 線 性 判 別 分 析 (Linear Discriminate Analysis)。該方法可用於擷取物
體功能和優化級可分不同的主題其輪廓。首 先,我們利用傅立葉描述歧視不同的方向目標 問題。其次,我們使用的線性判別分析之間最 大限度地級和在同一時間內最大限度地減少 級的變化,以改善分類性能。最後,我們計算 的歐氏距離之間的問題輸入圖像和我們的模 式,建立從傅立葉描述,估計物體的方向角。 B.臉部方向檢測 研究方法 本計畫提出一個方法來估計,利用圖像處 理,面對角度估計會從幾何關係的臉。首先, 我們利用的皮膚檢測公式中的色彩空間和邊 緣檢測發現頭部區域。其次,我們利用常設仲 裁法院找到眼睛的位置,然後計算出瞳孔中心 的估計,臉部的方向發展。因此,我們可以結 合對象的方向和線性判別分析的方向,以更好 地偵查物體方向的的利益。 圖 19、臉部與頭部模型估計臉部方向角度(a) 前方(b)上方 本年度重點研究結果 任一張影像的前景人物利用一個基於前 後影像比值而建立之統計背景模型抽取 出來,並將抽取出來影像轉換成二值化 的影像格式,進而獲得前景人物的輪 廓。透過人體輪廓樣板比對及線性內插 法,可以初步得到前景人物所朝的方 向。當人臉朝向前方 30°以內時,也可 透過雙眼與臉的三角幾何關係來估算人 體所朝的方向。經實驗證明,我們提出 的方法對於人體方位偵測的準確度相當 高,角度誤差低於4°。 子計畫五:增進人類空間巡行能力之生物反饋 訓練系統 子計畫五本年度之執行目標建立可以成 功區分人類空間巡行策略的虛擬端鹿場景,並 探討人類空間巡行決策模式及其生理訊號關 連,用以建立空間運行能力相關之生理訊號資 料庫,探討不同決策對空間航行能力之差異。 另外將建構一模擬駕車於雙重工作任務(開 車與視覺刺激)下分心效應之實驗,接下來進 一步探討分析其雙重工作任務模擬駕駛反應 之分心效應,將從行為上與頭皮的腦電波分 析,來探討駕車於雙重工作任務下分心效應之 行為上操控反應及分心效應之 EEG 訊號觀 察,及關連性分析。此子計畫目標、具體研究 方法和結果如下所述: A. 行為反應的探討 研究方法 就行為反應而言,我們將利用虛擬場景中 的行為選項,探討空間巡行中的策略模式分 類,並且研究其空間航行能力差異。在行為分 析方面著重於找出受測者是哪一種空間策略 allocentric、egocentric 的人,並且利用角 度資訊測量哪一種策略對於空間巡行的能力 有較好的表現。 • 區分空間策略模式 實驗階段一是判斷受測者是屬於那一種 空 間 策 略 的 使 用 者 , 大 致 是 分 為 兩 種 : allocentric 與 egocentric。allocentric 的 人會一直以起始參考點的座標軸為自己的座 標,所以當右轉時後,起點的位置會在他的左 後方,如圖一所示。若是 egocentric 的人, 會以自身現在的座標軸為空間的參考座標,當 右轉後,起點的位置會在他的右後方,如圖 20 所示。 • 空間航行能力的量測 隧道彎路的實驗是為了測量認知狀況及 行為表現,並且量測生理訊號與紀錄誤差值。 當受測者迷失方向時,他的行為表現會出現很 大的錯誤,而認知上會出現迷失方向的狀況。 我們會擷取受測者回答正確的資料及迷失方 向的狀況,用來分析兩種不同策略的人行為表 現的結果為空間航行之能力,及兩者空間巡行 時的腦動態反應及迷失方向時的生理訊號差 異。 • 方向判斷錯誤 判斷受測者是否在彎路測試中回答正確 或是迷失方向,其中的一種簡單方法為判斷指 出出發點的方向是否為受測者的左邊或右 邊。若是指到錯誤的方向則代表著在左轉、右 轉或是連續彎路中迷失了方向,所以方向的判 斷可以用來分析以辨識是否正確記得方向。 • 角度誤差 在分辨受測者沒有迷失方向後,接著可以
利用角度的資訊,計算方向感的準確性。在虛 擬場景中,受測者指出起始點的方向的誤差 值,可以代表一種空間巡行的能力。在角度誤 差的計算,根據受測者策略的不同,參考的正 確角度值也不一樣。例如:allocentric 的人, 和他相對應的角度值是用 allocentric 的參 考座標得到的,即是以起始參考點為座標軸原 點,目前位置為此座標軸的一點,與原點的角 度 為 正 確 的 轉 向 角 , 如 圖 五 所 示 。 而 egocentric 的 人 , 則 是 用 其 本 身 body-centered 的參考座標,以終點的面向為 座標軸,與起點的角度為轉向角,如圖 20 所 示。若沒有轉彎則角度為零。我們將用變異數 分析 ANOVA 探討這些誤差值之顯著性。 圖 20、allocentric 與 egocentric 在空間巡行 時的參考座標變化及其對應起點之角度。 Allocentric 的參考座標會維持固定方向,而 egocentric 的參考座標會隨自身方向而變 B. EEG訊號量測與分析 研究方法 在現階段研究中,我們利用虛擬實境(VR) 模擬技術,偵測受測者對於不同的場景及事件 的相對應腦波訊號變化,並利用單一試驗 (single trial)的方式,進行短暫性腦動態特 性研究,瞭解受測者對於不同的場景及事件, 是否(1)正確反應,(2)不正確反應,(3)沒有 反應以及(4)辨識不正確反應的原因。本研究 團隊利用先前 EEG 訊號分析技術的延伸,應用 於研究空間航行時的腦動態特性,我們利用單 一試驗的方式得到腦波與事件刺激之間的相 對 關 係 , 並 利 用 Independent Component Analysis (ICA)演算法過濾眼動、肌肉動作所 引起的腦波雜訊,找出真正與事件相關的腦波 特徵,利用 ICA 分析所得到的單一試驗腦波 EEG 訊 號 比 傳 統 使 用 時 域 疊 加 方 式 (time-domain overlap-added)所得到的平 均 EEG 腦波訊號具有更高的訊雜比,並且比較 不受人工加工(artifical)雜訊的干擾,而 利用 ICA 分析單一試驗的方法可以近似即時 (near real-time)處理 EEG 訊號,有助於未 來 on-line 的應用。 本研究以腦訊號量測與分析的經驗為基 礎,進行受測者在虛擬隧道彎路中移動的腦波 訊號量測與分析,並利用 ICA 分析得到相關腦 波 EEG 特徵值,並以此值為參考基準,訓練容 易迷路的人更能夠掌握方向,以利於其他子計 畫作為腦波控制的命令之用。以下為本團隊研 究腦波實驗分析方法。圖 21、圖 22 為人體 10-20 system 頭殼上 36 個偵測器 channels 的 EEG 量測相對位置圖,腦部視覺區約為以 Pz 為中心點的附近區域。 圖 21、國際標準 10-20 系統在頭上的相關位 置 圖 22、36 channels 電極的相對位置圖。 實驗資料分析處理流程如圖 23 所示,腦 波的分析為將取得的 EEG 先濾掉低頻及高頻 雜訊再經過降低取樣頻率,接著依照送給 neuroscan 的 event 訊號擷取 epoch,去除 EEG 雜訊太大的 epoch 如圖 24 所示,再由 ICA 的 component 資料中去除雜訊太大的 epoch,之 後再進行 ICA 使分出的 component 去除雜訊包 含更多可用訊息。使用 ERSP (event-related spectral perturbation) 分析時間與頻譜變 化的關係,各 epoch 的 EEG 電位訊號或 ICA component 訊號先經由短時間快速傅立葉(FFT) 轉換成時間頻譜能量,取事件發生前各頻譜的 能量分別平均為基礎水準能量,在將各 epoch 的各時間頻譜能量減去基礎水準能量後平均 即為 ERSP,經由 bootstrap 的方法找出能量
中 有 顯 著 差 異 的 時 間 與 頻 段 。 經 由 ICA component 在頭殼上的比重分布,把每個受測 者之間相似的腦區訊號源分群再一起,如圖十 二所示,以比較兩種不同策略的腦動態反應差 異。 圖 23、實驗資料處理流程圖 圖 24、EEG 雜訊示意圖 本年度重點研究結果 • 依據實驗的結果可以成功分出 10 位 allocentric 及 7 位 egocentric 受測 者,兩種策略混用或迷路的人在此尚不 討論。行為分析在決定策略的時間上都 十分相近,反應時間介於 550~650 毫秒 之間,如圖 25 所示,經由 2 維 ANOVA 檢 定 , 反 應 時 間 在 allocentric 與 egocentric 不 同 策 略 無 差 異 [F(1,2256) = 0.2324; p = 0.79265 > 0.05],不同角度的彎道無差異[F(2, 2256) = 0.8768; p = 0.34918 > 0.05] , 兩 變 因 也 無 交 互 作 用 [F(2, 2256) = 0.56369; p = 0.56918 > 0.05]。在角度誤差的比較上,如圖 26 所示,不管是策略或彎度都有顯著的差 異,但是行為表現的好壞各有優劣還無 法評斷,不過在角度誤差的趨勢上都很 一致,均在小角度彎路時有高估角度的 現象,大角度時則會低估。 圖 25、決定策略時間,不管是何種策略的 受測者及哪種角度的彎路所花的時間都沒有 差異 圖 26、起點角度誤差值與絕對誤差值,兩種 策略的受測者均在小角度彎路時有高估的現 象,大角度時則會低估 經由 ICA 分離出來的 components,在大多數 受測者中可以發現不管是 allocentric 或 egocentric 在 parietal 及 occipital 都會有 腦部活動發生,推測在空間巡行的過程中,不 論不同策略的人想法思考會有什麼不同,但是 會使用到的腦區會很相近。圖 27、28 為分群 與估測腦內發生原位置的結果。
圖 27、兩種策略受測者在 parietal 腦區分群 的結果與腦內訊號源的位置,都使用到相似腦 區,且位置接近。 圖 28、兩種策略受測者在 occipital 腦區分 群的結果與腦內訊號源的位置,都使用到相似 腦區,且位置接近 圖 29~32 為 ERSP 結果,由上至下分別是轉彎 角度為 30 度、60 度、90 度,ERSP 中實線為 轉彎起始點,虛線由左至右為轉彎結束、終 點、選擇完起點為左或右、決定起點角度。 Allocentric 與 egocentric 在 parietal 區轉
彎時均會有 alpha 及其倍頻會有能量降低的 現象,而決定角度期間與之後則會有 alpha 頻
帶能量上升的現象,不過轉彎角度越大 egocentric 的能量下降會有越多的現象發 生。Allocentric 與 egocentric 在 occipital
區決定角度期間會有 alpha 頻帶能量下降的 狀況,快到終點前與決定完角度後則會有 alpha 頻帶能量上升的現象。 圖 29、 allocentric 受測者在 parietal 平均 ERSP 結果,由上而下為 30、60、90 度的轉彎, 實線為轉彎起始點,虛線由左至右為轉彎結 束、終點、選擇完起點為左或右、決定起點角 度。轉彎時 alpha 及其倍頻會有能量降低的現 象,而決定角度期間與之後則會有 alpha 頻帶 能量上升的現象 圖 30、allocentric 受測者在 occipital 平均 ERSP 結果。決定角度期間會有 alpha 頻帶能 量下降的狀況,快到終點前與決定完角度後則 會有 alpha 頻帶能量上升的現象 圖 31、allocentric 受測者在 parietal 平均 ERSP 結果。轉彎時 alpha 及其倍頻會有能量 降低的現象,而決定角度期間與之後則會有 alpha 貧待能量上升的現象。角度越大的彎 alpha 下降的能量越大。
圖 32、allocentric 受測者在 occipital 平均 ERSP 結果。決定角度期間會有 alpha 頻帶能 量下降的狀況,快到終點前 alpha 頻帶及其倍 頻會有能量上升的現象 雖然在 ERSP 的結果上無法明顯顯示兩種 策略在腦動態反應的差異,不過在基礎水準的 能量表現上就有顯著的不同如圖 33~34 所 示,不管在 parietal 區或是 occipital 區, egocentric 的受測者在基礎水準的 alpha 能 量就顯著較低,尤其在 occipital 區差異更 大,然而在空間巡行的過程中兩種策略在 alpha 頻帶最大能量值還會趨於近似,推測當 兩 種 策 略 的 人 在 執 行 空 間 巡 行 的 任 務 中 occipital 區的腦部活動 alpha 頻帶能量都會 達到一定的值以上,只是發生的時間會有所不 同,而 allocentric 為了要達到全域性的空間 感知,一開始便會以較大精神建構腦內地圖, egocentric 的人則會一點點依據自身座標來 評判空間相對位置,當需要回答相對於原點位 置時,才把所有資訊統合,造成 alpha 能量的 差異。 圖 33、allocentric 與 egocentric 受測者在 parietal 基礎水準的能量(實線)大小及巡行 過程的能量變化(色塊),底下線段為有顯著差 異的區段。egocentric 在基礎水準時 alpha 頻帶的能量會有顯著較低的現象 圖 34、allocentric 與 egocentric 受測者在 occipital 基礎水準的能量大小及巡行過程的 能量變化。egocentric 在基礎水準時 alpha 頻帶的能量會有顯著較低的現象,不過在巡行 過程中 alpha 頻帶能量的最大變化會與 allocentric 相近。
四、計畫整合性研究主題與成果
在第一年度裡,總計畫除了整合各子計畫 以外的首要之務為研發新一代的主動式感測 元件(active sensor)。由於嵌入式與無線技 術的快速發展,許多腦機介面感測器的研發也 逐步成為無線可攜式,讓使用者可以攜帶輕便 的感測元件,即可傳送生理訊號至系統。然 而,對於無線傳輸的訊號而言,大部分的舊式 生理訊號感測器(Bio-sensors)即形同天線, 會造成莫大干擾。此外,因為舊式感測元件對 於雜訊的抵抗能力並不好,因此適用的環境也 有很嚴格的限制。藉由設計開發的前端晶片介 面將雜訊濾除,前端晶片(front-end chip) 包 含 高 共 接 模 式 抑 制 比 ( Common mode rejection ratio,CMRR),低雜訊儀器放大器 (Instrumentation Amplifier,INA)以及類比 濾波器(analog filter)。所以總計畫將研發 出新一代的主動式感測元件,提高元件的抗雜 訊能力,並使其可任意應用於各式情況與環 境,為後面的各子計畫提供絕佳的整合平台。 本年度計畫整合性研究主題與成果。 主題一—開發腦機介面並實現移動載具之控 制 在第一年之中,總計畫與子計畫ㄧ集中在 各項感測器雛型開發,先確立有效之多感測訊 號擷取路徑,進而經由電路設計方式降低功 耗,並開發各項感測器無線平台,並結合子計 畫三開發腦機介面,透過子計畫四利用影像處 理及移動載具設備,實現腦機介面於移動在鋸 之控制。 主題二—透過多面向生物反饋技術,大幅提升 腦機介面之系統效能與穩定性 本項主題第一年度結合總計畫、子計畫三與子計畫五,透過運動想像時腦電波變化的分 析與探討,做為搭配日後設計系統命令的基本 來源,並與人類空間巡行能力之生物反饋系統 的訓練,並藉由生物反饋補償提升使用者的專 注力及其腦電波特徵訊號之強度與純度。而最 後運用(子計畫三)腦波特徵之活動強度提示 與視覺化控制結果提示(子計畫四)亦將回饋 給使用者,讓使用者自我訓練強化腦電波特徵 的技巧,提升使用者意念之正確性及其腦電特 徵訊號之強度與純度,以大幅提升腦機介面之 系統效能與穩定性。
五、計畫成果自評
本計畫之各項研究之目的與內容,皆根據 原計畫書之目標與方向:建構針一結合適用於 開放環境之腦電訊號感測系統與多面向生物 反饋機制之新世代腦機介面系統,並應用於移 動載具之控制。除了原本各子計畫主要之研究 目標外,本計畫特別針對此兩大研究主題,藉 由各子計畫間實際之合作,進行計畫整合性主 題研究。 根據原計畫書所提出之建立新的人機介 面的可能性。腦機介面藉由腦波訊號的分析、 特徵擷取與命令轉譯來進行機構控制已成為 新一代的人機互動介面。然而腦機介面的系統 效能是否能有效提升成為其未來實用化與生 活化的關鍵課題。此研究與傳統控制問題最大 的差別在於使用者本身即位於控制迴路中,因 此腦機面效能的提升除了對改善機構的控制 法則外,生理特徵的強化與擷取則扮演更重要 與關鍵的角色。本計畫的目標為結合適用於開 放環境之腦電訊號感測系統與多面向的生物 反饋機制以開發新世代之腦機介面系統,並應 用於移動載具之控制。目前大多數的生理感測 器多僅適用於封閉與控制環境中,因此本計畫 將 開 發 開 放 式 生 理 訊 號 擷 取 感 測 器 (Bio-Sensors)以在日常環境中擷取高感度 的腦電生理訊號,並設計即時訊號處理晶片與 嵌入式整合系統作為腦機介面載台。此外有別 於傳統之二元式腦機介面,我們將開發多重命 令之運動想像腦機介面,以產生控制命令進行 移動載具作控制。為了提升腦機介面之控制效 能,我們將開發多面向生物反饋技術,利用反 饋式學習與訓練,增進使用者本身之空間巡行 能力、精神專注力以提升其腦電訊號特徵之強 度與淨度,以大幅提升腦機介面之系統效能。 此腦機介面有別於傳統的神經與肌肉系統之 通訊與控制管道,除了讓神經或肢體受創的人 有另一種與外界溝通的選擇,而它也會是一種 人類操控機器的新模式,透過移動式載具的操 控,驗證其在日常生活與工業應用的可行 性。,這些研究皆符合原計畫之目標與方向, 達到真正生物反饋的新世代腦機介面及其在 移動載具控制之目的,並已完成預期之研究成 果。 此研究成果,涵蓋微電子、電機資訊,醫 學資訊與工程之跨領域的成功整合。對控制科 技領域具有觀念與應用突破的貢獻,提升我 國生醫儀器產業水準,未來將可廣泛應用於教 育學習、腦功能病變治療、老人認知功能強 化,高度專注力工作的警示回饋等,讓科技更 貼近人類的生活必須,增進生活之幸福與安全 感。科學等基礎研究,具有學術價值並且將發 表於國際學術期刊;而這些基礎研究與電子資 訊、電機控制整合所發展之應用性研究,則具 有實際應用價值,並且適合在學術期刊發表與 申請專利。
六、未來研究
本年度的研究成果,已完成大部分的個別 實驗基礎之軟硬體設備建構、實驗設計以及初 步的實驗與分析。第二年度將基於第一年研究 成果,除了原本實驗持續進行實驗與相關之分 析,累積研究成果外,結合開放環境之腦電訊 號感測系統與多面向的生物反饋機制以開發 新世代之腦機介面系統,預期一個以意念控制 移動式載具的系統可以被建立完成,以進行本 計畫之各項實驗,並且繼續深化與其它研究/ 實驗的整合性主題合作。七、參考文獻
[1] Chan, P.K.; Ng, K.A.; Zhang, X.L., "A CMOS chopper-stabilized differential difference amplifier for biomedical integrated circuits," The 2004 47th Midwest Symposium on Circuits and Systems, 2004., vol.3, pp. iii-33-6 vol.3, 25-28 July 2004.
IC for portable EEG acquisition systems," IEEE Transactions on Instrumentation and Measurement, vol.47, no.5, pp.1191-1196, Oct 1998.
[3] Koli, K.; Halonen, K.A.I., "CMRR enhancement techniques for current-mode instrumentation amplifiers," IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications, [see also Circuits and Systems I: Regular Papers, IEEE Transactions on], vol.47, no.5, pp.622-632, May 2000.
[4] Shojaei-Baghini, M.; Lal, R.K.; Sharma, D.K., "An ultra low-power CMOS instrumentation amplifier for biomedical applications," 2004 IEEE International Workshop on Biomedical Circuits and Systems, pp. S1/1-S1-4, 1-3 Dec. 2004.
[5] Maryam Shojaei-Baghini; Rakesh K. Lal; Dinesh K. Sharma, "A Low-Power and Compact Analog CMOS Processing Chip for Portable ECG Recorders," Asian Solid-State Circuits Conference, pp.473-476, Nov. 2005.
[6] Yazicioglu, R. F.; Merken, P.; Puers, R.; Van Hoof, C., "A 60 μW 60 nV/√Hz Readout Front-End for Portable Biopotential Acquisition Systems," IEEE Journal of Solid-State Circuits, vol.42, no.5, pp.1100-1110, May 2007.
[7] Chun-Lung Hsu; Mean-Hom Ho; Yu-Kuan Wu; Ting-Hsuan Chen, "Design of Low-Frequency Low-Pass Filters for Biomedical Applications," IEEE Asia Pacific Conference on Circuits and Systems, pp.690-695, 4-7 Dec. 2006.
[8] Chun-Chieh Huang,; Shao-Hang Hung,; Jen-Feng Chung,; Lan-Da Van,; Chin-Teng Lin,, "Front-end amplifier of low-noise and tunable BW/gain for portable biomedical signal acquisition," IEEE International Symposium on Circuits and Systems, pp.2717-2720, 18-21 May 2008.
[9] Qiuting Huang; Oberle, M., "A 0.5-mW passive
telemetry IC for biomedical applications," IEEE Journal of Solid-State Circuits, vol.33, no.7, pp.937-946, Jul 1998.
[10] Gano, A.J.; Franca, J.E., "New multiple input fully differential variable gain CMOS instrumentation amplifier," IEEE International Symposium on Circuits and Systems, vol.4, pp.449-452 vol.4, 2000.
[11] A. P. Brokaw and M. P. Timko, “An improved monolithic instrumentation amplifier,” IEEE J. Solid-State Circuits, vol. SC-10, pp. 417–423, Dec. 1975.
[12] Ng, K.A.; Chan, P.K., "A CMOS analog front-end IC for portable EEG/ECG monitoring applications," IEEE Transactions on Circuits and Systems I: Regular Papers, [Circuits and Systems I: Fundamental Theory and Applications, IEEE Transactions on], vol.52, no.11, pp. 2335-2347, Nov. 2005.
[13] Sackinger, E.; Guggenbuhl, W., "A versatile building block: the CMOS differential difference amplifier," IEEE Journal of Solid-State Circuits, vol.22, no.2, pp. 287-294, Apr 1987.
[14] Nicollini, G.; Guardiani, C., "A 3.3-V 800-nVrms noise, gain-programmable CMOS microphone preamplifier design using yield modeling technique," IEEE Journal of Solid-State Circuits, vol.28, no.8, pp.915-921, Aug 1993.
[15] Enz, C.C.; Temes, G.C., "Circuit techniques for reducing the effects of op-amp imperfections: autozeroing, correlated double sampling, and chopper stabilization," Proceedings of the IEEE , vol.84, no.11, pp.1584-1614, Nov 1996.
[16] Ping Wai; Chin, M.; Gray, P.; Castello, R., "A ratio independent algorithmic A/D conversion technique," Solid-State Circuits Conference. Digest of Technical Papers. 1984 IEEE International, vol.XXVII, pp. 62-63, Feb 1984. [17] Choi, T.C.; Kaneshiro, R.T.; Brodersen, R.W.;
"High-frequency CMOS switched-capacitor filters for communications application," IEEE Journal of Solid-State Circuits, vol.18, no.6, pp. 652-664, Dec 1983.
[18] Ming-Jer Chen; Yen-Bin Gu; Wu, T.; Po-Chin Hsu; Tsung-Hann Liu, "Weak inversion charge injection in analog MOS switches," IEEE Journal of Solid-State Circuits, vol.30, no.5, pp.604-606, May 1995.
[19] Azhari, S.J.; Fazlalipoor, H., "A novel current mode instrumentation amplifier (CMIA) topology," IEEE Transactions on Instrumentation and Measurement, vol.49, no.6, pp.1272-1277, Dec 2000.
[20] Honglei Wu; Yong-Ping Xu, "A low-voltage low-noise CMOS instrumentation amplifier for portable medical monitoring systems," The 3rd International IEEE-NEWCAS Conference, pp. 295-298, 19-22 June 2005.
[21] Yen, R.C.; Gray, P.R., "A MOS switched-capacitor instrumentation amplifier," IEEE Journal of Solid-State Circuits, vol.17, no.6, pp. 1008-1013, Dec 1982.
[22] Zeng, X.; Tse, C.K.; Tang, P.S., "A new scheme for complete cancellation of charge injection distortion in second generation switched-current circuits," IEEE Region 10 International Conference on Microelectronics and VLSI, pp.127-130, 6-10 Nov 1995.
[23] Mohamed Dessouky, and Andreas Kaiser,” Very Low-Voltage Digital-Audio Sigma Delta Modulator with 88-dB Dynamic Range Using Local Switch Bootstrapping, ” IEEE Journal of Solid-State Circuits, vol. 36, no. 3,March 2001. [24] Teng-Hung Chang, Lan-Rong Dung, Jwin-Yin
Guo, and Kai-Jiun Yang,” A 2.5-V 14-bit, 180-mW Cascaded Sigma Delta ADC for ADSL2+ Application,“ IEEE Journal of Solid-State Circuits, vol 42, no 11, November 2007.
[25] Mohamed Dessouky, and Andreas Kaiser,” Very Low-Voltage Fully Differential Amplifier For Switched-Capacitor Applications, “ISCAS 2000 – IEEE International Symposium on Circuits and Systems, May 28-31, 2000, Geneva, Switaerland.
[26] 蘇偉棠,” The design of low power decimation filter chip for Sigma-Delta A/D converter,” 國立 成功大學電機所碩士論文, 九十五年六月 [27] 缪永光,” The Design and Implementation of
Thermal Sensor and Sigma-Delta ADC System IC,” 國立成功大學電機所碩士論文, 九十四年 六月
[28] 洪裕隆,” The Implementation of Sigma-Delta Modulator and CMOS Temperature Sensing Chip,” 國立成功大學電機所碩士論文, 九十三 年六月
[29] Alan Y. Kwentus, Zhongnong Jiang, and Alan N. Wilson, Jr. Application of filter sharpening to cascaded integrator-comb decimation filters. IEEE Transactions on Signal Processing, 45(2):457-467, 1997.
[30] S. Boujelben, Ch. Rebai, D. Dallet, and Ph. Marchegay,“ Design and implementation of an audio analog to digital converter using oversampling techniques,” IEEE Press, 2001. [31] Jinseok Koh, Yunyoung Choi, and Gabriel
Gomez,“ A 66dB DR 1.2V 1.2Mw Single-Amplifier Double-Sampling 2nd-order Sigma-Delta ADC for WCDMA in 90nm CMOS,” ISSCC, 2005.
[32] J. Sauebrey and R. Thewes,“ A 0.6V 70dB SNR 0.3MHz BW Multibit Switched-Opamp Sigma-Delta Modulator,” in Proceeding of the European Solid-State Circuits Conference, 2006. [33] Artur Silva, Nuno Horta and Jorge Guilgerme,” A
Reconfigurable A/D Converter for 4G Wireless System,” IEEE International Symposium on Circuits and Systems, 2008.
robust speech recognition in noisy environment,” in Proc. IEEE Int. Conf. Acoustics, Speech, and Signal Processing, Vol. 2, pp. 1089–1092, 2001. [35] Saruwatari, H., Kawamura, T., Sawai, K.;
Kaminuma, A., Sakata, M, “Blind source separation based on fast-convergence algorithm using ICA and beamforming for real convolutive mixture,” IEEE International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 13-17, 2002.
[36] A. Hyvärinen. “Fast and Robust Fixed-Point Algorithms for Independent Component Analysis.” IEEE Transactions on Neural Networks 10(3), 626-634, 1999.
[37] C. Charoensak, and F. Sattar, "System-level design of low-cost FPGA hardware for real-time ICA-based blind source separation," SOC Con. 2004. Proc. IEEEInternat ional, pp. 139 - 140, 2004.
[38] H. Amin., K.M. Curtis, and B.R. Hayes-Gill, “Piecewise Linear Approximation Applied to Nonlinear Function of a Neural Network, ” IEE Proc. Crcuits Divices syst, Vol. 144, pp. 313-3171, 1997.
[39] F. Sattar and C. Charayaphan, “Low-cost design and implementation of an ICA-based blind source separation algorithm”, 15th Annual IEEE International ASIC/SOC Conference, pp.15-19, 2002.
[40] H. Du and H. Qi, “An FPGA implementation of parallel ICA for dimensionality reduction in hyperspectral images,” in Proc. IEEE Int. Symp. Geosci. Remote Sens., Sep , pp. 3257–3260, vol. 5, 2004.
[41] C. Charoensak and F. Sattar, “A single-chip FPGA design for real-time ICA-based blind source separation algorithm,” in Proc. IEEE Int. Symp. Circuits Syst., Vol. 6, pp. 5822–5825, 2005.
[42] A. Delorme and S. Makeig, “EEG changes
accompanying learned regulation of 12- 赫 茲 EEG activity,” IEEE Trans Neural Sys & Rehab Eng, 2(2):133-136, 2003.
[43] D. Garrett, D. A. Peterson, C. W. Anderson, and M. H. Thaut, “Comparison of linear, nonlinear, and feature selection methods for EEG signal classification,” IEEE Trans Neural Sys & Rehab Eng, 11(2):141-144, 2003.
[44] T.-P. Jung, S. Makeig, M. Mckeown, A. Bell, T.-W. Lee, and T. Sejnowski, “Imaging Brain Dynamics using Independent Component Analysis,” Proceedings of the IEEE, vol. 89(7), pp. 1107:1122, 2001.
[45] J. C. Mosher, R. M. Leachy, P. S. Lewis, “EEG and MEG: forward solutions for inverse methods,” IEEE Trans. Biomed. Eng., vol. 46. pp. 245-259, 1999.
[46] J. C. Munck, “A linear discretization of the volume conductor integral equations using analytically integrated elements,” IEEE Trans. on Biomed. Eng., vol. 39, pp.986-990, 1992.
[47] C. Neuper, A. Schlögl, and G. Pfurtscheller, "Enhancement of left-right sensorimotor EEG differences during feedback-regulated motor imagery," J. Clin. Neurophysiol., vol. 16(2), 1999.
[48] D. B. Popovic, R. B. Stein, K. L. Jovanovic, R. Dai, A. Kostov, and W. W. Armstrong, "Sensory nerve recording for closed-loop control to restore motor functions," IEEE Biomed. Eng., vol. 40 (10), pp. 1024-1031, 1993.
[49] CT Lin et al., 2005. EEG-based drowsiness estimation for safety driving using independent component analysis. IEEE Transactions on Circuits and Systems I: Regular Papers, 52(12):2726-2738.