以生理訊號為基礎之人機介面設計與應用人類操控機器的新模式----子計畫一---以VR動感平台為基礎之人機介面操控者心理工作負荷偵測(I)

行政院國家科學委員會專題研究計畫 期中進度報告

子計畫一：以 VR 動感平台為基礎之人機介面操控者心理工

作負荷偵測(1/2)

計畫類別： 整合型計畫 計畫編號： NSC94-2213-E-009-096- 執行期間： 94 年 08 月 01 日至 95 年 07 月 31 日 執行單位： 國立交通大學電機與控制工程學系(所) 計畫主持人： 林進燈 計畫參與人員： 梁勝富，柯立偉，趙志峰，陳玉潔，蕭力碩 報告類型： 精簡報告 報告附件： 出席國際會議研究心得報告及發表論文 處理方式： 本計畫可公開查詢

中 華 民 國 95 年 6 月 1 日

行政院國家科學委員會補助專題研究計畫

□ 成 果 報 告

■期中進度報告

以生理訊號為基礎之人機介面設計與應用—人類操控機器

的新模式-子計畫一：以 VR 動感平台為基礎之人機介面操

控者心理工作負荷偵測(1/2)

計畫類別：

□

個別型計畫

■

整合型計畫

計畫編號：NSC 94-2213-E-009-096-

執行期間：94 年 08 月 01 日至 95 年 07 月 31 日

計畫主持人： 林 進 燈 教授

計畫參與人員：梁勝富，柯立偉，趙志峰，陳玉潔，蕭力碩

成果報告類型(依經費核定清單規定繳交)：

■

精簡報告

□

完整報告

本成果報告包括以下應繳交之附件：

□

赴國外出差或研習心得報告一分

□

赴大陸地區出差或研習心得報告一分

□

出席國際學術會議心得報告及發表之論文各一分

□

國際合作研究計畫國外研究報告書一分

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、

列管計畫及下列情形者外，得立即公開查詢

□

涉及專利或其他智慧財產權，

□

一年

□

二年後可公開查詢

執行單位：

國立交通大學電機與控制工程學系

中 華 民 國 95 年 5 月 30 日

1

行政院國家科學委員會專題研究計畫成果報告

以生理訊號為基礎之人機介面設計與應用—人類操控機器的新模式-子計畫

一：以 VR 動感平台為基礎之人機介面操控者心理工作負荷偵測(1/2)

計畫編號：NSC 94-2213-E-009-096-

執行期限：94 年 08 月 01 日至 95 年 07 月 31 日

主持人：林進燈 教授

執行機構：國立交通大學 電機與控制工程學系

一、摘要

本子計畫的目的以VR 動感模擬平台 為基礎，開發腦機界面中操控者之心理工作 負荷(Mental Workload)偵測技術，以發展新 一 代 之 腦 機 介 面 (Brain-Computer Interface)。本年度的研究重點分為兩大研究 核心：(1) 研究生理訊號與動態刺激之間的 關聯性；(2) 發展以ARM/DSP 為核心之可 攜式即時嵌入式系統。 第一項研究核心之主要目的為利用虛 擬實境動態實驗環境，設計一套具有突發狀 況 之 駕 車 場 景 ， 來 探 討 駕 駛 者 腦 波 訊 號 (EEG)與其駕駛風格之關聯性，並於不同駕 駛風格下，了解其EEG訊號變化與特徵。實 驗過程中，擷取受測者之事件相關腦波電位 (event-related potentials, ERPs)，並利用獨立 成分分析法(independent component analysis, ICA)對這些ERPs訊號進行分析，濾除多餘 雜訊並取出重要的腦波訊號源。最後以獨立 成分平均能量頻譜分析，來觀察不同駕駛風 格之受測者，其腦波訊號之特徵變化情形。 實驗結果顯示，具有較衝動型駕駛風格之受 測者，其腦波之ERP在10Hz有較明顯的上升 現象，而溫和型駕駛者則是在20Hz有較明顯 的上升現象。 第二項研究核心之主要目的為發展一 套以 ARM/DSP 雙核心為基礎之 OMAP 可 攜式嵌入式系統。此系統具有低電源消耗與 高計算效率的特性，且有生理訊號分析處理 功能，可作為腦機介面的處理跟分析核心， 擷取與模型化(Modeling)生理訊號之快速動 態變化。本研究已在 DSP 與 ARM 上面架設 即 時 核 心 (DSP/BIOS) 與 嵌 入 式 作 業 系 統 (ARM-Linux) ， 並 用 實 際 腦 波 訊 號 透 過 OMAP 上所實現 ICA 演算法進行測試。實 驗結果顯示，本系統可將 EEG 量測訊號中 的干擾訊號成功分離出來，與其他系統相 較，本研究發展的 OMAP 效能快了十倍左 右。未來將結合所發展之生理訊號分析演算 法，實際應用於線上即時腦波訊號分析、處 理與認知狀態之估測。 基於本年度的研究成果，明年度之研究 重點包含：1. 建構神經感知人機互動介 面，本研究將發展各種類神經運算技術，分 析人類在動態(dynamic) 與視覺聽覺刺激下 之不同感知狀態所反應之腦神經活動，完成 建構神經感知人機互動介面。2. 系統整合 與測試，本研究整合已發展的心理工作負荷 監控技術，用於可攜式即時嵌入式系統，進 行線上(on-line)與即時(real-time)測試，使系 統達到最佳化與穩定的效能，讓本系統可以 實際應用於日常生活中。 關鍵字： 駕駛風格分析、獨立成分分析法、事件相關 腦波電位、可攜式嵌入式系統、腦機介面

二、研究成果

(一) 生理訊號與動態刺激(dynamic

stimuli)之間的關聯性研究

1. 實驗設計與建構

在此研究中，我們利用第一年所建構之 虛擬實境動態環境，設計出一套有非預期障 礙物出現之駕車場景，用來研究EEG與駕駛 風格之關聯性。此虛擬實境(virtual reality, VR)場景包含以下三項主要部分，如圖1-1 所示: (1) 基於動態虛擬技術之虛擬駕駛環 境； (2) 30通道之腦波與2通道肌電訊號量 測系統； (3) 操控虛擬車輛之駕駛方向盤 [1-3]。 A. 虛擬實境VR場景 本實驗以VR場景為基礎，設計並建構 出一套互動式之駕車模擬環境。實驗過程 中，非預期出現之障礙物(故障車輛)將會隨 機出現於行駛道路中央，如圖1-2所示。VR 場 景 則 是 以 電 漿 顯 示 面 板 (XVGA 42” Plasma Display Panel, PDP)呈現夜間駕車場 景，要求受測者坐在距離PDP前60cm處。駕 車路徑為四線道之高速公路，車道從左到右 分為256個單位(數位化為0-255)，單一車道 與車輛之寬度分別為60單位與32個單位。固 定車速設定為120km/hr，並且要求受測者駕 駛時維持車輛行駛在第三線道。 B. 實驗設定 實驗過程中，障礙物(故障車輛)將隨機 出現在高速道路中央，受測者必須儘可能閃 避此障礙物並避免與此障礙物相互碰撞。測 試間距(Inter-trial intervals ,ITIs)以10到30秒 之隨機方式出現，以防止受測者產生預期心 理之現象。 圖 1-1 基於虛擬實境之駕駛模擬場景與生 理訊號擷取系統。 C. 受測者與生理訊號擷取 每位受測者在不同天分別進行三次實 驗，每位實驗開始有1~5分鐘的時間讓受測 者熟悉實驗環境與場景。接著，將進行兩段 長達30分鐘之實驗期，兩段實驗期中間有5 分鐘的休息時間，腦波訊號與方向盤轉動角 度將同步記錄於電腦內。 十個健康的受測者(7男3女)參與本實 驗，且沒有任何胃腸、心臟、或是內耳之相 關疾病史，這些受測者必須在實驗前一個禮 拜內沒有抽菸、喝咖啡、飲酒與服用藥物等 紀錄(這些行為可能影響中央神經或自律神 經系統運作)。其中有三個受測者由於腦波 訊號受到嚴重的雜訊干擾，因此這些受測者 的資料將不進行後續分析。 受測者在實驗中頭戴一電極帽，用來擷 取腦波訊號。EEG電極以10-20國際標準系 統位置擺放，量測30通道之EEG訊號與2通 道之ECG訊號。這些生理訊號與事件發生之 定 位 訊 號 ( 由 場 景 端 發 送 ) 則 是 經 由 Neuroscan生依訊號放大器傳送至生理訊號 擷取系統。 2. 研究方法 我們利用方向盤轉動的角度變化來當作 駕駛者駕駛風格的參考依據。 圖 1-3 顯示 圖 1-2 駕駛風格實驗 - 出現障礙物之 VR 場景 30-Channel EEG 2-Channel EKG Data Acquisition VR Server Driving trajectory and Steering Deviation

3 了兩種不同駕駛者駕駛風格的行車軌跡，衝 動型駕駛風格與溫和型駕駛風格。 目前使用的訊號分析流程如圖1-4所 示，我們利用行車軌跡與方向盤轉動角度來 進行駕駛風格辨認。受測者依據此兩項參數 分為兩大類：(1)衝動型駕駛者(較彎折的駕 駛軌跡) (2) 溫和型駕駛者(較平滑的駕駛軌 跡)。在非預期障礙物出現時間點，我們擷 取受測者之事件相關腦波電位(event-related potentials, ERPs) ， 其 擷 取 時 間 區 間 為 [-500ms, 3000ms]。接著，將所有擷取出來 的ERP訊號合併，並利用獨立成分分析法 (independent component analysis, ICA) [4-7] 對這些EPR訊號進行分析，濾除多餘雜訊並 取出重要的腦波訊號源。針對每個獨立成分 之各epoch進行頻譜分析後，我們將所有 epoch之ICA成分頻譜進行平均，即得到每個 ICA成分之平均能量頻譜。 由30個ICA成分所分析得到之30個平 均能量頻譜，如圖1-5所示。利用不同ICA成 分之平均能量頻譜，計算出不同類別駕駛風 格其腦波關聯性係數，其計算方式如式(1) 與(2)所示。 ) , ( ₁j ₆j j driving under corrcoef PSD PSD R ₋ = (1) ) , ( 5 8 j j j driving over corrcoef PSD PSD R − = (2) 其中 j 為第 j 個獨立成分訊號， j i PSD 為第 i 個受測者的第 j 個平均能量頻譜。針對某個 ICA 成分之平均能量頻譜計算方式如下所 示。 圖 1-3 兩種不同駕駛風格之軌跡路線 圖1-4 駕駛風格分析之流程圖 ) , ( 1 6 j j j driving under avg PSD PSD PSD − = (3) ) , ( ₅j ₈j j driving over avg PSD PSD PSD − = (4) 若 其 關 聯 性 係 數 j ₋ >0.8 driving under R 或 是 8 . 0 > − j driving over

R ，且PSDunderj −driving與PSDoverj −driving之關聯

係數小於 0.5 時，將視為駕駛風格之重要 ICA 成分。根據分析後的結果可知，與駕駛 風格之相關性最高為第三個 ICA 成分，因 此選擇此成分作為駕駛風格分類之依據。

3. 研究成果 根據圖 1-6 所示，衝動型駕駛者與溫和 型駕駛者在第三個 ICA 成分的 10Hz 與 20Hz 有明顯的差異。藍色曲線代表 5 號受測者與 8 號受測者在第三個 ICA 成分之平均能量頻 譜；紅色曲線代表 1 號受測者與 6 號受測者 在在第三個 ICA 成分之平均能量頻譜。 因 此我們可以發現衝動型駕駛者之腦波 ERP 在 10Hz 有較明顯的表現，而溫和型駕駛者 則是在 20Hz 有較明顯的表現。 圖 1-6 不同駕駛風格之腦波頻譜圖比較

(二) 發展以OMAP(ARM/DSP)為核

心之可攜式即時嵌入式系統

我們利用第一年在PC 端所開發之環 境[8-9]，發展以ARM/DSP 為核心之可攜式 即時嵌入式系統。為了達到攜帶方便之目 的，此系統必須具有低電源消耗與高計算效 率的特性。OMAP(ARM/DSP) 硬體架構可 發展為一般化生理訊號分析處理模組，作為 腦機介面(Brain Computer Interface)之處理 與分析核心，並且可達到模型化(Modeling) 生理系統的目的，經由不同的認知狀態實驗 可以瞭解和模型化人類不同生理區域的活 動機制。OMAP 同時具有處理整個系統的 控制流程：包括資料傳輸(data transmission) 與輸入輸出的監控(I/O monitor)，及處理數 位訊號計算的能力。 1. 研究方法

OMAP為Open Multimedia Architecture Platform的縮寫，是一個具有雙核心的微處 理器，結合TI-enhanced ARM925微處理器與 TMS320C55x DSP核心。OMAP為了保持其 運作時的彈性，讓一般使用ARM的開發者 不需要DSP核心時，使得其開發環境仍然和 單核心處理器(ARM)時相同。於是，為了方 便使用元件中的DSP模組，我們使用DSP Gateway的概念建立 ARM 和 DSP之間的連 結。DSP Gateway可被視為同時存在於兩個 核心中的軟體層，主要是用來將ARM上所 執行的多媒體引擎，建立出一組應用程式介 面，以便存取DSP端之資源。在DSP端，DSP Gateway用於管理DSP資源和數據流，並針 對DSP演算法提供一處理介面。在架設DSP Gateway 之 前 ， 由 於 需 要 呼 叫 與 管 理 DSP Gateway的介面，再加上在DSP與ARM上面 有許多任務需要執行，所以，我們分別在 DSP與ARM上面架設即時核心(DSP/BIOS) 與嵌入式作業系統(ARM-Linux)來管理這兩 個核心的資源。 圖 2-1 表示 DSP Gateway 架構的關係 圖。從圖中看出 DSP Gateway 包含兩部 分 ， 靠 著 這 兩 者 合 作 完 成 通 訊 的 功 能 ： (1)Linux 裝置驅動程式：提供介面讓 ARM 的程式以 system call 的方式使用 DSP。 圖2-1 DSP Gateway 系統架構圖 (2)DSP 的函式庫：提供函式讓 DSP task 可 以被 ARM 透過驅動程式使用。

5 在 OMAP 處理器中的 ARM 與 DSP 資 料 交 互 傳 遞 的 方 法 有 三 種 ， 透 過 Mailbox 、 MPU Interface(MPUI) 與 Share Memory 等機制來達成。在 DSP Gateway 中 則是以 Mailbox 以及 Share Memory 來實現 ARM 與 DSP 資料交互傳遞。以下先對這 兩種機制作簡介： (1) Mailbox 機制： OMAP1510 中 有 三 組 Mailbox 暫 存 器，一組是給 ARM 用，當 ARM 有資料寫 入 Mailbox 時，會送出中斷(INT5)給 DSP； 其他兩組則是當 DSP 有資料寫進時，才會 送 出 中 斷 (IRQ10/11) 給 ARM 。 每 一 組 Mailbox 是包含兩個 16 位元暫存器與一個 1 位元旗標暫存器。當中斷發生時，中斷的 處理器會用兩個 16 位元的暫存器各自將命 令與資料傳到被中斷的處理器上。 (2) Share Memory 機制： 由於 mailbox 只能傳送兩個 16 位元暫存 器與一個 1 位元旗標暫存器，而無法傳送大 量 的 資 料 ， 所 以 ， 我 們 必 須 借 由 Share Memory 的方式來傳送大量的資料。而 Share Memory 這樣的架構則是靠 OMAP 上的 Traffic Controller 達成，藉由 ARM 與 DSP 存取相同的記憶體空間。ARM 可以控制 DSP 的 MMU 讓 DSP 可以存取這些記憶媒 介。在 DSP Gateway 中，我們稱這一塊記憶 體為 IPBUF，圖 2-2 表示了 IPBUF 轉移的 過程，傳輸時需要注意的是 IPBUF 使用完 後要作釋放動作，以免一直被 task 佔據。 圖2-2 IPBUF 所有權的轉移 圖2-3 ARM/DSP內部傳輸說明圖 圖2-3表示Mailbox和IPBUF在ARM和DSP之 間的關係，ARM端的程式要將資料交給DSP task處理時，也要將資料傳給DSP端。資料 傳輸的型式，所採取的方式是block send的 方 式 ， ARM 在 傳 送 資 料 時 的 Mailbox command中下達BKSND的命令，並且傳送 BID(buffer ID) 給 DSP 。 ARM 在 傳 送 資 料 時，會先傳送Mailbox command，這時會有 Mailbox interrupt(INT5)產生，接收這個命 令 ， 經 過 interrupt handler 的 處 理 DSP task(Estimation task)收到接收資料的命令， 並會到Mailbox command裡面指定的IPBUF 內 取 得 所 要 處 理 的 資 料 ， 經 過 在 DSP 中 Estimation Task運算，將得到結果存在記憶 體內。同樣的ARM這時會送接收資料的命 令過來，DSP將得到的結果送到IPBUF中， ARM可從IPBUF取得精神狀態相關頻譜資 料，再經過一些運算，即可得精神狀態參考 數值。 在軟體方面，我們需要在三個不同的平 台上撰寫程式，分別是 OMAP 上的 ARM 與 DSP 以及 PC 端的顯示介面。由於在 OMAP 上會執行許多不同的工作(task)，內容包括(1) 無線模組裝置控制並接收生理量測模組測 量的 EEG 原始資料、(2)系統初始狀態配 置、(3)精神狀態估測與(4) 區域網路資訊共 享控制等工作。如圖 2-4 所示，我們根據 DSP 與 ARM 的特性，適當的將這些工作分 配給這兩個處理核心，詳細的工作分配如表 2-1 所示。

圖 2-4 ARM/DSP 系統架構圖 表 2-1 ARM 和 DSP 工作分配表 處理器 工 作 ARM 1. 無線模組控制與 EEG 資料接收 2. Data 位元轉換 3. 呼叫 DSP task 運算、從 IPBUF 傳送與 接收資料 4. 將運算結果利用網路封包傳輸出去給 其他裝置使用 DSP 1. 從 IPBUF 接收資料，和傳送資料給 IPBUF 2. 執行演算法 „ 精神狀態估測演算法部分由於需要持續 的運算大量 EEG 訊號，安排給 DSP 處理器 處理，並將 DSP task 的功能寫成模組型態， 供 ARM 微處理器的執行程序依需求來呼 叫。 „ ARM 處理器主要用來與周邊裝置溝 通，並透過無線傳輸模組，來擷取生理量測 模組測量的 EEG 原始資料，接著呼叫 DSP task 去進行運算，再透過區域網路將結果顯 示（聲音或波形）出來。由於這樣的工作不 需要用到數學運算，且需要很多的系統呼叫 與控制介面，所以由 ARM 處理器來執行上 述的程序是合理的。 2. 研究成果 ARM/DSP 系統完成圖如圖 2-5 所示。 表2-2證明了OMAP的效能比其他兩個平台 快了十倍左右。另外，使用OMAP也大幅降 低了ARM的負荷，利用Linux內部指令，當 只使用ARM做ICA運算時其CPU負荷會達 到60%以上，如果交由DSP運算，則情況正 好相反，ARM幾乎處於空載的狀態。如此 一來，便可利用這一段時間來處理其他的行 程。 接著，我們利用此系統來進行實際腦波 量測訊號之測試，以 ICA 演算法將雜訊與 真實腦波訊號分離。輸入為 2 筆 128 點的腦 波訊號；輸出為 2 個腦波訊號的成分。 腦波的資料區段的擷取是以人接受一 個刺激點為基準，如特殊的燈光。往前取 200ms，往後取1sec，共1.2sec長度的腦波訊 號。其中腦波訊號輸入ICA運算前，必須先 經過一些前置處理程序，將原始訊號經過一 低通濾波濾除多餘的雜訊，再將取樣頻率降 低，得到128點的訊號資料。本實驗利用ICA 將腦波中的雜訊去除，留下腦波訊號原本該 有的資訊，例如，眼動訊號的雜訊去除、心 跳訊號的雜訊去除。 圖 2-5 ARM/DSP 系統外觀圖 表 2-1 效能測試整理 Handler Testing1 Excution time Testing2 Excution time OMAP ICA compute 2.2971 sec 2.7574sec ARM ICA compute 29.5488 sec 27.9550sec LART(StrongARM) ICA compute 21.9179 sec 20.5453sec 本實驗選擇一靠近眼球的腦波通道來量 測訊號(圖 2-6 上方訊號)，以及另一含有較 多腦波成分但同樣也受到眼動干擾的腦波 訊號(圖 2-6 下方訊號)，以 ICA 演算法來進 行分離此兩個受到眼動干擾之腦波訊號。

7 經過 ICA 演算法分離後，得到兩個獨 立成分的訊號，如圖 2-7 所示。ICA 演算法 將此兩段訊號中具有最高相似程度的獨立 成分訊號分離出來。圖 2-7 上圖為經過 ICA 演算法運算後分離出的真實腦波訊號，圖 2-7 下圖為經過 ICA 運算後分離出的眼動干 擾訊號。實驗測試結果證明本系統可以將隱 藏在 EEG 裡之干擾訊號成功分離出來。 圖 2-6 含有眼動干擾的腦波訊號 圖 2-7 經由 ICA 分離後得到的實際腦波(上 圖)與眼動干擾(下圖)獨立成分訊號

三．參考文獻

[1] C. T. Lin and C. F. Juang, “An adaptive neural fuzzy filter and its applications,” IEEE

Transactions on Systems, Man, and Cybernetics,

Vol. 27, No. 4, pp. 635-656, 1997.

[2] C. F. Juang and C. T. Lin, “A recurrent self-organizing neural fuzzy Inference network,”

IEEE Transactions on Neural Networks, Vol. 10,

No. 4, pp. 828-845, Jul. 1999.

[3] C. T. Lin, Y. C. Chen, R. C. Wu, S. F. Liang, and T. Y. Huang,”Assessment of driver's driving performance and alertness using EEG-based fuzzy neural networks,” Proceedings of the 2005 IEEE

International Circuits and Systems Symposium,

Vol.1, pp.152-155, May 2005.

[4] P. Comon, “Independent component analysis — A new concept?” Signal Processing, Vol. 36, pp. 287–314, 1994.

[5] A. J. Bell and T. J. Sejnowski, “An information-maximization approach to blind separation and blind deconvolution,” Neural

Computation, Vol. 7, pp. 1129–1159, 1995.

[6] J. F. Cardoso, and B. Laheld, “Equivariant adaptive source separation,” IEEE Transactions on Signal

Processing, Vol. 45, pp. 434–444, 1996.

[7] D. T. Pham, “Blind separation of instantaneous mixture of sources via an independent component analysis,” IEEE Transactions on Signal Processing, Vol. 44, pp. 2768–2779, 1997.

[8] C. T. Lin, R. C. Wu, T. P. Jung, S. F. Liang, and T. Y. Huang, “Estimating driving performance based on EEG spectrum analysis,” EURASIP Journal on

Applied Signal Processing, Vol. 2005, No. 19, pp.

3165-3174, Mar. 2005

[9] C. T. Lin, R. C. Wu, S. F. Liang, W. H. Chao, Y. J. Chen, and T. P. Jung, “EEG-based drowsiness estimation for safety driving using independent component analysis,” IEEE Transactions on

Circuits and Systems I, Vol. 52, No. 12, pp.