使用遞迴型神經網路之肌電圖動態動作預測機制

國

立

交

通

大

學

電機與控制工程學系

碩

士

論

文

使用遞迴型神經網路之肌電圖動態動作預測機制

An EMG-based Dynamic Motion Prediction Mechanism

Using Recurrent Neural Networks

研 究 生：許佑綸

指導教授：楊谷洋 教授

使用遞迴型神經網路之肌電圖動態動作預測機制

An EMG-based Dynamic Motion Prediction Mechanism

Using Recurrent Neural Networks

研

究

生：許佑綸 Student：Yu-Lun Hsu

指導教授：

楊谷洋 Advisor：Kuu-Young Young

國 立 交 通 大 學

電 機 與 控 制 工 程 學 系

碩 士 論 文

A Thesis

Submitted to Department of Electrical and Control Engineering College of Electrical Engineering

National Chiao Tung University in Partial Fulfillment of the Requirements

for the Degree of Master

in

Electrical and Control Engineering

July 2008

Hsinchu, Taiwan, Republic of China

使用遞迴型神經網路之肌電圖動態動作預測機制

學生：許佑綸

指導教授：楊谷洋 博士

國立交通大學電機與控制工程學系碩士班

摘 要

由於肌電圖 (electromyography, EMG) 分析對於了解人體運動意圖非常有效，因此 讓研究者們藉此開發了許多新型的 EMG 識別系統及 EMG 人機介面。在這些研究之中， 有些已經可以利用 EMG 訊號成功分辨不同的固定姿態，並將這些技巧應用在操作義肢 上。而在本研究中，我們計畫進一步辨識連續的動態動作，以建構一個可以接受更細微 的運動命令的 EMG 人機介面，而截肢者也可以藉此操作義肢來執行與平常人一樣的流 暢動作。研究的主要目標是識別在連續前臂運動的執行期間，EMG 訊號和手臂運動學 之間的關係，並藉由 EMG 訊號立即預測使用者所預定的前臂運動位置。為了學習帶有 動態與非線性特性的 EMG－運動學映射關係，我們提議使用一種稱為外部輸入非線性 自動迴歸模型 (nonlinear autoregressive with exogenous input model, NARX model) 的動 態遞迴型神經網路 (dynamic recurrent neural networks, DRNN) 與向量量化時間性聯想 記憶 (vector-quantized temporal associative memory, VQTAM) 學習演算法。我們也執行 了一個基於三個受測者與二自由度 (degree of freedom, DOF) 前臂動態運動的實驗，實 驗結果則展示出在一系列的連續運動期間，所提出的方法的確能藉由 EMG 訊號立即建 立目前的前臂位置。這個方法適合應用在靈巧的義肢控制上。

An EMG-based Dynamic Motion Prediction Mechanism

Using Recurrent Neural Networks

Student：Yu-Lun

Hsu

Advisor：Dr. Kuu-Young Young

Department of Electrical and Control Engineering

National Chiao Tung University

ABSTRACT

Electromyography (EMG) analysis is very effective for interpreting human motion intention. Therefore, many researchers develop novel EMG recognition systems and EMG human-machine interface. Among them, some studies have already succeeded in discriminating fixed postures using EMG signals and applied the techniques to manipulate the prosthesis. In this study, we plan to further recognize their continuous dynamic movements for constructing the EMG human-machine interface which can accept more delicate motion commands. In addition, the amputee can also use the prosthesis to execute smooth movements just like ordinary people. The goal of this study is to identify the relationship between EMG signals and arm kinematics during the execution of the continuous forearm movements, and predict the user’s intended forearm motion with EMG signals in a real time manner. To learn the EMG–kinematics mappings with the dynamic and nonlinear characteristics, we propose using the nonlinear autoregressive with exogenous input model (NARX model) which is a kind of dynamic recurrent neural network (DRNN) and the vector- quantized temporal associative memory (VQTAM) learning algorithm. We are carried out the experiment based on three subjects and two degrees of freedom (DOF) dynamic movements. Experiment results show that the proposed method is able to estimate the forearm positions using EMG signals during a series of continuous motions immediately. This method is ready for application on delicate prosthetic control.

誌 謝

首先必須提到的是我的指導教授楊谷洋老師。謝謝老師在我這段研究生涯中，有耐 性的從旁聆聽我各式各樣從天馬行空到極端現實的想法，也體諒我隨性所至、鑽牛角尖 的研究作風。都是因為老師給與如此的研究環境，我才能自由做出這些所想要的成果。 其次，我想感謝我的口試委員蘇木春教授、陶金旭教授、以及黃士殷教授。很感謝有機 會藉由老師們多年來的研究經驗，映照出論文中因個人目不見睫所產生的盲點與疏漏， 而使本論文有幸經過此次淬鍊之後，進一步達到更高的水平。然後，也要感謝博士班的 學長一元。非常感謝學長從篳路藍縷的實驗階段開始，直到最後一段口試畢業的過程中， 肯扮演一個亦師亦友的角色，並願意聽取獨立研究的我訴說各種實驗設定與網路架構的 問題，而使研究遭遇亂流時能夠適時從迷途知返，而論文也托學長的福而能順利誕生。 接下來，最重要的是感謝在其他實驗室的好友煥坤、本實驗室的學弟彥安、我帶的 兩個 後不得不提到我的同學宗仁、怡翔以及實驗室的其他同仁，有了你們的歡笑與關 心， 因此，謹藉於此，請讓我向各位獻上我的感謝與祝福。謝謝大家。 專題生兆傑和傳曜、以及遠在台大的欽彥。衷心的感謝你們在研究草創階段，願意 不厭其煩的陪我重複進行動輒五個小時以上的人體實驗。由於這次的研究是由你們陪我 不停進行多次的假設實驗、假設檢驗、假設廢棄、重新實驗、重新檢驗、重新廢棄…等 無趣循環之後才得以完成，因此我有充分的理由相信，如果沒有你們身體力行的支持， 這個研究絕對不可能有破土而出的一天。此外，還要對實驗室學弟昶緯與勝雄獻上個人 小小的謝意，以謝謝學弟們在我研究生活中不時給予的小小的溫馨幫助，讓我研究寫作 的過程更為快速、順利。 最 讓我在秉燭研究的漫漫長夜中，增添了一絲絲亮麗的色彩。

目

錄

中文摘要

………...

i

i

v

第二

1

2.1

3.1

4.1

第三

第四

參考文獻

頁次

i

英文摘要

………..

i

誌謝

………..

ii

目錄

………..

iv

表目錄

………..

v

圖目錄

………..

i

第一章

前言………..

1

1.1

引言………..

1

1.2

研究背景與文獻回顧………..

3

1.3

研究動機………..

7

章

架構理論與方法設計………..

8

2.1

系統架構………..

8

2.2

運動估測機制設計………..

0

2.

訊號擷取與前處理……….. 10

2.2.2 類神經網路設計………..

19

2.2.3 學習策略………..

24

2.3

實驗設備……….. 30

2.

表面電極與生理訊號放大器……….. 30

2.3.2 資料擷取卡………..

32

2.3.3 運動追跡系統………..

33

2.4

實驗設計……….. 35

2.

實驗過程……….. 35

2.4.2 驗證方法………..

38

章

結果與討論……….. 40

3.1

結果……….. 40

3.2

討論……….. 46

章

結論……….. 48

4.1

結論……….. 48

4.2

未來工作……….. 49

………..

50

表

目

錄

表 2.1

特徵值計算公式定義表

14

………

表 2.2

特徵值物理特性對照表……… 15

表 2.3 iWorx

ETH-256 生理訊號放大器規格表………. 31

表 2.4 ADLink

DAQ-2213 資料擷取卡規格表………... 33

表 2.5 Polhemus

運動追跡系統規格表……….. 34

表 2.6

受測者基本資料表……… 35

表 3.1

長時間動作測試之 NARX model 效能評估表……… 45

圖 目 錄

圖 1.1

肌電圖特徵圖型

(a)時域訊號 (b)頻譜分析 (c)直方圖分佈………

2

測系統應用架構示意圖………

9

2.2

1

1

軌跡對照圖：

波形圖………… 16

2.7

………. 32

2.14

……… 36

3.1

試 NARX model 的輸出結果：

... 41

3.3

X model 的輸出結果：

... 42

：

圖 2.1

基於肌電圖之動作預

圖

以手肘為原點而定義的前臂運動球面座標系統………

0

圖 2.3

球面座標旋轉方向與前臂運動之肌肉收縮方向對照圖……

1

圖 2.4

電極黏貼位置示意圖：

(a)前視圖 (b)側視圖 (c)後視圖………

13

圖 2.5

EMG 訊號與球座標運動

(a)EMG 訊號 (b)球座標運動軌跡………. 15

圖 2.6

進行特徵擷取後的三頭肌 EMG 特徵訊號

圖

前處理訊號流程圖……… 18

圖 2.8

肌肉運動生理模型示意圖……… 20

圖 2.9 NARX 模型架構圖……… 20

圖 2.10

套用到 NARX 模型的串並聯學習架構圖……… 24

圖 2.11

由 VQTAM 演算法所建立的輸入輸出關聯映射示意圖…… 26

圖 2.12

表面電極與生理訊號放大器外觀圖：

(a)電極貼片與其連接纜線 (b)ETH-256……… 31

圖 2.13 DAQ-2213 資料擷取卡外觀圖…………

圖

運動追跡系統組件一覽圖：

(a)FASTRAK (b)position sensor (c)Long Ranger…………... 34

圖 2.15

實驗動作示意圖………

圖

模型廣義化測試結果：

(a)TDL 複雜度測試 (b)神經元複雜度測試………... 40

圖 3.2

基本動作的訓練資料集測

(a) 3D 空間中的相對運動軌跡

(b) 球面座標參數隨時間的變化曲線………

圖

基本動作的驗證資料集測試 NAR

(a) 3D 空間中的相對運動軌跡

(b) 球面座標參數隨時間的變化曲線………

3.4

時間動作的訓練資料集測試 NARX model 的輸出結果：

曲線………. 43

3.5

曲線………. 44

3.6

………. 45

圖

長

(a) 3D 空間中的相對運動軌跡

(b) 球面座標參數隨時間的變化

圖

長時間動作的驗證資料集測試 NARX model 的輸出結果：

(a) 3D 空間中的相對運動軌跡

(b) 球面座標參數隨時間的變化

圖

長時間動作測試之 NARX model 迴歸分析圖：

(a) 訓練資料的迴歸分析圖型

(b) 訓練資料的迴歸分析圖型…

第 一 章

前 言

1.1 引言 近年來，隨著量測設備與理論方法的大幅進步，電機、資訊、生物、醫工等領域的 學者開始有能力對人體內部複雜的運作模式進行研究解析與仿生模擬。在這方面目前最 熱門、也最難以解析的研究項目即為與神經系統 (nervous system) 相關的信息研究。神 經系統在人體內作為一切身體控制與感覺溝通的主宰，其作動過程可以簡化為三個階段： 感覺受器 (sensory receptors) 接收刺激、大腦進行闡釋與命令、以及活化反應器 (effector) 運動，而在三個階段中則由生物神經電流負責傳遞信息。目前大部分的研究焦點主要放 在擷取這些神經電流並進行相關識別與應用：如解析感覺受器所產生的神經電流刺激， 則能做到像電子眼、電子耳等接收外界訊號並轉換為正確神經電流訊號以刺激神經系統 的仿生器官；又如解析大腦在活化反應器過程中所引發的神經電流，則能做到腦波控制、 神經電流控制等接收神經電流訊號，並識別其中包含的意念以控制機器的控制介面。 本論文所研究的範疇屬於神經電流控制，主要解析的對象是經由下行運動路線 (descending motor pathways) 傳送到運動單位 (motor unit) 中的運動單位動作電位 (motor unit action potential, MUAP)。此種神經電流訊號負責刺激肌纖維進行收縮以產生 肢體運動，而收縮過程中由外部量測儀器所蒐集到的總和電壓訊號則稱為肌電圖 (electromyography, EMG)，是此類型研究最主要的訊號處理來源。EMG 訊號是一種帶有 隨機性的神經生理訊號（見圖 1.1 (a)），擁有零均值、高斯分佈等統計特性（見圖 1.1 (b)）， 肌肉收縮時振幅大小介於 0～10mV（峰對峰值）或是 0～1.5mV（均方根值），頻帶的分 布範圍在 40～500Hz，主頻帶則介於 50～150Hz（見圖 1.1 (c)）。而由於 EMG 訊號內部 包含充滿的運動意圖資訊的神經電流訊號，因此提供了人與機器之間一種潛在的通訊管 道。

(a) 時域訊號

圖 1.1 肌電圖特徵圖型，包含 (a) 時域訊號、(b) 頻譜分佈、以及(c) 直方圖分佈。 (b) 頻譜分佈

至於在 EMG 訊號的產生上，同一個運動動作可以由多種不同模式的 EMG 訊號引 發，而不同動作也可能由相同模式的 EMG 訊號所觸發，此外，在生理條件或運動狀態 不同 研究背景與文獻回顧 動狀態的研究開始於醫療用途上，主要是用來檢測因疾病 所引發的不正常肌肉運動反應，以及肌肉經醫療訓練後的復健狀況評估。此類型的研究 多基 制 (switch control) 的方法。在這種方法中， EMG 訊號的振幅超過或低於某些預設的門檻值 (threshold) 後，系統會切換目前的系 統訊 時，也會量測到與之前不同的 EMG 訊號，如肌肉疲勞時 EMG 訊號的頻帶容易往 低頻偏移而造成訊號的不同。其次，執行一個動作時，通常會牽扯到多條肌肉同時進行 收縮，而各肌肉產生的 MUAP 經由時空疊合後才產生儀器所量測到的 EMG 訊號，因此 訊號中常常參雜非主要運動肌肉的神經電流訊號而發生雜訊耦合的狀況。最後，由於每 個人的身體結構和運動習慣不盡相同，因此 EMG 訊號也常帶有強烈的個體差異性。基 於以上原因，因此 EMG 訊號中所含有的運動資訊常帶有時變、高非線性、高模糊性、 低穩定性等不良特性，很難直接由原始訊號判別運動意涵，所以吸引眾多研究人員競相 投入開發更有效的研究方法進行資訊擷取，並基於這個基礎發展各種相對的應用。 1.2 最早分析 EMG 訊號所含運 於 EMG 訊號的構成原理來探討單一肌肉的收縮狀態[10,27]，而較少對整體的肢體 運動狀態進行訊號分析，因此沒有後續控制方面的應用與需求。直到 1948 年，Wiener[29] 提出使用生理訊號輔助義肢控制的概念後，才從原本分析肌肉狀態的方法發展成整體肢 體運動下的 EMG 分析，也才開始有使用 EMG 作為控制介面輸入的新型理論研究出現。 此為早期理論研究上的重大突破，而此後也不斷有研究人員針對肢體運動資訊與所產生 的 EMG 訊號進行映射與判別方法的開發。 最先成功的研究方法是一種稱為切換式控 當 號強度狀態，並查表將對應目前狀態的指定控制命令送出，以驅動義肢馬達定速到

達指定的位置。早期在這方面較成功的成果如 Nader 在 1990 年的研究[22]，主要是量測 手掌截肢者的前臂上，用來控制手掌開闔的伸肌 (extensor muscles) 與屈肌 (flexor muscles) 的 EMG 訊號，並各設定一個門檻值以決定目前義肢手掌是開是闔。此系統有 實際應用在截肢者上測試，並成功的進行商品化出售。而發展至近期，為了區分更多的 指定動作，EMG 門檻值的劃分也越來越多、越來越細，如 Pons 等人[26]同時量測手掌 截肢者前臂的三條肌肉，每條肌肉分別使用三個電極監測肌肉收縮狀態，並將每個電極 所量測到的 EMG 訊號設置三個不同強度等級的門檻值以區分狀態，因此全部可得到二 十七種不同的 EMG 振幅強度狀態，再將每個狀態分別指定到十八種不同的手部動作命 令，而可順利控制其自行製作的手掌義肢。 在早期 EMG 介面的研製上，切換式控制憑藉著設計簡單、易以硬體電路實現、技術 門檻偏低等優點廣受研究者歡迎。然而，當指定動作的複雜度增加時，一些研究者開始 發現，此種固定門檻值技巧的辨識精確度易受複雜度的增加而降低。另外，用來判斷切 換用的最佳門檻值也常常要依賴試誤法來進行調整，而造成在系統模型的設計上缺乏效 率且系統強健性偏低。為了突破這個障礙，開始有研究者導入自動化圖樣識別 (pattern recognition) 的理論，以藉由圖樣識別中的特徵擷取與分類方法，有效率的使用電腦調 整模型參數，並將所得到的 EMG 特徵自動分類而對應到預先設定的多種不同動作上。 從此開始發展出以建構分類模型來設計 EMG 人機介面的研究方法，也是目前主流的研 究 類 型 。 在 實 際 的 研 究 成 果 上 ， 如 Fukuda 等 人 [12]以 對 數 線 性 化 高 斯 混 合 網 路 (log-linearized Gaussian mixture network, LLGMN) 對八種不同手勢的 EMG 訊號進行分 類，並經由截肢患者實際測試，以藉此驅動義肢完成放置物件的工作；而 Chu 等人[8,9] 則引用了如主成分分析法 (principal components analysis, PCA) 與自我組織特徵映射 (self-organizing feature map, SOFM ) 等特徵投影與特徵叢集的技巧，搭配神經網路進一 步提升手勢識別方法的穩定度，完成義肢控制的即時學習與辨識；至於 Tsuji 等人[28] 為了進一步提升 EMG 人機介面的操控自由度，開始處理由多種連續動作產生的 EMG 時序訊號。此研究中使用了倒傳遞類神經網路 (back-propagation neural network) 與遞迴

型神經網路濾波器 (recurrent neural network filters) 所組合成的新型神經網路，完成對六 種不同短暫手部動態動作產生的 EMG 訊號的分類任務，且實驗中就算變換連續動作的 次序也能達成一定的辨識率。 在一些有明顯特色的特定動作上，目前已發展的分類模型可以在 EMG 訊號不甚穩定 狀態下，依舊正確區分出各動作之 EMG 特徵的不同，並在使用者不刻意維持動作的 情況 發的建模方法，此方法會詳細針對所研 究人體部份之肌肉骨骼運動系統的各組成元件進行數學模型的建立，如神經肌肉模型 (ne 的 下保持穩定的辨識結果，但是能藉由圖樣識別技巧而進行分類的動作仍有其上限， 舉例來說，由於在執行連續動作的動態運動過程中，EMG 訊號也是進行相似的連續變 化，因此不太可能將多個連續動作的運動過程各自切割成數十類，然後區分各片段動作 的 EMG 特徵之不同，以藉此達成估測肢體位置或是肢體軌跡復現。於是，另外一類的 研究學者，為了發展連續運動過程中 EMG 訊號與運動學 (kinematics) 資訊間的映射模 型，而朝向模擬與識別人類的神經肌肉系統 (neuromuscular system) 的研究方法下手。 這方面的研究與以分類模型為主的研究不同，大多數是為了有細部定位控制需求的應用， 或是為了提升操控介面的靈活度而開發；而在實作上，識別神經肌肉系統的方法通常分 為兩種：生醫數學模型以及類神經網路。 生醫數學模型是這個研究方向中最先開始開

uromuscular model) 及關節動力學模型 (joint dynamics model) 等。由於這種方法會藉 由實驗資料逐步將使用者生理系統的特色參數化，再套入生醫數學模型使用，因此可以 得到較符合於真實生理運動的模擬結果，但缺點是各模型中所含的大量非線性結構將導 致建模過程變得繁雜。而在這方面的相關研究中，Artemiadis 與 Kyriakopoulos [2]為了 研發直覺、靈活、嶄新的機器手臂遙控介面，使用循序二次規劃 (sequential quadratic programming, SQP) 的最佳化方法來建立前臂的 Hill 型神經肌肉模型，並使用此介面實 際操作引導對應人類手臂關節的機器手臂進行 1-DOF 的前臂連續運動；而 Okuno 等人 [24]則為了讓義肢手擁有抓取或捏擠未知大小物體的能力，使用系統識別 (system

identification) 的方法來建立手掌部位的 1-DOF 神經肌肉模型，截肢者可以藉由此模型 傳達想讓手指張開的角度，以控制自製的義肢手抓取不同形狀的軟性物體；至於 Au 等 人[3]則是為了讓裝設在踝關節的義肢能如正常人行走一樣，主動隨著運動過程即時調整 其屈伸角度，因此使用 SQP 最佳化方法建立腳踝的神經肌肉模型，並經實驗測試後， 可確實藉由 EMG 訊號復現腳踝在各時間點的 1-DOF 旋轉運動軌跡。 在另一方面，也逐漸有學者引入神經網路模型識別法來處理這個問題。在神經網路 使用上，只需要一點與人體運動相關的先遣知識來輔助收集與生理運動系統相關的實 驗資 的 料，之後神經網路即可藉此自動完成建模的工作，因此大幅降低了建模的困難度； 但使用神經網路的缺點是，因其無法解釋各參數所代表的意涵，因此這類學習方法一向 被稱作黑盒子控制 (black-box control)，也同時被質疑可能會輸出不符合生理運動系統特 性的結果。而與之相關的研究中，Koike 與 Kawato [20]期望能建立一個動態模型來處理 所有手臂自由運動產生的 EMG 訊號，以便讓手臂在任何位置均可藉由 EMG 進行姿態 識別，而減少人機介面的操作限制。此研究使用了多個前饋式類神經網路以分別對應建 立各個手臂關節的屈伸角度與力矩輸出，並將各神經網路的輸出資訊進行整合以利後續 的姿態控制。經由實驗證明，此系統可在前臂進行水平移動的過程中，藉由十二條肌肉 的 EMG 訊號即時估測目前的手肘夾角與肩膀的三個旋轉角，並藉此建構手臂的動作軌 跡流程；至於 Cheron 等人[7] 則希望憑藉神經網路的自動建模能力，來有效處理在人類 連續步行的過程中，複雜的多關節協同運動數學模型之建立問題，並進而輔助下肢義肢 的連續行走控制。此研究使用了時序型倒傳遞演算法 (back-propagation through time, BPTT) 與動態遞迴型神經網路 (dynamic recurrent neural networks, DRNN) 模型來處理 EMG 訊號與下肢運動學資料之間的系統識別問題，此系統可藉由六條腿部肌肉的 EMG 訊號同時估測大腿、小腿、腳踝的屈伸角度，然後由此建構出行走過程中的下肢連續動 作。而 Dipietro 等人[11] 則為了嘗試使用神經網路取代生醫數學模型進行醫療復健分析， 使用 BPTT 演算法與遞迴型神經網路來處理 EMG 時序訊號與運動學資料的關聯性，並 以醫療復健常用的抵達、抓取、返回 (reach-to-grasp with return, RGR) 動作進行驗證。

G 分類辨識方法設計的人機介面已經在固定手勢辨識上取得相當不錯 成果，並將這些成果實際應用在操作義肢上，但在一些動作方面，我們仍舊希望可以 進一 EMG 訊號進行解析。研 究中主要分析的對象是前臂在胸口附近所進行的垂直面運動，與控制此運動的上臂肌肉 群與 1.3 研究動機 雖然使用 EM 的 步藉由 EMG 訊號來辨識出比數個分類姿勢更為細緻而流暢的動作。尤其在四肢運 動方面，其移動的範圍大，動作的種類也多，有時候甚至必須配合其他身體部位所在的 位置進行動態調整，如行走時配合身體姿勢調整的腿部關節動作，或是拿取物品時手臂 抬起的動作會隨上半身與目標物的相對距離不同而改變等。因此，若能解析這些動作過 程中所產生之 EMG 訊號與運動學資訊間的映射關係，就可能開發出能做到類似一般人 流暢運動的腿部義肢，或是可以移動前臂告知系統目前使用者所指定位置的 EMG 人機 介面。 而本研究目前先嘗試對四肢動作中的前臂運動過程產生之 胸背肌肉群發出的 EMG 訊號，而會挑選這個區域主要是因為這是一般人常使用的 前臂運動範圍。至於在動態動作的 EMG 辨識方法方面，由於考慮到多自由度的運動必 須藉由多條肌肉收縮才能達成，也考慮到多數肌肉骨骼之間的運動耦合問題，因此若使 用生醫數學模型進行前臂運動分析，則在模型設計方面的困難度將會倍增，所以經過初 步評估後，決定採用類神經網路的識別方法來進行研究。本研究中提議使用一種稱為外 部輸入非線性自動迴歸模型 (nonlinear autoregressive with exogenous input model, NARX model) 的遞迴型神經網路來識別使用者的運動生理模式，並搭配向量量化時間性聯想 記憶 (vector-quantized temporal associative memory, VQTAM) 學習演算法以達到比傳統 遞迴型神經網路更有效率的學習速度。在接下來的章節中，第二章將進一步解釋整個在 EMG 訊號與運動學資料間所使用到的訊號擷取技術與映射模型設計技巧；第三章接著 則以圖示展示使用這個方法所得到的實驗結果，並討論產生結果的原因；最後，在第四 章則會提出研究的結論與未來工作的簡述。

第 二 章

架 構 理 論 與 方 法 設 計

2.1 系統架構 圖2.1 是一個利用肌電圖動作預測機制作為人機輸入介面，而建立起的應用控制系 統架構範例，圖中展示了預測機制在控制系統中的地位與功用。此控制系統架構範例可 大致分成三個部分：訊號擷取部分、運動估測介面、與末端的控制系統。在訊號擷取部 分，包含了生理訊號放大器、類比數位轉換卡、與運動追跡系統等硬體量測儀器，主要 是用來擷取使用者目前的前臂生理運動狀態，並輸出經由所儀器取樣記錄，刺激肌肉收 縮的EMG 訊號及肌肉收縮所帶動的運動軌跡位置。而在第二部分，為了建立肌電圖運 動估測介面，在研究中使用遞迴型神經網路模型為基礎，並將前部分所記錄的EMG 訊 號與其對應的運動軌跡合成訓練資料送進神經網路進行關聯性分析與映射學習。在學習 完成後，即可移除運動追跡系統，單純藉由即時擷取到的EMG 訊號來輸出計算後前臂 估測位置。但要發展完整的肌電圖控制架構，除了前兩部分外，還需要搭配包含定位控 制器與受控體的合適控制系統，以便在接收運動估測介面所輸出的使用者動作意圖後， 定位控制器可產生對應於受控體的適當控制訊號，如控制義肢馬達用的脈波調變訊號， 或是控制螢幕滑鼠座標的通訊埠傳送封包。但本論文主要的研究方向在於開發一個有效 的肌電圖運動估測介面，因此這部份的系統設計將不納入研究的討論範圍，而留待未來 工作。最後，有關運動估測介面的演算法細節將在本章第二節介紹，而訊號擷取部分的 儀器設定細節將在第三節介紹，至於最後一節則描述如何設計實驗來收集資料與檢驗模 型架構的正確性。

2.2 運動估測機制設計 本節將介紹在系統架構圖中，用來建立前臂運動估測機制所使用的技巧、演算法特 性、與相關數學公式。以下將整個介面設計分成訊號處理設計、神經網路模型設計、以 及學習策略設計等三部分依序介紹。 2.2.1 訊號擷取與前處理 為了得到操作者的前臂空間運動資訊，在研究中分別規劃在前臂的手肘及手腕上放 置3D 追跡系統的感測器，以同時紀錄手肘及手腕在空間中的移動座標。此外，為了進 一步有效的描述前臂的運動姿態，此研究中引入了球面座標 (spherical coordinates) 系統 來進行軌跡描述。圖2.2 展示了定義在前臂上的球面座標系統。要將移動軌跡轉換成球 面座標值的方法是，先將手腕感測器 S1所讀取到的空間座標值，減去手肘感測器 S2所 讀取到的空間座標值，得到一組以手肘為原點而對應於手腕位置的空間向量 x, y, z ，此 向量描述著目前手臂的狀態。接著將 x, y, z 代入球面座標轉換公式： 圖2.2 以手肘為原點而定義的前臂運動球面座標系統。

ρ x y z (2.1) θ tan tan (2.2)   最後得到軌跡的球面座標向量 ρ, θ, 。若將所得之球面座標值對應到前臂的運動 模式時，則如圖2.3 所示，可以發現 ∆θ 會對應到胸背肌肉群收縮與放鬆時所帶動的前 rn 球面座標的兩個參數將自然對應到控制前臂運動之肌肉群收縮方向，可進一步提升前臂 運動狀態與EMG 訊號變化的關連程度。而另一個優點是，假設前臂的長度不應運動而 改變，則此 ρ 將可視為定值，因此在前臂運動的過程中，球面座標系統只需要兩 個參數即可描述運動軌跡，因此模型所需輸出與估測的值，由原本卡式座標系中的三個 降為球面座標系的兩個，可有效降低隨後網路建構的複雜度。 圖2.3 球面座標旋轉方向與前臂運動之肌肉收縮方向對照圖。 (2.3)

臂內旋 (internal rotation) 與外旋 (exte al rotation) 之運動動作，∆ 則對應到上臂肌肉 群收縮與放鬆所帶動的前臂屈曲 (flexion) 與伸展 (extension) 之運動動作。如此一來，

如前文所述，球面座標的兩個參數分別可描述肌肉群收縮所帶動前臂移動的四個基 礎動作：前臂屈曲、前臂伸展、上臂內旋、 上臂外旋。接下來為了能正確捕捉刺激肌 肉收 生的 MG 訊號，根據 De Luca 的研究[10]，電極黏貼於肌腹中點時，可量測到最強的訊號。 而在 及 縮、引 要肌肉進 行分析，以決定肌電訊號的擷取位置。首先根據McKinley 與 O'Loughlin 編寫的人體解 剖學[21]內文所述，引發前臂屈曲、前臂伸展兩個動作的上臂肌肉群中，以負責屈曲的 肱二頭肌 (biceps brachii) 及負責伸展的肱三頭肌 (triceps brachii) 兩條主動肌的力量最 強，EMG 訊號也最明顯，因此成為合適的觸發運動訊號來源。至於引發上臂內旋、上 臂外旋兩個動作的胸背肌肉群中，則以負責內旋的肩胛下肌 (subscapularis) 及負責外旋 的棘下肌 (infraspinatus) 與小圓肌 (teres minor) 等三條主動肌的力量最強。但由於此研 究是使用表面電極貼片來量測肌肉所發出的EMG 訊號，而肩胛下肌卻是附著於肩胛骨 上，位於肌肉最深層，因此難以擷取到清晰的EMG 訊號，所以改針對同樣輔助此運動 的其中一條協同肌，也就是胸大肌 (pectoralis major) 的胸骨部 (sternocostal parts) 進行 量測。此外，棘下肌與小圓肌的大部分肌束同樣被三角肌 (deltoid) 與斜方肌 (trapezius) 遮蓋而無法量測，因此本研究僅針對小圓肌位於表層的肌束部分區域進行量測。 鎖定與運動相關的肌肉後，則需在對應位置安置電極以量測肌肉運動所產 發骨骼運動的EMG 訊號，此研究直接針對引發這些基本運動的主 E 搜尋肌腹位置的方法上，首先，肱二頭肌位於上臂前方上半部，可使受測者握拳向 上並用力屈曲前臂，而觸摸到肱二頭肌肌腹隆起，並於該處黏貼電極。至於肱三頭肌則 位於上臂後方上半部，可使受測者用力伸直前臂，而於上臂外側觸摸到肱三頭肌之外側 頭 (lateral head) 肌腹隆起，並於該處黏貼電極。胸大肌位於前胸，可使受測者上臂緊 貼軀幹，用力內收，此時可在胸前外側上方、鎖骨下方觸摸到肌纖維繃緊，並於該處黏 貼電極。最後，小圓肌位於後背之肩胛骨外緣，而在大圓肌 (teres major) 之上，可使受 測者將手臂外展並施與反方向阻力，而於肩胛骨下緣觸摸到肌纖維繃緊，其上一指寬且 靠腋窩處，即為小圓肌位於皮下表層之位置，可於此處黏貼電極。在尋找訊源時需注意 一個問題，若量測位置偏離目標肌束位置，則可能會影響量測訊號的品質，因此可於

每個受測者確定電極位置之後進行攝影存檔

置不至於偏移太多。圖2.4 為此研究中所設定的四條肌肉之電極黏貼參考位置。

經 頻率55～500Hz 的 8 階 Butterworth band-pass filter 進行數位濾波，以將 EMG 訊號的 主要 圖 2.4 電極黏貼位置示意圖。其中 (a) 為前視圖，(b) 為側視圖，而 (c) 為 中CH1～CH4 則分別代表肱二頭肌、肱三頭肌、胸大肌、 以及小圓肌的電極黏貼參考位置。 (a) 前視圖 (b) 側視圖 (c) 後視圖 後視圖。圖 ，於下次黏貼電極位置時進行比對，以確保 位 在各肌肉位置安置電極而量測到的原始訊號送入電腦後，擷取程式會讓原始信號 過 信息頻帶從原始訊號中取出，但此訊號仍不能直接用來進行識別，必須再進行特徵 擷取以從EMG 原始資料中抽取更多更穩定的特徵，才能得到較佳的識別結果。必須這 樣做的原因是因為如圖 2.5 所示，原始 EMG 訊號混合的資訊眾多、訊號振動頻繁、且 雜訊含量高，難以直接找出與目前運動動作的關連性，也容易引發系統輸出的不穩定， 所以很少直接送入網路進行映射學習。目前並沒有一種通用的特徵擷取方法可以廣泛的 處理各種不同研究類型所量測到的EMG 訊號，所以實際上仍必須依賴實驗結果來測試 最合適的擷取方式。在本研究中參考了 [1,4,14,15,16,18,25] 等 EMG 特徵實作的相關論 文，共整理出十三種特徵擷取方法以配合動態動作產生的EMG 訊號進行分析。這些特 徵擷取方法的計算公式如表2.1 所列，計算特徵時則使用視窗寬度 W = 300 點的設定進 行計算。

表2.1 特徵值計算公式定義表 名稱 定義   Moving average, MAV  MAV t W 1 |EMG i | W  

Waveform length, WL  WL t |EMG i EMG i 1 |

W

1 W 1

 

Variance, VAR  VAR t EMG i

W

 

Bias zero‐crossing, BZC  BZC t sgn EMG i bias · EMG i 1 bias

W sgn x 1₀ if x_others0 SSC t f s i · s i 1   Slope sign changes, SSC  W s i EMG i EMG i 1 x 1₀ if f x _others  

illison amplitude, WAMP  WAMP t f |EMG i EMG i 1 |

W W x 1₀ if x _others f W ZC AVT t t Average time, AVT  Average slope, AVS 

AVS t ∑ W|EMG i | |EMG i 1 | W

MAV MAV LSG t t t

Large‐scale gradient, LSG  W Curve complexity, CC  CC t |EMG i | |EMG i 1 |

  W MAV MA IG t t V t Instantaneous gradients, IG  1 Autoregressive model, ARM  詳細推導過程可參考[15]。 詳細推導過程可參考[15]。 Histogram of EMG, HEMG 

， SSC 作為最後使用的特徵。特徵 AVS、IG、LSG 為訊號梯度特徵，經過梯度值的處理 可 易影響穩定性，因此只取LSG 作為最後使用的特徵。特徵 ARM、HEMG 在處理連續動 作的EMG 訊號時，輸出波型的不穩定性偏高，因此雖適用於進行靜態分類，但較不適 。因此，綜合以上評估，最後選擇MAV、WAMP、CC、BZC、SSC LSG EMG 訊號進行特徵擷取，圖 2.6 則為範例波形。 表2.1 中的每個特徵方 (a) EMG 訊號 (b) 球座標運動軌跡

圖 2.5 EMG 訊號與球座標運動軌跡對照圖。(a)為 EMG 原始訊號，(b) 為球座標參數 θ 跡，可以見到EMG 的擾動干擾使得難以和運動軌跡產生關聯。 所描述的運動軌 法皆 下將對 AV 為最基礎的特徵， AMP、CC 可在不同訊號層級上縮放 MA C 三者因輸出波形過於類似， 使用的特徵。特徵BZC、AVT、SSC 的資訊，但BZC、AVT 兩者為互補資訊 可對原始訊號抽取出不同的物理資訊，而大致可分類成 進行優缺點分析：首先，特徵 主要可反映肌肉施力所產生的訊號能量強度。特徵WL、VAR、 V 的強度值，使部分特徵突出，但 WL、VAR、 對訊號獨立性沒有幫助，因此只取WAMP 和 CC 作為最 不同於時域的特徵，可提供頻域與收縮速度相關 而對於訊號獨立性沒有幫助，因此只取ZC 和 表2.2 中的五種類型，以 每個類型的特徵擷取結果 M W C 後 減緩因訊號水平偏移而產生的相似性評估誤差，但AVS、IG 輸出的訊號過於混亂， 合用於動態動作識別 、 等六種特徵對每條肌肉所量測到的 特性類型 特徵名稱

MAV VAR  WAMP  

能量 亂度 WL  CC      頻率 BZC  SSC  AVT  HEMG  VS    梯度 LSG  IG  A ARM   時序     表2.2 特徵值物理特性對照表

圖 2.6 進行特徵擷取 三頭 EM 徵 形圖。圖 2.6 是對圖 2.5(a) 所示 可以見到，圖 2.6 的擾動 較圖 2.5(a)小，而且比較貼近 b) 動 振幅趨勢。 後的 肌 G 特 訊號波 EMG 訊號進行特徵擷取而得， 2.5( 所示運 軌跡的

至此，基於四條相關肌肉的量測點與所選擇六種的特徵擷取法，在每個時間點共可 得到二十四項EMG 特徵變數作為神經網路系統的輸入訊號。但依據運動動作與肌肉特 性的不同，其中一些特徵變數可能會對某些肌肉收縮狀態產生類似響應，針對這個特性， 本研究嘗試引入主成分分析 (principal component analysis, PCA) 的技巧執行最後的訊 號前處理步驟。PCA 主要扮演的角色是根據各特徵變動的狀態，保留對神經網路而言最 重要的訊息，同時也丟棄不相關的訊息，以完成維度簡化 (dimensionality reduction)的工 作。在一些即時辨識EMG 訊號的相關研究[8,19]，也曾在特徵送進神經網路之前先使用 PCA 減少特徵資料的項數，尤其在後續遞迴型神經網路的標準結構中，一般會包含將各 項輸入訊號展開成一連串時間序列的處理，進而放大整體網路的計算資料維度，因此研 究使用 PCA 減低輸入特徵項數，可同時獲得簡化後續神經網路結構與減少整體計算處 理時間之益處。 而在 PCA 的處理流程上，首先，需先對所有訓練資料的變數項進行標準化 (standardization) 的動作，以將各變數項的資料分布轉換成零均值與單位變動量。接著對 標準化後的變數資料陣列計算共變異矩陣 (covariance matrix) S，並算出 S 的特徵值 (eige 順序 排列成 λ , λ 稱為 PCA 。在此，特徵值大小代表的意義為投影到對應主成分方向上的資料變 ，而為了保留最多的變動資訊與減少訊息損失，一般會取前m 個最大變動量的特徵 值，使轉換後的變動量總和佔全體變動量的 以上，而其所對應的 個主成分 v , v , , v 轉換所使用的主成分轉換矩陣 。得到轉換矩陣 後，應該 使用這個矩陣來轉換每一個時間點要進入神經網路的特徵，也就是將特徵向量乘上轉換 矩陣 ，而獲得轉換後的網路輸入向量 將有效的成為 神經網路的一部份，以進行線性特徵投影的處理；至於有關 詳細計算公式可額外 參考文獻 。 nvalue) λ 與特徵向量 (eigenvector) v。然後重整 S 的特徵值，使其依照大小 , , λ ，對應的特徵向量也重新排列成 v , v , , v ，這些向量即 的主成分向量 動量 85% m 則組成 PCA V V V f , f , , f ，也因此轉換矩陣 V PCA [17]

最後，在進入下一節類神經網路的設計介紹前，將本節所介紹之各種前處理方法與 引發的訊號維度改變流程整理於圖 中，以作為本節小結。在運動資訊處理方面，每 一個時間點，經由位置感測器可以量測到描述前臂目前運動狀態的三個卡式座標變數， 經由球面座標 道的EMG 訊號進行六種選擇的特徵擷取法後，可得二十四個特徵訊號，最後經由 PCA 進行特徵 後 將特徵向量縮減成m 個維度，然後輸入神經網路學習映射關係。在此 EMG 資料，因此學習完成後，新 EMG 資料也需進行相同的前處理過程神經網路才能正確辨識訊號並進行估測。 圖 2.7 前處理訊號流程圖。 2.7 轉換後，得到對應的肌肉收縮方向的兩個球座標變數，最後經過正規化處 理後將兩個維度的空間座標向量送入神經網路學習映射關係。同時，在EMG 訊號處理 方面，每一個時間點，經由指定的四條肌肉可量測到四通道的EMG 訊號，再對每個通 投影 ， 需注意的是，由於神經網路學習的是經前處理過後的 輸入的

2.2.2 類神經網路設計 此節接著介紹可用來辨識動態EMG 特徵並藉此即時估測目前運動狀態的類神經網 路模型。進行細部的數學建構前，必須先了解類神經網路所需近似之系統的特性，人體 本身用來接收EMG 訊號而產生相對動作的運動神經系統，是一個龐大且複雜的控制系 統，在醫工相關領域的研究中，常利用數組數學模型解析並描述這個系統從接收神經動 作電位到進行運動過程中各種複雜的交互作用。圖2.8 是一個在醫學工程上常被用來描 述肌肉運動神經系統的生理模型，此模型接收到神經動作電位的刺激後，會根據目前肌 肉的收縮狀態產生相對應的收縮 槓桿系統的動力學模型則 受力驅動而產生運動，接著數值積分模型將運動產生的加速度轉換成即時移動軌跡，並 回授給肌肉腱結多項式以更新目前的肌肉收縮狀態。而從圖 的架構中可看出，運動 神經系統內含有運動狀態的回授，也就是過去的狀態將會影響到目前的輸出，整個系統 可以視作一個高度非線性的動態系統，因此本研究使用專門用來近似動態系統的動態遞 迴型神經網路以提供自動進行運動神經系統解析的能力。 在遞迴型神經網路的模型理論中，有著各種不同的模型架構組成方法，此研究則使 用 其 中 一 種 帶 有 外 部 輸 入 之 非 線 性 自 動 迴 歸 模 型 為模型的細部架構圖。 的架 構主要由兩個部分所組成：一個靜態神經網路 與兩個時間挾帶延 遲線 ，其中神經網路是用來處理目標系統中所帶有的非線性特 (spatial pattern)，以展現訊號 過去的歷史狀態與趨勢；至於在輸出端外加的濾波器則是為了使輸出軌跡更加平順，同 時當NARX model 出現誤判而造成網路輸出值大幅度跳動時，可減緩誤差對系統所造成 的影響。有關NARX model 的詳細原理與特性可進一步參考[13]。 力，而擬似肌肉骨骼所構成之 2.8

(nonlinear autoregressive with exogenous input model, NARX model)，圖 2.9 NARX model

(static neural network) (tapped delay line, TDL)

圖 2.8 肌肉運動生理模型示意圖。

圖 2.9 NARX 模型架構圖。此模型被用來學習動態生理運動系統，其訊號傳輸模式 可比對圖 2.8，藍色箭頭對應到神經電流的資訊流，綠色箭頭對應運動狀態 的回授，黑色箭頭則對應其中非線性轉換的過程。

接著針對圖2.9 所示之 NARX 模型各部份元件進行數學公式解說與相關符號定義。 首先，依照2.2.1 節定義， f t ，i 1～m 是在時間 t 時經由 PCA 處理後而送入 NARX model 的 m 個輸入訊號，這些訊號可統一組成為一個在時間 t 輸入的輸入向量，以 t 表示。經由 q 次 TDL 的運算而將向量 t 中的每一個元件沿時間軸延遲後，可形成 t ， t 1 ， ， t q 1 之各組輸入時序向量，再將這些向量統一以單一向 量表示，則可得到 q m 維度的輸入空間向量 t ，稱作 NARX model 的外部輸入 來源 (exogenous input originating)；同樣依照 2.2.1 節定義，若 ρ t 1 與 θ t 1 是

t 1 時由 NARX model ，並以座標空間 t 1 表示。經由回授連結與 q 次 TDL 的運算而將向量 t 1 中所含的 t ， t ， ， t q 1 各組系統狀態向量，再將這些向量統一以單一向量表示，則可 得到 q 2 維度的狀態空間向量 在時間 估測手臂狀態所輸出的兩個球座標變數 向量 每 個 球 座 標 變 數 逐 步 沿 時 間 軸 延 遲 後 ， 可 形 成 記 錄 過 去 座 標 狀 態 之 1

t ，稱作 NARX model 的迴歸 (regression) 訊號。 TDL 的時間延遲長度 q , q 之設定值大小與所識別之未知系統的階數 (order) ，當系統的階數越高，所需要的值就越大，而延遲值越大，所需的精確訓練樣本數 TDL 長度 q 與狀態空間的 TDL 長度 q 並不一定要相同， 常需以實驗的方法決定最佳值。最後將輸入空間向量 在此 有關 就越多，此外輸入空間的 t 與狀態空間向量 通 t 併以 q m q 2 維度的向量 t 表示，此向量被稱為嵌入修正 (embedding anifold) 向量，可以以數學式表示所有向量間的關係如下： t 合 m t t t t q 1 t t q 1 ρ t ; θ t ; ; ρ t q 1 ; θ t q 1 (2.4) f t f t ; ; f t q 1 f t q 1

排列後的向量 t 即為 內部靜態神經網路的輸入向量，其維度大小 t , , t q 1 , t , , t q 1 (2.5) 再進一步參考文獻[13]，將公式(2.5) 在時間 t 所描述的非線性回歸方程式輸出，比 為當事 生時，隨機變數 的條件期望值 (conditional expec | ，而 f _| | 而將 E 化展開為： ∑ · K _σ NARX model q m q 2 即為靜態神經網路的輸入維度。可對照圖 2.9 而對整個 NARX model 的計算過程整理成下列動態方程式來描述： t 1 t 此處的 · 即代表 NARX model 內部用來進行非線性映射的靜態類神經網路。 件 發 tation) E

E | 展 開 後 產 生 的 條 件 機 率 密 度 函 數 (conditional probability density function) f _| | 則根據 Parzen-Rosenblatt density estimator 法則，利用該事件發生時所蒐集到的 事 件 樣 本 資 料 作 為 參 數 , 建 立 核 函 數 (kernel function) K · ，並以此近似 | 簡 E | M ∑M K _σ · ψ , 其中： K M (2.6) ψ , σ ∑ K _σ k 1,2, … , M M (2.7) 至於用來近似機率密度函數的核函數 K · ，則常使用多變數高斯分佈 (multivariate Gaussian distribution) 對事件樣本點進行建立：

K

σ exp 2σ

1

2πσ ⁄ k 1,2, … , M

推導至此，可看出公式 (2.6)～(2.8) 所展示的結構即為正規化徑向基網路 (normalized radial-basis function network, normalized RBF network)，也是此研究用來作為 NARX model 內部靜態類神經網路的架構。而重新對應到 normalized RBF network 的架構定義， 公式(2.6) 的 M 值即代表 normalized RBF network 主要的神經元與核函數之數目，但由

於每個樣本資料點皆需要一個核函數描述，因此 M 值也同時等於樣本資料集的樣本個

數；公式(2.7) 的

中核函數的控制變數 σ 稱為散佈常 (spread constant) 或帶寬 (bandwidth)，負責控制核函數在空間中影響範圍的大小；另

一個控制變數 則是用來描述核函數在空間中的中心位置，而如前所述將由樣

集中的輸入樣本資料建立。最後，公式(2.6) 中 則為 normalized RBF network 中對應

神經元的輸出連結權重，同樣由樣本資料集中的輸出樣本資料建立。

而實質上，公式(2.6) 中所描述的 normalized RBF network 是類似 Nadaraya-Watson regre 上 輸入 最為近似的幾個樣本 ，並以這些點所對應的樣本輸出值 進行內插而得到輸出 t 1 。又根據公式(2.4)， t 由 (2.8) ψ , 則是神經元的活化函數 (activation function)，或稱為正規化 基底函數 (normalized basis function)；而公式(2.8)

數 本資料 ssion estimator 的區域加權平均架構，其中 ψ , 則可視為用來判斷相似度而決 定加權值的加權函數，因此在計算 ，等效於搜尋所有已知的樣本資料點中，與 t t 與 t 所組成，也就是說，實際上 normalized RBF network 是在同樣處於狀態 t 附近的已知樣本點中，藉由尋找與目 前 連 續 輸 入 特 徵 t 最相近點所記錄之輸出，來估測系統下一個狀態的走向 t 1 ，並經由回授與 TDL 更新輸入輸出狀態後，再基於新狀態 t 1 與新刺 激 t 1 來推動 normalized RBF network 輸出下一個系統狀態，進而完成整體 NARX model 的運作。

2.2.3 學習策略 在本小節中，將介紹如何利用之前選擇的模型架構特性，搭配特定的演算法，針對 所量測到的EMG 特徵及對應的運動狀態，發展快速建模的策略。由於遞迴型神經網路 與一般靜態神經網路的結構相比，多出了回授連結的部分，因此在模型學習上和一般神 經網路不太相同，必須同時考慮學習架構與學習演算法，還有兩者之間的搭配。在此先 解釋所使用學習架構的種類，此研究使用的是Narendram 與 Parthasarathy [23]所提議的 一種串並聯結構 (series-parallel architecture)，這種架構法是強迫教導型式 (teacher forcing form) 的一種，其特色是，訓練過程中使用目標系統的真實輸出取代原本由網路 所建立的輸出，以送入NARX model 中靜態類神經網路的狀態輸入項，學習架構圖則如 ，第一點是輸入靜態神經網路進行學習識別的真實 系統狀態比起網路本身回授的估測輸出更為精確，因此可以增加網路所學習的狀態正確 性；第二點是因為學習過程中不使用網路輸出進行回授，因此除去回授連結之後的學習 架構和一般網路相比只多出 TDL 的部分，只要將真實系統所蒐集到的輸入輸出資 經由TDL 的過程處理封裝成輸入 n 後，再移除 TDL，如此就與一般神經網路所使 用的訓練架構無異。因此在學習 中的 ，而不至於 圖 套用到 模型的串並聯學習架構圖。其中藍色箭頭 圖2.10 所示。這個特色帶來兩點優勢 料事 先

NARX model normalized RBF network 之參數時， 即可以普通神經網路使用的非時序型學習演算法來取代複雜的時序型演算法

產生太大的效能落差。

至於在學習演算法設計方面，根據公式(2.6) 推導，可使用經由串並聯結構整理過 所有系統真實輸入-輸出訓練資料集當作事件機率樣本，以作為 normalized RBF network 模型的主要參數 , 。但這種屬於記憶基底

資料 表

般所使用的非指導式 (unsupervised) 群聚演算法，如 k-means algorithm，只能針對單一 空間域進行群聚。因此對於此類與核基底回歸 (kernel-based regression) 相關的問題中，

，必須

限。在此，本研究引入 Barreto 等人[5,6]所發展的一種特殊的非指導式群聚演算法：向 量量化時間性聯想記憶 (vector-quantized temporal associative memory, VQTAM)，這個演

回歸問題中所蒐集到的輸入輸出資料集進行群聚分析與關聯 的

(memory-based) 結構的網路模 型在為了確保機率值穩定而蒐集使用大量資料點的狀況下會產生計算結果異常耗時的 問題，所以有時會引入原型方法 (prototype method) 以群聚中心 (clustering center) 作為

集中相似子群資料的代 樣本，以取代原本的子群資料來降低建模複雜度。然而一

同時擁有輸入輸出兩個空間域資料的狀況下 搭配額外的演算法 (如 pseudo-inverse method) 以處理其他空間域的資料，但此作法對於群聚分析與關聯性建立的效果依然有

算法是基於自我組織特徵映射 (self-organizing feature maps, SOFM) 演算法改良而成， 其特色是可同時對非線性 建立。 VQTAM 演算法基於一個簡單假設：在輸入空間中子群內的相似資料點，經由回歸 函數(或系統)轉換後，所得到的對應輸出資料也必定相似，而在輸出空間中形成對應的 相似子群集合。因此VQTAM 演算法中的每個 prototype 皆包含一對向量 , ， 分別對應到輸入群聚中心與輸出群聚中心，而當某些prototypes 的輸入群聚中心 經 由SOFM 演算法激發而往目前輸入資料的方向進行群聚時，則 prototypes 的輸出群聚中 心 也將同時往對應的輸出資料方向進行群聚。如此經由往復疊代並進行群聚分析 與特徵抽取後，最終每個 prototype 的向量對 , 將會分別收斂到輸入空間與 輸出空間所對應的相似子群特徵中心，prototype 本身就建立起各輸入／輸出空間間 Voronoi cells 的對照關係，而圖 2.11 則是一個簡單的示意圖。因此藉由 VQTAM 這個學 習演算法的這個特性，即可使用prototypes 的特徵向量對 , 有效代表所對應

之Voronoi cells 內的所有資料點做為 normalized RBF network 的樣本參數 , 進行 區域內插，以有效減少內插時計算量與模型複雜度 ( 複雜度由 RN _RM_{，在此N 是全} M 則是群聚中心的個數，亦為 normalized RBF network 的神經元 數 )。 介紹完學習架構與學習演算法所使用的技巧之後，最後將詳述如何利用搭配串並聯 架構的VQTAM 演算法，從 EMG 資料與對應的運動狀態中擷取映射關係，以用來調整 參數的整體步驟與計算流程。首先，將受測者執行前臂運動的過程中，實 驗儀器所觀測到的所有運動狀態與 節所描述的方法 對每個量測時間點的輸出／輸入資料進行球座標轉換及特徵擷取與 轉換等處理， 處理完的資料則依照 節的定義分別標記為 ～N q ，其中 q max q , q 。如同前文所描述，在串並聯架構的設定下 N q 筆真實 輸出／輸入資料會事先在離線狀態下，對部分資料點複製後重新進行封裝組合 計算中，在每個時間點所進行的線上 即時回授與 處理的 過程。而經由複製組合後產生的訓練資料對如下： 圖 2.11 由 VQTAM 演算法所建立的輸入輸出關聯映射示意圖。圖中的黑點代表 prototypes 內所含的輸入輸出特徵代表向量對，新輸入的資料可藉由鄰近 prototypes 的非線性內插在輸出空間中找到對應值。 部訓練資料的點數， NARX model EMG 訊號，依照 2.2.1 ，離線 (off-line) PCA 2.2.2 n , n n 1 ，所蒐集到的 ，以取代

q 1 , q 1 q q 2 q N 1 q q N n n q n n q 1 n 1 , n n q N q 1 (2.9) 1 , n q q q 1 q q q 1 , n q q 2 , q 1 q q 2 , n q 1 q N , q N 1 q q N , n q N 1 n 1 , 1 1 n q～N q ～ 因此經由學習架構的設計而對資料進行重整後，最後可將原始觀測資料縮減成N 筆用來 建立靜態類神經網路模型的訓練資料對 n ，可以發現到，其中靜態神經 網路輸入部分 n 所包含的系統狀態 部分，是由真實系統輸出取代網路回授輸 出。接下來的部份繼續以VQTAM 學習演算法對所得之訓練資料進行特徵抽取與建立靜 態神經網路參數的過程，以下為演算法流程： 1. 初 始 化 ： 使 用 亂 數 值 隨 機 設 定 用 來 建 構 網 路 的 M 個 樣 本 特 徵 向 量 1 , 1 k 1～M 之初始值，一般常使用的亂數值範圍在 ± 0.7 之間。 2. 取樣：從訓練資料集中隨機挑選一組訓練資料對 , 輸入演算法中。 3. 相似性評估：使用最小歐幾里得距離 (minimum-distance Euclidean) 找尋與第 n 次訓練之輸入向量 最近似的群聚中心 n ，而得勝者 (winner) k n 為： .10) k n arg min n (2

(2.13) n η (2.14) (2.15) 4. 更新：使用 VQTAM 演算法規則更新群聚中心 n 1 , n 1 ： 在此 η n 代表網路的學習率 (learning rate)，且 0 n 1，其值需隨著網路 收斂而逐漸減小。一般來說，輸入群聚中心 和輸出群聚中心 所使用的學 習率不一定要相同，而通常 η n 可用以下公式進行指數遞減： η n η exp τ n 1 n η n h k , k, n n (2.11) n 1 n η n h k , k, n n (2.12) 在此 h k , k, n 代表鄰近區域函數 (neighborhood function)，可依神經元側向聯 新 相關設定： h k , k, n exp n n 結結構來計算更 強度，通常可用高斯函數進行 2B n 在公式(2.14) 中的 n , n 分別對應得勝神經元 k 與其他 k 神經元在 SOFM 拓樸空間中的排列位置，一般可使用二維平面的方格拓樸結構進行 位 置的設定；B n 則是控制得勝神經元可影響的拓樸有效範圍，此值須隨網路收 斂而逐漸減小，可用如下公式進行指數遞減： B n B exp n τB 至於遞減方程式 (2.13) 與 (2.15) 中的 η 和 B 是用來設定初始值，而 τ_η 和 τ_B 則是用來控制遞減速度。

5. 連續學習：n 增加 1，回到第 2 步，重複此過程直到達到誤差設定值或是最大疊 代數。

6. 輸入空間拓樸：當樣本特徵 n , n 經由 VQTAM 演算法擷取出來之後， 最後依照Kohonen rule 建議，依照輸入空間拓樸狀態設定 normalized RBF network 的各樣本特徵影響範圍 σ ，以避免計算區域內插值時落入未被樣本覆蓋區域所 產生的洞(holes)，而 Kohonen rule 的公式如下：

σ r min (2.16) 在此 代表覆蓋率 ，可以根據資料密度微調樣本的有效影響範 圍。 即建 種搭配 串並聯架構的VQTAM 演算法進行建模的最大優勢在於，使用串並聯架構不需搭配訓練 速度 慢的時序型遞迴學習演算法，而使用

練NARX model 內部的 normalized RBF network 的速度也較一般階層式演算法來的快， 所以就算面對大量的生理運動量測資料時，此學習策略仍可快速有效的完成映射建模的 動作。此方法唯一的缺點在於，由於normalized RBF network 只有一層隱藏層，因此通 常需要更多的神經元來記憶資料才能達到與傳統多層架構相同的精準度。 r (overlapping rate) 當上述所有步驟完成之後，整個NARX model 的架構 立完成。而使用此 較 以 SOFM 為基礎的 VQTAM 群集演算法訓

2.3 實驗設備

本節將介紹在系統架構圖中

稱、操作規格、以及在實際實驗中的使用方法及設定細節，以下依設備種類分節介紹。

2.3.1

研究中用來量測EMG 訊號用的電極，是由 Kendall 公司研發的 Medi-Trace 2 扣式表面電極 (surface electrode) 貼片，這是一種使用銀-氯化銀(Ag/AgCl)的參考電極， 此類電極因不易被極性化，因此量測精準度高，外觀則如圖2.12 (a) 所展示。此種表面 電極與另一種針式電極 (needle electrode) 的不同點在於，表面電極難以量測位於深層的 肌肉，且訊號容易受到電極和皮膚間阻抗的影響；而雖然針式電極的訊號品質遠優於表 面電極，但其以刺針侵入的量測方式不僅有細菌感染的問題，且非專業人士在使用 有一定的危險性；相較之下，表面電極只需黏貼安置的方法顯然較為方便實用，因此一 般的研究也多以表面電極為主。至於在電極的使用上，每個準備量測的肌肉位置均需黏 貼兩個電極以組成差動電極對，電極對的黏貼方向則需與肌纖維平行 額外電 使用去角質霜對受測部位的皮膚進行清洗，以移除皮膚表面油汙以及死亡的表層細胞。 為了放大電極所感測到的微弱生理訊號，使用了美商 iWorx 公司研發的 ETH-256 二通道橋式 ECG／EMG／EEG 生物電位放大器，外觀如圖2.12 (b) 所展示，其詳細規 格與特性則如表2.3 所列。此類通稱為生理訊號放大器之量測儀器的特點在於，其擁有 極高的輸入阻抗 (input impedance) 與共模抑制比 (common-mode rejection ratio，CMRR)，

以用來 號放大 器以提 通道連接到一個專用的三導程連接纜線以分別對應到 號源的三個電極接點。而 ETH-256 的前置面板提供了增益倍率與增益頻帶的選擇按 ，所有用來輔助運動估測系統運作的各項量測儀器之名 表面電極與生理訊號放大器 00 壓 上會 ，此外還需要一個 極以提供接地電位。而為了減低皮膚阻抗並增加訊號清晰度，在黏貼電極前會先 適應高阻抗高雜訊的人體皮膚表面。研究中共使用兩台 ETH-256 生理訊 供四通道的訊號輸入，每個 訊

鈕，方便操作者直接設定放大增益倍率及增益頻帶範圍。在實驗操作中，為了有效放大 生理 晃動產生的低頻干擾與防止 EMG 訊號之外的高頻雜訊混入而造成訊號混疊 (aliasing) 失真，因此建議將增益頻帶依儀器所提供之簡單選項初步調整在 3Hz～2KHz 間，以在 數位 ，至於 EMG 節所述之可細部調整頻帶範圍的軟體濾波器執行。 訊號，所使用的放大增益倍率為 50X；在硬體增益頻帶的設定方面，為了減低導線 取樣前提供較佳的類比訊號來源 頻帶提取的動作則是另外交由 2.2.1 Item Specification Number of channel 2

Operation Modes Bridge/Biopotential（ECG,EMG,EEG）

Low Pass（Hz）：5.0, 50, 150, 2k, 10k

Input Connector DIN 8 or BNC Output Connector BNC

Offset Range -5 ～ +5V

CMR 85db @ 200Hz

Gain ×1,×5,×10,×100,×500,×1k,×5k Filters High Pass（Hz）：DC, 0.03, 0.3, 3

Input impedance 10GΩ Output impedance 100Ω 圖 2.12 TH-256 前視圖與控制面板，此放大器可提供兩組差動生理訊號的輸入。 (a) 電極貼片與其連接纜線 (b) ETH-256 表2.3 iWorx ETH-256 表面電極與生理訊號放大器外觀圖：(a)一組電極貼片與連接用的三導程纜線。 (b) E 生理訊號放大器規格表

2.3.2 資料擷取卡 為了將放大器輸出的四組 訊號送到電腦端進行儲存與處理，使用了 公司研發的 的類比／數位資料擷取卡，其外觀如圖 所示。資料擷取卡的 主要工作是將量測儀器所輸出的多個類比訊號，分別經由取樣與量化的處理轉換成數位 訊號，並提供一個I／O 介面讓電腦程式能藉此直接設定與讀取訊號輸出。而 DAQ-2213 在規格上提供了16 通道的單一類比輸入以及 8 通道的差動類比輸入，最高取樣頻率可 達250KHz，量 ，並使用一組PCI 介面與電腦程式互傳指令與資料。 至於其他設備詳細規格可參照表 2.4。在實際的擷取設定上，根據取樣定理 (sampling theory)，為了能有效的重建訊號特性，並避免混疊 (aliasing) 失真的問題，取樣頻率必 須設定在訊號頻率的兩倍以上，而基於EMG 訊號的頻率約分布在 55～500Hz 間，因此 將DAQ-2213 的取樣頻率將設為 2 KHz，再由後端的軟體濾波器進行頻帶提取的動作。 但由於對應的運動追跡系統無法達到如此高的取樣頻率，因此接收到的資料會經由平均 化處理以降低實際輸出筆數，而盡可能使生理訊號擷取系統與運動追跡系統兩者的量測 訊號同步輸出。 EMG ADLink DAQ-2213 2.13 化解析度則為16-bits 圖 2.13 DAQ-2213資料擷取卡外觀圖。

Item Specification

表2.4 ADLink DAQ-2213 資料擷取卡規格表

Resolution 16 bits, no missing codes

為了要記錄引發 Polhemus 公司所研

發的motion tracking system 進行量測，其詳細規格如表 2.5 所列。此系統主要包含兩個 部份：FASTRAK Long Ranger，其中 FASTRAK 是一套使用在非金屬物體上的電磁追

蹤系統，此 磁轉換技 換成動態 運動變化， 圍動態移動與旋轉的 測器來得更高，因 此常被使用在快速動作軌跡的捕捉上，本 圖2.14 (b) 所示。至於 利用內部 垂直的電磁線圈產生全方位大範圍的電 磁場覆蓋， RAK 偵測範圍的磁場產生器，其外觀如圖 2.14 (c) 所示。 在使用上， 兩個感 別用鬆緊帶固定在受測者的手腕與手肘上 以記錄前臂運動軌跡，而動作更新速率則為系統預設的60Hz。

Number of channels 16 single-ended or 8 differential

Maximum sampling rate 250 k Samples/s

Bipolar input ranges ±10 V, ±5 V, ±2.5 V, ±1.25 V

Unipolar input ranges 0-10 V, 0-5 V, 0-2.5 V, 0-1.25 V

Offset error ±1 mV

Gain error ±0.01% of FSR

Input impedance 1 GΩ /100 pF

CMRR (gain = 1) 83 dB

Settling time 4 μs to 0.01% error

FIFO buffer size 1 k samples

Data transfers Polling, scatter-gather DMA

Programmable gain 1, 2, 4, 8 2.3.3 運動追跡系統 目前EMG 訊號所對應的前臂運動姿態，使用了 及 系統是利用低頻電 術，將通過感測線圈的瞬時磁場變化轉 對大範 靈敏度和反應速度比之其他感 體與感測器外觀分別如圖2.14 (a) 與 Long Ranger 則是 三組互相 以用來增加FAST 如之前所述，將使用 測器分

Item Specification

Degrees-of-Freedom 6DOF

Number of Sensors 1-4

Update Rate 120 Hz (divided by number of sensors)

Static Accuracy Position 0.0015 in

Static Accuracy Orientation 0.15° RMS

Latency 4 ms

Resolution Position Resolution Position per inch of source

and sensor separation (at 30cm range)

Resolution Orientation 0.025 DIV

Range Up to 30 feet (from Long Ranger)

Interface RS-232 or USB

Host OS compatibility GUI/API Toolkit 2000/XP

圖 2.14 運動追跡系統組件一覽圖：(a) FASTRAK 與其周邊連接線。(b) FASTRAK 系統中用來接收訊號的position sensor 近照圖。(c) Long Ranger 電磁場發

(a) FASTRAK (c) Long Ranger

表2.5 Polhemus 運動追跡系統規格表 射器，可裝在腳架上增加發射高度。

2.4 實驗設計 在研究過程中，為了開發與測試模型的演算法及各項設定，邀請了數位受測者針對 安排的 續前臂運動進 同運動條件下的生理 關資料 擬對目前的研究方法進行驗 。接下 段說 實驗過程的安排，然後解釋數據驗 的方法 實 由於 肉大小 慣的不同，導致每個人對同樣動 產生的 相同，因 分別測試系統的 用性。目前的研究共邀請了三位受測者協助實驗，這些受測者主要以男性為主，在體 中一位還有定時鍛鍊本次研究所針對的肌肉群，關於這些受測者 詳細資料可見表2.6。接著，將以條列的方式詳述這些受測者進行實驗的流程： 1. 2.2.1 節所述方法尋找受測者四條目標肌束的位置，然後使 ，接著接上EMG 差動量測電 極與運動追跡感測器，開啟各個儀器按照2.3 節所述進行儀器設定，再請受測者 簡單執行幾個動作確定量測儀器之訊號正常後，照相記錄各個感測器安置位置， 並建檔以作為下次實驗重新安置之用。 受 2-DOF 動態連 所 行實驗，並廣泛收集各種不 相 ，以便直接以真實實驗數據取代解析證明與數值模 證 來的部分會將分成兩個階 明，首先說明 。 證 2.4.1 驗過程 生理學上的差異，如肌 的差異、運動習 EMG 訊號幾乎都不 作 此研究有必要針對多個實驗個體 適 格上有明顯的差異，其 的 感測器設置：先使用 用去角質霜清洗電極黏貼位置附近皮膚以減低阻抗 測者 性別 年齡 身高(cm) 體重(kg) 身體質量指數(kg/m2 ) 是否鍛鍊手臂肌肉 表2.6 受測者基本資料表 1 男 24 173 58 19.2226 有 2 男 20 172 60 20.2812 無 無 3 男 20 170 75 25.9516

(a) (b) (c) (d) (e) (f) (g) (h) (i) (j) (k) (l) 圖 2.15 實驗動作示意圖。其中(a)~(c)為內旋狀態下的屈曲／伸展分解運動，(d)~(f)為屈曲狀 態下的外旋／內旋分解運動，(g)~(i)為外旋狀態下的伸展／屈曲分解運動，(j)~(l)伸 展狀態下的內旋／外旋分解運動，至於(m)則為產生的動作軌跡對照。各圖中的綠色 箭頭代表屈曲／伸展運動，藍色箭頭則代表外旋／內旋運動。而(m)圖中的紅色虛線 代表手腕經過的軌跡路徑，紅點標示處則為運動執行過程中暫停一秒的位置。 (m)

2. 動作教導：如前所述，本次研究的目標主要是針對外旋、內旋、屈曲、伸展等 四個基本肌肉連續收縮運動所需的EMG 訊號，與隨之產生的前臂位移之運動資 的內旋／外旋運動（如圖 2.15(j)(k)）為主，以盡可能收集在不同狀態下肌 肉收縮過程所產生的訊號。在連續運動過程中，受測者每執行圖2.15 中的一個 會要求稍微暫停一秒使EMG 訊號穩定後再接續下一個動作。至於這 些肌肉運動所帶動前臂產生的移動軌跡則如圖2.15(m)所示，此運動資訊將由位 3. 實驗指示：進行實驗時，將給受測者下列兩個指示。第一個指示是關於量測姿 勢方面，實驗中將指示受測者在量測全程保持站姿、上臂輕貼軀幹、輕握拳頭 朝上的姿態進行實驗，以排除來自待測部位之外的因素影響，並減少實驗變因。 第二個指示是關於運動執行方面，實驗中將指示受測者保持自己認為最輕鬆的 4. 資料收集：第一部分為基本測試，會請受測者連續執行圖 2.15 的所有基本動作 一次，並將過程中各取樣時間點所量測到的所有樣本資料點封裝成一個資料集。 然後請受測者自由放鬆休息一分鐘後，再進行下一個資料集的收集，如此重複 四次得到四個資料集以分別作為後續訓練與驗證之用。第二部分為長時間測試， 連 2 動 取 所 本資 裝成一個 集，並以上 樣收集四個資 以進 續 。最 上所有 集的收集過 一天之內完成。 訊間的關聯性學習，因此設計了所有相關的前臂運動請受測者執行並進行測量。 目前在實驗中設計的整體動作流程如圖 2.15(a)～(l)，此過程主要以內旋狀態下 的屈曲／伸展運動（如圖 2.15(a)(b)）、在屈曲狀態下的外旋／內旋運動（如圖 2.15(d)(e)）、在外旋狀態下的伸展／屈曲運動（如圖 2.15(g)(h)）、以及在伸展狀 態下 動作後，就 置感測器所記錄。而在開始量測之前，會請受測者先行練習，以習慣動作流程。 速度移動，避免刻意施力而造成移動速度忽快忽慢，實驗中會同步拍攝與顯示 目前受測者的前臂動作影像，提供給受測者確認目前的移動位置與移動速度。 .15 的所有 將請受測者 續執行圖 作四次，並將過程中各 樣時間點所量測 到的 有樣 料封 資料 述方法同 料集 行後 實驗 後，以 資料 程將在同