泛用型動態虛擬實境操控與運動復健輔助系統研發---泛用型動態虛擬實境操控與運動復健輔助系統研發-總計畫(II)

行政院國家科學委員會專題研究計畫 期中進度報告

泛用型動態虛擬實境操控與運動復健輔助系統研發-總計畫

(2/3)

計畫類別： 整合型計畫 計畫編號： NSC91-2213-E-009-035-執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立交通大學電機與控制工程學系 計畫主持人： 林進燈 共同主持人： 莊家峰，張志永，李祖添，林昇甫 報告類型： 精簡報告 處理方式： 本計畫可公開查詢

中

華

民

國 92 年 5 月 29 日

泛用型動態虛擬實境操控與運動復健輔助系統研發

計畫編號：NSC91-2213-E-009-035

執行期限：91.8.1-92.7.31

主持人：林進燈

國立交通大學

教授

執行機構：國立交通大學電機與控制工程研究所

一、摘要

本計畫的目標是發展一套運動復健訓練的輔助控制系統，此系統主要是在一 個由電腦操控的六軸動作平台上建構走步機或跑步機等運動訓練輔助機制，配合 聲光效果建立之虛擬實境，提供使用者一個運動與訓練環境。其主要特色在於運 用感測資訊及操作者的選擇，以電腦預測出使用者的體能與身心狀態之型態 (Pattern)，進而改變輔助訓練的內容與場景，期可以鼓勵使用者，達到進行運動 訓練的積極目的。此系統不但可作為一般人士的運動、健身器材，尤其適合提供 給身心殘障人士一個更人性化及具輔助性的復健空間與設備，並達到職業重建的 目的。 關鍵字 沖淡演算法、行為轉換演算法、小腦模型控制器、即時作業系統、影像系統、互 動性、人臉表情情識、遞迴網路、加強式學習

二、目前研究進度

本年度此計畫共以五個子計畫完成各自負責的項目，以下就分別陳述各子計 畫的進度狀況： 子計畫一：動態 VR 運動復健輔助系統之行為轉換與即時模擬研究 一、計畫概述 在本計畫研發的系統中，操控員透過操控界面下達指令，以操控系統中的 虛擬的運動訓練的輔助設備或載具。此操控命令將被輸入所模擬之設備或載具 的精確物理模型中，以求得真實情況下系統的反應。這些反應將透過本子計畫

的行為轉換與控制模組，而由六軸運動平台、力迴饋模組及虛擬實境顯示器表 現出來，以讓操控員獲得身歷其境的感受。這整個系統中，因為行為轉換模組 的設計扮演實際環境裡物體運動狀況以及虛擬環境中操控員身體感受之間橋 樑，如何讓操控員有身歷其境的感受，有賴於在動態模擬系統發展過程中，適 當的人(操控員)機(動態模擬器)溝通界面及迴饋學習技術，以獲得最符合人類感 覺的行為轉換模式。本子計畫只要將相關之運動行為提供給顯示子系統即可。 Stewart Platform 為一具有六自由度運動能力之機械平台，但其運動範圍受到其 工作空間的限制，有些動作是無法達成的，因此為了在其有限空間下模擬出騎 馬、飛機、輪船等交通工具時之運動感覺。所以一般是以沖淡演算法(Washout Algorithm)架構出對模擬器的力的感受。在第一年的研究中，我們探討了如下的 四個課題：了解沖淡演算法及行為轉換演算法、函數型類神經網路、訓練者修 正的加強式學習、以及模糊控制器穩定設計與探討。在第二年的研究中，我們 則著重在沖淡演算法及行為轉換演算法的探討上面。我們簡述於下。 Fig. 1 六自由度運動關係圖 我們也將從事有關訓練者修正的加強式學習，主要的兩個方向是在建模方 面，另一則是 motion cue 的部分，主要的觀念乃是在虛擬實境上，主要是要人 的感受。因此當操作者對於系統有認為不好的地方，我們希望能將這一類的感 受用於修正系統，對建模部分而言，主要是對反應的不真實性，加以修正，若 是能建立這樣的系統，則針對建模部分就可以只要建一個簡單大致的模式，而 後透過加強式學習來使得模式反應更逼真，如是未來對不同的系統開發可以不 需要每一次都要找一個所要開發系統的建模專家，而只要有一對該系統反應狀 況較熟悉的人就可以了。同樣的，在 motion cue 設計的部分，也是如此，只要 一感受靈敏的人，針對系統反應的評估，即可設計出較精準而感受逼真的動態 模擬系統。

Fig. 2 加強式學習系統架構

在加強式的研究中，初步的架構如 Fig. 2 上，訓練者在運動平台上，針對 平台的反應來修正而修正分為部分，其一為 Model 部分，而另一為 motion cue 部分。在做法上，我們要研究訓練者的評估在加強式學習中的效能。而系統對 訓練者其評估的不確定性，也是研究所需要析的。這是因為對同樣的狀況，在 不同的時候，由於人類感受評估的不精確性，其可能會有不同的評估值。而同 時，針對訓練者評估息的定義，也不必然和事先設定的概念一致。因此如何的 調適評估信息的歸屬函數，及其在加強式學習中的學習法則，都需要深入的探 討與研究。而目前我們加強式學習的架構是以 SONFIN 的方式來使得每一網路 的法則數不需要那麼多，可是由於 SONFIN 的學習在使用 BP 下較慢，而使用 LS 方法其所欲之輸出不知道，這些在研究中我們都將加以探討。而在內部加強 式信號的產生部分，目前我們是以傳統的 Temporal Difference (TD)預估的方式來 進行。由於最近的研究大都使用遺傳演算法，我們也會考慮使用，在未來的研 究中我們將更進一步的探討分析其結果，同時也將納入類似 washout filter 的概 念以及段落分割之學習方面。最後，由於如上二種加強式學習。在訓練者的感 受上似乎有不可分的現象。目前的概念是先分別探討與學習，以便個別系統能 正確做加強式學習，若在分析中能正確分割兩系統效應。則可據以做加強式信 號回饋的依據，若不能分割，則可考慮將二系統直接合併。由於加強式學習本 來就是可用於較複雜，而不容易數學化的系統而當系統參數化後，其利用 trial-and-error 的特質，也是可以架構出加強式學習系統的。 子計畫二：動態 VR 運動復健輔助系統之智慧型感測與控制 子計畫二研發重點在於電動動作平台之設計與分析、運動訓練輔助機制之 感測與控制及操作者運動狀況之偵測與分析。本子計畫的第一個重點擬開發一 智慧型控制系統於電動動作平台的姿態控制設計，以為整個動態運動訓練輔助 系統的根基平台。本子計畫的第二個重點在為了提高系統的穩定度與安全性， 系統對外界訊息的反應，必須要更為迅速，以確保在系統出現問題時能立及做 出適當的處理，而構成即時動態運動訓練系統的整合機構。本計畫的第三個研 究主題是以 LART 實驗單板的 Intel StrongARM SA-1100 處理器之 Linux 嵌入式 系統來取代舊有的 IPC 控制方式。本子計畫也將發展即時計算環境的軟、硬體，

以達到整體系統的即時控制效果。以下就分別針對此幾個方向，來加以說明目 前進度狀況。 A. 電動動作平台的控制 近二十年來電氣伺服逐步取代傳統油壓伺服在工業界的應用，因為電氣伺 服可靠且容易維護，再加上精度高、成本低等優勢，表一就油壓與電氣作動之優 缺點作一簡單的比較。 基於本實驗室過去開發油壓運動平台的經驗，本研究已成功完成電動運動平台的 機構設計、加工及驅動系統研究，由於電動運動平台之動態模型十分複雜度，所 以不易使用傳統的控制理論來達成控制的目的，為解決此問題，本研究提出一架 構簡單、具快速學習且不需要受控系統動態模型的適應性小腦模型控制器來解決 此控制問題，經由實驗結果發現本研究所提出之適應性小腦模型控制器可以有效 地準確控制電動運動平台之腳長長度，其方塊圖如 Fig. 3 所示。為了驗証所設計 之控制器對於機械參數變化與外來的負載干擾的性能，我們利用方波位 置 命 令 來 驗 證 控制器追 隨 控 制 角度變化的軌跡來觀測平台的動作是否正確，以驗証 我們所發展式的小腦模型控制器設計是否正確，其實驗結果如 Fig. 4 所示。 表一 油壓式/電動式平台控制系統之比較 油壓式平台 電動式平台 優點: 缺點: 優點: 缺點: •可產生較 高之加速 度 •作動元件 尺寸較小 •耐用的作 動元件 •非常高的 承載能力 •有漏油顧 慮 •效率低 •較多的突 發狀況-如 閥軸卡死 •安裝較麻 煩 •乾淨 •不需另加 其它附屬 裝備 •效率高 •維護容易 •安裝容易 •不用複雜 的作動閥 •作動缸結 構複雜 •安全裝置 十分複雜 •複雜的電 子設計 •系統運作 動力需求 變化大 感應伺服馬達驅動系統 滑動表面 函式 適應性小腦模 型類神經網路 控制器 補償控制器 適應性 學習法則 t K 1 ( ) s Js+B 參考命令 c q θd S cp u cmac u ∧ u l T ∧ á 具近似誤差觀測能力之適應性小腦模型類神經網路控制器 + + + + − − e E ∧ θ e T 近似誤差線上 學習法則 F i g. 3 適應性小腦模型類神經網路控 制系統

F i g. 4 適應性小腦模型類神經網路控制系統實驗響應圖 B. 平台即時作業系統 為了提高系統的穩定度與安全性，系統對外界訊息的反應，必須要更為迅 速，以確保在系統出現問題時，能立及做出適當的處理。故我們希望能提高系統 中的即時性作業能力，因此，也確立了即時系統的必要性。以下是我們今年針對 虛擬實境控制平台，進行即時性分析與設計的成果。 我們所使用的即時作業系統是建構在 Linux 作業系統之上的微核心模組 Real-Time Application Interface(RTAI)，這個微核心負責處理所有與硬體間的動 作，針對需滿足即時性的工作，會在這個即時核心的工作空間中處理。

首先，是有關即時控制六軸運動平台的分析，我們進行了即時 (Actuation channel 部份)與非即時 (Monitor channel 部份) 工作的分工，細部分工如 Fig. 5 UML 使用者關係圖所示。根據我們模擬系統的流程，大至上可分成五個狀態， 分別是 initial, ready, running, shutdown, emergency。以下是五種狀態的在即時控制 系統裡狀態轉換關係圖，如 Fig. 6 所示。 Fig. 7 為透過網路與 FlightGear 虛擬場景結合，實際截取即時控制系統之活 動資料的展示，其中的 Tick Time_ =100µs，代表的是每隔 100 sµ 即會檢驗是 否有其它外部中斷發生，並迅速地做出反應，或著是否有其它週期性工作，即將 要執行，則會迅速進行排程動作，以喚醒工作執行，因此，不僅提高了控制系統 的反應能力，也增加了週期性工作排程的精度。而圖中Period_{D A/} =100µs，也就 是以頻率為10kHz 的速度，進行精確的平台控制。相較於一般的作業系統，就 Linux 而言，其Tick 的時間，標準為1ms ，此段時間則視系統受負載的程度而有 所變動(1ms~ 100ms )，故其延遲(Latency )時間，為1ms~ 100ms ，因此它所能提 供的控制環境，是屬於反應性較差，精確度較低的環境，不適合用來進行精密的 虛擬實境模擬。而在本年度成果中，我們為了將來進行一些高精度的控制，如： 電動平台的控制，而成功地增加了即時控制系統，且大大提高模擬的精準能力。 Actuation Data Source Sensor Input Processing Inverse Transformation Controller Monitor Monitoring Input Processing Actuator Actuator Monitor Sensor ^ measures Actuation Channel predecessor transformation successor transformation 0,1 1 Monitoring Channel acti vate / shutdow n si gnal control si gnal monitored actuati on si gnal Personnel send command actuati on channel information Fig. 5 UML 使用者關係圖

/ rt_shutdown( ) receiving data / do platform control < event > / < action > Initial [CMD] rise up / rt_riseup( ) Emergency Ready

/ notify_user( ) & entry periodic mode

Shutdown

[CMD] shutdown / exit periodic mode

Running 圖 Fig. 6 即時控制系統狀態圖 Fig. 7 實驗圖 C. 嵌入式即時硬體單板之設計 在嵌入式硬體部分，我們所採用的是 LART 實驗單板，選擇這塊板子的原 因是因為它選擇這塊板子的原因是因為它有豐富的序列傳輸介面，包括 IrDA、 RS-232，也有內建 10Base-T 網路，並且支援包括 Linux 嵌入式作業系統，可以 發展的嵌入式種類及相關應用程式可謂相當豐富。此塊單板實體圖片如圖七所 示。 除此之外，所使用的微處理器為 SA-1100，而在 LART 的計畫中亦是使用 Strong ARM 微處理器系列。所謂 LART 計畫是由國外的 Delft University of Technology 所主持的研究計畫，主要研究在消耗不到一瓦特功率而可以達到 250MIPS 指令的 Linux 嵌入式系統。它有一套較為完整的 Linux 嵌入式系統文件 及 mailing list，更難得的是它亦將所有的軟硬體公開。因此在未來發展 StrongARM SA-1100 嵌入式系統時可以有較為完整的相關文件可以參考。 在 LART 實驗單板上發展嵌入式系統來控制虛擬實境動態模擬器，並沒有 CAN-Bus 的裝置與驅動程式，因此我們必需要發展 CAN-Bus 的裝置與驅動程 式，來作為與 LART 實驗單板的傳輸介面。如此才可以與 LART 實驗單板溝通， 接收由虛擬實境場景的六軸腳長 data，然後將腳長轉電壓，控制動態模擬器。其 系統方塊圖如 Fig. 8 所示。 在動態模擬器六軸姿態的傳遞方式上，我們將發展 CAN-Bus 通訊協定，因 此必須在嵌入式系統上發展 CAN-Bus 驅動程式，A/D 及 D/A 驅動程式；除此之 外，還需發展 LART 實驗單板之 CAN-Bus 程式，如此才能以 CAN-Bus 傳遞六

Fig. 8 控制動態模擬器系統方塊圖

Fig. 9 CAN bus 實際之控制電路板

子計畫三：動態 VR 運動復健輔助系統之互動式實景影像設計與研發 在上一年度當中已經達成配合動態跑步機系統拍攝製造了兩種場景，分別 是(1)固定路線、固定速率前進、全平面地形之場景，和(2)固定路線、速率可變、 全平面地形的場景。因為影片是拍攝實際場景，所以自然地有”真實”的感覺而且 也可以在離線的情況去模擬跑步者速率的改變，算是可以做到離線狀況的互 動，但無法做到即時的互動。依據規劃(請參考第一年度期末報告)，本年度的目 標是達成使用者與場景之間，可以預先在路線、速率、地形之中擇一互動。最 後要能同時對路線和速率即時地互動。 取景之後，再把三台攝影機所錄得的影像透過 IEEE 1394 介面以 AVI 格式儲 存於電腦硬碟之中成為基本素材。然後使用 AVIedit (網路下載之 share ware )把

AVI 影片轉為一連串的靜態影像 (BMP 檔)。Fig. 10所示即是左、中、右三台攝 影機在某一時間所攝得的三個畫面。除了剪裁接合之外，從Fig. 10可以看出來， 三張影像的亮度有明顯的差異，所以必需把三張影像的亮度調成一致，接合之影 像才不會有不自然的亮度變化。Fig. 11是經過指定相關點，然後進行裁剪、調整 亮度然後接合而成的廣角影像。可以明顯看出亮度的變化巳經做了大幅度的修 正。 經過裁剪、調整、 接合等動作，把左、中、右三張影像接合成一張廣角影 像， 重覆這個動作可以得到一連串的廣角靜態影像，最後把一連串的廣角靜態 影像編輯成為一個 AVI 檔，再使用播放軟體，由 PC 送出訊號，透過單槍投影機 投射於螢幕上，即可得到以實景為基礎的虛擬實境影像。關於速度的調整可以從 兩方面著手，一種是在我們產生廣角靜態影像時，另外一種方是在轉換成

因為『固定路線、速率可變、全平面地形』的場景已於第一年中製作完成， 本年度(第二年)的目標是製作『路線可變、固定速率、全平面地形』，『固定路線、 固定速率、非平面地形』，和『路線可變、速率可變、全平面地形』的虛擬實境 場景。達成使用者與場景之間，可以預先在速率、路線、地形之中擇一互動，最 後要能同時對路線和速率即時地互動。 本年度(第二年度)計劃至此已經初步(在一個比較小的場景)達成今年所預 設的目標，亦即可以在速率、路線、地形之中擇一互動，以及可讓使用者與場 景同時對路線和速率即時地互動。而且這種互動不同於第一年度的離線式互 動，是一種線上即時的互動。這項重大的改進主要是因為我們揚棄了第一年度 使用播放工具播放 AVI 影片的方式，改為將場景以靜態影像序列(BMP 圖檔)的 方式儲存並以動畫的方式播放。除了已經在較小的場景試驗成功之外，我們也 已經拍攝完成另外一個大規模的場景，將以此為素材製作一個大範圍、長時間、 可讓使用者在線上即時與環境進行速率與路逕選擇互動的以實景為基礎之虛擬 實境場景。 Fig. 10 (a)左側攝影機影像、(b)中央攝影機影像、(c)右側攝影機影像 Fig. 11 接合並做亮度調整之廣角影像 子計畫四：動態 VR 運動復健輔助系統之人機溝通介面及使用者情緒瞭解 本子計畫藉電子攝影機隨時紀錄操控者臉部，藉影像處理技偵測出操控者之 情緒狀態，並建立操控者與模擬器間的人性化溝通管道，以將操控者的使用感受 忠實的告知子計畫一與二進行模擬器的控制變數轉換及後續階層式控制法則之設 計，本子計畫已發展出一套即時之人情緒狀態判定系統藉線上拍攝操控者臉部影 像序列，由影像處理技術偵測出操控者之臉部變化，進而推敲操控者快樂、生氣、 與中性情緒狀態，它的效果經過驗證可達 92﹪辨識率。在人機系統溝通與與對映

Asymmetric Bidi-rectional Associative Memory)，具有最大吸引範圍。

人類表情與情緒的辨識此子系統第一部份為臉部特徵的選取。臉部特徵的選 取對於辨識人臉和臉部表情是很重要的。人類臉部有些明顯的特徵如眼睛、嘴巴、 眉毛、臉部輪廓等等。在本計畫中，我們擷取眉毛、眼睛及嘴巴作為主要的特徵。 我們以前的研究顯示，我們首先使用粗略輪廓預測程序法(rough contour estimation routine)以及我們所提出的點輪廓偵測法(point contour detection method)這兩種影 像處理的技術，來擷取眉毛、 眼睛和嘴巴這三個特徵器官的正確輪廓。由於使用 粗略輪廓預測程序法所得到的眉毛輪廓已經相當精準，足夠做為辨識之用，故不 用再加強其輪廓。而使用粗略輪廓預測程序法所得到的眼睛和嘴巴的輪廓不夠精 準，所以我們再使用點輪廓偵測法現正進行臉部表情運動單元的分析 。圖一顯示 30 個臉部特徵點；臉部特徵點可以用來代表臉部的特徵。因此當我們得到了這些 特徵器官的精準輪廓之後，我們定義臉部特徵點來描述這三個臉部特徵的位置和 形狀。接下來可由臉部特徵點組成運動單元。由於運動單元可以用來描述人類臉 部基本的肌肉運動，所以臉部快樂、生氣、與中性情緒狀態表情可以藉由一放射 狀函數基礎之神經網路辨識，它的效果經過驗證可達 92﹪ 辨識率，如 Fig. 12 所 示。

人機系統溝通與與對映之法 Takagi 等人係利用關聯網路 (Associate Memory; 簡稱 AM ) 設計之赫比式(Hebbian)學習方法來建構之對映傳遞之關係，但 AM 之 兩對映是由(0,1)之串列對映至(0,1)之串列，與上述之感覺對應，為 0～1 間的任 意實數對映，我們初步的研究其對映精確度很差。本計畫主要是擴展並衍生觀念 模糊集的概念，以某一層的觀念節點的節點活性度值組表示一個感覺概念，以機 電整合受控體之物理量為輸入層，感覺概念的溝通與學習可由函數大約化之對映 方法來執行感覺概念之交流，以使電腦有感覺概念意識與溝通的能力，而對於觀 念節點溝通所需之函數大約化，我們擬設計出一套對映網路的裝置來進行，亦即 在受控機器中建立並學習某一感覺概念交流所須之對映網路。第一年我們以 Kosko 之模糊關聯網路 Fuzzy Associate Memory 設計，所設計關聯網路(Associate

Memory)可以雙向聯想記憶(Bidirectional Associative Memory)，簡稱 BAM，實現。 近來雙向聯想記憶已經在聯想記憶研究當中扮演一個很重要的角色。非對稱式雙 向聯想記憶(Asymmetric Bidirectional Associative Memory)為雙向聯想記憶放寬鍵 結權重必須要對稱的限制之結果，且相較於常見的雙向聯想記憶結構有較好的記 憶與回想效能。高階非對稱式雙向聯想記憶(High-Order Asymmetric Bidirectional Associative Memory)的記憶容量比一階的好很多，然而新的高階聯想記憶設計法 卻很少被提出來。在本篇論文裡，我們所關心的是設計具有最大吸引範圍的二階 非對稱式雙向聯想記憶(Second-Order Asymmetric

Bidirec-tional Associative Memory)。將它延伸到高階非對稱式雙向聯想記憶(High-Order Asymmetric Bidirectional Associative Memory)是有可能而且很簡單的。我們首先推 導出對於二階非對稱式聯想記憶的鍵結權重矩陣能夠保證將所有標準圖樣組回憶 出來之充分條件。為了要遵守完全回憶定理，接著闡述學習步伐大小也是適應性 的局部訓練法則，它將導致一個較快的設計時間。最後我們推導出下列定理：在 設計 SOABAM 時，增大符合完全回憶定理的數值，將會增加一個有雜訊的圖樣 能夠正確地收斂到它的聯想圖樣之能力；以這個定理當作基礎，我們的演算法也 予以修改，能夠保證每一個訓練圖樣能儲存在具有越大的吸引範圍。針對 color graphics adapter (CGA)字型的電腦模擬，已經證明出我們所提出的局部訓練法則 效果優於其他主要的 BAM 的設計，其結果如 Fig. 13 所示。

Fig. 12 藉由放射狀函數基礎神經網路辨識表情情緒狀態 Fig. 13 使用有r個雜訊 CGA 圖樣之各式聯想記憶辨識結果 子計畫五：VR 運動復健輔助系統之智慧型教導系統 本計畫提出一智慧型教導系統，以指導使用者操作技巧。第一年已提出一 遞迴模糊網路及其監督式學習，以承接專家的操作運動技巧。在第二年中，我 們已發展出一新的基因加強式學習方法用以訓練遞迴模糊網路。經由此方法， 在不需要專家提供操作資料的情況下，機器本身可經由自我學習而成為一專 家，進而教導一新的使用者。所發展的基因加強式學習方法，經測試較其他基 因法則的表現來的更好。整個學習架構如 Fig. 14 所示。

Fig. 14 子計畫五所提出設計之學習架構

三、參考文獻

1. W. Q. D. Do and D. C. H. Yang, “Inverse dynamics analysis and simulateion of a platform type of robot”, Journal of Robotics Systems, vol. 5, pp. 209-229, 1988.

2. C. T. Chiang, and C. S. Lin, “CMAC with general basis functions,”Neural Networks, vol. 9, pp. 1199-1211, 1996.

3. Y. H. Kim, and F. L. Lewis, “Optimal design of CMAC neural-network controller for robot manipulators,” IEEE Trans. Syst., Man, and Cybern., vol. 30, pp. 22-31, 2000. 4. X. Armangué, and J. Salvi, , “Overall view regarding fundamental matrix estimation,”

Image and Vision Computing, vol. 21, pp. 205 –220, 2003.

5. H. Ushida, and T. Yamaguchi, and T. Takagi, “Fuzzy associate memory based

knowledge construction with a application to a human machine interface,”IEEE Trans. Ind. Electron., vol. 46, pp. 851-860, 1999.

6. F. L. Chung and T. Lee,“On Fuzzy Associative Memory with Multiple Rule Storage Capacity, ”IEEE Trans. Fuzzy Syst., vol. 4, pp. 375-384, 1996.

7. C. F. Juang, J. Y. Lin, and C. T. Lin, “Genetic Reinforcement Learning Through Symbiotic Evolution for Fuzzy Controller Design,” IEEE Trans. Systems, Man, and Cyber.-Part B. Cybernetics,vol. 30, pp. 290-302, 2000.