行政院國家科學委員會補助專題研究計畫成果報告
※※※※※※※※※※※※※※※※※※※※※※※※※
※
※
※ 多功能虛擬實境動態模擬系統(第三年) ※
※ ※
※※※※※※※※※※※※※※※※※※※※※※※※
計畫類別：□個別型計畫
■整合型計畫
計畫編號：
NSC-89-2218-E-009-041
執行期間：89 年 08 月 01 日至 90 年 07 月 31 日
計畫主持人：林進燈 教授
共同主持人：
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
執行單位：國立交通大學電機與控制工程研究所
中
華
民
國
90
年
7
月
31
日
多功能虛擬實境動態模擬系統
Multipurpose Virtual-Reality-Based Motion Simulator
計畫編號：NSC-89-2218-E-009-041
執行期間：89年8月1日至90年7月31日
主持人：林進燈 教授
ctlin@fnn.cn.nctu.edu.tw執行機關：國立交通大學電機與控制工程研究所
計畫摘要與目的
工安是目前台灣社會的一個重要課題，其 中有關各種載具及機器設備的安全操控，更是 各方矚目的重點。為了避免利用在實際環境中 以真實載具或機器進行人員訓練或測試所造 成之高消費（包括時間、空間及金錢）及高危 險性，本計畫將發展一個多功能的虛擬實境動 態模擬系統，經由虛擬實境（VR）與運動模擬 器的結合，以逼真地模擬實際場景與設備或載 具，而協助達到工安所要求的多種訓練與考核 任務。本計畫執行期限共計三年，在第一年執 行成果中，我們已經初步結合各個子計畫的第 一年成果，完成虛擬車輛駕訓的工作，在第二 年的執行中，進一步完成虛擬遊艇操控系統， 今 年 度 整 體 目 標 在 於 完 成 虛 擬 飛 機 模 擬 系 統。本計畫乃以四個子計畫的型式所合力完 成，以下分別就各個子計畫所完成的工作做簡 要報告。子計畫一：虛擬實境動態模擬系統中之
行為轉換及階層式控制法
本計畫是在發展一個多功能的虛擬實境 動態模擬系統，經由虛擬實境的技術與運動模 擬器的結合，以逼真地模擬實際場景與設備或 載具的運動行為。這整個系統中，因為行為轉 換模組的設計扮演實際環境裡物體運動狀況 以及虛擬環境中操控員身體感受之間橋樑，如 何讓操控員有身歷其境的感受，有賴於在動態 模擬系統發展過程中，適當的人(操控員)機(動 態模擬器)溝通界面及迴饋學習技術，以獲得 最符合人類感覺的行為轉換模式。 在虛擬實境的動態模擬系統中，當虛擬 系統接收到控制命令而設法產生應有的運動 行為描述時，在虛擬實境的顯示以及在模擬運 動平台的運動行為則是要儘可能地模擬並使 其有身歷其境的感受，以達到虛擬實境的目 的。而為了達到此一目標，上述的運動行為描 述必須恰當的轉換給虛擬實境的顯示系統以 及運動平台的控制系統。本子計畫將以階層式 的智慧控制概念來追求更高階而抽象之控制 目標，也就是說將六軸運動平台的運動控制當 成低階控制系統，而我們的系統則是設法設定 控制輸入以使運動行為更符合需求。而高階系 統部分為一模糊控制器，因此在研究中我們也 探討了線上穩定模糊控制器的設計。而在高階 系統中，由於模糊預估器的存在，我們也提出 了一全補償式的穩定模糊控制器之設計法。 另一重要的因素是操作者的力感受，而力 感受則大部分是由加速度所形成的反作用力 和離心力所造成的。也就是在目標之設定上以 更多樣化的目標來求最佳化。因此本計畫期望透過對目標的更多樣的設計而來達到較好的 虛擬實境感受。一般而言在研究上，此部份的 實現是利用 washout filter 的方式來實現，而在 實際上，由於用於動態電影院，所以可事先規 劃，而再建入軌跡時，直接以 motion cue 的方 式 來 修 改 平 台 的 動作以 達到虛 擬感受 的目 的。然而這些 motion cue 為一堆軌跡段，無法 以傳統的點對點的網路來架構，因此我們也探 討了以頻域為輸入的函數型類神經網路，以便 對 motion cue 區段的紀錄與參數化。 本計畫第一年主要的研究為階層式控制 器的理論探討及預估器的建立及分析比較。在 第二年的主要研究為學習方法上，我們將針對 不同的方法來分析。探討的方向分為線上學習 及離線學習兩部分。在線上學習方面，目前我 們是以模糊系統及以小腦模式運算（CMAC） 為基礎的線上學習系統。並提出信用分配的觀 念，以學習頻率來當可性度據以做誤差修正比 例的分配參考。如是簡單的學習改變，確實增 加了 CMAC 的學習速率。在第三年的研究為 主要模糊控制上及如何將 motion cue 加以參數 化。 在行為的轉換方面，目前文獻上所提到的 是利用 washout filter 的方式來處理的。如是的 方式是可以將在無限空間中的運動設法在有 限空間中呈現，可是在動態模擬器中許多的運 動效果並非只是簡單的物理運動定律所能描 述的。較多而必要的是若干的特效運動感受， 而這些感受則是要利用所謂 motion cue 來設 計。而傳統的動態模擬器，由於其設計上也不 是利用真實的運動物体的模擬建構來產生虛 擬之運動感受，而是去設計不同的 motion cue 來搭配。在 washout filter 上，一般在飛行模擬 時都是擺在機頭的固定位置，畢竟飛機和人體 的重量相差非常大，所以調整 washout location 所造成的影響也不大，因此目前在飛行模擬方 面都是固定的常數。現在關於的研究不局限於 飛機，也越來越多關於汽車，甚至於機車的研 究，由於這些交通工具的重量比飛機小的多， washout location 很難用固定的點，因為這麼做 不合實際狀況。在騎機車時往往會改變身體的 姿勢，這個時候運動的軌跡也會跟著改變。目 前關於這方面的問題常常還是設固定常數，就 是假設駕駛者的身體垂直於車身，所以還有很 大的改善空間。關於 motion cue 不管是即時或 是離線的表現，都很難做到很好的瞬間動作改 變，因為平台的工作空間限制。在離線的部分 可以設計動作，所以問題可以解決。而在即時 的方面，飛機的模擬以往都做的還不錯，我想 是因為飛機的動作比較呆板，變化少，只有在 起飛和降落的時候動作有較大的變化，在飛行 時動作是很平穩的。然而若要將汽車作動態模 擬所遇到的問題就大很多，汽車會緊急煞車， 急轉彎，遇到險惡的路面等等。motion cue 不 管在即時或是離線的設計往往都是憑經驗。即 使即時是用 washout filter，但是 filter 的參數的 調整，filter 的設計卻沒有一定標準，依所要模 擬的狀況而設計，我想是因為上述的問題還沒 有很好的解決方法，所以只能用實驗測試的方 式設計 filter。 力感受則大部分是由加速度所形成的反 作用力和離心力所造成的。而在實際上，由於 可事先規劃，而再建入軌跡時，直接以 motion cue 的方式來修改平台的動作以達到虛擬感受 的目的。然而這些 motion cue 為一堆軌跡段， 無法以傳統的點對點的網路來架構，因此我們 也 探 討 了 以 頻 域 為輸入 的函數 型類神 經網 路，以便對 motion cue 區段的紀錄與參數化。
函數近似能力，使得我們可以將其運用在系統 之頻域響應當中。長久以來，頻域的脈衝特性 在傳統的類神經網路，通常以點對點的方式在 時域當中進行系統的建構。而所建構的網路以 適應性網路進行網路鍵結值的學習，學習演算 法在進行學習時容易發生學習時間過長且落 入區域性最小值之中。近來，一種函數型類神 經網路架構已發表出來，函數型網路架構使用 數學的方式進行函數對函數的輸出輸入對訓 練網路之鍵結值。因為函數型網路使用平行處 理之數學計算，可以快速估計出約略所需的輸 出鍵結值。由於它優異的使得傳統性的點對點 網路難以學習，在這當中還有頻域之中的複數 特性需要比較精確的比例才能使系統之輸出 正確還原。我們以函數型網路為網路主體，運 用其良好函數近似能力去趨近受建構系統之 頻率響應；進行系統分析之後，此時的網路已 經近似於受控體，加上複數型學習網路機制， 適 當 地 調 整 複 數 鍵結值 並且保 持相位 的正 確。為使學習可以達到所期望的輸出，列舉三 種複數網路學習機制，其中兩種傳統學習法並 不能正確還原受建構系統時域輸出。因此我們 依照系統所需還原及複數網路特性去打造另 一種學習法，結合原有之函數型神經網路主 體，為頻域中之混合式函數型類神經網路。經 由模擬的結果可以明顯驗證函數型網路在頻 域展現出比時域更優良的性能，加以學習機制 的參與網路，頻域中混合式函數型網路表現出 速度快、高近似度、以及強健度的效果。
子計畫二：虛擬實境動態模擬系統中之
人機溝通技術及其方法
如何表示動態模擬系統使用者之感覺概 念，並忠實地傳遞給本系統中之行為轉換與控 制模組以及力回饋模組做適當的參數調整與 控制，是本子計畫之重點。模糊集合的提出雖 然對人類常用概略性質描述提供一個表示方 法，但是對於人類之概念或觀念的描述，模糊 集合則明顯的不足。本子計畫擬採用日本學者 T. Takagi，M. Sugeno，及 T. Yamaguchi 等人所 提出的觀念模糊集，此法在觀念的對應上，可 大大地彌補模糊集合的不足。在觀念模糊集 中，每一個觀念節點代表一個抽象或具體的觀 念，而節點的活性的就等於傳統模糊集合歸屬 函數的歸屬度值，由零到 1 之間的數值表示觀 念的符合程度，每一個觀念的意義，則是以標 示節點的活性度分佈來表示，因此觀念模糊集 有別於一般模糊集合，它不需要有一歸屬函 數，也不需要有一數值集合點來映射出歸屬函 數值，在觀念的意義上，更可以有多重的表示 方法。T. Takagi 等人提出以聯想記憶體來實現 觀念模糊集，但由於聯想記憶體在實現上需使 用二元表示法，由於觀念節點活性度皆為 0 到 1 之間的實數，因此，若使用此法，精確度非 常差且可供記憶的觀念個數有限，並不實用， 因此我們在這一年的計畫中提出以下兩種方 法來實現觀念模糊集的對應。 0.87 0.08 0 0.75 0.25 0 0 0 0 0 Tall Medium Short 140 CM 150 CM 160 CM 170 CM 180 CM 190CM 200 CM 圖一：身高的觀念模糊集對應實例對於觀念對應，我們先以一身高的觀念模 糊集對應實例來測試模糊關係方程式表示法 於觀念對應的效果。如圖一所示，上層有三個 觀念節點，分別為矮，中等，與高，皆是比較 抽象的觀念，下層具有七個觀念節點，由身高 約 140 CM 到 200 CM 等。首先我們利用雙極 式 S 型歸屬函數的方法來解決觀念對應。給定 一個基本的觀念Zx，分布在 X，其餘定義在相 同的 X 上的基本觀念，以Z 代表，可以經由mx 對Z 變形而得到，也就是x ( ) * p x * p x x u z k* k* * k * k * k *, p mx + − = = q y q y w w w w + − = 其中 x x Z Z y − + = 1 1 ﹐ k * k w= ﹐ k p * p q = 我們可以使用上面的方程式而使得兩個 歸屬函數是有關係的，而且可以將一個觀念轉 換到另一個觀念而得到。因為雙極式 S 型歸屬 函數不能直接近似三角形的歸屬函數，所以我 們利用 S 型函數的左邊與右邊函數組的最小值 來近似。其係由下列公式而達成： k k k Z Z y − + = 1 1 w k L k m ) y q ( y =∑=1 1 m z = 1 1 + − m m y y 現以三組觀念節點至七組觀念節點的對 應中，k與p的值定為 k=[－3.5 3.8 －10.0 10.0 －14.0 16.0 －18.0 21.0 － 29.0 24.0 －33.0 39.0] p=[3.0 3.0 8.5 8.5 14.0 14.0 19.5 19.5 24.5 24.5 30.0 30.0] 結果與標準值之均方誤差為 4.1839×10−5，在 七組觀念節點至三組觀念節點的對應為例，k 與p的值設定為 k=[－3.3 3.2 －11.0 7.6] p=[ 5.5 8.5 22.0 25.0] 結果與標準值之均方誤差為 4.4738×10−7。 第二種方法為求解模糊關係方程式(Fuzzy Relation Equation)組的方法，若以上層觀念對 應到下層抽象觀念為例，即 3 至 7 對應，可分 解成 7 組 3 對應 1 關係，第 i 組關係矩陣R 的i 解可由下列公式求出 k k i A R
min
( 3 1 = = öY1) 依此方法求出的結果如圖二所示。圖中虛線代 表實際值連線，實線代表獲得的結果值連線， 標準值之均方誤差 RMSE 為 0.0041。 圖二：求解模糊關係於 3 to 7 觀念對應結果子計畫三：虛擬實境動態模擬系統中之
六軸運動平台的智慧型控制
本子計畫可視為整個計畫的控制本體，而 負 責 在 虛 擬 世 界 中 複 製 真 實 載 具 的 動 態 反 應。在第一年執行裡，我們已初步針對六軸運 動平台作了一些分析與控制法則發展，第二年 重點在發展虛擬遊艇操控系統。本年度，則深 入探討一些問題發展，並發展虛擬飛機模擬系 統，以完成第三年整體計畫之目的。1. 六軸平台之控制： 在完成平台的各種動力學分析及位置控 制法則發展後，在第三年度裡，我們利用這些 已有的資訊，進一步發展了進似的速度控制方 式。此外為了使六軸運動模擬器能克服平台工 作空間的限制，使模擬動作能更逼真，並真正 實 現 六 軸 運 動 平 台 的 速 度 控 制 與 加 速 度 控 制，我們利用「動作提示(Motion Cues)」的觀 念，以人類身体對力的感受配合眼睛在視覺上 的假像，藉由「沖淡演算法」來實現平台的速 度與加速度控制，並與實驗室自行發展的飛機 動態模型結合，完成一個完整飛機操控訓練的 虛擬實境。 2. 動作提示： 沖淡濾波器主要是由固定係數的線性高通 濾波器和低通濾波器所組成。其輸入為駕駛員 所受的比例力 fAA和角速度w ，輸出為六軸AA 平台所需的控制資料。第二年度我們已針對沖 淡濾波器進行分析，今年度我們以汽車做為實 驗與模擬的對象，分別做直線加速與加速轉彎 的實驗模擬。此外我們亦分別以模糊控制器及 適應控制器進行沖淡濾波器參數之調整。 在模糊控制器部分使用的是一具自我組 織能力之控制器。架構如圖三所示： Performance Index Table Process (Plant) Control Rule Table FLC Output Rule Modification u e e, & Input 圖三：具自我組織能力模糊規則控制器架構圖 此模糊控制器中，包含了兩個模糊規則 庫，一個是 Control Rule Table 其功能主要是記
錄輸入變數和輸出變數間的映射對應關係，透 過它我們能容易的對受控體做控制，但對於可 變動的受控環境，其效果並不好，為彌補此缺 點，還需二個模糊規則庫，稱為 Performance Index Table，用來調整 Control Rule Table 中的 模糊規則，使控制器具有學習能力。 而針對適應性控制法則部分，由於低頻平 移通道中的傾斜座標對駕駛員來說是一種欺 騙感覺的技巧，所以必須隨時知道低通濾波器 的運作情形，並確保其運作不會和高頻轉動部 份混淆，因此其參數並不需隨時間而改變。所 以要調整的濾波器參數分別為高頻平移通道 與高頻轉動通道中的兩個高通濾波器。 對於傳統型沖淡濾波器之運作原理，X 軸 方向之加速度運動經低頻平移通道中的傾斜 座標後，會造成俯仰的角度。因此我們將俯仰 與 X 軸之運動視為一組，並利用一代價函數來 調整。相同地，旋轉及 Y 軸、側轉及 Z 軸之運 動亦利用一代價函數來調整。故在此架構中， 我們利用三組代價函數來進行參數之調整。和 模糊控制器主要針對模擬器錯誤動作的修正 的不同是，本適應性控制之調整架構乃透過一 代價函數，來調整濾波器的參數。 3. 嵌入式系統之發展： 在過去兩個年度裡，我們是以 PC-Based 整 合系統為發展方向，而在第三年度裡，我們的 整合系統則進一步試著朝著小型嵌入式硬體 單板的發展，以取代整台 PC 之功能。 這 裡 我 們 所 採 用 的 是 由 Apply Data System 公司所生產的 Graphics Client Plus 產 品。選擇這塊板子的原因是因為它有豐富的序 列傳輸介面，包括 IrDA、RS-232、RS-485 及 CAN-Bus，也有內建 10Base-T 網路以及觸控式 螢幕及鍵盤等，並且支援包括 Linux、WinCE
等五種嵌入式作業系統，可以發展的嵌入式種 類及相關應用程式可謂相當豐富。 目前我們在 GCPlus 單板上發展嵌入式系 統 來 控 制 虛 擬 實 境 動 態 模 擬 器 並 未 完 全 成 功。現在已做到的為移植 Linux 作業系統至 GCPlus 單板上，使單板成為 Linux 嵌入式系 統，並成功撰寫一些周邊驅動程式。未來則打 算自己發展一塊嵌入式的板子，並加入六軸平 台的驅動電路，以完成與平台的結合。 4. 飛機虛擬場景之發展 在虛擬場景的發展上，我們可分硬體及軟 體兩部份分別述說之。首先在硬體設備上，我 們在交通大學電子資訊大樓 416 室建購一個專 屬的虛擬實境展示室，其更增加了本計畫展示 上的生動效果。而在軟體發展上，我們延續以 往累積的經驗，將原有單純的虛擬實境場景擴 大發展成為分散式模擬操控訓練系統。不過由 於第三年總計畫的目的在於發展一虛擬飛機 操控系統，因此在虛擬場景的開發上，我們是 針對飛機場景來發展。下列即為軟體部分在第 三年所完成的事項：(1) SGI 飛機模擬操控訓練 系統雛型之建立、(2) PC 雙人飛機模擬操控訓 練系統雛型之建立。 圖四：飛機場景之畫面成果展示 圖五：雙人飛機模擬操控訓練系統成果展示
子計畫四：虛擬實境動態模擬系統中之
六軸運動平台的影像定位系統研發
在第一年我們所研究的計畫中，我們所提 出的立體影像定位系統是經由三部雙眼 CCD 取得目標物的影像，接著使用自我校正過程而 得到目標影像在三度空間絕對座標系統中的 位置，進而利用三個目標點來估測六軸平台在 三度空間絕對座標系中的姿態。第二年度，我 們進一步研發這一套立體影像定位系統，並將 其獨立於六軸平台之外，而估測平台運動時絕 對座標中的姿態。 而這一年的計畫最主要是將複製成三台 同樣的系統，置於六軸平台外側，經過適當地 連結與計算並校正相對位置關係，能將在六軸 平 台 上 所 放 置 的 三 個 特 定 的 特 徵 點 給 找 出 來，並透過立體成像等等的影像處理技巧，找 出三個特徵點相對於世界座標的位置，並計算 出六軸平台的中心點的位置，以平台中心點跟 基底中心點的相對位置來定義整個六軸平台 的整個姿態。 而我們所設計的定位系統包含了三個子 系統，每一個子系統各自擁有一部雙眼 CCD 攝影機用來擷取目標物的影像､及一個影像處 理單元，並且連成一個簡單的網路來傳輸彼此所獲得的資料，這些都可以藉由狀態轉移映圖 來表示，如圖六所示。在這裡，由於 CCD 所 擺設的位置的不同，我們可以得到不一樣的狀 態，而藉由彼此狀態在網路中的交換資料，我 們可以得到六軸平台運動中的所有參數。 C am era T arget Point T ype A T w o T argets T ype B O ne T arget T ype A T w o T argets 圖六：狀態轉移映圖 當每一個子系統一旦被啟動，將開始傳遞 訊息給其他的子系統，而其他的子系統也會送 出他們所擁有的資料來當作回應，而這些狀態 訊 息 包 含 了 攝 影 機 的 位 置 和 自 我 校 正 的 參 數，所以每一個子系統都可以得到彼此的子系 統所有的資訊。 而我們所處理的影像中，由於我們使用了 點光源來當作特徵物，它的擺設位置也如圖三 所示，在六軸平台頂點各設其一。透過影像處 理的方法，如果每一點像素的表示如下： < ≥ = 252 ) , ( 0 252 ) , ( 1 y x f if y x f if x 之後，將每個灰階值標示為 255 的像素聚合起 來成一個區域，並將這些區域的左上方點(ul,vl) 跟右下方的點(ur,vr)依下式計算可以得到目標 物中心點的位置:
(
)
2 ) , ( ) , ( , l l r r c c v u v u v u = + 而整個在網路傳輸資料過程中所會造成 的延遲可以表示為 N=(V,E,b,p,q)，其中 G =(V,E) 包含了網路中的頂點 V 跟連結 E，而 b(u,v) > 0 跟 p(u,v)≧0 分別代表代表一個單向連結的 bandwidth 和 propagation delay，q(u)≧0 則代表佇結在每一個傳輸節點上 queuing delay。 如果 ð = <v1,v2,… .,vl>為一個 v1-vl 的路 徑，則在π這條路徑上的 delay 可表示成 D(ð) =
