先進家用機器人系統之研發(II)---子計劃II---家用機器人之遠瑞呈現與操控系統研發

行政院國家科學委員會專題研究計畫 期中進度報告

子計劃二：家用機器人之遠瑞呈現與操控系統研發

計畫類別： 整合型計畫 計畫編號： NSC91-2213-E-009-025- 執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立交通大學電機與控制工程學系 計畫主持人： 楊谷洋 報告類型： 精簡報告 處理方式： 本計畫可公開查詢 中 華 民 國 92 年 5 月 26 日

計畫建立的虛擬實境家用機器人遠端操控系統，其系統架構與控制流程如 圖一所示，由圖一中，系統可分為操作者端與機器人端，在操作者端主要包括 有使用者、力回饋操控器、人機介面、以及遠端呈現模擬系統，在機器人端則 有控制策略、家用機器人、以及家庭環境；使用者經由觀看遠端呈現模擬系統 所顯示的虛擬家庭場景，操作力回饋操控器送出操控指令，此操控指令經人機 介面內建的輔助控制工具調節處理後，傳至遠端呈現模擬系統來移動虛擬場景 的機器人，隨之虛擬場景模擬系統會將因應的運動指令經由網路送往機器人 端，此運動指令將觸發建於機器人端的控制策略，產生控制訊號來移動位於家 庭的真實機器人實地執行工作，當機器人在工作過程中與家庭環境中的設備、 物品等互動、接觸時，彼此之間會產生位置與力的變化，這些變化則經由裝置 在機器人上的位置與力感測器量得，經網路送回操作者端的遠端呈現模擬系 統，模擬系統則可根據這些量測來讓虛擬物件產生較真實的位移與形變，另一 方面，由子計劃三所提供的家庭環境現場影像則可用以即時更新、校正虛擬場 景，以獲致其與真實環境的一致性，也因此遠端呈現模擬系統除了以視訊方式 提供給使用者比擬真實環境的虛擬場景外，也帶給使用者力感的視覺呈現，而 此力感透過人機介面處理，經由力回饋操控器，再帶給使用者手中的反映力， 使其同時感受到力感的視覺與觸感雙重感受，能更真切地掌握到現場狀況，做

出正確的判斷與操作，另外，在操作者端人機介面內的智慧型學習系統則可由 記錄下的操控指令及產生的系統狀態來評估工作執行成效，並學習使用者的操 作技巧，以輔助使用者的操控。 圖一：虛擬實境家用機器人遠端操控系統架構圖 在此計畫的第二年裡，我們所進行的工作主要包括虛擬實境中之物體建模 與互動，以及抗延遲效應之雙向控制，分述如下。 一、虛擬實境中之物體建模與互動

真實世界中，不同材質的物體具有不同的物理性質而反映出不同的行為， 例如在與彈性物體互動過程中，外力會使彈性物體產生形變，當外力消失後則 物體恢復原狀，但對於塑性物體而言，外力消失後物體仍保持形變狀態。為了 要在虛擬實境中真實的模擬出物體行為，除了精確描述其外觀外還需賦予其擬 真的物理性質，因此，我們發展出一物體建模技術來滿足上述的需求，此技術 結合了幾何建模與物理建模技術來為物體建構出一混和模型，此混合模型利用 幾何模型的部分來描述物體外觀，並以物理模型的部分來描述物體的行為。除 了物體模型的建構外，另一重要的主題就是要真實模擬出物體之間的互動。在 我們所建構的虛擬家用機器人場景中，互動的模擬是根據家用機器人與其互動 的物體所可能發生的互動行為來設計，例如機器手對物體的壓、夾、抬、放等 操作。總結來說，要在虛擬實境中真實的模擬物體行為，必須藉由整合幾何建 模、物理建模以及互動模擬來達成，圖二所示為其概念圖。 圖二：虛擬物體建模概念圖

我們根據上述概念開發一模擬系統來模擬家用機器人與彈性物體間的互 動，該系統包括下列主要元素：幾何模型、物理模型、碰撞偵測及互動的管理 等，如圖三所示。在圖三中，使用者透過觸覺裝置，如力回饋搖桿，操控虛擬 實境中的機器人與彈性物體互動，此時碰撞偵測會去偵測機器人與彈性物體間 的碰撞情形，一旦發生碰撞，系統將提供適當的操作方式來模擬它們之間的互 動情形，在互動的過程中，彈性物體所產生的反應，包括物體形變與運動，將 由幾何與物理模型來描述，最後透過視覺與觸覺裝置將模擬結果呈現給使用者。 圖三：模擬系統架構圖 以下將針對模擬系統中每個元素的實現方式做描述： A. 幾何模型 為了提高模擬系統的效率，我們只對物體的表面進行描繪，而以能夠提供物 體平滑表面的 B-spline 曲面來繪製物體的外觀。並透過設定一些燈光效果與 Haptic Device User Visual Device

Simulation System

Geometrical Model Physical Model Collision Detection Interaction Management

物體的色澤來增強物體真實感。 B. 物理模型 質量–彈簧模型是一種常用來模擬彈性物體行為的方法，其優點在於能廣泛 的模擬彈性物體的行為，且其觀念與實現過程也相當簡單，因此我們利用它 來建構彈性物體的物理模型。首先將整個彈性物體離散成許多質點，並在質 點間架設彈簧，如圖四所示，而每個彈簧可以(1)式來描述： ( ) i f  K L R D L g (1) 其中 fi代表整個彈簧所產生的力；K 是彈簧的彈性係數；L 是彈簧的長度； R 是彈簧平衡長度；D 是阻尼係數。 圖四：質量–彈簧模型 C. 混和模型 混和模型包含了幾何模型與物理模型，且這兩者的呈現必須一致。為此需將 幾何與物理模型整合在一起，其整合的方法可透過將幾何模型中 B-spline 曲 面上的控制點投影到物理模型中質量–彈簧模型上的質點來達成。圖五–七 顯示一例，其中圖五為幾何模型；圖六為物理模型；圖七為混和模型。

二、抗延遲效應下遠端操控系統之雙向控制策略 所謂雙向遠端操控，即當操作者由近端透過網路傳遞命令，如位置、速度、 及力等，到遠端的機器人時，機器人會依照我們下達的命令來執行要求的動作， 而遠端機器人和環境所接觸的力資訊，也會經由網路傳遞回來給操作者，如圖 十二所示。 圖十二 雙向遠端操控系統 利用遠端操控的方式，可以讓操作者操控遠端的機器人，而當操作者透過 網路來進行遠端操控時，可能會因為網路傳輸的延遲，造成遠端機器人的錯誤 動作，如此可能造成整個操控系統不穩定，所以我們發展一套控制方法來改善 此狀況，同時我們也利用順應性控制策略，讓機器人能即時面對其與環境互動

時所產生的位置與力的變化，並且利用以虛擬實境為基礎的預先顯示技術

(VR-based predictive display)來達到位置和力資訊的同步。首先我們先考慮

圖十三 單自由度主從控制系統

公式如下：

m m

M &x t&_m( ) B x t&_m( )u t_m( ) f t_h( ) (2)

s s

M &x t&_s( )+ Bx t&_s( )u t_s( ) f t_e( ) (3)

為了減少遠端的機器人與環境接觸時，所產生的接觸力直接作用在操作者

上，因此在近端我們使用阻抗性控制（impedance control）來達成，其公式描

寫如下：

M&x t&_m( )Bx t&_m( )Kx t_m( ) f t_h( )k f_{f ed}( )t (4)

利用(2)－(4)所設計出的控制輸入為： m m m m M B M M ( ) (B ) ( ) ( 1) ( ) [ ( ) K ( )] M M M m m h f ed m u t   v t   f t  k f t  x t (5) 因為網路傳輸的時間延遲會造成系統的不穩定，所以我們在遠端使用滑動 模式控制（sliding-mode control）來執行輸入指令，使系統不會因為時間延 遲導致不穩定，所設計出的控制輸入為： 1 2 s s 2 s g [B ( ) ( ) ( ( ) ( )) K ( )] ( ) ( ) B ( ) M M ( , ) M [ ( ) ( )] K ( ) md hd f e md s e s p d s p md v t f t k f t T t T t x t u t f t v t k s x t c v t k v t Sat             (6)

當操作者透過網路來操控機器人與遠端的環境接觸時，為了讓機器人能即

時面對其與環境互動時所產生的位置與力的變化，因此我們也提出一套順應性

的控制(compliance controller)方法來達成，

公式如下：

c c c

M &x t&_s( )B x t&_s( )K [ ( )x t_s x t_w( )] f t_e( ) (7)

所設計出的控制輸入如下： ( ) [ ( ) ( )] ( ) ( ) ( )( ) ( ) ( ) ( )(1 ) ( )( ) [ ( ) ( )] s s s s c s s w s e e c c c s s s e s s c c s w c c c M M B x t K M x t x t u t f t f t M M M M M M f t x t B B K x t x t M M M            & & (8) 為了讓操作者能即時且有效率地執行遠端操作，我們也採用了以虛擬實境

為基礎的預先顯示技術(VR-based predictive display)來達到視覺和觸覺上的

同步。綜合上述，可得如圖十四所示的抗時間延遲控制系統方塊圖及圖十五所

示的系統實現圖。

我們採用我們所提出的控制策略，來針對單自由度的系統進行進行模擬印 證，首先在變動的時間延遲下，我們採用滑動模式控制策略來達成系統的穩定 度，結果如圖十六所示，在圖十六中，有環境的牆，操作者所下達的位置命令， 機器人所行走的軌跡，機器人與環境接觸時，所產生的接觸力，由模擬結果可 知，遠端機器人的位置軌跡完全與操作者所下達的位置命令一致。 接著，在變動的時間延遲下，我們針對此單自由度系統執行順行性的工作， 如圖十七所示，由模擬結果我們可知，當機器人與環境接觸時，會因為我們所 加入順應性控制策略，而維持穩定的接觸力。

圖十六 變動時間延遲下碰觸環境牆的力回授模擬結果

接著，在變動的時間延遲下，我們採用以虛擬實境為基礎的預先顯示技術

(VR-based predictive display)來達到位置和力的同步，模擬結果如圖十八所

以上所述為模擬的結果，為了印證模擬的結果，我們也進行實際的遠端操

作實驗，實驗結果如圖十九所示，由實驗結果得知，當機器人與環境接觸時，

會因為我們所加入順應性控制策略，而仍然維持穩定的接觸力，並且系統位置

和力的同步性也被維持