行政院國家科學委員會專題研究計畫 成果報告
子計畫二：家用機器人之遠瑞呈現與操控系統研發
計畫類別： 整合型計畫 計畫編號： NSC92-2213-E-009-005- 執行期間： 92 年 08 月 01 日至 93 年 07 月 31 日 執行單位： 國立交通大學電機與控制工程學系 計畫主持人： 楊谷洋 計畫參與人員： 李國鋒、洪彬原 報告類型： 完整報告 處理方式： 本計畫可公開查詢中 華 民 國 93 年 8 月 13 日
摘要
隨著網路技術的日趨成熟，以及資訊家電的發展，智慧型的家庭管理系統在今日已成為 可能，家庭中的成員可透過網路由辦公室或學校遙控操作家中的電器、電腦等，來處理日常 生活事務、進行資訊的傳遞、執行安全監控等，而如能在此系統中引進智慧型家用機器人， 利用其可移動性以及手臂的靈活性，將可高度提昇家庭成員與家中環境和設備的互動性，基 於此，我們提出整合計劃中的先進家用機器人系統的構想，而本子計劃的研發重點即在於建 立其遠端呈現與操控系統。 在遙控操作的情形下，如何能讓操作者對遠方環境產生身歷其境的感覺是相當重要的， 而由於家中變動、不確定的環境，以及工作的需求下，機器人與環境的接觸、碰撞是無可避 免的，此種與環境的密切互動也更增加建立前述臨場感的挑戰性；而在操控方面，也由於需 面對機器人與環境互動所產生的位置與力的變化，在操控器的設計以及操控策略的發展上， 均需考慮來自位置與力訊號的影響。 基於上述的討論，此子計劃所發展的遠端呈現與操控系統主要包括遠端呈現模擬系統以 及具力回饋功能的操控器；我們將利用虛擬實境的技術來實踐遠端呈現模擬，建立擬真的虛 擬場景，並利用電腦視覺的資訊來提高虛擬與真實場景的相似性，在虛擬場景的建立中，也 將著重於機器人與環境互動時位置與力變化的呈現，而計劃發展的具力回饋功能的操控器則 可提供使用者來自遠方環境的接觸力，讓使用者更能掌握全局，進行有效的操控；結合上述 的軟、硬體系統，將可建立一三度空間即時互動虛擬實境家用機器人遠端操控系統。 關鍵詞：家用機器人、遠端呈現、操控系統、兩軸機械臂Abstract
Along with the development of network technologies and information appliances, intelligent home management system becomes possible. Via computer networks, family members can then operate the computers and electric devices in home, take care of daily affairs, proceed with information transfer, and execute security monitor, etc. When an intelligent home robot is introduced to this system, its mobility and flexibility can highly enhance the interaction between family members and home devices. Motivated by this idea, we propose an advanced home robot system in the integration project. In this project, we concentrate on the development of the telepresence generation and manipulation system in the advanced home robot system.
For the teleoperation involved in the project, it is crucial to make the operator feel actually present at the remote site. Due to the varying and uncertain home environment, the robot inevitably would contact with the environment when executing the task. Under this circumstance, telepresence generation becomes much more challenging. On the other hand, variations in position and control during the interaction between the robot and the environment will also influence the design of the manipulation devices and the development of the manipulation strategies.
Based on the discussions above, this project includes the development of a telepresence emulation system and a force-reflection manipulation device. The virtual reality techniques will be used to implement the telepresence emulation. Images of computer vision are utilized to increase the resemblance between the virtual and real environment. The demonstration of force feeling induced from the interaction between the robot and the environment is a key subject for the development of the virtual environment. And, the force-reflection manipulative device is developed to let the operator feel the contact force from the remote environment, so that effective manipulation can be achieved. With these software and hardware systems aforementioned, a three-dimensional real-time interactive manipulation system is then accomplished.
計畫建立的虛擬實境家用機器人遠端操控與呈現系統，其系統架構與控制流程如圖一所 示，由圖一中，系統可分為近端與遠端，在近端主要包括有使用者、力回饋操控器、控制策 略、以及遠端呈現模擬系統，在遠端則有控制策略、家用機器人、以及家庭環境；使用者經 由觀看遠端呈現模擬系統所顯示的虛擬家庭場景，操作力回饋操控器送出操控指令，此操控 指令經人機介面內建的輔助控制工具調節處理後，傳至遠端呈現模擬系統來移動虛擬場景的 虛擬機器人，隨之虛擬場景模擬系統會將因應的運動指令經由網路送往遠端，此運動指令將 先經由遠端的控制策略，產生控制訊號來移動位於家庭中的機器人去執行任務，當機器人與 家庭環境中的設備、物品等互動、接觸時，彼此之間會產生位置與力的變化，這些變化則經 由裝置在機器人上的位置與力感測器量得，經網路送回操作者端的遠端呈現模擬系統，模擬 系統則可根據這些量測來讓虛擬物件產生較真實的位移與形變；另一方面，因為我們不是直 接本身去執行任務，而是透過遙控的方式命機器人間接完成任務，所以無法像人類一樣可以 處理各種狀況，為了處理這問題，借由子計劃三所提供的家庭環境現場影像資訊，發展出一 輔助方法，讓機器夾爪有自動調整旋轉的能力，以便操控者順利完成任務，像是下棋的任務； 此模擬系統除了提供使用者有視覺上的效果，另外也經由力回饋搖桿來產生回饋力，以及透 過聲控來感覺場景中的聲音，讓使用者同時感受到視覺、觸覺和聽覺的效果；另外因為操作 者是透過網路來進行遠端操控，所以會因為網路傳輸的延遲，而造成遠端機器人的動作不是 預期的，使得整個系統不穩定，所以就在近端和遠端中，利用雙向控制策略同時處理力與位 置資訊，來解決此問題。 圖一 虛擬實境家用機器人遠端操控與呈現系統架構圖
在此計畫的第三年裡，我們所進行的工作主要包括虛擬實境家用機器人遠端呈現以及抗 延遲效應之雙向控制策略的發展，分述如下。
一、
虛擬實境家用機器人遠端呈現
我們利用虛擬實境的技術來產生遠端呈現。虛擬實境主要是藉由模擬現實環境中人類所 接受的刺激，包括：視覺、觸覺、聽覺等其它知覺，讓使用者不自覺地沉浸於電腦所構成的 環境中。在發展家用機器人之遠端呈現系統，乃針對家用機器人系統中其近端的遠端呈現系 統來發展出一虛擬實境系統，我們在家庭虛擬場景中建立一虛擬的家用機器人，其外貌近似 總計劃所發展的家用機器人，且規劃出多個視點，可以從多個角度去觀看虛擬場景，以利使 用者操控，在這系統中也包括力感呈現的模擬以及操控系統與虛擬環境的連結，使操控者可 透過搖桿來自由操控機器人遊走於虛擬的家庭場景中，同時讓使用者有視覺和觸覺的感受， 另外可利用搖桿操控虛擬家用機器人，讓這機器人完成下棋的任務；在任務執行中如果要同 時傳送並呈現出視覺及回饋力在相同的模擬控制迴圈中，會因為無法提供足夠的頻寬，而可 能會造成回饋的力不穩定，讓操控者會因所回饋的力不連續而感覺不順暢，因此利用多執行 緒的技巧來解決這問題；此外假如我們可以藉由透過子計劃三所提供的家庭環境現場影像的 資訊，像是CCD攝影機或是其它視覺設備，再將這些資訊進一步的處理，而獲得在遠端環境 中物體的頂點位置座標，當機器人和物體進行互動時，可以利用這些座標點再經由運算，讓 機器夾爪自己可以旋轉到一適當的角度再和物體進行互動，也就是說讓機器夾爪有自行調整 旋轉的能力，其中所謂的適當角度意思指的是機器夾爪不會朝著物體的頂點方向互動，而是 會旋轉到與物體邊線的正交方向；另外在遠端呈現裡的虛擬實境部分，當機器人與物體進行 互動時，必須有碰撞偵測和碰撞響應的行為，來描述出互動的情形，而在互動過程中，若物 體被舉起在空中時，再由空中掉落下到地面，此行為須有一動態描述式來描述此過程，我們 利用牛頓運動定律來描述自由落體的行為，讓虛擬實境中物體的運動行為可以更有真實感； 在這也考慮到真實世界中，不同的材質物體具有不同的性質，且會反應出不同的行為，例如 與彈性物體互動過程中，外力會使彈性物體產生形變，當外力消失後則物體恢復原狀，但對 塑膠物體而言，外力消失後物體仍然保持形變狀態，而使用者的視覺感受就可以透過幾何模 型來逼真地呈現物體的形變外觀。 圖二為虛擬實境家用機器人遠端呈現系統架構圖，此系統是位於操作者端，主要包括使 用者、力回饋操控器、以及遠端呈現模擬系統；使用者經由操作力回饋搖桿送出操控指令， 再將命令傳到遠端呈現模擬系統來移動虛擬場景中的機器人，當虛擬機器人與家庭場景中的設備或是物體互動時，則利用碰撞偵測方法，來判別機器人是否有無與物體發生接觸，當發 生碰觸時則適當地顯現出碰撞響應，像是與軟物體發生互動時則繪製出物體的形變外觀，或 是產生所相對應回饋的力，此力透過人機介面處理，經由力回饋操控器，產生使用者手中感 受到的反應力，或者是表現出適當的碰撞行為；在遠端呈現模擬系統中，接受由影像系統獲 取的遠端環境之影像資訊，透過這資訊可以判別出物體方向，並可讓機器夾爪可以旋轉到適 當的角度，以便輔助操控者順利完成任務。 圖二 虛擬實境家用機器人遠端呈現系統架構圖 在建構虛擬場景時，需要多種的3D物件，我們運用3D Studio Max軟體來建構模型，因為 此軟體可執行多種檔案的匯入及匯出的功能，且本身內建相當多的基本物件，像是立方體、 球體、錐體、圓柱體等，可提供使用者透過調整物體的基本參數來快速建立模型；還有可以 利用貼圖的技巧，利用簡單的幾何形狀物體來表現複雜的物件，不用為了要呈現出一非常複 雜的模型，而大量的使用複合的3D物件，因而降低繪圖的效率。我們是針對家用機器人繪製， 其外貌如圖三所示，而圖四(a)-(b)為所繪製出來的虛擬機器人，圖五為虛擬家庭場景的設計 圖，接著再根據這設計圖所規劃的室內格局設計來一一繪製，完成整個場景，圖六為場景的 俯視圖；在模擬虛擬實境方面，所採用的是WorldToolKit 7軟體工具，它可以將我們利用3DS 所建構完成的幾何物件匯入到場景中，讓幾何物件可以呈現在虛擬場景中，另外也可以將事 先錄製好的音效載入到場景中，讓虛擬實景更為生動逼真。 在人類的視覺感受中，為了要讓人感覺畫面流暢，至少每秒需繪製20到30個畫面，也就 是虛擬實境的更新頻率需要20-30Hz左右；在觸覺呈現方面，其取樣頻率範圍約在300 –1000 Hz；所以如果要同時在模擬迴圈中傳送並呈現出視覺及回饋力，讓它在相同的模擬控制迴圈
中，會因為無法提供足夠的頻寬，而可能會造成回饋的力不穩定，讓操控者會因所回饋的力 不連續而感覺不舒服，所以觸覺上其更新頻率必須夠快，才可滿足人類對觸覺的需求，因此 我們利用多執行緒的技巧來解決這問題。
圖三 家用機器人系統中的Home robot 圖四 虛擬家用機器人：(a)側視圖和(b)前視圖
圖五 虛擬家庭場景的設計圖 圖六 虛擬家庭場景的俯視圖 因為我們不是直接本身去執行任務，而是透過遙控的方式命令機器人完成任務，所以無 法像人類一樣可以處理各種狀況，為了處理這問題，故須發展出多種的輔助工具和策略來應 付各種狀況發生，這裡提出一輔助策略，讓機器夾爪有自動調整旋轉的能力，以便操控者順 利完成任務；假若藉由子計劃三所提供的家庭環境現場影像資訊，可以提供機器人要與其互 動物體的資訊，像是物體的位置和判別邊線的資訊，則可判別出物體的方向。圖七為一立方 體在空間中的頂點座標圖，其為WTK中的座標系統，但由於目前必須從虛擬場景中來求得， 所以只有物體的中心點座標以及邊線長度的資訊，需經一些計算以求得出其頂點座標，圖中 Point 1 到 Point 4 為此物體的上表面的頂點座標，Point 5 到 Point 8 為此物體的下表面的頂 點座標，由於我們要判別的是物體在空間中的方向，所以在這兩組座標點我們只需選擇其中 一組就可以，且因Y軸的資訊在這用不到，所以可以把這3維的座標圖，轉換成X-Z平面的2維
座標圖，如圖八所示。 圖七 物體在空間中的頂點座標圖 圖八 物體在空間中之 X-Z 平面圖 圖八中所示，中心點到四個頂點的距離一樣，其距離都為 r，所以當中心點確定後，無 論物體的方向為何，其四個頂點座標一定會相對出現在圓心為中心點，半徑為 r 的圓上面 ；現在假設物體的中心點在
(
x z0, 0)
，而此時Point 1的座標點為(
x z ，將1, 1)
x 和1 z 表 1 示成參數形式，若此時中心點(
x z0, 0)
為圓心，則其可用參數形式寫成： x1 = +x0 rcosθ 和 z1 = +z0 rsinθ (1) 其中 r 是中心點和Point 1之間的距離，θ是參數。 當物體延著Y軸旋轉一角度dθ 後，Point 1 的座標點變成為(
x z2, 2)
，其可表示成： x2 = +x0 rcos(
θ +dθ)
和 z2 = +z0 rsin(
θ +dθ)
(2) 接著將(1)式帶入(2)式，則可得： x2 = +x0(
x1−x0)
cosdθ−(
z1−z0)
sindθ (3) z2 = +z0(
z1−z0)
cosdθ +(
x1−x0)
sindθ (4) 最後 Point 1可表示成上面二式；所以當物體在經互動後，其方向與位置也隨之改變，此時物 體的頂點座標可經由(3)及(4)式求得；在影像系統傳回的資訊方面，還需包括邊線的判別，由 於邊線長度都不同或者是頂點過多，例如一梯形立方體或是一個多面立方體，所以不能只從 其頂點的位置來計算求得出物體的目前方向。假設現在透過影像系統判別出Point1和Point 4 構成一邊線，Point 2和Point 3構成一邊線，如圖八中綠色邊線所示，我們分別求出其個別 邊線的中間點，分別為midpoint 1(
mx mz 和midpoint 21, 1)
(
mx mz ，再利用這兩點來判別出物 2, 2)
體的方向角度，可表示成(
) (
)
1 2 1 2 2 1 2 1 2 cos mx mx angle mx mx mz mz − − = ± − + − 或(
) (
)
1 2 1 2 2 1 2 1 2 180 cos mx mx angle mx mx mz mz − − = ± ° − + − m (5) 經由上式可以求得出物體目前的方向角度，我們就利用這角度來讓虛擬機器人的夾爪可以旋轉到這方向，再與此物件發生互動。所發展的輔助策略是為了幫助使用者操控虛擬機器人來 完成下直行棋的任務，另一方面在家庭場景中也規劃出五個視角，以利使用者觀察操控，第 一個視角是位於在機器人前面的視角，第二個視角是位於機器人的左側邊，第三個視角是位 於虛擬機器人後上方，第四個視角是位於棋盤上方俯視的視角，最後一個是可移動的視角， 這視角可以透過鍵盤的控制，移動到使用者想要的角度來觀看；圖九(a)-(d)為機器夾爪和正立 方體發生互動前，先利用輔助策略讓機器夾爪旋轉到與物體邊線的正交方向，再與棋子產生 互動行為。 (a) 互動前的前視圖 (b) 利用輔助策略後的前視圖 (c) 互動前的俯視圖 (d) 利用輔助策略後的俯視圖 圖九 輔助策略的表現：(a)互動前的前視圖, (b)利用輔助策略後的前視圖, (c)互動前的俯視圖,和(d)利用輔助策略後的俯視圖。 在虛擬實境中要模擬形變物體的行為，其主要可分為三大部分，即為幾何建模、物理建 模以及互動模擬來達成，下面針對這三部分進行描述。 A. 幾何建模 由形變建模方法中，我們利用一種強而有力的描述形變方法：自由結構形變，簡稱FFD (free-form deformation)，FFD讓使用者將要改變外形的幾何物體放置於一個3維的平行六面體 的框架中，構成這平行六面體的頂點稱之為控制點，當使用者希望幾何物體產生形變時，可
以經由位移改變這些控制點，再經由Bezier方程式運算，計算幾何物體上各頂點的加權和為多 少，然後在局部座標系統底下分配各頂點位置，讓幾何物體產生形變效果，這也是FFD的優 點，它可以提供使用者一個直覺的方式直接控制它，來產生所想要的物體形狀。其中所運用 到Bezier體積的演算法，用來描述在三維空間中立體的幾何物體，在這利用了三個參數(即 u 、 v 和 w )來描述，下式表示P陣列為4 4 4× × ，也就是裡面包含了64個控制點，則Bezier體積方 程式表示如下： 3 3 3 ,3 ,3 ,3 0 0 0 , ( , ) i ( ) j ( ) k ( ) ijk i j k u v w u v w Q B B B
P
= = = =∑∑∑
0≤u v w, , ≤1 (6) 因為Bezier體積上的頂點是在X-Y-Z座標系統下描述的，所以必須要做正規化動作，轉換 到U-V-W座標系統底下表示，表示如下： min max min x x u x x − = − , min max min y y v y y − = − , min max min z z w z z − = − (7)其中xmin、xmax、ymin、ymax、zmin和zmax分別表示為立方體的頂點座標群中，其x軸、y軸、
以及z軸方向上的最小值和最大值。 上述的Bezier體積中，可利用將其階數提高，也就是增加其控制點數目，即便可描述更複 雜且更細部的精確圖案，但卻會消耗更多時間在計算上，使整體效率降低，所以遠端呈現系 統中，為了提高模擬效率，採用4 4 4× × 個控制點來實現形變物體。 B. 物理建模 在虛擬實境中除了上述的幾何建模技術，用來描述物體的幾何外型外，還需利用物理建 模技術來描述物體的行為，我們利用彈簧模型來模擬彈性物體的物理模型，其建構方式是在 控制點間架設彈簧，而每個彈簧可以描述如下： F = − ⋅ −K
(
L R)
(8) 其中F代表彈簧所產生的力，K是彈簧的彈性係數，L是彈簧的長度，R是彈簧初始的平衡 長度。而在力資訊方面，彈簧模型不但用在模擬形變物體外，也可以透過(8)式，模擬出軟物 體所產生的相對虛擬力，再將這力資訊傳送到力回饋搖桿上，讓使用者感受到虛擬力。 C. 互動模擬 在所建構的虛擬家用機器人場景中，其互動的模擬是根據家用機器人與其互動的物體所 發生的互動行為來設計的，例如機器手對彈性物體的壓、夾、擡、放等操作，在這也針對這 幾個互動的動作進行模擬，並且觀察其形變效果，而使用者可以透力回饋搖桿，操控虛擬實 境中的機器人與彈性物體互動，此時碰撞偵測會偵測機器人與彈性物體間的碰撞情形，一但發生碰撞，則產生適當的碰撞響應行為來模擬它們之間的互動情形，在互動的過程中，彈性 物體所產生的反應，包括物體形變與運動，將由幾何與物理模型來描述，最後透過視覺與觸 覺裝置，將模擬結果的形變外觀和所產生對應的回饋力呈現給使用者來感受。 我們在虛擬實境中經由上面三部分來模擬形變物體的行為，圖十(a)-(d)為機器夾爪和彈性 物體的互動過程，包含了壓、夾、抓動作；另外一方面在虛擬實境中，當物體從空間掉落時， 是受地吸引力的影響而掉落到地面，我們利用牛頓運動定律來描述自由落體的行為，因為自 由落體是由靜止開始的運動，故 v0 =0，所以自由落體的動態描述式可寫成v=gt，其中g為 自由落體的加速度稱為重力加速度，其大小約為 2 9.8 / secm ，透過此式，即可以描述出物體 若從虛擬場景中掉落時，其物體的動態行為。 (a) 壓擠之互動行為 (b) 側邊壓擠之互動行為 (c) 夾擠之互動行為 (d) 抓取之互動行為 圖十 機器夾爪與彈性物體的互動過程：(a)壓擠之互動行為, (b)側邊壓擠之互動行為, (c)夾擠 之互動行為,和(d)抓取之互動行為。
二、
抗延遲效應之雙向控制策略
利用遠端操控的方式，可以延伸操控者的操控距離，也可以避免操作者直接暴露在危險 遠端工作環境，進而提高工作上的安全性。然而，當透過網路來操控遠端的機器人系統去執 行順應性工作時，可能會因為存在於網路的變動時間延遲的關係，造成遠端機器人的錯誤動 作以及整個操控系統的不穩定；另外，延遲過後的回饋訊號也可能使操作者誤判遠端的真實 狀況，近而下達不當的命令，造成遠端的機器人系統和環境之間產生不當且不穩定的接觸力 而造成機具的損壞。我們發展一套雙向控制策略來改善時間延遲造成系統不穩定的問題，並 且利用此一控制策略來使得利用遠端操控系統執行順應性工作時，遠端機器人系統能夠穩健 的跟隨操作者給定的命令並且與環境接觸時能維持接觸力的穩定。在策略發展中，首先我們 考慮一單自由度之主從系統，如圖十一所示。 圖十一 單自由度主從系統 該主從系統之動態方程式如下: m mM &x t&m( ) B+ x t&m( )=u tm( )+ f th( ) (9)
s s
M &x t&s( )+ B x t&s( )=u ts( )− f te( ) (10)
為了避免近端的操控機具被過大的回饋力損壞，我們在近端使用使用阻抗性控制 (impedance
control) 來調整主系統架構的阻抗特性已達成我們的需求，該阻抗特性描述如下:
M&x t&m( ) B+ x t&m( ) K+ x tm( )= f th( )−k ff ed( )t (11) 利用(9)及(10)式，我們可以設計出近端的控制輸入為 m m m m M B M M ( ) (B ) ( ) ( 1) ( ) [ ( ) K ( )] M M M m m h f ed m u t = − v t + − f t − k f t + x t (12) 另外，我們在遠端使用順滑模態阻抗性控制 (sliding-mode-impedance control) 來確 保執行一遠端操控順應性工作時，系統的穩定性，所設計出的控制輸入為
s s s s M M ( ) [B ( ) K ( ) ( ) ( )] [ ( ) M M ( ) ( )] B ( ) (1 ) ( ) . ( ) s p md md hd f edd s sd s s sd s e g s u t k x t x t f t k f t b x t m s t k x t x t f t k Sat m ε ′ = − + − + − + + + − − & % % & (13) 我們利用所設計的雙向控制策略，針對單自由度的系統進行模擬印證。在模擬中，我們 在系統加入一變動的時間延遲，來模擬真正的網路傳輸情況。模擬結果如圖十二所示，在圖 十二中，有環境牆，操作者下達的位置命令，機器人行走的軌跡，以及機器人與環境接觸時， 所產生的接觸力。由模擬結果可知，遠端機器人的軌跡幾乎完全與操作者所下的位置命令一 致，而且在與環境接觸時維持穩定的接觸力。 接著，由於時間延遲效應造成近端與遠端的不同步現象，我們採用以虛擬實境為應用基 礎的預測顯示技術來提供近端的操作者即時的預測位置響應及虛擬力回饋，包含上述的策 略，我們所提出的整體的以虛擬實境為基礎之雙向遠端操控系統控制架構如圖十三所示。 圖十二 變動時間延遲下碰觸環境牆的順應性工作模擬結果
圖十三 抗時間延遲以虛擬實境為基礎之雙向控制系統方塊圖 我們以圖十三的架構，在模擬中測試以虛擬實境為基礎的預測技術，其模擬結果如圖十 四所示，由模擬結果我們成功的在近端提供即時的遠端機器人軌跡及接觸力的預測資訊。 0 1 2 3 4 5 -0.05 0 0.05 0.1 Times(sec) Ma ste r Po sit io n(m ) 0 1 2 3 4 5 -0.05 0 0.05 0.1 Times(sec) Pre dic ti v e P o sit io n(m ) 0 1 2 3 4 5 0 5 10 15 Times(sec) Pre dic ti v e f orc e(N ) 0 1 2 3 4 5 -0.05 0 0.05 0.1 Times(sec) Sla v e P os it io n(m ) 0 1 2 3 4 5 0 5 10 15 Times(sec) Co nta ct fo rc e(N ) 0 1 2 3 4 5 0 5 10 15 Times(sec) F e e d b a c k f orc e(N ) 圖十四 變動時間延遲下加入以虛擬實境為基礎之預測技術的模擬結果
