基於代理人系統之機器人互動控制系統研發(II)

行政院國家科學委員會專題研究計畫 期中進度報告

基於代理人系統之機器人互動控制系統研發(2/3)

計畫類別： 個別型計畫 計畫編號： NSC94-2213-E-009-045- 執行期間： 94 年 08 月 01 日至 95 年 07 月 31 日 執行單位： 國立交通大學電機與控制工程學系(所) 計畫主持人： 宋開泰 計畫參與人員： 林嘉豪 韓孟儒 葉忠憲 黃富聖 報告類型： 精簡報告 報告附件： 出席國際會議研究心得報告及發表論文 處理方式： 本計畫可公開查詢

中 華 民 國 95 年 6 月 1 日

行政院國家科學委員會補助專題研究計畫

□ 成 果 報 告

■ 期中進度報告

基於代理人系統之機器人互動控制系統研發(2/3)

Development of Robotic Interactive Control System Using

Multi-Agent Approach (2/3)

計畫類別：■ 個別型計畫 □ 整合型計畫

計畫編號：

NSC－94－2213－E－009－045

執行期間： 94 年 08 月 01 日至 95 年 07 月 31 日

計畫主持人：宋開泰教授

共同主持人：

計畫參與人員：

林嘉豪

、

韓孟儒

、

葉忠憲

、

黃富聖

成果報告類型(依經費核定清單規定繳交)：■精簡報告 □完整報告

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

■出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、列

管計畫及下列情形者外，得立即公開查詢

□涉及專利或其他智慧財產權，□一年□二年後可公開查詢

執行單位：國立交通大學電機與控制工程學系

中 華 民 國 95 年 5 月 30 日

1

行政院國家科學委員會專題研究計畫成果報告

基於代理人系統之機器人互動控制系統研發(2/3)

Development of Robotic Interactive Control System Using Multi-Agent Approach (2/3) 計畫編號：NSC-94-2213-E-009-045 執行期限：94年08月01日至95年07月31日 主持人：宋開泰教授 國立交通大學電機與控制工程學系 一、摘要（關鍵字：智慧型機器人、多代理 人系統、即時影像系統、即時控制） 本計畫的目的在以多代理人為基礎建立 一套實用的智慧型機器人互動控制系統。重 點在利用智慧型代理人的特性讓建立起來的 系統，不僅性能滿足需求、開發週期短而且 成本較低。模組化之設計可使系統具開放 性，易於修改、替換和添加新功能，使機器 人各種功能開發上更有彈性。計畫內容包括 整合性的系統架構設計以及一系列的智慧型 互動技術，並研發能應用在設計保全、居家 看護等實用功能上。 本年度計畫重點在於實用系統功能之軟 體硬體介面建立與開發，着重人機介面的方 便性與易用性，提升機器人之智慧與行為能 力。目前已完成數個機器人互動行為如抓 取、避障、影像追蹤與辨識等，並藉由整合 機器人避障、抓取行為驗證整合系統架構之 效果。未來將進一步整合各種感測器與互動 行為，展現更複雜的互動行為融合控制。 二.計畫緣由與目的 近二十年來，機器人系統之研究已逐漸 演進至一個嶄新的世代:如何使機器人更貼 近人類生活。要能夠成功的融入在人類的生 活環境，一套理想的機器人互動系統必須切 合實際的考量它的可靠性、安全性與易用 性。重要之工作包括：簡化機器人操作介面、 提升機器人的智慧、增加其互動之能力，讓 使用者幾乎不需練習，就可以很自然的使 用。可以想見要達成以上目標所建構出來的 系統必定十分龐大而繁雜，包含許多專門領 域之技術。因此本計畫將整套系統切割，一 方面開發更多人性化的介面與系統，另一方 面設計系統整合之方法，讓子系統間彼此能 夠互相溝通協調。 在第一年度本計畫已完成基於多代理人 之智慧型機器人互動系統軟體架構，及一套 DSP 即時影像系統，經由實驗驗證機器人互 動控制系統所需之幾項核心模組。第二年之 工作重點在於實用系統功能之軟體硬體介面 建立與開發，着重人機介面的方便性與易用 性，提升機器人之智慧與行為能力。未來將 進一步整合所有感測器與互動行為，展現更 複雜的互動行為控制融合。並進一步考慮設 計實際應用的例子，例如: 保全系統、居家 看護系統等。 三.研究方法與成果 本年度計畫結合過去以及新設計之多種 與人互動之實用功能，藉由多代理人架構來 實現多個行為間的融合與控制，朝向設計一 多用途，可與人一對一互動之機器人。除了 人可以命令機器人之外，機器人還能夠主動 與人互動。 圖 1 為機器人互動系統的整體架構圖， 建立於第一年度所提出之多代理人系統上， 各功能間的通訊與整合皆由控制系統提供。 在設計上為了考慮到能滿足互動所需的快速 反應以及正確的判斷兩者間的平衡，因此一 方面除了主控電腦外結合了即時嵌入式影像 處理系統等獨立運算的模組，另一方面則配 合多代理人架構中的資源管理員，根據環境 的變化調整各功能使用的運算資源。 在感測器方面，為了能與人產生良好的 互動，機器人的感測和辨識部分特別強化了 對人的偵測，包含本實驗室過去所發展之人 臉辨識[1]、及人體姿態估測系統[2]等。可以 藉此辨識和機器人互動的家中成員他的身份 以及狀態。而對於一般物體，則透過影像為

基礎之物體偵測與焦點移轉系統來提升辨識 速度以及辨識率。另外，聲源辨識系統增加 了機器人聽聲辨位的能力，結合影像辨識則 可以使藉由聲音來呼喚機器人行動。此部分 本計畫與夥伴實驗室合作，結合麥克風陣列 聲源辨識與人臉偵測系統，已開發出一套雛 形之語者注意力轉移系統[3]。 在行為設計部分本年度延續去年度的嵌 入式影像控制系統，開發以視覺為基礎之移 動式手臂操縱系統，可以實際與人和物體接 觸，增加了機器人互動能力與實用性。在機 器人的移動行為部分，以本實驗室過去所發 展之超音波導航技術為基礎[4]，設計出物體 追蹤、避障、導航抓取等行為。決策與行為 融合則模糊系統根據環境參數如障礙物和目 標的距離等，計算各行為之比重以及資源分 配。 3.1 視覺為基礎之移動式手臂操縱系統設計 在第一年度本計畫發展了基於 CMOS 影 像感測器與 DSP TMS320C6416 DSK 之即時 影像處理系統，可用來做自動物體選取，取 得物體在影像中的特徵點，以視覺操作來處 理行動機器人平台上，抓取堅硬的固定或移 動目標的問題[5]。在本年度的計畫中本計畫 更進一步透過計算手臂的 Image Jacobian 來 設計可同時控制手臂上多軸馬達之即時視覺 伺服移動式手臂操縱系統。系統控制方塊圖 如圖 2 所示。

在 Feature space control law 中，本計畫 直接在影像平面作機器人的控制，因此本計 畫需要知道若要將影像中的特徵點以某個速 度 在 影 像 平 面 上 移 動 時 ， 在 手 爪 端 點 之 Camera 所需要提供之速度。得知 camera 速 度之後，再將此速度轉為機器人的線速度與 手臂各軸的角速度來控制機器人動作。本計 畫已推導出 camera 速度與影像特徵點的速度 關係。推導主要參考文獻[6][7]： 本計畫使用之 Camera 模型為 Perspective projection，λ為 Camera 的焦距，特徵點 P 的空間座標為(x,y,z)，投影在影像平面上的特 徵點座標為(u,v)，Camera 座標軸{F }。假設_c Camera 在一個靜止的環境中，相對於 Camera 座標軸{F }，以平移速度_c T =[T_x,T_y,T_z]T 、 旋轉速度 T z y x R=[ω ,ω ,ω ] 移動。由於的移動 式機械臂一共有 4 個自由度(不包含爪部)，因 影像感測 人體姿態估測 物體偵測 與焦點移轉 物體辨識 光流計算與 物體偵測 人臉辨識 物體追蹤 頭部控制 車體運動控制 導航 移動式手臂 控制系統 超音波/雷射測距 手部控制 決策與行為融合 聲源辨識 感測 運動 控制 行為 避障 辨識 主控電腦 嵌入式影像系統 代理人通訊系統 行為融合控制 圖 1. 基於代理人之機器人互動控制架構

3 此使用 2 個影像特徵點共 4 個自由度來做控 制。參考文獻[6]可推得 Eye-in-hand 架構中影 像特徵點速度與 Camera 速度之間的關係為： C C im V J f = (1) 其中:

[

]

T v u v u f = ₁ ₁ ₁ ₁ 為特徵點速度 im J 為兩個特徵點的 Image Jacobian，

[

]

T z y x z y x C C T T T V = ω ω ω 為Camera速度。 利用 Image Jacobian 與適當的控制器， 可以得到將影像特徵點在影像平面上移動到 指定座標所需的 Camera 速度與角速度，但是 要控制機器人需要的是機器人的線速度、角 速度和手臂各軸的角速度。因此，需要找到 Camera 速度、角速度與機器人線速度、角速 度、手臂各軸角速度之間的關係。這又可以 分成兩個步驟:

(i)將 Camera 速度、角速度從 Camera frame 轉到 Robot frame[5]： C C C B C C C C C B C B C B C B C B V M T R R t sk R V _⎥= ⎦ ⎤ ⎢ ⎣ ⎡ Ω ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = 0 ) ( (2) 其中： C B V、 C C

V 分別為 Camera 在 Robot 與 Camera 座標系中

的 velocity screw C B R 是從 Camera 座標系到 Robot 座標系的旋轉矩陣 C B t 是從 Camera 座標系到 Robot 座標系的平移向量 C C T 、 C C_Ω 分別為 Camera 在 Camera 座標系中的平移 速度與旋轉速度 ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = C B C B C B C B C B R R t sk R M 0 ) ( (ii)將 Camera 速度、角速度轉成機器人平台 線速度、角速度與手臂各軸角速度： 利用 D-H algorithm 可以得到在 Robot 座 標系{B}中，Camera 座標系原點的位移為： ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ + + − − + + = ) ( ) ( 1 1 12 2 12 3 1 1 12 2 12 3 1 1 12 2 12 3 C L C L S L C S L S L C L C L C L S L S r B B C B 其中，C_B =cos(θ_B)、S_B =sin(θ_B)、 ) sin( _{1 1} 12 = θ +θ S ，依此類推。 將其微分並考慮機器人線速度，可得到 Camera 平移速度： ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ + ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ − − − − − − − − + + = B B C B v S L C L S L S L C L C L S L C L C L S L C L C L S L T 0 0 0 0 0 0 2 1 12 2 12 3 1 1 12 2 12 3 12 2 12 3 1 1 12 2 12 3 1 1 12 2 12 3 θ θ θ    (3) 參考文獻[7]，可推得 Camera 旋轉速度和機 Feature space control law Feature extraction + -f f_{d e} (Desired image

feature) (Feature error)

(Current image feature) u (Robot velocity) 圖 2. 視覺為基礎之手臂操縱系統控制方塊圖 圖 3. 機器手臂各旋轉軸之座標系

器人平台角速度、手臂各軸角速度的關係： ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = Ω 2 1 0 0 0 0 0 1 1 1 0 θ θ θ    B C B (4) 由(3)(4)可得： u J v S L C L S L S L C L C L S L C L C L S L C L C L S L T V r B B C B C B C B = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ − − − − − − − − + + = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ Ω = 2 1 12 2 12 3 1 1 12 2 12 3 12 2 12 3 1 1 12 2 12 3 1 1 12 2 12 3 0 0 0 0 0 0 1 0 1 1 0 0 0 1 0 0 0 0 0 θ θ θ    (5) 結合(1)(2)(5)： ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = − 2 1 1 2 2 1 1 ) ( θ θ θ         B B r C B im v J u J M J v u v u f (6) 由(6)式，可以將由 Image Jacobian 求得的 Camera 線速度與旋轉速度轉換成機器人與 手臂的速度控制命令(v_B,θ_B,θ₁,θ₂)。目前的 模擬結果如圖 4 所示，機器人起始座標在 (0,0,0)，目標物座標在(1,0.1,5)，圖中的 Desired feature position 為將目標物放置在

Camera 正前方一公尺處所取得的影像特徵 點，透過 Image Jacobian 的計算確實能控制 手臂移動至欲追蹤的物體。 3.2 物體偵測與焦點移轉系統設計 機器人如果要能與環境互動，就必須具 備辨識環境中的所要互動之物體的能力。其 中一般性的物體影像辨識系統一直是這方面 相當關鍵的技術。然而影像辨識的計算量龐 大、辨識率不高一直是其為人所詬病之處， 對機器人的互動反應時間也相當不利。基於 人類實際上只會對畫面中的特定感興趣區域 作詳細的辨別的概念，物體偵測與焦點移轉 系統，可以根據互動行為的需要，即時選取 可能為目標的區域，先追蹤目標，再進行臉 部辨識，一方面可以達成即時的影像追蹤， 另一方面由於縮小了搜尋範圍，可以提高辨 識的速度以及辨識率[8]。 在目前實作的系統中，系統可以自動透 過動作偵測來移動焦點，並且藉由色彩分割 和邊緣萃取來選擇目前機器人所 “注意＂ 的物體，另一方面系統也可以指定所要找尋 的特徵，例如特定的顏色或形狀等等。演算 法的部分盡量採用計算量少的方式，以達到 每秒 30 張的計算速度。在動態偵測方面首先 以簡單的 Frame 相減方式找出可能有動作的 部分，找出數個區域，再根據其變化量選擇 變化最大的部分，將其質心選擇為新的焦 點。在色彩分割的部分是以焦點周圍的顏色 開始亂數取點，並且對色相的分佈表 (Histogram)以差分的方式找出越零點 (Zero-crossing point)，作動態量化分割。 圖 5 為實驗結果，左方為網路攝影機擷 取之影像，右方彩色部分為選取後之結果。 在實驗中一開始機器人注視前方，則選擇的 焦點為人臉部分，如圖 5(a)。當使用者拿出 物體(捲尺)時此動作導致焦點轉移至物體 上，如圖 5(b)。 未來本系統將結合人臉和物體追蹤辨識 系統，使機器人能夠在環境中移動時即時掌 握到人類或物體的位置，執行追蹤或其他互 動行為。 -0.25 -0.2 -0.15 -0.1 -0.05 0 0.05 0.1 -0.2 -0.15 -0.1 -0.05 0 0.05 feature trajacoty u(m) v( m ) feature 1 start postion feature 2 start postion desired feature 1 posi ti on desired feature 2 position 0 1 2 3 4 5 -0.5 0 0.5 1 1.5 robot trajactory Z(m) X( m ) robot start position target posi tion 圖 4. 特徵座標系與機器人座標系之追蹤 軌跡

5 (a) (b) 圖 5. 物體偵測與焦點移轉系統 3.3 避障與抓取行為融合 為了測試系統的實際整合效果，本年度計畫 已就避障與抓取行為融合部分進行驗證。時 驗設備是應用本計畫第一年研製之 Eye-in-hand 之即時影像平台，此平台已將 CMOS 攝影機裝置在機器人之手爪上。系統 可以即時計算光流場並換算成達到接觸時間 (Time-to-collision, TTC)，估測前方障礙物的 位置，如圖 6 所示，並控制機器人閃躲前方 障礙物。另一方面系統亦具有自行辨識貼有 條碼的物體，進而以此物體做為目標，追蹤 並抓起該物體。 原先此二功能並不能同時作 用，舉例來說，當人類站在前方想讓機器人 抓取物體時，系統亦會將前方視為有障礙 物。因此本年度計畫透過多代理人控制系統 整合此二行為，使機器人具備同時閃避與追 蹤目標物之功能。 實驗系統架構如圖 7 所示，即時影像系 統中混合式光流法所計算的 TTC，條碼物體 辨識得到目標物的位置與距離視為環境與目 標感測器代理人。機器人在 PC 端設計追蹤 及避障兩個行為代理人，並由行為決策代理 人控制控制此二行為代理人。 在避障行為代理人的部分，根據 TTC 可 以控制機器人前進的方向。由於 TTC 計算必 須在速度固定的前提下準確度最高，因此避 障代理人亦會根據 Encoder 的回傳值決定目 前收到的 TTC 是否可信。追蹤行為代理人的 則根據目標物的中心和距離作影像伺服追蹤 控制機器人，一方面調整角速度使目標物座 標停留在影像平面中央，另一方面根據距離 調整線速度。當目標物進入夾爪時，嵌入式 平台會自動控制夾爪抓取物體。機器人執行 時，此二行為同時計算出所達到目標需要的 馬達控制命令。透過代理人架構，行為決策 代 理 人 亦 可 以 同 時 取 得 目 標 物 的 距 離 與 TTC，並以此來計算兩者的融合比重。當目 標物尚遠時以避障行為為主，而當目標物靠 近時則以追蹤行為為主。 實驗結果如圖 8 所示，機器人出發後讓 行人故意移動到其前方，如圖 8(a)和圖 8(c) 所示，而機器人都能順利避障，如圖 8(b)和 圖 8 (d)所示。而在圖 8(d)避障後發現目標， 則機器人一面持續避障，另一方面則朝向目 標移動，並抓取目標，如圖 8(e) 最終機器人 順利抓取完成，如圖 8(f)所示。

Optical flow field (a)

Left side Front side Right side Histogram of TTC (7 region) (b) 150 10 50 110 pixels 圖 6. 光流場與 TTC 結果 Obstacle Avoidance Target Tracking Foot motor Control Decision Maker Bar code Recognition Optical flow estimation

Safety histogram target position on image plane motor command Image Acquisition image image Grasper Control motor command CMOS Image Sensor 6416 DSP-based image processing board Embedded IPC for Robot Contro Obstacle Avoidance Target Tracking Foot motor Control Decision Maker Bar code Recognition Optical flow estimation

Safety histogram target position on image plane motor command Image Acquisition image image Grasper Control motor command CMOS Image Sensor 6416 DSP-based image processing board Embedded IPC for Robot Contro

(a) (b) (c) (d) (e) (f) 圖 8. 機器人避障與抓取行為融合實驗 結果 四.結論與未來工作 本計劃第二年的執行期間至目前已完成數個 機器人互動行為如抓取、避障、影像追蹤與 辨識等，並藉由整合機器人避障、抓取行為 驗證整合系統架構之效果。未來將進一步整 合所有感測器與互動行為，展現複雜環境中 互動行為控制融合。將進一步測試機器人結 合超音波避障以及影像追蹤辨識系統，同時 控制頭部與腳部一面閃躲靜態與動態之障礙 物，一面朝向被辨識的目標前進、一面保持 適當的距離。此實驗將展示機器人如何即時 處理行為結果間相衝突如何協調(如避障與 追蹤)，以及相同目的之行為(如頭部與身體之 追蹤行為)如何搭配。再進一步則考慮設計實 際應用的例子，例如:居家看護系統－結合遠 端影像傳送、人體感測系統以及遠端智慧型 手臂操縱器控制；保全系統－利用自動導航 系統或者透過遠隔操作做自動巡邏，利用聲 音方向辨識以及人臉辨識自動尋找並記錄可 疑人物等。 五.參考文獻

[1] K. T. Song and W. J. Chen, “Face Recognition and Tracking for Human-Robot Interaction,” in Proc. of IEEE 2004 International Conference on Systems, Man and Cybernetics, The Hauge, the Netherlands, 2004, pp.2877~2882. [2] 王耀慶, “應用雙軸加速度計之人體姿態

辨識系統”, 碩士論文, 國立交通大學, 2004.

[3] K. T. Song, J. S. Hu, C. Y. Tsai, C. M. Chou, C. C. Cheng, W. H Liu, and C. H. Yang, “Speaker Attention System for Mobile Robots Using Microphone Array and Face Tracking,” in Proc. of IEEE International Conference on Robotics and Automation, 2006, pp. 3624-3629.

[4] K. T. Song and S. Y. Huang, “Mobile Robot Navigation Using Sonar Direction Weights,” in Proc. of 2004 IEEE Conference on Control Applications, Taipei, Taiwan, 2004, pp.1073~1078.

[5] Henrry Andrian and Kai-Tai Song, “Embedded CMOS Imaging System for Real-Time Robotic Vision,” in Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, Edmonton, Alberta, Canada, 2005, pp.3694-3699. [6] S. Hutchinson, G.D. Hager, and P.I. Corke,

“A Tutorial on Visual Servo Control,” IEEE Trans. on Robotics and Automation, vol.12, no.5, pp.651-670, 1996

[7] John J. Craig, Introduction to Robotics: Mechanics & Control, Addison-Wesley Publishing Company, 1988.

[8] U. Rutishauser, D. Walther, C. Koch, P. Perona, “ Is Attention Useful for Object Recognition? ” in Proceedings of 2004 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2004) , 2004, pp. 37-44.