行政院國家科學委員會補助專題研究計劃成果報告
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
動態環境中之自動導航車智慧型控制研究 (I I I )
※※
Intelligent Contr ol of Autonomous Mobile Robots in a
※ ※Dyn a m ic E n vir on m en t (I I I )
※ ※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※計劃類別：□個別型計劃 □整合型計劃
計劃編號：NSC-89-2213-E009-109
執行期間：88 年 08 月 01 日起至 89 年 07 月 31 日
計劃主持人：宋開泰
共同主持人：
本成果報告包括以下應繳交之附件：
□ 赴國外出差或研習心得報告一份
□ 赴大陸地區出差或研習心得報告一份
□ 出席國際性學術會議心得報告及發表之論文各一份
□ 國際合作研究計畫國外研究報告書一份
執行單位：國立交通大學電機與控制工程學系
中 華 民 國 89 年 09 月 27 日
ˇ
ˇ
行政院國家科學委員會專題研究計畫成果報告
動態環境中之自動導航車智慧型控制研究 (III)
Intelligent Control of Autonomous Mobile Robots in a
Dynamic Environment (III)
計畫編號：NSC 89-2213-E-009–109 執行期限：88年08月01日至89年07月31日 主持人：宋開泰 國立交通大學電機與控制工程學系 計畫參與人員: 李啟銘 林俊育 陳宏庭 國立交通大學電機與控制工程學系 一.中文摘要（關鍵字：自動導航車、 影像伺服、內嵌式系統、影像追蹤控制） 本計劃之主要目的在研發具實用 性之自動導航車，可以被用為一服務機 器人（Service robot）。此類機器人可以 在人們經常活動的環境中自由活動並 從事設定的工作。本計畫在第一年與第 二年執行期間，已完成動態環境的感測 系統以及反射式的動態障礙物閃躲設 計及整合巡航實驗。第三年的的工作重 點在發展影像伺服系統，建立智慧型人 機介面，使自動導航車具有機器視覺的 能力而可以進行以影像迴授的操作。希 望經由自動導航車與影像伺服實際功 能展示，能開發自動導航車在工商業界 的應用。為了滿足影像伺服控制所需的 即時性，本計畫採用德州儀器生產的 TMS320C32 數位訊號處理器(DSP)，研 製了一套影像處理卡。其具備以下功 能：影像擷取、影像處理、影像顯示及 透過 RS232C 介面與外界傳輸。藉由此 系統，可以即時地將 CCD 擷取之影像 資料轉換成控制所需的迴授值（取樣時 間約為 1/30 秒）。我們成功地將此影像 系統整合到自走車上之兩軸機械臂，完 成了影像追蹤控制的實驗。 英 文 摘 要 （ Keywor ds : Autonomous
mobile robots, visual servo, embedded system, visual tracking control）
The purpose of this project is to develop a mobile robotic system which
can be used as a service robot for delivering documents in an office environment, for helping disabled people, for room service in hotels, for large area cleaning, and for replacing human workers in hostile environments etc. In the first year of this project, we completed the design and implementation of on-board sensory system. The developed vision system and the intelligent control scheme can handle unexpected static and moving obstacles. In the second year, we developed and tested a reactive navigation algorithm. Simulation and experimental results revealed that the proposed method can navigate the mobile robot in an indoor environment. We also completed the hardware and control design of a mobile manipulator. In this project (the third year), we focused on visual servo control of the on-board manipulator.
We developed an image processing system using TMS320C32 digital signal processor from Texas Instrument. This self-made image processing card has the following functions: image grabbing, image processing, image display and communication with a host computer by RS232C interface. It transforms CCD image data to form useful feedback information, which can be used in a control loop（sampling time1/30 second）. The developed image card has been successfully integrated with a 2-DOF manipulator to demonstrate image tracking control capability.
由於傳統機器臂是固定在一個基 座上，限制了機器臂的工作範圍。基於 以上的理由，若將機器臂架設於自動導 航車上，便能大大地提升機器臂的工作 範圍與效能。但若要實現抓取動態的物 體 ， 一 個 移 動 式 機 器 臂 （ Mobile manipulator ） 必 須 具 備 先 進 的 控 制 設 計。由於物體不斷地移動，也就是目標 點之位置不斷地改變，故最重要的是必 須能夠即時得到目標物之準確位置。要 達成這個目的，可藉由影像資訊來獲 得。影像伺服（Visual servo）是利用 影像裝置擷取到的資訊，透過影像處理 後所得的目標物位置資料，以作為移動 式機械臂控制時所需之迴授量，藉此來 加以控制機械臂運動的方法。基於位置 （Position-based）影像伺服控制，必須 知道目標物與攝影機之相對位置與姿 態。目前常見藉由影像來求得攝影機與 目 標 物 之 相 對 位 置 與 姿 態 的 方 法 有 三：(1) 主動式單 CCD 立體成像(Active monocular stereo)﹔(2) 雙 CCD 立體成 像（Binocular stereo）﹔(3) 校對式單 CCD 立 體 成 像 (Calibration monocular stereo)。第一個方法主要是利用單一攝 影機，透過攝影機移動來獲得多張影像 資料，利用數張影像資料進行特徵比 對，進而求取目標物之位置與姿態。此 方法的優點在於只需要一個攝影機，且 不須事先知道目標物特徵。其缺點為必 須取得多張影像資訊來進行配對工作 來得到較準確的目標物位置。且在這些 影像資訊的取得期間，必須保證目標物 都是靜止的。第二種方法利用兩個攝影 機，藉由感測得到的左右兩影像資料， 加以進行比對，來進行機械臂之控制 [1]。這個方法的優點在於不必像方法一 要藉由移動攝影機來取得多張影像。缺 點是配對並非容易的事，若目標點並非 一點，乃是一個立體影像，則要得到適 合的配對除了耗時外，運算也較為複 雜。第三種方法利用單一攝影機，藉由 目標物四個以上的特徵點，配合已知其 在於目標物座標系之相對關係，來推算 目標物之位置[2]。這個方法的好處在於 僅需要單一攝影機，且不需要進行配對 之工作，只需要利用已知特徵點之相對 關係，便可求得目標物與攝影機相對的 位置與姿態。其缺點為需要知道特徵點 位於目標物座標系之相對關係。 基於影像（Image-based）伺服，則 直接透過影像特徵或處理過後之影像 資訊來當系統迴授量，無須將其轉換成 相對位置或姿態[3,4,5]。對於利用影像 伺 服 來 達 成 移 動 式 機 械 臂 的 相 關 研 究，本實驗室曾於 1998 年提出以 ART2 類神經網路來進行影像特徵之萃取，透 過此特徵配合模糊邏輯控制器，來導引 移動式機械臂進行機器人進出電梯之 控制[6]。此外，1995 年 Gibollet and Rives 利用攝影機與 3D 對應點的相對運 動之 Optical flow 關係，加上其推導出 來之 Jacobian matrix，利用自走車與三 個自由度之機器臂進行影像追蹤，使其 最後到達目標物前面[7]。T. Tanaka, et al. 利 用 模 糊 分 類 系 統 （ Fuzzy classifier system）進行路徑規劃，使得自走車得 以停在電梯門前。再利用遺傳演算法在 連續空間配合 PID 來做機器臂的動作控 制，讓機器臂可以按下電梯按鈕來乘坐 電梯[8]。其所利用的方式乃將機器臂與 自走車的動作分開，先執行完自走車動 作後，再利用影像系統輔助，來進行機 器臂控制。在 1998 年，Morris and Mansor 利用 Laser beam 掃描一影像平面，利用 類神經網路來對影像平面分析，判斷空 間中障礙物所在位置，藉以控制機器臂 與自走車，來進行障礙物閃躲之路徑規 劃[9]。 一般常用的影像伺服控制架構乃 是利用個人電腦 PCI 介面之影像擷取 卡，將所得影像資料傳到 PC，再進行處 理。這樣架構的缺點在於所有的工作 （影像擷取與處理、運動控制等）都必 須於同一台 PC 完成，而影像處理常常
必須耗費較多時間，如此其控制即時性 便會大打折扣。基於這樣因素，若要提 升控制的即時性，比較適當的做法就是 將影像處理獨立出來。在本研究中，我 們建立了一套獨立之內嵌式影像處理 系統，透過此系統進行影像擷取與處 理，來提供影像伺服所需的迴授資訊， 改善移動式機械臂在影像伺服控制上 之即時性。 三. 研究方法與成果 本計畫所研製的移動式機器人車 體部分共分成三層，最上層放螢幕與二 軸機械臂，中層放工業電腦與伺服放大 器，最底層則放置電池。詳細規格如表 一所示。機器臂部分包含二軸機器臂及 基座和支架，其規格表二所示。整個移 動 式 機 械 臂 系 統 包 括 一 台 速 度 為 Pentium-133 的工業電腦與一張自行開 發的影像卡，如圖一所示，兩者的傳輸 乃是透過 RS232。其中工業電腦內包含 3 個 PCI Bus 插槽，其上插有一張 CPU 卡；和 2 個 ISA Bus 插槽，其上插有兩 張 HCTL-1100 運動控制卡（一張作為 二軸機械臂運動控制，另一張則為自走 車兩輪運動控制）。 表一 自走車的規格 Size Φ52cm x 70cm (Height) Weight About 90 Kg
Max Speed About 20 cm/sec Driving motor 2 DC Servo motors Encoder resolution 1000ppr
Reduction gear ratio 60:1
On-board computer IPC-Pentium-133 Batteries 12 Volt 35 AH x 2
12 Volt 65 AH x 1 12 Volt 7 AH x 1 Steering Differential steering
表二 二軸機器臂的規格
Size 35cm(Height of Base) x link1 effective length 50cm x link2 effective length 50cm
Weight About 15 Kg Max Speed 7.479 rad/sec(link1),
0.196 rad/sec(link2) Range 240°(link1)
360°(link2) Driving motor 2 DC Servo motors Encoder resolution 1024ppr
Reduction gear ratio 50.374:1(link1), 1600:1(link2) Servo controller HCTL-1100 圖一 移動式機械臂上之電腦系統 為 了 解 決 影 像 特 徵 萃 取 之 即 時 性，我們設計並製作了一張以德州儀器 （TI）所生產的 TMS320C32 數位訊號 處理器為處理核心之影像處理卡，圖二 為即時影像處理卡實體圖 圖二 本計畫所完成的影像處理卡 系統主要規格為： l 影像輸入：最多可以連接四個通道之影像 輸入 l 影像解析度：360 x 240-pixels RGB（24-bit） l 影像更新率：最快可達每秒 30 張 l 影像暫存區：512K x 32-bit（以 360 x 240-pixels 來說，共可儲存 6-7 張影像） Pentium-133 CPU card Bridge PCI Bus
VESA Local Bus plus ISA Bus VGA Card HCTL1100 Wheel Motion Control Card HCTL1100 Manipulator Motion Control Card Image process card RS-232C IPC
l 影像輸出：一 BNC 介面（顯示原始影像） 與一 VGA 顯示介面（顯示規格為 640 x 480-pixels@60Hz ） 對 外 界 資 料 傳 輸 ： RS232C 介面，最快可達 1.152Mbps 圖三顯示此影像卡在實驗室擷取 牆上一幅月曆圖片的測試結果。我們將 此影像卡整合到移動式機器人系統，圖 四顯示在自走車上進行兩軸機械臂影 像追蹤控制實驗的情形，圖五是一次實 驗結果。 圖三 RGB 影像擷取結果 圖四 進行機械臂整合實驗 圖五 目標物在影像平面上之位置 四. 結論與討論 在本研究中，我們完成了一個運用 CCD 攝影機的即時影像處理系統。在影 像卡上進行影像擷取與處理，再透過 RS232 將處理過後之影像特徵傳送至控 制電腦。在實驗中，我們以自走車上控 像伺服，成功地完成兩軸機械臂影像追 蹤控制。然在影像視窗 pixels 數較多 時，此影像卡之處理速度每仍無法滿足 即時性，未來在硬體設計上將加以改 善。 五.參考文獻
[1] Takashi Mitsuda, Noriaki Maru, Kazunobu Fujkawa and Fumio Miyazaki, “Visual Servoing based on the Use of Binocular Visual Space”, Proc. of the IROS”96, pp. 1104-1111, 1996
[2] Koichi Hashimoto, Tsutomu Kimoto, Takumi Ebine and Hidenori Kimura, “Manipulator Control with Image-Based Visual Servo”, Proc. of the 1991 IEEE Inter. Conf. on Rob. and Auto., pp. 2267-2272, 1991
[3] A. C. Sanderson and L. E. Weiss,“Image-Based Visual Servo Control Using Relational Graph Error Signals”, Proc. IEEE, pp. 1074-1077, 1980.
[4] M.Minami, T. Asakura, J. Agbanban and Y. Aoyagi, “GA-Pattern Matching Based Manipulator Control for Real-Time Visual Servo’’, SICE ’97, pp.
1131-1136, 1997
[5] J. Carusone and G.M.T. D’Eleuterio, “ The “Feature CMAC”: A Neural-Network-Based Vision System for Robotic,”Proc. of the 1998 IEEE Inter. Conf. on Rob. & Auto., pp. 2959-2964, 1998
[6] Tian-Zeng Wu, “Visual Servo with Application to Elevator Manipulator of an Intelligent Mobile Robot”,
Master Thesis, NCTU, Hsin-Chu, June, 1998
[7] Roger Pissard- Gibollet and Patrick Rives, “Applying Visual Servoing Techniques to Control a Mobile Hand-Eye System”, Proc. 1995 IEEE Inter. Conf. on Rob. and Auto., pp. 166-171, 1995
[8] Takayuki Tanaka, Yasuhiro, Junji Ohwi, Kasuo Yamafuji and Sergei V. Ulyanov, “Intelligent Control of Technique Operations for Robot of Service Use With Manipulator”, 5th IEEE Inter. Workshop on Rob. and Human Communication, pp. 170-176, 1996
[9] A. S. Morris and M. A. Mansor, “Path Planning of a Mobile Manipulator using Visual Window ”,
UKACC Inter. Conf. on CONTROL ’98, pp.
1186-1191, 1998 0 10 20 30 40 50 60 70 80 90 100 0 0.99 1.92 2.91 3.9 4.83 5.82 6.76 7.75 8.73 9.67 10.7 11.7 12.6 13.6 14.5 15.5 16.5 17.4 18.4 Second Pixel
