平台移動抓取實驗

在本實驗中，我們一樣在機器人前方放置一個瓶子，作為抓取的目標物，而 這次瓶子放置在離機器人約 93 公分處，離地高度為 105 公分，這次的實驗主要 目的在於驗證，當機器人判斷目標物所在位置超出機械手臂工作範圍時，他會控 制移動平台向前移動到機械手臂的工作範圍之內，再進行最後的抓取任務。

將整個實驗過程中，從開始到完成抓取動作，所計算出目標物的中心點在影 像平面上的位置記錄下來。在起點時攝影機擷取到的畫面如圖 5.10，此時計算 出目標物的中心點位置如圖 5.11，是在整個影像平面上半部的位置。由於此時 算出機器人跟目標物的距離超出手臂工作範圍，於是計算出要移動的距離之後，

控制平台往前移動。到達工作範圍後，攝影機所截取到的畫面如圖 5.12，此時 紀錄的中心點位置如圖 5.13，中心點在影像平面上的位置向下移動。由於攝影 機傾斜的角度固定，機器人在移動的過程中，中心點在影像平面上的位置也有所 變化，目標物在影像平面上的位置隨著距離的減少，y 值有所變動，而 x 值則變 化不大，顯示出機器人是往正前方移動。在座標量測方面，隨著機器人的移動，

目標物在影像平面上的位置有所變動，大致分為兩個區間，分別是在起點時，及 到達工作範圍之後，所以在圖 5.14 中數據有一個跳動，就是對應到當時所計算 出的目標物中心點位置。圖 5.15 則是手臂移動的軌跡。

圖 5.11 攝影機在起點所量測出之目標物在影像平面上的中心點

圖 5.12 移動抓取實驗中，到達工作範圍時攝影機所擷取的畫面及目標物位置

圖 5.13 攝影機在工作範圍所量測出之目標物在影像平面上的中心點

圖 5.14 攝影機量測到的目標物座標位置

圖 5.15 抓取過程中手臂各軸軌跡圖

實際機器人移動抓取時的情形則如圖 5.16 (a)-(i)所示，(a)-(d)為機器人移動 的過程，在機器人判讀尚未到達手臂的工作範圍之前，控制器會持續的下命令給 平台，使其移動，透過影像資訊的輸入，再即時的計算是否到達工作範圍，到達 後平台才會停止。根據估測出來的目標物位置，來判斷機器人移動的距離，在本 實驗中，目標物所對應的適當工作範圍大致在深度為 600mm 的距離之內，一開 始攝影機估測出距離大於 600mm 所以根據目前位置到工作範圍之間的距離，下

(a) (b) (c)

(d) (e) (f)

(g) (h) (i)

其移動的軌跡紀錄如圖 5.17 所示，由於我們將世界座標原點定在機器人本 體，所以畫出來的移動軌跡圖，為一個相對的座標關係。由距離紀錄可以得知，

機器人在出發點所量測到的深度是 932mm，於是機器人應該向前移動的距離應 該是 332mm，其中移動的誤差可以根據攝影機計算的結果再作調整，根據移動 軌跡顯示機器人最後停在距離目標物 631mm 的地方，表示已經到達工作範圍可 以執行最後抓取的任務，而 X 方向在前進的過程中略有偏差，不過由於機器人 已經判斷在工作範圍內，所以不必再進行左右的修正。

圖 5.17 中，藍色的圓點是目標物的位置，紅色的線是移動的軌跡，因為目 標物跟機器人彼此的座標位置為一相對的關係，所以在目標物不動的情況之下，

隨著機器人移動，攝影機觀測到的目標物位置會有所變動。在移動過程中 Z 座 標值會漸漸變小，而 X 跟 Y 座標則是根據中心點位置算出對應的結果，當機器 人到達工作範圍後，所觀測到的中心點位置就會趨於穩定，算出來的座標值就不 會再有劇烈的變動。

第 第 第

第六 六 六章 六 章 章結論與未來展望 章 結論與未來展望 結論與未來展望 結論與未來展望

6.1 結論 結論 結論 結論

本論文藉由 SURF 演算法，使機器人能透過目標物上的自然特徵點資訊來定 義該物體，並且加入了平面轉換矩陣(homography)的觀念及 RANSAC 剔除錯誤 比對，經由這幾種方法的結合讓我們能夠得到更穩定的對應特徵點。在此基礎之 下，搭配本論文提出的座標估測方法，經由推導出在不同距離時座標估測的誤 差，找出其誤差修正方程式，以便於機器人在不同距離時都能準確量測出目標物 的位置。這些方法的結合讓機器人在任務規劃上更加的實用，針對目前的座標位 置相對關係，來決定機器人的運動策略，是否需要移動，或是已經可以移動手臂 過去抓取，都能夠靈活的規畫。在機器人影像伺服控制方面，採用 PBVS 的架構，

由裝置在機器人頭部的立體攝影機擷取環境中的資訊作為機器來移動的資訊來 源，相對於 Eye-in-hand 的攝影機架構，在實際應用上更加的廣泛，在完成抓取 之後，攝影機還能繼續擷取資訊，作為規劃接續任務的依據。

在實驗的驗證之下，我們確認此架構能夠順利的導引機器人至目標物前方，

並藉由最後手爪跟目標物之間的幾何關係，求出抓取的軌跡，完成抓取的任務。

6.2 未來展望 未來展望 未來展望 未來展望

本論文在影像辨識方面，雖然設計了一套由特徵點辨識乃至於錯誤特徵點剔 除及求解平面轉換矩陣，完整的一套辨識環境中物體的方法，但是其中還有幾個 可以改良的地方。在運算速度方面，由於是採用雙眼視覺，所以必須同時做兩張 影像的特徵點比對，如此大幅增加了運算量，導致運算時間增加，另外，因為環 境中光線的因素，常常會導致擷取的影像亮度不穩定，而使特徵點的計算及轉換 矩陣的求解上出現較大的誤差。因此若能針對這些問題做出改良，將可提高整體 的實用性，增加機器人對環境的反應能力。

目標物的姿態也不必拘泥在直立的狀況，可以針對不同的姿態，改變手掌抓取的 角度，用途更加廣泛。

在機器人的應用方面，目前可以完成到自主抓取環境中指定物品的任務，若 能規劃在拿到物品後的任務，例如使用者在指定機器人抓取物品之後，再拿給使 用者。如此一來，將可以大大提升人類生活的便利性及互動性，使其成為家中的 好幫手。此外，由於頭部機構的設置以及雙臂的設計，可以研究兩手臂間的協調 合作，完成更多的任務。

參考文 參考文 參考文 參考文獻 獻 獻 獻

[1] D. G. Lowe, “Distinctive Image Features from Scale-invariant Keypoints,”

International Journal of Computer Vision, 2004, pp.91-110.

[2] H. Bay, T. Tuytelaars and L. V. Gool, “SURF: Speeded Up Robust Features,”

in Proc. of the 9th European Conf. on Computer Vision, Graz Austria, 2006, pp.

404-417.

[3] Sukhan Lee, Eunyoung Kim and Yeonchool Park, “3D Object Recognition Using Multiple Features for Robotic Manipulation,” in Proceedings of IEEE International Conference on Robotics and Automation, Orlando, Florida, USA, 2006, pp. 3768-3774.

[4] Han-Young Jang, Moradi Hadi, Suyeon Hong, Sukhan Lee, and JungHyun Hong, “Spatial Reasoning for Real-time Robotic Manipulation,” in

Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, China, 2006, pp. 2632-2637.

[5] Sukhan Lee, Daesik Jang, Eunyoung Kim, Suyeon Hong and JungHyun Hong,

“A Real-Time 3D Workspace Modeling with Stereo Camera,” in Proceedings of IEEE International Conference on Intelligent Robots and Systems,

Edmonton, Alberta, Canada, 2005, pp. 2140-2147.

[6] S. C. Hung and M. F. Li, “A SIFT Method Application for a Six DOF Manipulator Grasping an Object Against Complicated Environment,” in the 33rd Annual Conference of the IEEE Industrial Electronics Society, Taipei, Taiwan, 2007, pp. 465-470.

[7] David Gossow, Johannes PellenZ and Dietrich Paulus, “Danger Sign Detection Using Color Histograms and SURF Matching,” in Proceedings of

Japan, 2008, pp. 13-18.

[8] S. H. Baeg, J. H. Park, J. Koh, K. W. Park and M. H. Baeg, “An Object

Recognition System for a Smart Home Environment on the Basis of Color and Texture Descriptors,” in Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, San Diego, CA, USA, 2007, pp. 901-906.

[9] M. Aiguo, X. Zhaoxian, T. Yoshida, M. Yamashiro, T. Chao and M. Shimojo,

“Home Service by a Mobile Manipulator System -System Configuration and Basic Experiments,” in Proceedings of IEEE International Conference on Information and Automation, Zhangjiajie, China, 2008, pp. 464-469.

[10] Changhyun Choi, Seung-Min Baek and Sukhan Lee, “Real-time 3D Object Pose Estimation and Tracking for Natural Landmark Based Visual Servo,” in Proceedings of IEEE International Conference on Intelligent Robots and Systems, Nice, France, 2008, pp. 3983-3989.

[11] M. Tomono, “3-D Object Map Building Using Dense Object Models with SIFT-based Recognition Features,” in Proceedings of IEEE International Conference on Intelligent Robots and Systems, Beijing, China, 2006, pp.

1885-1890.

[12] K. Yamazaki, M. Tomono, T. Tsubouchi and S. Yuta, “A Grasp Planning for Picking up an Unknown Object for a Mobile Manipulator,” in Proceedings of IEEE International Conference on Robotics and Automation, Orlando, Florida, USA, 2006, pp. 2143-2149.

[13] Y. Hirata, Y. Matsuda and K. Kosuge, “Handling of an Object in 3-D Space by Multiple Mobile Manipulators Based on Intentional Force/Moment

Applied by Human,” in Proceedings of IEEE/ASME International Conference on Advanced Intelligent Mechatronics, Zurich, 2007, pp. 1-6.

[14] H. I. Christensen and P. Case, “Mobile Manipulation for Everyday

Environments,” in Proceedings of IEEE International Conference on Control, Automation and Systems, COEX, Seoul, Korea, 2008, pp. xlii-xlvi.

[15] M. Prats, P. Martinet, A. P. del Pobil and Sukhan Lee, “VIsion Force Control in Task-Oriented Grasping and Manipulation,” in Proceedings of IEEE International Conference on Intelligent Robots and Systems, San Diego, CA, USA, 2007, pp. 1320-1325.

[16] T. Grundmann, R. Eidenberger, R. D. Zoellner, X. Zhixing, S. Ruehl, J. M.

Zoellner, R. Dillmann, J. Kuehnle and A. Verl, “Integration of 6D Object Localization and Obstacle Detection for Collision Free Robotic

Manipulation,” in Proceedings of IEEE International Symposium on System Integration, Japan, 2008, pp. 66-71.

[17] P. Azad, T. Asfour and R. Dillmann, “Stereo-Based 6D Object Localization for Grasping with Humanoid Robot Systems,” in Proceedings of IEEE International Conference on Intelligent Robots and Systems, San Diego, CA, USA, 2007, pp. 919-924.

[18] Iv´ an F. Mondrag´on, Pascual Campoy, Carol Mart´ ınez and Miguel A.

Olivares-M´ endez, “3D Pose Estimation Based on Planar Object Tracking for UAVs Control,” in Proceedings of IEEE International Conference on Robotics and Automation, Anchorage, Alaska, USA, 2010, pp. 35-41.

[19] S. Benhimane and E. Malis, “Homography-based 2D Visual Tracking and Servoing,” International Journal of Robotics Research, 2007, pp.661-676.

[20] Viola, P., Jones, M., “Rapid Object Detection using a Boosted Cascade of Simple Features,” in Proceedings of IEEE Computer Socity Conference on

[21] M. Fischler and R. Bolles, “Random Sampling Consensus: a Paradigm for Model Ftting with Application to Image Analysis and Automated

Cartography,” Commun. Assoc. Comp. Mach., 1981, vol. 24, pp. 381-395.

[22] http://en.wikipedia.org/wiki/RANSAC

[23] K.S. Fu,R.C. Gonzalez,C.S.G. Lee, Robotics Control, Sensing, Vision, and Intelligence,McGraw-Hill Book Company, 1987..

[24] 王兆戊, “全向式移動機器人之同步定位與環境地圖建立” 國立交通大學 電機與控制工程學系碩士論文, 2008.

[25] W. J. Wilson, C. C. Williams Hulls, and G. S. Bell, “Relative end-effector control using Cartesian position based visual servoing,” in IEEE Transactions on Robotics and Automation, 1996, Vol. 12, NO. 5, pp. 684-696.

[26] Geoffrey Taylor and Lindsay Kleeman, Visual Perception and Robotic Manipulation, Springer, 2006.

[27] S. Hutchinson, G.D. Hager and P.I. Corke, “A Tutorial on Visual Servo

Control,” in IEEE Transactions on Robotics and Automation, 1996, Vol. 12, No.

5, pp. 651-670.

[28] 陳弘哲, “基於影像辨識之移動式機械臂抓物控制設計” 國立交通大學電機 與控制工程學系碩士論文, 2008.

[29] http://www.ptgrey.com/products/bumblebee2/