先進家用機器人系統研發(II)---子計畫I---家用機器人系統之資訊與網路平台研發

行政院國家科學委員會專題研究計畫 期中進度報告

子計畫一：家用機器人系統之資訊與網路平台研發

計畫類別： 整合型計畫 計畫編號： NSC91-2213-E-009-024-執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立交通大學電機與控制工程學系 計畫主持人： 胡竹生 報告類型： 精簡報告 處理方式： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢

中

華

民

國 92 年 5 月 27 日

行政院國家科學委員會專題研究計畫成果報告

子計劃一: 家用機器人系統之資訊與網路平台研發

計畫編號：NSC 91-2213-E-009-024-執行期限：91 年 8 月 1 日至 92 年 7 月 31 日 主持人： 胡竹生 國立交通大學電機與控制工程學系 計畫參與人員：吳立偉、蔡銘謙、周春成 國立交通大學電機與控制 工程學系 一、中文摘要 本計劃將針對家用機器人之資訊系統軟硬體平台進行研發，建立一個機器人的視 覺平台做為追蹤和定位，而其重點在於省電高效能以及具備現代化資訊整合與連 結能力的機器人發展平台。此外，希望機器人能與人類一樣具有視覺判斷環境的 能力，以挑戰在高度未知與動態環境中達成任務的目標。接著完成一即時追蹤系 統,能在標準時間(1/15sec)內完成一張接收影像的追蹤處理。再配合嵌入式系統技 術，並建構一個以即時多工控制(Real Time control)理論為基礎之機器人發展環 境。本計劃將提出三層式控制架構改善機器人在處理工作時硬體結構與軟體規劃 的問題。此三層式架構以資料處理硬體的角度分為：1.即時控制層、2.閘道伺服 層、3. 網際網路層。而以學習與智慧成長之軟體角度可分為：1.反射動作層、2. 單一智慧層、3.合作式學習層。使未來家用機器人擁有無限的網際網路資源，並 擁有高彈性的成長空間。在實作上，本計劃預計使用嵌入式技術來建立 Robot 上的中央控制單元，並採用 Embedded Linux 為其作業系統。同時以 Thin Client 及 Server 的概念，建立所謂的 Robot House，以提供更強大的計算平台與閘道功 能。同時本計劃將以 web-based control 的概念，使用 JAVA、XML、Socket 等技 術，貫穿整個 Home Robot 資訊系統。建立一套完整的訊息溝通與擴充機制。使 Home Robot 擁有無限成長，學習與記憶空間，所以 Internet 連線之電腦就可以是 Robot 的大腦。與 Robot 相處附近的 Robot House PC 便猶如一個閘道，可視為 Robot 的小腦與脊椎神經，其與 Robot 之間，則是一個負責即時與命令反應動作 的控制單元。理想規劃下，網際網路猶如其大腦神經系統。我們可以運用網際網 路上無限多的訊息資訊提供給機器人系統，並可運用網路上無限多的計算資源建 構一個複雜且龐大的學習與合作的機制。 關鍵詞：機器人，家用機器人，嵌入式系統，即時多工控制，追蹤，立體視覺 Abstract

and build a vision hardware platform of robot to tracking and position, with special emphasis on power saving and modern information and connection capability. Besides, the goal is to enable the robots with human-like vision capability to estimation the environments. By doing so, the robots can complete missions in highly unknown and dynamic environment, i.e., to build a real-time tracking system to handle the obtained frame in 1/15 second. Using embedded system deign technology, the project is going to construct a development environment based on real-time multi-tasking control architecture. A three-layer control structure is proposed to define the hardware and software technology involved in the system. From hardware viewpoint, we have: 1. Real-time Control Layer; 2. Gateway and Server Layer; 3. Internet Layer. On the other hand, the software layers are defined as: 1. Reflective Action Layer; 2. Unitary Intelligence Layer; 3. Cooperative Learning Layer. These will enable an infinite internet resource sharing and a highly flexible growing space for the robot. The project will use RISC CPU to design the central control unit for the robot. Embedded Linux will be used as the operating system. Meanwhile, based on the idea of thin client and server, this research will establish a robot house to provide more computing power. To make the overall software platform more transparent, we will use JAVA and XML techniques to design the message exchange and development interface. Therefore, any computer connected to Internet can easily become part of the brain of the robot. Via Internet connection, the robot can own an infinite resource and computing power to establish a huge and complex learning and cooperative mechanism.

Keywords: Robotics, Home Robot, Embedded System, Real-time Multi-tasking Control, Tracking, three-Dimension Vision

二、緣由與目的 機器人之研究與應用在近年來已從工廠自動化，漸漸走入一般人的生活。日本本 田汽車公司於 1996 年底開發完成的本田機器人[1]。本田機器人可以依據地形狀 況決定自己如何動作，因此能夠於上下樓梯及斜坡進行時保持身體直立。早稻田 大學最早於 1970 年代開始研究二足步行機器人、1992 年成立人形機器人研究中 心。另一方面他們開發的 Handaly-2 機器人同時進行模仿人類頭部與雙眼方面的 研究[2]。除了本田公司的本田機器人外，SONY 公司已完成商品化產品 AIBO 犬 型寵物機器人，並可用來參加 ROBOCUP 機器人足球兢賽。其他學術機構或公 司所提供的人型機器人更是所在多有[3-8]。 可移動式的機器人走入家庭似乎已經是一個重要趨勢，然而現階段具備高度智慧

的移動式機器人大都屬於較龐大的設備。對於民生化、家庭化的需求仍有一段距 離。一個家用機器人系統，所應有的要求應該是一個體積小、省電、運作速度快、 網際網路資訊介面寬廣，具有影像與聲音系統的處理環境，擁有對外在環境之感 測介面，以及互動性和家電系統有一定之整合能力的設備。甚至擁有一定程度的 人工智慧與擴充能力。反觀現階段環境，要符合以上要求的彈性發展系統並不 多。其次，大部分與網路結合的機器人，以 tele-operation 或遠端控制居多[9- 11]。 就一個具備網路能力的 home robot 而言，其所需具備的網路功能，似乎應再加上 現代化資訊平台如 Multi-agent 等技術[12]。 考量未來整合應用的趨勢，一個 Home Robot 系統及可能成為家用資訊與控制之 出入口，由於其兼具移動式能力，為目前所有方案(如一般 Gateway)等所不能及 的。其次，Home Robot 結合網路代表虛擬世界(Virtual World)與實體世界(Real World)的整合。許多例子均顯示，這兩個世界的結合將延伸出無限的想像與應用 的空間。近十年來在 Robotics 中熱門的研究題目之一為多機器人之間的合作問 題，其相關的人工智慧研究稱為分散式人工智慧(Distributed Artificial Intelligence, DAI)。DAI 的進展目前以模擬居多，也就是大部份均在虛擬世界中進行。與實體 結合時均礙於計算平台不足或系統架構過於侷限(如通訊協定不夠開放)而無法 發揮。近年來網際網路的成長為這個合作的研究提供了愈來愈好的環境，而 Home Robot 則將因為這些研究的成果應用，對人類產生更大的價值。Home Robot 由於 其 互 動性 高 於其 他 電 子 裝 置 ， 將 成 為 未 來 世 界 裡 一 個 重 要 的 agent。 雖然 multi-agent 這個觀念早已被提出並有大量的研究，但以 Home Robot 為主的技術 研發並不多見。其中很明顯的是缺乏合適的軟硬體平台。 此計畫已完整落實解決了資訊，控制，電機機械與系統整合的問題，讓人工智慧 與學習理論相關學術研究擁有一個很好的橋樑。更可進一步驗證多層式即時多工 控制理論架構的可行性，並能夠給予產業學術界注入一股新的契機與力量。 三、結果與討論 本計畫目前主要完成四項結果。 1.成功的設計建置家用機器人之嵌入式 Linux 乙太網路伺服器控制器 2. 嵌入式乙太網路微型控制器 3. 硬體層即時網路通訊 協定( Hardware Real-Time Protocol ； HRTP ) 4. HRTP 之乙太網路時脈同步方 法之理論研究以及實作和驗證，其內容簡述如下：

Hardware RTLinux kernel

Linux Kernel RTT RTT RTT User process

FIFO (used by RTT)

System call RTT：Real-Time task

圖 1

圖 2

圖 3

本計畫運用 Embedded Linux 技術成功的建構出 Home Robot 之即時嵌入式 Linux 乙太網路伺服控制器。本控制器擁有不到 3Mbyte 的 code size 便能擁有 Ftpd、 Telnetd、Httpd、NFS Client、Real Time Task 等能力。並運用 RTLinux[14]建構於 核心當中提供硬體即時排程規劃。 運用此架構建構一個屬於家用機器 人 網 路 伺 服 環 境 如 圖 1。 2. 嵌入式乙太網路微型控制器：

為了符合 Home Robot 小體積，省電的目的，本計畫亦運用 Mobile Thin Client 技

術研發多種嵌入式乙太網路微型控制器模組。此可擴充主從架構式的 Robot 應 用周邊模組，模組之原型如圖2。此嵌入式乙太網路微型控制器模組最大的特色 為運用傳統單晶片 RSIC 為核心降低 成本體積小省電、運用乙太網路為傳 輸媒介且使用強健性之 TCP/IP 協定 為通訊基礎降低使用的困難度。更近 一步的完成 Ethernet 馬達控制模 組，如圖3。 3. 硬 體 層 即 時 網 路 通 訊 協 定

Hardware Real-Time Protocol

(HRTP):

硬體層即時網路通訊協定方面，運用傳統的 OSI 與 CSMA/CD 理論架構。將 HRTP 建構於 OSI 第三層之內將網路封包依照 HRTP-Time Table 所作的時間傳輸規劃作 傳輸分配。藉此避免掉網路碰撞造照成 Back-off Time 的不確定性。因而達成即 時網路對時間嚴謹要求。且將系統通訊延遲時間便成一個可預測規劃的架構。更 重要的是 HRTP 對系統所作的封包切換控制技術 Packet Traffic Control[13]並不會 影響傳統封包傳遞，也就是說擁有完全相容於傳統網路協定，此為其最大的特 色。本研究結果已發表學術論文[13] 。

4. HRTP 之乙太網路時脈同步方法

配合著硬體層即時網路通訊協定理論基礎下，更進一步延伸出 HRTP 之乙太網路 時脈同步方法。在分散式網路控制中，時脈同步為複雜的問題之一。運用"硬體 層即時通訊協定"(Hardware Real-Time Protocol)HRTP 提供一個新的封包控制技 術，擬造出擁有頻率誤差特性之特殊網路封包流.再藉由“時脈頻率誤差偵測演 算法 ”(The Algorithm of Clock Frequency Error Detection)粹取出網路封包流的頻 率誤差特性。經由實驗運用此方法成功的檢測出 100us 以下的頻率誤差。並將其 驗證和實作於嵌入式網路系統(Embedded Internet Controller)上。證明此方法之簡 單，實用且高精度之特性。本研究結果已發表學術論文，詳細內容請參考[13]。 5. 視覺硬體平台

在機器人的視覺以及座標定位方面必須使用到影像的擷取及資料的判讀，一般傳 統都使用 CCD 經由 usb 介面或影像擷取卡先將影像取回 PC 再做資料分析，而在 這方面我們利用低成本的 CMOS Sensor 及 ALTERA10K FPGA 搭配 Parallel Port[15] 來做影像的擷取分析及傳送，將需要龐大運算量的影像處理先於 FPGA 分析，再 將處理完後較少量的 data 及影像特徵傳送到 Host CPU，降低 Host CPU 的處理 時間。

主體分為兩部分，第一部份包括 CMOS Sensor 周邊電路以及控制介面 I2C 之 8051 單晶片的硬體實現，以及為了實現即時影像擷取所設計之 SRAM Control 機制和 Parallel Port 硬體實現。第二部分為接收端即時影像擷取及 Bayer pattern 圖 素還原法，以及移動物體影像 edge detection 和 Motion detection algorithm 硬體實現。整個視覺平台如圖 4。 6.立體視覺之建立 在具備視覺硬體平台後，希望從影像序列中求取出三維空間的資訊，最早的研究 就是假設已經知道相機的內部參數，如相機的焦距、影像中心及縱橫比(aspect ratio)等內部參數已知，這時候由影像資訊求取出三維空間的資訊是十分簡單的 [16]，然而透過事先校正好的相機參數可能因為環境因素而改變，例如因為微小 的震動而改變了焦距等影響，或因為長時間工作所造成的熱量使得相機的焦距 (focal length)或像主點(principal point)產生變化，所以近年來越來越多研究是希望 相機能自我校正，藉此省去人工校正的繁瑣步驟及提升系統能力，而目前大部分 的研究都是假設相機的內部參數是固定的，再藉由移動來取得影像序列，並求取 相機的內部參數，然後經由計算極線幾何求得相機的移動參數即外部參數，最後

圖 4 圖 5 圖 6 由內部參數及外部參數的資訊反求取三維空間資訊。 因為我們希望智慧型機器人能對環境的能夠比較有效率的擷取三維空間資訊影 像資料，而不用透過移動相機本身的位置，所以本系統考慮了雙相機系統，且由 於相機可以自由的旋轉及改變焦距，所以採用的相機自我校正方式是透過相機自 我的旋轉及自由的改變焦距來求取相機的內部參數，而不用限定內部參數是否為 固定不變，再透過求取的極線幾何幫助提升相機自我校正的精準度[17] [18]，並 利用強健的方法求取兩相機的極線幾何關係，並利用極線幾何重新求取影像的對 應關係，使得影像平面的對應關係能被正確的尋找出來，及利用極線幾何的關係 改善相機自我校正的精準度，最後利用正確特徵點對應關係及相機的內部參數及 外部參數求取三維空間的資訊。實驗架構如下頁圖 5： 7.即時影像追蹤系統 為了配合機器人即時 的移動變化狀況，設計 一套能專注於某特定物體的追蹤系統變的重要。如何能 在 1/15 秒之中完成一次物體追蹤，有效率的運算決定了 成敗。

這個部分主要是採用 non-rigid object tracking, 運用 Epanechnikov kernel，對於所 定義的區塊，離圓心越近，其所占的權重較大，離圓心越遠，其所占的權重較小， 1 0 x 1 0 x 1 E x K =  − ≤ ≤ >  用這樣的想法，統計欲偵測區塊內的 histogram，得到特徵空間的資料後，針對 這一張 frame 除上一張 frame，每一個 R、G、B level 都有其相對的 weighting， 再依據所得的 weighting，對其中每一點的 x、y 值分別乘其 color data 所相對的 weighting 值後取平均，得到新的中心點，經過幾次 iteration，一定可以收斂到相 對最相似的區塊中心，此時即為新的物體中心[19]。

相機 1 相機 2

為了這樣的系統運算變的更有效率，所以再加上了 mean-shift filtering 以及 Kalman prediction。我們用 mean-shift filtering 讓每一 pixel 所相對的色彩， 依其 spatial-feature domain 的相關性，使其以 local density maximum 取代， 造成重要色彩的聚集[20]。另外利用 Kalman prediction， 根據物體過去移動 的資訊做分析，對下一點的物體移動中心先做預測，能有效省去搜尋的時間 [21]。實驗結果展示如圖 6。 四、計畫成果自評 項 目 完成情況 與原計畫相符程度 100% 達成預期目標 90% 研究成果學術價值 HRTP 時脈同步理論 研究成果應用價值 具實用性 學術期刊發表合適否 已發表 申請專利合適否 是 主要發現或其他價值

1.Hardware Real-Time Protocol 2.HRTP 之乙太網路時脈同步方法 3.時脈頻率誤差偵測演算法 4.即時物體追蹤之 IC 設計

五、參考文獻

[1] K. Hirai, M. Hirose, Y. Hirose, Y. Haikawa, and T. Takenaka, “The development of Honda humanoid robot, “ Proceedings IEEE International Conference on Robotics and Automation, pp. 1321 – 1326,1998.

[2] S. Hashimoto, S. Narita, H. Ksahara, A. Takanishi, S. Sugano, K. Shirai, T. Hoashi, “Humanoid robot-development of an information assistant robot Hadaly,

Proceedings IEEE International Workshop on Robot and Human Communication, pp.106 – 111, 1997.

[3] T.Ikeda, C..Miyazi, “Swimmable hummanoid robot, ” Proceedings IEEE of the 24th Annual Conference of the Industrial Electronics Society, pp1164 –1169, 1998.

[4] J. A. Driscoll, R. A. Peters, and K. R. Cave, “A visual attention network for a humanoid robot , “ Proceedings IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.96 – 101, 1998.

[5] S. Hashimoto, “Vision system for humanoid robot-toward emotional man-machine-environment interaction, “ Proceeding KES ’98 Second International Conference on Knowledge-Based Intelligent Electronic Systems, pp. 269 –273, 1998.

[6] K. Nishiwaki, A. Ionno, K. Nagashima, M. Inaba, and H. Inoue, “ The humanoid Saika that catches a thrown ball. “ Proceedings IEEE International Workshop on Robot and Human Communication, pp. 94 – 99, 1997.

[7] R. A. Brooks, “Behavior-based humanoid robotics, “Proceedings of the IEEE/RSJ International Conference on Intelligent Robotics and Systems, pp. 1-8, 1996.

[8] S. A. Setieawan, H. H. Sang, J. Yamaguchi, and A. Takanishi, “Physical Interaction between Human and a Bipedal Humanoid Robot –Realization of Human – follow Walking, “Proceedings IEEE International Conference on Robotics and Automation, pp. 361 –367, 1999.

[9] S. A. Setieawan, H. H. Sang, J. Yamaguchi, and A. Takanishi, “Physical Interaction between Human and a Bipedal Humanoid Robot –Realization of Human – follow Walking, “Proceedings IEEE International Conference on Robotics and Automation, pp. 361 –367, 1999.

[10] S. Lee D.S. Choi, M. Kim, C. W. Lee, and J. B. Song, “An unified approach to teleoperation: human and robot integration, ” Proceedings IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.261 –266, 1998.

[11] S. Lee. D. S. Choi, M. Kim, and C. W. Lee, “The Distriuted Controller

Architecture for a Masterarm and its Application to Teleoperation with Force Feedback, “ Proceedings IEEE International Conference on Robotics and Automation, pp. 375 – 380, 1999.

[12] Nishiyama, H.; Yamazaki, W.; Mizoguchi, F., “Negotiation protocol for proof of

realization of cooperative task in multi-agent robot systems,” Systems, Man, and Cybernetics, 2000 IEEE International Conference on , Volume: 3 , 2000, Page(s): 1685

[13] Liwei Wu, Jwu-Sheng Hu, “Achieving Internet synchronization clock error detection with HRTP”, CAC2003

[14]http://fsmlabs.com/developers/

[15] IEEE Standard Signaling Method for a Bi-directional Parallel Peripheral Interface for Personal Computers：IEEE Std 1284 – 1994

[16] Andrea Fusiello. Uncalibrated Euclidean reconstruction: A review. Image and Vision Computing, 18:555--563, May 2000.

[17] Hayman, E., L. de Agapito, I. D. Reid, and D. W. Murray: 2000, The Role of Self-Calibration in Euclidean Reconstruction from Two Rotating and Zooming Cameras. In: Proc. 6th European Conference on Computer Vision, Dublin, Ireland. pp. 477--492.

[18] L. de Agapito, E. Hayman, I. Reid, Self-Calibration of Rotating and Zooming Cameras, International Journal of Computer Vision 45(2), November 2001.

[19] Real-time Tracking of Non-Rigid Objects using Mean Shift: IEEE CVPR 2000 [20] Mean Shift : A Robust Approach Toward Feature Space Analysis : IEEE

Transactions on pattern analysis and machine intelligence. VOL.24 NO.5. May 2002.