應用智慧型雙眼機器人於物體運動偵測、預測與狀態描述之研究(I)

行政院國家科學委員會專題研究計畫 成果報告

應用智慧型雙眼機器人於物體運動偵測、預測與狀態描述

之研究(I)

研究成果報告(精簡版)

計 畫 類 別 ： 個別型 計 畫 編 號 ： NSC 97-2221-E-009-089- 執 行 期 間 ： 97 年 08 月 01 日至 98 年 07 月 31 日 執 行 單 位 ： 國立交通大學電機與控制工程學系（所） 計 畫 主 持 人 ： 陳永平 計畫參與人員： 碩士班研究生-兼任助理人員：何承育 碩士班研究生-兼任助理人員：洪新光 大專生-兼任助理人員：張永陞 博士班研究生-兼任助理人員：楊世宏 報 告 附 件 ： 出席國際會議研究心得報告及發表論文 處 理 方 式 ： 本計畫可公開查詢

中 華 民 國 98 年 10 月 27 日

行政院國家科學委員會專題研究計畫成果報告

應用智慧型雙眼機器人於物體運動偵測、預測與狀態描述之研究

(I)

Applied intelligent binocular robot to motion detection, prediction

and description (I)

計畫編號：NSC 97-2221-E-009 -089 -

執行期限：97 年 8 月 1 日至 98 年 7 月 31 日

主持人：陳永平 交通大學電機與控制工程研究所

共同主持人：

計畫參與人員：楊世宏 何承育 洪新光 張永陞

一、中文摘要 本年度計劃主要開發智慧型雙眼機器 人(eyeRobot)，以類神經網路以及灰預測為 基礎，發展一個智慧型預測系統，也透過 類神經網路，製作智慧型運動狀態描述系 統，提供物體間在空間與時間上的相對關 係，將此成果結合物體追蹤技術，將可應 用於監控系統，提供物體的運動狀態。 關鍵詞：雙眼機器人，類神經網路，預測， 描述，控制。 Abstract

This report intends to develop the intelligent binocular robot (eyeRobot). The research integrates the neural network and grey theorem to construct the intelligent prediction system. Furthermore, the intelligent motion description system is developed based on the neural network and provides the relatively temporal and spatial relationship between objects. While combing the tracking control, eyeRobot could be used to provide the motion states of objects for monitoring system.

Keywords: eyeRobot, neural network, prediction, description, control. 二、緣由與目的 服務性機器人的研究在全球茁壯發 展，目前服務性機器人大部分以視覺為感 測基礎，分析畫面中的影像資訊，萃取目 標物的運動狀態，進而以智慧型理論判斷 如何以致動器與環境或人類互動。若有察 覺異狀，即可馬上通知人類，因此物體偵 測與運動狀態描述尤其重要。而如何從影 像當中，擷取有用的物體運動資訊，也成 了當今熱門的議題。為了發展智慧型機器 人，本計劃以類神經網路為基礎，開發智 圖1 智慧型雙眼機器人 Controller Predictor Motion Descriptor

慧型預測系統、運動狀態描述，進而追蹤 運動物體，如圖 1 所示，經由雙眼擷取影 像之後，利用影像處理，分析物體的空間 與時間資訊，再將物體資訊傳給預測器， 即可預測物體的運動，可幫助控制器即時 追蹤運動的物體，此外，透過運動描述器 (Motion descriptor)，可掌握物體的運動狀 態，機器人方可做出適當的動作應對懷 靜。也藉此增進國內智慧型機器人影像處 理、智慧型理論、控制技術的發展。 三、智慧型雙眼機器人 本計畫旨在基於智慧型雙眼機器人 (eyeRobot)，以視覺為基礎執行物體運動預 測與狀態描述。已於今年完成“智慧型預測 系統”、“智慧型運動狀態描述系統”、“物體 追蹤技術”。其成果詳述如下。 智慧型預測系統 本研究結合灰預測系統以及類神經網 路，發展一個智慧型預測系統。灰色模型 GM(1,1)適合用於單一指數變化率的數列 估測。然而，對於其他非單一指數變化率 或是非單調數列(non-monotone sequence) 而言，則需要採用高階的灰色模型或者以 其他方法來降低估測誤差，而高階灰色模 型的運算太過繁雜。基於即時運算效能的 需求，本研究提出一種簡單而有效的誤差 補償方法，來提高估測的精確度。最後， 以模擬的方式說明以灰色估測器的可行 性，同時比較GM(1,1)模型經過誤差補償與 修正之後的效能。 類神經網路具有學習能力，已有學者 證明任何函數都可以用類神經網路逼近 [1] ，有別於灰色模型，類神經網路屬於智 慧型系統中其中一環，常用來建立輸入與 輸出之間未知的關係。然而，由於為了達 到高精度的計算，例如：預測，需要大量 的訓練資料，而這個可用來成功訓練類神 經網路的資料卻不易取得，再者，當類神 經網路遇到動態變化時，常常需要花上一 段時間訓練類神經網路。 有鑑於此，本研究整合 GM(1,1)以及 類神經網路，成為一個智慧型預測系統， 由於GM(1,1)可快速地預測訊號，所以採用 GM(1,1)即時預測訊號，利用類神經網路學 習GM(1,1)的預測誤差，為了讓類神經網路 可以即時學習訊號的動態變化，本研究採 用線上學習(on-line learning)，作為類神經 網路學習的準則。 本研究發展的智慧型預測系統結構如 圖 2 所示，其中系統輸入為過去的訊號資 料點，至少四點，經過GM(1,1)後，可預測 出時間 k+1 的訊號_xˆ( )0_{[k+1]，接者在時間 k+1} 即可計算出GM(1,1)的預測誤差，而類神經 網路即可利用這些過去的預測誤差做為訓 練資料，訓練類神經網路，而類神經網路 利用過去的GM(1,1)預測誤差，預測出下個 時間點的預測誤差，除了用以補償GM(1,1) 的預測誤差，也利用類神經網路的學習能 力，應付動態的訊號變化。 為了展示智慧型預測系統的預測能 力，本研究採用Mackey-Glass 混沌訊號作 為測試的標準平台，如圖 3 所示，並且以 GM(1,1)作為比較對象，其結果如圖 4 所 示，其中 FNAGM 為本研究所提出的智慧 型 預 測 系 統 ， 採 用 feedforward neural network，而 ENAGM 採用 Elman network。 由圖可以觀察出 GM(1,1)可以立即縮小預 測誤差，而經過一段學習時間後，智慧型 預測系統可達到較小的預測誤差，其中 GM(1,1)計算一個預測值的時間為 4.08 × 10−4秒，而智慧型預測系統需要1.70 ×10−2 秒，相較於取樣時間0.1 秒，智慧型預測系 統有足夠的時間預測下一個時間點的資 料。由於eyeRobot 每秒鐘可擷取以及處理 20 張影像，所以智慧型預測系統適合於 eyeRobot 的即時物體軌跡預測，此外，智 慧型預測系統已發表於國際研討會[2] 。 智慧型運動狀態描述系統 本研究主要目的是設計智慧型運動描 述系統，此系統根據人腦所認知運動狀態 來識別不同的運動事件，其三種運動事件 包含“拿起物件”，“放下物件”和“丟下物件” 可以被此系統描述。運動狀態的認知以及 運動事件的識別可以透過類神經網路的學 習來達成。在運動事件的識別上，本系統 分成兩部分來處理，第一部分是觸發式類 神經網路，第二部分是運動的分類器。由

於運動事件和以觸發的運動狀態序列有 關，藉由觸發式類神經網路可以把運動狀 態序列轉成觸發的運動狀態序列.運動的 分類器包含前饋式類神經網路和遞回式類 神經網路，然而含前饋式類神經網路會受 未定運動狀態序列影響，所以在設計上必 須將未定運動狀態序列考慮，而遞回式類 神經網路在設計上會根據不同觸發狀態條 件會給學習暫態樣。最後，這兩種架構都 可達到很好的運動事件的識別效能且不受 未知運動狀態序列影響，與本研究相關之 學生畢業論文請參考[3] 。 物體追蹤技術 本研究的eyeRobot 具有雙眼以及五個 運動軸，其中兩顆馬達分別控制兩個眼球 水平轉動(Pan)，一顆馬達同時控制兩個眼 球俯仰轉動(Tilt)，兩顆馬達分別帶動上述 的眼球系統作大範圍的 Pan、Tilt，如同頸 部般，五組驅動器以及控制器分別驅動以 及控制 5 顆馬達，且使用 13V 電壓以及 0.45A 電 流 作 為 電 力 的 供 應 ， 採 用 FAULHABER 的 直 流 伺 服 馬 達 (DCservomotor) ， 此 外 ， eyeRobot 採 用 MCDC 3006 S 控制器，利用簡單的 PID 控 制法則來控制馬達，每秒可透過電腦控制 所有馬達50 次，透過 RS232 傳輸指令給馬 達，傳輸模式為 Async mode。 本 研 究 為 了 方 便 使 用 者 操 作 eyeRobot，開發了手動操控介面(Manual Control Interface, 簡稱 MCI)，圖 5 為 MCI 的外觀，使用者可利用滑鼠點擊MCI 的按 鈕，輕易地轉動眼球以及頸部，讓 HERO 按照使用者的命令擺出不同的姿勢，此 外，MCI 也適用於檢測馬達是否正常工 作，利用上述步驟，即可快速地檢驗每個 馬達是否流暢地運動。 在影像處理方面，採用HSV 色彩空間 轉換，擷取預設的追蹤物體(本研究的預設 物體為紅色物體)，再計算該物體的重心位 置，回傳給控制器，轉動眼球以頸部做物 體追蹤。 影像縫合技術 本研究開發一個 band-type optimum

partition method，簡稱 BOP，這個方法利 用多重切割線以及 band-type borders 來達 到兩個主要優點，首先，它改善了重疊區 邊界不連續的現象，其次，它抑制了不期 望的ghost 影像效應(ghost image effect)，這 個效應是來錯誤地對齊輸入影像，此外， BOP 利用評估群組像素的相似度和連續性 成本來取代評估單一像素，最後實驗結果 證明其有可行性，如圖 6 所示，其成果已 發表於國際期刊上[4] 。 四、計畫成果自評 1. 本研究結合灰預測系統以及類神經網 路，發展一個智慧型預測系統，可達到 比GM(1,1)更小的預測誤差，且運算時 間足以實現即時預測，此研究已發表於 國際研討會[2] 。 2. 本 研 究 設 計 一 個 智 慧 型 運 動 描 述 系 統，利用遞迴式類神經網路辨識“拿起 物件”，“放下物件”和“丟下物件”等運動 狀態，有別於傳統的有限狀態機，允許 擴充運動狀態，且藉由學習得到辨識能 力。與本研究相關之學生畢業論文請參 考[3] 。 3. 本研究除了利用傳統的 PID 控制器來 控制具有五軸的eyeRobot，使機器人可 以追蹤預設的物體，也開發了手動操控 介 面 ， 讓 使 用 者 可 以 輕 鬆 地 操 作 eyeRobot。

4. 本研究提出 band-type optimum partition method，可改善影像縫合處理中影像彎 曲以及降低 ghost 影像效應，相關研究 之成果已發表於國際期刊上[4] 。 五、參考文獻

[1] K. Hornik, “Multilayer feedforward networks are

universal approximators,” Neural Networks, vol. 2, 1989.

[2] S.-H. Yang and Y.-P. Chen, “Intelligent

Forecasting System Based on Grey Model and Neural Network,” IEEE/ASME International

Conf. on Advanced Intelligent Mechatronics, pp.

699-704, 2009.

[3] 藍琦佑，智慧型運動系統之設計，交通大學電

機與控制工程研究所碩士論文，2008。

[4] T.-D. Yeh, Y.-P. Chen and Z.-Y. Liao, “An

Image Stitching Process Using Band-Type Optimal Partition Method,” Asian Journal of

Information Technology, 7 (11), pp. 498-509, 2008. 圖3 Mackey-Glass混沌訊號 圖4 各種方法預測誤差 圖5 手動操作介面 圖6 影像縫合結果 [ ]1 GMk+ eˆ ( )0_{[ ]+1} k x ˆ Feedforward NN ( )_{[ ]} k xˆ0 [ ]1 FNAGMk+ x ˆ GM(1,1) − Σ + + Σ − z-1 z-1 + Σ + eGM[k] ( )_{[ ]} ( )_{[ ]} ( )_{[ ]} ⎥⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ + − + − k x n k x n k x 0 0 0 2 1 # 圖2 智慧型預測系統

表 Y04 行政院國家科學委員會補助國內專家學者出席國際學術會議報告 98 年 7 月 19 日 報告人姓名 楊世宏 服務機構 及職稱 國立交通大學電機與控制工程研 究所 博士班五年級 時間 會議 地點 2009/7/14~2009/7/17 新加坡 本會核定 補助文號 NSC 97-2221-E-009-089- 會議 名稱 (中文)國際進階智慧機電研討會

(英文) 2009 IEEE/ASME International Conference on Advanced Intelligent Mechatronics

發表 論文 題目

(中文) 基於灰色模型與類神經網路之智慧型預測系統

(英文) Intelligent Forecasting System Based on Grey Model and Neural Network 報告內容應包括下列各項： 一、參加會議經過 參加會議的第一天，領取會議資料與收據，隔天舉行眾多的機電整合相關議題，提 供學者參訪，第三天早上為本人報告時段，同時與同行學者做互動，在晚宴中也領取 2010 的研討會資訊，作為日後投稿的依據，第四天舉行眾多的智慧型機器人討論，作為大會 的壓軸好戲。 二、與會心得 本次參加研討會不外乎開了眼界，吸收各國學者的研究成果，其中在智慧型機器人 領域的收穫特別多，在會議過程中，認識了來自澳大利亞的華裔博士生，他專攻直升機 的應用，結合影像、聲音技術，開發定位的功能，藉由影片的展示，令人目不暇給。從 談話過程中，也了解對方清晰的思緒，如何鎖定研究題目，而不至於過度廣泛踏入各各 領域而無法收歛，其研究態度令人欽佩。會議過程中也認識從台灣來的教師，跟他們討 論後，也得到研究方向的啟發，因此目前正鎖定討論的內容作全力的研究。 三、建議 這次會議整體感覺很棒，因為在會議的 section 當中有很多智慧型機器人的研究，如 果能在大會演講給一兩個智慧型機器人的議題，會吸引很多這方面的學者參加，讓更多 機電整合以及電機領域的學者能夠一起討論這個議題。 四、攜回資料名稱及內容 1. 會議議程 2. 會議論文集與光碟 3. 2010 年相關議題的研討會資訊 五、其他