人形機器人立體視覺引導雙手臂動作技術和系統

行政院國家科學委員會專題研究計畫 成果報告

人形機器人立體視覺引導雙手臂動作技術和系統 研究成果報告(精簡版)

計 畫 類 別 ： 個別型

計 畫 編 號 ： NSC 97-2221-E-011-063-

執 行 期 間 ： 97 年 08 月 01 日至 98 年 07 月 31 日 執 行 單 位 ： 國立臺灣科技大學機械工程系

計 畫 主 持 人 ： 林其禹

計畫參與人員： 博士班研究生-兼任助理人員：彭小佳 博士班研究生-兼任助理人員：莊力文 博士班研究生-兼任助理人員：邱逸斌 博士班研究生-兼任助理人員：莫氏釵

報 告 附 件 ： 出席國際會議研究心得報告及發表論文

處 理 方 式 ： 本計畫可公開查詢

中 華 民 國 98 年 10 月 29 日

行政院國家科學委員會專題研究計畫成果報告

人形機器人立體視覺引導雙手臂動作技術和系統

Stereo Vision Guided Arms Operation Techniques and System for Humanoid Robot

計畫編號：NSC 97-2221-E-011-063

執行期限：97 年 08 月01 日至 98 年 07 月31 日 主持人：林其禹 國立台灣科技大學機械工程系

摘要

本研究計畫目的在研發可以用在大型人形機器 人上實現以頭部立體視覺快速即時引導雙手臂進行 多種動作的技術和系統平台。這套技術和系統平台將 結合快速立體視覺分析技術，任務參數化之機器人雙 臂軌跡規劃，和視覺控制技術，讓台灣科技大學先進 智慧型機器人實驗室內已經製作完成之大型仿真人 臉雙足人形機械人使用臉部之雙眼視覺，可以像人類 一樣地以該視覺訊號即時地指導手臂進行多種操作 動作。本研究將建立人形機器人基本但最重要「眼手 協調」能力，使人形機器人得以使用雙手做事，發揮 服務功能。配合台科大機器人劇場的發展，這項技術 將來可以使人形機器人在舞台上表演許多節目，具有 實際產業價值。本研究之特色之ㄧ為機器人將執行的 工作為參數化任務，也就是說本計劃發展的眼手協調 技術可輕易延伸到其他相似類型和難度工作，而不僅 限制在某些特定示範工作。換一個物件、換一個位 置，機器人都同樣可以辦到。

關鍵字： 影像伺服、物體追蹤 1. 前言

人類有高度的動態視覺回授的運動，例如棒 球、籃球、網球和足球等，都需要反應快速的視覺回 饋，使人的手或腳快速的移動到想要的地方。Weiss、

Sanderson 和Neuman[1]及Hashimoto[2]意識到對於 擷取動態變化環境中的物體必須利用視覺回授技術 才可以捕捉到物體的訊息。在利用視覺回授的技術來 控制物體的抓取已經有許多的研究。Allen、Yoshimi 和Timucenko[3]發展一套可以訓練機器人學習抓取 玩具的影像回授控制系統。Hong 和Slotine[4]利用 立體視覺回授去控制機器手臂捕捉一顆在空中飛的 球。Jägersand、Fuentles 和Nelson[5]利用影像伺 服配合模型去預估機器手的抓取位置。Namiki 等人 [6]發展一套快速視覺回授系統，使機器手可以在1ms

內抓取到物體。另外Namiki、Hashimoto和Ishikawa[7]

模仿人類從大腦到肌肉的神經信號傳遞的方式，建構 一套五層的控制架構，控制機器手臂抓取及移動物 體，實現靈活快速反應的動作。

2. 子題一：視覺引導機器手臂追蹤移動物件技 術

2.1 機器人學系統基本理論

追蹤與夾取應用在機器手臂系統主要架構流程 如圖一所示，主要步驟為在影像判斷球的位置後，而 影像處理過程移動物體早已不在影像拍攝當時的位 置，再藉由卡爾曼濾波器預測影像處理完後因當所在 的位置，而賈氏矩陣計算將目標物的位置資訊轉換為 機械手臂的關節軸角度。整體系統架設如圖一。

圖一 系統架構流程圖

2.2 機械手臂之運動學分析

機械手通常是由多根連桿所組成的機構，每根 連桿均以滑動或旋轉的模式產生運動行為，一般任務 目標的描述多以卡氏直角座標系統作為之，然而實際 上機械手運動是由樞軸驅使，故控制力矩是產生於樞 軸處。對於處理機械手之樞軸空間系統與目標任務之 卡氏直角座標系統的轉換關係，在運動分析中包含了 順 向 與 逆 向 運 動 學 ， 順 向 運 動 學 ( Forward Kinematics )是已給予各軸轉角數據進而求出機械 手 手 端 之 位 置 及 方 向 ； 而 逆 向 運 動 學 ( Inverse Kinematics )則是由機械手手端之位置及方向反求 各軸轉角，其關係如圖二所示。

圖二 機械手臂順逆向運動關係

2.3 影像處理

立體視覺（stereo vision）是電腦視覺的主要 技 術 支 一 。 空 間 中 的 3D 立 體 物 體 以 CCD

（Charge-Coupled Devices）攝影機擷取成 2D平面 影像，可以藉由影像處理方法，成為可用的影像資 訊，進而可以做為特徵萃取（feature extraction）、

辨識（recognition）…等應用。

雖然影像前處理的技術與方法已趨成熟，電腦 視覺系統若想要自單張平面影像計算出立體物體的 深度資訊仍有困難，人類視覺系統卻可以輕易的感知 3D 空間物體與環境的關係，其基本差異在於：人類 視覺系統是雙目並用的（binocular），因此建構電 腦立體視覺系統的最基本方法之一，乃模擬人類的視 覺採用二部或多部 CCD 攝影機同步擷取影像，擷取 的成對立體影像（stereo image pair）為同一物體 在不同視角的投影。

2.3.1 影像校正

即使是同時間製造的相機，也會有因為在生產 鏡 頭 時 的 些 微 製 造 誤 差 而 產 生 不 同 的 扭 曲 (distortion)，因此需要藉由影像校正來獲得更準確 的資訊。

使用的影像校正軟體為Bouguet[8]所提供，如 圖三所示，輸入多張格點照片來校正相機，可將相機 輸出校正到無扭曲(undistorted)影像。

圖三 輸入多張格點照片來校正相機 2.3.2 影像深度

立體視覺在於如何從一組成對影像中找出立體 物 體 的 特 徵 ， 即 找 出 對 應 點 （ corresponding points），物體的對應點在成對影像中的位置差稱為 不相稱（disparity），如果攝影機的內部參數均為 已知，則可藉由此不相稱計算出物體的深度。雖然如 此，攝影機的校正問題仍左右深度計算的精確與否，

因為微小的校正誤差可能導致相當大的深度誤差，若 立體物體與攝影機有一段距離時，其誤差更是明顯。

因此，許多研究致力於開發快速攝影機自我校正的演 算法，使系統得以更快計算出精確的物體深度。

圖4.4為立體幾何模型，w是一個三維空間中的 點，(x₁,y₁)和(x₂,y₂)分別是點w在二張影像上的投 影，透鏡焦距為f，底線（baseline）寬度為B，我們 定義二個成對影像點(x₁,y₁)和(x₂,y₂)的位移為該 點在二張影像上的視差d，_{d =x1−x2}，根據三角形 相似原理，公式（1）可以算出w的深度Z，

Z fB

= d ⁽¹⁾

B A

A

w Z X

Image 1

2

Plane of constant Z Origin of

world coordinate system

Image

(x , y )2

(x , y )1 1

2

圖四 立體幾何模型[9]

攝影機模型是假設影像平面在x軸與y軸方向的 比例是相當的，但是如果是用數位的CCD攝影機，它 的影像平面上x軸y軸方向的比例就可能不是相當 的，也就是說經由CCD攝影機所得到的影像的每一個 像素可能不是正方形，因此，CCD攝影機的內部校正 矩陣就會變成公式(2)

u 0 X

v = 0 Y

1 0 0 1 Z

x x

y y

f C

f C

⎡ ⎤ ⎡ ⎤ ⎡ ⎤

⎢ ⎥ ⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥ ⎢ ⎥

⎣ ⎦ ⎣ ⎦ ⎣ ⎦

(2)

其中 f_x與 f_y代表攝影機在x軸與y軸方向上單 位為像素的焦距，C_x與C_y代表攝影機影像中心位

置。而求世界座標X與Y的公式會變成如公式(3)、(4) 所示，利用公式(1)、(3)與(4)可計算出目標物相對 於攝影機的座標。

x x

f Z C

X =(x₁− ) ⁽³⁾

y y

f )Z -C Y −(y¹

= ⁽⁴⁾

2.3.3 Camshift演算法

本計畫所使用的追蹤物體演算法是 Camshift (Continuously Adaptive Mean-Shift)，這是一種基 於色彩的運動跟蹤算法。它主要通過擷取的圖像中運 動物體的顏色訊息來達到跟蹤的目的。把這個演算法 分解成三個部分說明。

2.3.3.1 目標物投影

RGB 彩色空間是由紅、綠、藍三個元素所組成，

使用RGB 彩色空間的影像是由三個獨立的平面影像 所組成，其中每一個原色對應一個平面，把三個影像 組合即為一幅彩色影像，將RGB 彩色空間轉換至HSI 彩色空間是許多顏色追蹤研究上常見的做法。HSI 彩 色空間則是由色調(Hue)、飽和度(Saturation) 、光 線強度(Intensity)所組成，色調與飽和度的關係可 由圖五(左)的HSI 三角形獲得。計 算 被 跟 蹤 目 標 的 色 彩 直 方 圖。在 各 種 色 彩 空 間 中，只 有 HSI 空 間 中 的 H 分 量 可 以 表 示 顏 色 信 息 。 在 具 體 的 計 算 過 程 中 ， 首 先 將 其 他 的 色 彩 空 間 的 值 轉 化 到 HSI 空 間 ， 然 後 利 用 其 中 的 H 分 量 做 直 方 圖 計 算 ， 如 圖 五 所 示 。

圖五 (左)Intensity與色彩三角形平面 (右)H分量直方圖

根據圖六(左)裡面選取想要追的目標物，把所 選取的區域轉換成HSI獲得的色彩直方圖，並且將原 始圖像轉換成色彩概率分布圖像如圖六(右)，這個處 理稱作目標物位置投影。

圖六 (左)目標物選取(右)色彩機率分布圖 2.3.3.2 MeanShift 演算法

首先討論在圖像中，如何計算某個區域的形心 的問題，形心可以通過以下公式來計算公式

1. 計算區域內目標物像素的總數

00 ( , )

x y

M =∑∑ I x y ⁽⁵⁾

2. 區域內目標物全部面積至x軸與y軸的距離

10 ( , ) , 01 ( , )

x y x y

M =∑∑xI x y M =∑∑yI x y ⁽⁶⁾ 3. 利用(4-5)與(4-6)可求得目標物中心為

10 01

00 00

c ; c

M M

x y

M M

= = (7)

完成計算後選擇搜尋視窗的大小和初始位置，

計算此時搜尋視窗內的目標物中心，調整搜尋視窗的 中心到目標物中心。重複上述步驟，直到搜尋視窗中 心聚集，即每次搜尋視窗移動的距離小於一定的值。

2.3.3.3 Meanshift改良成的Camshift演算法

了解Meanshift演算法以後，我們將Meanshift 演算法擴展到連續圖像序列，這樣就形成了Camshift 演算法。它的基本思想是攝影機所有截取到的影像作 Meanshift運算，並將上一張影像的結果作為下一個 搜尋視窗的開始搜尋範圍。

對於Meanshift 演算法的搜尋視窗的大小的初 始值，如此迭代下去，就可以實現對目標的跟蹤。整 個演算法的具體步驟以下列流程圖表示：

圖七 Camshift具體步驟流程圖 2.3.4 運動能量法

在靜止攝影機所拍攝之連續畫面中，比較背景 與所擷取影像兩張影像可發現，當有物體位置發生改 變時，此物體之前所在位置的背景部分會顯現出來，

而物體移動後所在的位置，其背景部分反而會被遮 住，如此將會使該兩部分之亮度值相差極明顯，因此 若是將此兩張影像之亮度值作相減運算後並取其絕 對值，再選取適當之門檻值，以消去因光源微小變動

或其他雜訊干擾所造成的影響，便可以區分出移動以 及未移動的區域，如(8)式所示:

1 ( , , ) ( , , 0) ( , ,t)

0

if I u v t I u v D u v

otherwise

ε

⎧= − ≥

⎪⎨

⎪⎩= (8)

其中，ε 分別代表減少因受到光源微小的變動所 設定之門檻值，D u v( , ,t)則為相減所得之二值化影 像，其中，u與v為影像中的座標，t為當前所擷取 的影像，而 t 為零表示在攝影機開始啟動時擷取影像 使其當作背景，如圖八(左)。

相減所得之影像中，當值為1代表兩張影像中相 對之位置的亮度相差頗大，便將其視之為物體移動所 造成亮度發生變化之區域，若其值為0則代表為背景 部分，如圖八(右)所代表背景相減法處理後的結果。

圖八 (左)背景影像(右)背景相減結果 而在Camshift是基於顏色的追蹤演算法，在目 標物的上方容易受到光源的影響，而導致目標物影像 上半部所獲得的顏色不完全，所以利用背景相減法求 得的結果，來修補球體上方的受光源影響的部分。而 把修補後的結果再次做Camshift處理可以得到目標 物更為正確的位置，如圖十為修補後之結果。

圖十 修補後的結果 2.3.4 卡爾曼濾波器

卡爾曼濾波主要是建立在線性代數與隱馬爾可 夫模型(Hidden Markov Model)之上。其基本系統可 以用馬爾可夫鏈表示，該馬爾可夫鏈是被建立在高斯 雜訊干擾的線性算子之上。系統的狀態可以利用一個 為實數的向量表示。隨著離散時間的增加，這個線性 算子就會作用在當前的狀態上，並且產生出新的狀 態，然而這個新狀態也會帶入一些雜訊，並且同時加 入某些已知的控制器之控制訊息。同時，另一個受雜 訊干擾的線性算子產生出這些隱藏狀態的可見輸出。

為了從一系列有雜訊的觀察數據中，使用卡爾 曼濾波器來預估出被觀察過程的內部狀態，所以我們 必須要把這個過程建立一個模型在卡爾曼濾波器的 框 架 下 。 也 就 是 說 對 於 每 一 步k ， 定 義 矩 陣

, , ,

k k k k

F H Q R ^{，有時也需要定義}B_k^。

卡 爾 曼 濾 波 模 型 假 設k時 刻 的 真 實 狀 態 是 從 (k−1)時刻的狀態計算而來，符合下式：

1

k k k k k k

x =F x ₋ +B u +w ⁽⁹⁾ 其中

Fk ^是作用在x_k−1^{上的狀態模型。}

Bk^{是作用在控制器向量}u_k^{上的輸入，其為控制} 模型。

wk是過程雜訊，並且假設其符合均值為零，協 方差矩陣為Q_k的多元的常態分佈。

~ (0, )

k k

w N Q (10)

對於時刻k，其真實狀態 x_k的一個測量z_k滿 足下式：

k k k k

z =H x +v (11) 其中_Hk是觀測模型，它把真實狀態空間反應成 觀測空間，v_k是觀測雜訊，其均值為零，協方差為

R ，並且符合常態分佈。 k

~ (0, )

k k

v N R (12)

初 始 狀 態 以 及 每 一 時 刻 的 雜 訊

{x0 , w1 , ... , ... w_k v1 v_k}都是認為互相獨立的。.

實際上，真實世界裡很多動態系統都並不確切 的符合這個模型，但因為卡爾曼濾波器是被設計在有 雜訊的狀況之下，所以一個近似且符合已經讓這個濾 波器非常有用了。

卡爾曼濾波是一種遞回歸的預估，即只要獲知 上一時刻狀態的預估值以及當前狀態的觀測值就可 以計算出當前狀態的預估值，因此不需要記錄觀測或 者過去的預估資訊。卡爾曼濾波器與大多數濾波器不 同之處，是在於它是一種純粹的時域濾波器，並不像 低通濾波器等頻域濾波器那樣，需要在頻域設計再轉 換到時域實現。

卡爾曼濾波器的狀態由以下兩個變數表示：

ˆ_{k k}

x ，在時刻k 的狀態的估計

kk

P ，誤差相關矩陣，計算估計值的精確程度。

卡爾曼濾波器的公式包括兩個階段：預測與更 新。在預測階段，卡爾曼濾波器利用上一個狀態的預 估，做出當前狀態的預估。在更新階段，卡爾曼濾波 器利用當前狀態的觀測值優化預測現階段獲得的預 測值，以便獲得一個更精確的新預估值。

預測

1 1 1 1

ˆ_{k k k}ˆ_{k k k k}

x ₋ =F x_{− −} +B u₋ (預測狀態) (13)

1 1 1

T

k k k k k

k k

P ₋ =F P_{− −}F +Q (預測估計協方差) (14) 更新

y%_k =z_k−H x_kˆ_{k k−1}(測量餘量) (15)

1 T

k k kk k k

S =H P ₋H −R (測量餘量協方差) (16)

1 1

T

k kk k k

K =P ₋H S⁻ (卡爾曼增益) (17) ˆ_{k k} ˆ_{k k} 1 _{k k}

x =x ₋ +K y% (更新狀態估計) (18) ( _{k k}) 1

k k k k

P = −I K H P ₋(更新協方差估計) (19) 本計畫所實驗的目標物是等速度運動，在卡爾 曼濾波器設定狀態包含位置與速度，最後在加上受外 界干擾影響用過程雜訊表示，並且無控制器向量u_k

上的輸入。其狀態表示為：

1 1

1 / 2

0 1

k k

k

k k

x T x T

v v T w

+ +

⎡ ⎤=⎡ Δ ⎤⎡ ⎤+⎡ ⎤

⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥

⎣ ⎦ ⎣ ⎦

⎣ ⎦ ⎣ ⎦ (20)

xk表示目標物在時間點k時的位置

vk表示目標物在時間點k時的速度 Δ 表示前後兩次測量的時間間隔 T

wk表示受到環境自然隨機產生出的變加速度 干擾，表示為過程雜訊

而H 是觀測模型，因所影像所計算的為位置，_k

所以H_k可簡化表示為：

1 0 Hk ⎡ ⎤

⎢ ⎥⎣ ⎦ ⁽²¹⁾ 並且Q_k^與R_k設定為經由軟體假設實驗求得，再 將其套入到真實實驗中驗證。

2.4 追蹤控制的系統架構 2.4.1 系統架構

藉由影像處理進行目標物對於機械手臂相對位 置的量測計算誤差，其中利用誤差值帶入賈氏矩陣，

可以得到機械手臂各軸需旋轉的角度，並且把所得到 新的角度帶入控制器，令馬達轉到所計算求出的值，

可以消減機器手臂與目標物的誤差。理論上，圖十一 的系統架構是合理的，實作上，由於手臂移動到位需 要的時間比影像處理時間還長，而機械手臂必須要等 上一次的命令完成後才會接收下一次的命令，因此必 須要等到手臂移動完成後才在做影像處理。以理想的 影像擷取速度30fps 來算，約每0.0333 秒擷取一張 影像，加上影像處理程序及擷取影像的解析度的不 同，完成一個迴路的運算時間需要0.1 秒，但是機械 手臂在接到命令，然後移動命令所在的位置可能0.2 秒到0.3秒不等，這樣的架構顯得遲鈍許多，使得機 械手臂的運動較不流暢。

圖十一 系統架構示意圖

θ θ

θ^˙

E O ref

W

E

WO E

WE 1

J

圖十二 完整流程圖

為 了 改 善 機械手臂運 動 不 夠 平 順 ， 我 們 採 用 如 圖 一 所 示 的 追 蹤 控 制 系 統 架 構 。 與 圖 十 二 的 系 統 架 構 比 較 ， 最 主 要 的 差 別 在 於 誤 差 值 的 計 算 ， 除 了 由 影 像 處 理 計 算 而 得 之 外 ， 同 時 必 須 要 計 算 手 臂 運 動 的 時 間 ， 進 而 估 算 得 目 標 物 現 在 的 位 置 ， 進 行 修 正 。 雖 然 對 於 目 標 物 位 置 的 感 測 ， 由 於 機 械 手 臂 移 動 到 位 所 需 的 時 間 過 長 導 致 略 為 遲 鈍 ， 但 仍 能 夠 藉 由 影 像 所 得 的 資 訊 來 進 行 的 估 算 與 回 授 ， 使 得 手 臂 在 運 動 時 更 為 平 順 。 另 外 ， 圖 一 的 架 構 中 ， 系 統 共 有 二 個 取 樣 時 間 ， 一 個 是 影 像 處 理 估 算 目 標 物 位 置 的 取 樣 時 間 T1， 一 個 是 機 械 手 臂 運 動 回 授 控 制 的 取 樣 時 間 T2。 就 本 系 統 而 言 ， 由 於 手 臂 移 動 比 較 費 時 ， 在 等 待 影 像 處 理 取 得 最 新 的 目 標 物 位 置 時 ， 機 械 手 臂 並 不 會 停 止 運 動 ， 而 是 朝 著 前 一 個 取 樣 時 間 所 計 算 得 目 標 物 位 置 的 微 變 量 繼 續 移 動 ， 直 到 得 到 最 新 的 目 標 物 位 置 後 ， 機 械 手 臂 再 朝 向 最 新 的 目 標 物 位 置 移 動 ， 因 此 機 械 手 臂 的 運 動 可 以 變 得 平 順 。

2.5 實驗 2.5.1 設備介紹

實驗所使用的視訊系統為羅技快看高手版，在 動態真實影像為130萬像素解析度，靜態有500萬像素 解析度，如圖6.1所示。

圖十三 羅技CCD 與立體視覺系統

圖十四 實驗架設

本實驗所使用機械手臂為DENSO公司所生產之 VS-6556G工業用六軸機械手臂，如圖十五。

圖十五 DENSO VS-6556G機械手臂 2.5.2 實驗結果

圖十六為實驗抓取球的結果，在程式判定機器 手臂不在球上方之時，將持續的追蹤並且接近，如果 程式判定機器手臂接近在球的上方並且誤差值小於 設定值時，再經由賈氏矩陣計算下去夾球的六軸角度 為何，經由所算得的結果控制機械手臂下去夾球再將 球放置旁邊，可供給下次實驗持續放球，此截取樣時 間為每秒2張圖，而圖的排列依序為由左至右、由上 往下。圖十七為機械手臂追蹤球並抓取到旁邊的追蹤 軌跡。

圖十六 抓取球的動作

圖十七 手臂抓球追蹤軌跡

2.6 結論

此機器手臂追蹤系統的目標是建立一個利用立 體視覺得之目標物位置，但在影像處理完所獲得的目 標物位置並不是目標物真實的位置，所以利用卡爾曼 濾波器的特性來修正其誤差，使得計算完的位置更能 接近真實目標物的所在位置。控制手臂與影像部分是 分別處理，並且利用多執行緒來將其個別處理，避免 機器手臂必須要等待影像處理完成才開始動作，藉此 方法手臂運動順暢度更為流暢，但此方法必須注意影 像與手臂控制當中的資訊溝通。

本計畫的系統是建立在二維的座標系統上，所 以二度空間座標上可以用極座標來表示目標物的座 標，對於極座標其半徑為常數，所以目標物移動可以 用角度來表示之，如果未來在抓球的方面想推廣到三 度空間上，必須要把卡爾曼濾波器的方法改為擴展型 卡爾曼濾波器，其中，利用泰勒展開式可以將非線性 的移動轉換成線性，並且再帶入卡爾曼濾波器可預測 三度空間。而且在Camshift 追 蹤 目 標 物 雖 然 能 有 良 好 的 表 現 ， 但 是 在 影 像 裡 面 如 有 相 同 顏 色 的 物 體 會 產 生 誤 判 ， 並 且 在 追 蹤 物 體 消 失 或 者 是 追 蹤 失 敗 ， 必 須 要 再 利 用 別 種 方 法 來 尋 找 目 標 物 ， 未 來 可 以 在 影 像 上 利 用 別 種 演 算 法 來 加 強 追 蹤 的 強 建 度 。 而 影 像 受 到 光 源 影 響 ， 導 致 左 右 影 像 所 計 算 的 球 中 心 與 實 際 上 有 所 偏 差 ， 使 得 在 立 體 視 覺 上 的 計 算 會 有 所 誤 差 ， 可 用 別 方 法 來 加 強 影 像 辨 識 的 準 確 度 ， 改 善 因 辨 識 所 產 生 的 誤 差 ， 或 者 利 用 影 像追蹤(Image-based tracking)來改善其誤差。

3.子題二：3D物件資料庫建立 3.1 子題目標

我們使用David G. Lowe[11]從影像擷取物件 SIFT特徵的方法如下圖十八，並以此特徵來作比對。

任何一個3D物件在空間擺放的角度位置不同，就會有 不同的2D影像，為了使機器人的視覺能夠對任意擺放 物件作辨識，必須擷取物件的各個角度的特徵，並建 立成一資料庫。

Cameras

圖十八 SIFT feature

由於使用一個完整的2D物件資料庫作比對相當 耗時，因此為了減少計算量，提高物件比對計算效 率，必須擷取資料庫當中重要的特徵，消去多餘的特 徵已達成此目的(Feature clustering)，如下圖十 九。Lowe[10]運用視角轉換，計算測試影像其中的轉 換關係，來決定是否加入影像資料庫，並且運用鄰近 視角的特徵補足物件邊緣的部分。

圖十九 保留大量資料庫中重要特徵資訊

3.2 三年計畫發展技術項目

人型機器人將透過對立體物件的學習之後，得 以在立體視覺的引導指揮下，使用雙機器手臂進行多 種物件操作動作，建立機器人服務和工作的基本能 力。此套研發技術將使用在機器人劇場內之人形機器 人身上，使其可以表演多項手臂技術功能。

3.3 已完成技術之應用

本計畫為了保留重要的SIFT特徵，縮減資料庫 大小並且加速比對效率，使用PCA-SIFT特徵[12]，利 用principle component analysis方法將128維度的 SIFT特徵縮減為32維度。

對一繞固定軸旋轉之物件，每隔10度拍攝一張 影像，擷取所有特徵，將其所有的PCA-SIFT特徵使用 k-means作分群，總共分為八群。

我們為了找出同一組的特徵在物件角度轉換的 關係，在同一組與鄰近角度作特徵比對，保留與鄰近 視角比對到的特徵。圖二十中藍色為特徵原始大小，

淺綠為縮減之後的大小，曲線為同一組特徵與鄰近視 角比對數目。全部八組的特徵數目由3431縮減為 1924。

圖二十 同組特徵與鄰近視角比對關係

3.4 未來發展

機械手臂目前對物體的追蹤是基於色彩，之後 將結合此3D物件辨識於立體視覺上，讓人型機器人對 學習過的3D物件能做追蹤。

4. 致謝

本研究部份承國科會專題研究計畫補助，特此 致謝（NSC 97-2221-E-011-063）。

5. 參考文獻

1. Weiss, L., Sanderson, A., and Neuman, C.,

“Dynamic sensor-based control of robots with visual feedback. IEEE Journal of Robotics and Automation,” pp. 404–417, 1987.

2. Hashimoto, K., “Visual Servoing—Real-Time Control of Robot Manipulators Based on Visual Sensory Feedback,” World Scientific, Singapore, 1993.

3. Allen, P., Yoshimi, B., and Timucenko, A.,

“Real-time visual servoing,” In Proceedings of the IEEE International Conference on Robotics and Automation, pp. 2376–2384, 1991.

4. Hong,W., and Slotine, J., “Experiments in hand–eye coordination using active vision,” Proceedings of the 4th International Symposium on Experimental Robotics (ISER’95), 1995.

5. Jägersand, M., Fuentles, O., and Nelson, R.,

“Acquiring visual-motor models for precision manipulation with robot hands,” In Proceedings of the 4th European Conference on Computer Vision, pp. 603–612, 1996.

6. Namiki, A., Nakabo,Y., Ishii, I., and Ishikawa, M.,

“High speed grasping using visual and force feedback,” In Proceedings of the IEEE International Conference on Robotics and Automation, 1999.

7. Namiki, A., Hashimoto, K., Ishikawa, M., “A Hierarchical Control Architecture for High-Speed Visual Servoing,” The International Journal of Robotics Research, Vol. 22, No.10-11, pp. 873-888, 2003.

8. Camera Calibration Toolbox Web Site at http://www.vision.caltech.edu/bouguetj/index.html

9. R.C. Gonzalez and R.E. “Woods, Digital Image Processing,” Addison Wesley, 1993.

10. David G. Lowe, “Local feature view clustering for 3D object recognition”. Proceedings IEEE Conference Computer Vision and Pattern Recognition, vol. 1, 2001, pp. 682-688.

11. David G. Lowe, “Distinctive Image Features from Sacle-Invariant Keypoints,” International Journal of

Computer Vision, 2004, vol. 60, no. 2, pp. 91-110..

12. Y. Ke and R. Sukthankar, PCA-SIFT: A More Distinctive Representation for Local Image Descriptors. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages.

511-517, 2004.

人形機器人立體視覺引導雙手臂動作技術和系統

Stereo Vision Guided Arms Operation Techniques and System for Humanoid Robot

計畫編號：NSC 97-2221-E-011-063

執行期限：97 年 08 月01 日至 100 年 07 月31 日 主持人：林其禹 國立台灣科技大學機械工程系

出國參訪報告(一)

(ROBIO 2008)

2008 IEEE International Conference on Robotics and Biomimetics

February 21-26, Bangkok, Thailand

IEEE 2008 ROBIO研討會本來應該在2008年12月舉行，但是碰到泰國曼谷政治風暴，機場被抗 議分子占據而被迫延期到2009年2月舉行。

2008 ROBIO是個主題在機器人和仿生機械領域的大型國際研討會，大約有超過450名國際學者 專家參加，亞洲人士居多。2008 ROBIO研討會包含下列主題:

• Robotics

• Mechatronics

• Vision

• Signal Processing

• Sensing and Measurement

• Emerging Technologies

• Biomimetics

• Control

• Automation

• Power Electronics

• Computational Intelligence

整個研討會分六個平行session進行。也同時邀請了下列三個Plenary talks:

Plenary Talk 1   

Professor Katsuhisa Furuta

President, Tokyo Denki University, Japan

Human Adaptive Mechtronics and Analysis of Human Emotional Level 

Plenary Talk 2

Dr. Sonke Kock

ABB Corporate Research, Sweden

Industrial Robotics ‐ Trends and Opportunities in a Changing World 

Plenary Talk 3

Professor Joel W. Burdick

California Institute of Technology, USA

Robotic Technology for Damaged Nervous System     

我參加會議的 Presentation 安排在周二的 session ROBOT Vision III session 上簡報。

本人也兼任該 session 的 chairman。簡報題目是Object Orientation Recognition Based on SIFT and SVM by Using Stereo Camera System，係由本人和碩士班研究生 Setiawan Edwin 共同撰寫。參加本會議收穫很多。

出國參訪報告(二)

英國倫敦Shadow Robot

Company和Plymouth大學

May 21-31, London/Plymouth, UK

5月21日至5月31日期間出訪英國，參訪的對象包含倫敦市內的Shadow公司和Plymouth市的 Plymouth University。

位於倫敦的Shadow Robot公司為一家世界頂尖的機器手臂設計公司，他們已製作出具備26個 自由度高靈敏度機器手(如下左圖)，其複雜度和靈活度居世界領先地位。本人為發展未來全自主 機器人和機器手臂，特地前往洽商共同合作事宜。5月22日即前往洽談，跟公司主管相談甚歡(如 下右圖)。因該公司技術主管當日不在，又另約5月30日再來拜會。5月30日當天第二次拜會時，

該公司所有主管皆慎重地一起洽談合作事宜，他們特地展出最新的馬達驅動機器手臂(如下下左 圖)。會中達成協議，未來進行長期合作。

參訪Plymouth大學Angelo Cangelosi教授和該校的機器人研究團隊的目的是企圖建立歐盟 FP-7大型研究案的加盟關係。Angelo Cangelosi教授的專長是Cognition，為先進國家極為重 視的一支機器人學習技術，該技術被視為機器人終極成為具備接近人類般智慧型為能力的重要關 鍵。該實驗室使用icub機器人進行學習實驗(下左)。5月27日在該校進行一場專題演講(下右)，並 參觀多間實驗室，也學習到不少新知。5月28日則進行技術合作的討論，最後達成加盟該歐盟團 隊的協議和工作方案。下下左圖為達成研究合作後一起和Angelo Cangelosi教授外出慶祝的畫 面。後來本人於正式成為一項9月15日開始執行的歐盟FP-7 PEOPLE計畫案的成員。本案也是台 灣第一次加入歐盟FP-7 PEOPLE 計畫案的案例。