章節說明

本論文一共分成六章，第一章介紹研究動機與目的，並且概略介紹所設計之 系統架構。第二章說明 SURF 特徵點擷取演算法及剔除錯誤比對的方法。第三章 則是介紹目標物的姿態估測及座標量測的校正。第四章介紹本論文所用之機器人 的影像伺服設計以及各部位控制設計的介紹。第五章為實驗結果，驗證整體設計 上的可行性。第六章為結論與未來展望。

第 第 第

第二 二 二章 二 章 章目標物辨識 章 目標物辨識 目標物辨識 目標物辨識

在本論文中所提出的影像伺服方法之中，最重要的一個環節，就是估測出目 標物的三維座標。估測目標物的三維座標時，資訊來源就是目標物在左右攝影機 影像中成對的特徵點，雖然我們可以直接將取到的左右攝影機影像直接做對應點 的計算(correspondence)但是這樣得到的是整個影像平面上的對應點，在複雜背景 的狀況下，整個影像平面都會是對應點，而單純背景但是存在數個物體時，如圖 2.1 所示，則會在不同物體上出現多組對應點，如何從複雜背景的情況下針對單 一目標物找出我們所需的對應點，就是一個需要解決的問題。

為了解決這個問題，也就是如何找出目標物在左影像平面跟右影像平面之中 的位置，我們將特徵比對設計成一開始將資料庫影像分別跟左右攝影機取到的影 像做特徵比對，這樣就能得到兩組比對成功的特徵點，之後再將這兩組特徵點去 做交叉比對，就可以得到目標物在左右攝影機影像平面上成對的特徵點。

另一方面，在本論文的控制器輸入需要一個在目標物上穩定的參考點，我們 希望這個參考點能在目標物的中心位置，以利於在整個影像伺服控制的過程中，

給予機器人一個準確的控制命令，使其能夠正確的移動到目標物前方，並穩定的 抓取目標物，而不會因為控制命令的不正確，而使機器人無法移動到適當的抓取 位置，導致抓取任務失敗。

雖然說我們可以將上述方法中所得到的成對特徵點取平均，當作控制用的參

考點，但是我們不能保證，這個平均值是位於目標物的中心，因為目標物的特徵 方法，2.2 節說明如何得到平面轉換矩陣(Homography matrix)，至於如何求得這 組中心點的三維座標作為控制所需的參考點將在第三章會有詳細的說明。

加速強健特徵點演算法(Speed Up Robust Feature, SURF)[2]為 Bay et al.所提 出的一種新的尺度不變且抗旋轉的特徵點偵測及描述法。這個方法的設計概念在 於發展出一套重複性、獨特性以及強健性優於現存方案的特徵點擷取演算法，且 能夠有更快的運算速度。在計算過程中，首先採用 Integral image，定義為

0 0

圖 2.2 計算 D 區域像素總和

接著根據定理 D=4-2-3+1，即可快速算出 D 區域像素總和。本章節將描述如何透 過 SURF 所得到的特徵點資訊來描述目標物體，使機器人能夠從影像中辨識出物 體存在的位置。

以下為 SURF 在運算過程中主要的步驟:

2.1.1.1 Fast-Hessian Detector

SURF 尋找特徵點的方式是基於 Hession 矩陣的行列式，找出二次微分的極 大跟極小值。在 SURF 演算法裡將 Hessian matrix 當作偵測器(Detector)，因為它 在計算時間及精確度上具有很好的表現。給定一個在影像平面上的點

圖 2.3 從左到右分別是在 y 及 xy 方向高斯二階偏微分，以及其中利用 box 濾波 器的近似。而這些灰色的區域近似於零[2]。

det(H_approx)=D D_{xx yy}−(0.9D_xy)2 (2-2)

此外，應該要將濾波器的遮罩大小正規化。因此可以保證對任何的濾波器大 小都能有一個常數的 Frobenius norm。經過測試 9x9 的遮罩效果符合在σ =1.2時 的高斯微分，而27x27則符合於σ =3.6時。

2.1.1.2 找 找 找 找出 出 出 出區域極值 區域極值 區域極值 區域極值

算出近似值之後的步驟就是要找出區域極值，參考圖 2.4，檢查中間X位置點周 圍8點與相鄰取樣尺度空間的18個點，也就是綠色點的位置，如果X點是這些 點中的極值，則將X選為關鍵點。

2.1.1.3 計算特徵點主要方向 計算特徵點主要方向 計算特徵點主要方向 計算特徵點主要方向

由於特徵點對四周的描述向量會跟方向有關，所以首先要找到主要的方向，

才能抗旋轉。為了能夠抗旋轉，將所有找到的特徵點確認一個重複性地朝向。要 達成這個目的，首先計算在x跟y方向的哈爾小波響應(Haar-wavelet responses)， 接著將這些特徵點以6倍的 s 畫圓，如圖 2.5所示。 s 為這些特徵點被偵測到的 尺度。

2.1.1.4 計算出 計算出 計算出 計算出 64 個特徵向量 個特徵向量 個特徵向量 個特徵向量

這些圓經過哈爾小波響應可以得到一個方向，接著再利用這個方向切出20 倍σ ^{為邊長的正方形，如圖} 2.6。將每個正方形再切割成4x4個小方塊，為了簡 化，我們將d_x稱為水平方向的哈爾小波響應，d_y稱為垂直方向的哈爾小波響應。

圖 2.4 區域極值計算[1]

每個子區域具有一個四維的描述向量 v 當作它基本強度的結構。將結果的水平、

垂直變化量分別做累加與絕對後再累加，v=(

∑ ∑ ∑

d_x, d_y, d_x,

∑

d_y)^，如圖 2.7，便可得到在所有4x4的子區域中維度是64的特徵向量。另一方面，切成3x3

方塊(SURF-36)的較短描述效果就稍差，不過他允許快速的比對，跟其他描述子

比較之下在文獻中依然有相當的被接受度。

圖 2.5這種場景清楚的顯示出從Hessian-based 偵測器所得到特徵的性質[2]

圖 2.6 一個塗鴉場景的細節顯示出在不同尺度下描述器視窗的大小[2]

圖 2.7 哈爾小波響應轉換結果統計圖[2]

2.1.2. 影像特徵點比對 影像特徵點比對 影像特徵點比對 影像特徵點比對

當計算出影像平面中每一個特徵點的特徵描述向量後，便可以透過與資料庫 中所儲存的特徵點資訊進行比對，藉此得以判斷當前影像中是否存在機器人所需 抓取的目標物。

本論文利用最近鄰居演算法（Nearest neighborhood algorithm），如 (2-3)式，

其中Des i_c( )代表當前影像中該特徵描述向量的第 i 個元素，Des i_d( )代表資料庫 影像中該特徵描述向量的第 i 個元素。藉由比較當前影像中所有特徵點描述向量 與資料庫中現存的特徵點描述向量，尋找其兩點距離最短的，則其本身則可能為 相同的特徵點。

128 12 點的品質，追求更加穩定跟準確的結果，本論文採用 RANSAC 跟 homography[19]

來做特徵點的二次篩選加強最後辨識的結果。

2.2.1. Homography

Homography 的功用在於找到兩個影像平面中，點跟點之間的對應關係。在 影像平面上，一組對應的特徵點之間，存在著一種線性變換的關係，而對應矩陣

(Homography)定義為其中一個影像平面上的點P_a轉換到另一個影像平面上的點

Pb之間的線性轉換。Homography 是由一 3*3 的非奇異矩陣(Non-singular)矩陣所 決定， 因為具有縮放因子ω'的關係，能夠反映出目標物在影像平面上，跟資料

11 12 13

' / ' 1

b

b b b

x

p p ω y

 

= =  

  

(2-8)

因為 homography 具有對應旋轉及尺度變化的特性，所以即使目標物在不同 距離或是不同角度，我們都可以準確的框出目標物在目前影像平面上的位置。如 圖 2.8 所示，左邊是資料庫影像，首先藉由所擷取到的特徵點，求得資料庫影像 跟目前影像平面之間的轉換矩陣，接著透過轉換矩陣H，我們可以得到目標物 在目前影像平面(image plane)中的位置。

2.2.2. RANSAC

從 2.2.1 節中得知，要算出平面轉換矩陣，需要四個對應點，雖然從前面的 特徵點擷取及最近鄰居演算法（Nearest neighborhood algorithm）運算過後，可以 得到一群對應點，但是要算出更精確的轉換矩陣，就需要更準確的特徵對應點，

所在這邊我們採用 RANSAC(Random sample consensus)[21]此種隨機取樣方式。

RANSAC 演算法，其主要精神在於從一群分布不均勻或是參雜雜訊的資料中，

隨機挑選數個樣本，算出參考的模型，之後再把其他資料逐次拿進來運算，留住 符合模型的大多數，排除少數不符合者，以符合大眾資料的模型為最後結果。舉 例來說[22]，如圖 2.9 所示，運用此演算法能夠從一群分布不均勻的點集合之中 找出一條直線，符合大多數的點，而少數不符合的點則被剔除在外。

RANSAC 演算法，為一個條件中止式的隨機演算法，當算出來的結果合乎 我們所設定的閥值時，表示此結果已經合乎大部分的特徵對應關係了。

其演算步驟簡述如下:

1. 隨機挑選 4 對以上在第一階段比對成功的對應點，求出目前影像跟資料 庫影像之間的平面轉換矩陣 H。

2. 將所有對應點使用步驟 1 求得的平面轉換矩陣進行位置轉換，將資料庫 影像的對應點代入轉換矩陣得到另一組配對點，之後計算這些經過轉換 的配對點座標與原本目前影像中的配對點座標之間的距離。

3. 統計步驟 2 中所有配對點間的距離，其配對點的距離若小於某個自訂的 臨界距離D_τ，則表示此組配對點符合這個平面轉換矩陣，然後統計這 個平面轉換矩陣的正確配對數量。

重複上述步驟 N 次之後，若某次的正確配對點數量最多，且大於某個自訂 的臨界數量S_τ時，則採用此次的平面轉換矩陣，再將這些配對點拿去求得最終 的平面轉換矩陣。

在本論文中，參雜雜訊的資料樣本就是第一次特徵比對的結果，如圖 2.10 所示，可以看出當中存在在錯誤比對的特徵點，而模型就是轉換矩陣(homography matrix)，將 RANSAC 作為計算轉換矩陣的演算法，如此一來就可以得到對應正 確比例最高的一群特徵點，用 homography 來框出在目前影像平面上的目標物 時，位置也能更加準確，如圖 2.11，剔除錯誤比對特徵點之後，再將剩餘比對 成功的特徵點拿來算轉換矩陣，就可以準確的框出目標物的位置，在分別對左右 攝影機影像目標物的四個角點取平均後，就能得到中心點，在平面轉換矩陣計算 的相當準確的情形下，目標物的範圍可以清楚的被框出來，所以用這個範圍的平 均位置來當作參考點是比較穩定的結果。將這對中心點代入三維座標估測公式，

如此一來就能夠得到穩定的控制參考點，將會對整個移動式抓取的控制上有很大 的助益。

圖 2.9 左圖為一群分布不均勻的點集合，需要從這裡面決定出一條直線。右圖 為經過 RANSAC 計算後，得到符合條件的直線，不符合的點則被剔除在外。[22]

圖 2.9 左圖為一群分布不均勻的點集合，需要從這裡面決定出一條直線。右圖 為經過 RANSAC 計算後，得到符合條件的直線，不符合的點則被剔除在外。[22]

在文檔中 基於立體視覺之移動式機械臂影像伺服設計 (頁 18-0)