應用運動回復結構技術建立機器手臂夾取點與三維物體模型

全文

(1)國立臺灣師範大學機電科技學系碩士論文指導教授：陳美勇博士. 應用運動回復結構技術建立機器手臂夾取點與三維物體模型 Robot grasping System with Structure from motion and Shape Reconstruction by 3D Object Model. 研究生：陳希哲撰中. 華. 民. 國. 1. 0. 2. 年. 7. 月.

(2) 摘要本研究主要目標是利用多張二維影像重建三維物件模型後，判斷物體的型態描述，並決定適當夾取點的位置。一般得到立體影像研究所使用的方法大多為非接觸式系統中的雙眼視覺法，此法模擬人類雙眼,藉由視差推算物體和攝影機之間的深度資訊用於靜態物件追蹤上，不過此方法限用於靜態物體上，如果攝影機放置在動態的機器手臂或者是移動中的汽車上。則前人的立體視覺法無法立即作三維重建模型。為了解決此方法,我們使用運動恢復結構，找出連續動態拍攝的影像中，每個影像的相機關係性，並且重建出三維模型，讓機器手臂可以判定適當的夾取點位置。利用單眼視覺系統搭配 Harris 轉角偵測方法進行影像中特徵的偵測，並依據影像訊息求算特徵在空間中三維座標，並實現單眼視覺系統在運動恢復結構(structure from motion)的三維模型建構。本研究之三維建模採用三個步驟，首先將影像中的特徵點萃取出來，接著計算出連續影像中各個物件和原始的影像差異性，並追蹤特徵點，最後利用矩陣分解法，解出物體隱含在虛擬三維座標空間的座標，並用點雲圖呈現出來。關鍵詞：立體視覺法，三維重建，夾取點分析. -I-.

(3) ABSTRACT. This research’s object is used multi-view image rebuild 3D model, and then we use the 3D model detect the stable grasp position. Normally in stereo machine vision research, use binocular vision method is more popular. This method is likely our eyes, use disparity to calculate depth signal between camera and object. But this method can only use on static image, if camera is putted on robot manipulator or moving car. The past method will fail to reconstruction 3D model. So in this research we will use structure from motion to find the relationship between origin cameras to another from sequence images. And we will reconstruction 3D model. We use mono-camera get the image, and use Harris corner detector to find the keypoints. This research have 3 parts process, first extract the feature from images, and calculate the sequence images, tracking keypoints, Final we use Factorization method to get the camera and object’s relationship from 3D coordination.. Keywords: 3D model building, shape description, structure from motion. - II -.

(4) 致謝在完成論文這段時間，要先感謝父母以及弟妹的支持。他們讓我可以在這段時間專心的把論文完成。感謝陳美勇老師當初讓我追求自己的夢想。願意讓從化學出家的我，可以碰觸自動控制，以及機器視覺這些與機器人息息相關的領域。以及在低潮時 push 我往前進，並且在平時心情不好、疲乏的時候給予我鼓勵的，蔡蔡、神良、GG 健、卡比，感謝他們。此外，感謝口試委員黃安橋教授、呂宗熙教授、陳永平教授，於百忙之中仍不吝撥冗對本論文給予指教與建議，使本論文得以更加嚴謹與周延。感謝博文、建勳、可瑋、建州、宗翰，在前一年的指教與陪伴。以及猴子、虎尾帥哥哲勝、東東、秉剛，期間互相勉勵與照顧，讓這個實驗室充滿和諧的氣氛，以及學弟志祥、玠國、GaGa、Leo、高遠，的陪伴，讓在讀研究所間充滿美好回憶，祝福大家在未來的人生道路上能有美好的發展。最後感謝從化學所轉過來時，熱心並且給我祝福的老師，主任以及系秘，讓我踏上與以前同學不一樣的路程，以及所有關心我的師長、同學、與諸位朋友們，願將這份喜悅與各位分享。. 陳希哲精密運動控制實驗室 -III-.

(5) 總. 目. 錄. 摘要 .................................................................................................................... Ⅰ ABSTRACT ....................................................................................................... Ⅱ 誌謝 .................................................................................................................. Ⅲ 總目錄 ................................................................................................................ IV 圖目錄 .................................................................................................................VII 表目錄 .................................................................................................................. IX 第一章. 緒論 ...................................................................................................... 1. 1.1. 前言 ..................................................................................................... 1. 1.2. 文獻回顧 ............................................................................................. 4. 1.3. 研究動機與目的 ................................................................................. 9. 1.4. 本論文之貢獻 ................................................................................... 10. 1.5. 論文架構 ........................................................................................... 11. 第二章. 理論基礎 .............................................................................................. 12. 2.1. 幾何圖元與轉換 .............................................................................. 12. 2.2. 鄰近點的處理 ................................................................................ 12. 2.3. 影像向量 ........................................................................................ 13. 2.4. 三維座標轉換 ................................................................................ 15. 2.5. 三維對二維座標的投影 .................................................................... 16. 2.6. 相機參數關係式 ................................................................................ 18. 2.7. 運動恢復結構 .................................................................................... 20. 第三章. 影像系統建立 ...................................................................................... 22. 3.1. 物體型態 .......................................................................................... 22. 3.2. 二維輪廓偵測與重心 ...................................................................... 24. 3.3. 輪廓編碼 .......................................................................................... 25. 3.4. 夾取點判定 ...................................................................................... 27. - IV -.

(6) 第四章. 物體回復結構之三維模型建立 .......................................................... 30. 4.1. 影像前處理 .................................................................................... 30. 4.2. 特徵點建立 ...................................................................................... 31. 4.3. 多組影像比對 .................................................................................... 33. 4.4. 矩陣分解 ............................................................................................ 35. 4.5. 三維模型建構 .................................................................................... 38. 第五章. 實驗結果與討論 ................................................................................ 39. 5.1. 實驗設備 ........................................................................................ 39. 5.2. 物體型態辨識系統操作流程 .......................................................... 42. 5.3. 平面物體二維夾取點分析 ................................................................ 42. 5.4. 三維模型之重建 ............................................................................... 47. 第六章. 結論與未來展望 ................................................................................ 53. 參考文獻 ............................................................................................................ 54. -V-.

(7) 圖. 目. 錄. 圖 1-1. 清除炸彈機器人系統............................................................................. 1. 圖 1-2. 夾爪間的空間距離................................................................................. 2. 圖 1-3. CT Image................................................................................................. 3. 圖 1-4. face Recognition ..................................................................................... 3. 圖 1-5. SLAMP ..................................................................................................... 4. 圖 1-6. 夾取物分析............................................................................................... 5. 圖 1-7. 多型態物體夾取計算 .............................................................................. 6. 圖 1-8. 三對角分析 .............................................................................................. 6. 圖 1-9. 遮蔽點分析 .............................................................................................. 7. 圖 1-10. 手臂動態夾取 .......................................................................................... 8. 圖 1-11. 點雲圖 ...................................................................................................... 9. 圖 2-1. 八方遮罩................................................................................................. 13. 圖 2-2. 鄰近點處理............................................................................................. 13. 圖 2-3. 相機投影意識圖..................................................................................... 18. 圖 2-4. 二維影像座標......................................................................................... 18. 圖 2-5. Epipolar geometric .................................................................................. 20. 圖 3-1. 夾取穩定的狀態點................................................................................. 22. 圖 3-2. 原始圖像................................................................................................. 23. 圖 3-3. 轉換成二值化結果................................................................................. 23. 圖 3-4. 輪廓圖像................................................................................................. 24. 圖 3-5. 邊緣排序................................................................................................. 24. 圖 3-6. 對應平面物體......................................................................................... 25. 圖 3-7. 圓形特徵型態......................................................................................... 26. 圖 3-8. 遮罩搜尋方式......................................................................................... 27 - VI -.

(8) 圖 3-9. 搜尋輪廓方式......................................................................................... 27. 圖 3-10 輪廓向量分析......................................................................................... 28 圖 3-11. 夾取點位置 ............................................................................................ 28. 圖 4-1. 影像資料 .................................................................................................. 30. 圖 4-2. 三維建模實驗流程 .................................................................................. 31. 圖 4-3. Harris 特徵點......................................................................................... 31. 圖 4-4. Harris corner 特徵點 ............................................................................. 33. 圖 5-1. USB2Dynamixel 器材 ............................................................................... 40. 圖 5-2. 攝影機器材............................................................................................. 40. 圖 5-3. 串列通訊意示圖..................................................................................... 41. 圖 5-4. RX 馬達器材 .......................................................................................... 41. 圖 5-5. 機器手臂與攝影機................................................................................. 41. 圖 5-6. 操作中的機器手臂 ................................................................................ 42. 圖 5-7. 影像分系後的結果圖............................................................................. 43. 圖 5-8. 影像輪廓 ................................................................................................ 43. 圖 5-9. 前處理後的物件 .................................................................................... 45. 圖 5-10 非鏡像對稱物......................................................................................... 45 圖 5-11 適當點判定............................................................................................. 46 圖 5-12 鏡像對稱物............................................................................................. 46 圖 5-13. 前處理後的影像 .................................................................................... 47. 圖 5-14 Harris 特徵點圖................................................................................... 48 圖 5-15 點雲圖..................................................................................................... 48 圖 5-16 資料庫影像............................................................................................. 49 圖 5-17 點雲圖..................................................................................................... 49 圖 5-18. 點雲圖 .................................................................................................... 50. 圖 5-19. 七組影像點雲圖 .................................................................................... 50 - VII -.

(9) 圖 5-20 樣本圖 ...................................................................................................... 51 圖 5-21. Dinosour 點雲圖 .................................................................................... 51. - VIII -.

(10) 表. 目. 錄. 表 2-1. 三維座標轉換....................................................................................... 16. 表 5-1. 實驗器材............................................................................................... 39. 表 5-2. 對稱軸分析 ............................................................................................ 43. - IX -.

(11) 第一章緒論 1.1 前言近幾年來，機器人移動的開發以及視覺技術發展，隨著電腦視覺，機器學習以及圖像辨識的進步，讓應用範圍變得更為廣闊。機器人漸漸地可以做到一些人能做的事情。乏味，危險，流程固定的工作可以交給機器人來處理。舉例來說: 貨運場需要搬運的重物，戰場清除炸彈任務如圖 1-1(a)-(d)[1][2]。. (a). (c). (b). (d). 圖 1-1 (a)清除炸彈機器人系統; (b) 清除程序; [1] (c)(d)遠端控制手臂移除炸彈設計[2] 機器和目標物之間的接觸主要是夾爪。所以機器手臂決定如何夾取未知物，一直是研究的挑戰之一[3]如圖 1-3，一些學者會藉由影像或者壓感去分類物體的種類或代表物，並藉由資料庫去做夾取點的分析。一個物體有不同種的夾取點，在夾取時會因為施力方向大小，產生夾不緊的狀態，故在夾取 -1-.

(12) 性質分析上變得格外重要。. (a) 圖 1-2. (b). (a)工作環境 ; (b)計算目標物與夾爪之間的空間距離. 隨著環境不同，機器所做的事情也不一樣，機器系統程序可分為次序性，自動性。次序性系統其環境必須是固定結構，因為次序性必須在精確位置下處理事情。如果追蹤物品屬於會不斷移動，此方法會失敗。而自動化程序可以尋找物品的方向和位置，去決定靠近物品的路徑。視覺感測回饋是目前自動化手臂控制最普遍的方式。利用攝影機去獲得物件的位置和方位。許多物件位置偵測的研究需要用到立體技術。最常用的方式為雙目式立體法 (binocular stereo)和活動式單眼立體法(active monocular stereo)。雙目式立體法使用了兩個攝影機去測量深度(物件到攝影機的距離)，深度資訊是藉由左右兩邊攝影機擷取影像的差異所求得。活動式單眼立體法只使用一台攝影機，不過會沿著軌跡去得到不同位置得到影像的差異。如果基線(baseline)，兩台攝影機之間的距離很小，我們會得到很相近的影像，但是深度資訊會有誤差。利用立體技術做三維重建，此方法有許多種應用，例如醫療領域中，利用 CT 產生的資料，對末肢產生三維建構如圖 1-3(a)(b)[4][5]。不只物體重建，有些應用在無人駕駛車上，在車輛行走時探勘未知地形，並避開可能的障礙. -2-.

(13) 物[5]。此外也有利用在人臉辨識上[6]，可以增加辨識的強健性，讓追蹤臉部更加容易，在電影界中，許多的特效都會藉由三維資訊讓追蹤人臉並將新模板貼上的穩定度增加。. (a). (b). 圖 1-3 (a)每層的 MRI image 疊加產生的模型[4]; (b)利用 CT image 重建模型 [5]. (a). (b). (c). 圖 1-4 (a)追蹤每個 frame 時的 keypoint -3-. (b)全部 keypoint. (c)3D 模型重建.

(14) (a). (b). (c). (d). 圖 1-5 (a)裝有 Laser Scanner 的自走車; (b)偵測環境; (c)資料呈現; (d)三維環境地圖建立. 1.2 文獻回顧本研究得到二維物體形狀分析以及三維建模主要目的是希望透過分析物件外觀及距離後，將資訊給機器人，讓夾爪可以穩固抓取我們想要的物體。執行夾取動作不一定僅限於機器手臂上，也可以發生在空中，例如四旋翼飛機，或者海上的救生機器人。有時候物體會隨者時間而移動，或者相機本身不在原本固定位置上，原本前人[7]所作，固定攝影機的位置，得到三維模型的做法會變得不適用。故藉由多張影像，以及減少載體重量，同時提供物件三維資訊是本篇的目標。. -4-.

(15) Pedro J. Sanz , Angel P. del Pobil, and Jose M. Inesta [8]等學者，提出將物體的外圍輪廓的各點與下個點所產生的向量紀錄起來，並形成一個特徵曲線，當圖中的曲線大於某個值時，將其排除，保留剩下的點。作者分析不同的鏡像對稱方向，作為物體形狀的分類，找出三種分類狀況，並且在這不同的狀況下找出適當夾爪點的位置。. (a). (b). (c) 圖 1-6 (a) 物體夾取分析 ;(b) 輪廓點的計算法 ;(c)實驗結果[7] Xiangyang Zhu, Han Ding, and Jun Wang [9]等學者，將得到物體的封閉性資料(form closure)存入，依循物體的摩擦角錐、接觸力的限制做線性處理，會得到二維，三維非摩擦夾取點。. -5-.

(16) (a). (b). 圖 1-7 (a)多形物體夾爪計算 ;(b) 三維球面的三爪夾點計算[8] Eris Chinellato, Antonio Morales, Robert B. Fisher, and Angel P. del Pobil [10] 等學者利用視覺對平面物體分析測量，並分析出三指夾爪(Barret) 在不同平面物體形態的適當夾取點。. 圖 1-8. (a). (b). (c). (d). (a) 三對角分析; (b)找出實際碰觸曲面 ;(c)對中心點分析 (d) 對不同物體分析的實驗結果 [8] -6-.

(17) Mila Popovic, Dirk Kraft,Leon Bodenhagen, Emre Baseski, and Norbert Kruger [11]等學者，經由影像處理後，將輪廓的原圖(primitive)遮蔽部分消除，並尋找出投影點(match point)，並分析出四種夾取物體的方式。. (a). (b). (c) 圖 1-9 (a) 分析遮蔽點 ;(b) 利用(c)中的四種方式去模擬夾取. Vincenzo Lippiello, Fabio Ruggiero,Bruno Siciliano, and Luigi Villani [12] 等學者，利用繞著物件旋轉並用機器手指碰觸物體表面，紀錄物體外型，藉此可以快速判定夾取的方式以及物體的外型。. -7-.

(18) (a). (b). (c) 圖 1-10 (a) 實驗執行流程 ;(b) 機器手臂運行模式 ;(c)實驗結果[12]. Jeff Fortuna, and Aleix M. Martinez [13]學者，利用盲訊號分離(Blind Signal separation) 分析在解 SfM 時不同的數值方法，SVD，ML and MAP，達到誤差下降的結果比較。. -8-.

(19) (a). (b) 圖 1-11 (a)實驗程序 ;(b)實驗結果[13]. 1.3 研究動機與目的為了結合視覺技術與機械手臂的應用，以往機器手臂所進行的路徑，作動都是已經規劃好的，如果碰到隨著環境變動的物體，則以往的夾取方式會失敗。配合視覺技術，則可以追蹤移動中的物件，並透過雷射掃描儀等裝置，. -9-.

(20) 或使用深度感測器計算物體的外觀，距離等資訊，幫助機器手臂夾取目標物。不過由於機台的移動，可能也會使得感測器的數據也會跟著變動。在此我們利用運動恢復結構(structure from motion)，從連續影像中找出相機的 epipolar line 與 fundamental matrix。我們可以不用先調整相機的內部參數，藉由一連串的圖片反推。並且將資料轉成三維模型。利用夾取分析去判定適當的夾取方式。本研究欲達目標列舉如下: 1. 不需要多組感測器: 此處無須額外使用投影結構光至物件表面，或是將物件標記，提高系統便利性。 2. 在動態環境中運作: 不同過往研究，本研究使用一連串二維影像即可建構出三維模型。 3. 整體設備成本低廉: 此重建系統只用一支攝影機作連續拍攝即可。. 1.4 本論文之貢獻本研究貢獻，結合 Harris corner detection 並利用 Factorization 法，分析出三維模型建立。並且對二維物件用輪廓編號，算出適當夾取點的位置。以往研究常見以投影結構光於物件表面，但結構光易受物件表面反色影響，因此本篇提供了便利性。. - 10 -.

(21) 1.5 論文架構本論文一共分為六章，各章內容依序如下：【第一章】-緒論【第二章】-理論基礎【第三章】-影像系統建立【第四章】-三維模型重建原理【第五章】-實驗結果與討論【第六章】-結論與未來展望. - 11 -.

(22) 第二章理論基礎本章節將講述研究系統所需之基本原理，包含幾何圖元與三維轉換、特徵點偵查、相機內部參數、相機投射原理、影像三角法以及立體視覺法之基礎原理，以便作為後續章節重建系統之基礎理論。. 2.1 幾何圖元與轉換. 現實空間可表示成一個三維函數 f(x,y,z)，幾何圖元利用點、線、面去描述三維空間的物體型態。二維點可以表示為一個二維函數 g(x,y) ，其中 x 和 y 是影像中的像素座標，於座標中相對應值 f(x,y) 的大小稱為該點的強度 (intensity) 。二維也可以用齊次座標 (Homogeneous coordination) 表示， ~ ~)  P 2 ，其中 P2 稱為二維投影空間。一個齊次向量 x 可以轉換成 x  (~ x, ~ y, w. ~)  w ~( x, y,1)  w ~x 。 x  (~ x, ~ y, w 非齊次向量。 ~. 2.2 鄰近點的處理. 利用臨域處理(neighborhood operation)，我們會利用遮罩(mask)的形式，如圖 2-1,圖 2-2 所示，移動遮罩至下一個中心點，把遮罩的數值代入後，重新調整中心點的值。. - 12 -.

(23) M(-1,-1). M(-1,0). M(-1,1). M(0,-1). M(0,0). M(0,1). M(1,-1). M(1,0). M(1,1). M(-1,0). M(0,-1). M(0,0). M(0,1). M(1,0). (a). (b) 圖 2-1 (a)八方遮罩 ;(b) 四方遮罩. 圖 2-2 臨域處理示意圖. 2.3 影像向量. 我們利用影像向量算出.先積分計算整個物體面積，並且與當下像素值作乘積。便可以得到物體的影像向量(image moment)。下式(1)(2)為影像向量的表示法。. - 13 -.

(24) m p ,q   x p y q f ( x, y)dxdy. (2-1). M 1 N 1. m p ,q   x p y q f ( x, y ) x 0 y 0. (2-2). 其中 f ( x, y) 表示物體在當前座標(x,y)的像素值.而式中的 p 和 q 分別代表階層索引(index)，屬於正整數。此處的 f ( x, y) 我們會用二值化後的影像來簡化運算量的麻煩。. 1 f ( x, y )  b ( x, y )  { 0. (2-3). 藉由影像向量的階層索引，p 和 q 的總和可以表示物體的特性.例如零階向量可以得到 f ( x, y) 面積. m0,0   f ( x, y)dxdy. (2-4). m1,0   xf ( x, y)dxdy. (2-5). m0,1   yf ( x, y)dxdy. (2-6). 藉由一階向量與零階向量算出 f ( x, y) ,目標物體的中心點.. - 14 -.

(25) xc . yc . m1,0 m0 , 0. (2-7). m0,1 m0 , 0. 2.4 三維座標轉換. 三維座標轉換與二維座標轉換很相似，平移可以寫成. x  I. t x ，加入旋轉矩陣後改寫為 x  R t x 。. 其中 R 是一個 3 3 的正交旋轉矩陣。. cos  R  sin .  sin   cos  . (2-8). 加入伸縮旋轉後式子改寫成 x . sR t x 。. 其中 s 為隨意比例因子(arbitrary scale factor)。三維透視投影法中的齊次矩陣是我們想求解的目標，式子如下:. ~ ~ x  H~ x. (2-9). ~. 其中 H 是隨意的 3 3 矩陣。. - 15 -.

(26) 表 2-1: 三維座標轉換. 2.5 三維對二維的投影. 藉由上式我們可以知道如何將三維空間幾何圖元表示成矩陣，接著我們探討將三維投影到二維的關係性，主要分成兩種方式，分別為正交 (Orthographic projection)，另一個為透視法(Perspective projection)。 2.5.1 正交投影法正交投影法是將目標點的三維空間投影到 z 軸上去得到二維點 x。. x  I 22 | 0p. (2-10). 我們使用齊次投影座標，可以改寫成下式:. 1 0 0 0 ~ x  0 1 0 0 ~ p 0 0 0 1. (2-11). - 16 -.

(27) 正交法可以近似遠的焦距鏡，相較於相機，目標物的深度資訊會縮到很小，在世界座標系只需要再調整尺度，可以寫成:. x  sI 22 | 0p. (2-11). 此模型可從區域性平行影像平面中找到投影至世界坐標系的關係。當使用 structure from motion 時，此方法可以修正相機與物件的關係式。 2.5.2 透視投影法普遍電腦視覺與電腦圖形的投影法會使用三維透視投影法。當點投影到影像平面上可表示為下式:. x / z x  Pz ( p)   y / z   1 . (2-12). 在齊次座標系中，projection 可寫成簡單的線性型式:. 1 0 0 0 ~ x  0 1 0 0 ~ p 0 0 1 0. (2-13). 2.6 相機參數關係式. 我們利用投影矩陣藉由理想的 pinhole 模型將點投影到圖像點上，我們還需要將像素空間以及三維座標系做轉換。. - 17 -.

(28) 將空間中的目標物 p 點投影到影像中，如下圖 2-1。其中 Oc 是相機中心， cs 是影像平面座標的起始點，sx,sy 分別為像素空間。. 圖 2-3 相機投影意識圖將像素中心對應到三維空間，我們會縮放現實中的(xs,ys)成為像素空間 (sx,sy)。通常座標系的起始點是圖片中的左上角，如下圖 2-2. 圖 2-4 二維影像座標其結合二維到三維的投影法如下式:. s x 0 p  Rs | c s  0  0. 0 sy 0 0. 0  xs  0   ys   M s ~ xs  0  1  1   - 18 -. (2-14).

(29) 矩陣 M s 參數有八個，三個參數表示轉移 Rs，三個參數表示移動 cs，另外兩個參數代表縮放比例(sx,sy)。估測相機模型 M s 需要七個自由度，這作法不切實際，所以我們會假設 M s 是一個 3x3 齊次矩陣。三維空間點 p 與影像中點 pc 的關係式如下:. ~ x s  Kpc. (2-15). 其中 K 稱為校正矩陣，代表的是相機內部參數(intrinsic parameter)。. ~ xs  K R | t pw  Pp w. (2-16). 其中 p w 是世界座標系的位置。. 我們可以得到下式:. P  K R | t . (2-17). P 就是我們要的相機矩陣。我們使用 QR-Factoriztion，將 K 分解成上三角矩陣，如下式:. f K   0  0. s af 0. cx  c y  1 . (2-18). 為了簡化形式我們會將設定 a=1，s=0。 - 19 -.

(30) f K   0  0. 0 f 0. cx  c y  1 . (2-19). 2.7 運動恢復結構. 從兩張影像中個別 P 點的關係性，可以拆成旋轉矩陣 R,移動矩陣 t。如下圖 2-5. 圖 2-5 Epipolar geometric 由於我們不知道攝影機的位置，我們先將第一張相機中心，c1 設為原點。接著將從第一張影像觀察到的點 p0， p0  d 0 xˆ0 ，其中 d 0 為相機中心點 c1 到 P 點的距離。對應到第二張影像中，他的轉換式如下:. p1  d1 xˆ1  Rp0  t  R(d 0 xˆ0 )  t - 20 -. (2-20).

(31) 其中向量 t=c2-c1，而 p-c1 與 p-c2 在同一平面上。c1，c2 分別為攝影機中心。. 在兩邊都共乘 xˆ1 以後會得到下式:. d0 xˆ1 ([t ] R) xˆ0  d1 xˆ1[t ] xˆ1  0. (2-21). 因為右邊式子是一個三重積 (triple product) 與兩個恆等項 (identical entries)。因此我們可以得到 epipolar constraint。 T xˆ1 Exˆ0  0. (2-22). 其中 E  [t ] R 稱為本質矩陣(essential matrix). 其中在第一張圖片裡，essential matrix E 對應的 xˆ 0 會在 epipolar line l0 上，因為 xˆ1 l1  0 ，所以 xˆ 0 當對應到第二張圖片中， l1  Exˆ0 。 T. - 21 -.

(32) 第三章影像系統建立本章節將依據第二章理論基礎，發展其本研究目的所需之平面模型的適當點。並說明其流程。. 3.1 物體型態. 本論文之研究重建二維物件模型之適當點，讓我們在用機器手臂夾取時，可以夾得更穩固，不會因為外力干擾，或震動而脫落。我們會參考 Pedro J. Sanz[8]對於平面物體的描述，並且新增輪廓編號紀錄物體型態，在計算時可以更快的紀錄我們所要的夾取點。 3.1.1 平面向量我們利用形狀判別,來進行預測夾取平面物件的位置.之前 Pedro J. Sanz[8]已經定義了物件的曲率門檻,角度門檻,距離門檻.藉由這些門檻以幫助算出夾取點.如下圖 3-1. Finger1 Imin Central. Finger2. 圖 3-1 夾取穩定的狀態點. - 22 -.

(33) 3.1.2 轉換色域利用彩色的 CCD 擷取影像，所得的照片屬於 RGB(Red,Green,Blue)彩色影像。 RGB 彩色影像所呈現的資料型態為三維矩陣。一般 RGB 彩色影像會轉換為 YIQ 色域。為了提高抗光源干擾的現象.在這裡我們採用 HSV 格式。. 圖 3-2 原始圖像 3.1.3 影像二值化一般灰階化影像其灰階值的範圍介於 0-255 之間，而二值化的影像則是用 0 和 1 來表示一張影像。將其二值化必須先給定一個門檻值來進行轉換。如下圖 3-3。. 圖 3-3 轉換成二值化結果. - 23 -.

(34) 3.2 二維輪廓偵測與重心. 3.2.1 物體輪廓有些人採用 B-Spline 方法.將物體輪廓點描述於 RRP 座標體系中.此處我們採用 Suzuk[14]的方式,利用二值化後的圖像尋找出組件與洞的關聯性.如下圖. S1. S2. B1 B2. S3. B3 B4. S4. S5. 圖 3-4 輪廓圖像. Background S1 Component S2. Frame. Component S5. Outer border B1. Hole S3. Hole border B2. Component S4. Outer border B3. (a). Outer border B4. (b). 圖 3-5 (a)圖像沿著連接組件排序 ;(b)邊緣排序 - 24 -.

(35) 3.2.2 物體重心我們在前一章有提過重心的算法，在判斷物體型態，可以利用物體輪廓與重心的距離，作為那組形狀的特徵。我們藉由此方法來判定，偵測物件是什麼形狀。型態可以分成三種，第一種是存在一個以上的鏡像對稱軸，利用他的型態描述可以明顯的區分，如圖 3-6。可利用下式去判定哪一個位置是適當夾取點。. num(max s ) 其中. s 為輪廓到中心點的微分。. (a). (b). 圖 3-6 (a)此對應平面物體為正方形 ; (b) 此對應平面物體為三角形第二種是擁有無限多個鏡像對稱軸，在做夾取適當點判定時，會增加大量運算時間，故在此時發現型態沒有超過一定的數值，我們會隨機選取一組解。簡化接下來的運算其形狀特徵如圖 3-7。. - 25 -.

(36) min dis tan ce s   其中 distance 為外圍輪廓與中心點的距離，  為一個任意正值。. 圖 3-7 圓形的特徵型態第三種是不存在鏡像對稱軸，此平面物體是本篇想要研究的對象。在雙夾爪中，判定適當夾取點無法用尋找型態曲線的極大極小值判定。. 3.3 輪廓編碼. 為了得到物體輪廓的順序，我們先創造出一個. 3 3 的遮罩，移動遮罩如下. 圖 3-8，當中心點碰到有值像素，會一順時鐘方向從中心點的上方開始搜索，直到找到下一個有值像素，並且讓中心點移動到下一個像素，重複以上的步驟直到輪廓回到了初始點。. - 26 -.

(37) (a). (b). 圖 3-8 (a) 中心軸沿著圖像方向行走 ;(b) 遮罩的搜索方式. 圖 3-9 搜尋輪廓的方式. 3.4 夾取點判定. 藉由上節從輪廓影像中得到輪廓編碼數，m，我們先選定其中一個輪廓 p 點，我們利用輪廓編碼得到 p 點的下一個輪廓點，p’，將 p 與 p’相減可以得 - 27 -.

(38) 到一個輪廓向量，u，如圖 3-10。接著將 p 點與其他的輪廓點相減，可得到 m-1 個向量。. (a). (b). 圖 3-10 (a) P’與 P 的示意圖 ;(b)點 P 到其他輪廓的向量. 將 m-1 個向量分別與向量 v，做餘弦定理得到角度  。設定一個限定值讓介於角度 90 度的值保留，並且把它存在新的陣列中。利用相同的方式重複做一次，最後我們可以得到圖 3-11 形狀 I 的夾取點。. 圖 3-11 夾取點位置 - 28 -.

(39) 由於會隨著不同的形狀產生不固定的夾取點，我們將每個起始點，與到達點，尋找這兩點直線中心位置。當愈靠近重心點，則愈穩定，如下式:. e  min (m( x, y)  c( x, y)) m( x, y) 為物件的重心點， c( x, y) 為起始點與終點的中心。e 是中心與重心點距離的差異。e 越小代表越接近我們所要的值，我們可以上式的方法得到最佳夾取點。. - 29 -.

(40) 第四章物體回復結構之三維模型建立本章節依據第二章所引述之理論基礎，依系統流程架構逐一詳述每階段實驗目的與方法，其中包含影像前處理、keypoint 的偵測、三維重建系統等。. 4.1 影像前處理. A.灰階化由於一般彩色影像資料量是灰階影像的三倍，為了降低影像運算量，我們會先將影像作灰階化處理。 B. 將影像平滑得到灰階圖像後，為了將一些雜訊清除掉，我們這邊利用了 Gaussian filter 做一次圖形的濾波。高斯函數 G(x,y)與原始圖片做旋積得到影像 Ig 。. (a). (b). 圖 4-1 (a)原始圖片;(b)經過 Gaussian filter 後的圖片. - 30 -.

(41) 得到我們所要的圖片後，開始接下來的程序，如下圖 4-2 所示。. Input Image Feature Extraction/Matching. Compare Images. Projection Reconstruction. 3D model reconstruction. 圖 4-2 本實驗做三維模型之程序. 4.2 特徵點建立. 在特徵點抓取的部分，我們使用 Harris corner 偵測。兩張影像生成微小的位移，我們把這位移大小設為(u,v)，可以得下式。. 圖 4-3 Harris Corner detection - 31 -.

(42) E (u, v)   w( x, y)[ I ( x  u, y  v)  I ( x, y)]2. (4-1). x, y. 其中 w(x,y)為視窗函式，I(x,y)是在影像中(x,y)位置的強度， E (u, v) 代表影像 I(x,y)與移動後 I(x+u,y+v) 的累積差值。為了簡化計算我們令 w(x,y)=1。二維函式的 Taylor 展開式表示法如下:. f ( x  u, y  v)  f ( x, y )  uf x ( x, y )  v( f y ( x, y ) . . . 1 2 u f xx ( x, y )  uvfxy ( x, y )  v 2 f yy ( x, y )  2! 1 3 u f xxx ( x, y )  u 2 vfxxy ( x, y )  uv 2 f xyy ( x, y )  v 3 f yyy ( x, y )  ... 3!. . . 一階近似:. f ( x  u, y  v)  f ( x, y)  uf x ( x, y)  vf y ( x, y) 故使用 Taylor 展開式時，可以將上式改寫成:. E (u, v)   [ I ( x, y)  uI x  vI y  I ( x, y)]2. (4-2). x, y. 我們把式子展開並且做化簡，可得:. E (u, v)   u 2 I x2  2uvI x I y  v 2 I 2y x, y. 利用矩陣方式表示: - 32 -. (4-3).

(43)   I x2  E (u, v)  [u v]  w( x, y)   x, y  I x I y   I x2 M   w( x, y)  x, y  I x I y. I x I y   u   2    I y   v . IxI y   I y2 . (4-4). (4-5). 故我們最後可以寫成:. u  E (u, v)  u vM   v . (4-6). 圖 4-4 利用 Harris corner 得到的 keypoint. 4.3 多組影像比對. 得到兩張圖片，經過灰階，濾波後，紀錄每張圖片的 Keypoints，兩張影像記錄成 f(x),g(x)，x 為座標向量位置。為了尋找其中差異，我們希望可以找到 F(x+h)與 G(x)的最小值. - 33 -.

(44) 其中 h 為一個位移量。當 G ( x) . F ( x) . h. F ( x  h) ，我們可以將 F (x) 寫成下列式子:. F ( x  h)  F ( x) G( x)  F ( x)  h h. G ( x)  F ( x) F ( x). (4-7). (4-8). 影像的梯度只有在兩張圖片的範圍區域內相近時，才會精確。在二維線性近似中，當差異值不大，可以改成下列式子:. F ( x  h)  F ( x)  hF ( x). (4-9). 為了找到兩張圖片的最小值，我們可以顯示成下式:. E   F ( x  h)  G( x). 2. (4-10). xR. E 0 h. (4-11). 2 E    F ( x)  hF ( x)  G( x) h h x.   2 F ( x)F ( x)  hF ( x)  G( x) x. - 34 -. (4-12).

(45) 4.4 矩陣分解. 給予連續圖片，我們追蹤 p 個特徵點對於 f 個 frame，我們推倒影像的坐標系{(ufp,vfp)|f=1,….,F ;p=1,…,P ;}。我們寫入平行特徵點座標 ufp 在 FxP 為矩陣 U。同樣的 vfp 建立一個垂直特徵點矩陣 V。我們定義測量矩陣(measurement matrix),W,的大小為 2FxP 如下式. ~ ~ U  W   ~ V . (4-13). 創造一個跟 W 相同大小的平移向量, t, 成為下式:. ~ W  W  t1 1. ~. 我們可以藉由 W. (4-14).  RS ，找出 R,S，其中 R 矩陣大小為 2Fx3，代表相機轉. 動矩陣，而 S 的矩陣大小為 3xP。. ~. 接著我們將 W 做奇異值分解(singular value decomposition). ~ W  O1  O2. (4-15). . . 我們定義 O1 的前三個陣列為 O1 ， 1 是  的 3x3 子矩陣，而 O2 的前三個. . 陣列為 O2 。我們可以得到下列式子: 1.  Rˆ  O1 () 2. (4-16) - 35 -.

(46) 1.  Sˆ  () 2 O2. (4-17). 接著我們代入矩陣限制,. iˆfT QQT iˆf  1 , ˆj Tf QQT ˆj f  1, iˆfT QQT ˆj f  0 其中 Q 是一個 3x3 的矩陣， iˆf ` T. ˆj f 皆為 Rˆ 的元素。為了解出 Q，我們使用. L  QQT 並利用 Cholesky 分解法解出 Q。我們利用 Monrita ,Kanade 分解 Q 的方式, 將 L 改寫成下式:.  I1 L   I 4  I 7. I2 I5 I8. 系統改寫成 GI. I3  I 6  I 9 . (4-18). c. 其中 G 是一個 3Fx6 的矩陣, I 是一個 6x1 的向量。.  g T (i1 , i1 )    a1b1  ...   a b  a b   g T (i , i )  2 1  1 2 F F     G   g T ( j1 , j1 )  g (a, b)  a1b3  a3b1    , a2b2  ...   a b  a b  3 2  g T ( j , j )  2 3  F F   a3b3   g T (i1 , j1 )  - 36 -.

(47) GI  c 可以利用 pseudo inverse 法，改寫成 I  G*c ，利用 I 解，可以決定對稱矩陣 L，L 必須為正定(positive definite) 我們有可能會有非正定解，所以我們會計算對稱矩陣 L，如下式:. L  LT L ，接著我們將 L 分解 2 L  U U T. (4-19). 其中我們會將特徵負值設為 0，故我們可以得   ，正定矩陣。. 我們利用下式:. Q  U 1/ 2. (4-20). 讓我們得到 Q，接著回推到下列式子:. R  Rˆ Q. (4-21). S  R0T S. (4-22). 得到第一個相機坐標系與其他張的座標系關係。. - 37 -.

(48) 4.5 三維模型建構將投影面轉換至三維空間中，利用對稱矩陣所得到的解 S，把之拆成 (x,y,z)，並且將 R 的第一張 frame，與 frame 加上 F 後的矩陣做交乘，並且將其規一化(normalize)，我們可以得到 camera 的位置。以及每個點在各個圖中的虛擬三維空間座標。. - 38 -.

(49) 第五章實驗結果與討論這裡我們分成兩部分處理，第一個是利用形狀描述來做夾爪位置分析，在這裡我們使用 C++ 做為程式基礎。經控制器所計算出的控制量由 USB2Dynamixel 傳送資訊給伺服馬達，然後由相機讀取影像，在移至下一點，回授影像。算出物件的深度訊息，決定物體的距離，以及物件型態，經由電腦計算找到適合的夾取點，第二部分是利用 Structure from motion 對連續照片做三維建模，本實驗採用 Matlab 程式語言撰寫，在此我們會依造不同的物件及實驗的結果進行討論。. 5.1 實驗設備 1. 個人電腦使用電腦為 Pentium 2.00GHz，RAM 為 512MB 的個人電腦，在 Visual Studio 平台下進行計算，撰寫物件型態辨識與重建。規格如下表 5-1 實驗器材. CPU. PentiumV 2.00GHz. RAM. 512MB. Operating System. Windows 7. Language. VS C++. Communications interface. USB2Dynamixel. - 39 -.

(50) 2 個人電腦傳輸器在與伺服馬達通訊，需要資料傳輸介面。下圖為 USB2Dynamixal 轉換器。. 圖 5-1 USB2Dynamixel. 3. 攝影機本研究採用 Logitech C120，影像擷取解析度為 640x480 像素，傳輸通道為 1.1USB 連接埠. 圖 5-2 攝影機. - 40 -.

(51) 4. 伺服馬達組成之機械手臂. 圖 5-3 USB2Dynamixel 串列示意圖. 圖 5-4 RX 系列馬達示意圖. 圖 5-5 機器手臂與攝影機. - 41 -.

(52) 5.2 物體型態辨識系統操作流程 1. 先將 USB2Dynamixel 與電腦連接，將電源與 RX-64 馬達相接(注意: 15V)。 2. 開啟 Visual studio 程式。 3. 利用 Dynamixel 終端確認馬達與電腦有通訊反，避免有馬達未正常接通。 4. 將待測物放置在待測平台上。 5. 控制手臂到物體上方，輸入指令後可得到完整影像。. 圖 5-6 操作中的機器手臂 5.3 平面物體二維夾取點分析 5.3.1 初始輪廓追蹤我們一開始設定手臂於固定高度，從手臂上的攝影機擷取出平台上的物件，紅色木塊。藉由第二章的方法處理 A. 影像前處理. - 42 -.

(53) 先將擷取後的圖進行 HSV 色系轉換，利用 HSV 色系我們可以將背景色與目標物區分開。藉由適當的邊界值，我們可以得到清晰的二值化圖像，並且得到物體輪廓。呈現在圖 5-6。. (a). (b). (c). 圖 5-7 (a)原始圖像 ;(b)二值化圖 ;(c)圖像輪廓 B. 標註物體輪廓重心利用第三章的的方法我們可以得到他的重心點，藉由重心點，得到物體邊緣型態。呈現在圖 5-7。. (a). (b) 圖 5-8 (a)影像輪廓與重心 ;(b)輪廓型態分析. 我們藉由不同的物體，做輪廓型態分析。當我們遇到不同物體可以更快速的分類並且判斷夾取點的位置。 - 43 -.

(54) 5.3.2 鏡像對稱軸分析物體大致上分成四種，奇數對稱軸物體(例如: 三角形)，偶數對稱軸物體(例如: 正方形)，無對稱軸物體(例如: 釘書機)，無限多對稱軸(例如: 圓形)，基於不同的平面物體，我們比較他們所需要計算的時間。如表 5-1 表 5-2 不同鏡像對稱軸分析. Kind of 2D object. Time(sec). Object size(number). Odd-axis. 0.112538. 126. Even-axis. 0.119028. 161. Non-axis. 0.126175. 366. Infinite-axis. 0.107319. 217. 利用此方法可以看出不會受到物件的大小而使計算變慢。 5.3.3 輪廓編碼及夾取點判定由於無對稱軸物品的夾取點是較難處理的部分[8][9]，故我們在實例中會以無對稱軸物品做討論。利用第三章所述方法，對於無鏡像對稱物的夾取點判定分析 A. 輪廓編碼依第三章方法，我們會先讀入圖像輪廓，如圖 5-9。. - 44 -.

(55) 圖 5-9 前處理後的圖檔藉由輪廓編碼將上圖的輪廓紀錄下來。 B. 適當點演算法得到輪廓後，依照方法我們開始尋找適當點，第一步先從輪廓碼中挑出第一個輪廓位置，產生一組相對向量，儲存後資料點後，選取輪廓碼第二個輪廓位置，依序到所有輪廓碼位置皆運算完，我們可以得到圖 5-10，呈現結果如下。. 圖 5-10 非鏡像對稱物之第一迴圈適當點判定得到一組輪廓向量解後，我們藉由此資料做向量反推，所有運算完成後，耗時 4.719 秒，呈現效果如下圖 5-11。. - 45 -.

(56) 圖 5-11 非鏡像對稱物之第二次迴圈適當點判定接著我們對生活其他用品做實驗測試，來判定我們適當點，是否跟預測相同。結果如下圖 5-12。. (a). (b). (c). (d). 圖 5-12 (a)斜口鉗原始圖 ;(b)斜口鉗輪廓 ;(c)型態描述 ;(d)適當夾取點結果我們成功的尋找出物品的適當夾取點。. - 46 -.

(57) 5.4 三維模型之重建為了要突破前人[9] 只限於二維平面的限制，我們欲建構出三維模型以便做夾取分析。以往會利用雙眼視覺作為影像處理的依據，在這裡我們依序第四章所描述的方法，建構出三維結構。本實驗中我們採用[15]的 Data sets，作為三維建構的實驗測試。. 5.4.1 取得特徵點 A. 我們會對圖片做灰階化以及高斯平滑處理，將影像資訊量降低，以便降低運算處理，如下圖 5-13。. (a). (b). 圖 5-13 (a)原始圖像 ;(b)經過高斯濾波 B. 特徵點建立得到前處理的圖檔後，做 Harris corner 偵測，可以得到代表此圖像的特徵點。特徵點搜尋法有許多種，其中前人常使用尺度不變特徵轉換(Scale Invariant Feature Transform)[16]，作為特徵點的搜尋，在此處不使用 SIFT 的原因，是因為此處的 data sets，影像主要是旋轉，平移，相對而言用 Harris corner，就可以解決這些問題。且 SIFT 需要大量的計算，所以在 - 47 -.

(58) 此處我們使用 Harris corner 偵測法。結果呈現在圖 5-13。. 圖 5-14 Harris corner 得到的特徵點. 5.4.2 對物體作矩陣分解利用第四章所述方式，從圖片得到特徵點，並且做多組影像比對後，可以得到所有影像適當特徵。將得到的資訊，組成測量矩陣，經由矩陣分解法，可以得到相機位置以及所有特徵點的三維空間，我們可以將得到結果投射到虛擬三維座標上，做三維模型重建。我們對 50 張影像作影像比對，並且將符合點標示在第一張圖上，呈現結果如下圖 5-15(a)。並且利用矩陣分解法，可得圖 5-15(b)。. (a). (b). 圖 5-15 (a) 50 張的特徵點比對 ;(b)50 張圖片產生的點雲圖 - 48 -.

(59) 資料庫中的影像，利用精密馬達控制相機在 180 張影像中，移動 15 度。由於多組影像比對這過程會消耗大量時間，為了減少運算時間，我們先嘗試用三張影像作三維重建，相機分別移動 0.083 度、0.166 度。呈現如圖 5-16。. (a). (b). (c). 圖 5-16 (a)原始圖像 ;(b)相機向右移動 0.083 度 ;(c)相機移動 0.166 度藉由矩陣分解法後，呈現如下圖 5-17。我們分別從不同的角度去觀察點雲圖。空間座標點有 431 個，可以發現他在房子轉角處並不明顯。且其中獲得點有些是錯誤資訊。圖中 5-17 右方為錯誤點。為了降低點雲圖誤差，我們加入更多圖像讓他呈現的點雲圖更加精確。. 圖 5-17 得到的點雲圖. - 49 -.

(60) (a). (b) 圖 5-18 (a) 側視圖 ;(b) 鳥瞰圖. 將影像提升至 7 組，所呈現的結果如下圖 5-19。得到的空間座標點為 426 個，減少一些非描述房子特徵點的空間座標。. (a). (b). (c) 圖 5-19 (a)原始圖;(b)側視圖; (c)鳥瞰圖 - 50 -.

(61) 我們利用另一組實驗室的資料庫[14] 原始圖片如 5-20，旋轉角度提升，來測試實驗的穩定性，使用 4 張影像。. (a). (b) 圖 5-20 (a) 原始圖像 ;(b)旋轉 15 度. 經過特徵點擷取，以及多組影像比對後所得的點雲圖結果呈現至圖 5-21。. (a). (b). (c) 圖 5-21 (a) 灰階化 ;(b)特徵點 ;(c)點雲圖 - 51 -.

(62) 空間座標點一共是 512 個，使用 4 張時可以成功描繪出物件外型，共花了 315 秒在多組影像比對上，不過比對時會有許多點無法吻合，導致特徵點遺失，讓接下來矩陣分解法無法有效的得到物件的空間座標。故當影像中非連續性且大角度轉變，會讓矩陣分解無法順利運行。. - 52 -.

(63) 第六章結論與未來展望本研究希望能發展出一套三維重建系統以及物體夾取點判定系統，不同以往的是此系統不受限於固定的定點上，可以隨著手臂或著環境做三維建模，本實驗目前將利用國外的運動恢復結構資料來做三維重建，藉此可知，以後未來即使我們手中沒有攝影機或其他設備。只要有圖片就可以自動做三維建模。本實驗三維重建主要分成三個步驟，先將影像中的特徵點擷取出來，接著利用每張不同的特徵點做比較，並且儲存資料點。最後利用矩陣分解法，得到資料中隱含的三維空間座標資訊。藉由可活動式相機，我們不在僅限於將攝影機固定在同個位置上。來幫助三維建模。雖然我們可以藉由連續性的圖片，成功描繪出物件的三維空間。不過在大角度轉變，會使一些特徵點失效。此外要將完整的三維建模建構出來，此方法需要虛擬捕塊，讓沒有資料點處也可以填補起來。這是本系統需要加強的部分。當可建立完整的三維模型圖後，我們即可擺脫二維結構限制，利用三維空間來判定何處是適當夾取點。幫助手臂自行夾取物品。. - 53 -.

(64) 參考文獻 [1] Vittorio Belotti, Manjula U. Hemapala, Rinaldo C. Michelini, and Roberto P. Razzoli, “Lean Robotics For Humanitarian Mine Sweeping,” International Conference Advanced Robotics, pp. 1-6, 2009 [2] Fu Wei Cao Jie Bian Qingqing and Yang Jin,” Image processing and control strategy of tele-operating system of a Bomb- Disposed Robot”,. International Conference on Embedded Software and Systems Symposia , pp. 453-459,2008. [3]. David L. Bowers and Ron LumiaProfumo, “Manipulation of Unmodeled Objects Using Intelligent Grasping Schemes,” IEEE Transcations on Fuzzy Systems, Vol. 11,pp. 320-329, 2003.. [4]. S. Cortez, J.C.P. Claro, J.L. Alves, “3D Reconstruction of a Spinal Motion Segment from 2D Medical Images: Objective Quantification of the Geometric Accuracy of the FE Mesh Generation Procedure,” IEEE conference in Portuguese Meeting in Bioengineering, pp. 1-6, 2013. [5]. Wang Hongjian, and Pu Xiaoming, “3D Medical CT Images Reconstruction based on VTK and Visual C++,” International Conference on Bioinformatics and Biomedical Engineering , pp.1-4 , 2009. [6] Fr´ed´eric Pighin, Richard Szeliski,and David H. Salesin, “Modeling and Animating Realistic Faces from Images,” International Journal Computer Vision, Vo1.9, No 2, 2002. [7]. Huang Ying Yuan, “3D Object Model Recovery from 2D Images Utilizing. - 54 -.

(65) Corner Detection,”Taiwan, R.O.C.,2010. [8] Pedro J. Sanz, Angel P. del Pobil, and Joses M. Iniesta, “Real-Time Grasping of Unknown Objects Based on Computer Vision System”, International Conference on Advanced Robotics, pp. 319-324,1997.. [9]. Eris Chinellato, Antonio Morales, Robert B. Fisher, and Angel P. del Pobil, “Visual Quality Measures for Characterizing Planar Robot Grasps,” IEEE Trans. on syst., Man, and cybernetics.-part C, VOL. 35, No.1, pp.30-41 , 2005.. [10] Eris Chinellato, Member, IEEE, Antonio Morales, Member, IEEE, Robert B. Fisher and Angel P. del Pobil , “Visual Quality Measures for Characterizing Planar Robot Grasps,” IEEE Pattern Trans. on syst., Man, and cybernetics, pp. 1-12, 2007 [11] Mila Popovi¢ , Dirk Kraft, Leon Bodenhagena, Emre Ba³eski, Nicolas Pugeault, Danica Kragi , Tamim Asfour, and Norbert Krüger ,” A strategy for grasping unknown objects based on co-planarity and information,”. colour. Robtics and Autonomous Systems, Vol.58, pp.551-565 ,. 2010. [12] Vincenzo Lippiello, Fabio Ruggiero, Member, IEEE, Bruno Siciliano, and Luigi Villani, “Visual Grasp Planning for Unknown Objects Using a Multifingered Robotic Hand,” IEEE Tran. On Metronics., Vol. 6,. pp.. 1-10, 2010. [13] Jeff Fortuna, and Aleix M. Martinez, “Rigid Structure from Motion from a Blind Source Separation, ” Internation Journal Computer Vision , Vol. 88, - 55 -.

(66) pp. 404-424, 2010. [14] S. Suzuki and K. Abe, “Topological Structural Analysis of Digitized Binary Images by Border,” CVGIP, vol.30, pp.32-46,1985 [15] Carlo Tomasi, and Takeo Kanade, “Shape and Motion from Image Streams under Orthography: a Factorization Method,” International Journal of Computer Vision, Vol.9, pp.137-154, 1992 [16] Lowe D.G., “Distinctive Image Features from Scale-Invariant Keypoints,” International Journal of Computer Vision, Vol.60, pp.91-110, 2004. - 56 -.

(67)