結合像素差異法與SURF之景深量測系統

全文

(1)國立臺灣師範大學應用電子科技學系碩士論文. 指導教授：許陳鑑博士. 結合像素差異法與 SURF 之景深量測系統 Depth Measurement Based on Pixel Number Variation and Speeded Up Robust Features (SURF). 研究生：蔡宗翰撰. 中華民國一零一年七月 i.

(2) 結合像素差異法與 SURF 之景深量測系統. 學生：蔡宗翰. 指導教授：許陳鑑. 博士. 國立臺灣師範大學應用電子科技學系碩士班. 摘. 要. 本文提出一種結合像素差異法與 SURF 演算法之景深量測系統。方法是使用單一相機，利用不同拍攝距離所產生的影像畫面，結合 SURF 演算法匹配兩張影像，接著用 ICF 演算法移除較差的 SURF 匹配點，以完成自動選擇參考點。藉由在不同拍攝距離時，目標物特徵點於影像畫面中所產生像素值的差異，實現對於目標物之距離量測，並進一步利用影像畫面中各個目標物特徵點之距離資訊，以平滑內插處理後繪製出景深圖。. 關鍵字：距離量測、景深、SURF、影像、數位相機、影像式量測系統. ii.

(3) Depth Measurement Based on Pixel Number Variation and Speeded Up Robust Features (SURF). Student：Zong-Han Cai. Advisor：Dr. Chen-Chien Hsu. Institute of Applied Electronics Technology National Taiwan Normal University. ABSTRACT. This paper presents a method for depth measurement based on Speeded Up Robust Features (SURF) and pixel number variation of CCD Images. A single camera is used to capture two images in different photographing distances, where speeded up robust features in the images are extracted and matched. To remove mismatches from given putative point correspondences, an Identifying point correspondences by Correspondence Function (ICF) method is adopted in order to automatically select better reference points required by the pixel number variation method. Based on the displacement of the camera at two photographing distances, feature points of the objects in the images are used to determine the distance measurement of the target objects. After that, we use the obtained distance information of the feature points of the target objects to construct the depth map by using smooth interpolation. Keywords：distance measurement, depth, SURF, image, digital cameras, image-based measuring systems. iii.

(4) 誌謝. 在學習過程中，學生誠摯的感謝我的指導教授許陳鑑博士對於學生耐心的指導與教導，本篇論文才得以順利完成，老師對於研究嚴謹的態度與做人做事的道理，以及在生涯規劃方面更是花了很多苦心來讓我了解。學習間老師不斷的指點方向，令學生在研究所過程中受益良多、終生受用，在此致上最真誠的敬意與謝意。同時要感謝口試委員翁慶昌博士、王銀添博士、李宜勳博士與李世安博士，對於論文提出諸多寶貴的意見與指正，使得本篇論文更趨完善。接著要感謝我的學習夥伴們，學長家瑋與慶京，在研究過程中提供許多的經驗，同學們書漢、韋辰、士勛、和謙、玟玲、古梵、乃宏、冠佑在學習的日子裡相互討論、砥礪與關懷，學弟們國棠、誠愷、元君、華恩、永青的協助與幫忙。衷心感謝實驗室的所有成員在學習過程中的照顧、愛護與陪伴，讓我在這段日子裡增加許多的歡笑，此份厚誼永生不忘。同時，也要感謝提供一個良好環境和豐富資源的國立台灣師範大學。學生在此真摯的感謝所有曾經給予幫助的老師們與同學們，這段研究的日子將成為我畢生難忘的回憶。最後，深切的感謝我的父母親，由於父母辛苦的工作栽培，才能使學生順利的成長且無後顧之憂地專心於課業上，讓學生在基礎的人格教育健全發展，並培養積極進取對自己人生負責的態度。在此，願將這份喜悅和榮耀與親愛的家人、朋友們分享，並恭祝他們身體健康、平安快樂。. 蔡宗翰. 謹誌. 中華民國一零一年八月二十一日. iv.

(5) 目. 錄. 中文摘要 ....................................................................................................................... II 英文摘要 ...................................................................................................................... III 目. 錄 ............................................................................................................................ V. 表目錄 .......................................................................................................................... VI 圖目錄 .........................................................................................................................VII 第1章 1.1 1.2 1.3 第2章 2.1 2.2 第3章 3.1 3.2 第4章 4.1 4.2 4.3 4.4 4.5 第5章 5.1 5.2 第6章 6.1 6.2. 緒論 ...............................................................................................................1 研究背景與動機 ..............................................................................................1 研究目的與方法 ..............................................................................................2 論文架構 ..........................................................................................................3 SURF 與 ICF 之特徵點選擇與篩選 ..........................................................4 SURF 特徵點選擇原理 ...................................................................................4 ICF 特徵點篩選原理 .......................................................................................9 像素差異法之景深量測.............................................................................10 像素差異法景深量測原理 ............................................................................ 11 影像中心區域特徵點之篩選方法 ................................................................15 以 SURF 特徵為基礎之像素差異法目標物景深量測 ............................20 量測特徵點之記錄與內插方法 ....................................................................21 未含特徵點區域處理方法 ............................................................................22 影像前處理 ....................................................................................................23 量測參數之取得方式 ....................................................................................25 目標物景深量測流程 ....................................................................................29 實驗結果 .....................................................................................................31 實驗環境概述 ................................................................................................31 實驗結果 ........................................................................................................32 結論與未來方向 .........................................................................................48 結論 ................................................................................................................48 未來研究方向 ................................................................................................49. 參考文獻 .................................................................................................................50. v.

(6) 表目錄表 3-1. 擷取角點之原始像素值 ..............................................................................18. 表 3-2. 擷取角點之測試像素值 ..............................................................................19. 表 5-1. SURF 匹配點上未經插值之離散景深數值 ...............................................37. 表 5-2. SURF 匹配點經過插值處理後之連續景深數值.......................................37. 表 5-3. 右待測物之部分景深值 ..............................................................................39. vi.

(7) 圖目錄. 圖 2-1. 圖像金字塔 ....................................................................................................6. 圖 2-2. 尺度層圖像 ....................................................................................................7. 圖 2-3. 決定主方向示意圖 ........................................................................................7. 圖 2-4. 特徵向量描述子示意圖 ................................................................................8. 圖 3-1. 像素差異法之量測系統示意圖 .................................................................. 11. 圖 3-2. 像素差異法距離量測之 h 位移示意圖(相機位於位置一) ......................12. 圖 3-3. 像素差異法距離量測之 h 位移示意圖(相機位於位置二) ......................13. 圖 3-4. 特徵點落在垂直軸向之中心軸上 ..............................................................15. 圖 3-5. 檢查落在水平軸向上之值 ..........................................................................16. 圖 3-6. 特徵點落在兩軸向交叉點上 ......................................................................16. 圖 3-7. 特徵點落在中間區域需剔除部份 ..............................................................17. 圖 3-8. 拍攝實景圖於第一位置 ..............................................................................17. 圖 3-9. 拍攝實景圖於第二位置 ..............................................................................18. 圖 4-1. 影像中心點示意圖 ......................................................................................23. 圖 4-2. 調整後之影像中心點示意圖 ......................................................................24. 圖 4-3. 參數量測系統示意圖 ..................................................................................25. 圖 4-4. 參數量測於位置一拍攝之影像 ..................................................................27. 圖 4-5. 參數量測於位置二拍攝之影像 ..................................................................28. 圖 4-6. 目標物景深量測系統之流程圖 ..................................................................30. 圖 5-1. 拍攝於距離一之影像 ..................................................................................32. 圖 5-2. 拍攝於距離二之影像 ..................................................................................32. 圖 5-3. 在位置一的圖像標記十字標 ......................................................................33. 圖 5-4. 在位置二的圖像標記十字標 ......................................................................33 vii.

(8) 圖 5-5. 經過調整的位置一圖像 ..............................................................................34. 圖 5-6. 經過調整的位置二圖像 ..............................................................................34. 圖 5-7. 兩張圖執行 SURF 匹配 ..............................................................................35. 圖 5-8. 經過 SURF 匹配並由 ICF 篩選後的圖像 .................................................36. 圖 5-9. 經平滑內插數值後製作出之景深圖 ..........................................................38. 圖 5-10. 經內插數值及數值分群後製作出之景深圖像 .........................................40. 圖 5-11. 經由 SURF 計算之興趣點 .........................................................................41. 圖 5-12. 經過填補空缺處之景深圖像 .....................................................................41. 圖 5-13. 拍攝於位置一且經校正之影像 .................................................................42. 圖 5-14. 拍攝於位置二且經校正之影像 .................................................................42. 圖 5-15. 經由 SURF 匹配之影像 .............................................................................43. 圖 5-16. 經由 ICF 篩選後之影像 .............................................................................44. 圖 5-17. 樓梯之景深圖像 .........................................................................................45. 圖 5-18. 原始圖像 .....................................................................................................46. 圖 5-19. 經邊緣偵測處理之圖像 .............................................................................46. 圖 5-20. 景深圖像 .....................................................................................................47. viii.

(9) 第1章緒論. 1.1 研究背景與動機景深量測[1]在行動機器人系統與電腦視覺中是一個很重要的議題，精準的景深量測不僅可以供機器人判定前方資訊，更可進一步推論障礙物與機器人的相對關係，對於避障與路徑規劃非常重要。目前相關的景深應用中[2], [3], [4]，例如足球機器人比賽，大部分使用全方位鏡來接收環境的影像資訊，再利用接收到的資訊進行障礙物偵測、機器人與障礙物之定位、避障與路徑規劃等動作。但是全方位鏡價格較高，接收到的影像也不是那麼精細，容易造成影像特徵扭曲變形，導致辨識與量測容易誤判。就非接觸式景深量測而言，最常以超音波[5], [6], [7]和雷射[8], [9], [10]技術為基礎。但是，超音波和雷射量測太過於依賴待測面表面的反射，如果遇到不好的介面時會導致反射數據錯亂。另外也有利用雷達發出的信號波來計算距離的方法 [11]，透過裝設信號發射器和接收器，再使用電路計算信號波的飛行時間，但這需要有較長的飛行時間才能減少計算誤差，所以僅適用在遠距量測。還有以影像為基礎的景深量測方法被提出[12], [13], [14]，這些方法一般是需要在不同位置架設兩台相機以獲得類似雙眼視覺效果再加以分析，因此，需要利用整個圖像框架 (frame)進行圖形辨識或影像分析來提取特徵以及進行特徵匹配，進而得到景深 [15], [16]。然而，這樣的系統需要建置大量的儲存空間和高速的 DSP 來處理，因此系統複雜度較高，執行速度較受限制，較難達到即時處理，成本也比較高。為了解決系統複雜度的問題，以提升執行效率，[17], [18], [19], [20], [21]提出一種以影像為基礎，藉由簡單三角關係以求得目標物景深之量測系統(IBDMS)，此方法 1.

(10) 利用兩個雷射投影器和一台 CCD 相機即可量測目標物距離和待測物之面積。不過，兩個雷射投影器需要精確地架設於相機兩旁，這對量測系統的整體校準 (calibration)而言等於是多了一個限制。此外，IBDMS 的測量精確度取決於雷射投影器之間的距離。如果需要較高測量解析度，或是需要將量測系統合併到數位相機內時，可能會造成系統整體的負擔[21]，另外，該系統在進行量測時，需要在物體的同一條影像掃描線上以手動選取方式找到兩個固定參考點，這種參考點選擇方式會產生很大誤差[1]，也無法進行自動化量測，亟需要加以改進。除了上述諸多方法外，也有使用雙眼視覺的方法[22], [23], [24], [25], [26], [27] 去找出機器人與目標物之間的實際位置，此方法是需要兩台 CCD 攝影機作為量測系統的基礎，因此價格方面也是較高，並且需要校正兩台攝影機。雖然也有利用雙眼視覺原理的基礎[27]，使用單一 CCD 攝影機模擬出與雙眼視覺相同的效果，但此方法須在外部架設一組轉動設備才能預先量測出 CCD 攝影機的旋轉角度，因此會造成實際使用上的不便。. 1.2 研究目的與方法為了克服以上諸多缺點，本文提出一種結合像素差異法與 SURF 演算法之景深量測系統。方法是使用單一相機，利用不同拍攝距離所產生的影像畫面，結合 SURF 演算法對於兩張影像的匹配能力，接著用 ICF 演算法移除較差的 SURF 匹配點，以完成自動選擇參考點，再藉由相機沿著光學中心軸方向移動時，各參考點與中心軸的像素值會隨著距離改變而跟著改變，利用目標物特徵點於影像畫面中所產生像素值的差異，即可求出目標物之特徵點與量測系統間的距離，接著再把該些求得之景深值進一步利用平滑內插處理後，即可繪製出景深圖。. 2.

(11) 1.3 論文架構本文共分為六章，內容如下：第一章緒論簡述一些目前方法與本文方法。第二章 SURF 與 ICF 之特徵點選擇與篩選說明 SURF 與 ICF 之基本原理。第三章像素差異法之景深量測介紹像素差異法之原理與特徵點篩選方法。第四章以 SURF 特徵為基礎之像素差異法目標物景深量測說明特徵點之紀錄與內插方法和 SURF 未偵測到特徵點之區域處理方法。第五章實驗結果探討與分析本文所提出之方法的準確性。第六章結論與未來方向探討本文所提出方法之優點與貢獻，並針對未來可加以改良的方向做討論。. 3.

(12) 第2章 SURF 與 ICF 之特徵點選擇與篩選. 2.1 SURF 特徵點選擇原理 Bay et al.針對尺度與旋轉之不變性，提出加速強健特徵(Speeded Up Robust Features, SURF)[28]，以建立區域特徵的偵測器與描述器。偵測器用以偵測區域特徵的點座標，結合盒子濾波器與積分影像方法，縮短影像與高斯濾波器進行迴旋積分運算所花費的時間。而描述器則利用特徵點鄰近區域內的 Haar 小波響應分佈，建立特徵點的描述向量。 SURF 是 SIFT[29]的加速版，最大好處是處理速度較快。SURF 大量改進 SIFT，在取高斯的一階和二階導數時，SURF 改以積分影像的計算來逼近其高斯導數值，達到降低計算複雜度的目的，原先將影像做縮小的動作也改成將濾波器放大達到節省時間的目的，特徵點描述方式改成記錄 x 和 y 的一階導數以節省計算時間，而特徵點維度改為 64 維，特徵點比對機制也加入判斷 Hessian 矩陣跡數(trace)的前處理，減少不必要的比對時間。以下為 SURF 的五大步驟：. (1). 建構 Hessian 矩陣根據影像 Hessian 矩陣偵測特徵點的概念，找尋 Hessian 矩陣行列式的最大值. 位置即是特徵點的座標。相對於影像 I 上的點 X  x, y ，Hessian 矩陣 H x,  在點 x 與尺度  的定義為：.  Lxx x,  Lxy x,  H  x,       Lxy x,  L yy x,  4. (2-1).

(13) 其中 Lxx x,  為影像 I 上的點 x 與高斯二階導數 Lxy x,   與 Lyy x,  。SURF. 2 g   的迴旋積分，同理定義 x 2. 使用盒子濾波器搭配積分影像方法，改善 Hessian 矩陣. 在計算上費時的缺點。盒子濾波器以 Dxx ， D yy 與 Dxy 取代 Hessian 矩陣的元素，則 Hessian 矩陣的行列式可以近似求算為：. det H approx  Dxx Dyy  wDxy . 2. (2-2). 其中 w 為使方程式平衡的權重係數， w 設為 0.9。 Hessian 矩陣使用尺度不變的概念偵測特徵，亦即包含尺度空間變數  ，可以偵測到不同尺度的區域特徵。依據盒子濾波器所偵測出的特徵點數量眾多，必須加以過濾，稱為特徵點在影像尺度空間的定位。SURF 首先在鄰近 3×3×3 的空間中使用非最大值抑制，接著將 Hessian 矩陣行列式的最大值在影像尺度空間中做內插，以便更精準地定位特徵點。描述器的建立之前，先訂出特徵點的方位，假若特徵描述向量建立在此方位上，特徵比對時則不必再考慮特徵旋轉的問題。因此，特徵點方位的建立是為了達到影像旋轉的不變性，方法是給予特徵點一個可重現的方位。可以使用 Haar 小波濾波器建立特徵點方位。區域影像特徵描述向量方面，在定義的每個子. . . 區域中將有 4 維的特徵向量，表示為 v   d x ,  d y ,  d x ,  d y ，其中  d x 與  d y 為 Haar 小波反應值的總和值。總計整個特徵描述向量的維度為 4×4×4=64。影像特徵偵測後所建立的特徵描述向量將應用於影像特徵的追蹤程序。. (2). 建構尺度空間尺度空間是圖像在不同解析度下的表示，一幅圖像 j x  在不同解析度下的表. 示可以利用高斯核(Gaussian kernel) G(￡)的迴旋積分來實現，圖像的尺度大小一般用高斯標準差來表示。在電腦視覺領域中，尺度空間被表示為一個圖像金字塔， 5.

(14) 其中，輸入圖像函數反覆與高斯函數執行核(kernel)的迴旋積分並反覆對其進行二次取樣，這種方法主要用於 SIFT 算法的實現，但每層圖像依賴於前一層圖像，並且圖像需要重設尺寸，因此，這種方法計算量較大，而 SURF 算法增加圖像核的尺寸，這也是 SIFT 與 SURF 在使用圖像金字塔原理方面的不同。演算法允許同時處理尺度空間中的多層圖像，不需對圖像進行二次取樣，進而提高演算法效能。圖 2-1(a)是傳統方式建立一個如圖所示的金字塔結構，圖像的尺寸是會變化的，並且運算會反覆使用高斯函數對子層進行平滑處理，圖 2-1(b)說明 SURF 演算法使原始圖像保持不變而只改變濾波器大小。. (a). (b) 圖 2-1. (3). 圖像金字塔[31]. 精確定位特徵點所有小於預設極值的值都會被捨棄，增加極值使檢測到的特徵點數量減少，. 最後只有幾個特徵最明顯的點會被檢測出來。檢測過程中使用與該尺度層圖像解析度相對應大小的濾波器進行檢測，以 3×3 的濾波器為例，圖 2-2 該尺度層圖像中 9 個像素點之一的檢測特徵點與自身尺度層中其餘 8 個點和在其之上及之下的兩個尺度層各 9 個點進行比較，共 26 個點，圖 2-2 中標記'x'像素點的特徵值若大於周圍像素則可確定該點為該區域的特徵點。 6.

(15) 圖 2-2. (4). 尺度層圖像[32]. 確定主方向為確保旋轉不變性，首先以特徵點為中心，計算半徑為 6 (  為該特徵點紀. 錄的尺度大小)的鄰域內的點在 x、y 方向的 Haar 小波(Haar 小波邊長取 4 )響應，並給這些響應值高斯權重係數，使得靠近特徵點的響應貢獻大，而遠離特徵點的響應貢獻小。範圍內的響應相加以形成新的向量，遍布整個圓形區域，選擇最長向量的方向為該特徵點的主方向。通過特徵點逐個進行計算，得到每一個特徵點的主方向。. 圖 2-3. 決定主方向示意圖[32]. 7.

(16) (5). 特徵點描述子 SURF 的特徵向量以特徵點為中心建立 4×4 的區域。在個別的子區域中，以. 邊長為 2  的一階 Haar 小波遮罩進行運算，即 dx 與 dy ，在每個子區域中需運算 25 次。這種作法增強了演算法抗雜訊的能力，同時對於含有定位誤差的特徵匹配也提供了較好的容錯性。最後，每個子區域可以分別由四個數值加總表示，16 個子區域可形成一個描述此特徵點的 4  4  4 的 64 個維度特徵描述子，此做法可得到數學表示式為：. Vsubregion   dx,  dy,  dx ,  dy . 圖 2-4. 特徵向量描述子示意圖[32]. 8. (2-3).

(17) 2.2 ICF 特徵點篩選原理 Identifying point correspondences by Correspondence Function (ICF)演算法[30] 是利用檢查推定(putative)的函數和估算(estimated)的函數，函數是由 Iteratively Estimate Correspondence Function (IECF)演算法[30]得來，可以用在移除兩張相似圖像錯誤匹配的點。在兩張相似圖像 I 和 I  中，可以定義函數 f ，圖中像素點 p   u, v   I 可以對應到點 p   u, v  I  ，點 p 和 p 是圖像 I 和 I  中的對應點，正確的對應點至少符合 f 和 f  其中一個對應函數，我們可以用這條件來做鑑別。 p   u, v  和 p   u, v  是對應點的組合， ei  p, p 是估測誤差，令 e  p, p  f  p   p   e1 , e2  ，會和估測的組合  p, p  對應到相同函數 f  u, v    u, v 。然而，這是一個向量並不方便使用在移除錯誤點。  2 1 T 令 c  p, p  e  p, p D  f  e  p, p ，其中 D  f    1 0. 0 ， i2 是 ei 的變異數， 2 2 . i 分別是 1, 2， c  p, p 會影響 ei 是否被淘汰，它有效地顯示出  p, p 和對應函數 f  u, v  的一致性。然而，錯誤的匹配點會被預設的閥值給移除， c  p, p    ，其. 中   0 為預設閥值。而 ICF 主要是由支持向量機(SVM, Support Vector Machine)[40]為基礎推論而來的。SVM 是一種可用來做分類的演算法，是根據統計學習理論所提出的一種機器學習方法，經由訓練(training)得到一組模型，接著新資料就可以根據先前訓練出來的模型去預測(predict)此筆資料所屬的類別。簡單來說，SVM 就是要在一群資料中找出一個超平面(hyper-plane)，來將兩個不同集合分開。. 9.

(18) 第3章像素差異法之景深量測. 在目前以影像為基礎的量測方式中，利用分析影像信號或經由全畫面影像圖形辨識的方法[9], [13], [15], [16], [19], [21], [33], [34], [35]已被廣泛的討論與應用。以此為基礎的量測系統必須使用高速 DSP 微電腦處理系統，這將造成系統體積龐大、攜帶不便，環境較易受限等缺點。另外也有使用雙眼立體視覺來完成距離量測的方法，利用兩台 CCD 攝影機[36], [37], [38]模擬雙眼視覺，在不同位置擷取兩張影像，如此影像中會有個對應關係，以視差法作為量測的依據。本章介紹的是一種以影像為基礎的量測方法，我們將介紹像素差異法[39]的距離量測原理，這是一種使用任何單一相機，即可輕易完成的簡易距離量測系統。本章節將會分為兩部分來做討論，首先會介紹距離與像素之間的關係，說明其量測原理及使用時注意事項，再來會說明特徵點位於某些地方容易造成量測值錯誤之處理方式。. 10.

(19) 3.1 像素差異法景深量測原理在影像中，距離的遠近與像素值之間存在一個關係式，名為像素差異法。這是利用單一相機和簡單的操作就可完成的量測方法。首先介紹距離與像素之間的關係，當攝影距離改變時，目標物於影像中所佔有的像素值會因為攝影距離的改變而跟著改變，如圖 3-1 所示：. N 1 ( AB). Image plane NH_max. op1. CCD camera hs. N 2 ( AB). Image plane. Δh. NH_max. op 2. hs. h1(O) h2(O). dA. A. O D(h2). dB. B. D(h1). 圖 3-1. 像素差異法之量測系統示意圖. 圖 3-1 中所使用符號說明如下： OP1 ：相機在位置一時的光學中心點位置 OP2 ：相機在位置二時的光學中心點位置 h1  O  、 h2  O  ：相機與待測物之距離. h ：不同拍攝距離 h1  O  與 h2  O  的差距 O ：相機光學中心軸與目標物垂直平面交會點 11. perpendicular plane.

(20) hs ：光學中心點 OP 到相機鏡頭的距離 N H _ max ：相機水平畫面最大像素值. D  h1  、 D  h2  ：相機於位置 h1  O  與 h2  O  所對應之實際水平投射最大寬度. d A ：為 A 點到中心 O 點的實際距離 d B ：為 B 點到中心 O 點的實際距離.  .  . N1 AB 、 N 2 AB ：兩個任意參考點 A、B 所代表的像素值. 此方法利用一個簡單的相機位移方式，相機必須沿著同一條光學中心軸進行位移，圖中以 h 表示位移量，圖 3-2 與圖 3-3 分別表示相機位於位置一與位置二時的示意圖。. 圖 3-2. 像素差異法距離量測之 h 位移示意圖(相機位於位置一). 12.

(21) 圖 3-3. 像素差異法距離量測之 h 位移示意圖(相機位於位置二). D  h1  和 D  h2  為相機實際水平最大可視範圍， A 點與 B 點為假定的參考點，由此. 我們可以得到距離與像素之間的關係式如下： D  h1  d A  dB  N1  AB  N H _ max. (3-1). D  h2  d A  dB  N 2  AB  N H _ max. (3-2). 由(3-1)、(3-2)式，我們可以進一步把式子整理成(3-3)式，如下：. D  h1 . D  h2 . .   N  AB . N 2 AB. (3-3). 1. 已知相機沿著光學中心軸移動所產生的位移量為 h  h1 O  h2 O，並將(3-3) 式整理，再利用相似三角形原理，可將公式表示為：. 13.

(22) N1 ( AB ) D(h2 ) h2 (O )  hs   N 2 ( AB ) D(h1 ) h1 (O )  hs. (3-4). 經過移項處理，可得 h1 (O)  h2 (O)  h ，代入(3-4)式可得新公式如下：.    h  h N  AB   N  AB  N  AB  h (O)   h  h N  AB   N  AB  N 2 AB. h1 (O) . (3-5). s. 2. 1. 1. 2. (3-6). s. 2. 1. 由此二式即可求得 h1 (O) 、 h2 (O) 兩位置的攝影距離(photographic distance)。. 像素差異法的參考點是需要在同一條掃描線取得兩點對應點，由於 SURF 是自動在任意位置取得對應點，因此較難限定每組對應點的位置。之前有提到兩張影像需沿著相同的光學軸進行位移，由此可知兩張相似影像的中心軸會在相同位置，此特性可由圖 3-1 OP1 與 OP2 都對應到 O 看出，這也造就另一個不會變的參考點位置。有了兩參考點可將公式改寫為：.    h  h N  AO   N  AO  N  AO  h (O)   h  h N  AO   N  AO  N 2 AO. h1 (O) . 2. s. (3-7). s. (3-8). 1. 1. 2. 2. 1.  . Note： AO 為 A 點與中心點 O 的像素值 14.

(23) 3.2 影像中心區域特徵點之篩選方法像素差異法是以相機沿著光學中心軸移動，對目標物進行拍攝所產生的位移關係，於影像中將會得到目標物所代表的像素數量值，而像素數量值會因為拍攝距離不同跟著有所改變，再利用公式算出攝影距離。因此，參考點的選擇對整體系統計算得到的結果有著很大的關聯。前述有提到 SURF 是會自動對影像計算而選擇出對應參考點，也就是說我們並無法指定參考點落於影像中何處，在參考點選擇介紹有提到 OP1 與 OP2 都對應到 O，造就另一個不會變的參考點，由(3-7)、(3-8) 式中的分母可看出，萬一參考點落在影像中心軸上會導致分母為零，這將會產生極大誤差，如下圖所示：. 圖 3-4. 特徵點落在垂直軸向之中心軸上. 當參考點落於垂直軸向之中心軸上時，這種情況理論上在所獲得的兩張影像上的差值會為零，也就是運算式中的分母為零。這時我們會轉向檢查水平軸向的像素值，如下圖所示：. 15.

(24) 圖 3-5. 檢查落在水平軸向上之值. 若是檢查此軸向後之兩張影像像素差值還是為零，這代表此參考點的水平軸向和垂直軸向之像素差值皆為零，也就是此點落在影像正中心點，此點即無法利用，如下圖所示位於中心交叉點上：. 圖 3-6. 特徵點落在兩軸向交叉點上. 一般情形，在實驗上多少會有些誤差，我們在公式中分子部份取出的像素值也會帶些誤差，若是落在影像中心點附近也會由於分母過小而把誤差放大。所以我們不只要把影像正中心點參考點捨棄，同時也要把散佈在影像正中心點附近區域的參考點給剔除，如下圖區域所示：. 16.

(25) 圖 3-7. 特徵點落在中間區域需剔除部份. 而要剔除多大區塊中的參考點，這個部分需要經由我們在中間區域附近取些測試點來做試驗，測試方法如下，我們先取兩張影像來測試：. 圖 3-8. 拍攝實景圖於第一位置. 17.

(26) 圖 3-9. 拍攝實景圖於第二位置. 圖 3-8、圖 3-9 中有兩個地方標上記號，上方以閃電型箭頭所指的區域稱做區域 1，下方以一般箭頭所指的區域稱做區域 2。我們分別在兩區域中各取一個角點來做測試，在此先把此兩點所取得之像素資訊列出：. 表 3-1. 擷取角點之原始像素值代入公式(3-7)所. 於影像 1 座標. 於影像 2 座標得之景深值. 區域 1 之點. (2092,1418). (2078,1412). 57.14. 區域 2 之點. (1949,1464). (1888,1481). 57. 接著我們要對所取得之影像座標數值做些測試，對影像 2 的座標數值調整一個像素，如下所示：. 18.

(27) 表 3-2. 擷取角點之測試像素值調整後代入公式. 調整影像 1 座標. 調整影像 2 座標. (3-7)所得之景深值. 區域 1 之點. (2092,1418). (2079,1412). 54. 區域 2 之點. (1949,1464). (1889,1481). 56.23. 對於調整一個像素來做測試的用意是為了觀察計算後的景深值變化是不是在合理誤差範圍內，因為在兩張圖像匹配過程中或多或少都會有些許誤差造成，我們取最保守的一個像素來做測試。受測的這兩個點當中，由表 3-1 和表 3-2 數據可看出區域 2 的景深值測出來的變化是比較小的，而且變化所得之值都在合理測量誤差範圍內，也就是這個範圍是要被保留下來當成依據的範圍。至於區域 1 所測之值變化就很大，由 57.14 公分變成 54 公分，這樣的變化量已經超出誤差的合理範圍了，所以這個範圍之內的點都是會被篩選掉的。我們使用的影像解析度為 4272*2848，而區域 1 的受測點距離中心軸像素差為 58，區域 2 的受測點距離中心軸像素差為 248，我們會在這兩個範圍之間取一個適當的區域作為篩選門檻，一般會取在 120 作為 X 軸向的篩選門檻，而 Y 軸向也會設定一個篩選值，我們會取 X 軸向的 60%當做篩選值，也就是 X 軸向選擇 120 的話，Y 軸向會選擇 72 左右當做篩選值。當相機平放拍攝時，我們可拍出水平軸向解析度較大，垂直軸向解析度較小的影像，如圖 3-9 的外框樣式。也就是水平軸向會使抓取到的特徵點之像素變化比例較大，因此在做運算時會先考慮由水平軸向取值計算。. 19.

(28) 第4章以 SURF 特徵為基礎之像素差異法目標物景深量測. 有了前述簡單的介紹後，我們可以知道 SURF 演算法能找出兩張影像中互相對應匹配的點。由於我們希望能得到較多的匹配點，所以把匹配條件參數設定較大，以獲得較多的匹配點，這個用意是為了製作景深圖。在製作景深圖時，最好的情況是可以讓一整個面上都有數值，這樣才不會產生破碎的圖樣。不過，光是利用 SURF 並無法讓每個點都含有數值並緊湊排列著，經過 SURF 匹配的點所求得之景深數值是離散而不連續的，所以需要讓數值之間進行內插處理才可以得到我們希望的連續數值。由於各匹配點上皆會含些許誤差值，導致所求得之景深數值不完全正確，這也就是為什麼要產生很多 SURF 匹配點的原因之一，很多點內插出來會使結果更加平滑，若有某些位置產生較大誤差時，也能藉由較多匹配點使誤差範圍降至最小。且 SURF 在尋找匹配點時，是會對整張影像作全域計算後找出的，因此找出來的匹配點不見得會在待測物的邊框上，這將會使得經過內插產生出來的圖像與原始待測物的外型不夠相似，若是多產生一些匹配點，也就可能會有多一些點落在邊框上，使得內插後之圖像外形與原始形狀較相似，這也就是為什麼要讓 SURF 跑較多匹配點的另一個原因。我們要產生較多的 SURF 匹配點，這不僅使正確的匹配點數量變多，相對的錯誤匹配點數量也是變多，所以藉由一個可以移除錯誤點的方法 ICF 來對眾多的匹配點做篩選，這樣可以更確保篩選過後留下來的匹配點大部分是正確的。. 20.

(29) 4.1 量測特徵點之記錄與內插方法經過篩選後的特徵點可藉由像素差異法景深量測公式計算出景深值，我們會對第一張輸入的影像紀錄其匹配點之 X 影像座標、Y 影像座標和景深距離值。但此時的特徵匹配點是離散的，這樣的結果並無法形成一個面來畫出景深圖，所以我們讓各點的值互相進行平滑內插處理，這樣可以使原本離散的值變成連續的，而畫出一個面。不過，這樣直接做內插處理，雖然可以讓值變成連續的，卻會讓原本不屬於同一範圍、同一區塊的也因為內插讓數值變成連續的而把各個區塊連在一起，這樣反而讓分離的區塊都變成同一區塊了，連在一起會導致要判斷有幾個物件也沒辦法，更別說是要看出物件的外型。因此，我們需要針對各區塊簡單的來做分類。理論上若是兩個待測物件擺設距離不同，SURF 也會抓取到不同地方各有一個區域的特徵點特別集中，然而這兩群特徵點算出來的景深值也會呈現一個區別，兩群的值會各自集中分布在某個特定區域範圍內。這樣可以達到一個分離區塊的效果，在分離過程中所得到的各自分離區塊中的值還是呈現離散的狀態，此時我們可以針對各自區塊內插數值進去填補，這樣呈現出來的樣子就會是兩群各自成一個面，結果必會和原始影像上經由 SURF 計算後有選取到特徵點的區域較為相似。. 21.

(30) 4.2 未含特徵點區域處理方法前述已提過 SURF 是對整張影像作全域積分計算後得出特徵匹配點。一般來說，若待測面的影像色彩較為突出的話，經由影像積分後所留下來的特徵也較為強健，所以此部分會得到較多特徵匹配點。至於，只有在少部分有偵測到特徵匹配點，也就是只有在少部分有基準點可供我們拿來計算出景深值，此時，由於其他部分皆未獲得特徵點，所以會把此部分認定為未收到回傳值的區域，也就是無法判定這個區域，因此我們將會令其為一個定值作為代表值，好讓景深圖的整體感較佳。. 22.

(31) 4.3 影像前處理當取得兩張影像後，由於影像可能會有些許的誤差，我們為了讓影像能在最小的誤差之下進行運算，所以需要進行前置處理。在前述圖 3.1 中可以看到當相機位於位置一或是位置二時，所對應影像之中心點位置是不會改變的，我們可以利用這個特性來對影像做檢查，看看兩張影像中心點位置有沒有相同，以下圖示說明：. 圖 4-1. 影像中心點示意圖. 上圖為了方便解說，我們把兩張影像的中心點示意圖放在同一張表示。圖的正中央實線交叉點為理想的中心點所在位置，也就是我們希望影像取出來後的中心點落於此處，左上方虛線相交處有個圓形標誌代表影像於位置一時中心點落於此處，右下方虛線相交處的圓形標誌代表影像於位置二時中心點坐落處。落於此兩處都不與我們理想的位置重疊，因此我們需要事前做個處理，把圖像平移至理想中心點處，如下圖所示：. 23.

(32) 圖 4-2. 調整後之影像中心點示意圖. 上圖為調整過後的影像中心點示意圖，我們把影像在位置一和位置二時的偏差作平移，圖中央圓形標誌代表偏差的圖像已經平移至理想位置上，而周圍卻出現一圈黑色底邊的圖框，這是因為平移圖像造成的。我們可由圖 4-1 看出影像在位置一時中心點是落於左上方，因此，此圖像需要向右下方平移至理想位置上，平移過程中造成圖像左上方出現空缺，因此左邊和上邊出現上圖黑邊現象。位置二則是落於右下方，須向左上方進行平移，所以會造成右邊和下邊的黑邊現象，圖 4-2 是為了方便說明，所以把兩個位置的圖像放在同一張示意圖中表示，才會有上下左右邊都是黑邊的樣子呈現出來，實際上並不會這樣。且在實際取景中，在取景的動作時就會盡量讓圖像中心點落於理想位置上，因此通常校正時只是些微調整，所以黑邊都只是些微而已，並不會造成太大影響。況且，由 CCD 取出的影像會有輕微扭曲現象，越靠近外圍扭曲現象越嚴重，而黑邊現象消除的區域剛好都是在最外圍，所以黑邊並不會對我們的結果造成多大影響。. 24.

(33) 4.4 量測參數之取得方式在本實驗中運用一台數位攝影機作為我們量測所需要的機具，因此必須預先量測出其數位攝影機內部的參數，先前文獻中[19], [21], [33]有提到攝影機參數量測的方法，我們在此作介紹，如下圖所示：. 圖 4-3. 參數量測系統示意圖. 使用像素差異法量測時，需要先量測出此相機內部參數，才能使景深量測數值更加準確。此參數量測系統可以一次獲得三種參數， hs (此為光學中心點 OP 到相機鏡頭的距離)、V (此為相機垂直方向的一半視角，兩倍 V 即為全視角)、 H (此 25.

(34) 為相機水平方向的一半視角，兩倍  H 即為全視角)。為了方便說明，我們把水平視角和垂直視角表示在同一張示意圖中，當相機的水平掃描線平行於水平量尺.  X   H ， LX 1  max   LH 1  max  ， LX 2  max   LH 2  max  ，這些參數代表從水平視角所建立的量測參數，如圖 4-3 所示。當把水平量尺移至  A1 , A2  時，其攝影距離為 H A ，於影像畫面中所占最大像素值 N H  max  對應到量尺 PL1 到 PR1 的最大水平實際距離為 LH 1  max  。同理，我們再把水平量尺置於  B1 , B2  ，其攝影距離為 H B ，於影像畫面中所占最大像素值 N H  max  對應到量尺 PL 2 到 PR 2 的最大水平實際距離為 LH 2  max  。. 當水平視角為兩倍  H 時，依相似三角形原理可知   OP, PL1 , PR1  與   OP, PL 2 , PR 2  的高分別為：. H A  hs  H  . 1 LH 1  max   cot  H 2. (4-1). H B  hs  H  . 1 LH 2  max   cot  H 2. (4-2). 在公式(4-1)與公式(4-2)中， hs  H  代表在水平視角的 hS 。將上述兩式相減並做整理可得：. . 2 HB  H A .    LH 2  max   LH 1  max  .  H  cot 1 . (4-3). 由上式我們可以求出相機攝影視窗的視角角度為多少，再把兩式相除後可得： 26.

(35) 1 H A  hS  H  2 LH 1  max   cot  H  H B  hS  H  1 L max  cot   H2  H 2. (4-4). 再做移項整理可表示為：. hS  H  . H B  LH 1  max   H A  LH 2  max  LH 2  max   LH 1  max . (4-5). 由上式即可求得相機鏡頭到光學中心點之距離。我們可藉由此相機參數量測系統，求解出相機內部的參數 hs 、V 與  H 。除此之外，每一台數位相機皆能使用本文所介紹的參數量測系統測得其內部參數。同時，取得這些參數後，任何數位相機皆可套用本文方法完成景深圖的製作。下圖為水平方向所拍攝之參數量測照片：. 圖 4-4. 參數量測於位置一拍攝之影像 27.

(36) 上圖中的紅色標籤是為了方便我們拍攝時對齊用的。拍攝這張影像時，相機的擺設位置就是在圖 4-3 中的距離 H A，而我們需要知道目前看到的這個場景實際水平寬度是幾公分，在此使用最傳統的方式，我們用標籤紙做記號，慢慢的移動調整標籤紙，最後把標籤紙貼到幾乎是在影像可視範圍的最外圍，在此影像可些微看到藍色標籤紙的身影。. 圖 4-5. 參數量測於位置二拍攝之影像. 圖 4-5 中我們可清楚看見剛剛在距離 H A 時為了測得最大實際水平距離所貼上的藍色標籤，此影像是位於距離 H B 時所拍攝的，在此用一樣的方法把最外圍的地方貼上標籤紙做記號。接著，我們會量測兩組標籤紙所貼出的實際水平距離，在 H A 、 H B 和兩組標籤紙距離為已知的情況下，我們可以輕易地代入公式 4-5 中進而計算出內部參數 hs 為多少。. 28.

(37) 4.5 目標物景深量測流程本文使用 SURF 偵測得到待測目標物之特徵點，並用 ICF 對特徵點進行篩選以移除錯誤匹配點，作為量測之參考點。有了前述特徵參考點後，再套用像素差異法以計算出該些特徵點之攝影距離，進一步獲得目標物特徵點之景深資訊。圖 4-6 為本文所提出之目標物景深量測系統流程圖，各個步驟詳述如下：. 步驟一：利用單一相機沿著軸向(axial direction)進行位移以取得兩張影像。步驟二：取得之影像或許會有誤差，所以必須先做中心點校準的前處理步驟三：利用 SURF 取得兩張影像之特徵點以進行特徵匹配，檢查匹配後之匹配點數量是否大於預設值，我們希望匹配點的數量在 5000 點以上，若匹配點數量低於設定值，則會重設匹配參數以重新執行匹配程序，直到匹配點數量高於設定值。步驟四：在眾多匹配點中仍含有錯誤匹配點，因此透過 ICF 加以篩選過濾，以提升最後保留點的匹配正確性。步驟五：計算每個匹配點於兩張影像中的水平軸向之像素差值，檢查該匹配點之像素差值是否大於設定值。若低於設定值，則再計算該匹配點於兩張影像中的垂直軸向之像素差值，再檢查像素差值是否大於設定值。若還是低於設定值，則捨棄此點。步驟六：將通過篩選的匹配點代入水平軸向或垂直軸向景深公式，以求得各匹配點之景深值。步驟七：標示各匹配點之影像座標位置和景深值。步驟八：此時各匹配點是離散分佈的，為使景深圖與原圖更為相似，我們讓各點之間進行平滑內插處理，再利用內插後之各點景深值製作成景深圖。. 29.

(38) 開始. 擷取兩張影像並作前處理. 用SURF取得匹配點. 檢查匹配點數量是否大於設定值. 重設匹配參數. NO. YES. 用ICF移除較差匹配點. 檢查 X軸向之各點像素差值是否大於設定值. NO. 檢查 Y軸向之各點像素差值是否大於設定值. YES. YES. 代入X軸向景深公式求各點之值. 代入Y軸向景深公式求各點之值. NO. 捨棄此點. 標示各點座標位置及記錄景深值. 將各離散點之景深值進行平滑內插成一個面. 利用內插後之各點景深值資訊製作成景深圖. 結束. 圖 4-6. 目標物景深量測系統之流程圖 30.

(39) 第5章實驗結果. 5.1 實驗環境概述本論文所提出的景深量測方法是藉由在不同距離時所取得之兩張影像，利用 SURF 取得大量匹配點後，再由 ICF 篩選過濾出可用的匹配點作為參考點，最後由這些可用的匹配點於影像中所佔有的像素值不同而求得我們要的景深資訊，有此資訊後，利用離散點內插值形成連續值，接著填入各點資訊製作出景深圖。實驗環境說明如下： (1). 使用的數位相機為 Canon 450D，其水平最大像素為 4272，垂直最大像素為 2848. (2). 所測得相機內部參數 hs 為 4.11 公分. (3). 個人電腦為 ASUS AS-D900 套裝電腦，CPU：Intel Core i7 2.66 GHz，RAM： DDR3 1333 1GB*3. (4). Visual Studio 2010 搭配 OpenCV2.3 執行 SURF. (5). MATLAB R2010a 執行 ICF 並製作出景深圖. 31.

(40) 5.2 實驗結果首先，依前述的步驟逐一完成。先在不同位置拍攝兩張影像，這兩個位置是要沿著相同光學中心軸來做移動，如下圖所示：. 圖 5-1. 拍攝於距離一之影像. 圖 5-2. 拍攝於距離二之影像. 32.

(41) 接著要對影像做前處理的動作，也就是要檢查看看中心點有沒有對齊，如下圖所示：. 圖 5-3. 在位置一的圖像標記十字標. 圖 5-4. 在位置二的圖像標記十字標. 上圖中的十字標記是為了檢查看看有沒有跟原圖中的基準點對齊，如果沒對齊就要對影像做平移調整，如下圖所示： 33.

(42) 圖 5-5. 經過調整的位置一圖像. 圖 5-6. 經過調整的位置二圖像. 上圖為經過平移調整後的圖像，我們可由圖像邊緣看出有一點點的黑邊現象，這是平移後所遺留的現象，並不會影響我們之後的執行結果。. 34.

(43) 經過調整後就能用 SURF 對圖像進行匹配，如下圖所示：. 圖 5-7. 兩張圖執行 SURF 匹配. 上圖經過 SURF 匹配後，我們可看出含有許多的錯誤匹配，所以還需要使用 ICF 來對此圖像做篩選過濾的動作，如下圖所示：. 35.

(44) 圖 5-8. 經過 SURF 匹配並由 ICF 篩選後的圖像. 經過 ICF 篩選後，我們可以確信大部分的匹配點都已經正確，由上圖也可以看出，本來只經過 SURF 匹配後是佈滿很多肉眼就能察覺的錯誤匹配，經過 ICF 篩選後就沒有輕易可見的錯誤匹配存在了，之後再接續使用這些匹配點才不至於出現嚴重誤差的景深數值。. 36.

(45) 再來我們要看看這些匹配點的景深數值會呈現什麼樣貌，如下表所示：. NaN NaN NaN NaN 107.62 107.63 NaN 107.65 NaN 107.67. 表 NaN NaN NaN 107.56 107.57 107.58 NaN 107.61 NaN 107.63. 5-1 NaN 107.51 107.51 NaN NaN 107.54 107.55 NaN 107.58 NaN. SURF 匹配點上未經插值之離散景深數值 107.45 107.40 NaN 107.31 107.27 NaN NaN NaN NaN NaN NaN 107.22 107.46 NaN 107.38 107.33 107.29 107.23 NaN 107.43 NaN 107.34 NaN NaN 107.49 NaN NaN NaN 107.31 107.25 107.50 107.45 NaN 107.37 NaN NaN NaN NaN NaN 107.38 NaN 107.27 107.52 NaN 107.43 NaN 107.35 NaN 107.53 107.49 NaN 107.40 107.36 107.30 NaN NaN 107.46 NaN NaN 107.31. 107.14 NaN NaN 107.18 NaN 107.20 107.21 NaN 107.23 NaN. 上表中是取邊緣一小部分匹配點數值來當作參考，沒有數值的地方用 NaN 表示，其餘有數值的地方可看出都是零零散散的分佈著，這樣的結果是無法製作成一個景深圖，因此我們需要做些填補的動作把數值填補為連續的，這樣才能有數值來畫出圖像，如下表所示：. NaN NaN NaN NaN 107.62 107.63 107.64 107.65 107.66 107.67. 表 5-2 SURF 匹配點經過插值處理後之連續景深數值 NaN NaN 107.45 107.40 107.35 107.31 107.27 107.20 NaN 107.51 107.45 107.41 107.36 107.32 107.28 107.22 NaN 107.51 107.46 107.42 107.38 107.33 107.29 107.23 107.56 107.52 107.47 107.43 107.39 107.34 107.30 107.24 107.57 107.53 107.49 107.44 107.40 107.35 107.31 107.25 107.58 107.54 107.50 107.45 107.41 107.37 107.32 107.26 107.60 107.55 107.51 107.46 107.42 107.38 107.33 107.27 107.61 107.56 107.52 107.48 107.43 107.39 107.35 107.28 107.62 107.58 107.53 107.49 107.44 107.40 107.36 107.30 107.63 107.59 107.54 107.50 107.46 107.41 107.37 107.31. 37. 107.14 107.15 107.17 107.18 107.19 107.20 107.21 107.22 107.23 107.25.

(46) 由上表我們可看出本來為空值的地方都已透過平滑內插處理為連續數值，有了此數值就可以製作出一張平滑的景深圖像，此圖像橫坐標和實際影像橫坐標相對應，縱座標亦是，如下圖所示：. 圖 5-9. 經平滑內插數值後製作出之景深圖. 由上圖可看出經由內插數值後確實可以顯示成圖像的樣貌，不過，這樣卻把 SURF 沒抓到匹配點的地方也內插值進去，如此的樣貌並不容易清楚的解讀出前方待測物的數量、距離、外型等等資訊。我們必須讓圖像更容易判別才行。根據原圖顯示，分別在左邊和右邊有明顯的待測物，在上圖 5-9 中卻是把中間部分 SURF 沒有抓到特徵點的區域也內插值進去，導致結果跟實際大不相同。所以需要再檢查看看有沒有好的方法修正。我們針對左邊和右邊待測物分別查看景深數值，如下所示：. 38.

(47) 50.76 50.76 50.77 50.77 50.77 50.78 50.78 50.79 50.79 50.79. 50.76 50.76 50.77 50.77 50.78 50.78 50.78 50.79 50.79 50.80. 表 5-3 50.76 50.77 50.77 50.77 50.77 50.77 50.78 50.78 50.78 50.78 50.78 50.79 50.79 50.79 50.79 50.79 50.79 50.80 50.80 50.80. 右待測物之部分景深值 50.77 50.77 50.77 50.78 50.77 50.77 50.78 50.78 50.78 50.78 50.78 50.78 50.78 50.78 50.78 50.79 50.78 50.79 50.79 50.79 50.79 50.79 50.79 50.79 50.79 50.79 50.80 50.80 50.80 50.80 50.80 50.80 50.80 50.80 50.80 50.81 50.80 50.81 50.81 50.81. 50.78 50.78 50.79 50.79 50.79 50.80 50.80 50.81 50.81 50.81. 50.78 50.78 50.79 50.79 50.80 50.80 50.80 50.81 50.81 50.82. 表 5-2 為左待測物之景深數值，與上表對照之後可察覺出數值分別各成一群。也就是說左邊待測物對應的原始距離值為 A 公分，右邊待測物對應的原始值為 B 公分，左邊那群由 SURF 選出的特徵點經由景深公式計算出來的值會接近 A 公分，右邊那群算出來的值會接近 B 公分。我們利用這個關係來做一個分群的動作，接著再各自內插值進去填補，這樣呈現出來的樣子就會是兩群各自成一個面，和原始影像上經由 SURF 計算後有選取到特徵點的區域較為相似，下圖為經過分群後製作出之景深圖像：. 39.

(48) 圖 5-10. 經內插數值及數值分群後製作出之景深圖像. 上圖經由分群的方式可以讓待測物的基本資訊顯現出來。在原圖中左邊待測物為一個傾斜物件，並於傾斜物件上方放置一個平面物件，右待測物則為一個平面物件，傾斜物件最主要是要看景深圖像能不能有由近到遠的漸層色彩效果，而平面圖像則是要看能不能成為一個穩定同色彩而不會跳色的效果。由於圖 5-10 中所顯示出來的樣貌僅有待測物的景深圖像，這是因為 SURF 對於太過單純的區域幾乎無法正確找出匹配點，如下圖所示：. 40.

(49) 圖 5-11. 經由 SURF 計算之興趣點. 由上圖可看出經由 SURF 計算之興趣點大多落於較有變化的區域，導致在較單調的區域得不到參考點來計算景深值，為求景深圖像之完整性，我們會在沒有偵測到參考點的區域給予一個假定值，讓整張景深圖像與實際影像呈現較完整的樣貌，如下圖所示：. 圖 5-12. 經過填補空缺處之景深圖像. 41.

(50) 接著，要找個比較一般的場景來看看結果會是如何。我們找了樓梯來測試，從樓梯的表面來看，可看出內含許多細小微粒，使表面看起來有一點一點的樣子，而且樓梯剛好是一階一階的，結果應該可以呈現出漸層的感覺。一樣是照之前步驟來做，先沿著相同光學中心軸不同攝影距離取得兩張影像，再做中心點校正，並做平移的調整動作，如下圖所示：. 圖 5-13. 拍攝於位置一且經校正之影像. 圖 5-14. 拍攝於位置二且經校正之影像. 42.

(51) 再來，讓兩張圖做 SURF 匹配的動作，如下所示：. 圖 5-15. 經由 SURF 匹配之影像. 由上圖可見，內含非常多的錯誤匹配點。接著使用 ICF 把錯誤匹配點篩選掉，如下圖所示：. 43.

(52) 圖 5-16. 經由 ICF 篩選後之影像. 由上圖可發現，比較近的區域影像解析度會較好，比較可能成為 SURF 的興趣點，也會由於特徵較強健而被保留。接著看看景深圖像會呈現什麼樣貌，如下圖所示：. 44.

(53) 圖 5-17. 樓梯之景深圖像. 製作出來的景深圖像可看出下方部份的漸層是比較清楚些的，越往上則由於特徵越不強健，導致被篩選率或錯誤率都較高。. 45.

(54) 在上述景深圖中，可以看出最後顯示出來的景深圖像和原始圖像中的物件外型有些落差，所以在此利用邊緣偵測[41]把物件的邊框找出來，接著使用原本的方法繼續完成景深圖像。如下圖所示：. 圖 5-18. 圖 5-19. 原始圖像. 經邊緣偵測處理之圖像 46.

(55) 最後保留物件的完整外框來做運算和填色的動作，再製作出景深圖像。. 圖 5-20. 景深圖像. 景深圖像把較近的物件用較深的顏色表示，而白色部分代表未收到回傳值的區域，由此可判斷出影像中物件的相對距離之遠近關係。. 47.

(56) 第6章結論與未來方向. 6.1 結論習知之 IBDMS 系統在做距離量測時必須架設兩組雷射發射器，而且此兩道雷射發射器射出之光束必須與數位攝影機之光學中心軸成平行狀態，所以要準確架設此設備必須對諸多細節做考量，才能獲得較精確之目標物距離量測。因此本論文所提出的方法是以影像為基礎，讓相機沿著相同光學中心軸移動，在不同拍攝距離下取得兩張影像，再利用 SURF 於影像中全域計算以找出興趣點進行特徵點匹配，之後再利用 ICF 對大量的匹配點執行篩選，最後被保留下來的匹配點會與中心軸比較並取得像素差值，利用各點之像素差值代入像素差異法的量測公式，即可求得各參考點的位置與量測系統之間的攝影距離，再把各特徵點之攝影距離數值製作成景深圖，方便判斷相對關係。藉由結合 SURF 演算法自動匹配取得兩張影像的基準參考點，本論文改善了先前的像素差異法需要手動取得參考點的問題，特別是以人工手動方式的作法只能取得特徵明確的地方作為參考點，而 SURF 則可以在肉眼無法清楚判斷出特徵點的區域選取出特徵點，因此系統可取得更精確之像素值，提升景深量測之精確度。. 48.

(57) 6.2 未來研究方向本論文使用 SURF 演算法來對影像尋找興趣點和執行匹配的動作，有匹配到的點才有機會變成我們要的參考點，然而影像的特徵如果不夠強健，會使特徵很容易就被篩選掉，這樣會使我們喪失很多本來該有的資訊，使得呈現出來的結果有空洞，未來若能加入特徵強化的技術，可使此部份得到改善。再來就是加入較好的影像辨識技術，這不僅可以使邊緣偵測的效果和區塊的判定更加準確，也可以讓使用範圍更廣泛。現在的景深圖像都是為單純靜態顯示，未來或許可以加入互動式的景深顯示，也就是滑鼠所點位置直接秀出資訊，讓使用者更易得到所需資訊。. 49.

(58) 參考文獻. [1]. Chen-Chien Hsu, Ming-Chih Lu, Wei-Yen Wang and Yin-Yu Lu, “Distance Measurement Based on Pixel Variation of CCD Images,” ISA Transactions, Vol. 48, no. 4, pp. 389-395, Oct. 2009.. [2]. E. Menegatti, A. Pretto, A. Scarpa and E. Pagello, “Omnidirectional vision scan matching for robot localization in dynamic environments,” IEEE Transactions on Robotics, vol. 22, no.3, 2006, pp. 523-535.. [3]. J.C. Fernandes and J.A.B. Neves, “Using Conical and Spherical Mirrors with Conventional Cameras for 360° Panorama Views in a Single Image,” IEEE International Conference on Mechatronics, Budapest, 3-5 July 2006, pp. 157-160.. [4]. Bing-ru Liu, Yun Xie, Yi-min Yang and Zhen-Zhen Qiu, “A self-localization method with monocular vision for autonomous soccer robot,” IEEE International Conference on Industrial Technology, Hong Kong, 14-17 Dec. 2005, pp. 888-892.. [5]. A. Carullo and M. Parvis, “An ultrasonic sensor for distance measurement in automotive applications,” IEEE Sensors Journal, Vol. 1, no. 2, pp. 143-147,2001.. [6]. Alessio Carullo, Franco Ferraris and Salvatore Graziani, “Ultrasonic Distance Sensor Improvement Using a Two-Level Neural Network,” IEEE Transactions on Instrumentation and Measurement, Vol. 45, no. 2, pp. 667-682, April 1996.. [7]. Kal-Tai Song and Wen-Hui Tang, “Environment Perception for a Mobile Robot Using Double Ultrasonic Sensor and a CCD Camera,” IEEE Transactions on Industrial Electronics, Vol. 43, no. 3, June 1996.. [8]. Hus-Ting Shin, “Vehicles crashproof laser radar,” M.S. thesis, Optical Science Center, Nation entral Univ., Taoyuan County, Taiwan, 2000. 50.

(59) [9]. Cheng-Chung Peng, “A Compact Digital Image Sensing Distance and Angle Measuring Device,” M.S. thesis, Optical Science Center, Nation Central Univ., Taoyuan County, Taiwan, 2001.. [10] B. Culshaw, G. Pierce and Jun Pan, “Non-contact measurement of the mechanical properties of materials using an all-optical technique,” IEEE Sensors Journal, Vol. 3, no. 1, pp. 62-70, 2003. [11] Boren zheng, Beniu Zhang, Zaixian Qing and Xiaolong Liu, “A novel long-distance measurement method based on secondary radar,” IEEE International Conference on Electrical and Control Engineering, China, pp. 198-200, 2010. [12] M. Miwa, M. Ishii, Y.K. and M. Sato, “Screen projection camera for ranging far away objects,” 15th International Conference on Pattern Recognition, Spain, pp. 4744-4747, 2000. [13] T. Egami, S. Oe, K. Terada and T. Kashiwagi, “Three dimensional measurement using color image and movable CCD system,” The 27th Annual Conference of the IEEE Industrial Electronic Society, 2001, pp. 1932-1936. [14] A. Cano-Garcia, J.L. and P.R. Fernaindez, “Simplified Method for Radiometric Calibration of an Array Camera,” Proceedings of the IEEE International Symposium on Intelligent Signal Processing, Oct. 2007, pp.1-5. [15] T. Kanade, H. Kano and S. Kimuram, “Development of a Video-Rate Stereo Machine,” Proc 1995 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, Pittsburgh, USA, August, 1995, Vol. 3, pp. 95-100. [16] Y. Tanaka, A. gofuku, I. Nagai and A. Mohamed, “Development of a Compact Video-rate Range finder and its application,” Proc. 3rd Int. Conf. on Advanced Mechatronics, Okayama, Japan, August, 1998, pp. 97-102.. 51.

(60) [17] Ming-Chih Lu, Wei-Yen Wang and Chun-Yen Chu, “Optical-Based Distance Measuring System (ODMS),” The Eighth International Conference on Automation Technology, 2005, pp. 282-283. [18] Ming-Chin Lu, Yin-tuei Hsu and Jih-Fu Tu, “Automobile SSD Alert System,” Proceedings of the Ninth International Conference on Distributed Multimedia Systems, 2003, pp. 806-809. [19] M.C. Lu, “Image-based height measuring system for Liquid or particles in tanks,” ROC patent of invention, No. 201536, 2004. [20] Ming-Chih Lu, “Vorrichtung zum Messen des Fullstands von agergut,” Nr. 203 19 293.1,. IPC:G01F. 23/292,. 12.03.2003. TW. 92105320,. BUNDESREPUBLIK. DEUTSCHLAND. [21] Ming-Chih Lu, Wei-Yen Wang and Chun-Yen Chu, “Image-Based Distance and Area Measuring Systems,” IEEE Sensors Journal, vol. 6, no. 2, pp. 495-503, April 2006. [22] George C. Karras, Dimitra J. Panagou and Kostas J. Kyriakopoulos, “Target-referenced Localization of an Underwater Vehicle using a Laser-based Vision System,” OCEANS, Boston, 2006, pp. 1-6. [23] Naruto Yonemoto, Kazuo Yamamoto, Kimio Yamada, Hidemi Yasui, Naohiro Tanaka, Claire Migliaccio, Jean-Yves Dauvignac and Christian Pichot, “Performance of obstacle detection and collision warning system for civil helicopters,” Proceedings of the SPIE on Enhanced and Synthetic Vision 2006, vol. 6226, 2006, pp. 622608,. [24] Hiroyuki Ukida and Sumio Takamatsu, “3D Shape Measurements Using Stereo Image Scanner with Three Color Light Sources,” Instrumentation and Measurement Technology Conference, vol. 1, May 18-20 2004, pp. 639-644.. 52.

(61) [25] H.G. Nguyen and J.Y. Laisne, “Obstacle detection using bi-spectrum CCD camera and image processing,” Proceedings of the Intelligent Vehicles Symposium, June 29 - July 1 1992, pp. 42-50. [26] 曾笠哲，Optocal Flow-base Obstacle Avoidance for Fixed Wing UAV in Umcertain Environment, 成功大學碩士論文，民國九六年。 [27] Hongyu Di, Qi Shang and Sun'an Wang, “A virtual binocular vision range finding method of remote object based on single rotating angle indexing camera,” The 9th International Conference on Electronic Measurement & Instruments (ICEMI'09), Beijing, Aug. 16-19, pp. 2-846-2-849, 2009. [28] H. Bay, T. Tuytelaars and L. Van Gool. “SURF: Speeded Up Robust Features,” European Conference on Computer Vision, pp. 404-417, 2006. [29] D. Lowe, “Distinctive image features from scale-invariant keypoints,” International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004. [30] X. R. Li and Z. Y. Hu, “Rejecting Mismatches by Correspondence Function,” International Journal of Computer Vision, vol. 89, pp. 1-17, 2010. [31] Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346-359, 2008. [32] Chris Evans. Notes on the OpenSURF Library. January 18, 2009. [33] D. Katsoulas and A. Werber, “Edge detection in range images of piled box-like objects,” Proceedings of the 7th International Conference on Pattern Recognition, Cambridge UK, vol. 2, August 23-26, 2004, pp. 80-84. [34] H. Yan, “Image analysis for digital media applications,” IEEE Computer Graphics and Applications, vol. 21, no. 1, Jan. 2001, pp. 18-26.. 53.

(62) [35] B. G. Mertzios and IS. Tsirikolias, “Applications of coordinate logic filters in image analysis and pattern recognition,” Proceedings of the 2nd International Symposium on Image and Signal Processing and Analysis, Pula, June 19-21, pp. 125-130, 2001. [36] J. C. Aparicio Femandes and J. A. B. Campos Neves, “Angle Invariance for Distance Measurements Using a Single Camera,” IEEE International Symposium on Industrial Electronics, vol. 1, pp. 676-680, 2006. [37] Ming-Chih Lu, Cheng-Chuan Chen, Chun-Yen Chu and Chin-Tun Chuang, “The apparatus and method of the distance measurement,” ROC patent of invention, No. 279526, 2007. [38] Fang-Jung Shiou and Ruey-Tsung Lee, “Opto-electronic detector for distance and slanting direction measurement of a surface,” ROC patent of invention, No. 246585, 2004. [39] Chen-Chien Hsu Ming-Chih Lu and Ke-Wei Chin, “Distance Measurement Based on Pixel Variation of CCD Images,” Proceedings of the 4th International Conference on Autonomous Robots and Agents, New Zealand, Feb. 10-12, pp. 324-329, 2009. [40] http://www.cmlab.csie.ntu.edu.tw/~cyy/learning/tutorials/SVM2.pdf [41] http://en.wikipedia.org/wiki/Sobel_operator. 54.

(63)