第二章 理論基礎與應用
2.1 SIFT( Scale-invariant feature transform )
SIFT 全名為尺度不變特徵轉換(Scale-invariant feature transform)是由 Lowe[5]
所提出，此演算法可以擷取出關鍵點。首先要將原圖進行縮減取樣 n 次(通常取
13
圖 2-1 DOG 金字塔
圖 2-2 DOG 找極值
14
15
16
圖 2-3 特徵向量
(a)
17
(b)
圖 2-4 (a)原圖 (b)SIFT 偵測
2.2 SURF 演算法
加速穩健特徵[6](Speeded Up Robust Features, SURF)是由 Bay 在 2006 年提出 了一個強健的圖像辨識和強健演算法。它是去做改良 SIFT 演算法，也可以說是 SIFT 的加速版。一般而言，SURF 會比 SIFT 快上好幾倍，並且在多個圖片的情 況下具有更好的穩定性。主要包含了興趣點的偵測(Interest Point Detector)及特徵 描述子(Feature Descriptor)。SURF 最大的特點是在於它使用 harr 演算法及積分影 像的概念，這樣可以加速程式的執行的時間。
18
19
20
21
該候選點的 Hessian 行列式值大於其他點的話，代表此點為區域性的極值，如圖 2-10。第三，利用 Hessian 行列式值以內插法求得次像素精度。
圖 2-10 尺度層圖像
2.2.5 特徵點主方向
為了決定主方向可以達到尺度不變的特性，以興趣點上的尺度間距為s，使 用 Haar 濾波器的邊長為 4s，興趣點為圓心計算在半徑 6s 的範圍內取樣點的 x、y 方向，同時乘上標準差 2s高斯係數。以圓心角為 / 3扇形區域，以一個微小 的小角度旋轉一周掃描興趣點，在每一個角度分別去對 x、y 方向的 Harr 小波轉 換而得到了一個新的向量，圖 2-11。最後，把所有的向量去做比較，最大者就是 興趣點的主方向。
22
圖 2-11 主方向的搜尋
2.2.6 特徵點描述子
以興趣點為中心，建立邊長為20s的方塊作為 Harr 小波響應的範圍，再將方 塊分成 4x4 個方形方塊。將每個方塊的響應值和絕對值相加，形成了四個分量
dx、
dx 、
dy、
dy 的總和為特徵向量v，如 2-24 式，dx 代表水平方向 的小波響應，dy 則是代表垂直方向的小波響應，如圖 2-12。這整個方塊總計為一 個 4x4x4=64 為的向量。( , , , )
v
dy dx dy dx (2-24)圖 2-12 特徵向量描述子
23
(a) (b)
圖 2-13 (a)原圖(b)SURF 檢測
2.3 Laplacian of Gaussian
Laplacian of Gaussian 主要是利用高斯模糊的結果，再用拉普拉斯繼續求邊緣，
首先我們要先介紹拉普拉斯算子，然後再介紹和高斯模糊再結合後的效果。
24
25 重複多次後，在 Consensus set 中有超過一定數量的情況下，則代表此模型為可行
26
的，最後重複上述的步驟到一定的次數後，找出誤差最小的模型為 RANSAC 的 結果。
圖 2-17 RANSAC 結果示意圖[8]
2.5 比較 SIFT 和 SURF 差異
本論文主要是利用 SURF 來偵測特徵點，而不是使用傳統的 SIFT，因為在運 算的速度來說 SURF 會比 SIFT 來得快，以下會介紹一下兩者的差異:
27
28
(a) (b)
(c) (d)
(e) (f)
圖 2-18 (a)原圖 (b)灰階雜訊圖 (c)均值濾波 (d)高斯濾波 (e)中值濾波 (f)雙邊濾波
29
2.7 影像銳化
影像銳化最主要的目的就是把模糊的影像變得更加清晰，請可以把細節變得 更加清楚。本論文使用邊緣銳化圖像，為了加強邊緣和細節來改善特徵匹配的結 果，而 Sobel 和 Laplacian 是最常被用來使用強化邊緣。
(a)
(a) (c)
圖 2-19 (a)原圖 (b)Sobel 偵測 (c)Sobel 銳化
30
(a)
(a) (c)
圖 2-20 (a)原圖 (b)Laplacian 偵測 (c) Laplacian 銳化
2.8 特徵擷取結合邊緣銳化
在一般靜態的情況下，我們可以使用不管是 SIFT 或者是 SURF 都可以很準 確地抓取到目標的特徵，但如果在動態的情況下，特徵點相對來說會少很多，所 以我們使用了邊緣強化可以增加特徵點，這樣不管是在靜態還是動態的情況下，
都能去抓到多個特徵點，但是如果比較靜態，加強邊緣的話並不會比較多的，但 在動態會好很多。
在靜態原圖的情況下，使用一般的演算法就可以很清楚地去偵測每一個特徵，
但如果在動態的情況可以發現，在使用邊緣偵測再去做特徵擷取的方法會比在靜
31
態的情況下來得多一些。
圖 2-21 原圖靜態特徵點[14]
(a)
32
(b)
圖 2-22 動態特徵圖(a)沒有邊緣銳化 (b)有邊緣銳化
33
第三章 實驗設備
3.1 個人電腦
使用電腦為 Intel Core i5-4430CPU 3.00GHz，RAM 為 12GB，在 Visual Studio 平台下進行作業，來做一系列的影像處理。規格如下
表 3-1 電腦配備
CPU
Intel Core i5-4430 3.00GHzRAM 12GB
Operating System Windows 7
Language
Visual Studio C++3.2 攝影機
本研究採用 LifeCam Studio
圖 3-1 攝影機
34
3.3 資料庫
這裡我們使用了 CERTH Image Blur Dataset[13]的資料庫，它提供一個全面的 圖像數據集，包括無失真，自然模糊和人為模糊的圖像，用於圖像評估。
CERTH 圖像模糊數據集由 2450 個圖像組成，其中 1850 個是在不同拍攝條 件下由各種相機拍攝的照片，在拍攝後未以任何方式進行更改，然後對它們還提 供幾種類型的高斯、動態的圖像。這裡我們主要是要使用他們的動態影像來呈現 效果。
這裡我們還提供一個資料庫 Trajectory for Variable Frame-Rate[14]，它有一個 很大的優點就是它有顯示是多少拍照頻率，且有能供更快的動態影像，可以進一 步的去證明我們的方法。
35
36
圖 4-1 Sobel 偵測銳化的結果
(a)
37
(b)
圖 4-2 (a)SIFT 特徵點 (b)SURF 特徵點
圖 4-3 經過
RANSAC 匹配的結果38
圖 4-4 經過 Sobel 分別結合 SIFT 和 SURF 的流程圖
圖片輸入
高斯濾波
SIFT SURF
RANSAC
Sobel 偵測
Matching
points
Good Matching
Points
39
4.3 實驗二
這裡我們使用 LoG 的方法先去做邊緣的銳化如圖 4-5，接下來一樣分別使用 SIFT 和 SURF 偵測特徵點如圖 4-6，之後使用 RANSAC 來做篩選，並分別顯示 當沒有做 RANSAC 和有做 RANSAC 的差別如圖 4-7，最後會和實驗一一起統計 在不同的特徵偵測和有無 RANSAC 的匹配點，有做 RANSAC 的情況在本文稱為 好的匹配點，而沒有經過 RANSAC 稱為匹配點且我們連續做 20 張動態圖像去做 分析去統計。如圖 4-8 為實驗二的流程圖。
圖 4-5 LoG 銳化
40
(a)
(b)
圖 4-6 (a)SIFT 特徵點 (b)SURF 特徵點
41
圖 4-7 經過
RANSAC 匹配的結果42
圖 4-8 經過 LoG 分別結合 SIFT 和 SURF 的流程圖
圖片輸入
SIFT SURF
RANSAC
Matching
points
Good Matching
Points
LoG
43 Laplacian of Gaussian 邊緣偵測另一個沒有使用。
44
圖 4-9 沒使用邊緣強化的情況(平移)
圖 4-10 使用邊緣強化的情況(平移)
表 4-2 Laplacian of Gaussian 邊緣偵測於有無邊緣強化之比較結果(平移)
比較內容 邊緣強化 無邊緣強化
圖 1 特徵點數 980 855
圖 2 特徵點數 518 500
匹配個數 980 855
好的匹配點個數 927 794
運算時間(s) 0.87322 0.877515
可以發現在有邊緣強化的情況下，特徵點的個數、匹配點的個數都會比沒有 邊緣強化了情況下來得好。
45
4.6 實驗四
本文接下來討論如果書本在旋轉的情況下所偵測出來的結果。這裡是用 SURF 演算法和 RANSAC 篩選所偵測出來，一樣比較有無 Laplacian of Gaussian 邊緣偵測強化的結果。
圖 4-11 沒使用邊緣強化的情況(旋轉)
圖 4-12 使用邊緣強化的情況(旋轉)
46
表 4-3 Laplacian of Gaussian 邊緣偵測於有無邊緣強化之比較結果(旋轉)
比較內容 邊緣強化 無邊緣強化
圖 1 特徵點數 980 855
圖 2 特徵點數 804 766
匹配個數 980 855
好的匹配點個數 947 702
運算時間(s) 0.865755 0.919031
在物體旋轉的情況下一樣可以發現，在沒有邊緣強化下特徵點的個數、匹配 點的個數都會比沒有邊緣強化的情況下來得好。
從實驗三和實驗四可以發現物體不管是在平移或者是在旋轉的情況下，有使 用邊緣強化的情況都會比原本沒有邊緣強化來得好，並可得知邊緣強化可加強特 徵點的匹配數。
47
第五章 結論與未來展望
本文的研究主要提出了基於邊緣強化去結合特徵演算法去對移動物體去做 偵測。在邊緣偵測的方式我們使用 Laplacian of Gaussian 和 Sobel 的方法成功的可 以改善物體在移動的情況下較難去得到特徵點的問題，並且使用 RANSAC 的演
48
參考文獻
[1] John Canny, “A Computational Approach to Edge Detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence , vol.PAMI-8, no.6, Nov, 1986.
[2] Penghui Jiang, Shengjie Zhao, Samuel Cheng, “Rotational invariant LBP-SURF for fast and robust image matching,” International Conference on Signal Processing and Communication Systems, Dec. 2015.
[3] L. Juan, O.Gwun, “A Comparison of SIFT, PCA-SIFT and SURF,”
International Journal of Image Processing, pp.143-152, 2009.
[4] Ondrej Miksik, Krystian Mikolajczyk, “Evaluation of Local Detectors and Descriptors for Fast Feature Matching,” Pattern Recognition, pp.2681-2684, 2012.
[5] Lowe, David G. "Distinctive Image Features from Scale-Invariant
Keypoints ". International Journal of Computer Vision, pp. 91–110, 2004.
[6] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool, “SURF: Speeded Up Robust Features,” Computer Vision and Image Understanding, vol. 110, no.
3, pp. 346–359, 2008.
[7] Martin A. Fischler, Robert C. Bolles, “Random Sample Consensus: A Paradigm for Model Fitting with Apphcatlons to Image Analysis and Automated Cartography,” Communications of the ACM, vol. 24, pp.381-395, 1981.
[8] 錢逢祥，蔡政崇，楊傑文，Node.js 模組參考手冊，松崗出版社，2015 [9] Marko Heikkila, Matti Pietikainen “A Texture-Based Method for Modeling
the Background and Detecting Moving Objects,” IEEE TRANSACTIONS ON
49
PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 28, no. 4, Apr.
2006.
[10] T. Ojala, M. Pietikainen, and T. Maenpaa, “Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 7, pp.
971-987, July 2002.
[11] Marko Heikkila, Matti Pietiainen, and Cordelia Schmid, “Description of interest regions with local binary patterns,” Pattern Recognition, vol. 42, Mar., pp. 425–436, 2009.
[12] Prabhakar C J and Praveen Kumar P U, “LBP-SURF Descriptor with Color Invariant and Texture Based Features for Underwater Images,” ICVGIP, Dec.
2012.
[13] E. Mavridaki, V. Mezaris, “No-Reference blur assessment in natural images using Fourier transform and spatial pyramids”, IEEE International Conference on Image Processing, Paris, France, Oct., 2014.
[14] Ankur Handa, Richard A. Newcombe, Adrien Angeli and Andrew J. Davison,”
Real-Time Camera Tracking: When is High Frame-Rate Best,” Computer Vision–ECCV 2012, pp. 222-235, 2012
[15] 朱庭葳，以邊緣強化之 SIFT 偵測移動物件， 國立臺灣科技大學電機 系，碩士論文，2016 年
[16] 鍾秉剛，基於向量模型設計與實現蒙地卡羅定位與路徑規劃於輪型移動 機器人，國立臺灣師範大學機電工程系，碩士論文，2015 年
[17] 陳希哲，應用運動回復結構技術建立機器手臂夾取點與三維物體模型，
50