影像分割

航空影像的高解析度保存了豐富的影像特徵以利影像匹配與搜尋的進行。在 2004 年 David G.Lowe[3][4][26]提出尺度不變特徵轉換(Scale-Invariant Feature Transform，SIFT)的方法迄今，由 SIFT 運算所得的特徵矩陣針對影像 匹配的精準度以及穩定性仍然是目前較為出色的方法，但是高維度的特徵矩陣亦 伴隨著高運算複雜度的時間成本，進而導致多數 SIFT 的相關方法皆致力於簡化 特徵維度，藉此換取更多時間成本，使局部影像特徵描述更貼近即時運算。假設 以入門級的無人機拍攝 10 張需要匹配辨識的航空影像，並且每張航空影像有賴 於鏡頭技術的提升，解析度各別為 4000x3000 像素，倘若此時直接針對影像進行 SIFT 運算提取關鍵點約莫有 224,201 至 407,861 點，然而 10 張影像共可以獲得 2,242,010 至 4,078,610 點關鍵點，經過 SIFT 特徵敘述後將會有2242010 × 128(Byte) ÷ 1024(Kilo Byte) ÷ 1024(Mega Byte) = 273.68 (MB)至497.88 (MB) 大小的特徵矩陣。在第 1.3 章所提及的 SURF[6]省略了 SIFT 的 4 個方向，特徵 維度由 128 維降低至 64 維；SIFT-PCA[17]與 SURF-PCA[27]則是以原本的 SIFT 或者 SURF 提取特徵矩陣後，利用 PCA 的概念進行簡化，效果則有限;改良式 SIFT 技術[36]利用物件提取技術[14][16][32]與 OTSU 門檻植[22][35]之概念，分離 前景(Foreground)和背景(Background)，藉此簡化關鍵點數，並且當影像灰階值 斯差分金字塔找出空間極值。現有一張解析度為 11460x12260 像素的屏東市航空 影像，針對「切割影像之像素大小」與「保存較多的影像數據」為主要目標，設 計三組實驗：首先，第一組實驗將設計三組操作變因：以 4096x4096、2048x2048、

28

1024x1024 像素做為切割後的子影像大小進行關鍵點與子影像像素的分析，其實 驗數據於圖 18 以及表 1。接著，第二組實驗則是透過第一組實驗的三組子影像 集合進行下列三個步驟以完成模擬，其流程如圖 19 所示，首先將現有的子影像 降採樣至維度[2², 2¹⁰-像素以模擬存放於資料庫中的目標影像，然後將同張子影 像獨立縮放至1000x1000像素用於模擬待匹配的影像，最終以第二步產生的子影 像為基準，分別與同張影像所產生的九種像素[2², 2¹⁰-的目標影像進行 SIFT 辨 識，評估子影像大小與匹配率(Matching Rate)的情況，並且得到圖 20 至圖 25 之實驗結果。最後，第三組實驗取第一組實驗中分割像素為 1024x1024 的子影像 集合紀錄不同分割尺度執行 SIFT 關鍵點定位時間、特徵描述時間、完成敘述的 總時間並進行分析，如表 2。

在以上幾組實驗中，第一組實驗的影像切割方法如圖 17 所示，倘若切割像 素大於剩下像素時，則重複取用上一次已切割的影像像素；第二組實驗的匹配率 (Matching Rate)公式定義如同公式(18)所示，其中𝐾𝑒𝑦𝑃𝑜𝑖𝑛𝑡_𝐶𝑜𝑢𝑛𝑡𝐺𝑜𝑜𝑑_𝑀𝑎𝑡𝑐𝑕𝑒𝑠

為好的匹配點數量，𝐾𝑒𝑦𝑃𝑜𝑖𝑛𝑡_𝐶𝑜𝑢𝑛𝑡𝑇𝑎𝑟𝑔𝑒𝑡_𝐼𝑚𝑎𝑔𝑒則為目標影像的關鍵點數。

Matching_Rate = 𝐾𝑒𝑦𝑃𝑜𝑖𝑛𝑡_𝐶𝑜𝑢𝑛𝑡𝐺𝑜𝑜𝑑_𝑀𝑎𝑡𝑐𝑕𝑒𝑠

𝐾𝑒𝑦𝑃𝑜𝑖𝑛𝑡_𝐶𝑜𝑢𝑛𝑡𝑇𝑎𝑟𝑔𝑒𝑡_𝐼𝑚𝑎𝑔𝑒× (100%) (18)

圖 17. 影像切割方式

29

圖 18. 子影像大小與關鍵點總數關係圖

表 1. 子影像大小與關鍵點總數之數據

子影像目標尺度(像素) 子影像數量(張) 關鍵點總和(個數)

4096 9 1529873

2048 36 2414010

1024 144 2527540

根據上表 1 與圖 17 之實驗數據，當子影像切割的像素越小時，同時由 SIFT 提取的關鍵點數量則隨子影像切割張數而提升；換言之，由於 SIFT 的關鍵點偵 測利用高斯差分金字塔與周圍八個像素以及上下兩個圖層的九個像素點進行比 較，所以當影像涵蓋的範圍增大時，則越容易忽略局部較細微的關鍵點，以致於 實驗結果所示：影像分割得越小張，關鍵點個數越多的現象產生。

0 500000 1000000 1500000 2000000 2500000 3000000

4096 2048 1024

關鍵點數(總和)

關鍵點數(總和)

30

圖 19. 匹配率實驗流程圖

圖 20. 匹配率平均實驗數據(子影像 4096 像素)

0.00%

50000.00%

100000.00%

150000.00%

200000.00%

250000.00%

300000.00%

350000.00%

1024 512 256 128 64 32 16 8 4

31

圖 21. 匹配率平均實驗數據(子影像 2048 像素)

圖 22. 匹配率平均實驗數據(子影像 1024 像素)

0.0%

50000.0%

100000.0%

150000.0%

200000.0%

250000.0%

1024 512 256 128 64 32 16 8 4

0.0%

20000.0%

40000.0%

60000.0%

80000.0%

100000.0%

120000.0%

140000.0%

160000.0%

1024 512 256 128 64 32 16 8 4

32

圖 23. 合理的匹配率平均實驗數據(子影像 4096 像素)

圖 24. 合理的匹配率平均實驗數據(子影像 2048 像素)

0.00%

5.00%

10.00%

15.00%

20.00%

25.00%

1024 512 256 128 64 32 16 8 4

0.0%

2.0%

4.0%

6.0%

8.0%

10.0%

12.0%

1024 512 256 128 64 32 16 8 4

33

圖 25. 合理的匹配率平均實驗數據(子影像 1024 像素)

在第二組實驗中所定義的匹配率理應落於[0.0, 1.0]的範圍內，然而，在上 圖 20-圖 22 的實驗數據中卻發現當目標影像像素≤ 64時，會有不合理的匹配率 (Matching_Rate > 100%)產生，以下探討其發生之原因：首先，由於關鍵點個數 隨著影像維度降低而減少，在影像像素≤ 64的前提下，亦有可能造成分母 (𝐾𝑒𝑦𝑃𝑜𝑖𝑛𝑡_𝐶𝑜𝑢𝑛𝑡𝑇𝑎𝑟𝑔𝑒𝑡_𝐼𝑚𝑎𝑔𝑒)為零的情況；其二，SIFT 特徵描述由 8 種方向所 組成，在本論文第 2.4 章亦有提及特徵點比對採用距離的方式來判斷是否相似，

故影像中的一個關鍵點可能同時對應 1 個以上的匹配點。換言之，由本實驗可知，

當子影像分割的目標像素≥ 128時，仍然保有 SIFT 匹配的穩定性，並且目標像 素= 128時，單位關鍵點數量內成功匹配的點數(匹配率)是相對提高的。

0.0%

2.0%

4.0%

6.0%

8.0%

10.0%

12.0%

14.0%

1024 512 256 128 64 32 16 8 4

34

1024 512 256 128

整體時間(秒) 描述時間(秒) 關鍵點運算時間(秒)

35

36