目標影像之大小與影像定位之測試

首先針對目標影像縮小比例大小之適用性進行測試。將原始目標影像建立成 金字塔影像，採取每次兩倍取樣的方式進行縮小，原始影像之大小為7680×13824 像素，分別得到3840×6912、1920×3456、960×1728、480×864、240×430 等五種 層次的金字塔影像進行測試，並在原影像上切取1584×912 大小的子影像作為為 索引影像，如圖6.7 所示，為分別對原影像縮小 1/2、1/4、1/8、1/16 及 1/32，圖 6.8 為經 SIFT+RANSAC 運算結果。

影像輸入 特徵提取

與特徵庫比對

檢索資料 使用者端

影像輸入 特徵提取

存入特徵庫 特徵庫設計

SIFT 特徵描述 特徵樣本

RANSAC 除錯

>0 t

(a)目標影像 7680×13824 pixel (b)索引影像 1584×912 pixel 圖6.7 目標影像與索引影像

實驗結果顯示縮小至1/8 與 1/16 後依然擁有些許點位給予匹配成功，於最後 影像縮小至 1/32 時無任何點位被匹配成功。依前述之測試結果，本研究採用縮 小原影像1/4，大小為 1920×3456 當作目標影像，提供後續測試之用。相關實驗 匹配成果如圖6.8 所示。

(a) 縮小 1/2 匹配結果 (b) 縮小 1/4 匹配結果

(c) 縮小 1/8 匹配結果 (d) 縮小 1/16 匹配結果

484 147

40 7 0

0 100 200 300 400 500 600

3840×6912 1920×3456 960×1728 480×864 240×430

影像大小（pixel）

匹配數量

(e) 縮小 1/32 匹配結果（失敗） (f) 匹配結果所得特徵點數量統計圖表 圖6.8 目標影像大小與定位實驗成果

由於原始影像為7680×13824 大小，約為 471MB 容量，全部影像採用記憶體 進行運算，因此面對大型影像必須考慮處理之技巧，本研究將原影像予以分割成 2000×2000 大小的區塊影像，並在各區塊內進行 SIFT 演算法之特徵提取，當各 區塊均完成運算後再將所有區塊資料結合成原資料，子影像間之接縫問題可採用 覆蓋方式進行。

圖6.9 大型目標影像特徵建置分割示意圖 6.2.2 影像檢索使用

在目標影像資料庫建置完成之後，接續就是要對影像檢索方面做資料檢索處 理，特徵點向量以文字方式儲存， 利用 SIFT 演算法匹配時不需重新計算影像特 徵 ， 直 接 讀 取 該 文 字 檔 即 可 。 在 影 像 檢 索 上 使 用 之 目 標 影 像 可 能 多 時 相 (Multi-Temporal)，亦即同時期或不同時期拍攝之影像，本研究以同時期影像進行 相關實驗。

航空攝影一般屬於同時期且短基線拍攝影像，所以影像只會有些許仿射 (Affine)改變。首先我們建置同時期之立體對影像進行測試，實驗方法為捨索引 圖像不在目標圖像及存在於目標圖像之檢索。運算結果如圖 6.10 所示，其中 (a)(b)(c)(d)為索引圖像不在目標圖像內，其結果無任何匹配成功點數而(e)(f)(g) 則為索引圖像在目標圖像內，其結果為眾多匹配成功點數。

(a) SIFT 演算法匹配結果 (b) 使用 RANSAC 除錯後無任何點位

（索引圖像不在目標影像中）

(c) (d)

(e) (f) (g)

(c)(d) 顯示經過 RANSAC 演算法除錯後無任何匹配點位被留下來，則代表 無任何檢索結果。

(e)(f)(g) 顯示正確之匹配結果，(f)(g)為將目標影像裁切到較小範圍。

圖6.10 SIFT 演算法用於影像檢索結果

由上述實驗證明SIFT 演算法用於相同影像有相當良好之檢索效果。

6.3 影像區塊(Patch)快速定位

遙測影像主要為對地觀測影像，其特色為影像中會同時存在紋理明顯（如建 物、道路）及均調區（如水體、植被等）。在紋理明顯區域，已有多種成熟的特 徵提取的方法，但對均調區仍有提取困難之問題。

從應用層面而言，特徵點提取之目的在於提供影像重疊區之共軛點位置作為 影像校齊或空間點位置推求，點特徵可獲得良好量測之結果。但特徵匹配亦可採 用區塊(Patch)方法為之，本研究嘗試以區塊影像快速定位之方式，期能對均調區 影像中提取區塊特徵，可彌補點特徵不足之缺點。圖 6.11 為影像區塊快速定位 之結果，顯示使用各種不同大小及內容區塊之索引影像均能有效完成定位與檢 索。

（a）原始影像大小 7680×13824 pixel

索引影像大小分別為 416×416 、 174×189 、 90×83 、70×62 pixel

（b） （c）

（d） （e）

圖6.11 影像區塊快速定位結果

利用影像區塊之快速定位可對同航帶重疊區內影像進行點位提取，經上述實 驗得知對均調區效果良好，這是利用區域為基礎之影像匹配方法不易達成的，因 此可應用SIFT 演算法於同航帶影像中，進行快速影像拼接或佈設標點之用途。

本實驗以同航帶影像進行區塊式快速定位之測試，圖 6.12 為同航帶影像區塊快 速定為實驗結果。

(a)158×147 pixel (b)649×506 pixel (c)584×568 pixel (d)300×279 pixel

(a1) (a2) (a1)(a2) ：a 區域對此航線 S1 與 S2 影像定位結果。

S1 S2 S3 S4 S5

(a3) (a1)局部放大圖

(b1) (b2) (b3) (b1)(b2)(b3) ：b 區域對此航線 S1、S2 與 S3 影像定位結果。

(c1) (c2) (c3)

(c1)(c2)(c3)：c 區域對此航線 S1 影像定位結果。(c1)與(c2)為 S3 影像中 被檢索區域所切割的部份。(c3)為相同植被區域，SIFT 方法 可克服紋理相同之區域定位。

(c4) (c5)

(c4)(c5)：c 區域對此航線 S4 影像定位結果，(c5)為 不同植被區之測試，無任何檢索結果。

(c6) (c7) (c6)(c7)：c 區域對此航線 S5 影像定位結果。

(d1) (d2) (d3) (d1)(d2)(d3)：d 區域對此航線 S3、S4 與 S5 影像定位結果。

圖6.12 影像快速定位匹配結果

由上述實驗證明SIFT 演算法可用於遙測影像中植被區定位與檢索，檢索程 序如圖 6.13 所示。主要方式以建立特徵資料庫為前提，而特徵資料庫視目標影 像大小可採影像分割的方式來進行，再合併成全區範圍，進行SIFT 特徵提取及 匹配運算，最後以RANSAC 演算法除錯，當經除錯運算後有保留匹配之點位，

則代表該區域為匹配成功之區域，利用此門檻進行匹配區域確定。

圖6.13 影像快速定位流程圖 6.4 多目標檢索之應用

SIFT 演算法一般被應用於點或區域之單一目標物檢索，由前述之實驗證明 是相當有效且可靠的方法。但同一目標影像中可能具有多個相同之目標特徵，為 測試SIFT 演算法進行多目標檢索之能力，本研究利用象棋棋盤排列進行測試。

由於棋盤有許多重複的棋子，如「兵」、「卒」等。由於SIFT 演算法基本上仍利 用kd−tree結構進行特徵點位配對，再依據KNN 之相近判斷是否匹配成功，因 此如果利用整張影像進行運算，只可以找到一個相同目標物，其他相似之特徵將 視同為雜訊而被濾除。為對多目標物進行檢索，必須使用區塊(Patch)的方式，即

SIFT 特徵資 料庫

影像

選取定位區域

計算定位區域中心

SIFT 特徵分析

提取該區域SIFT 特徵

SIFT 特徵匹配+RANSAC 除錯 點位大於0 則為匹配成功點位

計算匹配成功區域中心 輸出匹配中心

以移動視窗的方式進行檢索，再依據匹配成功之點數來進行判定是否匹配成功。

圖 6.14 為修正之適合多目標檢索應用的 SIFT 演算法流程，圖 6.15 為處理之結 果。多目標檢索最主要的問題是如何在目標影像上確定搜尋窗(Search Window)，

採用移動視窗(Moving Window)的是可行的方法，移動視窗大小取索引影像大小 之1.4 倍，移動間距則取移動視窗大小之 1/2，並利用 SIFT 演算法匹配數量作為 目標物初始定位，此以匹配點位數量大於10 點作為可能之目標區，重新計算該 區域中心，並使用該區域進行SIFT＋RANSAC 運算，於匹配點位大於所設定之 門檻值代表該區域為目標區，本實驗門檻值取7 點。實驗結果顯示，改良之運算 程序，對多目標影像中可有效將檢索目標依序得到正確之結果。圖 6.15 多目標 檢索實驗流程與結果。

圖6.14 應用於多目標檢索之處理流程圖

目標影像 檢索影像

計算輸入大小 SIFT 匹配 指定區域大小

區域影像 匹配點位>10

記錄該區域 計算新區域

區域影像

新區域影像

SIFT 匹配

RANSAC 除錯

保留點位

( 點數>7 )非目標區 ( 點數<7 )目標區

(a) 檢索樣本

(b) 檢索影像圖示

(c) 第一階段檢索狀態

(d) 第二階段精確匹配狀態

(e) 最終運算結果

圖6.15 多目標檢索實驗流程與結果

如圖6.15 所示，經修改後的 SIFT 演算法用於多目標檢索方面，有良好之結 果，更證明SIFT 演算法對於影像有尺度、旋轉等差異情況之下，仍然有良好之 克服能力。為證明SIFT 演算法於多目標檢索之優越性，以下實驗以所有象棋排 列於棋盤上，並使用上述修改之SIFT 進行後續實驗，圖 6.16、圖 6.17 為兩組多 目標檢索實驗結果。

(a) 檢索影像圖示

(b)運算結果

圖6.16 多目標檢索實驗結果

檢索樣本

(a) 檢索影像圖示

(b)運算結果

圖6.17 多目標檢索實驗結果

檢索樣本

第七章、結論與建議

利用影像技術進行空間資料之獲取一直是空間資訊技術中核心工作之一，例 如使用立體對影像重建三維模型、影像校齊、影像鑲嵌、影像檢索…等工作中，

共同的特點是必需從影像中提取適當數量之特徵點作為相關處理之依據。以立體 對影像重建三維模型為例，傳統上一般均使用區域基礎(像元灰度值)作為影像匹 配運算之基礎，可以達到次像元等級高精度量測之目的，但其中仍存在有不易解 決之困難，如兩影像間解析度(比例尺)、攝影傾角及光照條件之差異及影像中之 均調(Homogeneous)區等均可能造成影像匹配之失敗。

由學者David Lowe 於 2004 年所提出的 SIFT 基本演算法，實驗證明對於影 像的尺度、旋轉角度及光照等差異具有良好不敏感性(Robust)與不變性(Invariant) 特性，在影像點特徵提取(Point Feature Extraction)及影像匹配(Image Matching)中 可提供重要的應用，可以用於解決目前立體對影像自動匹配的問題，再依功能之 需要，修改SIFT 演算法中之步驟，也可有效應用於其他相關的工作。本研究利 用SIFT 演算法進行立體對影像匹配與遙測影像檢索之應用，已獲得具體之成果。

一、立體對影像匹配應用

1. SIFT 演算法屬基於特徵的描述與特徵匹配之方法，由實驗得知對紋理相 似之均調區進行匹配仍具有良好之效果。

2. 本研究對 SIFT+RANSAC 基本運算之精度驗證，由三組實驗結果顯示，

匹配點總均方根誤差分別為0.56 像素、0.63 像素與 0.54 像素，且匹配品 質小於1 個像素分別為 95.36%、90.49 與 97.06%，最多僅有 2 個點之誤 差大於三個像素，證明SIFT+RANSAC 匹配具有良好精度。

3. 本研究修改 SIFT 演算法匹配方式，於演算法後使用核線約束並搭配 RANSAC 進行相關實驗，由三組實驗結果顯示，匹配總均方根誤差分別 由0.56 像素降為 0.37 像素、0.63 像素降為 0.35 與 0.54 像素降為 0.27 像 素，匹配點位分別由474 點提升至 647 點、305 點提升至 318 點與 204 點 提升至 247 點，甚至沒有大於 2 像素之點位出現，實驗結果證明加入線 約制除了提高匹配可靠度之外，還可提高匹配之精度，甚至可以增加匹

3. 本研究修改 SIFT 演算法匹配方式，於演算法後使用核線約束並搭配 RANSAC 進行相關實驗，由三組實驗結果顯示，匹配總均方根誤差分別 由0.56 像素降為 0.37 像素、0.63 像素降為 0.35 與 0.54 像素降為 0.27 像 素，匹配點位分別由474 點提升至 647 點、305 點提升至 318 點與 204 點 提升至 247 點，甚至沒有大於 2 像素之點位出現，實驗結果證明加入線 約制除了提高匹配可靠度之外，還可提高匹配之精度，甚至可以增加匹

在文檔中 遙測影像資料庫建置關鍵技術及基於內容的檢索研究(III) (頁 115-0)