影像特徵點萃取與匹配應用於福衛二號影像幾何 糾正

航測及遙測學刊 第十六卷 第 4 期 第 299-315 民國 102 年 01 月 299

Journal of Photogrammetry and Remote Sensing Volume16, No.4, January 2013, pp. 299-315

1國立臺灣師範大學地理學系 副教授 收到日期:民國 101 年 01 月 09 日

2財團法人中興工程顧問社防災科技研究中心 副研究員 修改日期:民國 101 年 06 月 13 日

3國立成功大學環境工程學系 助理教授 接受日期:民國 102 年 01 月 18 日

＊通訊作者, 電話: 02-77341672, E-mail: [email protected]

影像特徵點萃取與匹配應用於福衛二號影像幾何 糾正

張國楨

陳俊愷

摘 要

本文探討如何改進SIFT 演算法來提升遙測影像幾何糾正的效能，以福爾摩沙衛星二號(福衛二號)影 像糾正為測試範例。SIFT 為一種針對高解析數位影像發展出來的影像特徵點萃取方法，其優點是所萃取 的特徵不易受到影像旋轉、縮放和灰度值差異而有所變化、具有良好特徵點選取與匹配，其匹配結果正 確率較高並可消除影像處理中不確定性。但是原始演算法並非針對較低解析度之遙測影像所發展出來，

無法直接延用於衛星影像與航空照片之幾何糾正。本研究針對遙測影像的特性，提出改善之方法並修改 演算法、建立半自動化處理流程，以解決大量影像作業系統化需求。研究成果為應用修正後之SIFT 演算 法於多時期、不同區域、不同載具衛星影像進行影像匹配，得到足夠影像控制點。以修改過之SIFT 演算 法進行影像對位與影像幾何糾正，整體均方根誤差小於 0.5 像素。經半自動化處理流程，可將原本需經 驗累積、耗時之幾何糾正工作大幅縮短所需時間。

關鍵詞：影像匹配、福衛二號、幾何糾正、影像特徵

1. 前言

遙感探測為利用不同載具及感測器可針對不 同需求目的進行資料收集與分析，實為大量獲取地 面資料最佳途徑。所收集大量影像資料須進行繁複 處理流程供後續分析使用，其基本處理是以一張標 準影像將其他未糾正影像以數學方式進行糾正，透 過影像中點、線或者是面特徵，找尋匹配特徵進行 影像幾何糾正，在不同影像中找出之至少3 點以上 的匹配點，便可解算出匹配位置與姿態。同一影像 特徵在不同影像中之相似度會受到時間、視角或感 測器特性差異而影響。影像幾何糾正處理最大的瓶 頸在於如何找出在影像間找出最佳匹配特徵點，以 人工挑選特徵點易受主觀因素影響而費時且較不 精準。理論上最佳匹配點誤差量為 0.5 像素(影像 空間解析度的二分之一)。

福爾摩沙衛星二號(以下簡稱福衛二號)具有 固定軌道與高時間再訪性，可每日進行取像已協助

資料收集，有效提供多時序分析、熱點變遷監測特 殊用途。其全色態(Pan)與多光譜(MS)影像存有非 系統性、不等量偏移，且多光譜原始影像也具有波 段間位移(band-to-band shift)皆需多次影像幾何糾 正處理提升影像品質。影像處理頻率亦隨衛星取像 次數增加延伸資料量龐大等種種問題，需影像處理 技術提升以提高影像處理精度並減少人力投入。

Scale Invariant Feature Transform(SIFT)為近年 來數位影像匹配點萃取方法中較廣泛應用的演算 法之一，國內外相關研究成果顯示具有良好的匹配 成果，但其多以數位相機、數位攝影機影像進行影 像匹配、影像鑲嵌或物體辨識為其主要應用領域。

其優點為萃取出特徵點不易受影像位移、旋轉、縮 放、亮度差異以及雜訊影響。

在人力、資源與時間有限條件下，提升處理能 力與縮短所需處理時間為衛星影像幾何糾正處理 過程中不可忽略重要課題。本文中透過修正 SIFT 演算法，除增加原始演算法之處理能力，並針對衛

300 張國楨、陳俊愷：影像特徵點萃取與匹配應用於福衛二號影像幾何糾正

星影像特性進行參數調整，以應用於不同地物組成 之衛星影像，並探討SIFT 演算法對於福衛二號影 像或相關遙測影像特徵點匹配適用性。

2. 研究方法

SIFT 是一個目前廣泛應用且強大的特徵點擷 取 (feature detection) 與 特 徵 點 描 述 (feature descriptor)方法，由 British 大學的教授 David Lowe 於 1999 年提出(1999,2004) 。SIFT 最初為解決於 數位相機或數位攝影機拍攝多張不同視角影像中 找尋相同特徵點以辨識3D 物件、立體觀測影像匹 配與動態監測。

SIFT 演算法首先對影像在不同的尺度下用高 斯濾波器(Gaussian filters)進行處理，然後利用連續 高斯模糊化影像差異所萃取出特徵點具有不隨著 擷取尺度、旋轉角度改變而有所變化的特性，找出 可以做為影像匹配所需的特徵點。換言之，這個演 算法找出的特徵點，在某一組影像的縮放比例、旋 轉角度中找到的特徵位置，在另一組縮放比例、旋 轉角度下也可能被找到，且能克服位移、旋轉、縮 放、亮度差異以及雜訊以得到良好匹配。SIFT 缺 點為若影像中存在有相似度高且重複物件聚集的 情形，則SIFT 法亦無法有效匹配。

SIFT 廣泛應用於 3D 場景建立(3D Modeling)、

物體辨識(object recognition)( Akira Sugay, et al., 2008; Tsz & J., 2009; Chenglu Wen, et al., 2009)、機 器人導航(robotic mapping and navigation)( Stephen Se, et al., 2001; 謝凡及秦世引，2008;Christoffer Valgren, et al., 2010) 、 影 像 鑲 嵌 (image stitching)(Lowe, 1999；黃漢哲，2009)、手勢辨識 (gesture recognition)( 王科植及王傑智，2005)、影 片追蹤(video tracking)(吳俊霖及陳彥良，2007)、動 態 偵 測 追 蹤 (motion detection and match moving)( Rong Hu, et al.,2007;Arash Mokhber, et al.,2008)等。

整個SIFT 處理程序分為四個階段：尺度極值 偵測、特徵點位置最佳化、計算特徵點方向性與特 徵點描述。尺度極值偵測為找出在不因尺度變化而

改變之特徵點位，位置最佳化協助篩選位處角點之 特徵點。尺度極值偵測、特徵點位置最佳化等兩階 段從影像中萃取對尺度縮放、旋轉、亮度變化無關 的特徵點。藉計算特徵點方向性分析特徵點於各方 向梯度強度，找出特徵點主要或次要方向性，以此 消除影像旋轉影響。特徵點描述則建立其位置、尺 度、方向等資訊的向量式敘述，使不同影像上特徵 點以此比較相似程度。後半段則為特徵點建立向量 描述(descriptor)供影像匹配用。各階段詳細說明如 下：

2.1 尺度極值偵測

數位影像為特定尺度下對取像範圍內物件進 行簡化後所組成，在不同尺度下獲得影像詳細程度 不同，如同遠距離看到物體輪廓，近距離可看到更 多細節。

尺 度 空間(scale space)是電腦視覺(computer vision)、影像處理(image processing)與訊號處理 (signal processing)等相關領域，對人類視覺於影像 擷取時，以先模糊(rough)後精細(fine)模式所採用，

經物理學、生物視覺領域互補性推動下，發展出影 像 資 料 多 尺 度 特 徵 呈 現 的 一 種 架 構 (Witkin,1983)。

常用尺度空間轉換函數有高斯(Gaussian)、小 波(Wavelet)與其他各種濾波器，但高斯法為空間尺 度 中 唯 一 線 性 濾 波 器 ， 且 具 有 1. 旋 轉 對 稱 性 (rotational symmetry) 、 2. 尺 度 不 變 性 (scale invariance)，不會因尺度增加而產生新的結構且次 要結構會逐漸消失、3.平移不變性(shift invariance)、

4.影像灰度值在兩相鄰尺度變化為線性，有助追蹤 同一物體在不同尺度下變化情況等特點，而多被電 腦視覺與影像處理採用(Lindeberg, 1994)。高斯尺 度空間經由二維高斯(Gaussian)函式計算得之，其 函式定義如下：

2 2

2 )/2

(

2 2

) 1 , ,

( ^

  e ^{x y} y

x

G  ^{ } (1) )

, , (x y 

G 為尺度可變高斯函數



二 維 , , (x y  L 乘積(con

, , ( yx

L 

式(2 所在尺度 影像被平 應於影像 徵(如圖

目前 (corner)做 SUSAN Gaussian Determin extremum DoG 與尺

維 影 像 I( yx,

)^{，可由高斯} nvolution)得到

) , , ( )G x y



2)中( yx, )^代表 度



1)。

前有許多不同 做為特徵點如

、FAST 、 B n (LoG)、Diff nant of Hessi m regions (MS 尺度正規化的

航測及遙

)

y ^{於 不 同 尺} 函式G(x,y, 到：

) , (

)I x y 表像素空間位

) , ,

(x y ^，其 相應尺度也就

，小尺度對應

同演算法可找 如Hessian、Ha

Blob detection ference of Ga ian (DoH)、M SER)等，Lind 的 Laplacian o

遙測學刊 第十

尺 度 可 計 算

)^與影像I(x

位置，一幅影像 其值越小則表徵 就越小。大尺度 應於影像的細節

找尋穩定的角 arris、 Morave n 、 Laplacian aussians (DoG Maximally st deberg(1994)發 of Gaussian(L

圖1 影

十六卷 第四期

算 為 ) , y x

(2) 像於 徵該 度對 節特

角點 ec、

n of G)、

table 發現 LoG)

相當 相較 點 鄰近 Gau 特徵

(x D

(x D 值為

構(如 雜訊 字塔 差分

影像於各尺度空

期 民國 102 年

當接近，Miko 較於其他演算

，且DoG 有便 近兩不同尺度

ussian，如式 3 徵點萃取方法 ( ( ) ,

,y G x x  

L(x ) , ,y

x ^為高斯

為 2 。 藉不同尺度 如圖2)，圖左 訊產生，並以 塔；右側則對於 分結果。

空間呈現

年 01 月 olajczyk(2002 算法可以獲得 便於計算的優 度影像進行採以

3)計算相鄰尺 法。

( ) ,

,y k G x  

( ) ,

,y k L x 斯差分函數，

度影像與高斯 左側以Gaussi 以不同尺寸影 於相鄰兩層高

2)也證實 LoG 得最為穩定的

優點。Lowe(2 以DoG (Diff 尺度極值(extre

( )) , ,

(x y I x ) , ,y

x

，其中k為常

斯差分函數建 ian 進行平滑 影像(octave)建 高斯影像相減

301

G 與 DoG 影像特徵 2004)對於 ference of eme)做為

) , y x

(3) 數，一般

立分層結 滑化來減少 立影像金 減獲得高斯

302

利用 為叉號的 鄰接8 個 接像素 ( 度空間和 小值) ，使 穩定性。

圖3

2.2 特

位置 置、尺度 低(影像質 者初始為 最大值，

( , , 式(4))，其

張

用DoG 評估尺 的像素(pixel) ) 個像素，和相鄰

(9 個×2 層)共 和二維影像空 使特徵點於不

3 DoG 尺度區

特徵點位

置最佳化首先精 度與灰度值曲

質地較均質處 為找出特徵點位

可以有效提高 )經二次泰勒 其中 = ( , ,

張國楨、陳俊愷

圖2 尺度空間極值

)需要跟包括同 鄰上下尺度相 共26 個進行比 間皆為局部極 不同尺度中有

區域極值計算(

位置最佳化

精確其位置，

率(curvature) 處)或位於影像 位置與所在尺 高匹配與穩定 勒展開式(Taylo , ) 為特徵點

愷：影像特徵點

2 影像轉換為 時(如圖 3 中標 同一尺度的周 相對應位置周圍 比較，以確保在 極值(最大值或 有良好的獨特性

(Lowe,2004)

化

其次利用所在 )濾除影像對比 像邊界特徵點

尺度，並內插找 定度。利用其尺

or expansion 點偏移量，假設

點萃取與匹配應

為尺度空間示 標記

周圍 圍鄰 在尺 或最

性與

在位 比較

。前 找出 尺度

，如 設其

值為 0.5 特徵 須依 置。

處於 為初

x D(

xˆ

需篩 (mo 較大 利用 的兩 主曲 角點

 H

β各 梯度

應用於福衛二號

示意圖(Lowe,2 為0 可推得

x

表示該特徵點 徵點重新與較 依該方向偏移

。若 ( )計算 於較低對比處 初始位置加上

x D D x

T

) 2







x D x D









 ² ₂^1

當影像邊界 篩選角點(corn oving window 大且變化程度 用二維Hessia 兩eigenvalue(

曲率(principle 點位置。如式





yy xy

xy xx

D D

D D

H表示二維 各為H較大與 度與方向，藉

號影像幾何糾正

004)

x

xˆ

移量修正後重 算得到

xˆ

處需將其剔除 上偏移量

xˆ

x x D

x ^T ₂

2

2 1



 

x D

界特徵點具有少

ner)做為特徵 w)與影像邊界 度相當接近其區

n 矩陣(second (假設各為 α e curvature)成 式(6)。





維Hessian 矩陣 與較小eigenv

由α、β可以 正

若任一方向偏 徵點過於接近 進行估算，否 重新內插取得 0.03 則表示

，最後特徵點 初始尺度空間

Dx

2

少量雜訊而不 徵點使用。當

界相交時，灰 區域自相關函 d-order Hessia

、β)比值和自 成正比可判斷

陣， 為主曲 value，說明該 以歸納出該點

偏移量大於 近，應將其 否則其位置 新估算位 示此特徵點 點精確位置

間 。

(4)

(5) 不穩定時，

移動視窗 度值變化 函數，此處 an matrix) 相關函數 斷是否位於

(6)

曲率，α、

點兩主要 點位是否位

於corner 示該點灰 區域；若 表示位處 化，如 e 不論往任 位於corn

圖 4 由 Edg 假設其α 值：

 D H Tr( )

 ) (H Det

2

) (

)

( 

H Det

H Tr

其中 行列式 的eigenv 偵測corn

2.3 計

鄰接 個特徵點 不變性，減 (8) 式為 其中 為每 特徵點為 計週遭像 β

r(如圖 4)，當 灰度值沒有太 若兩eigenvalu 處於邊界，灰度

edge 區；當兩 任何方向皆會

ner。

自相關主曲率 ge 與 flat 分類 α = γβ則





 _yy

xx D

D



D_xxD_yy (D_x





 )² (

(  



中 ( )為矩陣 式值，經由此比

value，僅需計 ner。

計算特徵

接像素灰度值梯 點的方向參數

減少影像旋轉 ( , 處梯度 每個特徵點其 為中心對週遭像 像素的梯度方

edge β >> α

flat

航測及遙

兩eigenvalue 多變化、較接 ue 其中一較大

度值僅有在某 兩 eigenvalue

產生灰度值較

率(α、β比值 類

則可透 過下(7







 )2 xy









2

2 (

)

(  

陣 對角線元 比值說明不需 計算其兩eige

徵點方向性

梯度變化具有

，使該特徵點 轉而將同一特 值(gradient)和 其所在尺度。

像素進行採樣 向，梯度長條

Corner α and β are

α ~ β;

遙測學刊 第十

e 皆為較小時 接近一致，如 大、一較小時該 某一方向有較多 皆較大時，說 較大變化，則此

值)推估 Corn

7)式計算出一



 1)²

元素和， (

需計算得到矩 envalue 比值即

性

有方向性，可為 點運算元具備旋 特徵點判定為相 和方向計算公

實際計算時 樣，並用長條圖 條圖的範圍是

α large,

edge α >> β

十六卷 第四期

時，表 如flat 該點 多變 說明 此處

ner、

一比

(7) )為 矩陣

即可

為每 旋轉 相異。

公式。

，以 圖統 是0～

360 直方 方向

( ( L x m

tan

(x

(x m

(x

圖

80%

點的

（一 穩健

2.

皆具 向量 的比 將影 移動 點位 像素 表梯 靠近 為每 繪製 一個 8 方

期 民國 102 年

0 度，其中每 1 方圖的峰值則 向，即作為該

) , 1 (

) ,





 L y x L

y x

1 , ( ((

n ) ,

1 L x y

y x







) , y

x ^{為 特 徵} )

, y

x ^則為其梯

圖5 方向直方 在方向直方

%大小的其他 的輔方向。一 一個主方向，

健性(robustne

4 特徵點

前3 階段處 具位置、尺度 量式描述，利於 比較。首先為 影像依特徵點 動視窗(movin 位置，每個小格 素，箭頭方向 梯度值，圖中 近特徵點的像 每4×4 的子區 製每個梯度方 個特徵點由2×

方向向量資訊

年 01 月 0 度為一單位 則代表了該特 該特徵點的方向

))2

, 1 (x y  L

1 , ( )

1 L x y 徵 點( yx, )^在

梯度主方向。

方圖確定特徵 方圖中存有另 方向時，則將 一個特徵點可

一個以上輔方 ss)。

點方向性

處理後產生許多

、及方向三種 於後續於不同 為確保旋轉不 點方向旋轉，以

ng window) 。 格代表特徵點 代表該像素梯 藍色的圈代表 像素梯度方向權

塊上計算8 方 方向的累加值

×2 共 4 個子區

。整合週遭方

位，總共36 個 特徵點處週遭 向(如圖 5)。

) 1 , (

(L x y 

, 1 ( / ))

1 L x y L尺 度 時 的

徵點方向(Low 另一相當於主 將該方向認為 可被指定具有 方向），可以

性

多特徵點，每 種資訊。將資 同影像特徵點 不變性(Rotate 以特徵點為中

。圖6 左正中 點周圍所在尺 梯度方向，箭 表高斯加權的

權重越大）。

方向的梯度方

，如圖6 右所 區域組成，每 方向性資訊減

303

個柱狀體。

梯度的主

))2

1 , (x y L

, 1 ( ) L x y y   的 梯 度 ，

e,2004) 方向強度 為是該特徵 多個方向 增強匹配

每個特徵點 資訊轉化為 點相似程度 invariant) 中心取8x8 央為特徵 尺度的一個 箭頭長度代 的範圍（越 然後切割 方向長條圖，

所示。圖中 每子區域有 減少演算法

y )) (8)

304

受到雜訊 匹配正確

圖6 為增 使用4×4 產生16x 向量。此 等幾何變 於SIFT 影

在進 助克服前 元圖(Me 源影像亮 點周圍正 量，估計 問題(吳俊 (2005)利

變 NumOcta

NumLeve Sigman Threshold

EdgeThre

NumSpat

NumOrie

張

訊影響，同時可 確性。

特徵描述(de 增強匹配穩定性

4 共 16 個子區 x8=128 個資料 此時SIFT 特徵 變形因素影響

影像匹配過程 進行SIFT 匹配 前述問題，相關 dian Thresho 亮度差異範圍 正規值 R 與熵 計其紋理參數

俊霖及陳彥良 用Scale Inva

變數 aves

els

d

eshold

tialBins

entbins

張國楨、陳俊愷

可降低因定位

escriptor)範例 性與正確率，

區域做為特徵 料，即為128 徵向量已消弭

。綜整上述，

程中可調整變 配前需要進行 關研究中曾使 ld Bitmap , M 過大問題，並 熵值(entropy)

，可有效改善 良，2007)；另 ariant Feature

意義 影像重新取樣

高斯平滑化次 高斯平滑化係 尺度極值門檻

邊界門檻值 計算特徵點 度

計算特徵點 方向數

愷：影像特徵點

位誤差而影響特

例(Lowe,2004) 每特徵點可擴 描述(Lowe,2 8 維的 SIFT 特 弭尺度變化、旋 為符合不同影 變數如下表1。

行影像前處理來 使用中位值門檻 MTB)，改善了 並加入了計算特 )所形成的特徵 善重複物件聚集 另王科植及王傑 Transform (SI

表1 SI 義

樣階層數

次數 係數 檻

子區塊寬

descriptor

點萃取與匹配應

特徵

) 擴大

004)，

特徵 旋轉 影像

。 來協 檻位 了來 特徵 徵向 集的 傑智 IFT)

特徵 學習 則利 取樣 高運 的特 且具 拼接 圖。

原始 影像 偏移 配提 目前 夠特 藉 以及 像幾 成功 演算

IFT 變數意義

值越大表示 高。階層數增 值越大表示計 之提高。

係數越大平滑 評估與鄰近 feature point 用以評估找出 找出feature 特徵點以2x 更精確描述 預設值”8”，

共8 個方向

應用於福衛二號

徵處理取得相 習演算法辨識 利用SIFT 演算 樣法（IGDS）

運算效率，並且 特徵匹配，配 具代表性的特 接軟體進行航

。

於遙測影像 始影像缺乏正 像幾何位置偏 移量都需利用 提供影像上控 前並無廣泛適 特徵點。

藉SIFT 演算法 及雜訊較不受 幾何糾正適用 功率與幾何糾 算法參數以適

義及影響

計算越多層 增加其解析度 計算不同尺度 滑化程度越高 尺度像素是 越多。

出feature poi 越多。

2x8=32 維的

。

表示 0，45

。

號影像幾何糾正

相機影像中之特 識協助進行特徵 算法應用於航

）降低影像尺 且將所取得特 配合RANSAC 特徵點對，最後

航帶連續影像

像處理中幾何糾 正確空間幾何位 偏移、或多光譜 用影像幾何糾正 控制點作為幾何 適用之影像匹

法對位移、旋 受影響優點，探 用性，評估不同 糾正後空間位置 適用於遙測衛星

影響

，所需時間及 度亦成倍數降低 度越多，所需 高。

否具有明顯差 int 是否位於邊

向量，或採4

，90，135，

正

特徵，並結合 徵萃取。黃漢 航測影像，以 尺寸與相對資 特徵點進行相 C 除錯機制挑 後利用Hugin 像拼接以獲得

糾正為不可忽 位置、全色態 譜影像內波段 正修正偏移量 何糾正處理所 匹配法可找到

旋轉、縮放、

探討應用於福 同地物組成影 置正確性，改 星影像。

及運算能力也 低

需時間及運算

差異，值越小 邊界(Edge)，

4x4x8=128 維

180，215，

Adaboost 漢哲(2009) 以拼接間隔 訊量以提 相鄰影像間 挑選出正確 全景影像 拼接全景

忽略流程，

態與多光譜 段與波段間 量。影像匹 所需基礎，

正確且足

亮度差異 福衛二號影 影像其匹配 改進 SIFT

也隨之提

能力也隨

小其找出

值越大其

維向量進行

270，315

航測及遙測學刊 第十六卷 第四期 民國 102 年 01 月 305

3. 研究設計

3.1 研究流程

根據研究目的，研擬研究架構如圖7。本文中 對不同尺度衛星影像於影像匹配適用性加以評估，

並以修改SIFT 演算法對多尺度、多平台影像進行 影像匹配，藉影像匹配成果做為影像控制點使用，

並評估其效益。多時序、多平台遙測影像，常因感 測器、太陽輻射、天候、大氣環境、拍攝角度而影 響所獲取資訊，亦需研究分析不同衛星載具，其各 波段間較佳匹配情形與適用性。研究成果與分析中 包括說明研究所採用衛星影像、影像類型及所在區 位，並針對實驗成果進行驗證與整理，說明研究成 果與研究限制。最後結論與建議中，就修正演算法 適用性、正確性與精度進行整理，並對此議題未來 相關與後續研究，提出建議。

3.2 不同匹配法測試

遙測影像幾何糾正所採用影像匹配方式主要 區分為區域匹配與特徵匹配兩種。區域匹配(ABM, Area-Based Matching) 為直接針對區域內所有的 灰度值作為觀測值進行相似性評，亦稱之為灰度值 式匹配(Intensity Matching)，以相同影像進行比較，

此類方式困難度較低，但成功率也偏低，尤其以衛 星影像大範圍、地表地物複雜度高前提下，匹配錯 誤情形大為增加，須給予初始參數以獲得較佳結果。

而特徵匹配(FBM, Feature-Based Matching)是利用 影像處理技術萃取出特徵物，再對特徵物間共軛關 係進行匹配求解。

以原始福衛二號全色態與多光譜影像，包括相 同尺度與不同尺度進行區域匹配與特徵匹配比較，

分析將結果以整體RMSE、殘差與匹配正確性分析 探討。

圖7 研究架構

特徵匹配 區域匹配

影像匹配

關係匹配

同尺度影像 不同尺度影像

匹配法適用性評估

modified SIFT

影像幾何糾正 影像特徵萃取

特徵匹配

影像特徵萃取

QA/QC

正射融合影像

未糾正影像 具地理座標

參考影像

數值地型 模型 影像控制點

PCI Geomatica

306 張國楨、陳俊愷：影像特徵點萃取與匹配應用於福衛二號影像幾何糾正

3.3 SIFT 演算法修正

原始SIFT 演算法計算影像中各尺度空間中特 徵點，其大量特徵點的128 維特徵描述需大量記憶 體儲存。以 Lowe(1999) 所採用驗證影像大小為 500pixel x 500 pixel，計算可得約 2000 特徵點。原 演算法應用於光學遙測影像時，在電腦運算資源限 制 下 ， 僅 能 針 對 較 小 維 度 影 像(約 1400pixel x 1400pixel)進行運算，超過則易發生計算資源不足 並無法完成匹配。原始SIFT 進行影像匹配時，因 應不同影像且保留較多彈性情況下，計算出大量匹 配結果，容易產生錯誤匹配情形並降低資料處理正 確性，且需更多資源與時間進行檢核。因此原始演 算法需加以評估並修改，以適合福衛二號或其它遙 測影像匹配使用，針對衛星影像改進原始演算法增 進其效益。除藉修改原始演算法以增加影像計算量 外，本研究針對衛星影像解析度與尺度空間關係，

加上對於搜尋範圍進行修改。前者可避免在差異過 大的尺度空間產生錯誤匹配，而後者可以縮短在匹 配時搜尋範圍，將可以提高匹配精度與減少所需計 算量。

3.4 成功率與正確性評估

測試結果以特徵點匹配(Matches)數量估算成 功率，以人工逐一檢視配對特徵點篩除匹配錯誤者 (Mis-Matches)後，計算其影像幾何糾正之均方根誤 差(Root Mean Square Error, RMSE)做為正確性評 估，若某特徵點RMSE 超過 0.5 像素，則將其歸類 為超出門檻(over-threshold)而不納入採用並重新計 算。

3.5 半自動化機制建立

建立一影像處理流程，包含影像匹配、坐標轉 換與幾何糾正三部分(如圖 8)。影像匹配步驟中利 用修改後的SIFT 演算法進行影像匹配，產生大量 影像控制點；在坐標轉換階段中，藉匹配所得到參 考影像上的控制點由平面坐標系轉換為地理坐標 系統(如 TWD67、TW97 或經緯度等)；於最後幾何 糾正步驟中利用影像匹配所得未糾正影像上的控

制點，與坐標轉換後的參考坐標於遙測軟體中進行 影像幾何糾正。

影 像 匹 配 、 坐 標 轉 換 與 幾 何 糾 正 ， 由 MathWorks MATLAB 進行影像匹配處理，將影像 匹配結果(影像特徵位置、匹配對應關係)輸出成文 字檔。後續由ESRI ArcGIS Desktop 將影像特徵位 置 由 影 像 直 角 坐 標 轉 為 具 地 理 意 義 坐 標( 如 TWD67、TW97 或經緯度等)，依指定格式輸出供 後續幾何糾正使用。幾何糾正由PCI Geomatica 利 用匹配結果為影像控制點及其參考坐標，進行平差 計算誤差量與重新取樣。

圖8 半自動化機制流程圖

4. 研究資料

福衛二號為國人首顆自主性、多光譜遙測衛星，

具地表遙測實用任務及高空大氣閃電觀測科學用 途之衛星，如表2。主要任務是獲得臺灣陸地及附 近海域近實時(near real-time)的衛星影像資料，以 作為土地利用、農林規劃、環境監控、災害評估、

科學研究、科學教育等相關之民生與科學用途。

4.1 都市地區

原始影像資料為挑選不同季節所拍攝、且雲覆 量低(<5%)之福衛二號全色態、Level 1A 產品等級

  _{Image 1 Image 2}

Features 1

Descriptor 1

Image Matching Features 2

Descriptor 2

Matched Points 1

Matched Points 2

Image Coordinate system

GeoCoding Coordinate system

Geo‐Rectification Quality Check

單幅影像 共 挑 選 2008/09/

2009/02/

像，影像大小 2008/03/05 18、2008/11/2 12 與 2009/03

軌道 全色

多光

遙測 像幅

2008/03/05

2008/09/18

2008/12/2

航測及遙

為12000 像素

、2008/04/06 22、2008/12/1 3/18 等 (表 3

道及運轉週期 色態(PAN)

光譜(MS)

測對地解析度 幅寬

5

8

1

遙測學刊 第十

素x12000 像素 6 、 2008/08/2

11、2008/12/2 )。測試區涵蓋

表2 福

表3 子

十六卷 第四期

素，

20 、 21、

蓋台

北市 影、

均質 市區 福衛二號相關規 888 公里高，

每日通過台灣 0.45~0.90μm 0.45~0.52μm 0.52~0.60μm 0.63~0.69μm 0.76~0.90μm 全色態(黑白 多光譜(彩色 24 公里 子測試區影像

2008/04/06

2008/11/22

2009/02/12

期 民國 102 年

市大同區與三

、高程差異於 質區域(大漢溪 區域，用以評 規格說明

，太陽同步軌 灣海峽上空二 m

m(藍) m(綠) m(紅) m(近紅外線)

)影像 2 公尺 色)影像 8 公尺

像列表

年 01 月

三重市區域，主 影像匹配影響 溪河面)與影 評估演算法適用

軌道 二次

尺 尺

2

2

2

主要針對不同 響。此區域中 影像組成較為複

用性。

2008/08/20

2008/12/11

2009/03/18

307

同日期、陰 含括較為 複雜的都

308

4.2 非

測試 原且較無 高差產生 子測試區 成；Site2 大多皆為 採用原始 Level 1A 參考基準 影像。各 紅光波段 Band4:近 光譜與全 時以何波 素x3000

對於

張

非都市地

試區為雲林縣西 無都會區高樓層 生影像變形效應 區(如表 4)，Si

2 為少部分聚 為農地；Site4 為 始影像資料為 A 產品等級影像 準為以正射福 各測試影像分 段；Band2:綠 近紅外光波段 全色態影像在 波段為佳。四子

0 像素。

於四測試區進行

張國楨、陳俊愷

地區

西螺鎮鄰近區 層建築，可減 應，並依地物 ite1 為聚落、

聚落、農地與 為道路系統與 2008/07/25 福 像，僅經初步 福衛二號彩色 分別與參考基準 綠光波段；Ba

)進行影像匹 不同解析度下 子測試區影像

行SIFT 匹配

S

S

愷：影像特徵點

區域，地處嘉南 減少因地形或建 物組成內容劃設 道路為其主要 與高速公路；S 與零星聚落組成 福衛二號全色態 步輻射矯正影像 正射融合處理 準各波段(Ba and3:藍光波段

配。藉以評估 下，進行影像匹 像大小為300

配後，將其匹配 表4 子

ite1

ite3

點萃取與匹配應

南平 建物 設四 要組 Site3 成。

態、

像，

理之 and1:

段；

估多 匹配 00 像

配點

以人 根誤 計算 點進 布平

5.

特徵 夏季 正精 斜射 點供

子測試區影像

應用於福衛二號

人工進行檢視 誤差(RMSE) 算整體影像誤 進行幾何糾正 平均之控制點

5

1 都市地

都市地區影 徵點產生數量 季影像萃取特 精度RMSE 皆 射加上陰影影 供匹配。

像列表

Sit

Sit

號影像幾何糾正

視是否匹配正確

，同時並扣除 誤差量。另以人 正做為對照組 點並計算整體

. 研究成

地區結果

影像視角與匹配 量、初始匹配數 特徵點數目皆勝

皆低於0.5 pix 影響都市建物較

e2

e4

正

確，並計算其 除RMSE 大於 人工方式選擇

，於影像選取 RMSE。

成果

果

配結果如表5 數、匹配錯誤

勝於冬季，且 xel。冬季影像 較高，較不易

其整體均方 於0.5 pixel 擇影像控制 取20 組分

5 所列，以 誤數比較，

且其幾何糾 像受到日照 易萃取特徵

航測及遙測學刊 第十六卷 第四期 民國 102 年 01 月 309

表5 都市測試區影像資訊

日期 視角(度) 特徵點 匹配數 Mis-Matches RMSE_1 Res>0.5 RMSE_2 2008/03/05 21.72 436 38 23 0.66 6 0.19 2008/04/06 17.08 727 83 14 0.88 20 0.30 2008/08/20 10.85 1855 1152 12 0.33 95 0.23 2008/09/18 12.04 1318 259 9 0.57 90 0.30 2008/11/22 12.25 744 36 20 0.57 5 0.25 2008/12/11 14.08 298 28 28 -- -- -- 2008/12/21 11.17 265 26 23 -- -- -- 2009/02/12 7.319 73 7 6 -- -- -- 2009/03/18 6.323 210 8 2 0.61 2 0.37

5.2 非都市地區結果

人工選取影像控制點於四子測試區成果如表 6，四測試區以手動方式於影像均勻且分散選取 18~20 點控制點，分布位置如表 7，整體 RMSE 均 符合預期將RMSE 控制小於 0.5 pixel。

表6 各測試區人工進行幾何糾正成果

區域 控制點數目 RMSE(pixel)

Site1 20 0.46

Site2 17 0.47

Site3 19 0.24

Site4 18 0.30

各測試區經SIFT 影像匹配特徵點如表 8 分布，

並由人工進行檢視刪選(Mis-Matches)並加以計算 其誤差量(RMSE)後結果如表 9 至表 12，Reference 為參考基準各波段經計算後產生的特徵點數目；

Image 為測試區影像計算後的特徵點數目；Matches 為匹配成功特徵點數目；Error 欄位顯示匹配錯誤 個數，RMSE_1 為扣除明顯匹配錯誤點位後整體 RMSE 值 ，Res>0.5 表示 匹配 位置正 確但 殘差

(residual)>0.5 pixel 個數，RMSE_2 為說明扣除殘 差(residual)>0.5 pixel 匹配點位後整體 RMSE 值。

以影像特徵點萃取量而言，參考基準中以 Band4( 近 紅 外 光 波 段 ) 特 徵 點 量 最 多 ， 其 次 為 Band1(紅光波段)，Band2(藍光波段)最少；以各測 試 區 萃 取 特 徵 點 數 量 而 言 ， 則 以 Site1>Site4>Site2>Site3，尤其 Site1 多達 878 特徵 點，檢視特徵點位多與聚落(建物)有關。

各測試區中皆以Band2(綠光波段)最不容易找 到匹配特徵點；Site1 對參考基準影像 Band1(紅光 波段)匹配較易成功，可獲得最多成功配對特徵點 位且整體RMSE 值也最低， Site2、Site3 及 Site4 則對 Band3(藍光波段)反應較佳、可獲最多匹配成 功特徵點位。以扣除匹配錯誤整體 RMSE 成果視 之，除Site3 與參考基準 Band1(RMSE=0.88)及 Site4 與參考基準Band4(RMSE=1.38)外其餘皆小於或等 於0.5 pixel，若一殘差大於 0.5 pixel 匹配特徵點，

RMSE 更可降低至 0.20~0.29 pixel，相較於人工選 取控制點可更精確且快速。將各測試區以正確匹配 特徵點作為影像控制點進行影像幾何糾正成果套 疊如圖9。

310 張張國楨、陳俊愷

Sit

Sit

Sit

Sit

愷：影像特徵點

表7 各

te1

te3

表8 各

te1

te3

點萃取與匹配應

各site 人工 GC

各site 匹配點

應用於福衛二號

CP 分布

Si

Si 位分布

Si

Si

號影像幾何糾正

te2

te4

ite2

ite4

正

Ba Ba Ba Ba

Ba Ba Ba Ba

Refe and1 14 and2 6 and3 11 and4 15

Refe and1 14 and2 6 and3 11 and4 15

航測及遙

erence Ima 417 87 674 87 182 87 597 87

erence Imag 417 93 674 93 183 93 507 93

遙測學刊 第十

圖9 幾何 表9 Site1 ge Match 8 157 8 49 8 106 8 96

表10 Site ge Matche 3 27 3 16 3 33 3 31

十六卷 第四期

糾正套疊參考 1 匹配結果與 hes Mis-Ma

5 3 2 1

e2 匹配結果與 es Mis-Ma 10 5 12 13

期 民國 102 年

考影像成果 與其誤差量

atches RM 0 0 0 0

與其誤差量 atches RMS

0 0

0

2 0

3 0

年 01 月

SE_1 Res .29 1 .38

.34 1 .28

SE_1 Res>

.29 .21 .22 .36

s>0.5 RM 12 0.

6 0.

14 0.

7 0.

>0.5 RMS 1 0.

0 0.

0 0.

1 0.

311

SE_2 .22 .22 .25 .23

SE_2 .26 .21 .22 .24

312 張國楨、陳俊愷：影像特徵點萃取與匹配應用於福衛二號影像幾何糾正

表11 Site3 匹配結果與其誤差量

Reference Image Matches Mis-Matches RMSE_1 Res>0.5 RMSE_2

Band1 1417 87 18 3 0.88 6 0.24

Band2 674 87 11 0 0.49 3 0.28

Band3 1183 87 21 3 0.45 4 0.28

Band4 1507 87 18 5 0.51 2 0.20

表12 Site4 匹配結果與其誤差量

Reference Image Matches Mis-Matches RMSE_1 Res>0.5 RMSE_2

Band1 1417 96 21 2 0.50 4 0.22

Band2 674 96 13 3 0.39 1 0.29

Band3 1183 96 23 3 0.86 1 0.26

Band4 1507 96 19 3 1.38 3 0.24

(單位:pixel)

6. 結論與建議

本文探討如何改進影像匹配演算法來提升遙 測影像對位的效能。遙測影像具有全面性、即時性 及週期性蒐集資訊之優點，可迅速提供大範圍環境 調查資料。大量影像資料在進行套疊使用、研究分 析前，必須經繁瑣且精確影像處理，才能提供後續 影像分類、影像判釋、災情監控、或與空間資訊相 互套疊等應用。現有影像匹配原始演算法，大多並 非針對遙測影像，其參數，需加調整、修改。而商 用軟體中影像匹配方法因涉及商業機密考量也多 為黑盒子(Blackbox)處理，對於多元化且不斷有新 感測器獲取影像而言，無法滿足多數使用者所需。

為有效掌握影像匹配技術，且利於模式運算獲得較 佳匹配情形，必須針對影像門檻值、尺度進行分析 比較，求得遙測影像適用區域及適用參數。

經文獻回顧與實驗分析後，對於未給訂初始參 數、大量作業化流程與盡量減少人工投入情形下，

特徵匹配較區域匹配適合於灰度值變化大、成像因 素不確定高之遙測影像使用。在眾多影像特徵匹配 方法中，以近期數位影像處理領域中廣泛討論與應 用的SIFT 具有相對優勢。SIFT 為一種針對數位影 像發展出來的影像特徵點萃取方法，其優點是所萃

取的特徵不易受到影像旋轉、縮放和灰度值差異而 有所變化，且具有良好特徵點選取與匹配成效，其 結果較為穩定且可消除影像處理中不確定性。但原 始演算法並非針對遙測影像所發展，無法直接應用 於遙測影像處理之影像對位與幾何糾正。本研究針 對遙測影像的特性提出改善之方法，包括增加原始 演算法之運算量、針對衛星影像進行參數調整等，

並以福衛二號影像不同區域之多時序影像進行多 解析影像匹配為實驗對象，探討修改後SIFT 於遙 測衛星影像適用性。研究成果應用於高解析度之福 衛二號衛星影像時，可以快速萃取特徵點並得到有 效影像匹配，並優化原始影像匹配正確率，由 6 至7 成提高至 9 成，可大幅減少錯誤匹配檢核時間。

以匹配結果做為影像對位與幾何糾正之控制點選 取來源，且其精度皆優於預期目標0.5 pixel。藉此 方法可改善過去以人工選取控制點費時、不穩定情 形，除提升影像幾何精度外，也大幅縮短原有影像 處理所需時間。

1. 以相同商業遙測影像處理軟體進行不同匹配 方式比較，得到結果為特徵匹配較區域匹配 適合應用於遙測影像資料處理。在未給予任 何 初 始 值 情 況 下 ， 在 原 始 影 像 中 需 將 Searching Windows Size 放大才可能獲得正確

航測及遙測學刊 第十六卷 第四期 民國 102 年 01 月 313 匹配，且所需時間就隨之增加。Searching

Windows Size 必須至少大於兩影像像差，否 則會以影像切幅(tiles)方式於其中找尋相似 點位，易形成高精度但不正確的系統性誤差。

若有給予初始參數值，如Level 2 影像或人工 選 定 3 個以上控制點，則不需給訂較大 Searching Windows Size 亦可獲得較正確匹配 結果。另外區域匹配無法適用於不同尺度影 像進行匹配，與前人研究結果一致。雖然特 徵匹配在未給予任何初始參數下仍可有正確 匹配位置且有較高精確度，但多光譜影像中 受限於不同波段間所計算出feature 不盡相同，

各波段匹配結果也略有差異。研究獲得結果 顯示福衛二號影像以 Band 1(紅光波段)所能 提供匹配結果為最佳，具有足夠特徵點並分 布較均勻。

2. 在未給訂初始參數、大量作業化流程與減少 人工投入下，特徵匹配較區域匹配適合於灰 度值變化大、成像因素不確定性高之遙測影 像使用。

3. 原始 SIFT 演算法及其參數並非針對遙測影 像，經修改演算法後增加對遙測影像計算能 力外，加以分析比較後獲得在相似尺度比例 下，可調整、修改相關參數值，以於模式運 算並獲得較佳匹配情形。針對影像門檻值、

尺度進行分析比較，求得遙測影像適用區域 及適用參數。本研究修改後SIFT 演算法以相 同影像進行測試所得結果顯示，可得到優於 一般商業軟體中特徵匹配演算法的結果。

4. 本研究經修改 SIFT 應用於福衛二號衛星影 像可以快速萃取特徵點並得到有效影像匹配，

以其做為影像對位或影像糾正之控制點來源 可得到優於0.5 pixel 的理論精度。以不同影 像測試區對於不同波段匹配結果，說明福衛 二號像匹配時可建議採 Band1(紅光波段)或 Band3(藍光波段)進行可獲得較佳匹配結果。

以匹配成果進行影像幾何糾正可較人工選取 影像控制點更精確，整體 RMSE 可優於 0.3 pixel。

後續可針對於其他高解析光學遙測衛星影像 進行特徵點選取及匹配，分析於其他不同衛星影像 適用性或參數設計，將有助於減少影像處理所需時 間及技術門檻。另可對固定明顯地標物進行多角度、

多時序、多平台影像特徵點萃取與匹配比較，評估 以特定地標建立其影像特徵資料庫，做為廣範圍、

多時序、多平台影像匹配使用。

未來可將研究成果發展為衛星影像處理軟體 模組(或應用軟體)，甚至整合至系統中，將不僅提 高影像教正的精確度，更可有效減化處理作業流程、

縮短作業時間。

參考文獻

王科植及王傑智，2005。 “結合 Adaboost 與 SIFT 特徵之手勢辨識系統”, 台灣大學資訊網路與 多媒體研究所碩士論文。

吳俊霖及陳彥良，2007。“一個不同曝光時間影像 序列之強健特徵導向影像定位法,” ,資訊科 學應用期刊,第 3 卷,第 1 期。

黃漢哲，2009。”SIFT 演算法應用於航測影像拼接 之研究”, 中山大學海洋環境及工程學系研究 所論文。

謝凡及秦世引，2008。”基于 SIFT 的單目移動機器 人 寬 基 線 立 體 匹 配 ”, 儀 器 儀 表 學 報,2008,29(11)。

Akira Sugay, Keita Fukudayy, Tetsuya Takiguchiyyy, and Yasuo Ariki, 2008. “Object Recognition and Segmentation Using SIFT and Graph Cuts”, 19th International Conference on Pattern Recognition (ICPR 2008).

Arash Mokhber, Catherine Achard, and Maurice Milgram, 2008. “Recognition of human behavior by space-time silhouette characterization”, Pattern Recognition Letters, vol.29, pp.81–89.

Chenglu Wen, Daniel E. Guyer and Wei Li, 2009.

“Local feature-based identification and classification for orchard insects”, Biosystems engineering, vol.104, pp.299–307.

Christoffer Valgren & Achim J. Lilienthal, 2010. ” SIFT, SURF & seasons: Appearance-based long-term localization in outdoor environments”, Robotics and Autonomous Systems, vol.58, pp.149-156.

314 張國楨、陳俊愷：影像特徵點萃取與匹配應用於福衛二號影像幾何糾正 Lindeberg, T., 1994. ” Scale-space theory: A basic

tool for analysing structures at different scales.”

Journal of Applied Statistics, 21(2):224-270.

Lowe, D. G., 1991. ”Fitting parameterized three-dimensional models to images”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol.13, pp.441-450.

Lowe, D. G., 1999. "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision 2:

pp.1150–1157.

Lowe, D. G., 2004. Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60(2) : 91-110.

Mikolajczyk K. & Schmid C., 2002. “An affine invariant interest point detector,” In European Conference on Computer Vision, pp. 128-142.

Rong Hu, Rongjie Shi, I-fan Shen and Wenbin Chen, 2007. “Video Stabilization Using Scale-Invariant Features”, 11th International Conference Information Visualization

Stephen Se, David Lowe, and Jim Little, 2001,

“Vision-based Mobile Robot Localization And Mapping using Scale-Invariant Features”, In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), pp. 2051--2058

Tsz-Wai Rachel Lo & J. Paul Siebert, 2009.” Local feature extraction and matching on range images:

2.5D SIFT”, Computer Vision and Image Understanding , vol.113 ,pp. 1235–1250.

Witkin,A. P., 1983. “Scale-space filtering”, in Proceedings of IJCAI, Karlsruhe, pp. 1019-1021.

Journal of Photogrammetry and Remote Sensing Volume 16, No.4, January 2013 315

1 Associate Professor, Department of Geography, National Taiwan Normal University Received Date: Jan. 09, 2012 2 Associate Researcher, Disaster Prevention Technology Research Center Revised Date: Jun. 13, 2012 2 Sinotech Engineering Consultants, INC. Accepted Date: Jan. 18, 2013

*.Corresponding Author, Phone: 886-2-77341672, E-mail: [email protected]

Apply Image Matching on FORMOSAT-2 Image Geo-rectification

Kuo-Chen Chang

Chun-Kai Chen

ABSTRACT

In this paper, a robust feature extractor technique for FORMOSAT-2 image rectification is applied. The extracted features are required to be computationally attractive and invariant to image rotation, scale change and illumination. Modified Scale Invariant Features Transform method can find good features and matches from different areas, land cover types of FORMOSAT-2 imagery. A proposed procedure improves processing efficacy and performance of image rectification. The result got good performance, precise, and more reliable and removed uncertainty of image processing.

Keywords: