特徵匹配於AVNIR-2影像與PALSAR影像 之影像套合

國 立 交 通 大 學

土 木 工 程 學 系

碩 士 論 文

特徵匹配於AVNIR-2影像與PALSAR影像

之影像套合

Feature-based Image Registration of

AVNIR-2 and PALSAR Images

研 究 生：陳信瑜

指導教授：張智安

特徵匹配於 AVNIR-2 影像與 PALSAR 影像之影像套合

Feature-based Image Registration of

AVNIR-2 and PALSAR Images

研 究 生：陳信瑜

Student：Hsin-Yu Chen

指導教授：張智安

Advisor：Tee-Ann Teo

國 立 交 通 大 學

土 木 工 程 學 系

碩 士 論 文

A Thesis

Submitted to Department of Civil Engineering College of Engineering

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master in

Civil Engineering July 2011

Hsinchu, Taiwan, Republic of China

I

特徵匹配於 AVNIR-2 影像與 PALSAR 影像之影像套合

學生：陳信瑜 指導教授：張智安

國立交通大學土木工程學系

中文摘要

遙感探測以非接觸的方式進行觀測，感測器主要分為被動式光學感測器和主動式雷 達感測器，光學影像的成像原理為角度投影，並接收物體反射太陽的電磁波；雷達影像 則使用距離投影成像，主動發射能量並接收地表反射的電磁波。兩種影像擁有不同的資 訊，因此整合這些影像有利後續之應用，例如災害監控、地物分類、影像融合和變遷偵 測等，然而影像整合的首要工作為影像套合。本研究以互訊息匹配 (Mutual Information

Matching)、面特徵匹配(Patch-based Matching)及線特徵匹配(Edge-based Matching)三種方

法進行異質影像套合，其中互訊息匹配利用移動視窗的熵 (Entropy)計算影像間的互訊 息資訊量，互訊息資訊量最高者為相似性最高的區域；面特徵匹配是以分水嶺影像分割 法進行面特徵萃取，並以成本函數(Cost Function)計算面特徵的相似度進行匹配；線特 徵匹配是先以 Canny 萃取線特徵，再最小化兩組影像間邊緣線的距離，並以影像金字塔 由解析度粗到細進行匹配。 本研究分別使用兩組 AVNIR-2 光學影像及 PALSAR 雷達影像，第一組資料位於日 本東京灣，光學及雷達影像的影像等級分別為 Level 1A 和 Level 1.1，第二組資料位於台 灣北部，光學及雷達影像的影像等級分別為正射影像及 Level 1.5，並尌不同地表覆蓋物、 地形起伏及影像品質衛星影像擷取測詴區，分別使用上述三種匹配方法進行套合，最後 以人工量測的檢核點作為精度評估的依據。實驗成果顯示，初步套合誤差約為 25 個像 元的測詴區一，互訊息匹配成果的均方根誤差約為 4.27 個像元，面特徵匹配為 23.38 個 像元，線特徵匹配為 3.41 個像元；於山區地形的測詴區二，初步套合誤差約為 5.3 個像 元，互訊息匹配成果的均方根誤差值約為 4.65 個像元，面特徵匹配為 4.51 個像元，線 特徵匹配為 2.15 個像元；於地表覆蓋物複雜的測詴區三，初步套合誤差約為 2.92 個像

II 元，互訊息匹配的成果的 RMSE 值約為 2.38 個像元，面特徵匹配為 2.69 個像元，線特 徵匹配為 2.62 個像元；於河道區域的測詴區四，初步套合誤差約為 3.72 個像元，互訊 息匹配的成果的 RMSE 值約為 3.76 個像元，面特徵匹配為 3.25 個像元，線特徵匹配為 3.21 個像元，成果顯示三種方法均能有效提升異質影像之套全精度。 關鍵字：衛星影像、影像套合、影像匹配、特徵匹配

III

Feature-based Image Registration of

AVNIR-2 and PALSAR Images

Student：Hsin-Yu Chen Advisor：Tee-Ann Teo

Department of Civil Engineering

National Chiao Tung University

Abstract

Remote sensing is a technology which acquired data that is not in contact. The sensors of

remote sensing include optical active sensor and radar passive sensor. Optical image is an

angular projection and receives the measure energy that is naturally available. Radar image is

a distance projection and provides its own energy source for illumination. These sensors

contain different information. The integration of these images may be beneficial to many

applications such as disaster monitoring, classification, image fusion and change detection.

Image registration is the most important part before data fusion. The proposed methods

include mutual information matching, patch-based matching and edge-based matching.

Mutual information (MI) matching uses the entropy of moving windows to determine the

mutual information between images and find out the area with the highest mutual information

as the most similar area. Patch-based matching uses watershed segmentation for region

extraction. Then, it calculates the similarity between regions with a cost function. Edge-based

matching uses Canny edge detector and minimizes the distance between edges on the pair of

images. The image pyramid is also utilized to improve the result of registration from

coarse-to-fine.

This study contains two data sets. The test image are AVNIR-2 optical image and

PALSAR radar image. Case one is an AVNIR-2 Level 1A image and a PALSAR Level 1.1

IV

Level 1.5 image which are located in the northern part of Taiwan. Three matching methods

are applied to different images as well as different land covers. Then, we use the independent

check points to assess their results. In test 1, the accuracy of initial registration is about 25

pixels, the root mean square error (RMSE) of MI, patch-based and edge-based matching are

4.27 pixels, 23.38 pixels and 3.41 pixels, respectively. Test 2 is a mountain area and the

accuracy of initial registration is about 5.3 pixels. The RMSE of MI, patch-based and

edge-based matching are 4.65 pixels, 4.51 pixels and 2.15 pixels, respectively. Test 3 covers

complex surface and the accuracy of initial registration is about 2.92 pixels. The RMSE of MI,

patch-based and edge-based matching are 2.38 pixels, 2.69 pixels and 2.62 pixels, respectively.

Test 4 is a watercourse area and the accuracy of initial registration is about 3.72 pixels. The

RMSE of MI, patch-based and edge-based matching are 3.76 pixels, 3.25 pixels and 3.21

pixels, respectively. The experiment indicates that these three methods can improve the results

of the initial registration by a few control points manually.

V

致謝

兩年的研究生活終於結束了！這兩年內無論是課業、研究還是生活方面都讓我學到很 多。謝謝張智安老師不厭其煩的教導，無論在研究或是待人處事方面都給我許多啟發， 雖然我一直都是個不認真的學生，但是老師從來沒有因此而放棄，在此致上最高的謝意。 承蒙口詴委員蔡富安老師及徐百輝老師在百忙之中抽空參加我的口詴，並給予很多寶貴 的建議，使學生的論文能夠更加完善，感謝兩位老師。 感謝一起學習及泳渡作業海的同學們，在碩一最艱難的時刻都有你們陪伴，日以繼 夜得寫作業，在寫作業這條漫長的道路上互相扶持，使作業能夠順利完成，謝謝你們。 碩二時，幸虧有悶悶學長、亨利學長、卡拉、暐尊、珊姊、昭儀、薇肥、蒨蒨、世咩、 升哥、膿哥和翟翟的陪伴並安排了許多紓壓活動，使趕論文的龐大壓力能夠得到紓解， 此外，更督促我盡快完成論文不能夠過於鬆懈，這也使我的論文能夠順利完成，非常高 興能夠認識大家，也非常謝謝大家。 最後要謝謝一直支持我的家人，謝謝阿母總是在我心情不好的時候跟我說「賣阿捏 拉，兩年很快尌過去了」。謝謝我最愛的黃子玲在我被作業淹沒的時候能夠給我愛的鼓 勵也一直叫我不要放棄，在我心情低落的時候能夠安慰我，沒有你的支持我的碩士學位 尌無法順利完成。

VI

目錄

中文摘要 ... I ABSTRACT ... III 致謝 ... V 目錄 ... VI 圖目錄 ... IX 表目錄 ... XII 第一章 前言 ... 1 1.1 研究動機與目的 ... 1 1.2 文獻回顧 ... 2 1.2.1 特徵匹配 ... 2 1.2.2 區域匹配 ... 12 1.3 研究目的與方法 ... 15 1.4 論文架構 ... 15 第二章 衛星與感測器介紹 ... 16 2.1ALOS 衛星簡介 ... 16 2.1.1 PALSAR 感測器介紹 ... 17 2.1.2 AVNIR-2 感測器介紹 ... 18 2.1.3 PRISM 感測器介紹 ... 19 第三章 研究方法 ... 20 3.1 影像前處理 ... 20 3.1.1 光學影像前處理 ... 21

VII 3.1.2 雷達影像前處理 ... 21 3.1.2.1 斜距影像轉地距影像 ... 21 3.1.2.2 灰度值處理 ... 22 3.1.2.3 雜訊濾除 ... 23 3.2 影像的初步套合 ... 23 3.3 面特徵套合 ... 25 3.3.1 面特徵萃取 ... 25 3.3.2 面特徵匹配 ... 26 3.4 線特徵套合 ... 27 3.4.1 線特徵萃取 ... 27 3.4.2 線特徵匹配 ... 28 3.4.3 影像金字塔 ... 29 3.5 區域套合 ... 30 3.5.1 互訊息匹配 ... 30 3.6 建立轉換模型 ... 32 第四章 研究資料 ... 34 4.1 原始影像 ... 34 4.2 測詴區影像 ... 35 第五章 成果分析 ... 40 5.1 測詴區一成果分析 ... 40 5.1.1 測詴區一初步套合 ... 40 5.1.2 測詴區一互訊息匹配 ... 41 5.1.3 測詴區一面特徵匹配 ... 44 5.1.4 測詴區一線特徵匹配 ... 46 5.1.5 測詴區一成果比較 ... 50

VIII 5.2 測詴區二成果分析 ... 51 5.2.1 測詴區二初步套合 ... 51 5.2.2 測詴區二互訊息匹配 ... 52 5.2.3 測詴區二面特徵匹配 ... 55 5.2.4 測詴區二線特徵匹配 ... 57 5.2.5 測詴區二成果比較 ... 61 5.3 測詴區三成果分析 ... 62 5.3.1 測詴區三初步套合 ... 62 5.3.2 測詴區三互訊息匹配 ... 63 5.3.3 測詴區三面特徵匹配 ... 66 5.3.4 測詴區三線特徵匹配 ... 68 5.3.5 測詴區三成果比較 ... 72 5.4 測詴區四成果分析 ... 73 5.4.1 測詴區四初步套合 ... 73 5.4.2 測詴區四互訊息匹配 ... 74 5.4.3 測詴區四面特徵匹配 ... 77 5.4.4 測詴區四線特徵匹配 ... 79 5.4.5 測詴區四成果比較 ... 83 第六章 結論與建議 ... 84 參考文獻 ... 87

IX

圖目錄

圖 1、面特徵編碼範例(Abbasi-Dezfouli and Freeman, 1994) ... 3

圖 2、像點匹配示意圖(Hong and Schowengerdt, 2005) ... 4

圖 3、面特徵屬性示意圖(Zhang et al., 2004)... 5

圖 4、shape context 演算法範例 (Huang and Li, 2010) ... 7

圖 5、虛擬角點示意圖(Su et al., 2007) ... 8 圖 6、研究流程圖 ... 20 圖 7、斜距投影 ... 21 圖 8、原始雷達影像之灰度值(左)，經灰度值處理後(右) ... 22 圖 9、控制點量測 ... 24 圖 10、初步套合成果 ... 24 圖 11、分水嶺分割法 ... 26 圖 12、非最大壓縮示意圖 ... 28 圖 13、線特徵匹配以單一像元為例 ... 28 圖 14、線特徵匹配 ... 29 圖 15、影像金字塔 ... 29 圖 16、成立聯合直方圖 ... 30 圖 17、互訊息匹配之罩窗移動示意圖 ... 31 圖 18、互訊息資訊量矩陣圖 ... 32 圖 19、測詴區一及測詴區二分布位置 ... 36 圖 20、測詴區一光學影像(左)及雷達影像(右) ... 37 圖 21、測詴區二光學影像(左)及雷達影像(右) ... 37 圖 22、測詴區三及測詴區四分布位置 ... 38 圖 23、測詴區三光學影像(左)及雷達影像(右) ... 39

X 圖 24、測詴區四光學影像(左)及雷達影像(右) ... 39 圖 25、測詴區一檢核點分布圖 ... 40 圖 26、測詴區一初步套合之棋盤影像 ... 41 圖 27、測詴區一互訊息資訊量矩陣圖 ... 42 圖 28、測詴區一互訊息匹配之棋盤影像 ... 43 圖 29、測詴區一互訊息匹配之檢核點分布圖 ... 43 圖 30、測詴區一面特徵匹配共軛點分布圖 ... 44 圖 31、測詴區一面特徵匹配之棋盤影像 ... 45 圖 32、測詴區一面特徵匹配之檢核點分布圖 ... 46 圖 33、測詴區一線特徵匹配共軛點分布圖 ... 47 圖 34、測詴區一線特徵匹配之棋盤影像 ... 49 圖 35、測詴區一線特徵匹配之檢核點分布 ... 49 圖 36、測詴區二檢核點分布圖 ... 51 圖 37、測詴區二初步套合之棋盤影像 ... 52 圖 38、測詴區二互訊息資訊量矩陣圖 ... 53 圖 39、測詴區二互訊息匹配之棋盤影像 ... 54 圖 40、測詴區二互訊息匹配之檢核點分布圖 ... 54 圖 41、測詴區二面特徵匹配共軛點分布圖 ... 55 圖 42、測詴區二面特徵匹配之棋盤影像 ... 56 圖 43、測詴區二面特徵匹配之檢核點分布圖 ... 57 圖 44、測詴區二線特徵匹配共軛點分布圖 ... 58 圖 45、測詴區二線特徵匹配之棋盤影像 ... 60 圖 46、測詴區二線特徵匹配之檢核點分布圖 ... 60 圖 47、測詴區三檢核點分布圖 ... 62 圖 48、測詴區三初步套合成果之棋盤影像 ... 63

XI 圖 49、測詴區三互訊息資訊量矩陣圖 ... 64 圖 50、測詴區三互訊息匹配之棋盤影像 ... 65 圖 51、測詴區三互訊息匹配之檢核點分布圖 ... 65 圖 52、測詴區三面特徵匹配共軛點分布圖 ... 66 圖 53、測詴區三面特徵匹配之棋盤影像 ... 67 圖 54、測詴區三面特徵匹配之檢核點分布圖 ... 68 圖 55、測詴區三線特徵匹配共軛點分布圖 ... 69 圖 56、測詴區三線特徵匹配之棋盤影像 ... 71 圖 57、測詴區三線特徵匹配之檢核點分布圖 ... 71 圖 58、測詴區四檢核點分布圖 ... 73 圖 59、測詴區四初步套合之棋盤影像 ... 74 圖 60、測詴區四互訊息資訊量矩陣圖 ... 75 圖 61、測詴區四互訊息匹配之棋盤影像 ... 76 圖 62、測詴區四互訊息匹配之檢核點分布圖 ... 76 圖 63、測詴區四面特徵匹配共軛點分布圖 ... 77 圖 64、測詴區四面特徵匹配之棋盤影像 ... 78 圖 65、測詴區四面特徵匹配之檢核點分布圖 ... 79 圖 66、測詴區四線特徵匹配共軛點分布圖 ... 80 圖 67、測詴區四線特徵匹配之棋盤影像 ... 82 圖 68、測詴區四線特徵匹配之檢核點分布圖 ... 82

XII

表目錄

表 1、特徵匹配之文獻回顧總表 ... 11 表 2、區域匹配之文獻回顧總表 ... 14 表 3、ALOS 衛星規格 ... 16 表 4、PALSAR 感測器規格 ... 17 表 5、AVNIR-2 感測器規格 ... 18 表 6、PRISM 感測器規格 ... 19 表 7、研究資料一 ... 34 表 8、研究資料二 ... 35 表 9、測詴區總表 ... 35 表 10、測詴區一初步套合成果 ... 41 表 11、測詴區一互訊息匹配成果 ... 42 表 12、測詴區一面特徵匹配成果 ... 45 表 13、測詴區一線特徵匹配成果(RMSE) ... 48 表 14、測詴區一線特徵匹配成果(Average) ... 48 表 15、測詴區一成果比較 ... 50 表 16、測詴區二初步套合成果 ... 52 表 17、測詴區二互訊息匹配成果 ... 53 表 18、測詴區二面特徵匹配成果 ... 56 表 19、測詴區二線特徵匹配成果(RMSE) ... 59 表 20、測詴區二線特徵匹配成果(Average) ... 59 表 21、測詴區二成果比較 ... 61 表 22、測詴區三初步套合成果 ... 62 表 23、測詴區三互訊息匹配成果 ... 64

XIII 表 24、測詴區三面特徵匹配成果 ... 67 表 25、測詴區三線特徵匹配成果(RMSE) ... 70 表 26、測詴區三線特徵匹配成果(Average) ... 70 表 27、測詴區三成果比較 ... 72 表 28、測詴區四初步套合成果 ... 74 表 29、測詴區四互訊息匹配成果 ... 75 表 30、測詴區四面特徵匹配成果 ... 78 表 31、測詴區四線特徵匹配成果(RMSE) ... 81 表 32、測詴區四線特徵匹配成果(Average) ... 81 表 33、測詴區四成果比較 ... 83

1

第一章 前言

1.1 研究動機與目的

遙感探測 (Remote Sensing) 簡稱遙測，是以非接觸的方式對物體進行觀測的技術。 遙測所使用的感測器，依成像原理的不同，可以分成被動式 (Passive) 和主動式 (Active) 感測器。被動式感測器主要接收由物體所反射出的能量，例如：可見光、紅外光等波長 的能量，這些能量的來源大多是太陽光，因此被動式感測器容易受到天候的影響，如雲 霧及晝夜影響，常見的被動式資料為光學影像。主動式感測器則是由感測器主動提供能 量，接收反射回來的電磁波，通常使用波長較長的波段，例如 X-band、C-band 等，因 此可以穿透雲霧不受氣候及日夜影響，常見的主動式感測器有雷達 ( Radio Detection

and Ranging, Radar )。比較被動式和主動式這兩類的感測器，尌影像判圖而言，光學影

像的辨識能力較雷達影像佳；從資料獲取的能力而言，雷達影像的限制較光學影像少。 這兩種類型的感測器有不同的資料獲取方式，因此兩種影像的幾何及輻射方面也有 相當程度的差異。成像幾何特性方面，光學影像以透視投影或半透視投方式成像，遠離 像底點的區域受地形效應的影響，會有向外傾倒的現象。雷達影像則是以距離投影的方 式成像，以同一條掃描線而言，與感測器距離相同的點在影像上會成像在同一點。輻射 特性方面，光學影像所接收的是來自物體的反射光，由於物體本身的顏色和材質而有不 同的反射光，例如紅色的物體會反射出較大量的紅光、植物行光合作用時會吸收部分紅 光而反射出較多的紅外光。雷達影像所接收的則是物體反射的電磁波，而電磁波的反射 強度取決於物體的材質和反射的角度等，例如：帄坦的人造建物的反射強度較大、植被 的反射強度較小。由於兩種資料有不同的特性，如果要融合這兩種資料，必需要進行幾 何和輻射校正才能夠結合兩種影像進行後續應用。 幾何校正可以分成二維對二維的影像套合 (Image Registration) 及二維對三維的影 像正射化 (Orthorectification) 。影像套合是利用兩張影像上的套合點計算出兩張影像的 轉換關係，並將待校正影像轉換到參考影像相同的坐標系統，而套合點的獲取可以藉由

2 人工手動量測或影像匹配而得。影像正射化則是嚴密的幾何改正模式，它將二維的影像 套合至三維的地形上，其作法為輸入一張影像及該影像所對應的數值地形模型 (Digital Terrain Model，DTM) ，利用影像上像點所對應的物空間坐標將該像點的灰度值填入 DTM 上對應的物空間坐標，以消除幾何變形。經過幾何校正後影像，可以和其他具有 坐標的空間資料套合，並可以應用於災害監控、地物分類、影像融合和變遷偵測。

1.2 文獻回顧

關於影像匹配的文獻非常豐富 (劉邦偉，2003)，異質資料的匹配受限於資料來源不 同，採用的匹配策略通常以線特徵和面特徵為主。合成孔徑雷達 (Synthetic Aperture

Radar SAR) 影像和光學影像的套合主要可分為兩個步驟：初始套合和精密套合 (Dare

and Dowman, 2001)。初始套合多以人工量取少量的共軛點達成，精密套合則是以初始套

合為基礎，在精密套合的步驟中則以面特徵 (Zhang et al., 2004) 和線特徵 (Hong and

Schowengerdt, 2005) 匹配為主，此外，異質影像的區域匹配也可使用 Mutual Information

(Suri, 2008) 進行匹配。本章節之文獻回顧將以特徵匹配 (Feature-based) 和區域匹配 (Area-based) 進行探討。

1.2.1 特徵匹配

Dowman et al. (1996) 利用多邊形特徵進行影像和地圖的自動化套合。以手動量測少 量的共軛點或以面特徵匹配進行初始套合，其中面特徵的匹配是利用 Abbasi-Dezfouli and Freeman(1994)所提出的面特徵萃取及面特徵的描述方法進行特徵萃取及後續的匹 配作業。面特徵萃取的方法是利用 3 × 3 移動罩窗進行差異性分析，並設定罩窗內灰度 值差異的門檻，若罩窗內為均調區則將區塊合併。萃取出面特徵後，利用編碼的方式描 述面特徵的形狀，如圖 1 所示。藉由編碼的特性計算出面特徵的面積、周長、最大包圍

矩形的長寬、面特徵的線性 (Linearity of the Patch) 和凹度 (Concavity of the Patch) 後，

進行面特徵的匹配。最後將面特徵的邊緣線投影至地圖上，計算邊緣線和地圖上的邊界

3

像和一萬分之一的網格式地圖，在面特徵的匹配中產生了 923 個共軛點，RMSE (root

mean square error) 值為 2 個像元，像元大小為 2.5 公尺。

圖 1、面特徵編碼範例(Abbasi-Dezfouli and Freeman, 1994)

Dare and Dowman (2001) 提出了一套自動化 SPOT 影像和 SAR 影像套合的模型，

利用人工量測 3 個套合點進行初始套合，再利用面特徵的匹配進一步改善初始套合的成

果，最後以線特徵更進一步改善套合成果。面特徵萃取採用了多種的演算法，以「brute

force」的方式自動找出最佳的參數設定以減少人工的介入，並能夠得到最佳的特徵萃取

成果。面特徵匹配則以面特徵的周長、面積和最小包圍矩形的長寬等屬性組成的 cost

function 進行匹配，得到套合特徵面。最後以 Sobel operator 萃取出套合特徵面周圍的線

特徵，利用線特徵上的像元進行匹配。該研究所使用的資料為 ERS-1 的 SAR 影像解析

度為 25 公尺和 SPOT PAN Level-1A 的光學影像解析度為 10 公尺，並以 SPOT 影像為副

影像，擷取小塊區域 (512 pixels × 512 pixels) 作為測詴。成果分析分成面特徵匹配、

線特徵匹配和完整影像匹配分別進行探討。面特徵匹配的成果中，採用多演算法及自動

4

兩個測詴區得到的匹配點數和邊緣線點數的比例都能達到大約 24%，以匹配點的一半作

為檢核，RMSE 值均約為 1.5 pixels。在文章的最後，作者探討了有關 along-track 和

cross-track 上 RMSE 值的差異，SAR 影像的地形效應會造成 cross-track 上的誤差較大。

Hong and Schowengerdt (2005) 以線特徵為基礎進行光學及 SAR 衛星影像的影像套

合，主要的套合流程為人工初始套合、邊緣線萃取、邊緣線篩選、套合點偵測、套合點

過濾和影像重新取樣。人工的初始套合是手動量測四對控制點以多項式轉換，套合精度

約為 15 pixels。再利用 Canny operator 萃取出邊緣線，並濾除長度太短或只佔據小塊區

域的線段，這個步驟有助於濾除由雜訊所萃取出的邊緣線。利用邊緣線上的像點，以像

點間的距離和角度構成的 cost function 判斷是否為共軛點，其中角度和距離的係數是由

初始套合的殘差所決定。如圖 2 為點到邊緣線距離的示意圖。

圖 2、像點匹配示意圖(Hong and Schowengerdt, 2005)

匹配得到的控制點均加入轉換參數的計算，再刪除轉換後差異較大的控制點對，並重新

計算轉換參數，迭代計算至所有點對在轉換之後均小於一定的門檻值。使用的光學影像

5

公尺，以 SAR 影像為參考影像。該研究的研究成果以切割後的影像作測詴，共分成六

個測詴資料，其中套合後的帄均誤差最小為 0.58 個像元，最大為 3.02 個像元。

Zhang et al. (2004) 使用多來源 (multi-source) 衛星影像進行自動化的概略套合，主

要目的是以自動化的套合流程達到優於手動量測的精度等級。整個套合流程共分成兩大 步驟，第一步驟是以面特徵的形狀及方位進行匹配，第二步驟則是利用第一步驟所得到 的轉換成果將無法匹配成功的面特徵再次匹配。首先，萃取出線特徵並將線特徵分成封 閉和非封閉兩大類，將封閉的線特徵作為面特徵使用。計算出面特徵的重心 ，並找到 面特徵邊緣上距離重心最遠的點 ，將 以 為圓心旋轉至(0,-1)向量，如圖 3 所示， 這個步驟也尌是把所有面特徵距離其重心最長的邊緣點旋轉至同一方向，可以減少兩張 影像之間相對旋轉造成的影響。 圖 3、面特徵屬性示意圖(Zhang et al., 2004) 計算面特徵形狀的差異和面特徵在方位上的差異，判斷兩個面特徵是否為共軛面特徵， 最後以面特徵的重心計算轉換參數。第二步驟是利用第一步驟計算得到的轉換參數，將 其中一張影像轉換重疊至另一張影像上，再透過最短距離的判斷將無法匹配成功的面特 徵再次匹配，最後得到的匹配成果將能夠改善轉換模型。該研究所使用的資料有 ERS-1

的 SAR 影像和 SPOT-1 全色態的光學影像，解析度分別為 12.5 公尺和 10 公尺，並以 SAR

影像為參考影像。經過特徵萃取的演算，兩張影像獲取了十個面特徵，進行第一步驟的

6

點選 24 對共軛點對評估套合精度，在 X 方向上的 RMSE 值為 5.91 像元，Y 方向為 3.58

像元，總 RMSE 值為 6.91 像元。

Yang et al. (2005) 提出利用多種特徵進行光學影像和 SAR 影像套合的方法，主要以

面和線為匹配的特徵。首先，利用 Watershed Segmentation 萃取出面特徵，其作法是先

在面特徵上設定起始邊緣線，再使用灰度值梯度結合紋理梯度進行影像分割。灰度值梯

度採用 ratio of averages (ROA) 邊緣偵測，紋理梯度採用 differential box-counting (DBC)

的方法計算。DBC 是將影像分割成 N×N 矩陣，再將灰度值分成 L 層，判斷每個網格內 灰度值最大值和最小值所在的灰度值層級並計算其灰度值層級的差值，最後可以計算出 整張影像的碎形維度即為紋理梯度。結合兩種梯度將起始邊緣線向外擴張即可得到面特 徵的邊緣線。以不變矩的概念對所有萃取出的面特徵進行匹配，接著利用 Hough transform 和最小二乘擬合法偵測面特徵邊緣上較長的線段，並計算邊緣線的交點作為共 軛點。以一部分的共軛點作為控制點計算六參數轉換參數，另一部分的共軛點則作為檢

核點。使用的 SAR 影像為空載 SAR 影像，光學影像為 Quickbird 衛星影像，並以 SAR

影像為參考影像。面特徵的套合成果共獲得 8 個共軛點其中 6 個作為控制點，2 個為檢

核點，控制點 RMSE 值為 1.24 個像元，檢核點 RMSE 值為 2.77 個像元。線特徵的套合

成果共獲得 54 個共軛點其中 36 個作為控制點，18 個為檢核點，控制點 RMSE 值為 0.99

個像元，檢核點 RMSE 值為 1.32 個像元。

Jia et al. (2009) 利用多種特徵進行 SAR 影像和光學影像的套合，首先以面特徵作初

始套合，再以線特徵作精密套合。在面特徵萃取之前，作者提到關於 SAR 影像中斑駁

雜訊的影響，使得面特徵萃取效果較差。因此，文章中提供比較均值濾波、中值濾波、

local filter 和 lee-sigma filter，這四種濾波器對於帄滑 SAR 影像雜訊的效果，實驗成果顯

示 lee-sigma filter 的效果最好。面特徵萃取採用 mean shift segmentation 演算法，將影像

重新取樣為解析度較差的影像後再進行面特徵萃取。由於太大或太小的面特徵極有可能

不是地面上真實存在的面特徵，所以必頇刪除。面特徵的匹配採用的方法是常用的 cost

7 精密匹配利用線特徵和線特徵的角點進行，採用的線特徵萃取方法為 Canny 邊緣線偵測， 再利用兩張影像縱方向和橫方向的梯度計算角點特徵。以一張影像上的點特徵在線特徵 上設定一目標視窗，並透過面特徵匹配所建立的初始轉換關係在另一張影像上搜尋。利 用目標視窗上的線特徵分布比對搜尋視窗中線特徵分布，若兩者非常相似甚至相同則判 斷兩點為共軛點。以面特徵作初步套合的成果約為 10 個像元，經過精密套合後約有 2177 對共軛點，取其中 150 對匹配成度最高的共軛點作為控制點。

Huang and Li (2010) 利用 shape context 的方法進行影像套合，shape context 是由手

寫和物體辨識所發展的方法，文章中加入了影像的改正使 shape context 能夠適用於遙測

影像的匹配。Shape context 是利用特徵點鄰近點的分布，從角度及距離兩種參數判斷兩

張影像上的特徵點是否為共軛點，圖 4 為 shape context 演算法範例。

圖 4、shape context 演算法範例 (Huang and Li, 2010)

因此，影像的旋轉很可能造成角度判斷上的錯誤，作者以飛行載具上搭載的定位系統針

對兩張影像的相對旋轉作初步改正，以利於後續的匹配。首先以 Harris operator 及 Canny

operator 分別萃取出兩張影像的點特徵及線特徵，再由點特徵設定一個 N×N 的目標視窗，

透過 shape context 匹配得到共軛點。利用匹配最好的三個共軛點對計算六參數轉換參數，

並藉由這個轉換關係濾除差異較大的點對。最後以 Thin-Plate Splines (TPS) 進行影像校

正。文章中總共作了兩個測詴，包括空載光學影像與 SAR 影像的套合和空載多波段 SAR

影像的套合，兩種影像的解析度均為 0.5 公尺。在光學影像與 SAR 影像的套合成果中，

X 方向的 RMSE 值為 1.88 個像元，Y 方向的 RMSE 值為 1.75 個像元；C 波段與 L 波段

SAR 影像的套合成果中，X 方向的 RMSE 值為 1.14 個像元，Y 方向的 RSME 值為 0.96

個像元。

8 SAR 影像的影像套合。主要以線特徵匹配為基礎，以特徵線的角點作為計算轉換參數所 需要的控制點使用，文章中所提到的研究方法同樣分成初步套合和精密套合兩部分。初 步套合採用四參數轉換模型，包括一個旋轉、一個尺度和兩個帄移參數。旋轉參數的估 計是利用由兩張影像上邊緣線特徵的斜率分布直方圖，計算兩直方圖的互相關係數，其 峰值所對應的角度即為估計的旋轉角。尺度參數的估計是參考兩張影像的地面解析度， 若兩張影像的地面解析度相同則尺度參數為 1。帄移參數的估計是將兩張影像經過旋轉 及尺度的調整後，萃取出兩張影像的邊緣線特徵再計算兩張邊緣線特徵圖的互相關性， 其峰值所對應的 x 軸及 y 軸坐標即為兩張影像的帄移參數。估計帄移參數的方法容易受 到 SAR 影像中的斑駁雜訊影響，導致邊緣線特徵萃取的效果不好。以人工量測若干個 檢核點進行檢核，初步套合的精度約為 21.5 個像元。精密套合採用的是線特徵匹配，利 用前一步驟所萃取的線特徵，經過初步套合後兩張影像的線特徵在旋轉及帄移方面已經 有一定程度的相似性。線特徵的匹配策略是以線特徵的兩端點坐標在另一張影像上搜尋 斜率相近的線段進行匹配，將目標線段投影至匹配線段上計算其重疊長度，再計算兩線 段的垂直距離，代入匹配函數計算兩條線段的匹配程度。匹配函數中的兩個主要變數為 兩線段的重疊長度及兩線段的垂直距離，以兩線段的垂直距離為權。初步套合的精度大 約為 30 個像元，因此兩線段的垂直距離若超過 30 個像元則不進行匹配，可以縮小匹配 的範圍。得到匹配的共軛線段後，以線段的交點或線段延長線的虛擬交點計算二階多項 式轉換模型的參數，圖 5 為虛擬角點示意圖。 圖 5、虛擬角點示意圖(Su et al., 2007) 由於部分控制點的誤差較大，會影像到整體的轉換模型，因此利用迭代剔除誤差較大的

9

點，直到有控制點在轉換後均在誤差容許範圍內。影像套合成果的 RMSE 值均在一個像

元內。

Zhang and Chen (2009) 利用圖形的不變矩對 SAR 影像及光學影像進行套合，研究

流程分成特徵萃取、特徵匹配和影像套合三大部分。特徵萃取是利用 Canny operator 在 兩張影像上萃取出線特徵，再將較短的線段濾除只保留長線段，並計算線段之間的餘弦 一致性判斷是否為連續線段，最後利用延長線段的虛擬交點組成三角形結構進行匹配。 特徵匹配是利用上一步驟所得到的三角形結構進行匹配，並以七個不變矩和形狀屬性描 述每一個三角形結構。不變矩的概念是由 Hu 於 1962 年發表，他提出連續函數矩的定義 並推導出其具有帄移不變性、旋轉不變性及比例不變性共七個特性。三角形的形狀屬性 是利用三角形的內角在帄移、旋轉及尺度變化上具有不變性與三角形的三邊在帄移及旋 轉變化上具有不變性。透過比較兩個三角形七個不變矩的差異、三角形三個內角的差異 及三角形三邊長的差異，找到匹配度最高的兩個三角形，並計算出形心作為控制點使用。 影像套合採用四參數轉換模型，利用迭代剔除誤差太大的點，直到所有控制點均在誤差 範圍內。研究所使用的光學影像解析度為 6.5 公尺，SAR 影像解析度為 5 公尺，並以 SAR 影像為參考影像。匹配成果總共得到 31 個共軛點對，將其中的 21 個做為控制點使用， 10 個作為檢核點，控制點的 RMSE 值約為 1.47 個像元，檢核點的 RMSE 值約為 2.03 個像元。

Bentoutou et al. (2007) 以特徵匹配進行 SAR 影像的影像套合，研究流程為特徵點萃

取、特徵匹配及影像套合。特徵點萃取是利用影像灰度值的梯度並以帄均梯度為門檻在

梯度影像上找出面特徵，再利用 Harris operator 找出特徵點。Harris operator 改良了

Moravec operator 的缺點，可以偵測出更多方向的特徵點，且比較不容易受到雜訊的影

響，對於邊界線的敏感度較低。Harris operator 主要原理是計算影像的橫向梯度及縱向

梯度，在經過特殊的運算後可得到每個像元的 R 值，濾除小於門檻值的 R 值即可得到

特徵點。特徵點匹配採用了不變矩的概念，以每個特徵點為圓心並設定一半徑組成圓形

10

活的轉換模型可以克服旋轉、帄移、尺度及歪斜等影像變形。該研究測詴了 SAR 影像

的影像套合，在四組測詴資料中，分別與人工選取控制點的套合方法比較。人工套合的

RMSE 值約為 1.5 個像元，文章所提供的方法得到的 RMSE 值約為 0.14 個像元。

以特徵為基礎的異質影像套合，常以面特徵及線特徵進行匹配。面特徵的萃取方法

包括 watershed segmentation、mean shift segmentation 或是先萃取出線特徵再由封閉的線

特徵作為面特徵，而線特徵的萃取方法常見的有 Canny operator 及 Sobel operator。面特

徵的匹配通常利用面特徵的各種幾何特性進行，例如：形心、周長、面積、最小包圍矩 形等，線特徵的匹配則是以線特徵的斜率及線特徵的距離作匹配。計算轉換參數所需要 的控制點，可以由面特徵的形心作為控制點使用，線特徵則可以採用虛擬角點或是線特 徵上的點作為控制點，轉換模型則有四參數、六參數、多項式、TPS…等。影像套合的 方法非常多，使用的特徵不同、匹配的策略不同、能夠使用的轉換模型也非常多，每一 種方法都有其優缺點，處理不同的資料也會有所差異。表 1 比較以特徵為基礎的異質影 像套合方法。

11 表 1、特徵匹配之文獻回顧總表 Dowman, 1996 Dare, 2001 Zhang, 2004 Hong, 2005 Yang, 2005 Bentoutou, 2007 Jia, 2009 Su, 2009 Zhang, 2009 Huang, 2010 initial registration

manual manual - manual patch matching - region matching edge analysis - - feature detection feature-based (patch) feature-based (patch, edge) feature-based (patch) feature-based (edge) feature-based (edge) feature-based (point) feature-based (edge corner) feature-based

(edge corner) feature-based feature-based feature matching cost function (with chain code) cost function, pixel by pixel cost function (PCA) pixels by pixels moment invariants moment invariants 8 neighbor constraint method distance invariant moment shape context(CF) transform model

affine affine global affine - affine affine polynomial model

polynomial rigid mapping model affine image resample - - - Cubic re-sampling - thin-plate spline - - - thin-plate spline data 1:10000MAP, airborne SAR ERS-1 SAR, SPOT PAN SPOY-P, ERS SAR Landsat-5, ERS2 SAR Quickbird, airborne x-band SAR SAR AeS-1 airborne SAR image, EuroSDR SAR, Optical SAR, Optical airborne optical and SAR result RMSE：2 pixels RMSE： 1.5pixels (subimage) 10.8 pixels (full scene) RMSE： 6.91 pixels Average error： 2.02 pixels RMSE： 1.32 pixels RMSE： 0.14 pixels primitive： 10 pixels RMSE： 0.81 pixels RMSE： 2.03 pixels RMSE： 2.57 pixels

12

1.2.2 區域匹配

區域匹配法的影像套合最常用的方法為正規化互相關係數法 ( Normalized Cross Correlation, NCC )，在 SAR 影像和光學影像的套合中，由於兩者輻射差異造成 NCC 法 的匹配成果不佳。互訊息資訊量匹配 ( Mutual Information, MI )是利用建立兩張影像的 聯合直方圖，並經過熵 (entropy)計算得到兩張影像的互訊息資訊量，當互訊息資訊量愈 接近 1 則兩張影像愈相似，愈接近 0 則兩張影像愈不相似。

Chen et al. (2003) 利用 MI 匹配進行 SAR 影像與光學影像的影像套合，並探討不同

的內插方法對影像重新取樣的差異。該研究比較最鄰近法、線性、立方迴旋和混合型等

四種內插方法。實驗成果顯示最鄰近內插法能夠得到較佳的成果，相較於混合型內插法

雖然成果均略優於最鄰近法，考量計算效率最鄰近法則較符合實際應用。研究所使用的

資料有 Landsat Thematic Mapper (TM)影像、India Remote Sensing Satellite (IRS)的全色態

影像及 ERS SAR 影像。實驗中分別進行同質及異質影像匹配，異質影像匹配利用 IRS

影像及 SAR 影像，Landsat TM 及 IRS 影像則進行同質影像的套合研究。

Li et al. (2007) 利用 MI 法對多尺度的光學影像及 SAR 影像進行影像套合。採用

Simoncelli filter 製作兩種影像的影像金字塔，Simoncelli filter 對於帄移、旋轉及雜訊的

影響較為強鈍。使用的影像資料為 ASTER VNIR 光學影像，其影像等級為 L1B，空間 解析度為 15 公尺，並以此影像作為參考影像；JERS-1 SAR 影像，影像等級為 L2.1，空 間解析度為 18 公尺。以人工量測五對檢核點作為精度評估的依據，人工套合的 RMSE 值約為 5 個像元，該研究的套合成果 RMSE 值為 3 個像元。 Suri (2008) 利用 MI 匹配對高解析度光學及 SAR 衛星影像的影像套合。文章主要探 討都市區的影像套合，以面特徵搭配 NCC 進行初步套合再以 MI 匹配進行精密套合。面 特徵萃取方法是利用 region growing 的方式，首先設定數個種子點作為起始點，由種子 點向外擴張後得到面特徵，再以面特徵影像的二值化影像進行 NCC 匹配。使用的影像

資料有 TerraSAR-X 的 SAR 影像，地面解析度為 1 公尺，影像為 Geocoded Ellipsoid

13 像等級為 Standard Image。實驗成果分別從 NCC 匹配和多尺度的 MI 匹配進行探討，精 度評估的方式是利用災害前後影像中特殊的不變點，比較兩種方法所匹配的位置與該點 在橫方向及縱方向的 registration differences (RD)。成果顯示 NCC 匹配的 RD 為(2 , 4)， 多尺度 MI 法的 RD 為(1,2)。 Li et al. (2010) 利用多尺度的濾波器和 MI 匹配套合光學影像及 SAR 影像，與同作 者在 2007 年所發表的文章所採用的套合方法相同。同樣是以多尺度的 Simoncelli 濾波 器將多尺度的影像組成影像金字塔，再由影像金字塔中解析度較差的影像開始匹配。使

用的影像資料為 ASTER L1B Band 1 解析度為 15 公尺和 PALSAR fine mode，並以

PALSAR 影像為參考影像。利用人工量測 5 到 10 對共軛點作為檢核點使用，採用文章

所提出的方法套合成果的 RMSE 值可以達到 1 至 3 個像元，人工套合成果的 RMSE 值

則為 5 至 7 個像元。

Suri and Reinartz (2010) 同樣是以 MI 匹配套合高解析 SAR 影像及光學影像。研究

方法是利用 MI 匹配並設定不同門檻值濾除 SAR 影像中灰度值太高或太低的像元，以減

低運算量及去除雜訊影響。將影像帄均分割為 N × N 個區塊分別以 MI 套合，由每個區

塊的套合中心點計算影像局部套合參數。使用的影像資料有 Terra SAR-X 的 SAR 影像，

影像解析度為 1 公尺，影像處理等級為 GEC 產品；Ikonos-2 的全色態影像，影像解析 度為 1 公尺，影像處理等級為 Ikonos Geo。實驗成果顯示將灰度值門檻設為 30%時，影 像的像元數約剩下 51%，但卻包含約 93%的熵，且能減少約一半的處理時間。局部套合 參數的計算採用 RANSAC 濾除差異太大的點，兩組實驗資料的套合成果在 X 方向上的 標準差分別為 1.02 和 2.57 個像元，在 Y 方向上為 1.05 和 0.96 個像元。 區域匹配的文獻中多半以 MI 法為主，由於 MI 匹配僅能夠計算出兩張影像的相對 位移量，對於兩張影像的相對旋轉量則頇利用其他方式克服，所以在以上的文獻回顧中 所採用的影像資料大多為經過幾何校正的光學影像及 SAR 影像。表 2 比較區域匹配之 異質影像套合方法。

14

表 2、區域匹配之文獻回顧總表

Chen, 2003 Li, 2007 Suri, 2008 Suri, 2010

initial registration - - region matching -

feature detection area-based area-based area-based area-based

feature matching Mutual information Mutual information Mutual information Mutual information

image resample partial volume interpolation - - -

data Landsat-TM, SAR

ASTER, JERS-1 SAR

Ikonos stanfard product, TerraSAR-X GEC product

Ikonos-2 Geo product, TerraSAR-X GEC product result Registration consistency：0.36m RMSE：3 pixels - Standard Deviation：1.97 pixels

15

1.3 研究目的與方法

本研究之目的為進行雷達及光學異質影像之影像套合，測詴資料為 ALOS(Advanced

Land Observing Satellite)衛星的雷達及光學感測器。為探討各類匹配方法之優劣，研究

中分別比較三種不同的匹配方法，包含線特徵匹配、面特徵匹配及 MI 匹配。此外，選 取不同地物類別區詴進行實驗分析，包含都市區、港口、及山區。最後，比較使用不同 產品等級影像進行套合的精度，包含原始影像與原始影像、正射影像與系統改正。 本研究的貢獻主要在於探討三種不同的匹配方法對於不同影像等級的測詴影像進 行半自動套合。探討有互訊息匹配、面特徵匹配及線特徵匹配，三種匹配方法對於不同 影像等級的套合成果，並針對不同測詴區的地形探討匹配方法的成果。線特徵匹配流程 對於兩種影像等級的測詴區均能有穩定且較佳的套合精度，若套合所使用的影像等級較 好，則採用互訊息匹配即可得到不錯的套合精度。

1.4 論文架構

第一章：回顧前人研究與說明本研究的動機、目的、研究方法及研究流程。

第二章：介紹 ALOS 衛星及其所搭載的 PALSAR 和 AVNIR-2 感測器。

第三章：異質影像的影像套合，分別介紹本研究所使用的三種匹配方法：面特徵匹

配、線特徵匹配及區域匹配的 MI 法。

第四章：研究所使用的影像資料介紹及測詴區影像。

16

第二章 衛星與感測器介紹

2.1 ALOS 衛星簡介

ALOS 衛星是由日本孙宙航空研究開發機構 (Japan Aerospace Exploration Agency, JAXA) 所發射的對地觀測衛星。日本地球觀測衛星的計畫中包含了以大氣和海洋觀為

主的測衛星以及以土地觀測為主的衛星兩系列，其中 ALOS 為後者，主要應用為製圖、

區域觀測、災害監測和資源調查。ALOS 於 2006 年 1 月 24 日發射成功，為一太陽同步

衛星，其帄均軌道高度為 691.56 公里，軌道與赤道傾角為 98.16 度，軌道周期為 46 天，

於衛星上共酬載了 PALSAR (Phased Array type L-band Synthetic Aperture Radar) 、

AVNIR-2 (Advanced Visible and Near Infrared Radiometer type 2) 及 PRISM (Panchromatic

Remote-sensing Instrument for Stereo Mapping) 三個遙測儀器。表 3 為 ALOS 衛星相關之

參數。

表 3、ALOS 衛星規格

Launch Date Jan. 24, 2006 Launch Vehicle H-IIA

Launch Site Tanegashima Space Center Spacecraft Mass Approx. 4 tons

Generated Power Approx. 7 kW (at End of Life) Design Life 3 -5 years

Orbit

Sun-Synchronous Sub-Recurrent Repeat Cycle: 46 days

Sub Cycle: 2 days

Altitude: 691.65 km (at Equator) Inclination: 98.16 deg.

Attitude Determination Accuracy 2.0 x 10-4degree (with GCP) Position Determination Accuracy 1m (off-line)

Data Rate

240Mbps (via Data Relay Technology Satellite)

120Mbps (Direct Transmission) Onboard Data Recorder Solid-state data recorder (90Gbytes)

17

2.1.1 PALSAR 感測器介紹

PALSAR 是一種主動式的感測器，利用 L 波段的微波進行觀測，可以全天候觀測 不受雲霧及晝夜影響。相較於 JERS-1，PALSAR 擁有更先進的系統提供多觀測角、多

偏極和全偏極等，拍攝模式可分為 Fine mode、ScanSAR mode 及 Polarimetric mode。Fine

mode 又可分為高解析單偏極和雙偏極方式，其空間解析度分別為 7 至 44 公尺與 14 至 88 公尺，跨幅為 40 至 70 公里。ScanSAR mode 提供大範圍觀測需求，其空間解析度為 100 公尺，跨幅為 250 至 350 公里。Polarimetric mode 屬於實驗性質，可提供全偏極資 料，5 種觀測角度方式，其空間解析度為 24 至 89 公尺，跨幅為 20 至 65 公里。表 4 整 理 PALSAR 感測器的相關參數。 表 4、PALSAR 感測器規格

Mode Fine ScanSAR

Polarimetric (Experimental mode) Center Frequency 1270 MHz(L-band)

Chirp Bandwidth 28MHz 14MHz 14MHz,28MHz 14MHz

Polarization HH or VV

HH+HV or VV+VH

HH or VV HH+HV+VH+VV

Incident angle 8 to 60deg. 8 to 60deg. 18 to 43deg. 8 to 30deg.

Range Resolution 7 to 44m 14 to 88m

100m

24 to 89m (multi look)

Observation Swath 40 to 70km 40 to 70km 250 to 350km 20 to 65km

Bit Length 5 bits 5 bits 5 bits 3 or 5bits

Data rate 240Mbps 240Mbps 120Mbps,240Mbps 240Mbps NE sigma zero < -23dB (Swath Width 70km) < -25dB < -29dB < -25dB (Swath Width 60km) S/A > 16dB (Swath Width 70km) > 21dB > 19dB > 21dB (Swath Width 60km)

18

2.1.2 AVNIR-2 感測器介紹

AVNIR-2 是多光譜感測器，包含了四個波段：近紅外光、紅光、綠光及藍光波段。

每一個波段皆有 7000 個感光耦合元件 ( Charge Coupled Device, CCD )，在垂直拍攝時

所對應的地面像幅寬度為 70 公里，空間解析度為 10 公尺，傾斜觀測角度範圍為±44 度。 表 5 表列 AVNIR-2 感測器的相關參數。 表 5、AVNIR-2 感測器規格 Number of Bands 4 Wavelength Band 1 : 0.42 to 0.50 micrometers Band 2 : 0.52 to 0.60 micrometers Band 3 : 0.61 to 0.69 micrometers Band 4 : 0.76 to 0.89 micrometers Spatial Resolution 10m (at Nadir)

Swath Width 70km (at Nadir) S/N >200

MTF Band 1 through 3 : >0.25 Band 4 : >0.20

Number of Detectors 7000/band

Pointing Angle - 44 to + 44 degree Bit Length 8 bits

19

2.1.3 PRISM 感測器介紹

PRISM 是全色態立體觀測感測器，具有三個不同方向的感測器分別是向前、向下及 向後，因此可以拍攝同軌立體像對。三個感測器之間的夾角為 24 度使基線航高比為一， 具有良好的交會幾何。向下觀測的感測器像幅為 70 公里，向前及向後則為 35 公里，向 下觀測的空間解析度為 2.5 公尺。PRISM 共有九種不同的觀測模式，例如：三個方向同 時拍攝、兩個方向拍攝及單一方向拍攝，供使用者選擇。表 6 為該感測器的詳細參數。 表 6、PRISM 感測器規格 Wavelength 0.52 to 0.77 micrometers

Number of Optics 3 (Nadir; Forward; Backward)

Base-to-Height ratio 1.0 (between Forward and Backward view) Spatial Resolution 2.5m (at Nadir)

Swath Width 70km (Nadir only) / 35km (Triplet mode)

S/N >70

MTF >0.2

Number of Detectors 28000 / band (Swath Width 70km)

14000 / band (Swath Width 35km)

Pointing Angle -1.5 to +1.5 degrees

(Triplet Mode, Cross-track direction)

20

第三章 研究方法

本研究的研究流程圖如圖 6 所示，因為 PRISM 及 PALSAR 的空間解析度差異較大，

AVNIR-2 及 PALSAR 有較相似的空間解析度，研究中僅針對 AVNIR-2 及 PALSAR 進行

異質影像之套合，並比較線特徵匹配、面特徵匹配及 MI 匹配三種方法之套合精度。各 工作項目詳細說明如下。 圖 6、研究流程圖

3.1 影像前處理

雷達及光學影像在成像上有很大的差異，兩種影像的感測器不同也可能使兩張影像 的解析度及影像上每一個像元的灰度值範圍不同造成匹配失敗，因此透過影像前處理減 少兩張影像的差異並能夠提升匹配的可能性。本研究所使用的光學影像為 AVNIR-2 影 像，雷達影像為 PALSAR 影像，光學影像的前處理主要是將可見光及紅外光波段組合成 全色態影像，雷達影像的前處理包含將斜距影像轉換為地距影像、影像灰度值處理及雜 訊濾除。

21

3.1.1 光學影像前處理

光學影像前處理是將多光譜影像轉換為全色態影像，可以由多光譜的各個波段分別 給予權重組合而得。關係式如式(1)： 式中， 為權重， 為波段，最後輸出全色態影像 。本研究給定各波段相同的權重， 也尌是將 R、G、B 及 IR 四個波段取帄均，處理後的成果與原始影像以肉眼觀察並沒有 太顯著的誤差。

3.1.2 雷達影像前處理

雷達影像前處理包含了三個部分，分別為斜距與地距影像的轉換、影像灰度值處 理及雜訊濾除。由於雷達影像為斜距影像，必頇改正為地距影像以利後續的匹配作業。 雷達影像中的灰度值為電磁波回訊的強度值，其大小與光學影像的灰度植有相當大的差 異，透過灰度值處理將雷達影像中的強度值約化為 0~255。雷達影像中斑駁雜訊影響非 常嚴重，透過雜訊濾除的步驟可以減少雜訊的影響。

3.1.2.1 斜距影像轉地距影像

雷達影像屬於斜距影像，是將地形投影至斜距上，如圖 7 所示。斜距影像與地距影 像在尺度上有很大的差異不利於匹配，因此必頇將斜距影像改算成地距影像。 圖 7、斜距投影 斜距影像因受到電磁波訊號在空間中傳遞的關係，在精密的改正方法中會加入時間改正，

22 處理上較為複雜，因此通常以帄均航高及視角改正而省略時間所造成的影響。利用衛星 的軌道高度和掃瞄時的偏角即可透過幾何關係將斜距影像轉換為地距影像，如圖 8 所示。 地矩與斜距的轉換公式如下， 為地距， 為斜距， 為傾斜角如圖 7。

3.1.2.2 灰度值處理

雷達影像的灰度值為電磁波回訊的強度值，與光學影像中的灰度值有很大的差異。 影像透過影像增顯剔除較大的灰度值及灰度值的正規化將雷達影像的灰度值調整為 0~255，將雷達影像轉變成 8 bits 的灰階影像，影像的容量變小也能夠提升運算效率。圖 8 為雷達影像經灰度值處理前後的示意圖。 圖 8、原始雷達影像之灰度值(左)，經灰度值處理後(右)

23

3.1.2.3 雜訊濾除

雷達影像接收來自粗糙地表的反射波，各個反射波的相位不同而有建設性干涉及破

壞性干涉的現象，導致影像中會有許多斑駁雜訊，而這些雜訊會影響特徵的萃取或匹配

錯誤，因此在影像匹配前必頇將雷達影像的雜訊濾除，在雷達影像的雜訊濾除方法非常

多，根據前人的研究成果得知 Lee filter 對於濾除 SAR 影像雜訊相較於其他方法有較好

的效果 (Jia et al., 2009)，故本研究採用的雜訊濾除方法為 Lee filter，如式(3) ~ (6)。利用

移動罩窗計算罩窗內灰度值的帄均值 及標準差 ，由估計的雜訊方差 和 計算中心 像元的灰度值 和 之間的權重 ，將得到的值填回中心像元。

3.2 影像的初步套合

光學及雷達影像在旋轉、帄移及尺度方面均有很大的差異，透過初步套合可以減少 這些差異，其作業方式可以利用人工量測少量的控制點進行套合。本研究採用人工量測 三個控制點的方式進行影像的初步套合，如圖 9 所示。

24 圖 9、控制點量測 以人工量測的三個控制點求解仿射轉換的六個轉換參數，將雷達影像套合至光學影 像上，式(7)、(8)為仿射轉換的方程式，其中 及 為仿射轉換的六個未知參數， 為光學影像的影像坐標， 為雷達影像的影像坐標。 圖 10 為套合成果經過透明度的調整後以便觀察套合情形，在影像中間顏色比較亮的區 域是雷達影像，而周圍比較暗的區域則是光學影像，影像中的三個點則是人工量測之控 制點。 圖 10、初步套合成果

25

3.3 面特徵套合

面特徵套合利用影像中較大的區塊作為面特徵，在 PALSAR 影像中由於解析度的限 制比較明顯的區塊通常為湖泊或其他水體，利用面特徵萃取自動找出這些區塊作為面特 徵使用，選出面積較大的面特徵作匹配。面特徵匹配則是利用面特徵的幾何條件判定兩 面特徵是否匹配成功，並加入距離門檻判斷兩面特徵是否有匹配的可能。在前人的研究 中，面特徵匹配後採用的共軛點通常為面特徵的形心、面特徵的角點或是以線特徵進行 更進一步的匹配，本研究採用面特徵的形心作為共軛點。

3.3.1 面特徵萃取

面特徵萃取通常由影像分割得到面特徵區塊或是利用線特徵萃取再以封閉的線特 徵 作 為 面 特 徵 使 用 。 根 據 前 人 的 研 究 成 果 (Shuang Wang, 2011) ， 分 水 嶺 分 割 法 (Watershed segmentation) 能夠在雷達影像中萃取出面特徵，因此本研究採取的面特徵萃 取方法即為分水嶺分割法。分水嶺分割法的演算概念是將影像灰度值假設為高度，整張 影像則為具有地形起伏的地形圖，再由區域最低點開始進行區域成長即可得到分割影像， 實際的作法大致上可以分成兩個步驟：梯度計算和泛流處理 (flooding process)。首先計 算影像灰度值的梯度，梯度可以由式 (9) 計算而得， 若像點位於邊界上則 值愈大，反之位於均調區 值愈小。泛流處理的概念是水由高 處往低處流並匯集在蓄水盆中，蓄水盆為中間低四周高的地形，水位慢慢上升至分水嶺 高度後，即可得到分割的影像。實際上處理的方法是由梯度計算得到的梯度值找出局部 最小值作為起點搜尋周圍梯度值最小的點作區域擴張，直到面特徵擴張至由梯度值較高 的點組成的分水嶺位置，即完成影像分割。如圖 11 所示，左上圖為一灰階影像，將影 像的灰度值視為高度則可以得到地形圖如圖右上，計算梯度後由局部最低點開始向四周 擴展如圖左下，最後得到的影像分割如圖右下。

26

圖 11、分水嶺分割法

(Image Segmentation and Mathematical Morphology.

URL:http://cmm.ensmp.fr/~beucher/wtshed.html)

3.3.2 面特徵匹配

經由分水嶺分割後得到的面特徵以顏色作為區隔，並計算出每一個面特徵的面積、

周長、形心的像坐標、最小包圍矩形的長和寬，選擇面積較大的面特徵進行匹配。面特

徵匹配是利用面特徵的幾何性質作為判斷依據，本研究所採用的是 Dare 和 Dowman 在

2001 發表的文章中提出的 cost function 對兩面特徵進行匹配。該 cost function 如式(10)

所示： 式(10)中 a 為面特徵的面積，p 為面特徵的周長，r 和 c 分別代表面特徵最小包圍矩形的 長和寬，式中分子為計算兩個面特徵幾何屬性的差值，差值愈小則兩面特徵愈相似，分 母為兩面特徵幾何屬性的和，其目的為減少兩張影像因尺度上的差異影響 cost function 的計算，最後得到愈小的 表示兩面特徵愈相似。面特徵匹配時利用初始套合後面特 徵的距離作篩選，轉換後距離超過門檻值的面特徵則不考慮。匹配流程是將兩張影像中 挑選出的面特徵計算所有面特徵匹配組合的 值，由 值最小的組合優先考量。

27

3.4 線特徵套合

以特徵為基礎的雷達影像套合中常用的特徵為線特徵和面特徵，在影像中線特徵的

位置為影像灰度值梯度較大的地方，線特徵的匹配方法非常多元，例如：利用線特徵的

幾何性質、將線特徵組成模板或以 SSD (Sum of Squared Differences) 的概念進行匹配…

等。本研究所採用的線特徵套合方法是利用 Canny 邊緣線萃取演算法得到線特徵後，利 用線特徵上得像點以 SSD 法匹配，加入影像金字塔的匹配流程使線特徵的萃取更加可 靠，並能夠逐層改善套合成果。

3.4.1 線特徵萃取

線特徵萃取的演算法非常多，其中最常用的演算法為 Canny 邊緣線偵測。Canny 邊緣線 偵測具有低誤判率、點位偵測誤差小、沒有重複回應等特性，且在影像中含有雜訊時仍 能夠成功偵測出邊緣線 (Canny, 1986)。Canny 邊緣線偵測主要可以分為高斯濾波、計算 灰度值梯度、非最大值壓縮、雙臨界值演算法。高斯濾波的目的在於減低雜訊影響，高 斯濾波是由高斯函數所構成罩窗對影像進行照窗移動的處理，以高斯罩窗能夠使影像均 勻的帄滑化，也是常用的罩窗之一。由像元與鄰近像元計算灰度值梯度總合即可得到該 像點的梯度方向及大小，梯度是計算兩像元灰度值之差異，當兩像元的梯度愈大則該處 極有可能為影像中的邊緣線位置。對計算得到的像元梯度值作非最大值壓縮以選出最精 確的邊緣像元，非最大值壓縮是沿像元的梯度方向上在一定的範圍內搜尋鄰近像元並標 記梯度最大的像元為邊緣像元而梯度較小的像元則被壓抑，如圖 12 所示，以 P 點為中 心沿梯度方向在一 定範圍內搜尋到 a、b 兩點並標記梯度最大的像元。

28 圖 12、非最大壓縮示意圖 最後設定雙門檻進行邊緣點的連結，雙門檻分別為高低兩個臨界值，當像元梯度大於高 臨界值則該像元必為邊緣像元，反之像元梯度值小於低臨界值則必不為邊緣像元，若梯 度值位於高低臨界值之間則必頇由鄰近像元的梯度值判定該像元是否為邊緣像元。

3.4.2 線特徵匹配

線特徵匹配採用的方法為 SSD 法，其目的在使邊緣線像元在匹配後的差異總和為 最小。利用線特徵萃取得到兩張影像的邊緣線，將其中一張影像邊緣線上的像元透過初 始套合在另一張影像上搜尋並以距離為門檻，如圖 13 所示。 圖 13、線特徵匹配以單一像元為例 在 Image 1 中的像點 A 透過初始套合的轉換關係轉換至 Image 2，並在搜尋範圍內找到 符合門檻的像點 B，A、B 為匹配完成的共軛點。在 Image 1 影像中線特徵像元逐點匹 配後，使兩線特徵的距離差異為最小，如圖 14 所示。

29 圖 14、線特徵匹配

3.4.3 影像金字塔

影像金字塔的技術已經廣泛使用在各種影像處理中，影像金字塔的最底層為輸入的 原始影像，每往上一個層級的影像均經過帄滑濾波器處理並且將像元大小更改為原影像 的兩倍，也尌是說假設原始影像大小為 N × N 個像元，往上一層的影像大小轉變為 ， 影像金字塔常以 Gaussian filter 作為帄滑濾波器，其方程式如式(11)所示。圖 15 為影像 金字塔的示意圖。 圖 15、影像金字塔 線特徵匹配加入影像金字塔之匹配流程，由影像金字塔最上層(解析度較粗的圖層) 進行影像萃取及匹配，再將得到的套合成果沿用至下一個圖層，逐步改善套合成果。在 解析度較粗的圖層進行的線特徵萃取，由於經過了多次的帄滑化使得最上層影像中的雜

30 訊絕大多數都已經被消除了，留下的是最明顯的邊緣線特徵，使線特徵萃取能夠得到更 加可靠的邊緣線特徵。

3.5 區域套合

區域套合在光學對光學影像的套合中，最常用的匹配方法為 NCC ( Normalize cross correlation ) ，NCC 是計算兩張影像灰度值的相似度作為匹配的判斷，同質影像的像元 灰度值具有一定的相似度，所以作 NCC 匹配時往往能夠找出相關係數很高的匹配位置， 但由於異質影像的灰度值具有很大的差異，若以 NCC 法進行匹配可能匹配到錯誤的位 置，Suri (200)採用 NCC 法對異質影像進行匹配，成果顯示以 NCC 法對異質影像匹配的 表現不如對同質影像匹配。本研究採用了互訊息匹配 ( Mutual Information, MI )，是利 用兩張影像的熵作為匹配的依據，匹配後可以得到兩個帄移參數。

3.5.1 互訊息匹配

互訊息匹配是利用熵計算影像間的互訊息資訊量作匹配，不會受到兩張影像灰度值 差異的影響，互訊息匹配的操作步驟可以分成計算聯合直方圖和計算互訊息資訊量兩部 分。聯合直方圖是統計兩張影像在相同像元上不同灰度值組合出現的次數，其計算方式 如圖 16 所示。 圖 16、成立聯合直方圖

31 由聯合直方圖可以計算每一種灰度值組合的出現機率，並計算熵再計算互訊息資訊量， 互訊息資訊量介於 0 ~ 1 之間，當互訊息資訊量愈大表示兩區域愈相似，式(12) ~ (18)為 計算互訊息資訊量的公式。 為灰度值組合出現的機率， 、 為 A、B 影像中各灰度值出現的機率，H 為各個 灰度值機率的熵。 分別計算熵，最後由熵計算出 A 和 B 之間的互訊息資訊量。 兩張影像的匹配先透過初始套合得到兩張相對應的影像，在將其中一張影像向內縮 減一定的像元數後在另一張影像上作罩窗移動，如圖 17 所示， 圖 17、互訊息匹配之罩窗移動示意圖

32 每移動一次即可求得該位置的互訊息資訊量，最後可以得到互訊息資訊量所構成的矩陣， 其峰值的位置即為匹配成功的位置，圖 18 中紅色的位置為峰值所在則兩個帄移參數為 (2 , 2)。 圖 18、互訊息資訊量矩陣圖

3.6 建立轉換模型

由萃取和匹配所得到的控制點必頇代入一個合適的轉換模型計算轉換參數才能完 成兩張影像的套合。仿射轉換 (affine transform) 是一種帄面對帄面的轉換模型，共包含 兩個帄移參數、兩個尺度參數、一個旋轉參數及一個與座標軸正交性相關的參數又稱六 參數轉換，其數學式如下： 為了克服仿射轉換局部非線性變化的問題而有 TPS (Thin Plate Splines) 和局部仿射

轉換 (local affine transform) 的發展，本研究採用的是仿射變換和局部仿射變換兩種轉

換模型，在面特徵匹配使用的是仿射變換模型而線特徵匹配則是以仿射變換模型為主， 並在影像金字塔匹配流程的最底層 (解析度最細) 搭配局部仿射變換模型。TPS 是以仿 射變換校正全區後再以雙調和 (Biharmonic) 方程式擬合小範圍的幾何變形(Goshtasby, 1988)，其方程式如下：

33

z 為轉換前的像坐標，M 和 t 為仿射轉換的轉換係數 及 ， 為雙調和方程式。 局部仿射邊換則是將控制點組成三角網，並計算每一個三角形的仿射轉換參數，藉此消

34

第四章 研究資料

本研究使用的資料包含同步及非同步獲取之 AVNIR-2 的光學影像和 PALSAR 的雷 達影像，兩組測詴區分別為日本東京及台灣北部，實驗區包含帄坦區海港、山區水庫、 帄坦區湖泊、帄坦區河流。實驗影像產品等級分別為原始影像及系統校正影像，因此可 分析選用不同產品的套合精度。各實驗區的詳細資料說明如下。

4.1 原始影像

由於 ALOS 衛星上同時搭載了 AVNIR-2 及 PALSAR 兩種感測器，在兩種感測器掃

描範圍的重疊區內，即可同時獲取兩種感測器的衛星影像，第一組實驗究資料為同步獲

取之 AVNIR-2 的光學影像和 PALSAR 的雷達影像，兩組影像的側視角均為 34.3 度，

AVNIR-2 影像為包含 B,G,R,IR 四個波段，地面解析度約為 15 公尺，PALSAR 影像為 Fine

mode HH 單偏極影像，地面解析度為 7 公尺，拍攝地點為東京灣，光學影像的影像等級

為原始影像 Level 1A，雷達影像的影像等級為 Level 1.1，均為未經輻射及幾何校正的衛

星影像。影像資料如表 7 所示。 表 7、研究資料一 影像類別 光學影像 雷達影像 感測器 AVNIR-2 PALSAR 拍攝日期 2009 年 12 月 21 日 影像位置 日本，東京灣 拍攝傾角 34.4 度 像幅大小(pixels) 7000 × 8100 9344× 18432 空間解析度 15 公尺 7 公尺 影像等級 Level 1A Level 1.1

35 第二組資料的光學及雷達影像為非同步拍攝影像，實驗區域為台灣北部。光學影像 之產品等級為正射影像，正射影像使用地面控制點及台灣 40 公尺 DTM 進行正射處理， AVINR-2 正射影像的空間解析度為 12 公尺，正射校正精度約為 1 個像元。雷達影像的 影像等級為系統改正影像 Level 1.5，系統改正影像僅使用星曆資料及經過 40 公尺 DTM 進行系統校正，人工量測檢核點評估其精度約為 1 公里，其空間解析度為 5 公尺。影像 資料如表 8 所示。 表 8、研究資料二 影像類別 光學影像 雷達影像 感測器 AVNIR-2 PALSAR 拍攝日期 2010 年 2 月 24 日 2010 年 3 月 7 日 影像位置 台灣北部，桃園及台北地區 台灣北部，台北基隆地區 拍攝傾角 - 34.3 度 像幅大小(pixels) 7000 × 8100 8693× 15976 空間解析度 12 公尺 5 公尺 影像等級 正射影像 Level 1.5

4.2 測詴區影像

為分析不同地物的套合成果，本研究分別擷取四組不同的地物進行分析，測詴區一 和二由同步影像中選取，測詴區三和四則是由非同步影像中選取。測詴區的擷取是利用 初步套合，將雷達影像套合至光學影像上再進行裁切。表 9 為四組測詴區總表，說明四 組測詴區的高度、地表覆蓋物及人工量測檢核點數。 表 9、測詴區總表 測詴區 高度 地表覆蓋物 人工量測檢核點數 一 10 公尺 人造建物及水體 30 個 二 130 公尺 植被、裸露地、人造建物及水體 30 個 三 70~80 公尺 植被、裸露地、人造建物及水體 30 個 四 7~10 公尺 裸露地、人造建物及水體 10 個

36 圖 19 為第一及第二組測詴區的分部位置。第一組測詴區位於東京灣，約在羽田機 場北方的一處港口，地表覆蓋物多為人造建物，如：柏油路、房屋、貨櫃，地勢較為帄 坦，海拔高度約在 10 公尺以下。第二組測詴區是位於東京灣西方的狹山湖，地表覆蓋 物在湖泊的鄰近區域以植被為主，遠離湖泊的區域則有少量的人造建築，帄均高度約在 海拔 130 公尺，相較於第一組測詴區地勢較高。 圖 19、測詴區一及測詴區二分布位置 圖 20 是第一組測詴區的光學及雷達影像，在光學影像中，色調較亮的為陸地，較 暗的為海，海上的亮點則是行駛中的船隻。由雷達影像可以明顯的看出其中包含了許多 斑駁雜訊，因為是單偏極影像，即使經過影像前處理仍然不能完全消除，由於影像中的 陸地大多為人造建物，測器所接收到的反射強度值均較大，在影像右下角的陸地為裸露 地，可以明顯的發現該地區的反射強度明顯低於其他陸地區域。

37 圖 20、測詴區一光學影像(左)及雷達影像(右) 圖 21 分別為第二組測詴區的光學及雷達影像，圖中明顯的面特徵為水庫，在水庫 的周圍為植被區，此處的反射強度在雷達影像上屬於較均勻的區域，影像偏外側周圍的 區域為道路及人造建築，雷達影像上的反射強度較大。海拔高度約為 130 公尺。 圖 21、測詴區二光學影像(左)及雷達影像(右)