利用多重影像匹配獲取測量車影像點位之 物空間坐標

Volume 15, No.3,September 2010, pp.263-279

1國立成功大學測量及空間資訊學系 碩士 收到日期:民國 100 年 03 月 30 日

2國立成功大學測量及空間資訊學系 教授 修改日期:民國 100 年 04 月 29 日

＊通訊作者, 電話: 886-6-2757575 ext.63835, E-mail: [email protected] 接受日期:民國 100 年 05 月 11 日

利用多重影像匹配獲取測量車影像點位之 物空間坐標

謝佳諭

曾義星

摘 要

測量車影像序列富含測量車行經路線帶狀的空間資訊，透過測量車的定位及定向系統，得影像的內 外方位，因此可利用影像共軛點以前方交會計算興趣物點的物空間坐標，而共軛點的獲取，相較於人工 點選，利用多影像匹配方法獲取更具效率。但存在於影像的尺度變化、視角不同及遮蔽問題可能影響匹 配的正確性，因此本研究將於物空間進行影像匹配，並配合假設面的建立，改善尺度變化及視角不同的 問題，更利用影像挑選機制及利用多視窗匹配減輕遮蔽問題的影響。實驗結果顯示：特徵點位匹配成功 率達90%；而控制點的坐標求取，具 50 公分的準確度，10 公分的精度，若改善定位系統之穩定性，將可 提高點位坐標的準確度。

關鍵詞：測量車影像序列、多影像匹配、物空間匹配、多視窗匹配

1. 前言

移 動 式 測 繪 系 統(Mobile Mapping System, MMS)包含影像獲取系統以及定位系統，以固定時 間間隔同時記錄影像資料以及定位資料，測量車即 為車載的移動式測繪系統。早期的測量車，如 Alberta MHIS (Lapucha, 1990)及 GPSVan (Coetsee et al., 1994)，以類比相機獲取影像資料，並採取相 對定位的方式獲得方位資料。將近二十年，隨著 GPS 的發展以及 INS/IMU 精度的提升，現今的測 量車使用GPS 及 INS/IMU 所形成直接地理定位系 統(Direct Geo-referencing System)進行定位，並以 多部數位相機同時獲取多個時間點的影像，形成影 像序列，如 Calgary 大學發展的 VISAT 第二代 (El-Sheimy, 1996)。

由於測量車使用直接地理定位系統，興趣點的 物空間坐標可利用多張重疊影像的共軛點以對應 的定位資料透過前方交會計算獲得。共軛點位的獲 取可利用人工點選，透過人眼判斷正確共軛點位置，

不受點位於不同影像上尺度變化及角度不同等因 素的影響，但此方法不利於重疊率高且資料量大的 測量車影像序列。因此，一般常利用影像匹配的方 式獲取影像共軛點，其可自動化且節省人力的優點，

提高共軛點位求取的效率。

影像匹配根據利用的影像資訊不同，主要可分 為三種(Haralick & Shapiro, 1993; Schenk, 1999)：利 用影像灰階值變化進行統計分析的區域式匹配 (Area-based matching)、分析影像特徵間關係的特 徵式匹配 (Feature-based matching)及利用影像中 物 件 間 結 構 進 行 分 析 的 關 聯 式 匹 配 (Relational matching) (Shapiro & Haralick, 1981; Faugeras &

Price, 1981)。一般較常使用區域式匹配及特徵式匹 配，而相較於特徵式匹配，區域式匹配透過影像灰 階值的變化進行匹配，影像的特徵資訊不因特徵萃 取 的 缺 失 而 遺 漏 ， 是 比 較 可 靠 的 匹 配 方 式 (McGlone, 2004)。但區域式匹配，一般容易受到影 像的成像幾何變化而影響點位的正確匹配，以測量 車影像而言，以下三種特性可能對影像的正確匹配

造成影響：(1)尺度變化，影像拍攝位置不同造成 相同物體在不同影像上有尺度不一的現象 （圖 1）；

(2)視角不同，不同拍攝角度的相機對相同物體進 行拍攝，造成影像上視角不同的問題 (圖 2)；(3) 遮蔽問題，影像中存在前景及背景的差異，當前景 遮住了背景即產生遮蔽問題，若興趣點位遭前景所

遮蔽(圖 3)，必帶來不良之匹配結果。當背景因拍 攝位置改變，受前景興趣點遮蔽的範圍不同而變化，

可能造成影像匹配的不理想，如圖4 所示。而圖 1 至圖 4 中各影像所對應之數值即表示該影像與主 影像透過NCC 的相關性計算所得之相關係數值，

皆受上述問題影響而使影像間之相關性低落。

（a）

像對1 像對2 像對3

（b） （c） （d）

0.2698 主影像 0.3345

（e） （f） （g）

0.4739 0.4059 0.4209

圖1 測量車影像序列因拍攝位置不同，存在尺度變化問題

（a）

像對1 像對2 像對3

（b） （c） （d）

0.0818 ^主影像 0.1032

（e） （f） （g）

0.1613 0.1648 0.1672

圖2 測量車影像序列因拍攝角度不同，存在視角不同的問題

（a）

像對1 像對2 像對3

（b） （c） （d）

0.0506 主影像 -0.0368

（e） （f） （g）

-0.0465 -0.0257 0

圖3 待匹配點位受到前景遮蔽的狀況

（a）

像對1 像對2 像對3

（b） （c） （d）

主影像 0.0617 0.0592

（e） （f） （g）

0.0600 0.0613 0.0572

圖4 因拍攝位置及角度不同，造成影像背景的變化

2. 多重影像物空間匹配

2.1 物空間匹配

理論上，不同方位的重疊影像，若無遮蔽情形，

反投影回某區域物體表面，應可獲得一致的影像。

因此，於物空間成立若干假設面，若將多重影像反 投影某一假設面能獲得高相關的影像，則此假設面 應與物面吻合，以此種方式進行影像匹配稱為物空 間匹配(Matching in Object Space) (Helava, 1988, Wrobel, 1987)，而 Pollefeys et al. (2000)、Paparoditis et al. (2000)及蔡涵芳(2008) 即利用物空間匹配以 多影像獲取重疊影像共軛點。

物空間匹配與像空間匹配之間的差異在於物 空間匹配將影像匹配從像平面空間轉換到物空間 地物表面，經反投影產生的物空間影像將不受成像 的幾何變化影響，此物空間匹配方法同時帶有核幾 何約制。投影到物空間匹配需運用一系列的假設平 面來搜尋最佳匹配，假設平面需接近真實物面的方 位，才可改善影像尺度變化以及拍攝角度不同所產 生的影像幾何差異。

最廣為應用的物空間匹配方法是垂直線軌跡 法 (Vertical Line Locus, VLL) (Cogan & Hunter, 1984；Gyer, 1981；Bethel, 1986)，於固定的平面位 置上以不同的高程建立一系列的假設平面，以搜尋 最佳匹配的高程，主要應用於以空載影像製作數值

地形模型(DTM) (Ebner and Heipke, 1988; Wiman, 1998)。圖 5 為 VLL 的概念，影像在高程段 Zmin與 Zmax間搜尋最佳位置，理論上在正確位置上（圖5 之紅點）才會得到最佳的匹配結果。

圖5 應用 VLL 匹配法於空載影像的概念 本研究利用類似VLL 的概念，將搜尋範圍轉 移到主影像的投影中心與興趣點所形成的射線上，

如圖6 所示，即可固定主影像上的特徵位置，並配 合假設面的概念進行物空間匹配。

圖6 測量車影像序列的匹配概念

假設面於射線上以固定的間隔建立，將每個假 設面網格化，接著將每個網格反投影至各張影像對 應的像點，並獲取該像點的色彩值（或灰階值），

填回該假設面網格中，利用這樣的方式將每個假設 面的每個網格皆填上其對應的色彩值（或灰階值）， 即完成假設面的 1 反投影影像，用以匹配的影像即 此反投影影像，而非原始影像。透過反投影影像的 建立，可以減輕尺度變化的影響，比較圖7 及圖 1，

即可發現尺度變化的問題因此獲得改善。另外配合 接近現況的假設面，可改善影像視角不同所造成的 影響，比較圖8 及圖 2，視角不同的問題也因而獲 得改善。

2.2 匹配指標

透過假設面的建立，各假設面位置皆可獲得對 應的反投影影像，因此在每個位置皆可對反投影影 像進行影像匹配，若在某一個假設面位置的影像匹 配獲得最高的匹配指標值，該位置即視為匹配位置。

累 計 正 規 化 互 相 關(Sum of Normalized Cross Correlation, SNCC)是一種以 NCC 為基礎所發展的 多重影像匹配指標，其理論源自幾何約制互相關法 (Geometrically Constrained Cross-Correlation, GCCC or GC3)，應用於空載三線式影像(Three Line Scanner, TLS)生產 DSM 的方法(Gruen & Zhang, 2003)。SNCC 的相關係數計算，各張影像分別與

主影像進行NCC 的相關係數計算，如式(1)，再將 所有的相關係數值取平均得SNCC 數值，如式(2)，

以此匹配指標進行影像匹配，匹配結果如圖 9 所 示。

2 2

( )( )

( ) ( )

ij ijk k

i j

k

ij ijk k

i j i j

g g f f

NCC g g f f

 

  



 

(1)

其 中 1 ^{m n}

ij

i j

g g

m n





1 ^{m n}

ijk k

i j

f f

m n





1

1 ^N

k k

SNCC NCC

N _





YARD (Yet Another Reconstruction

Dataprogram)為利用空載影像採用 VLL 概念製作 DSM (Wiman, 1998)，所使用之多重影像匹配指標。

式(3)為 YARD 指標，是以 NCC 為基礎所發展的多 重影像匹配指標，與SNCC 之間主要的差異是有 無主影像之區別，YARD 以平均影像進行匹配，不 採用主影像，故本研究以「YARD_無主影像」稱 之，各張影像與除了本身(g )以外的所有影像之_ijk 平均灰階( f )進行匹配，較 SNCC 更具整體性且_ijk 較符合本研究多重影像匹配的概念，以此影像指標 進行影像匹配得圖10 之匹配結果。

2 2

( )( )

( ) ( )

ijk k ijk k

i j k

ijk k ijk k

i j k i j k

g g f f

g g f f



 

  



 

ijk l ijk

g

f l k

 n 





(3)

圖7 透過假設面反投影的影像改善尺度變化的問題

圖8 以符合現況的假設面可改善視角不同的問題

像對1 像對2

主影像

匹配位置 距主影像 15.2 m

SNCC 0.8078

圖9 利用 SNCC 進行影像匹配

像對1 像對2 像對3 匹配結果

主影像

匹配位置 距主影像 15.2 m YARD_無主影像

0.77 0.77 圖10 利用 YARD_無主影像進行影像匹配

為使匹配指標符合本研究使用主影像的概念，

修改式(3)為式(4)，並以「YARD_有主影像」稱之，

其中g_ij代表主影像，而 f_ij為所有待匹配影像之平 均影像，其匹配結果如圖11 所示。

圖 9 至圖 11，三種不同的指標都在相同的位 置獲得最佳匹配，且三者之相關係數皆相當高，尤 其是「YARD_有主影像」，以圖 12 觀察三個匹配 指 標 在 空 間 搜 尋 範 圍 的 相 關 係 數 趨 勢 ， 對 應

「YARD_有主影像」之綠色曲線趨勢起伏較大，

且具較高之相關係數值，更能顯示匹配的優劣，故 選用「YARD_有主影像」做為本研究的多影像匹 配指標。

2 2

( )( )

( ) ( )

ij ij

i j

ij ij

i j i j

g g f f

g g f f



 

  



 

圖 9 至圖 11，三種不同的指標都在相同的位 置獲得最佳匹配，且三者之相關係數皆相當高，尤 其是「YARD_有主影像」，以圖 12 觀察三個匹配 指 標 在 空 間 搜 尋 範 圍 的 相 關 係 數 趨 勢 ， 對 應

「YARD_有主影像」之綠色曲線趨勢起伏較大，

且具較高之相關係數值，更能顯示匹配的優劣，故 選用「YARD_有主影像」做為本研究的多影像匹 配指標。

2.3 視窗分割

影像背景的變化對影像的正確匹配產生影響，

為降低此類遮蔽問題的影響，徐偉城(1999)提出

CLR 的概念，在影像匹配的時候分別將興趣點位 置於罩窗的中間、左邊及右邊，以減輕遮蔽問題的 影響。本研究利用類似CLR 的概念，將興趣點分 別置於罩窗的九個不同位置，形成九個子視窗，其 視窗分割方式如圖13 所示。利用不同子視窗進行 影像匹配，帶來不同的匹配結果，各子視窗的匹配 結果如表1 所示。對照圖 13 及表 1 發現，包含較 多前景資訊的視窗，其對應之匹配結果皆獲得較高 的相關係數值，反之亦然，對照匹配值較高之子視 窗的匹配位置(假設面位置)及匹配值較低之子視 窗的匹配位置，存在2.9 公尺的差異，因此應利用 適合之匹配視窗進行影像匹配。

像對1 像對2 像對3 匹配結果

主影像

匹配位置 距主影像 15.2 m YARD_有主影像

0.95

圖11 利用 YARD_有主影像進行影像匹配

圖12 不同指標於空間搜尋範圍之相關係數趨勢

SNCC YARD_有主影像

無主影像 YARD_

指 標 比 較

空間位置

59 58 57 56 55 54 53 52 51 50 49 48 47 46 45 44 43 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0

相關係數

1 0.95 0.9 0.85 0.8 0.75 0.7 0.65 0.6 0.55 0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 -0.05 -0.1 -0.15

圖13 本研究使用之視窗分割方法 表1 分割視窗後各子視窗之匹配結果 視窗

編號 1 2 3 4 5 最佳匹

配值 0.76 0.55 -0.12 0.69 0.56 最佳匹

配位置 16 15.9 13.1 16 15.8 視窗

編號 6 7 8 9 最佳匹

配值 0.47 0.64 0.64 0.16 最佳匹

配位置 15.8 16 15.8 15.7

3. 匹配策略

3.1 近似位置求取

本研究以主影像的投影中心與興趣點的連線 做為空間搜尋範圍的基礎，其中主影像及興趣點皆 由使用者定義，由於該連線可無限延伸，因此空間 搜尋範圍必須藉近似位置進行更完整的定義。近似 位置求取的方式依「是否以人工獲取近似位置」分 為兩種狀況，若以人工獲取近似位置即由使用者於 另一重疊影像點選共軛點，透過前方交會計算獲得 點位之近似位置。為了減少使用者的動作，亦可透 過空間搜尋的方式求取近似位置，設定距離主影像 200 公尺的範圍進行空間搜尋，並以每 5 公尺建立 假設面，進行影像匹配獲得初始的近似位置，再以 該位置前後各10 公尺建立搜尋範圍，每隔 1 公尺

建立假設面，進行影像匹配獲得近似位置。

3.2 共軛影像挑選

測量車以固定的時間間隔進行影像的拍攝，該 時間間隔通常相當短暫，可能約1~2 秒，因此一次 的影像拍攝計畫，所獲取的影像數量可能數以百計，

其中可能僅十數張包含該興趣點位，因此本研究提 出影像挑選機制進行共軛影像的挑選，以提升影像 匹配的效率，並確保興趣點位確實存在於影像中。

共軛影像挑選機制先在近似位置建立假設面，

獲取對應該位置的假設面反投影影像，將影像逐一 加入多影像匹配，若第i 張影像的加入造成整體的 相關係數值降低，且降低幅度大於 0.1(經驗值)，

該影像則被剔除，其餘影像則被保留。圖14 為針 對影像上某一興趣點進行共軛影像挑選，其中各影 像右上角皆有對應數值，該數值代表其對應影像是 否被接受，標記為「0」者代表該影像被接受，而 標記為「-1」則代表該影像將予以剔除，圖 14 之 挑選結果顯示，本共軛影像挑選機制是可行的，圖 中遭遮蔽的影像皆標記為「-1」。

圖14 共軛影像挑選結果

3. 3 多視窗影像匹配

共軛影像挑選避免了點位遭前景遮蔽的影響，

但複雜背景仍對影像的正確匹配造成影響，因此本 研究利用前述之視窗分割方法，利用九個子視窗分 別進行多影像匹配，並根據空間搜尋範圍的不同及 使用的視窗不同分成近似位置搜尋及精確位置搜 尋兩個步驟進行。

近似位置搜尋步驟乃利用近似位置為中心，以

前後各 3 公尺的範圍做為空間搜尋範圍，並以每 10 公分做為假設面間距，配合九個子視窗進行多 視窗影像匹配，並記錄其匹配結果，搜尋範例如圖 15，圖中左方編號為分割視窗的編號，即對應圖 13 所示之分割視窗編號，以右方影像顯示各視窗 獲最佳匹配時之影像匹配結果，並記錄最佳匹配值、

匹配位置，及其物空間坐標。於九個子視窗在空間 搜尋範圍中，顯示各視窗獲最佳匹配時之相關係數 值的變化趨勢如圖 16，圖中顯示九條線形有明顯 的區隔，而可分成兩群，數值較低的線形所對應之 影像視窗，皆屬包含較多的背景資訊的視窗。因此 根據這樣的現象進行視窗的挑選，搜尋將線形分群

的間隔，若該間隔對應的相關係數差值大於 0.1，

則將間隔以下較低落的線群對應的視窗刪除，挑選 結果如圖17 所示，其中存在標記的線形即對應待 刪除的影像視窗。

經過近似位置搜尋，好的匹配視窗將被保留，

並將保留視窗所對應的匹配位置平均，得更精確之 近似位置，接著再以保留的視窗進行精確位置搜尋。

此搜尋步驟即以此位置為中心，前後各取20 公分 做為空間搜尋範圍，假設面間距為1 公分，並記錄 各子視窗的匹配結果，原範例之搜尋結果如圖18，

圖中顯示各個子視窗的搜尋結果相當接近，僅具些 微的差異，在影像上的匹配位置也看似無異。

圖15 第一步搜尋之匹配結果

圖16 第一步搜尋，各子視窗之相關係數趨勢

Window1 Window2 Window3 Window4 Window5 Window6 Window7 Window8 Window9

空間位置索引

59 58 57 56 55 54 53 52 51 50 49 48 47 46 45 44 43 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0

相關係數

1

0.8

0.6

0.4

0.2

0

-0.2

-0.4

-0.6

-0.8

-1

圖17 視窗挑選結果

圖18 第二步搜尋之最佳匹配結果

3. 4 點位坐標決定

第二步搜尋後，各子視窗之間的匹配結果無明 顯差異，故選取相關係數值最大的視窗做為最後結 果，並由使用者判斷是否接近所選之興趣點，若結 果正確則軟體系統將輸出該點位之物空間三維坐 標，如圖19 所示，其中左上角之影像為使用者選 取之主影像，而紅色點位為其興趣點，其餘影像上 之綠色點位為匹配點位，而第一列欄位為該點位之 物空間三維坐標值，由左而右分別為 X、Y 及 Z 方向，第二列數值為其影像匹配數值。當點位受複 雜背景影響，匹配結果不盡理想（圖20），可透過

使用者於另一重疊影像點選共軛點，利用兩點進行 前方交會重新計算近似位置，再以前述方法重新計 算，可改善影像匹配結果（圖21）。

4. 實驗成果與分析

4.1

VISAT 測試資料

利 用 Department of Geomatics Engineering, University of Calgary 所提供該單位發展之測量車 VISAT 兩部前視相機拍攝之影像序列針對街道的 特徵點位進行點位坐標求取，並將街道特徵點位分 為五種類型：

Window1 Window2 Window3 Window4 Window5 Window6 Window7 Window8 Window9

空間位置索引^{30 35 40 45 50 55 60}

25 20 15 10 5 0

相關係數

1

0.8

0.6

0.4

0.2

0

-0.2

-0.4

-0.6

-0.8

-1

利 用 Department of Geomatics Engineering, University of Calgary 所提供該單位發展之測量車 VISAT 兩部前視相機拍攝之影像序列針對街道的 特徵點位進行點位坐標求取，並將街道特徵點位分 為五種類型：

(1) 特徵明顯，背景單純：如房屋屋頂的端點，由 兩直線交會構成，為明顯的特徵，且其背景通 常為天空，屬於單純的背景，但雲的變化可能 影響點位之正確匹配，如圖22(a)。

(2) 特徵明顯，背景複雜：如路牌之邊緣或角點，

在影像視窗中含有大部分背景資訊，且其背景

可能隨著拍攝位置不同而產生較大的變化，如 圖22(b)。

(3) 特徵不甚明顯，背景單純：如道路兩旁之路燈，

雖特徵不甚明顯，但可能為使用者感興趣之點 位，如圖22( c)。

(4) 較不受背景影響之點位：如路牌中間之文字特 徵，或房屋之牆面特徵，在影像視窗中包含較 少的背景資訊，影像匹配較不受背景影響，如 圖22(d)。

(5) 具視角不同影響之點位：受視角不同影響較大 的點位，主要為道路面的特徵點，如圖22(e)。

圖19 匹配結果展示，且匹配結果良好

圖20 受複雜背景影響之匹配結果

圖21 以人工點選共軛點得良好近似位置所進行之匹配結果

每一種類型皆挑選10 個點位進行測試，共 50 個測試點位，38 個獲成功匹配（圖 23）、12 個失 敗（圖24），成功率約 80%，而 12 個匹配失敗點 位透過人工選取共軛點重新計算，11 個點位皆獲 改善得正確匹配（圖25），因此加入人工選取近似 匹配位置可使成功率提升至約98%。另外，以兩種 近似位置求取方式針對每類型之一例進行點位坐

標求取，比較兩者求得知點位坐標反投影至同一影 像之像點位置差距，如表2 所示，兩者像坐標平均 差距在相片坐標系x 及 y 方向分別為 0.446 像元及 0.088 像元，而其標準偏差分別為 0.496 像元及 0.435 像元，皆小於一個像元，表示以空間搜尋求 取近似位置之點位求取結果足夠準確。

表2 不同近似位置求取方式對點位坐標求取的影響

類型一 類型二 類型三

人工選取共軛點 (1000.02,452.61) (471.31,411.58) (778.62,178.03) 空間搜尋 (999.84, 452.62) (470.58,411.88) (778.63,177.21)

比較

（單位：像元）

dx dy dx dy dx dy 0.18 -0.1 0.73 -0.30 -0.01 0.82

類型四 類型五

人工選取共軛點 (509.36,389.56) (519.36,601.98) 空間搜尋 (509.21,389.44) (518.18,602.08)

比較

（單位：像元）

dx dy dx dy 0.15 0.12 1.18 -0.10

類型一 類型二 類型三 類型四 類型五

(a) (b) (c) (d) (e) 圖22 街道上常見的特徵點位

圖23 成功匹配點位之一例

圖24 匹配失敗點位之一例

圖25 透過人工選取共軛點改善匹配結果

4.2 成大測量車實驗資料

另以本系發展之測量車的兩部前視相機所獲 取之兩組影像序列為實驗資料。影像序列的獲取，

以約40 公里的時速，於本校歸仁校區之驗證場進 行拍攝，裝置於測量車上的5 部相機在行進中拍攝，

約每行進8 公尺拍攝一次。但目前測量車之定位系 統尚不穩定，以控制點坐標透過定位資料進行反投 影，所得之反投影像點與正確點位仍存在偏差（圖 26）。

圖26 測量車定位系統尚不穩定，導致已知坐標反 投影結果不佳

為了測量車之系統率定及驗證，於本校歸仁校 區建立率定場及驗證場，測量車於率定場進行系統 率定，而於驗證場進行系統的驗證，驗證場上在道 路周圍佈設許多控制點，選用其中22 個控制點（圖 27）進行點位坐標求取， 16 個點位匹配成功（圖 27 黃點），6 個匹配失敗（圖 27 紅點），其失敗原 因皆是因為點位位於汽車迴轉處，可用於匹配的影 像少於兩張，無法進行影像匹配。圖28 展示其中 一匹配成功例子，包含三對共軛像對，各影像像對 與控制點的空間分布示意圖，如圖29 所示。由於 不穩定的定位系統，匹配點位不完全落於正確點上，

但比較求得之坐標與地面測量獲得之坐標比較（表 3），兩者差異甚小。觀察圖 28 發現，每個像對間 匹配點位與正確點位存在一致的偏差，顯示共軛像 對間有良好的相對定位精度，因此另以各像對分別 進行匹配，其匹配結果如表4 所示，三個像對與地 面測量坐標的坐標差值如表5 所示，其偏差量皆較 表3 所示之坐標偏差量大，因此認為利用多張影像 進行點位坐標求取可得較佳之結果。

表3 圖 28 之點位求取結果與地面測量結果比較

點號 D055

地 面 測 量

(m) 175671.29 2537401.61 34.76 多重影像物

空 間 匹 配 (m)

175671.30 2537401.71 34.96 坐標差(m) -0.01 -0.10 -0.21

表6 為 16 個匹配成功的點位經過點位坐標求 取之結果與地面測量坐標的差值（dX、dY、dZ），

及偏差距離dS，而坐標差之數據統計如表 7 所示，

Z 方向的偏差量皆較 X、Y 方向大，且其平均偏差、

均方根誤差(RMSE)及標準偏差顯示數據間存在系 統誤差。本研究發展的點位坐標求取之準確度約 54 公分，精度約 14 公分，相較於發展成熟的測量 車，如VISAT，其平面定位精度約 13 公分，高程 定位精度約8 公分，這樣的定位結果應可符合多數 空間資訊收集的應用。

圖27 選用之控制點分佈

像對1 像對2 像對3 匹配結果

主影像

X : 175671.30 公尺 Y : 2537401.71公尺

Z : 34.96公尺

相關係數

0.9508

圖28 控制點之坐標求取結果

圖29 像對與控制點之空間分布示意圖 像對1

像對2 像對3

D055

表4 分別以一個像對進行影像匹配之匹配結果

像對1

X：175671.33 公尺 Y：2537401.95 公尺 Z：35.15 公尺

像對2

X：175671.24 公尺 Y：2537401.59 公尺 Z：35.11 公尺

像對3

X：175671.35 公尺 Y：2537401.78 公尺 Z：34.95 公尺 表5 計算表 4 各像對所得點位坐標與控制點之坐標差異

dX(m) dY(m) dZ(m)

像對1 -0.04 -0.34 -0.39

像對2 0.05 0.02 -0.35

像對3 -0.06 -0.17 -0.19

表6 控制點坐標求取結果與地測坐標比較

點號 dX(m) dY(m) dZ(m) dS(m) D007 0.20 -0.24 -0.56 0.64 D010 0.09 0.27 -0.61 0.68 D019 -0.16 0.42 -0.53 0.70 D022 -0.07 0.30 -0.55 0.63 D025 0.12 0.17 -0.52 0.56 D040 0.02 -0.47 -0.55 0.72 D055 -0.01 -0.10 -0.20 0.23 D058 0.34 -0.08 -0.34 0.49 D061 0.38 -0.00 -0.42 0.56 D064 -0.12 -0.29 -0.26 0.41 D070 0.20 0.35 -0.44 0.60 D076 0.10 0.18 -0.38 0.43 D082 0.11 0.03 -0.40 0.41 D085 0.14 -0.05 -0.40 0.42 D097 0.04 -0.14 -0.50 0.52 D100 0.01 0.08 -0.30 0.32

表7 點位坐標差之數據統計

點號 dX(m) dY(m) dZ(m) dS(m) 平均偏差 0.09 0.03 -0.43 0.52

RMSE 0.17 0.24 0.45 0.54 標準偏差 0.15 0.25 0.12 0.14

5. 結論

本研究達成應用測量車之影像序列進行物空 間定位之目標，針對某指定像點以多重影像物空間 匹配，配合假設面的建立，獲取重疊影像上的共軛 點位，進而求得該像點對應之物空間點位坐標。前 述之影像匹配問題：尺度的變化、影像視角不同及 遮蔽問題，透過本研究提出的方法及策略改善，利 用假設面建立之反投影影像改善尺度變化的問題，

配合符合現況之假設面改善視角不同的問題，以共 軛影像挑選機制確保興趣點位確實落於影像中，不 受前景遮蔽，另外影像背景的影響透過視窗分割的 方式減輕其影響量。

本研究利用兩份不同來源之測量車影像序列，

分別展示此方法於真實街景及驗證場之坐標求取 結果，街道上點位之正確匹配機率達76%，受複雜 背景影響嚴重者通常會匹配失敗，但透過人工選取 共軛點求取近似點位，通常可以改善其匹配結果，

使正確匹配機率接近100%；而本系發展之測量車 於驗證場之控制點的點位坐標求取，仍可得良好之 匹配結果，其定位之準確度約50 公分，精度約 10 公分，對於不穩定之定位系統資料，這樣的結果是 可被接受的。

致謝

感謝國科會「直接定位之移動式空間資訊獲取 平台-子計畫三：移動式測圖平台多時序影像處理、

測繪及車道線擷取系統（編號：NSC 97－2221－E

－006－213）」的支助，本論文得以順利完成，於 此致上謝意。

參考文獻

徐偉城，1999。 空照彩色立體像對中人工建築物 萃取之研究，碩士論文，國立中央大學，桃園。

蔡函芳，2008。多重影像匹配於房屋邊緣線三維 定位，碩士論文，國立中央大學，桃園。

Bethel, J., 1986. The DSR11 Image Correlator.

Proceedings of ACSM/ASPRS Annual

Convention, 4, pp. 44-49.

Cogan, L., and Hunter, D., 1984. Kern DSR1/DSR11: DTM Erfassung und der Kern Korrelator, Kern & Co AG, Aarau.

Coetsee, J., Brown, A. and Bossler, J., 1994.

GIS Data Collection Using the GPSVan Supported by a GPS/inertial Mapping System. Proceedings of IONGPS-94 7th International Technical Meeting of the Satellite Division of the Institute of Navigation, Salt Lake City, Utah. Part 1:

85–93.

Ebner, H. and Heipke, C., 1988. Integration of Digital Image Matching and Object Surface Reconstruction, International Archives of Photogrammetry and Remote Sensing, 27(B3):534-545.

El-Sheimy, N., 1996. The Development of VISAT – A Mobile Survey System for GIS Applications, (Ph.D. thesis), UCGE Report No. 20101, Department of Geomatics Engineering, the University of Calgary.

Faugeras, O. and Price, K., 1981. Semantic Description of Aerial Images Using Stochastic Labelling, IEEE Transactions on Pattern Analysis and Machine Intelligence, 3(6):638-642.

Gruen, A. and Zhang., L., 2003. Automatic DTM Generation from TLS data. Optical 3-D Measurement Techniques VI, I, 93-105.

Gyer, M. 1981. Automated Stereo Photogrammetric Terrain Elevation Extraction. Technical Report, Gyer and Saliba, Inc.

Haralick, R. and Shapiro, L., 1993. Computer and Robot Vision, Vol. II, Addison-Wesley:

Reading, MA.

Helava, U., 1988. Object-space Least-squares Correlation, Photogrammetric Engineering and Remote Sensing, 54(6):711-714.

Lapucha, D., 1990. Precise GPS/INS Positioning for Highway Inventory System. M.Sc Thesis, Department of Geomatics Engineering, The University of Calgary, Calgary, Canada

McGlone, J. C., 2004. Manual of photogrammetry (fifth ed.): American Society for Photogrammetry amd Remote Sensing.

Paparoditis, N., Thom, C. and Jibrini, H., 2000.

Surface Reconstruction in Urban Areas from Multiple Views of Aerial Digital Frame Cameras, International Archives of Photogrammetry and Remote Sensing, 33(B3):43-50.

Pollefeys, M., Koch, R., Vergauwen, M. and van Gool, L., 2000. Automated Reconstruction of 3D Scenes from Sequences of Images, ISPRS Journal of Photogrammetry and Remote Sensing, 55(4):251-267.

Schenk, T., 1999. Digital Photogrammetry, TerraScience: Laurelville, OH.

Shapiro, L. and Haralick, R., 1981. Structural Description and Inexact Matching, IEEE Transactions on Pattern Analysis and Machine Intelligence 3:514-519.

Wiman, H., 1998. Automatic generation of digital surface models through matching in object space. Photogrammetric Record, 16(91), 83-91.

Wrobel, B., 1987. Facet Stereo Vision (FAST Vision) – A New Approach to Computer Stereo Vision and to Digital Photogrammetry, Proceedings ISPRS Intercommission Workshop on Fast Processing of Photogrammetric Data, Interlaken, Switzerland, pp. 231-258.

1Master, Department of Geomatics, National Cheng Kung University Received Date: Mar. 30, 2011 2 Professor, Department of Geomatics, National Cheng Kung University Revised Date: Apr. 29, 2011

*.Corresponding Author, Phone: 886-6-2757575 ext.63835 Accepted Date: May. 11, 2011 E-mail: [email protected]

Determination of Object Point Coordinates by MMS Image Sequences Using Multiple Image

Matching

Chia-Yu Hsieh

Yi-Hsing Tseng

ABSTRACT

The coordinates of interested points can be determined by space intersection of the images, whose interior and exterior orientation parameters are determined from the navigation and calibration data. Obtaining conjugate points of image sequences by image matching is much more efficient than manual measurement. However the factors of scale variations, different field of view, and occlusion may result in incorrect matching points. In this research, image matching in object space with virtual surface is proposed to overcome the problem of matching in image space. The process to filter out occluded images is proposed, and the remaining useful images are kept for multiple image matching with multiple windows, which is developed to ease the problems caused by complex backgrounds. The test results of the experiments show the proposed method can deliver correct matching results good to about 90%. The determined coordinates are about 10 cm in precision, and about 50 cm in accuracy. Accuracy can be improved, if the positioning and orientation system of the MMS can be improved.

Keywords: