Volume 22, No.3, 2017, pp. 193-203 DOI 10.6574/JPRS.2017.22(3).4
1國立高雄應用科技大學土木工程系 博士生 收到日期：民國 105 年 08 月 01 日
2國立高雄應用科技大學土木工程系 副教授 修改日期：民國 105 年 10 月 06 日
*通訊作者, 電話: 07-3814526 轉 5245, E-mail: [email protected] 接受日期：民國 105 年 12 月 23 日
利用 SGM 和 PMVS 演算法進行 MUAV 影像密匹配 之比較分析
林迪詒
1謝嘉聲
2*摘要
現今無人機(Unmanned Aerial Vehicle, UAV)技術發展成熟，在拍攝影像上兼具即時性和方便性，藉由 拍攝而得的影像可快速重建出近似實景的三維資訊。UAV 影像在空間資訊的應用大致區分為環繞拍攝整 棟建物建立完整三維模型之應用及垂直拍攝地形產製正射影像製圖使用。目前因相關技術發展快速，在 影像處理如特徵點偵測、特徵點匹配大都有合適的演算法進行處理，惟有在稠密點雲匹配計算過程中，
尚未有較理想的處理方法。
為探討不同密匹配方法的特色及適用性，本研究中選取不同理論基礎且較廣泛使用的兩種密匹配方 法進行比較，以半全域演算法(Semi-Global Matching, SGM)及全域演算法(Global Method)中基於區塊方法 (Patch-based Multi-view Stereo, PMVS)匹配，分別將兩種密匹配演算法應用在進行環繞拍攝之單一古蹟建 物及垂直拍攝校園之影像中比較分析，藉由實務之比較分析，提供利用 UAV 拍攝影像重建三維點雲處理 之參考。
關鍵字：UAV、三維建模、密匹配、SGM、PMVS
1. 前言
無人飛行載具(Unmanned Aerial Vehicle, UAV) 是現今熱門發展的科技之一，其中以多軸無人飛行 載具(Multi-rotors UAV, MUAV) 因價格便宜、可垂 直起降、操作方便，被廣泛使用(阮國維，2012；
陳昀希，2012；孫頤芮，2012)，另外因其可搭配 消費型相機適合用於執行空中拍攝作業方便，使得 MUAV 在環境遙測的應用更廣泛(Laliberte et al., 2010; Coulter et al., 2011)。MUAV 搭載消費型相機 可拍攝高解析度影像，呈現更多細節，成為有效獲 取空間資訊的新工具(戴翊展，2013；周天穎等，
2014；Dandois and Ellis, 2013)。近期有許多研究以 MUAV 拍攝的影像結合攝影測量、計算機視覺的 計算，獲得三維稠密點雲可應用於監測和製圖 (Neitzel and Klonowski, 2011; Turner et al., 2011;
Rosnell and Honkavaara, 2012)。
由於稠密點雲可較完整呈現真實紋理細節，要 獲得稠密點雲必須由影像密匹配而得，但匹配的演 算法有多種(Remondino et al., 2013)，為能提供使用 者選擇較合適的方法，本研究選擇較多人使用的兩 種匹配演算法進行比較分析，此兩種匹配演算法在 網路是可方便下載的開放軟體，讓爾後需要產製點 雲者提供參考，分別為全域演算法(Global Method) 中 基 於 區 塊 方 法 (Patch-based Multi-view Stereo, PMVS)，將稀疏點雲透過對應、擴展、濾除，獲得 準 確 的 點 雲 模 型 (Harwin and Lucieer, 2012;
Koutsoudis et al., 2014) ， 另一 種半 全域 演 算法 (Semi-Global Matching, SGM) 以一維方向動態規 劃 法 的 影 像 匹 配 ， 也 可 準 確 製 作 出 點 雲 模 型 (Hirshmüller, 2005; Gehrke et al., 2010; Haala et al., 2013)。
現今兩種密匹配演算法都可成功獲得良好的 稠密性點雲，完整呈現出真實樣貌(Ahmadabadian et al., 2013)。但要從影像重建真實樣貌，會因光照 條件、環境遮蔽、物體表面材質等因素影響，使得 影像在匹配過程中產生部分的錯誤影響結果(張連 偉，2009)。
為比較兩種密匹配方法的差異，本研究選擇 MUAV 常用的兩種拍攝模式，分別為對物體進行 環繞拍攝重建出物體三維模型及垂直拍攝校園地 形等兩種需求進行實驗。首先將 MUAV 拍攝影像，
藉由影像處理的 SFM (Structure from Motion)方法，
建 立 出 影 像 相 對 位 置 和 相 機 參 數 (Hartley and Zisserman, 2003)，但本研究中消費型相機本身內方 位參數(焦距、像主點偏移)和畸變參數未知，使 SFM 法解算存在著不穩定問題，但尚可符合需求 (Remondino, 2011; Rehak et al., 2013; Colomina and Molina, 2014)。MUAV 拍攝影像為傾斜、旋轉及數 量多的特性，因此藉由影像處理的 SFM 演算法，
進行 MUAV 影像前處理，再分別以 SGM 及 PMVS 兩種密匹配演算法進行處理分析。
在密匹配處理過程中，不同材質和拍攝環境存 在陰影、遮蔽等問題，會影響重建結果，因此將相 關影響條件與兩種演算法重建結果進行比較分析，
提供 MUAV 影像進行重建三維點雲處理之參考。
2. 基礎理論
密匹配目的是要將影像上每一個像素點都能 匹配到對應的點位上，使建立的點雲可較完整的描 述物體。為探討不同密匹配方法的特色及適用性，
本研究中選取不同理論基礎且較廣泛使用的兩種 密匹配方法進行比較，分別為 SGM 演算法及全域 演算法中基於區塊方法(PMVS)。
半全域演算法非考慮像素局部也沒有考慮全 部像素，該方法是以多個一維方向的動態規劃法進 行影像匹配，模擬二維影像的全域匹配最佳化(姚 長昆等，2014)。另外全域演算法是給予一個能量 函數，再搭配不同的策略以求出能量函數最大值，
能量函數最大值代表相似度最高的求解(陳育菘等，
2012)。
2.1 SGM 演算法
SGM 演算法為 Hirschmüller 博士所於 2005 年 提出(Hirschmüller, 2005)。該方法是以多個一維方 向的動態規劃法進行影像匹配，首先計算比對代價 估算值，計算方法為先計算每幅影像中每個像素的 視差值，將視差值轉換成灰階儲存成視差圖，再利 用不同視差圖像素灰階的相關性計算比對代價估 算值，因此每張視差圖之間的相關性越高，所計算 的比對代價估算值越小。
由於比對代價估算時容易受到雜訊、均調區等 因素影響，容易造成錯誤匹配，且錯誤匹配的資訊 會影響到周圍像素的視差估算，進而造成錯誤擴散 問題，因此在處理過程中加入一個平滑約制，約制 的目的是考量影像會受到光照、雜訊等影響，此時 視差值於判斷時容易呈現錯誤值(張連偉， 2009)。
例如同一桌面視差應該相同，卻可能受到傾斜光照 影響，使得每個像素最小代價值不同造成視差圖錯 誤，因此加上約制目的是防止影像受環境及光照因 素影響。
如不考慮像素之間的約制關係，則由視差圖計 算的最小化能量函數值會存在差異性，導致成果較 差，並且因在物體邊緣的相關性高，造成視差圖只 有邊緣上有最小代價值，無法將整個物體面呈現出 來之現象。 因此 SGM 演算法在比對代價聚合上，
對於灰階影像採用懲罰係數和平滑處理(陳育菘等，
2012)，可提升影像抗光照影響。
另外為能有高效率的計算，透過核線幾何關係 使多張影像能在一維方向以動態規劃來計算比對 代價聚合時的能量函數，如果只沿著一行像素求解，
此視差圖的效果必很差，因此透過將像素透過八個 方向分成兩部分計算 (藍裕翔，2014)。
SGM 演算匹配效率高，是將影像轉換到核影 像上，讓影像搜尋簡化到一維方向，由於兩張影像 有重疊就可能成為像對，故每一像對都可重建出一 組點雲資訊，最終結果為合併多組像對點雲，因此 多組像對合併其點雲密度高，但合併過程無整合或 濾除處理，因此同一點位置可能出現多點資訊。
2.2 PMVS 演算法
本 研 究 以 全 域 匹 配 演 算 法 PMVS 演 算 法 (Furukawa et al., 2010)為主。 PMVS 演算法是將 每一個起始像素視為一個區塊(Patch)，在物體或場 景上每一區塊具有方向性，因此 PMVS 重建點雲 的流程分為對應、區塊擴展及區塊過濾等三個步 驟。
(1) 對應
本研究先透過 SFM 方法建立場景中的稀疏點 雲(特徵點)，假設稀疏點雲正切於一個平面區塊，
此平面以三個因素構成，分別為平面中心、相機的 單位法向量、區塊影像。建立區塊模型可用來判斷 重建表面是否為同一平面，同平面之單位法向量相 同，故計算新加入像素之單位法向量，如與原平面 相同，可認為是同一表面，反之則該平面屬於另為 一個平面區塊。
由於初始化重建區塊時可能含有錯誤存在，為 避免此錯誤影響後續判斷，增加區塊單位法向量與 相機光學中心的夾角值進行判斷，當此值低於某個 門檻值就視為錯誤。常見的錯誤訊息如影像高曝光 處或移動物於目標物前經過，當有此情況時，藉由 門檻值過濾就可剔除錯誤訊息(李柏翰，2011)。
(2) 區塊擴展
區塊重建的目標是將每一個像元建立出一個 區塊，首先透過對應過程獲得初始化區塊，再依照 初始化區塊執行擴展過程。擴展過程中逐步計算相 同區塊之像素，直至下列兩種狀況時停止擴展，第 一種為鄰近區塊已重建完成，第二種為深度資訊不 連續時，視為不同區塊。
(3) 區塊過濾
在擴展過程中必須對存在的雜訊點或錯誤進 行過濾，過濾的方法是依區塊灰度值及區塊幾何特 性進行判斷。因此處理的方法為透過三個濾波來移 除錯誤區塊，第一個濾波是依據整體可見一致性約 束，相同區塊之像素具有位置的一致性，如其空間 位置與區塊位置差異過大，就視為異常值濾除。第 二個濾波則是依據深度測試影像值，影像個數少於 門檻值者，就當作異常值濾除。第三個濾波為收集
影像中同一影像區塊以及鄰近影像區塊，如區塊數 量與 8 方向搜尋區內所有區塊數量比例小於設定 門檻值，則視為異常區塊濾除。
PMVS 的演算法是基於 SFM 的稀疏點雲進行 對應、擴展、濾除，將這三步驟重複計算可得最終 點雲結果。因點雲經過濾除步驟，點雲品質較佳，
同一點位置僅用一點雲呈現，因此 PMVS 的點雲 中較無雜點。
3. 研究方法
3.1 獨立建物三維模型重建
實驗區一為高雄市市定古蹟東便門，位於高雄 市鳳山區，該建築長 10.8 公尺、寬 7 公尺、高 4.3 公尺，因建物外觀建材於各構建上有所不同，可提 供後續密匹配比較不同材質重建點雲之差異。該棟 建物上部屋頂為紅磁磚，中間部分使用石灰粉做為 粉刷層，基層部分以石頭和咾咕石砌石而成，整棟 建築影像如圖 1 所示。
圖 1 實驗區一現況圖
實驗區一拍攝的目標為獨立建物，拍攝目的主 要提供三維建模使用，因此拍攝影像必須完整包含 建物所有外觀。本研究使用的多軸無人載具機體為 DJI Phantom 3 Professional，拍攝時盡量保持與建 物距離約為 10 公尺進行環繞拍攝。環繞拍攝的方 式是將建物分為三個部分進行拍攝，第一部份機體 飛航高於建物約 10 公尺，以相機俯角 30°~45°環繞 拍攝；第二部分機體飛航平行於建物高度，相機垂 直於建物環繞拍攝；第三部分機體飛航約為一個人
高度，相機垂直於建物環繞拍攝，總計拍攝影像數 量為 173 張，平均對地解析度為 6 mm/pixel。
3.2 地形圖模型重建
實驗區二為國立高雄應用科技大學燕巢校區，
位於台灣南部高雄市燕巢區，實驗區範圍約為 30 公頃，地形高差約為 90 公尺，地貌種類多，如長 100 公尺吊橋、6 棟主體建築物、40 公尺深河谷、
校園內有樹林及道路等。航標點平均佈設於研究區 內，考量河谷區域地形變化較大，在不同高度之河 階處也都佈設航標點，總共佈設 37 航標點，影像 如圖 2。
圖 2 實驗區二現況圖和航標分佈圖
實驗區二以自行組裝多軸無人飛行載具搭載 消費型相機的 Canon EOS M 與 22mm 定焦鏡進行 拍攝，影像解析度為 4 公分，透過對地解析度和相 機參數計算後，飛航高度為 200 公尺。拍攝方式與 地面垂直方向進行航拍，影像前後重疊 85%、側向 重疊 75%，共拍攝 213 張影像。
3.3 影像處理過程
執行密匹配演算法需要事先提供影像間之資 訊，包含影像之內外方位參數等，因此本研究採用 VisualSFM 開源軟體進行處理，基於 SFM 計算出 影像幾何位置，另將原始影像儲存為核線影像(核 影像)提供後續密匹配使用。
在實驗區二中，為讓三維點雲模型可以與地面 坐標結合，在影像處理時加入地面控制點(GCP)資 料，地面控制平均分佈於實驗區域中，本研究以 14 點航標點做為控制點，23 個點為檢核點進行精
度評估。
本研究中選擇兩種密匹配方法為 SGM 演算法 及 PMVS 演算法，分別透過 SURE 及 PMVS2 等 2 種開源軟體進行處理。
(1) 對應 SURE 是基於半全域演算法，該軟體可從 SFM 所提供的相機幾何位置與核影像計算出 每對影像視差圖，透過一維方向的動態規劃法 影像匹配，成為稠密點雲 (SURE, 2016)，在匹 配成本量化值依據 SURE 軟體預設值計算，根 據 9×7Census Correlation，在不敏感深度影像 區可產生較可靠結果，另在 local cost 值基於 Cross Correlation 計算。
(2) PMVS2 為基於全域演算法中以基於區塊方法 進行重建，以小方形區塊集合建立 (PMVS2, 2016)。為提高產製影像的速度，執行區塊前 先 透 過 Clustering Views for Multi-view Stereo(CMVS)將影像以分群的方式來提升後 續產製密集點雲時的擴展性 (Furukawa et al., 2010)。由於本研究相機的幾何位置由 SFM 計 算所得提供 CMVS 方法判斷哪些影像為一群，
加快 PMVS 匹配速度。
4. 實驗分析
在三維模型之重建過程中，為盡可能獲得三維 實體的表面細節，通常會採用密匹配技術進行處理，
以獲得高密度點雲呈現更多真實樣貌的細節。但從 使用者的角度而言，對於不同複雜度的場景點，要 求的點雲密度就有所不同，並且配合不同需求情況 下，可能只需要模型的輪廓資訊，而不需要詳細呈 現出物體每個細節。因此在實驗成果分析部分，會 以點雲密度及精度、建物邊界及表面等不同面向進 行比較分析。
4.1 獨立建物三維模型重建分析
本實驗為利用 MUAV 環繞拍攝單一古蹟建物，
獨立模型重建對於真實性和完整性的要求較高，因 此本實驗依此需求進行實驗結果分析。
4.1.1 點雲數量與密度
本實驗透過 SURE 執行 SGM 處理共計 36 分 鐘，產製 98,065,820 點，另外使用 PMVS2 執行 PMVS 演算法共計 96 分鐘，產製 789,642 點。
經由影像產製點雲依建物不同材質點雲數量 與面積計算得點雲密度如表 1 所示。不同材質所產 製的點雲密集度有所差異，從表中可知 SGM 演算 法獲得的點雲密度較高，越高密度可呈現出更多細 節紋理。
表 1 各材質點雲密度 匹配
方法
SGM PMVS 密度
(points/m2)
密度 (points/m2) 屋頂 49,600 1,386 石灰牆 334,774 2,279 紅瓦片 276,952 1,857 草地 53,148 969 通道 193,834 1,643 垛牆 387,274 2,536
4.1.2 分析建物邊界
在本點雲模型分別以圍牆及樓梯二條剖面線 進行分析，如圖 3 所示。剖面線圖可呈現出建物的 邊界，用來比較兩種密匹配演算法對於物體邊界處 理之差異。
圖 3 剖面分析位置圖
第一條剖面線為建物頂部的垛牆，如圖 4 所示。
PMVS 演算法匹配的點雲邊緣為平順和圓滑的樣 式；SGM 匹配後的點雲於圍牆間凹槽處有雜點存 在，邊界線為平直，轉角處為垂直角無圓滑效果。
圖 4 剖面線 1(垛牆)之處理結果
第二條剖面線為樓梯處(如圖 5)，以 PMVS 處 理結果呈現出的樓梯線條較為圓滑，且僅如一條線 型構造；而 SGM 處理的邊界有明顯厚度的點雲，
並且周圍有零星的雜點。
圖 5 剖面線 2(樓梯)之處理結果
從兩條剖面的結果可知，PMVS 匹配後的邊界 較平順和無雜點，而 SGM 在邊界上容易產生雜點 現象。
4.1.3 分析建物表面
實驗一為不同材質組成的建物，且部分影像受 到陽光照射產生陰影現象，因此分析點雲是否受到 材質和環境因素的影響，共挑選 4 個部分進行分析，
如圖 6 所示。
圖 6 分析不同建物表面處示意圖
(1) 屋頂
檢視原始拍攝影像如圖 7 所示，由於側邊圍牆 處有樹木，造成頂樓出現陰影，另外因陽光照射角
度，讓兩側圍牆旁也出現陰影，並有亮度不均勻的 現象。從圖中看到部分的磁磚有剝落現象，出現原 本水泥材質，造成剝落處的表面有起伏變化。
圖 7 屋頂原始影像圖
透過 PMVS 處理的點雲對於有陰影和光亮不 平均的表面，會出現點雲凹凸不平之現象，如圖 8，
另外 SGM 處裡的點雲可平整的建立出屋頂部分，
表面無產生高低變化之現象，如圖 9 所示。
圖 8 PMVS 重建屋頂點雲圖
圖 9 SGM 重建屋頂點雲圖
(2) 石灰牆
石灰牆在原始影像上的亮度一致，比較兩種密 匹配所產製點雲之表面平整，使用 SGM 匹配的成 果如圖 10，能呈現出牆面更多細節資訊和色彩，
但透過俯視圖會發現，SGM 匹配後牆面點雲相對 於 PMVS 厚實，平均厚度約為 16 mm，PMVS 如
一層薄殼形式呈現，如圖 11 俯視圖，另外 SGM 會 有零散點雲於表面。
圖 10 SGM 重建石灰牆點雲圖
圖 11 PMVS 重建石灰牆點雲圖
(3) 草地
使用 PMVS 重建後草地區的點雲呈現一個連 續的的表面，點雲隨著草的高低，建立出一個有上 下起伏完整的表面，如圖 12 所示。
圖 12 PMVS 重建草地點雲圖
另外使用 SGM 建立草地區點雲時，其點雲是 由每一組像對建立，因此草地受到風吹影響易造成 擺動，使每張影像的特徵點不同，導致 SGM 演算 法匹配草地時，出現分層和凌亂的現象，導致匹配 錯誤，無法表示出草地的樣貌(如圖 13 所示)。
圖 13 SGM 重建草地點雲圖
(4) 樹木遮蔽處
樹木位於建物側面 1.5 公尺處，其樹幹和樹葉 會遮蔽到拍攝的部分視角，但樹木非緊貼於牆壁，
因此僅有部分影像可拍攝到樹木後方的牆壁，經檢 視原始影像時發現樹蔭會造成局部牆面呈陰暗(圖 14)。上述問題造成此區的點雲產生空洞，以 PMVS 所產生的點雲具有較多的空洞處， SGM 產製的影 點雲空洞處較少。並將兩者點雲進行套疊分析，套 疊成果以圖示化呈現如圖 15 所示，橘紅處代表僅 SGM 有點雲資訊，則 PMVS 為空洞處，黑色處為 兩者共同無點雲資訊，藍色部分為兩者有相同點雲 資訊。
圖 14 樹木遮蔽處原始影像
圖 15 樹木遮蔽處不同演算法差異圖
4.2 數值地形模型重建分析
以 MUAV 進行垂直拍攝地表，通常應用在數
值地表模型或正射影像圖，上述兩者都需有點雲資 訊才能獲得，因此本研究中驗證這過程中的點雲資 料，提供後續資料處理的正確性。
選擇 23 個航標點作為檢核用，分別位於柏油 道路共 10 點、草地共 6 點、河谷中央共 4 點、河 谷底共 3 點，等不同地表特徵之航標點作為檢核，
由完成密匹配後點雲，經由 CloudCompare 軟體，
以人工識別方式數化出航標點雲，透過數化出點雲 計算平均值作為航標中心坐標。
將求得航標點雲中心坐標與實際量測點坐標 點，計算不同地貌分佈航標的平面、高程、整體之 均方根誤差(RMSE)作為精度，計算結果如表 2。
表 2 不同地貌處航標點精度
方法 PMVS SGM
精度(公尺) 平面 高程 整體 平面 高程 整體 柏油路 0.055 0.065 0.085 0.049 0.054 0.073
草地 0.062 0.068 0.092 0.076 0.079 0.110 河谷中央 0.078 -0.075 0.108 0.073 0.068 0.100 河谷底 0.083 -0.081 0.116 0.081 0.073 0.109 表中柏油道路在兩種密匹配中精度一致，因柏 油道路的影像 GSD 的大小較為平均，所以柏油道 路精度差異不大；草地區利用 SGM 有產製的點雲 有分層的現象，使數化過程中比較困難，相對其精 度顯得較差些；河谷中央距離地面約為 15 公尺、
河谷底距離地面為 30 公尺，河谷越深相對航高變 化越大，點雲的精度越低，僅在高程部分 SGM 略 高一些 PMVS。
另外以重建完成後的點雲分佈進行檢視，可發 現在於使用 PMVS 在於紋理相同的區域，容易發 生點雲空洞的問題，如圖 16 框選部分都是屋頂為 鋼鐵或鐵皮材質的部分， SGM 對於這些區域都有 點雲的資訊，如圖 17 所示。在處理效能上 SGM 為 69 分鐘完成，另外 PMVS 則以 135 分鐘完成製作，
雖 SGM 的製作時間快，但 SGM 比 PMVS 所產製 的點雲數量多，相對需要儲存的容量比較大。
圖 16 PMVS 重建校園點雲圖
圖 17 SGM 重建校園點雲圖
5. 結論
本研究以三維點雲重建為目的，比較以 SGM 和 PMVS 演算法進行 MUAV 影像密匹配處理，探 討重建後三維點雲的特性。
實驗一是使用 MUAV 針對單一棟古蹟建物作 為重建對象，探討三維點雲是否會受到材質、光照、
環境等因素影響。以 SGM 進行處理時，在同一剛 性材質(石灰牆、屋頂磁磚)平面上重建點雲為平整 且不受到陰影影響，但在草地部分所重建出的點雲 散亂和分離的現象；另外在影像前景有部分影像被 樹木遮蔽時，以 SGM 法重建後的表面較無空洞、
點雲密集度高、處理時間較快。以 PMVS 重建點 雲時，在建物的邊界上較為平順、圓滑和少雜點，
呈現屬於物體外觀的模樣，如線型的構造，因 PMVS 相對 SGM 點雲無雜亂，如在草地時 PMVS 僅重建出一層點雲，不會有雜散和分離的現象，建 議地貌為草地時適合以 PMVS 重建點雲，但 PMVS 對於拍攝的影像受到陽光照射處，易產生凹凸不平 的問題。
實驗一成果中，以視覺呈現建物三維點雲模型，
分析各細節結果建議適合使用 SGM 點雲，其受到 材質和環境的影響最小。
實驗二無人機常以垂直於地面進行拍攝，影像 重建後的點雲可用來作為後續數值地表模型或正 射影像圖之糾正依據。本研究使用消費型相機，相 機的內方位(焦距、像主點偏移)和畸變差參數未知，
存在不穩定問題，可能影響匹配精度，因此本研究 細部分析柏油、草地、河谷高地差，來檢核精度變 化。
分析結果呈現在柏油道路處兩者密匹配演算 法精度相當，但在草地處則 SGM 方法的精度顯得 較差；兩者密匹配演算法平面精度相同，僅在高程 部分 SGM 略高於 PMVS。另外比較整體外觀時，
當建物屋頂為鐵皮結構時，PMVS 會出現空洞的情 況，SGM 方法則呈現較完整的紋理。
實驗二的成果中，兩者密匹配演算法的精度差 異不大，僅在高程 SGM 略高於 PMVS，且點雲完 整性高較無空洞現象。
參考文獻
李柏翰，2011。基於多視角影像擷取之三維模型重 建系統開發，國立中正大學工學院碩士論文。
[Lee, P.H., 2011. 3D model reconstruction based on multiple view image capture, Master Thesis, National Chung Cheng University, Taiwan, ROC.
(in Chinese)]
阮國維，2012。低風阻小型四旋翼無人飛機設計與 製作，南台科技大學機械工程研究所碩士論文。
[Ruan, G.W., 2012. Design and manufacture of low drag small quadcopter, Master Thesis, Southern Taiwan University of Science and Technology, Taiwan, ROC. (in Chinese)]
周天穎、陳彥宏、蕭淵展，2014。應用無人載具(UAV) 影像於坡地災害環境資訊蒐集與分析，國土資 訊系統通訊，92：2–17。[Zhou, T.Y., Chen, Y.H., and Hsiao, Y.C., 2014. Applications of the aerial
photographs taken by UAV on the environmental data collection and analysis of landslide disaster, National Geographic Information System, 92: 2-17.(in Chinese)]
姚長昆、陳育菘、楊志弘，2014。以 FPGA 實現三 維深度影像估算的低複雜性方法，理工研究國 際期，2014(4-1)：149–152。[Yao, C.K., Chen, Y.S., and Yang, C.H., 2014. The 3D depth image estimation with low-complexity method by FPGA, International Journal of Science and Engineering, 2014(4-1): 149-152.(in Chinese)]
孫頤芮，2012。六旋翼無人載具之研發及其在三維 建模之應用研究，國立高雄應用科技大學碩士 論文。[Sun, Y.R., 2012. The development of six-rotor UAV helicopter and application on three-dimensional modeling, Master Thesis, National Kaohsiung University of Applied Sciences, Taiwan, ROC. (in Chinese)]
張連偉，2009。散亂點雲三維表面重建技術研究，
國防科學技術大學博士論文。[Chang, L.W., 2009. Research on the technology of the three-dimensional surface reconstruction from scattered point cloud, PhD Thesis, National University of Defense Technology, China, PRC.
(in Chinese)]
陳育菘、楊志弘、廖育昇，2012。以 SGM 為基礎 之三維深度影像估算的研究，中國機械工程學 會第二十九屆全國學術研討會論文集，編號 1438。[Chen, Y.S., Yang, C.H., and Liao, Y.S., 2012. 3D depth images estimation based on SGM, Proceedings of the 29th National Conference on Mechanical Engineering of CSME, No.1438.(in Chinese)]
陳昀希，2012。四旋翼機之穩定與控制，逢甲大學 航太與系統工程學系碩士論文。[Chen, Y.H., 2012. On the stability and control of a quadrotor, Master Thesis, Feng Chia University, Taiwan,
ROC. (in Chinese)]
戴翊展，2013。自調式模糊理論應用於四旋翼機之 姿態控制，宜蘭大學機械與機電工程學系碩士 論 文 。 [Tai, Y.J., 2013. Attitude control of quadrotor using self-tuning fuzzy control method, Master Thesis, National Ilan University, Taiwan, ROC. (in Chinese)]
藍裕翔，2014。航照影像特徵輔助之半全域匹配於 數值地表模型建立，國立中央大學，碩士論文。
[Lan, Y.X., 2014. Semi-global matching for the generation of digital surface models with aerial image feature constraints, Master Thesis, National Central University, Taiwan, ROC. (in Chinese)]
Ahmadabadian, A.H., Robson, S., Boehm, J., Shortis, M., Wenzel, K., and Fritsch, D., 2013. A comparison of dense matching algorithms for scaled surface reconstruction using stereo camera rigs, ISPRS Journal of Photogrammetry and Remote Sensing, 78:157-167.
Colomina, I., and Molina, P., 2014. Unmanned aerial systems for photogrammetry and remote sensing:
A review, ISPRS Journal of Photogrammetry and Remote Sensing, 92:79-97.
Coulter, L.L., Lippitt, C.D., Stow, D.A., and McCreight, R.W., 2011. Near real-time change detection for border monitoring, In Proceedings of the ASPRS Annual Conference, Milwaukee, 5:9-17.
Dandois, J.P., and Ellis, E.C., 2013. High spatial resolution three-dimensional mapping of vegetation spectral dynamics using computer vision, Remote Sensing of Environment, 136:259-276.
Furukawa, Y., Curless, B., Seitz, S.M., and Szeliski, R., 2010. Towards internet-scale multi-view
stereo, In Computer Vision and Pattern Recognition, IEEE Conference , pp.1434-1441.
Gehrke, S., Morin, K., Downey, M., Boehrer, N., and Fuchs, T., 2010. Semi-global matching: An alternative to LIDAR for DSM generation, In Proceedings of the 2010 Canadian Geomatics Conference and Symposium of Commission I, 2:6.
Haala, N., Cramer, M., and Rothermel, M., 2013.
Quality of 3D point clouds from highly overlapping UAV imagery, International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XL-1/W2:183-188.
Hartley, R., and Zisserman, A., 2003. Multiple View Geometry in computer vision, Cambridge university press.
Harwin, S., and Lucieer, A., 2012. Assessing the accuracy of georeferenced point clouds produced via multi-view stereopsis from unmanned aerial vehicle (UAV) imagery, Remote Sensing, 4:1573-1599.
Hirschmüller, H., 2005. Accurate and efficient stereo processing by semi-global matching and mutual information, In 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2:807-814.
Koutsoudis, A., Vidmar, B., Ioannakis, G., Arnaoutoglou, F., Pavlidis, G., and Chamzas, C., 2014. Multi-image 3D reconstruction data evaluation, Journal of Cultural Heritage, 15(1):73-79.
Laliberte, A.S., Herrick, J.E., Rango, A., and Winters, C., 2010. Acquisition, orthorectification, and object-based classification of unmanned aerial vehicle (UAV) imagery for rangeland
monitoring, Photogrammetric Engineering and Remote Sensing, 76:661-672.
Neitzel, F., and Klonowski, J., 2011. Mobile 3D mapping with a low-cost UAV system, Int. Arch.
Photogramm, Photogrammetric Engineering and Remote Sensing, 38:1-6.
PMVS2, 2016 . Available at:
http://www.di.ens.fr/pmvs/, Accessed July 1, 2016.
Rehak, M., Mabillard, R., and Skaloud, J., 2013. A micro-UAV with the capability of direct georeferencing, Photogrammetric Engineering and Remote Sensing, XL-1/W2:317-323.
Remondino, F., 2011. Heritage recording and 3D modeling with photogrammetry and 3D scanning, Remote Sens, 3(6):1104-1138.
Remondino, F., Spera, M.G., Nocerino, E., Menna, F., Nex, F., and Gonizzi-Barsanti, S., 2013. Dense image matching: Comparisons and analyses, In Digital Heritage International Congress, 1:
47-54.
Rosnell, T., and Honkavaara, E., 2012. Point cloud generation from aerial image data acquired by aquadrocopter type micro unmanned aerial vehicle and a digital still camera, Sensors 12(1):453-480.
SURE, 2016. Available at:
http://www.ifp.uni-stuttgart.de/publications/soft ware/sure/ , Accessed July 1, 2016.
Turner, D., Lucieer, A., and Watson, C., 2011.
Development of an unmanned aerial vehicle (UAV) for hyper resolution vineyard mapping based on visible, multispectral, and thermal imagery, In Proceedings of the 34th International Symposium on Remote Sensing of Environment , Sydney, Australia.
1 Ph.D. Student, Department of Civil Engineering, Received Date: Aug. 01, 2016 National Kaohsiung University of Applied Sciences Revised Date: Oct. 06, 2016
2 Associate Professor, Department of Civil Engineering, Accepted Date: Dec. 23, 2016 National Kaohsiung University of Applied Sciences
* Corresponding Author, Tel: 886-7-3814526 ext.5245, E-mail: [email protected]
Comparision Dense Matching of MUAV Images via SGM and PMVS
Di-Yi Lin 1 Chia-Sheng Hsieh 2*
Abstract
The Unmanned Aerial Vehicle (UAV) has been developed mature. It is both immediacy and convenience on the field of images shooting. The three-dimension information that close to real can be constructed via the images which taken from UAV. The utilizing on geospatial of UAV is construct complete three-dimension model from shooting a building surround and produce orthophoto from shooting topography vertical. There are good algorithms both on the field of set up relative relationship between ground and images and calculating camera parameters because of the well developing of relative technique; only on the field of the procedure of calculating dense point cloud has not been developed a suitable method.
In order to investigate characteristics and applicability of different dense matching, two methods from different theoretical basis and both widely used are chosen in this study, including Semi-Global Matching (SGM) and Patch-based Multi-view Stereo (PMVS) from Global Method. We use these two methods to analyze the images taking from shooting a historical sites surround and campus vertical. The result can be a reference for construct three-dimension point cloud from the images taking from UAV.
Keywords: UAV, 3D Modeling, Dense Matching, SGM, PMVS
