旋翼UAS影像密匹配建物點雲自動分群之研究 - 政大學術集成

全文

(1)國立政治大學地政學系. 碩士論文. 私立中國地政研究所. 旋翼 UAS 影像密匹配建物點雲自動分群之研究. 政治大 Automatic Clustering of Building Point Clouds 立 ‧. ‧ 國. 學. from Dense Matching VTOL UAS Images. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 研究生：林柔安指導教授：邱式鴻. 中. 華. 民. 國. 一. 百. 零. 四. 年. 七. 月.

(2) 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(3) 謝誌大二時，由黃灝雄老師帶領下，開始接觸研究生活，並於大學專題中，開始第一個研究題目，學習如何做研究，過程中發覺自身的不足，渴望著學習，因此決定進入研究所就讀。就讀研究所期間，跟隨指導教授邱式鴻老師，從決定方向，進而討論方法與流程、討論研究問題的解決方法，並透過問答的過程學習如何分析成果、統整結論，一直以來受到老師許多幫助，真的非常感激老師。也謝謝黃金聰老師提供了展示成果的建議，以及徐百輝老師於論文內容中給予我不少建議，. 政治大. 使我的論文能更加完善。而測班老師們的提問也讓我更加了解自身研究仍有許多. 立. 處待改進。. ‧ 國. 學. 研究所受到許多夥伴的幫助，謝謝學長，在我剛進研究所時，協助我打下程式的基礎，並給予我許多研究上的意見；謝謝小三，在點雲處理上指點我不少；. ‧. 謝謝翎㳖與顏董，在我焦頭爛額時幫我分攤一些事；謝謝若堯、庭維的支援，此. y. Nat. sit. 外，還有惠雅與宇鴻一起吃吃喝喝；有兩粒與乃誠各種坦；有婉綺、毛毛、東旂. al. n. 利度過這兩年。. er. io. 聊天紓壓。一直以來受到許多關心與體諒，慶幸有你們的陪伴與支持，我才能順. Ch. engchi. i n U. v. 每次與台大的夥伴小良、宗憲聚會，總能讓我有更多的想法及動力；與阿濃、士亮的談話，更激勵自己必須不斷前進。而家人，是我最大的支柱，無論我做出什麼決定，你們總是願意體諒我、支持我，再難熬的日子，我都知道有你們會陪著我成長。這兩年，經歷了大大小小的事情，曾挫折慌亂過、也曾難受失落過，但這些，都是寶貴的經驗，而我，雖無法做到盡善盡美，回想起來，也未曾放棄過，並因此學習許多。未來，我依然會秉持這樣的態度，邁入下一個人生階段。. I.

(4) 摘要三維城市模型之建置需求漸趨繁多，可提供都市規劃、城市導航及虛擬實境等相關應用，過去研究多以建置 LOD2 城市模型為主，且較著重於屋頂結構。近年來，逐漸利用垂直影像及傾斜影像作為原始資料，提供建物牆面之建置，並且，隨著無人機系統(Unmanned Aircraft System, UAS）發展，可利用其蒐集高解析度且高重疊垂直及傾斜拍攝之建物影像，並採影像密匹配技術產製高密度點雲，進而快速取得建物包含屋頂及牆面之三維資訊，而這些資訊可進一步提供後續建置. 政治大線、面，進而提供建置模型所需之資訊。立. LOD3 建置層級之模型，而在建置前，首先須對資料進行特徵分析，萃取特徵點、. ‧ 國. 學. 因此，本研究期望利用密匹配點雲，計算其點雲特徵，並採用 Mean Shift 分群法（Comaniciu and Meer, 2002）萃取建物點雲資訊，並提供一最佳分群策略。. ‧. 首先，本研究將以 UAS 為載具，設計一野外率定場率定相機，並蒐集建物高重. sit. y. Nat. 疊 UAS 影像密匹配產製高密度點雲，針對單棟建物高密度點雲，實驗測試點雲. al. er. io. 疏化程度後，依據疏化成果計算點雲特徵，並以此批點雲資料實驗測試 Mean shift. v. n. 分群法（Cheng, 1995）中之參數，後設計分群流程以分離平面點群及曲面點群，. Ch. engchi. i n U. 探討分群成果以決定最佳分群策略。實驗結果顯示本研究提出之分群策略，可自動區分平面點群及曲面點群，並單獨將平面點群分群至各牆面。關鍵字：影像密匹配、無人機系統、Mean shift 分群法. II.

(5) Abstract Unmanned Aerial System (UAS) offer several new possibilities in a wide range of applications. One example is the 3D reconstruction of buildings. In former times this was either restricted by earthbound vehicles to the reconstruction of facades or by airborne sensors to generate only very coarse building models. UAS are able to observe the whole 3D scene and to capture images of the object of interest from completely different perspectives.. 政治大 point cloud from dense image 立 matching for modeling buildings. In the proposed Therefore, this study will use UAS to collected images of buildings and to generate. ‧ 國. 學. approach, this method computes principal orientations by PCA and identifies clusters by Mean shift clustering. Analyze the factors which can affect the clustering methods. ‧. and try to decrease the use of threshold, and this result can cluster the façade of. sit. y. Nat. buildings automatically and offer the after building reconstruction for LOD3.. al. n. clustering. er. io. Keywords: dense image matching, Unmanned Aerial System (UAS), mean shift. Ch. engchi. III. i n U. v.

(6) 目錄謝誌............................................................................................................... I 摘要.............................................................................................................. II Abstract ...................................................................................................... III 目錄............................................................................................................ IV 圖目錄........................................................................................................ VI 表目錄........................................................................................................ IX 第一章. 政治大研究動機與目的.................................................................. 1 立. 緒論.......................................................................................... 1. 第一節. ‧ 國. 第二章. 論文架構.............................................................................. 4. 學. 第二節. 文獻回顧.................................................................................. 6. ‧. 第一節. 建物模型重建方法.............................................................. 6 建物重建之策略面.......................................................... 6. 二、. 建物重建之資料面.......................................................... 8. sit. er. al. v. n. 點雲處理.............................................................................11. Ch. engchi. i n U. 一、. 光達點雲處理.................................................................11. 二、. 密匹配點雲處理............................................................ 15. 第三節. 分群法................................................................................ 17. 一、. 群集分析........................................................................ 18. 二、. 分群法於建物重建方面之應用.................................... 20. 第四節第三章. io. 第二節. y. Nat. 一、. 小結.................................................................................... 22. 研究方法與理論基礎............................................................ 24. 第一節一、. 點雲產製............................................................................ 26 相機率定........................................................................ 26 IV.

(7) 二、影像密匹配.................................................................... 29 第二節. 點雲前處理........................................................................ 29. 一、. 點雲疏化........................................................................ 30. 二、. 點雲特徵萃取................................................................ 30. 第三節. 第四章. 點雲分群............................................................................ 33. 一、. Mean shift 分群法 ......................................................... 33. 二、. 分群參數........................................................................ 35. 三、. 最佳分群策略之探討.................................................... 35. 治政大點雲產製............................................................................ 38 立. 實驗成果與分析.................................................................... 38. 第一節. 相機率定........................................................................ 38. 學. ‧ 國. 一、二、. 影響分群之因素................................................................ 43. ‧. 第二節. 影像密匹配.................................................................... 40. 點雲疏化........................................................................ 45. 二、. 分群參數之探討............................................................ 50. 第五章. sit. er. 最佳分群策略之探討.................................................... 59. al. v i n 最佳分群策略之分群成果................................................ 69 Ch engchi U n. 第三節. io. 三、. y. Nat. 一、. 結語與建議............................................................................ 78. 參考文獻.................................................................................................... 80. V.

(8) 圖目錄圖 1 CityGML 定義之三維城市模型多重尺度層級 ........................ 1 圖 2 以密匹配點雲產製數值地表模型（Remondino et al., 2011）4 圖 3 以密匹配點雲產製多面體建物模型（Bertram et al., 2014） 4 圖 4 資料導向及模型導向之策略（王聖鐸，2005）.................... 7 圖 5 階層式模型樣板之架構（賴泓瑞，2009）.......................... 12 圖 6 弧形曲面點群及圓柱曲面點群分布趨勢（洪祥恩，2011）13. 政治大萃取點雲空缺區域之邊緣點群；圖(b)擬合多條水平線及垂直線；圖立. 圖 7 萃取窗戶並精緻化初始建物模型（Becker and Haala, 2007）（圖(a). ‧ 國. 學. (c)判斷水平線與垂直線交會之矩形為牆面或窗戶；圖(d)精緻化建物模型）.................................................................................... 14. ‧. 圖 8 左為點雲至牆面的距離之直方圖；右為實際牆面（側視圖）（Denis. sit. y. Nat. and Baillard, 2010） .................................................................. 15. al. er. io. 圖 9 Mean shift 用於車載影像之指向線萃取（施凱倫，2014） 21. v. n. 圖 10 Mean shift 用於點雲資料之分群（沈柏琦，2007） .......... 21. Ch. engchi. i n U. 圖 11 Mean shift 於建物重建資料處理之相關研究 ...................... 22 圖 12 研究流程圖............................................................................ 25 圖 13 20 cm × 20 cm 方形率定標.................................................... 27 圖 14 率定場及率定標位置............................................................ 27 圖 15 本研究使用之 UAS 系統...................................................... 28 圖 16 垂直（藍）與傾斜（紅）拍攝側面涵蓋範圍示意圖（單位：m） .................................................................................................... 28 圖 17 傾斜拍攝位置（黃色圓形上各點為傾斜拍攝位置；綠色梯形為單張傾斜拍攝覆蓋範圍）............................................................ 28 VI.

(9) 圖 18 多個牆面上各點之法向量（以相同顏色表示相同法向量），左圖為定向前；右圖為定向後........................................................ 32 圖 19 Mean shift 示意圖 .................................................................. 34 圖 20 率定場與率定標佈設位置圖示............................................ 38 圖 21 率定用影像............................................................................ 39 圖 22 率定用 9 張影像拍攝位置與率定標空間位置分布圖........ 39 圖 23 於 Photoscan 中輸入率定參數 ............................................. 41 圖 24 UAS 環拍影像：政治大學綜合院館.................................... 41. 治政大................................ 42 圖 26 密匹配點雲成果：政治大學綜合院館立圖 25 UAS 環拍影像：政治大學藝文中心.................................... 42. 圖 27 密匹配點雲成果：政治大學藝文中心................................ 42. ‧ 國. 學. 圖 28 影響分群因素之測試區域：政治大學藝文中心影像........ 43. ‧. 圖 29 影響分群因素之測試區域點雲............................................ 43. y. Nat. 圖 30 影響分群因素之測試區域介紹............................................ 44. er. io. sit. 圖 31 以 SketchUp 媒合照片並建立藝文中心局部模型 .............. 44 圖 32 改良平面分群之程序............................................................ 55. al. n. v i n 圖 33 直方圖：𝜆𝑚𝑖𝑛/𝑠𝑢𝑚 61 C h ............................................................. engchi U. 圖 34 直方圖：平均曲率................................................................ 61 圖 35 曲面參數（同時使用兩種曲率參數）................................ 61 圖 36 不同分群特徵之點群分群結果。A.以法向量（a、b、c）及平面參數（d）作為分群特徵；B.以法向量（a、b、c）及曲率（𝜆𝑚𝑖𝑛/𝑠𝑢𝑚、平均曲率H）作為分群特徵 ..................................................... 68 圖 37 分離平面及曲面點群。A.依據點群分佈；B.依據曲率值人工排除 .................................................................................................... 68 圖 38 分群策略使用之密匹配點雲：政治大學綜合院館............ 70 VII.

(10) 圖 39 分群策略使用之密匹配點雲：政治大學藝文中心............ 70 圖 40 流程一之初步分群：法向量（綜合院館）........................ 72 圖 41 流程一之二次分群：d（綜合院館）.................................. 72 圖 42 綜合院館之影像.................................................................... 72 圖 43 流程一的初步分群：法向量（藝文中心）........................ 74 圖 44 初步分群成果分析（藝文中心）........................................ 74 圖 45 流程二之分群：法向量、曲率（藝文中心）.................... 74 圖 46 策略一之分群成果................................................................ 75. 治政大 .策略圖 48 兩種分群策略成果之比較，A .策略一：依據點群分佈；B 立圖 47 策略二之分群成果................................................................ 75. 二：依據曲率值人工排除........................................................ 76. ‧ 國. 學. 圖 49 兩種分群策略之流程及成果，左為依據點群分布之方法；右為曲. ‧. 率值人工排除之方法................................................................ 77. n. er. io. sit. y. Nat. al. Ch. engchi. VIII. i n U. v.

(11) 表目錄表 1 相機規格.................................................................................. 26 表 2 野外率定場率定報告.............................................................. 40 表 3 疏化點數實驗之分群成果...................................................... 46 表 4 分群帶寬參數實驗之成果...................................................... 51 表 5 判斷終止分群之容許值分群成果.......................................... 56 表 6 不同特徵分群成果.................................................................. 59. 政治大 .............................. 66 表 8 不同順序之特徵組合對分群成果之影響立表 7 依序分群與同時分群之差異.................................................. 63. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. IX. i n U. v.

(12) 第一章第一節. 緒論. 研究動機與目的. 如今，都市化的發展趨勢逐漸朝向高密度開發的城市，各都會區之建物多為複雜且密集的，隨之而來的都市規劃及管理、城市導航以及虛擬實境等相關需求，使得三維城市模型建置之需求漸趨繁多，如何提升萃取成果及自動化程度以提供後續三維房屋模型之建置為近年來主要的研究趨勢之一。三維城市模型之建置可根據其應用目的，選擇建置適當尺度之房屋模型，. 政治大 1 所示，其中， 2013）中定義多重尺度等級，並給予五個等級尺度之標準，如圖立 Open Geospatial Consortium（OGC）CityGML（Gröger et al., 2008; OGC-CityGML,. ‧ 國. 學. LOD0 為 2.5D 的數值地形模型，可加入航空像片或地圖；LOD1 為一系列積木形式組成之建物群，其屋頂皆為平面；LOD2 則有較複雜的屋頂結構，並且包含建. ‧. 物紋理；LOD3 可表達詳細的牆面及屋頂結構，附屬建物如陽台、屋簷、雨遮等. sit. y. Nat. 亦須表現，其建物結構較 LOD2 複雜；LOD4 則須表達 LOD3 中建物之內部結. n. al. er. io. 構，如房間、室內門、樓梯及家具等。. Ch. engchi. i n U. v. 圖 1 CityGML 定義之三維城市模型多重尺度層級過去傳統三維城市模型建置以航空攝影測量影像為資料來源，以逐點立體量測方式取得待定點三維坐標，由此產生建物模型，但此方法需要大量人力介入。近期常加入由影像中自動萃取點特徵、線特徵提高自動化建模之程度，但因遮蔽 1.

(13) 影響，仍須人工介入。而後，空載光達系統（LiDAR, Light Detecting And Ranging）技術逐漸應用於三維城市模型重建，其可快速取得點雲三維坐標，相較於航空攝影測量影像，空載光達點雲資料可直接獲得目標物高密度且高精度之三維資訊，可提高模型重建之自動化程度，且空載光達點雲因多重回波及穿透之特性使其受遮蔽如植被之影響較小，但其無法精確取得建物角點，且萃取之建物邊界線易受掃描間距影響（劉嘉銘，2005）。如前述三維城市建置之資料來源，包含航空攝影測量及空載光達系統，資料取得多為由空中向地面方向獲取資料，因此，在建置模型時以建置 LOD2 建物模. 治政大牆面，若須將建物提高至 LOD3 層級，並期望能貼近真實牆面，航拍像片及空載立型為主。建物側面因此較難精確描述，使得建模後之建物牆面與成果將偏離真實. 光達點雲資料較難符合需求，過去研究中，航空攝影測量及空載光達系統獲取之. ‧ 國. 學. 資料，會結合近景影像或地面光達資料以精緻化建物牆面（高崇軒，2011；李孟. ‧. 儒，2011；王淼，2011；洪祥恩，2011）。. y. Nat. 而隨著攝影測量及電腦視覺技術之結合，使用垂直及傾斜拍攝之航空像片以. er. io. sit. 降低遮蔽問題，並可透過高重疊的影像密匹配產生點雲資料。由於其透過適當載具，拍攝低航高、高重疊及高傾斜之影像，因此其點雲量、點雲密度及精度可優. al. n. v i n 於空載光達產生之點雲（Fritsch C ethal., 2013），並改善航空攝影測量中均調區域無 engchi U 資料之問題，且因密點雲由多張高重疊影像匹配而得，使其可靠度高。. 因此以無人機系統（Unmanned Aircraft System, UAS）經由垂直及傾斜拍攝，取得高重疊屋頂面及牆面之影像，並應用於三維城市建置之研究逐年增加（Bertram et al., 2014; Remondino et al., 2011）。UAS 原為軍事用途，其定義為不須乘載駕駛員，僅酬載感測器，並可事先做規劃飛行任務，飛行時則透過無線電設備，於半自動或全自動下執行飛行任務（Eisenbeiss, 2004），近年來逐漸為民間及政府所用，其機動性高、成本低廉並可快速取得資料，可廣泛應用於不同領域中。於獲取資料用於三維建物模型重建中，相較於地面測量及傳統航拍，其可大 2.

(14) 量減少花費之時間及人力（Bertram et al., 2014），且由於其機動性，可取得不同角度之建物影像，較不易受障礙物影響。本研究即利用 UAS 機動性高且經由垂直拍攝及傾斜拍攝，可一次性取得高重疊屋頂面及牆面之影像之特性，以無人航空載具（Unmanned Aerial Vehicle, UAV）環繞建物飛行，並分別以垂直方向及傾斜方向拍攝屋頂面與牆面，同時取得單一地標建物之高重疊像片，藉由影像密匹配獲得高密度點雲資料，探討 Mean Shift 分群法萃取建物點雲資訊之相關問題，期待提供一最佳分群策略將點雲分群供後續 LOD3 層級建物模型建置使用。影像密匹配技術取得之資料形式包含點坐標及其顏色，不同於過去航測影像. 治政大雲重建三維建物模型的方法亦略有不同，密匹配點雲資料結合航測影像與空載光立僅提供二維影像資訊，或空載光達資料提供點坐標及強度值。因此，以密匹配點. 達資料兩者之特性，比傳統航測資料，密匹配點雲可直接提供建物之三維資訊；. ‧ 國. 學. 比空載光達資料，密匹配點雲密度更密集，但其缺點在於密匹配點雲包含較多雜. ‧. 訊。. y. Nat. 目前，以影像密匹配產製點雲之研究，多為建置數值地表模型（如圖 2），. er. io. sit. 或用以建置 LOD2 城市模型（Xiong et al., 2014a, 2014b; Vetrivel et al., 2015a, 2015b; Rothermel et al., 2014; Bulatov et al., 2014），而針對建物牆面萃取之研究亦逐年增. al. n. v i n 加，除用以建置多面體形式之建物模型外（如圖 3），亦研究對點雲計算特徵後， Ch engchi U. 將牆面、地面、車、交通號誌等街區特徵（Weinmann et al., 2015）分群，亦可進一步將建物各牆面分群（Nex et al., 2015）。較常採用分群法如區域成長（Regional Growing）、隨機森林（Random Forest）等，但上述分群法亦有門檻值設置需求高之問題，且門檻值亦受點雲資料差異而改變，因此，降低分群法中參數設置對原始點雲資料的影響，並探討參數與原始資料之關係為本研究期望達到的目標。綜合上述本研究的研究目的為以下三點：一、建立一野外率定場率定 UAV 酬載之非量測型相機。. 3.

(15) 二、分析 Mean shift 分群法中參數設置與原始點雲資料之關係，由此提升自動化程度，並探討萃取平面及曲面的最佳分群策略。三、以 UAV 航拍取得之影像產製密匹配點雲，並藉由本研究提出的分群策略，探討其分群成果。. 立. 政治大. ‧ 國. 學. 圖 2 以密匹配點雲產製數值地表模型（Remondino et al., 2011）. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3 以密匹配點雲產製多面體建物模型（Bertram et al., 2014）. 第二節. 論文架構. 本研究以 UAV 作為取得影像之載具，採影像密匹配獲取密匹配點雲，並提出針對影像密匹配技術取得密匹配點雲，可以點雲密度為依據，以 Mean shift 分群法自動將各特徵點群分群之策略，論文整體架構如下：. 4.

(16) 第一章旨在闡明以 UAV 影像匹配高密度點雲，藉由分群法群集各特徵點群，設計一可達到提供建置 LOD3 建物層級之 Mean shift 分群策略的動機與目的。第二章將首先介紹過去模型重建之文獻，並分別依模型重建之策略面及資料來源兩方面做探討。之後，將回顧點雲處理之方法，首先提及光達點雲之點雲處理方法，並回顧近年來影像密匹配點雲於建物重建之研究。最後，將介紹分群法，並重點回顧以分群法處理建物重建之相關研究。第三章的重點在於詳細說明本研究提出之方法流程，主要可分為三階段：(1) 點雲產製，包含酬載於 UAV 上之非量測型相機之率定方法、以 UAV 垂直、傾斜. 治政大首先介紹本研究使用之 Mean 處理，包含點雲疏化及點雲特徵萃取、(3) 點雲分群，立. 拍攝建物屋頂面及牆面之航線設計以及 UAV 影像匹配高密度點雲、(2) 點雲前. shift 分群法，並設計實驗測試分群法中之分群參數，以測試成果探討點雲自動分. ‧ 國. 學. 群之可行性。然後分別針對平面及曲面設計分群策略，測試並決定同時分群平面. ‧. 及曲面之最佳分群策略。. y. Nat. 第四章將分別展示影像密匹配產製之點雲成果，並依據此成果作為實驗區，. er. io. sit. 利用前一章設計之實驗，展示分群成果，從成果中分析並探討研究方法之可行性，透過實驗，獲得最佳分群策略，其後測試最佳分群策略之成效。. al. n. v i n 第五章將整理本研究之成果，提供實驗所得之心得，並提出結論與建議。 Ch engchi U. 5.

(17) 第二章. 文獻回顧. 本章將回顧與建物模型重建之研究背景及近幾年之相關研究，主要分為三部分。其中，第一節將討論過去 LOD2 建物重建之研究，並分為策略面及資料面兩方面作探討；第二節將整理並回顧點雲處理相關之研究，首先回顧光達點雲之點雲處理方法，而後將介紹近幾年以影像密匹配方法進行模型重建之研究；第三節將著重於分群法之介紹，主要探討分群法之類型，並針對本研究使用的 Mean shift 密集度導向之分群法作詳細介紹，並回顧過去使用分群方法之研究；最後於第四節給予小結。. 治第一節政建物模型重建方法大. 立. 本節將回顧過去與 LOD2 建物重建相關之研究，並分別以模型重建方法之策. ‧ 國. 學. 略面以及資料取得來源之資料面兩部分加以探討。. 建物重建之策略面. ‧. 一、. y. Nat. 過去建物模型重建的研究中，可分為資料導向（data-driven）、模型導向. er. io. sit. （model-driven）以及混合方法（hybrid method）（Mayer, 1999; Vosselman and Maas, 2010）。三種方法之間的差異表現在不同的步驟中分別包含多少與建物有關的資. n. al. 訊。. Ch. engchi. i n U. v. 模型導向為由上至下（Top-down）的策略，為參數式之建模方法，它假設建物模型可以參數式表達，其屋頂結構亦透過參數式的標準屋頂形狀表示。因此，模型導向需要事前於資料庫中給定各種不同的基礎建物元件，如：立方體、圓柱體、圓球、圓錐體，而原始資料皆搜尋資料庫中最適當之建物模型組合，因此，每棟複雜建物皆可獨立操作並用多種簡單的基本建物元件組合來表示。資料導向為由下至上（bottom-up）的策略，為非參數式的建模方法。它嘗試利用初始資料，透過一系列的計算來模擬基本或複雜的建物模型，不需事先定義特定建物形狀之資料庫。資料導向的優點在於它可以模塑任何形狀的建物，但它 6.

(18) 也因其方法為對原始資料做一系列計算，使得執行上較模型導向來得複雜。因此，如何給定約制條件及規則為此方法主要的問題。資料導向及模型導向中，其建模流程中需選用適當演算法以萃取目標物件，三維霍夫轉換（3D Hough-transform）及隨機抽樣一致演算法（RANdom SAmple Consensus, RANSAC）（Fischler and Bolles, 1981）可用於萃取特徵如特徵點、特徵線及特徵面，若事先提供模型，則可依據模型匹配相應之物件，因此兩種導向建模方法中皆會運用。而 Douglas-Peucker 演算法為資料導向之演算法，為能簡化資料，以多邊形網表示原始資料，可用以建構建物牆面之輪廓，其後可配合區. 治政大模型導向的優點在於它能產製無幾何變形的建物模型，因為它是由參數計算立. 域成長法（Region growing）分群資料（Tarsha-Kurdi et al., 2007）。. 而得，且計算效率高，但缺點為受限於事先定義之模型庫內容；而資料導向的優. ‧ 國. 學. 點在於它不需給定模型庫，且能描述較複雜之建物模型，但其於幾何上的變形較. ‧. 大，且其萃取之平面交會有錯誤的風險。此概念於光達點雲及航空像片皆適用，. y. Nat. 王聖鐸(2005)以航空像片為例，說明兩者之差異。此研究中提及，經由處理影像. er. io. sit. 來求取高階資訊，稱之為資料導向；反之，經由高階資訊特徵並驗證特徵與影像資料之間的一致性，稱之為模型導向，兩者差異可以下圖 4 表示。. n. al. Ch. engchi. i n U. v. 圖 4 資料導向及模型導向之策略（王聖鐸，2005）. 7.

(19) 同時結合資料導向及模型導向之策略，即混合方法（hybrid approach），可提高自動建置建物模型之可能性，它可減少大多數資料導向中解釋不同操作之定義問題，並可降低模型導向中對預定義模型庫的依賴（Kwak, 2013）。以航空像片為例，高階之建物資訊與低階之航空像片，會在其中某一處理階段會合，可用以驗證其是否一致（王聖鐸，2005）。. 二、. 建物重建之資料面. 建置 LOD2 建物模型所使用之資料可分為三類：(1) 航空影像、(2)光達點雲、 (3) 現有圖資。而進一步以載具區分，不同載具取得之資料可用以建置不同層級、. 政治大獲得之成果，並可進一步提高自動化程度及建物層級。立. 不同需求之建物模型。此外，亦可融合多種不同來源之資料，由此改善單一資料. ‧ 國. 學. (一) 航空影像：. 傳統由航空影像對中採立體製圖模式以半自動化方式逐點量測建. ‧. 物點三維坐標，用以重建建物模型。但此方法需要大量人力介入，需考. sit. y. Nat. 慮如何減低作業流程中的人力介入，並嘗試以全自動化或半自動化方式. al. er. io. 萃取建物特徵，並藉此產製三維建物模型。. v. n. 目前，全自動化建物萃取方法多由自動偵測線特徵出發，並以資料. Ch. engchi. i n U. 導向的策略進行建物重建；而半自動化方式則多採模型導向的策略進行，半自動化方式常將影像判釋交由人力處理，電腦則負責計算模型-影像最佳套合等較低階的工作。目前，全自動化方法多僅能針對結構較簡單之建物模型，較難適用各種不同的複雜城市建物環境，因此，半自動化方式依然為目前實用上較常選擇的建模方法（王聖鐸，2005）。隨著電腦視覺針對影像辨識相關的技術發展，影像匹配技術由區域式匹配（area-based matching）、特徵匹配（feature-based matching）發展至密匹配（dense matching），利用此技術，可從影像中取得高密度且高可靠度之密點雲。近期國內研究中有探討密匹配之效能與品質之研究 8.

(20) （李硯婷，2013），亦有利用密匹配點雲產製數值地表模型（藍裕翔， 2014；蔡依庭，2012），而對於密匹配點雲建置單棟高建物層級之三維模型之研究尚少。上述之航空影像，因自空中垂直或傾斜拍攝，使得建物側面較易被遮蔽。因此，近景攝影所拍攝之影像常用於輔助建置較細緻之建物牆面元件。高崇軒（2011）結合多張近景影像於初始房屋模型上重建牆面三維線段，以此提升建置層級。 (二) 光達點雲：. 治政大 System）快速取得的地物點之三維坐標，結合全球定位系統（Global 立光達點雲是由光達系統或又稱雷射掃描系統（ Laser Scanning. Positioning System, GPS）及慣性導航系統（Inertial Navigation System,. ‧ 國. 學. INS）資訊，可獲取高精度之三維坐標。於三維建模之資料中，光達點. ‧. 雲相較於航空影像之資料，可直接提供地表物之三維資訊，可提高建物. y. Nat. 重建之自動化程度。但光達僅能提供目標物之三維坐標及反射強度值，. 輔助資訊萃取（林耿帆，2011）。. al. er. io. sit. 相較於遙測影像，它無法提供地表物之光譜資訊，因此常結合遙測影像. n. v i n 光達系統依其應用不同，需考慮載具及其掃描方式，常用載具可分 Ch engchi U. 為飛行載具及地面載具（黃世涵，2012）。不同載具產製之建物模型亦有差異，飛行載具搭載之空載光達可一次性產製大規模城市模型，但其掃描方向多為由空中至地面，資訊萃取多為地面及建物屋頂結構，側面資訊如建物牆面較少；地面光達又可分於固定站掃描的地面光達以及以移動載具如車輛搭載之車載光達，固定站之地面光達掃描得單站三維資訊，並結合多站資料，常用於單棟建物建模，因測站與目標物之距離較空載光達近，掃描距離短，使得點與點之間的間隔小，可呈現較細緻之建物形狀，可建置複雜之建物牆面，因此常用於建物精緻建模，但由於 9.

(21) 固定站位置設置於地面上，建物屋頂面較難掃描，且高樓層建物上半部因掃描距離長，點間距較大。因此，過去研究中，常藉由結合空載光達及地面光達之資料，建置完整之建物模型（洪祥恩，2011）；車載光達為動態的地面掃描方式（dynamic terrestrial scan）（Petric et al., 2009），此系統與空載光達相似，其亦搭載高精度定位定向系統，且定位定向系結合全球衛星定位系統、慣性導航系統、車輪計（Distance Measurement Instrument , DMI）等，使系統可達直接地理定位的需求。依其掃描距離可得知，相較於空載光達，其可描述較詳細的路廊資訊以及建物側面特. 治政大一角度所產生之遮蔽（occlusion）問題。而車載光達與地面光達皆有掃立. 徵，但又較地面光達來得低，但車載光達可搭載多個光達系統，避免單. 描不到建物屋頂面之問題，因此亦有研究結合空載光達與車載光達之資. ‧ 國. 學. 料，黃世涵（2012）即嘗試以最小二乘平面套合法對空載光達及車載光. y. Nat. (三) 以現有圖資建置三維建物模型：. ‧. 達做點雲套合。. er. io. sit. 現有圖資地形圖建模方法如下：將各棟建物之外圍輪廓線視為該棟建物之屋頂面，其建物高度可獲取自地形圖之高程資訊或樓層資訊，並. al. n. v i n 假設樓層高度為一定值，由此可建置大範圍積木式城市模型，此建模方 Ch engchi U. 法適用於建置三維城市模型，並符合 LOD1 建物層級。其優點為可快速建模且操作簡易，但建物屋頂面為平行地面之平面，且建物牆面亦皆視為垂直於地面之平面，無法精確描述複雜之建物屋頂面及牆面為此方法之缺點，過去研究中，以現有圖資建置三維建物模型，大多須透過資料融合之方式，結合不同來源之資訊，獲取更高層級的建物模型。王正忠（2002）結合地形圖及近景影像進行建物模型重建，首先從三維數值地形圖中取得三維建物模型資料，並透過最小二乘模型-影像套合法求解. 10.

(22) 近景影像之外方位元素，而後選用適當的模型重建建物細節，由此組成完整的三維建物模型。. 第二節. 點雲處理. 前一節介紹三維建物建模方法，比較不同建模方法之差異。而本研究將採影像密匹配技術產製密點雲，並研究以 Mean sift 分群法將密點雲分群供後續建物模型建置使用，因此，本節將深入探討影像密匹配之相關研究。此外，由於影像密匹配技術所得資料為三維點雲，與光達點雲特性幾乎相符，因此，使用光達點雲之建模時資料處理方法亦可作參考。首先敘述以光達點雲為原始資料之點雲處. 政治大. 理研究，然後回顧影像密匹配點雲處理之相關研究。. 立. 光達點雲處理. 學. ‧ 國. 一、. 前一節曾提及，建模方法可分成模型導向策略以及資料導向策略，以光達系統產製之點雲資料，亦可以此策略劃分。模型導向策略可事先於資料庫中給定不. ‧. 同建模元件之形狀，再由點雲資料與資料庫中之元件依序匹配，取得最適元件。. y. Nat. sit. 賴泓瑞（2009）即以階層式模型樣版為基礎對三維點雲資料進行模型重建，基本. n. al. er. io. 幾何元件皆以代數式描述，其基本元件包含平面、圓柱、圓球、角錐、甜甜圈形. i n U. v. 狀。階層式模型樣版的第一層為自訂的基本幾何元件，接著利用基本幾何元件組. Ch. engchi. 合出下一層簡單形狀的模型樣版，然後進一步結合前層模型樣版以建立更高階複雜模型，如圖 5 所示。其作法首先以 RANSAC 方法分類並萃取點雲，並從以分類之點雲資料萃取出數個基本幾何點雲群集，再利用模型樣版進行點雲擬合，並在每一模型樣版階層加入幾何約制條件以提高建模品質。該研究在資料誤差的抵擋與建模品質上有更佳的表現，且比一般最小二乘法相關的重建方法在視覺上擁有更佳的建模品質。. 11.

(23) 立. 政治大. ‧ 國. 學. 圖 5 階層式模型樣板之架構（賴泓瑞，2009）. 而資料導向策略可從點雲資料中萃取特徵，並藉由演算法或場景知識辨識並. ‧. 給予點雲屬性，洪祥恩（2011）採平面表面成長法群組化分割方法，由此分類得. y. Nat. sit. 平面點群及曲面點群。研究中採用地面及空載光達點雲資料，期望重建符合 OGC. n. al. er. io. CityGML LOD3 層級規範之建物模型，其流程主要分三步驟，分述如下：光達點. i n U. v. 雲資料套合、點雲群組化、三維表面重建。首先，以手動方式針對各測站地面光. Ch. engchi. 達點雲，剔除非目標資訊及雜訊，接著以半自動化方式進行資料套合，使用 ICP 演算法（iterative closest point algorithm）（Böhm and Haala, 2005）將多個測站資料依序迭代求算最佳套合成果。並以七參數坐標轉換套合空載光達點雲及地面光達點雲做初始狀態，再以 Best-fit 迭代求解。點雲套合後，以平面表面成長法（Planar Surface Growing Algorithm）（Vosselman et al., 2004），根據平面及曲面中幾何條件的約制，群組化分割三維點雲資料，此群組分割時先依據建物結構特徵多寡決定給定之成長種子數目；並計算種子至各點之距離，決定構成種子平面的候選點，由此組織成數個種子平面；根據幾合條件，由種子平面出發成長平面點 12.

(24) 群；上述過程可能造成過度的群組化，再依據空間幾何條件合併屬於同一平面之平面點群；未能分類成功之點資料，視為雜訊或曲面點雲，依據點雲數決定是否為曲面點群。最後的三維表面重建將平面點群與曲面點群分別處理，平面點群以平面擬合方式處理，並依各平面交會的情形決定角點、邊界；曲面則分為弧面或圓柱，可由點雲中心基準軸至點雲之距離變化趨勢判斷，如圖 6 所示，後於 SketchUp 平台上以人工方式模塑點群（洪祥恩，2011）。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. 圖 6 弧形曲面點群及圓柱曲面點群分布趨勢（洪祥恩，2011）. al. er. io. 另外，亦有許多研究針對原始 LOD2 層級之建物模型，以場景知識作為基. v. n. 礎，判釋符合特定條件之點群，並藉此精緻化原始建物模型。Becker 及 Haala（2007）. Ch. engchi. i n U. 即利用場景知識，以光達穿透玻璃之特性，作為窗戶辨識之依據，期望精緻化建物模型。首先提到點雲與影像對虛擬城市模型的對位，在光達點雲的處理中，利用 ICP 演算法將點雲整體對位至虛擬城市模型之坐標系統中，再局部對位至各牆面；影像則是使用 SIFT 演算法（Lowe, 2004）匹配後，再以 RANSAC 剔除粗差，最後再使用光束法平差，其控制點則是從光達點雲相對於影像中建物角點之位置人工獲得。接著使用光達點雲透過萃取窗戶進行牆面精緻化，利用光達掃描至窗戶時，無法反射而產生空缺的特性，找尋牆面上沒有資料之位置，並萃取其空缺之邊界，藉由邊界擬合多條同一牆平面上之水平線及垂直線，而水平線及垂直線會交會出許多矩形，透過判斷每個矩形間包含之點雲量，決定該矩形是牆面或窗 13.

(25) 戶，若點雲量佔該矩形之 70%，即為牆面，少於則為窗戶。透過此方法，可大至萃取出窗戶，而邊角若有判斷錯誤之區域，可利用鄰近窗戶判斷該窗戶大小，最後成果可將所有窗戶之大小一致化。從影像中萃取窗戶時，則選用 Sobel filter 萃取邊緣線，並將萃取之窗戶投影至先前光達點雲萃取之成果，即可以完成影像與點雲精緻化原始之虛擬城市模型，過程如圖 7 所示。. 立. 政治大. ‧. ‧ 國. 學 y. Nat. sit. 圖 7 萃取窗戶並精緻化初始建物模型（Becker and Haala, 2007）（圖(a)萃. n. al. er. io. 取點雲空缺區域之邊緣點群；圖(b)擬合多條水平線及垂直線；圖(c)判斷水平線. i n U. v. 與垂直線交會之矩形為牆面或窗戶；圖(d)精緻化建物模型）. Ch. engchi. Denis 及 Baillard（2010）亦以場景知識為依據，提出一種使用移動式測繪系統自動精緻化已存在之建物模型，並著重於牆面上物件的萃取與模塑。首先，使用 ICP 演算法（iterative closest point algorithm）（Böhm and Haala, 2005）做初步的整體對位，並給予牆面為垂直的約制條件，每一面牆分別針對原始建物模型各牆面做局部對位，對位後兩牆面可能產生之空隙需利用側面的牆面調整並連結，對位後即可分出牆面及非牆面的點群。由於點雲獲取的方法為移動式測繪系統，建物牆面上若有突出物，車載光達無法掃描到突出物的上半部，使用點雲至牆面的距離作一直方圖，如圖 8 所示，可以此方法判定突出物並作修復，最後，調整 14.

(26) 並修補建築物之間的連接，此研究的方法中，不僅可以使建物模型保持其牆面垂直的特性，同時遵循建築物之間的結構及位相關係。. 立. 政治大. ‧. ‧ 國. 學. io. er. 密匹配點雲處理. sit. Nat. 二、. and Baillard, 2010）. y. 圖 8 左為點雲至牆面的距離之直方圖；右為實際牆面（側視圖）（Denis. al. n. v i n 目前，影像密匹配相關之研究逐年增加，其研究內容包含精度分析（蔡依庭， Ch engchi U. 2012；陳英煥，2007）、建置數值高程模型（藍裕翔，2014），直至本研究著重之建物重建等方面。而於建物重建相關之研究，主要可依據 LOD 建置層級區分為著重屋頂結構之 LOD2 層級以及著重建物牆面之 LOD3 層級，其流程多為影像密匹配產製高密度點雲、計算點雲特徵、萃取特徵點群，萃取後可提供多種應用。如三維街道資料監測與更新系統（Qin and Gruen, 2014）、監測損壞建物（Vetrivel et al., 2015a）或建置大範圍 LOD2 城市模型（Rothermel et al., 2014）。影像密匹配產製高密度點雲時，需先從影像中萃取特徵點，藉由特徵點於多張連續影像中之變化，推估影像之移動路徑，計算影像位置與姿態，進一步解算 15.

(27) 高密度點雲。如蔡依庭（2012）以 UAS 航拍包含植被及土石之區域，並採用 SIFT 演算法（Lowe, 2004）進行特徵點萃取與匹配，建立影像間之相對方位後，即利用 SfM 演算法（Structure from Motion），解算影像與地表面之絕對方位。陳英煥（2007）使用高重疊之空照影像解算密匹配點雲時，則採用光流迭代法之概念，設計一套自動化萃取大量特徵點並可追蹤、匹配相同像點之方法，此方法成功匹配出大量高密度點雲，並可互相檢核，有較高的多餘觀測量，提高內可靠及外可靠度，可用作後續應用。Wefelscheid 等人（2011）提出一個完整並自動化的 UAS 影像產製點雲之流程，從影像獲取、特徵萃取及追蹤、路徑估計一直到產製三維. 治政大找出影像中之興趣點，並以 SIFT 演算法（Lowe, 2004）描述各興趣點，由於載立. 高密度表面模型。流程大致如下：經由 Förstner 演算法（Förstner and Gülch, 1987）. 具上之 GPS 及 IMU 無法符合應用上之精度要求，相機移動的軌跡須利用其影像. ‧ 國. 學. 間萃取之興趣點關係執行解算。為了獲得高精度成果，利用相機視角與匹配次數. ‧. 來推估其路徑，此外，封閉的循環檢查可以獲得強健和更精確的成果，最後以光. y. Nat. 束平差優化成果。相機路徑推估後，可用 robust multi-view stereopsis approach. er. io. sit. （Furukawa and Ponce, 2010）解算高密度點雲，Kazhdan 等人（2006）提出的 poisson surface reconstruction（PSR）演算法可用於將點雲整理成多面體網格格式。此方. al. n. v i n 法不僅於建模過程完全自動化，UAS C h 拍攝影像之路徑亦事先設計好航線規劃。 engchi U. 於此研究中，成果顯示其精度比光達成果好。. 影像密匹配點雲建置建物 LOD2 層級之相關研究中，著重於大區域之點雲分類及屋頂結構萃取兩部分，Rau 等人（2014）利用垂直及傾斜影像密匹配產製之點雲，包含點雲坐標及其相應光譜資訊（R、G、B）提供語意資訊，採物件導向分類方法，將都市區分為屋頂、牆面、道路、樹木及草五類，其整體精度可達 82.47%至 91.8%之間；於屋頂結構萃取中，採用分群法來萃取特徵點群，如不同屋頂面點群，亦可進一步優化分群成果，萃取屋頂結構點及線。最常用之分群法為區域成長法，Xiong 等人（2014a）即將點雲建立三角網後，透過區域成長之概 16.

(28) 念，計算屋頂面上各點雲之間高程方向向量變化，並由此找到屋頂面之邊界線； Vetrivel 等人（2015）亦採用區域成長法，藉由點雲之幾何與輻射特徵，設定門檻值以分群，此篇著重於區域成長法之改善，透過反覆分群以更新種子位置，並移除錯誤種子，可降低區域成長法於決定種子位置之影響。另外，Joshi（2014）則採用 RANSAC 分群，分離屋頂面，並可建立單棟 LOD2 模型；Vetrivel 等人（2015a）另採用直方圖法萃取建物上之空隙，用以監測損壞建築。影像密匹配點雲建置建物 LOD3 層級之研究中著重於街區及建物牆面之特徵萃取，Weinmann 等人（2015）採隨機森林法對街區分類，此為一種監督式分. 治政大則針對建物牆面作分群，採用區域成長法做點雲分群後，擬合平面並分析殘差，立類法，其將街區分為牆面、地面、車、交通號誌以及行人；而 Nex 等人（2015）. 計算其特徵值後，可由特徵值計算曲率值，由此判斷點群是否為平面。. ‧ 國. 學. 由上述文獻回顧可知，建物重建前，如何適當的萃取點雲為影響後續建模成. ‧. 果的一大要素，萃取點雲之方法可分為分群（clustering）及分類（classfication），. y. Nat. 兩者差異在於區分類別之條件及類別間之差異是否已知。分群法僅將數據中相近. er. io. sit. 之數據群集，群集後之每一群內部數據之特性相似，其重點在於數據中特徵之選取，以及群集條件，或稱門檻值；分類法則是已知分類之類別及每個類別之差異，. al. n. v i n 依據此差異將數據切割，嘗試找分界線，分類後之數據依據分界線分隔，並各自 Ch engchi U 歸類為已知類別中，其要點在於各類別之界線如何決定，各類別之門檻值決定為. 影響分類優劣之主要因素。由於本研究期望降低門檻值對成果之影響，並嘗試依據資料特性以分離特徵點群，因此，傾向使用分群法而非分類法。而下一節將介紹分群法，並說明不同分群法應用於建物重建資料處理時之優缺點。. 第三節. 分群法. 對資料作分割群集之方法可分為以區域為基礎之方法（ region-based approach）、以群集為基礎之方法（clustering-based approach）以及以圖像為基礎之方法（graph-based approach）（曾憲雄，2006）。較常用之以區域為基礎之方法 17.

(29) 為區域成長法，區域成長法之概念為事先給定種子，由種子開始向外擴散，依據相似性決定是否併入該種子之群集，因此，種子之決定以及相似性之門檻值界定將極大影響分群成果；Vetrivel 等人（2015b）即在探討如何改善種子位置以提升分群成果，區域成長法判斷資料間是否相似時，亦須決定門檻值，且門檻值隨著給予之特徵資料增加而增加，設定可符合整體資料之門檻值極為困難（沈柏琦， 2007），本研究期望降低門檻值對分群成果之影響，因此不使用須設定多種門檻值之區域成長法；此外，以圖像為基礎之方法較不適用於本研究之資料型態，即點雲資料，因此以下將針對以群集為基礎之方法介紹。. 政治大群集分析（Cluster Analysis）立，即分群法，其概念為將資料依其特徵分成多個. 一、. 群集分析. ‧ 國. 學. 群集（Cluster），使每個群集中的資料，其相似程度高於其他群集中的資料，其目的為分析資料間的相似程度，並透過分群後之成果，用以作後續分析及應用。群. ‧. 集分析的步驟可分為五項（曾憲雄、蔡秀滿、蘇東興、曾秋蓉、王慶堯，2006）：. sit. y. Nat. (一) 資料表示，即資料的特徵，由此表示資料之特性。. al. n. 間的相似程度。. er. io. (二) 計算與測量資料間之相似程度，可細分為資料點間的相似程度以及群集. Ch. engchi. i n U. v. (三) 選擇分群法，根據資料的特性，選擇相對應之分群方法，不同的分群方法，產生的群集差異極大。 (四) 評估分群結果，分析並評估分群後之群集。 (五) 解釋群集。分群法可大致歸類為分割式分群法、階層式分群法（hierarchical method）、密集度導向的分群法（density-based algorithm）。分割式分群法嘗試找出類圓形且大小相近的分群結果，不適用於任意形狀或群集大小差異大的資料，k-means 分群法、反覆自我組織分析技術（ISODATA）即屬於此類型。k-means 分群法首先須由使用者定義群集數量 k，演算法將隨機 18.

(30) 自資料中找 k 個資料點作為起始之群集中心，藉由相似度計算，將資料歸類至距其最近之群集中心，可將所有資料點分為 k 個群集，每個群集各自計算並更新群集中心，並重複上述步驟，直到分群結果穩定，此分群法受限於須事先定義群集量，較不適用本研究之建物點雲。階層式分群法則利用聚合或分裂的方法分群，並利用樹狀結構圖來表示群集間彼此關係，傳統階層式分群法可分為聚合法（AGNES）以及分裂法（DIANA），聚合法之概念為將每個資料點皆視為一個獨立的群集，並依據群集間相似程度，不斷合併二個最相似的群集，直到所有的群集皆合併成一個大群集或達終止條件；. 治政大群集，直到每個資料各自為一個群集或達終止條件。其可改善分割式分群法對任立分裂法則是先將所有資料視為一個大群集，依據相似度，大群集分裂成較小之子. 意形狀或大小群集分群的困境，但處理時間及硬體的需求較高，常用之階層式分. ‧ 國. 學. 群法為連鎖法（Linkage Method）。. ‧. 密集度導向的分群法則是利用資料間密集程度作分群依據，可用於濾除偏移. y. Nat. 值及雜訊，並可適用於不同形狀及大小之群集，常用分群法如 Mean shift 分群法、. er. io. sit. DBSCAN 分群法(Ester et al., 1996)，兩者之差異主要在於密集中心的決定方法， Mean shift 分群法藉由找尋點周圍一定距離包含的點資料，計算平均中心點並偏. al. n. v i n 移至該點重複計算平均中心，反覆計算至偏移距離小於一定值則終止迭代； Ch engchi U. DBSCAN 分群法則是依據每一點周圍一定距離內包含幾筆點資料，點資料的數量大於一定值則視為核心點，後依據核心點的分佈決定密集中心及群集。由上述可知，Mean shift 分群法可藉由計算得相對密集中心；DBSCAN 則是透過事先給定數值以決定核心點的判斷條件。本研究之資料密集程度不一，較難依據一確定數值決定密集中心，相對密集中心較符合本研究之目的，因此，將採用 Mean shift 分群法為本研究之分群演算法。此外，密集度導向的分群法之缺點為如何評估緊密程度及涵蓋範圍，本研究將針對此問題進行探討。. 19.

(31) Mean shift 分群法需事先定義搜尋範圍，此參數稱作帶寬（bandwidth），以資料點為圓心，帶寬為半徑即為搜尋範圍，由此搜尋範圍中包含之資料點計算密度中心，後將搜尋範圍中之圓心移動至該密度中心，重複計算更新之搜尋範圍中之點資料密度中心，反覆更新至搜尋範圍中心與密度中心趨於一致時停止，將每個資料點皆由此流程計算其密集中心，即可獲得該筆資料點之群集。由於以密集度導向之分群法中，僅需判斷密集程度，門檻值之設定較少，且受資料特性而變動之程度較小，因此將採用以密集度為導向之分群法，其門檻值於本研究中將研究是否能藉由點雲資料之密度來自動給定。. 政治大先前曾經提及，對資料作分割群集之方法可分為以區域為基礎之方法、以群立. 二、. 分群法於建物重建方面之應用. ‧ 國. 學. 集為基礎之方法以及以圖像為基礎之方法，過去研究大多使用區域成長法做屋頂，但其種子與面分群（Xiong et al., 2014a；Vetrivel et al., 2015b；Nex et al., 2015）. ‧. 門檻值之決定較困難；Xiong 等人（2015b）則採以圖像為基礎之方法改正錯誤之. y. sit. al. er. io. 方法。. Nat. 屋頂結構線，本研究著重於資料之特徵面，且資料型態為點雲資料，較不適用此. v. n. 而以群集為基礎之方法中，由於分割式分群法不適用於任意形狀或群集大小. Ch. engchi. i n U. 差異大的資料，而針對建物之分群，其各牆面特徵群集之形狀及大小變化大，因此，建物重建資料處理相關之研究較少採用分割式分群法。Rothermel 等人（2014）則採階層式分群法，以 J-Linkage algorithm 分建物屋頂面，由群集成果給初始值，用於馬可夫隨機場（Markov random field），由顏色資訊做群集優化，由此產製高解析度模型。 Mean shift 分群法源於圖像分割，施凱倫（2014）即由此分群法應用於測繪車影像萃取道路，其為了萃取影像中可能為道路指向線之特徵區塊，以 Mean shift 將道路影像中的色彩資訊分群，將色彩（R、G、B）作為特徵，於特徵空間中做分群，以達到影像分割之目的（如圖 9）。Mean shift 亦可以此概念，將點雲特徵 20.

(32) 作為分群特徵，將點雲資料轉至特徵空間中做分群，沈柏琦（2007）即利用 Mean shift 分群法將點雲分群執行模型重建，將點雲資料分成多個獨立的近似平坦區域，其採用點坐標及法向量共六維度資料作為特徵，其分群成果如下圖 10 所示。而本研究將以點雲之平面特徵與曲面特徵作為分群特徵，以 Mean shift 分群法群集特徵點群。. 治政大圖 9 Mean shift 用於車載影像之指向線萃取（施凱倫，2014）立 ‧. ‧ 國. 學 y. Nat. er. io. sit. 圖 10 Mean shift 用於點雲資料之分群（沈柏琦，2007） Mean shift 分群法於建物重建資料處理之相關研究中，多以 LOD2 建置層級. al. n. v i n 為主，可用於大範圍牆面分群，如 Mean shift 分群 C h Shahzad 及 Zhu（2015）即以 engchi U. 法將不同牆面及邊界群集（如圖 11 之 A）；亦可作為使用機器學習方法萃取目標. 地物之前置步驟，Xu 等人（2014）及 Gerke 及 Xiao（2014）即以此方法萃取地表面多種點群特徵，前者群集六類，包含水、地面、植被、牆面、屋頂、屋頂結構（如圖 11 之 B）；後者群集四類，包含建物、樹、草地、地面（如圖 11 之 C），而 Zhang 等人（2014）則單獨用於車輛之萃取（如圖 11 之 D）。此外，亦有用於 LOD3 建置層級之研究，Previtali 等人（2014）即將建物牆面用 Mean shift 方法分離各牆面，分群特徵採法向量，再由平面間之距離做 RANSAC 分離各平行平面，如此可分離多個不同之牆面及窗戶面。但這些研究僅單獨以一種特徵作為分 21.

(33) 群特徵，如：法向量、顏色、點雲坐標等，皆未討論多種不同之分群特徵組合及分群參數對分群成果的影響，且建物結構亦不討論曲面點群，而此即為本研究需探討之目標。. 立. 政治大. ‧. ‧ 國. 學 y. Nat. 小結. er. io. al. 第四節. sit. 圖 11 Mean shift 於建物重建資料處理之相關研究. n. v i n 比較使用航空攝影測量影像資料與空載光達系統點雲資料進行建物重建之 Ch engchi U. 差異，空載光達系統掃描距離小時，點雲間距小；而掃描距離拉大，點雲間距隨之增加，使得空載光達掃描地面之成果依掃描距離而異。而航空攝影測量拍攝像片方向皆垂直地面，所量測點交會於高程方向上之角度變化較小，因此水平方向精度優於垂直方向。因此，航空攝影測量影像點前方交會時於水平方向上的精度較光達系統高；反之，於垂直方向上，光達點雲表現較佳。此外，航空攝影影像具豐富的光譜資訊，並可利用影像處理技術萃取特徵點、線、面，可取得較完整之建物輪廓線；而光達點雲資料無法精確取得建物角點及輪廓線，且點與點之間並無關聯性，亦無多餘觀測分量，使得內外可靠度較差，無法於資料獲取時正確 22.

(34) 剃除粗差，但其優點為光達點雲豐富展現地表三維資訊。然而，隨著影像密匹配技術逐漸發展，所獲取得高密度密匹配點雲，亦可取得高密度點之地表三維資訊，且每筆點資料皆由高重疊影像計算而得，可靠度佳，但其產生之雜訊較多。此外，本研究將以 UAS 取得高重疊之單棟建物影像，包含針對牆面垂直攝影與傾斜攝影之影像，如此，可改善垂直地表方向精度較差之問題。前一節介紹了以不同策略面對光達點雲進行建物重建資料處理之方法，建置 LOD2 層級之建物模型時，模型導向會是較有效率的方法，但其受預定義之模型庫影響大，因此較難呈現複雜之建物結構。而資料導向透過特徵萃取方式，可用. 治政大近原始模型，但結構較複雜，建物牆面不一定僅由單一矩形平面表現。因此，前立以建構複雜之建物模型，多以多面體結構呈現，相較模型導向，其成果雖可較接. 述之建模方法多採結合資料導向及模型導向之概念，藉由特徵萃取之成果，依據. ‧ 國. 學. 場景知識判釋不同點群，由此分出不同類之點群，如牆面、曲面以至於建物元件. ‧. 如窗戶、突出物等，再給予約制條件，如牆面垂直於地表面，以此建立建物層級. y. Nat. 達 LOD3 之建物模型。. er. io. sit. 但場景知識常受限於參數的設定，如 Becker 及 Haala（2007）萃取窗戶時，以區塊內點雲量的比例做為判斷條件，由此判釋窗戶與牆面，而 Denis 及 Baillard. al. n. v i n （2010）亦設定判斷條件，判釋點雲空缺處是否受突出物遮蔽。這些判斷條件可 Ch engchi U 能因建物環境差異而影響成果，不同建物環境，可能需以人工方式設定參數。. 近年影像密匹配於建物重建相關之研究，大多以 LOD2 層級為主要研究對象，著重於地物分類以及屋頂結構之萃取及優化，而 LOD3 層級之建模研究，較著重於街區分類及萃取建物牆面，由此可知，建物牆面之萃取為建置 LOD3 建物層級前，必要研究之項目。而建物牆面萃取多採用分群或分類方法，因本研究期望能降低門檻值設定之影響，並期望達到自動化給予分群參數，選擇使用 Mean shift 法做為本研究之分群法，並依據已知原始點雲資料的點雲密度，自動給予其所需之分群參數，達到自動化分群之成效。 23.

(35) 第三章. 研究方法與理論基礎. 本研究將嘗試以 UAS 針對建物拍攝高重疊像片，以影像密匹配技術產製高密度點雲資料，並以 Mean shift 分群法對密匹配的建物點群自動分群供後續使用。研究流程主要分為三個階段：(1) 點雲產製，首先規劃率定場及決定拍攝建物，自 UAV 取得率定場影像及建物影像，並藉由率定相機獲得率定參數，解算建物之高密度點雲；(2) 點雲前處理，包含點雲疏化及點雲特徵萃取，其中，將詳細說明點雲特徵之選擇以及特徵計算方法；(3) 點雲分群，介紹本研究使用之分群法，即 Mean shift 分群法，並說明其演算流程及方法，並提出影響此分群法之參. 政治大 12。以決定最佳分群策略。研究流程圖如下圖立. 數，設計實驗決定最佳參數計算方法，並由探討點雲特徵對分群成果之影響，用. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 24. i n U. v.

(36) 率定場規劃. 航拍規劃. 率定場環拍取像航拍取像. 相機率定. UAS 影像. 率定參數. 立. 點雲. ‧ 國. 學. 疏化點雲. 點雲密度. y. ‧. Nat. n. al. sit. 計算點雲特徵. er. io. 最佳分群策略之探討. 治政大匹配高密度. Ch. Mean shift分群. engchi. 分群成果. 成果分析圖 12 研究流程圖. 25. i n U. v.

(37) 第一節一、. 點雲產製. 相機率定. 本研究採用之相機為 SONY 的 NEX-5N 光學相機，規格如表 1 所示，由於此台相機為非量測型相機，必須先經過幾何率定求得相機參數，包含像主距、像主點偏移量、鏡頭畸變差參數，才能將其使用於後續的研究中。相機率定擬採野外率定場法（field method）率定，避免近距離率定產生率定不完全的問題。表 1 相機規格相機型號. NEX-5N 感光元件 APS-C 尺寸(23.5 x 15.6 mm) Exmor™ APS HD CMOS 感光型式元件，採用原色濾鏡. 立. 政治大. 4912 x 3264(16M). 焦距. 16 mm. ‧ 國. 學. 影像尺寸. 本研究使用之相機感測器每個像元尺寸為 4.8 μm，焦距為 16 mm，於航高. ‧. 35 m 與 40 m 時根據成像公式推算其成像像主距之差異小於 1 μm，因此設計航. y. Nat. 高為 40 m 時每個像元之地面涵蓋範圍為12 mm × 12 mm，依據內政部提供之測. er. io. sit. 製規範，率定標成像至少每邊需 2 像元(即約 10 μm)（王蜀嘉、曾義星，2003），因此航高 40 m，率定標設計為20 cm × 20 cm方形黑白標，此時率定標每邊成像. al. n. v i n Ch 約 18 像元，滿足像片中率定標每邊至少包含兩個像元之要求，並將率定標以 A4 engchi U. 紙張格式印出（如圖 13），均勻佈設於率定場中，範圍內共佈設 31 個率定標（政治大學體育館旁之空地，如圖 14）內。參考美國 USGS 對率定場之要求，其中. 提到，小型率定場大小為600 m × 750 m時，高低起伏需至少 100 m（中華民國航空測量及遙感探測學會, 2014; USGS, 2008），而本研究選定之率定場範圍約為 70 m × 70 m，因此高低起伏約需至少 10 m。環拍規劃如下所述，由多旋翼 UAS （見圖 15）酬載相機於九個航高約 40 m 的位置向率定場中心拍攝，一為垂直拍攝，另八張為傾斜拍攝，傾斜拍攝以俯角55°傾斜拍攝（如圖 16），如此與對向傾斜拍攝位置可有較好之交會。拍攝位置均勻分布於以率定場中心為圓心、半徑 26.

(38) 40 m 的圓上（如圖 17）。相機幾何率定時，選取九張交會幾何良好並包含清晰率定標的影像，於 iWitnessPro 中，人工量測 31 個率定標的像坐標，採自率光束法平差率定之，取得其相機參數。. 立. 政治大. 圖 13 20 cm × 20 cm 方形率定標. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 14 率定場及率定標位置. 27.

(39) 圖 15 本研究使用之 UAS 系統. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. n. al. er. io. 圖 16 垂直（藍）與傾斜（紅）拍攝側面涵蓋範圍示意圖（單位：m）. Ch. engchi. i n U. v. 圖 17 傾斜拍攝位置（黃色圓形上各點為傾斜拍攝位置；綠色梯形為單張傾斜拍攝覆蓋範圍） 28.

(40) 二、. 影像密匹配. 針對單棟地標建物進行環拍取像，之後使用套裝軟體執行影像密匹配，產製高密度點雲。環拍規畫將選定一範圍，由左至右、上至下之方向拍攝建物側面，給定前一步驟中取得之率定參數，建構高密度點雲。本研究採用俄羅斯 Agisoft LLC 公司開發的 PhotoScan 軟體，密匹配產製高密度點雲。該軟體是一套針對攝影測量的軟體，其主要特色為操作簡單，運算快速；此外有提供一 Python 程式設計界面，可以針對使用者的需求自行撰寫程式，在使用上相當有彈性。. 政治大（Hartley et立 al ., 2000）演算法利用移動中的像機所拍攝的一系列像 Motion（SfM）. PhotoScan 軟體重建三維點雲的方法可分為兩個步驟，首先，以 Structure from. ‧ 國. 學. 片，計算像機拍攝的移動路線，並決定每張像片的曝光站位置。SfM 需先偵測影像的特徵點，並監控一系列像片中，這些特徵點的變動。因此可約略估計這些特. ‧. 徵點的位置，並以三維點雲形式呈現。此步驟中可獲得內方位參數、像片的曝光. sit. y. Nat. 站位置以及拍攝場景中的特徵點位置，其中，內方位參數可事先給定。而後於第. al. er. io. 二步驟中，以多視角立體視覺（Multiview stereo-reconstruction, MVS）演算法. v. n. （Furukawa and Ponce, 2010）重建三維點雲，所有像元皆納入 MVS 演算法中計. Ch. engchi. 算，可計算得像片中各像元之三維坐標。. 第二節. i n U. 點雲前處理. 本研究採用環拍影像之密匹配點雲，其點雲密度之密集程度，將影響分群法之效率及分群參數之設置。因此，本研究提出之分群演算法，期望將密集程度不同之密點雲資料，藉由提供該筆點雲資料之點雲密度，疏化點雲至一定量後，即可透過計算點雲特徵，用於後續之點雲分群。此成果須提供符合製作 LOD3 細緻程度建物模型之分群成果，即此分群完之點群可表達至 0.5 公尺×0.5 公尺。. 29.

(41) 需注意的是，本研究設計之分群策略，需先假設點雲資料之密度在一定限制下，即排除點雲過於稀疏，以致 0.5 公尺×0.5 公尺範圍的點雲量不足以解算其特徵的情形。. 一、. 點雲疏化. 本研究之採用之政治大學藝文中心資料，其點雲密度約為一平方公尺內包含 3000 點，可判斷其遠大於 LOD3 模型之所需。為求提升效率，並可給定當以不同密集程度之點雲資料，採用本研究設計之分群法時，皆應符合之規格限制。因此，本節將測試多組不同疏化程度，研究最適之點雲疏化密度。. 政治大點雲量 N，藉由設定 0.5 公尺×0.5 立公尺範圍中有 n 筆點資料，即可得知，每（N/n）首先，需先藉由點雲密度，計算該筆點雲資料於 0.5 公尺×0.5 公尺範圍中的. ‧ 國. 學. 個點將疏化為一點表達。由此方式疏化點雲，此步驟中將測試多組不同的 n 值，測試不同疏化程度對分群的影響，並判斷 n 值達到多少時趨於穩定。. ‧. 此步驟中將決定 n 值，並可推論當點雲資料疏化至 0.5 公尺×0.5 公尺範圍中. y. sit er. 點雲特徵萃取a l. n. 二、. io. 模型之建置。. Nat. 有 n 筆點資料後，此筆疏化後之點雲資料，於點雲分群之後將能提供 LOD3 建物. Ch. engchi. i n U. v. 點雲疏化後，已知於 0.5 公尺×0.5 公尺範圍內有 n 筆點資料，此時，點雲資料僅包含點坐標及顏色（R、G、B），透過特徵萃取，取得各點與鄰近點之關係。由於本研究於分群的細緻程度中，期望能達到 LOD3 建物模型規範，也就是說，本研究之分群成果可供後續建置 LOD3 建物模型。由先前疏化點群可知，0.5 公尺×0.5 公尺範圍內有 n 筆點資料，因此，點群之選擇即依據 0.5 公尺×0.5 公尺範圍，由此可得每點於 0.5 公尺×0.5 公尺範圍內之特徵，計算特徵的方法有主成分分析及平均曲率法，可得點群之法向量及曲率值，以下將詳述計算各種特徵之方法。 30.

(42) (一) 主成分分析（Principal Component Analysis, PCA）點雲資料中，每一點皆須計算過該點之切平面及其法向量，其可經由主成分分析得該點對應點群的切平面法向量。主成分分析的做法是建立點群的協方差矩陣（covariance matrix），並求得該點群於三軸上的特徵值（eigenvalue）𝜆1、𝜆2、 𝜆3 及其對應之特徵向量（eigenvector）𝑉1、𝑉2、𝑉3，此即代表該點群於三維空間中之分布情形。並且，當三個特徵值相等（𝜆1 ＝𝜆2 ＝𝜆3 ）時，點群則會趨近一圓球，而其中兩個特徵值遠大於第三個特徵值（𝜆1 ＝𝜆2 ≫ 𝜆3 ）時，該筆點群將趨近於一平面，且第三個特徵值𝜆3 對應之特徵向量𝑉3 ，即為該點群切平面之法向量。. 治政大 0.5 公尺×0.5 公尺範，其依據其特徵向量。舉例而言，點雲中有一點𝑃 （𝑥 ,𝑦 ,𝑧 ）立因此，本研究首先於單棟建物點雲中，依序計算每一點對應點群之特徵值及 𝑖. 𝑖. 𝑖. 𝑖. 圍鄰近 n 筆點資料，即其對應點群，計算其協方差矩陣，得三個方向的特徵值及. ‧ 國. 學. 特徵向量，特徵值最小之特徵向量即該點群之法向量，亦可定義為此點群之最適. y. Nat. [𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 ]𝑇 。. ‧. 平面參數（Golub and Van Loan, 1980），將第 i 點之法向量（最適平面參數）寫作. er. io. sit. 由於一個平面可以由兩個相反方向的法向量表示，換言之，同一個平面點雲中，各點計算得之平面參數，可能趨近兩個方向相反、大小一致的法向量。因此. al. n. v i n 須將法向量統一方向，即定向（orientation），本研究採用之方法為：預先定義一 Ch engchi U 𝑇 標準向量[1,1,1] ，每一筆點群計算得之法向量皆與此標準向量計算內積，若內積. 為負數，則將此法向量轉向180°。舉例而言，第 i 點法向量為[𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 ]𝑇，若與標準向量之內積為正數，法向量不變；若與標準向量之內積為負數，應轉向180°得法向量為[−𝑎𝑖 , −𝑏𝑖 , −𝑐𝑖 ]𝑇，以此方法可將相同平面上的法向量轉向至同一方向（見圖 18）。. 31.

(43) 圖 18 多個牆面上各點之法向量（以相同顏色表示相同法向量），左圖為定向前；右圖為定向後. 治政大計算得其切平面之平面方程式。三維空間中之平面方程式如下式 1，移項得如下立將每一點的法向量定向後，可得每一點的點坐標及其切平面法向量，並由此. 式 2。其中，𝑥𝑖 、𝑦𝑖 、𝑧𝑖 為點坐標，a𝑖 、b𝑖 、c𝑖 為法向量，可由如下式 2 計算而得. ‧ 國. 學. d𝑖 。. ‧. a𝑖 𝑥𝑖 + b𝑖 𝑦𝑖 + c𝑖 𝑦𝑖 + d𝑖 = 0. (2). y. Nat. d𝑖 = (a𝑖 𝑥𝑖 + b𝑖 𝑦𝑖 + c𝑖 𝑧𝑖 ) ∙ −1. (1). er. io. sit. 此外，由上述可知，PCA 計算得三個特徵值𝜆1、𝜆2、𝜆3 可反映每筆點群的分布情形，即三個特徵值相等時，點群則會趨近圓球分布；若其中兩個特徵值遠大. al. n. v i n 於第三個特徵值時，該筆點群將趨近於一平面。因此，可依據此特性，設定一參 Ch engchi U 數𝜆𝑚𝑖𝑛/𝑠𝑢𝑚 作為該筆點群之曲率，令𝜆𝑚𝑖𝑛 為三個特徵值中最小的特徵值，可由如下式 3 計算而得： 𝜆𝑚𝑖𝑛/𝑠𝑢𝑚 =. 𝜆𝑚𝑖𝑛. (3). 𝜆1 +𝜆2 +𝜆3. (二) 平均曲率（mean curvature）法（Ho, 2009）除主成分分析計算得之曲率外，另外計算第二種曲率值，即平均曲率。平均曲率為兩條主曲率的平均值，其可用於描述局部曲面。令曲面上有一點p，該點在曲面上的法向量為n，並且有無限多條與 n 正交之切線方向向量𝑣𝑝，再者，每一個切平面可與曲面交會一條曲線，並可計算該曲線 32.

(44) 過點p的曲率值。如此，曲面上一點可獲得無限多組曲率值，其中，曲率最大值 𝜅1 及最小值𝜅2 ，為點p的主曲率。計算曲率前，需先計算每個切平面向量對應之形狀因子（Shape operator），形狀因子的公式如下式 4、如下式 5： S(𝑣𝑝 ) = −𝐷𝑣 𝑛 𝐷𝑣 𝑛 = lim. (4). 𝑛(𝑝+ℎ𝑣𝑝 )−𝑛(𝑝). ℎ→0. (5). ℎ. 接著，已知𝑣𝑝 為過p點之切線方向向量，且‖𝑣𝑝 ‖ = 1，曲率計算如下式 6： k(𝑣𝑝 ) = 𝑆(𝑣𝑝 ) ∙ 𝑣𝑝. (6). 政治大上之主曲率。平均曲率H則為主曲率之平均值（如下式 7）。立. 計算k(𝑣𝑝 )並得到切方向中對應之曲率最大值及最小值𝜅1、𝜅2，即p點在曲面. 2. 第三節. 點雲分群. (7). ‧. ‧ 國. 𝜅1 +𝜅2. 學. H=. y. Nat. 由上一節可知，本研究採用分群之特徵包含平面參數及曲率。平面特徵由. er. io. sit. PCA 計算得法向量 a、b、c，再由法向量代入平面方程式得 d；曲率由兩種方法計算而得，分別為由特徵值計算之𝜆𝑚𝑖𝑛/𝑠𝑢𝑚 以及平均曲率H。. al. n. v i n 此節將詳細介紹本研究使用之 C h Mean shift 分群法，設計實驗以探討影響分群 engchi U. 成果之因素，藉由實驗成果分析以決定分群法中參數之設置，並藉由小批資料的實驗測試，分析各種點雲特徵於分群法中之特性，分別探討針對平面及曲面分群時採用之點雲特徵，並由分析成果，設計最佳分群策略，並輸入大批點雲成果以比較成果。. 一、. Mean shift 分群法. Mean shift 演算法為一種非參數式的特徵分析演算法，屬於以密集度為導向之分群方法，其目的為從樣本中找到均勻密度的小圓區塊。於給定的空間中不停更新點群中心至該點群重心之候選點，而這些候選點會在後處理的過程中過濾， 33.