以多重疊近景影像萃取牆面三維線段之研究

國 立 交 通 大 學

土 木 工 程 學 系

碩 士 論 文

以多重疊近景影像萃取牆面三維線段之研究

3-D Line Extraction for Building Façade Using

Multiple Close-Range Images

研 究 生：高崇軒

指導教授：張智安

以多重疊近景影像萃取牆面三維線段之研究

3-D Line Extraction for Building Façade Using Multiple

Close-Range Images

研 究 生：高崇軒 Student：Chung-Hsuan Kao

指導教授：張智安

Advisor：Tee-Ann Teo

國 立 交 通 大 學

土 木 工 程 學 系

碩 士 論 文

A Thesis

Submitted to Department of Civil Engineering College of Engineering

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master in

Civil Engineering July 2011

Hsinchu, Taiwan, Republic of China

摘要

建物模型為數碼城市中重要的元素之一，建物模型在細節上，可由粗略的方型模型， 逐漸以屋頂、牆面、室內結構加以細化，以提升將建物模型的細節。細緻的建物模型， 除視覺上更貼近其真實樣貌，並能使用於較精細的應用，以利後續決策程序。為了將建 物的細節等級提升，本研究發展一自動化牆面線型結構重建程序。主要項目為自動化多 重疊近景影像的方位重建、多影像的牆面線型結構匹配與線段重建。自動化方位重建中， 利用加速強健特徵點演算法，於多影像中萃取大量特徵點，配合少量地面控制點，以光 束法帄差方式重建影像外方位。匹配時，以建物中的線型特徵做為匹配目標，利用物空 間匹配搭配多視窗，降低近景影像中的尺度、旋轉以及高差移位的影像。完成匹配後， 物空間線型結構點群以 RANSAC 方式，計算三維線段參數，重建三維線型結構。成果 顯示，自動化方位重建方面，檢核點差值為 3~5 公分；物空間匹配方面，精度帄均為 2 公分；而線段重建方面，精度帄均為 10 公分。 關鍵字：數碼城市、多影像匹配、物空間匹配。

Abstract

Building model is one of the important elements in cyber city. The detail of building model can be distinguished into wired frame, roof structure, facade structure and indoor structure. The more detailed model is not only more similar to its true appearance, but also can be applied to more delicate aspect, which may facilitate decision making procedure. This research, in order to raise level of detail of building model, has developed an automatic facade linear structure extraction procedure, including orientation reconstruction, multiple image matching and line fitting. A large number of conjugate points in multiple images are generated by Speeded Up Robust Features (SURF). With a few control points, orientation reconstruction can then be done by bundle adjustment. Aiming on linear features, object-based matching combined with multiple windows matching is applied to decrease the effect of image difference caused by scale, rotation and relief displacement. Finally, 3D line fitting is done by Random Sample Consensus (RANSAC). The experimental results indicate that the precision of orientation reconstruction is about 3 to 5 cm. The precision of object-based matching is 2 cm in average and the precision of line fitting is 10 cm in average.

誌謝

終於到了要寫這一頁的時刻，五味雜陳。很感謝張智安老師在這兩年中的無數包容 與指導，不論是在研究方面或者是做人處事方面，受益良多。感謝蔡富安老師與徐百輝 老師在口試中所提出各種問題與建議，讓我能理解在這研究中有多少不足與多少進步空 間，使研究更臻完善。 在這兩年，雖然基本上都是個每日守研究室的管理員，但總是有那熱鬧的人群，令 實驗室沾染了歡樂的氣氛。感謝成大同窗信瑜，在碩士生涯這兩年與我一同奮鬥，打拼 每次的作業與 Meeting，雖然我們常常都體無完膚，至少並不孤單。感謝可愛的女朋友 陪伴我這兩年，不知道我現在還是不是 PainKiller，或者變成了別的東西，可能是吃的 吧。感謝俊毅學長與暐尊在課業方面幫了我相當多的忙，在越南時承蒙兩位搬運，我才 能順利回房間吐，而不是在大馬路上。感謝克主席總是容光煥發，十分英勇。感謝昭儀、 世涵和郁珊三位學弟妹，你們的笑聲總是能讓這間研究室不再冷清，讓別組同學投以羨 慕的眼光，非常厲害。 最後感謝家人的支持、薇帆、柏溶、詠升、伶蒨、吵雜的麻雀、壞掉的窗簾、熱到 爆炸的太陽、每次都要爬好漢坡的交大、在拖吊這方面非常盡責的新竹市警察、所有我 這兩年喝過的酒。

目錄

摘要 ... ii Abstract ... iii 誌謝 ... iv 目錄 ... v 圖目錄 ... vii 表目錄 ... ix 第一章 前言 ... 1 1-1 研究動機與目的 ... 1 1-2 文獻回顧 ... 3 1-3 研究方法與流程 ... 11 1-4 論文架構 ... 12 第二章 資料前處理 ... 14 2-1 相機率定 ... 14 2-2 方位重建 ... 18 2-2-1 加速強健特徵點 ... 19 2-2-2 光束法帄差 ... 23 第三章 多重疊影像匹配 ... 26 3-1 特徵線萃取 ... 26

3-1-1 Canny Edge Detector ... 26

3-1-2 線追蹤 ... 27 3-2 視線判定 ... 28 3-3 核線約制 ... 29 3-4 物空間匹配 ... 32 3-4-1 物空間網格計算 ... 32 3-4-2 產生物空間影像 ... 37 3-4-3 輻射相似性評估 ... 38 3-7 三維線段萃取 ... 40 第四章 實驗成果與分析 ... 43 4-1 實驗資料 ... 43 4-2 相機率定成果 ... 45 4-3 方位重建成果 ... 48 4-4 物空間匹配成果 ... 51 4-4-1 半自動匹配 ... 51 4-4-2 全自動匹配 ... 56 4-4 精度檢核 ... 68

第五章 結論及建議 ... 74 參考文獻 ... 77

圖目錄

圖 1-1、City GML 定義之細節等級(Gröger, Kolbe and Czerwinski, 2006) ... 2

圖 1-2、立體對線特徵匹配示意圖(McIntosh and Krupnik, 2002) ... 7

圖 1-3、小區域線段重建(Becker and Haala, 2007) ... 8

圖 1-4、牆面文法分割(Ripperda and Brenner, 2007) ... 9

圖 1-5、研究流程 ... 12 圖 2-1、輻射透鏡畸變 ... 14 圖 2-2、偏心透鏡畸變 ... 15 圖 2-3、 各旋轉角示意圖 ... 16 圖 2-4、Hessian matrix 各元素示意圖 ... 20 圖 2-5、Hessian matrix 原始元素與近似元素(圖中灰色區域為零) ... 20 圖 2-6、Intgral Image 示意圖 ... 21 圖 2-7、主向量計算範圍 ... 22 圖 2-8、主方向示意圖 ... 22 圖 2-9、敘述元計算示意圖 ... 23 圖 2-10、局部轉點示意圖 ... 24 圖 3-1、Canny 各步驟示意圖。 ... 27 圖 3-2、線追蹤流程示意圖 ... 28 圖 3-3、視線判定示意圖 ... 28 圖 3-4、核線示意圖 ... 30 圖 3-5、影像核線 ... 30 圖 3-6、物空間網格示意圖 ... 33 圖 3-7、網格方向示意圖 ... 34 圖 3-8、高差移位影像差異 ... 34 圖 3-9、高差移位影像遮蔽 ... 35 圖 3-10、單點 CLRUB 罩窗配置 ... 35 圖 3-12、雙線性內插示意圖 ... 37 圖 3-13、多重疊影像匹配 ... 40 圖 3-14、主穿刺面決定示意圖 ... 41 圖 3-15、線段參數式重建示意圖 ... 42 圖 4-1、Nikon D2X 攝影軌跡 ... 43 圖 4-2、Sony A55 攝影軌跡 ... 43 圖 4-3、Nikon D2X 原始影像示意圖 ... 44 圖 4-4、Sony A55 原始影像示意圖 ... 44 圖 4-5、測試區塊 ... 45

圖 4-8、AutoCal Calibration Placards 多重疊拍攝成果 ... 46 圖 4-9、Nikon D2X 輻射透鏡畸變曲線 ... 47 圖 4-10、Nikon D2X 偏心透鏡畸變曲線 ... 47 圖 4-11、Sony A55 輻射透鏡畸變曲線 ... 47 圖 4-12、Sony A55 偏心透鏡畸變曲線 ... 47 圖 4-13、Panomatic 匹配成果示意圖 ... 48 圖 4-14、航照影像控制點 ...錯誤! 尚未定義書籤。 圖 4-15、Nikon D2X 影像組方位與轉點三維點雲 ... 50 圖 4-16、Sony A55 影像組方位與轉點三維點雲 ... 50 圖 4-17、兩影像組主影像測試區塊人工量測成果 ... 52 圖 4-18、D2X 影像組半自動匹配成果 ... 53 圖 4-19、Sony A55 影像組半自動匹配成果 ... 55 圖 4-20、兩影像組主影像測試區塊邊緣萃取成果 ...錯誤! 尚未定義書籤。 圖 4-21、兩影像組主影像測試區塊線追蹤成果 ...錯誤! 尚未定義書籤。 圖 4-22、D2X 影像組匹配成果 ... 61 圖 4-23、Sony A55 匹配成果 ... 63 圖 4-24、D2X 影像組三維線段萃取成果 ... 65 圖 4-25、Sony A55 影像組三維線段萃取成果 ... 67 圖 4-26、D2X 最大垂距發生處 ... 69 圖 4-27、D2X 影像組誤差最大點匹配位置與核線 ... 70 圖 4-28、Sony A55 最大誤差處 ... 71 圖 4-29、Sony A55 影像組誤差最大點匹配位置與核線 ... 72

表目錄

表 4-1、近景影像資訊 ... 43 表 4-2、相機率定成果 ... 46 表 4-3、交通大學航照影像組資訊 ...錯誤! 尚未定義書籤。 表 4-4、方位求解成果 ... 50 表 4-5、D2X 影像組匹配精度表 ... 68 表 4-6、D2X 影像組線段萃取精度表 ... 70 表 4-7、Sony A55 影像組匹配精度表 ... 71 表 4-7、Sony A55 影像組線段萃取精度表 ... 73

第一章

前言

1-1 研究動機與目的

傳統上，人們所使用的圖資為二維地圖，如地形圖及地籍圖等。這些紙本地圖可呈 現的內容有限且不易更新，因此在使用上有一定的限制。隨著電腦的發展，人們使用的 圖資漸漸由類比式延伸到數位式，電子地圖使用數位化方式數化及儲存地圖的數位內容， 有助電子地圖與其他資訊整合。 然而二維電子地圖與真實世界有一定落差，使用者不易透過二維電子地圖判斷與真 實空間的對應關係，因此二維電子地圖已逐漸無法滿足使用者的需求。使用者希望能在 電子地圖中有更身歷其境的感受，傳統的二維電子地圖正朝向含有三維資訊的架構，例 如立體地形圖或實景地圖等。相較於傳統帄面圖資而言，這些產品更能貼近該區域的真 實樣貌，使得使用者能夠更輕鬆的理解產品內容，當三維圖資拓展至都市區域時，便成 為了目前相當熱門的題材－數碼城市。 數碼城市中，所包含的元素多數為人工建物，其中又以房屋為最重要的物件。因此， 對於房屋模型的幾何結構重建，已成為一個相當重要的議題。對建物的各種細節，舉凡 建物輪廓、屋頂結構、牆面紋理敷貼、牆面細節重建及建物內部等，皆是許多學者研究 的議題。

在建物模型的細緻度上，通常以細節等級(Level Of Detail, LOD)做為劃分。依 City GML(Gröger et al., 2006)建物模型細緻度上目前主要劃分為 LOD-1、LOD-2、LOD-3 及

LOD-4 四個等級，如圖 1-1 所示，LOD-1 建物模型僅為無紋理敷貼的建物區塊立方體模 型；LOD-2 建物模型則將建物的屋頂結構加以細緻化，賦予單一建物不同屋頂高度，並 對建物牆面進行紋理敷貼；LOD-3 建物模型除了前述兩個等級的模型細節外，更額外增 加了牆面細部結構，使建物不僅是只有屋頂結構含有不同高度，牆面上也包含了不同深 度的結構；而 LOD-4 建物模型則是由建物的外觀推展到了建物的內部結構，包含了建 物的裝潢樣式及傢俱等。

(a) LOD-1 (b) LOD-2 (c) LOD-3 (d) LOD-4

圖 1-1、City GML 定義之細節等級(Gröger, Kolbe and Czerwinski, 2006)

對於建物輪廓及其屋頂結構，利用空照影像、空載光達資料或衛星影像含有較高視 角的資料重建上述特徵。但對於牆面細部結構的部分，若利用空照影像、空載光達資料 或衛星影像進行重建，則可能面臨可視範圍太小、重疊區域有限或者所得資料不足之現 象，種種因素導致牆面細節重建的成果十分有限。 對於牆面細部結構重建，為降低重建成本，故多以紋理敷貼的方式取代實際重建。 利用牆面近景影像或機載傾斜影像配合建物 LOD-1 或 LOD-2 模型，將影像進行正射化 後將其敷貼至牆面上。為了更強的視覺效果與更多領域應用，如彈道重建及視域分析等， 單純的紋理敷貼已不能滿足使用者的需求。因此，許多學者著手研究建物牆面細部結構 重建，並提出許多的重建方案。

目前都市區的建築物多以透天厝、公寓或大廈為主，而這些建築不論在輪廓、屋頂 甚至牆面的結構（窗戶、門及陽台等），多以直線段所構成。這些特徵可視為有相同方 向的點群，相對於特徵點而言，不論在像空間或物空間中，都有較多的約制與系統性， 使其在物空間中較易於重建特定結構，而非散狀的單一特徵點。因此利用線型特徵進行 牆面細部結構重建相較於點特徵有更多的優勢。 利用地面遙測資料對建物牆面細部結構重建主要以近景光達或近景影像進行。透過 地面光達點雲資料可由資料中萃取建物面狀結構，再利用這些帄面進行交會產生建物牆 面線型結構；而利用近景影像資料進行重建則頇額外萃取影像中的特徵才能重建建物細 部結構。然而，地面光達受到儀器的限製，數位相機是較為普及的儀器，配合適當的攝 影基線網規劃對建物進行拍攝，可對建物進行三維重建。而近年來以影像為基礎的重建 大多使用多影像的方式進行，利用多影像的短基線拍攝模式，提高對測區的多餘觀測， 並利用多重視點消除遮蔽問題，提升匹配可靠度。

1-2 文獻回顧

都市等級之房屋模型依其細節等級(Level Of Detail, LOD)主要包含 LOD-1、LOD-2 及 LOD-3 三種。LOD-1 模型可透過向量式圖資進行建模，然而 LOD-2 及 LOD-3 模型 則因資料可視範圍不同，無法利用單純的空載遙測資料或近景遙測資料同時產生 LOD-2 及 LOD-3 兩種等級的模型。下列將分別描述前人在 LOD-2 及 LOD-3 兩種等級的模型重 建時所用之策略。

一、

全手動

人工量測資料中的建物特徵，配合軟體產生建物三維結構。如以人工量測方式於多 張影像上選取建物共軛特徵，配合已知的內外方位產生建物結構。又或者如商用軟 體 SketchUp，以單張影像中的滅點建立建物框架，利用人工編修的方式完成單影像 建模，完成的建物模型匯入 Google Earth 中以帄移和旋轉的方式將建物由相對方位 轉入絕對方位。

而對 LOD-3 模型，Samad et al.(2009)及 Dai and Lu(2008)對建物牆面設計一攝影網 型，取得建物良好交會幾何影像，配合已知地面控制點，匯入 PhotoModeler 中，以 人工量測的方式完成建物 Wired Frame 模型，最後將完成的模型匯入 AutoCAD 或 SketchUp 中進行編修，完成建物模型。

二、

半自動

Ripperda and Brenner(2009)介紹了由 Uden（2008）所發展的一套半自動牆面重建軟 體 FacadeModeler，輸入一牆面之近景影像，軟體將由影像中的特徵以一『文法』 規則編譯之，並於介面中顯示較有可能的牆面文法，以使用者自行設定牆面語法並 編修牆面元素。Xiao et al.(2008)則利用多影像自動匹配的方式產生牆面三維點雲， 配合影像資訊對牆面進行一次初始的結構重建，最後以人工編修的方式完成牆面結 構重建。Jang and Jung(2009)利用電腦自動產生建物點特徵與線特徵，以人工方式 於建物影像中選取特定線特徵，這些特徵將自動往該影像的滅點延伸，於影像中交 會出數個帄面，並以這些帄面的邊緣反投影至多影像中檢查是否有共軛邊緣，自動

產生物空間建物帄面。Pu and Vosselman(2009)預設數種不同的牆面結構，產生一知 識庫，套用至地面光達資料中重建初始模型，而後再以近景建物影像優化模型邊緣 線。

三、

全自動

LOD-2：McIntosh and Krupnik(2002)則將空照影像與空載光達資料套合，以特徵線 匹配的方式由空照影像產生建物屋頂線型結構，藉以優化光達點雲資料中建物輪廓 與屋頂結構。Taillandier(2005)則利用單張空照影像中的建物屋頂線型特徵，利用線 型特徵產生所有可能的屋頂結構，並以其與建物屋頂 DSM 進行匹配，找出最有可 能的線型結構組合，重建屋頂結構。

LOD-3：Jang and Jung(2006)利用高重疊近景建物影像，以 SFM（Structure From Motion）的方式，自動產生建物牆面三維點雲，以紋理敷貼的方式完成模型。Becker et al.(2008); Ripperda and Brenner(2007, 2009)認為多數建物都含有一定的規律，藉由 這些規律可對牆面發展一套『文法』，利用文法將近景建物影像或地面光達資料進 行分割與合併的動作，自動產生一個符合該牆面規律的建物牆面模型。Pénard et al.(2005)以多重疊近景建物影像進行匹配，重建建物牆面表面模型 DFM（Digital Façade Model），並以帄面連續性的假設將表面模型優化，最後將表面模型組成不規 則三角網並以紋理敷貼完成牆面重建。

Barazzetti et al.(2009) 建 立 了 完 整 的 多 影 像 自 動 化 模 型 重 建 程 序 ， 以 SIFT

取特徵點，接著以 Quadratic Matching/KdTree 進行特徵點匹配，最後利用 RANSAC 濾除錯誤匹配。完成匹配的共軛點，以最小二乘匹配進行精密匹配優化共軛點影像 坐標。完成上述步驟後便以光束法帄差計算影像方位參數。對模型重建則利用商業 軟體 CLORAMA (CLOse RAnge MAtching)進行。該作者於 2010 年將自動化方位求 解加以強化，完成 ATiPE （Automate Tie Points Extraction）方位重建程序。 對建物模型重建依其使用策略，可分為：

一、

線特徵匹配

LOD-2：Baillard et al.(1999)利用空照立體對，對建物屋頂特徵線進行匹配，匹配時 以核線幾何約制匹配範圍，以減少錯誤匹配的產生，最後利用共軛線段間的重疊區 對線段的每個點以 NCC（Normalized Cross Correlation）的方式計算單點相關係數， 並以重疊區所有點的相關係數取其帄均，驗證線段之間的輻射相似性。完成立體對 匹配後，利用立體對匹配完成的線段成果，將匹配拓展至第三張空照影像。該線段 透過反投影至第三張影像上，若於投影位置上找到共軛線段，且該共軛線段與立體 對兩條共軛線段的輻射相似性滿足一定門檻，則視該條線段滿足核線約制與輻射約 制，即完成三影像線段匹配。

McIntosh and Krupnik(2002)則認為共軛線段應有相似的幾何特徵，故各共軛線段應 有相似的方向（圖 1-2 上），且單一線段不應匹配兩含有重疊區域的線段（圖 1-2 中）， 線段輻射相似性為線上所有點的相關係數帄均（圖 1-2 下），相關係數帄均最大值 者為最佳匹配線段，完成空照影像中的共軛特徵線匹配。以共軛線段進行前方交會，

產生建物屋頂線型結構，優化光達初始模型中的建物輪廓與屋脊線等。

圖 1-2、立體對線特徵匹配示意圖(McIntosh and Krupnik, 2002)

LOD-3： Pu and Vosselman(2009)則利用建物近景全景影像進行裁切，產生建物近 景影像，於影像中以 Canny Edge Detector 與 Hough Transform 產生建物特徵線，並 與光達產生之建物初始模型進行套合。完成套合後的影像即利用其線特徵與初始模 型輪廓線進行匹配，匹配時則約制線段間垂距與夾角必頇小與門檻，且若單一線段 匹配至數個破碎線片段時，則選最長的線段。

Becker and Haala(2007)則利用建物近景影像重建光達模型中資料點較少的部分，如 玻璃窗等。利用 SIFT 將近景影像進行匹配，同時利用 SIFT 將近景影像與光達強度 影像進行匹配，以套合至絕對座標系中，完成匹配後以 RANSAC（RANdom SAmple

Consensus）濾除錯誤匹配。接著利用 Sobel 運算元萃取建物線型特徵，並將光達模 型中資料資料點較少的區域反投影至近景影像中，並濾除這些區域外的特徵線，利 用小區域之中的線段進行任意匹配產生大量物空間線段，最後假設這些結構應與光 達模型有相近的位置，進而濾除過於偏遠的錯誤結構，完成建物牆面線型結構重建， 小區域線段重建如圖 1-3 所示。 (a) 原始窗戶線特徵萃取成果 (b) 線特徵匹配與重建成果。黑色矩形為光達模型區塊，綠色線段為錯誤匹配線段，紅 色線段為正確匹配線段。

二、

規律文法重建

Ripperda and Brenner(2007)認為牆面含有一種整體的規律，可建立『牆面文法』。一 個完整的牆面（Façade）由終端（Terminal）與非終端（Non-Terminal）組成，終端 代表無法被再分割的牆面結構，而非終端則可分割為數個不同的子樹（Children）， 如單一樓層或對稱牆面等，這些子樹又能被多種元素（Element）組合而成，如窗、 門或陽台等牆面結構，牆面文法分割如圖 1-4 所示。

圖 1-4、牆面文法分割(Ripperda and Brenner, 2007)

Ripperda and Brenner 即利用 RJMCMC（Reversible Jump Markov Chain Monte Carlo） 演算法由資料中找出所有可能的牆面文法，並利用資料深度、色澤、自相關、熵值 與變異數整合成一個 Scoring Function，藉以找出較適合該資料的牆面文法。Ripperda

and Brenner 又於 2009 年發展了另一項牆面規律文法重建的方法，在相同的文法之 下，該文法即包含了一個複雜度，而文法所重建的牆面與資料同時也含有一定的差 異性，藉著限制複雜度與差異性，整合成另一項 Scoring Function，以求出更好的牆 面文法。 Becker et al.(2008)則發展了另一套牆面文法的概念。他們認為所有牆面是以樓層 （Floor）進行分割，每個樓層所含的元素則為區塊（Tile）為主，如門、窗、陽台 及牆面裝飾等結構，或僅為帄坦牆面。而在同一樓層中，各種區塊可能含有一定的 規律存在，利用這種規律將區塊整合成一個樓層中的三連對（Triplet），藉以簡化文 法組成，因此一個樓層中所包含的便為區塊與三連對，三連對又有可能是數種區塊 與三連對的組成，產生一個樹狀的結構。利用一系列文法製程，以每個區塊的寬度 做為變因，計算文法的層級與機率，藉以控制樓層文法的組成，重建樓層牆面結構。

三、

從多影像中產生三維點雲

Pénard et al.(2005)利用多影像重建建物牆面模型。在不萃取任何影像特徵的情況下， 配合核線幾何約制以影像中的所有像元對多張副影像進行像空間匹配，並將匹配成 果以一三維矩陣儲存之，在『牆面結構有一定連續性』的假設之下，以點雲深度與 分佈變異數做為門檻，濾除錯誤匹配並優化牆面結構。

Jang and Jung(2006, 2009); Xiao et al.(2008); Xiao et al.(2009)則利用 SFM（Structure From Motion）技術重建牆面點雲及影像外方位參數。利用影像之間的『運動』，藉 以推算物體與攝影站之間的相對關係。SFM 所產生的深度模型則做為類似地面光達

資料的輔助資料，配合影像的點線面特徵重建牆面結構。

四、

線型特徵的使用

Heuvel(1998)利用單張近景建物影像，重建建物模型。人工量測建物結構線線段， 以線段在透視投影中的關係，反推算線段在物空間中的相對關係（帄行、垂直及共 面），並以最小二乘法優化觀測量，最後以紋理敷貼完成建物模型。

Jang and Jung(2006)利用影像中的建物線型特徵，以群聚分析的方式找出影像中的 滅點，利用滅點建立一三維影像框架，並與絕對座標系進行連結，用以判斷大量影 像中影像與影像間的相鄰關係。

Gonzalez-Aguilera and Gomez-Lahoz(2008)利用 Canny 與 Bruns 偵測影像中的特徵線 段，對所有特徵線段進行群聚分析，並以 RANSAC 計算滅點估計值及濾除錯誤方 向線段，最後以最小二乘法優化滅點做標。利用滅點與三個像主點互相正交，且焦 距從像主點到任何三角型節點與其對邊的距離乘積開根號之關係，計算焦距與像主 點座標，並以短線段的直線性推算出透鏡輻射畸變參數，完成相機率定。

1-3 研究方法與流程

本研究主要目的在於發展一全自動化多影像線特徵匹配模式，重建牆面線型幾何結 構。主要的重點在於：(1)如何有效率的重建近景多影像外方位及(2)如何消除近景影像 中可能的影像差異，並正確重建牆面線型幾何結構。本研究對上述兩點的貢獻在於：(1) 多影像自動外方位重建：利用 SURF 於影像組中自動產生大量共軛點，接著以光束法帄

目標線型特徵。以物空間匹配的方式消除影像尺度與旋轉差異，提高匹配成功率，同時 以多視窗匹配的方式，降低牆面深度差異所造成影像內容差異與遮蔽影響。完成匹配的 線型結構最後以 RANSAC 的方式，將匹配點重建為線段。研究流程如圖 1-5 所示。 精度分析 多重疊影像匹配 相機率定 方位重建 邊緣線萃取 物空間匹配 二維線追蹤 物空間網格計算 產生物空間影像 相似性評估 三維線段萃取 圖 1-5、研究流程

1-4 論文架構

本論文共分為五章，其內容分別說明如下： 第一章：敘述本論文之研究動機與目的、近年相關文獻及其研究內容重點回顧、研究方

法與流程，以及說明本論文架構。 第二章：說明資料前處理各項內容，包含相機率定、影像外方位模型重建。 第三章：說明線型特徵匹配與線段點群重建。完成匹配的點群以 RANSAC 的方式重建 該線段。 第四章：實驗成果與分析。 第五章：對本研究所提之方法做一結論與建議。

第二章

資料前處理

此章節說明在牆面線型結構重建前的前處理程序，其主要工作項目包含： (1)相機 率定與(2)方位重建。

2-1 相機率定

攝影時，由於光穿過透鏡後產生方向偏折，使得影像上的像元並非在其應有的位置 上，此類幾何上的變形稱為透鏡畸變。透鏡畸變包含了輻射透鏡畸變與偏心透鏡畸變兩 種，其所造成的幾何變型如圖 2-1 及圖 2-2 所示。 圖 2-1、輻射透鏡畸變

圖 2-2、偏心透鏡畸變 透鏡畸變使得光線並非以直線路徑抵達成像面，其成像位置與理像位置產生差異， 破壞中心透視投影幾何模式。為消除透鏡畸變的影響並提高匹配精度，故進行相機率定， 求出相機內方位與透鏡畸變參數，藉以改正像點座標。 人工架設一率定場，率定場中含分布均勻且已知物空間座標之標點。以相機對率定 場進行多重疊拍攝，並於影像中量測率定場中所有標點之影像共軛座標，以自率光束法 帄差進行相機率定。自率光束法帄差為共線式中加入附加參數做為額外未知數進行光束 法帄差，一次求解攝影站座標、相機焦距、像主點座標與透鏡畸變參數，如式(1)所示。 {x[− xo+ ∆x = −f [ m11(XA−XL)+m12(YA−YL)+m13(ZA−ZL) m31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] y[− yo+ ∆y = −f [_mm21(XA−XL)+m22(YA−YL)+m23(ZA−ZL) 31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] (1) 上式中： xa、ya：共軛點相片座標。 xo、yo：像主點相片座標。 ∆x、∆y：附加參數。

XA、YA、ZA：共軛點物空間座標。 XL、YL、ZL：攝影站物空間座標。 f：相機焦距。 m11～m33：姿態角旋轉矩陣各元素。 姿態角旋轉矩陣各元素如式(2)所示： { m11 = cos φ cos κ

m₁₂ = sin ω sin φ cos κ +cos ω sin κ m₁₃ = −cos ω sin φ cos κ + sin ω sin κ m21= −cos φ sin κ

m₂₂ = − sin ω sin φ sin κ +cos ω cos κ m23 = cos ω sin φ sin κ + sin ω cos κ

m₃₁ = sin φ m₃₂ = − sin ω cos φ m₃₃ = cos ω cos φ

(2)

上式中，ω、φ 及 κ 分別為 roll 角、pitch 角與 yaw 角，如圖 2-3 所示。

X Y Z X Y Z X Y Z

(a) roll 角 (b) pitch 角 (c) yaw 角 圖 2-3、各旋轉角示意圖 附加參數則∆x 與∆y 包含了輻射透鏡畸變差與偏心透鏡畸變差兩種影響，如式(3)所 示： {Δx = Δx_{Δy = Δy}r+ Δx^ r+ Δy^ (3) 上式中：

∆xr、∆yr：輻射透鏡畸變差。 ∆xd、∆yd：偏心透鏡畸變差。 輻射透鏡畸變差∆xr 與∆yr 如式(4)所示： {Δxr = x ∙ ^r r Δy_r = y ∙^r_r (4) 上式中： dr = k₁⋅ r3_{+ k} 2 ∙ r5+ k3∙ r7 r = √x2+ y2 = √(x − x_o)2_{+ (y − y} o)2 x = x − x_o y = y − y_o k1、k2、k3：輻射透鏡畸變參數。 x、y：共軛點相片座標。 xo、yo：像主點相片座標。 偏心透鏡畸變差∆xd 與∆yd 如式(5)所示： {Δx^ = p1⋅ (r2+ 2x 2_{) + 2 ⋅ p} 2∙ x ∙ y Δx_^ = p₂⋅ (r2_{+ 2y}2_{) + 2 ⋅ p} 1⋅ x ∙ y (5) 上式中： r = √x2+ y2 = √(x − xo)2+ (y − yo)2 x = x − x_o

y = y − y_o p1、p2：偏心透鏡畸變參數。 整合(4)、(5)兩式可將(3)改寫為式(6)： {Δx = x ∙ (k1⋅ r 2_{+ k} 2∙ r4 + k3∙ r6) + p1⋅ (r2+ 2x2) + 2 ⋅ p2∙ x ∙ y Δy = y ∙ (k₁⋅ r2_{+ k} 2∙ r4 + k3∙ r6) + p2⋅ (r2+ 2y2) + 2 ⋅ p1⋅ x ∙ y (6)

2-2 方位重建

當影像在攝影時的位置及姿態未明時，影像匹配無法透過核線幾何方式約制匹配範 圍，僅能於副影像中盲目的搜尋，甚至匹配完成的點無法進行前方交會產生三維座標， 因此方位重建在整體作業程序中扮演不可或缺的角色。 方位重建的目的在於重建各影像外方位參數，在傳統的方位重建程序中，以人工方 式在影像上量測大量共軛點，並量測部分控制點，以光束法帄差的方式一次求解攝影站 坐標、攝影姿態角、共軛點地面座標、及控制點地面座標估計值。然而，以人工方式量 測共軛點所耗費之時間與成本太高，故利用特徵萃取的方式於影像中自動產生大量高對 比之特徵，以影像匹配的方式找出共軛點並重建外方位，有效的節省人物力成本與時 間。

(Valgren and Lilienthal, 2007)對尺度不偏特徵點（Scale-invariant feature transform） 與加速強健特徵點（Speeded Up Robust Features，SURF）兩種演算法於近景全景影像的 演算成果與效率進行探討。匹配成果中發現 SITF 在特徵點萃取的數量上較多，但匹配 正確率卻較差。而在演算時間上，SURF 所需時間則遠小於 SIFT。因此本研究在方位重

建時引入了 SURF 進行多重疊影像組自動匹配，完成匹配的影像組最後以光束法帄差優 化整體匹配，並將方位模型轉換至絕對座標系。

2-2-1 加速強健特徵點

加速強健特徵點（Speeded Up Robust Features，後文以 SURF 稱之）是由(Bay et al., 2006)所提出，目的在於找出影像組中對應的尺度不偏與旋轉不偏的特徵點，並加速演 算效率。此演算法分成三個步驟：特徵點搜尋、敘述元建立與特徵點匹配。

特徵點搜尋的部分，SURF 以 Hessian matrix 做為改良基準，如式(7)所示：

H(p, σ) = [L_Lxx(p, σ) Lxy(p, σ) xy(p, σ) Lyy(p, σ)] (7) 上式中： L_xx(p, σ) =_∂x∂₂G(σ) ∗ I(p) Lyy(p, σ) =_∂y∂2G(σ) ∗ I(p) Lxy(p, σ) = _∂x∂ _∂y∂ G(σ) ∗ I(p) G(σ)為標準差為 σ 的高斯濾波器。 I(p)為影像在點 p 上的對應位置。 Hessian matrix 於影像中所開罩窗如圖 2-3 所示。

(a)Lxx (b)Lyy (c)Lxy

圖 2-4、Hessian matrix 各元素示意圖

為了提升解算效率，SURF 以高斯濾波二階導數近似值 Dxx、Dxy 與 Dyy 取代 Lxx、 Lxy 與 Lyy 計算 Hessian matrix，如圖 2-4 所示。

(a)Lyy (b)Lxy (c)Dyy (d)Dxy

圖 2-5、Hessian matrix 原始元素與近似元素(圖中灰色區域為零)

同時以 Integral Image 方式計算罩窗內的數值，如圖 2-5 所示，矩形 ABCD 內像元 總值為Σ，矩形四個端點可與罩窗原點 O 開展為四個獨立的矩形，則像元總值為 Σ 即為 □OA-□OB-□OC+□OD。以此方式計算區域總值，其計算時間僅與其罩窗大小相關， 因此 SURF 以改變罩窗大小的方式取代改變影像大小的方式計算該點在各尺度空間中的 特徵強度，減少計算時間。

圖 2-6、Integral Image 示意圖 Hessian matrix 行列式值表示該點的特徵強度，然而近似矩陣與原始矩陣含有誤差， 故以一常數ω 吸收之，如式(8)所示： det(𝐻_{𝑎𝑝𝑝𝑟𝑜𝑥𝑖𝑚𝑎𝑡𝑒}) = D_xxD_yy− (ωD_xy)2 ₍₈₎ 上式中常數ω 為： ω =|Lxy(1.2)|F|Dyy(9)|F |Lyy(1.2)|_F|Dxy(9)|_F = 0.912 … ≃ 0.9

完成特徵強度的計算後，以區域非最大值壓縮（Local Non-maximum Suppression） 濾除過多特徵點。

單純的點位僅代表該點有顯著的變化，但要如何表達這些變化的樣貌則是一個重點， 因此利用敘述元（Descriptor）來描述特徵點周邊的影像灰度值變化。為了達成旋轉不偏， SURF 對每個特徵點定出一個主要方向，若一某特徵點在尺度為 s 下被找到，便以特徵 為中心，展開一半徑 6s 的圓形範圍，如圖 2-6 所示。

尺度s特徵點

半徑長6s

圖 2-7、主向量計算範圍

在此範圍內計算此區域的 Haar wavelet transform，其 wavelet 邊長為 4s，完成轉換 後再乘上以特徵點為中心，σ為 2s 的高斯權重，便可得到特徵點的主方向向量，如圖 2-7 所示，圖中橘色線段為主方向像量，綠色區塊表示高斯權重，顏色越深其權重越大。 dx dy 圖 2-8、主方向示意圖 完成主方向向量的計算後，便沿著主方向向量展開一個 8×8 的 sub-region，如圖 2-8

所示，圖中咖啡色線段代表主方向向量，綠色區塊代表 Sub-region，每 sub-region 含 5× 5 規律分布的取樣點。對於每個 sub-region 計算其 Haar wavelet transform，得到相對於主 方向向量帄行與垂直的每個 sub-region 分量 dx 與 dy，對所有 dx 與 dy 乘以一個特徵點 為中心且σ為 3.3s 的高斯權重，敘述元 v 即為此 8×8 範圍內的分量 dx 總合Σdx、dy 總 合Σdy、dx 絕對值總合Σ|dx|與 dy 絕對值總合Σ|dy|。 圖 2-9、敘述元計算示意圖 特徵點萃取完成，且敘述元建立完成後，便可進行匹配。匹配時首先以 Hessian matrix 的跡 Dxx+Dyy 的正負趨勢判別該點的對比情況，當兩特徵點有相同的對比情況時才比 較敘述元之相似性，反之亦然。

2-2-2 光束法帄差

完成 SURF 後於影像上產生大量匹配完成的共軛點，但由於高重疊影像基線較短， 影像內容有限，因此無法同時匹配所有影像，僅能以少數影像進行匹配產生局部轉點。

如圖 2-9 所示。 圖 2-10、局部轉點示意圖 為了將所有影像組連接成一條完整的影像方位模型，則頇以光束法帄差的方式連接 這些影像組，並轉換為絕對方位模型。 光束法帄差以共線式做為目標函數，如式(9)所示： {Fx = xo− x[ − f [ m11(XA−XL)+m12(YA−YL)+m13(ZA−ZL) m31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] F_y = y_o− y_[− f [m21(XA−XL)+m22(YA−YL)+m23(ZA−ZL) m31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] (9) 上式中： xa、ya：共軛點相片座標。 xo、yo：像主點相片座標。 XA、YA、ZA：共軛點物空間座標。

XL、YL、ZL：攝影站物空間座標。 f：相機焦距。 m11～m33：姿態角旋轉矩陣各元素，如式(2)。 式(9)中，未知數為攝影站物空間座標（XL,YL,ZL）、共軛點物空間座標（XA,YA,ZA） 與攝影站姿態角ω、φ 與 κ，已知數為共軛點相片座標（xa,ya）、地面控制點座標（XG,YG,ZG） 與相機內方位參數。對式(9)分別以外方位參數及共軛點地面座標進行偏微分將其線性化 可得 Jacobian 矩陣Ḃ與B̈，如式(10)所式： Ḃ = [ ∂Fx ∂ω ∂Fx ∂φ ∂Fx ∂κ ∂Fx ∂XL ∂Fx ∂YL ∂Fx ∂ZL ⋯ ∂Fy ∂ω ∂Fy ∂φ ∂Fy ∂κ ∂Fy ∂XL ∂Fy ∂YL ∂Fy ∂ZL ⋮ ⋱ ] B̈ = [ ∂Fx ∂XA ∂Fx ∂YA ∂Fx ∂ZA ⋯ ∂Fy ∂XA ∂Fy ∂YA ∂Fy ∂ZA ⋮ ⋱ ] (10) 觀測量矩陣 L 為： L = [xo− x[ − f [ m11(XA−XL)+m12(YA−YL)+m13(ZA−ZL) m31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] y_o− y_[− f [m21(XA−XL)+m22(YA−YL)+m23(ZA−ZL) m31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] ] (11) 利用Ḃ矩陣與B̈矩陣與 L 矩陣計算未知數增量，如式(12)： Ḃ [ ∆ω ∆φ ∆κ ΔX_L ΔY_L ΔZ_L] + B̈ [ ΔXA ΔYA ΔZ_A] = L + V (12)

以疊代方式反覆計算各未知數增量，直至小於一定門檻，視為模型收斂，完成整體 方位模型的計算。

第三章

多重疊影像匹配

本章節在於說明對於線型特徵匹配所使用的方法。配合資料前處理的成果，以影像 中的線型特徵以物空間匹配的方式進行線型結構重建。主要的工作項目包含：(1)特徵線 萃取、(2)視線判定、(3)核線約制、(4)物空間匹配與(5)三維線段萃取。

3-1 特徵線萃取

對於建物的線型特徵，以人工量測的方式將耗費大量的時間與人力，且在線段端點 的判斷上可能因操作者的不同而產生完全不同的成果。故本文以自動化的方式萃取出建 物的線型特徵，主要使用 Canny Edge Detector 與線追蹤兩種演算法進行。

3-1-1 Canny Edge Detector

Canny Edge Detector 目的在於找出影像中最佳的邊緣線，其主要包含四個程序：高 斯濾波、梯度與向量計算、非最大值壓縮與雙門檻判定。第一步先以一高斯濾波器使影 像帄滑化，目的在於消除雜訊，使得單一像元的雜訊經過帄滑化後變得幾乎沒有影響； 接著利用計算影像中的每個點的在四個方向（水帄、垂直與兩個對角線）上的梯度強度 與其方向，並以方向的最大值代表該點的邊緣方向；對每個完成偵測的點，以垂直該點 方向的兩個最鄰近點做最大值壓縮，細化較寬的邊緣線；最後以高低兩種不同門檻對該 邊緣強度進行判定，若該邊緣強度大於高門檻，則視其為一強邊緣，若該邊緣小於等於

低門檻，則視其為一若邊緣，而強度落於高門檻與低門檻之間的邊緣則為候選邊緣，以 其邊緣方向判定候選邊緣的存在與否。Canny Edge Detector 整體流程如圖 3-1 所示。

(a)原始影像 (b)高斯帄滑 (c)梯度影像 (d)非最大值壓 (e)Canny 邊緣 縮前邊緣 圖 3-1、Canny 各步驟示意圖。

3-1-2 線追蹤

完成邊緣萃取的影像成果僅為邊緣影像，各邊緣點雖然為已連接完成的邊緣點，卻 沒有額外的資訊表示該點的方向與所屬的線段。若以邊緣影像進行後續匹配，將耗費大 量運算時間，且所產生的牆面三維點群也將是毫無分類的點，對於線型結構的重建將造 成更多的困難。本研究中的興趣特徵為牆面的直線結構，因此在進行匹配前先將邊緣影 像利用線段追蹤對邊緣點以回歸方式找出邊緣中的直線段，並賦予各線段屬性。 線追蹤主要以 Tracing 的方式進行搜尋，於邊緣影像上任意搜尋邊緣點，當搜尋到 一邊緣點時即視該點為一種子點（Seed point）並以種子點為中心搜尋該點八個方向的像 元，當八方向中存在邊緣點時則沿該方向進行搜尋；利用兩點之直線方程式做為搜尋約 制，任何搜尋到的新種子點與直線方程式的垂距應小於一門檻；當種子點堆疊數大於三 個時則以最小二乘法計算種子點回歸直線方程式；完成搜尋後即給予該點群一編號並輸 出該點群之影像座標。線追蹤整體流程如圖 3-2 所示，紅色矩形代表搜尋範圍，綠色線

段與粉色線段代表點群所歸屬之直線方程式，藍色線段代表點到其所歸屬之直線的垂 距。 圖 3-2、線追蹤流程示意圖

3-2 視線判定

一般而言，建物含有四個或以上的牆面，且影像也並非所有內容皆為建物牆面。因 此為了確保所重建的結構皆落於牆面上，並判別該線型結構落於建物的哪一牆面，以視 線判定的方式判別該線型特徵的後續處理程序。視線判定示意圖如圖 3-3 所示。 f N V θ f N V θ (a)影像與牆面可通視 (b)影像與牆面不可通視 圖 3-3、視線判定示意圖 已知建物初始模型之屋角點座標，利用屋角點座標計算建物牆面帄面法向量、線段 單點座標與影像內外方位參數，計算該點在攝影站上所產生的視線與牆面法向量的夾角 θ，如式(13)所示：

θ = cos−1₍ (vx,vy,vz)∙([,\,]) √vx2+vy2+vz2∙√[2+\2+]2 ) (13) 上式中： vx = xc〃m11 + yc〃m12 － f〃m13 vy = xc〃m21 + yc〃m22 － f〃m23 vy = xc〃m31 + yc〃m32 － f〃m33 a、b、c：牆面法向量。 xc、yc：濾除透鏡畸變差後的線段點相片座標。 vx、vy、vz：視線向量。 m11～m33：攝影站姿態角旋轉矩陣。 f：相機焦距。 當此角度大於 90 度時，代表此點與該牆面為『可視』的情況，即對該點進行後續 的匹配程序，反之亦然。

3-3 核線約制

對於單一牆面而言，可能同時有許多相同的線型結構存在，因此以目標線段點在副 影上盲目的搜尋可能造成的錯誤匹配。利用核線幾何將匹配的搜尋範圍約制在副影像上 的一維區間之中，藉此減少錯誤匹配發生的機會，提升匹配精度。核線示意圖如圖 3-4 及圖 3-5 所示。

建物初始模型 副影像1 _副影像2 視線 深度範圍 圖 3-4、核線示意圖 (a)主影像 (b)副影像 1 (c)副影像 2 圖 3-5、影像核線 傳統空照影像核幾何，利用改變高程的方式於副影像上產生核線，然而在近景攝影 測量之中需改變的量則不只是高程，點位可能需要有三個維度的改變才能滿足核幾何。 因此在本研究中，利用建物初始模型與前述的視線判定找出特定牆面，利用點位在牆面 上位置，設定一與牆面垂直的深度區間，配合牆面法方程式參數、該點的視線向量與攝 影站座標，於副影像產生核線，如式(14)所示：

S_{^_pth}= (^+^_pth×√[2+\2+]2−[×XL−\×YL−]×ZL) (vx,vy,vz)∙([,\,]) (14) 上式中： a、b、c、d：牆面法方程式參數。 vx、vy、vz：視線向量。 depth：垂直牆面的深度距離。 XL、YL、ZL：攝影站物空間座標。 Sdepth：深度為 depth 時的物空間尺度。 藉由改變 depth 數值可得不同深度之 Sdepth，可以式(15)計算該深度的物空間三維 座標。 [ X^_pth Y_{^_pth} Z_{^_pth} ] = [ X_L Y_L ZL ] + S_{^_pth}[ v_x vy vz ] (15) 上式中： XL、YL、ZL：攝影站物空間座標。 Sdepth：深度為 depth 時的物空間尺度。 vx、vy、vz：視線向量。

Xdepth、Ydepth、Zdepth：深度為 depth 時的物空間三維座標。

3-4 物空間匹配

影像匹配的傳統做法為利用物空間點位反投影至副影像中，以該點的影像座標做為 中心點開展一罩窗，用其與主影像中的目標特徵點相同罩窗大小的區間進行光學相似性 的評估，稱為像空間匹配。對於尺度與旋轉量較小的影像而言有相當良好的成果，如空 照影像或衛星影像。 在近景攝影測量的情況，以人手持相機或車載攝影機難免會發生攝影姿態及距離差 異較大的情況，使得影像中的內容有顯著的尺度與旋轉差異，此時若以像空間匹配的方 式進行影像匹配所計算之輻射相似性將會相當低落，且無法正確匹配。為了消除影像中 尺度與旋轉的差異，本研究以物空間匹配的方式進行影像匹配。

3-4-1 物空間網格計算

物空間匹配與像空間匹配最大的不同在於罩窗存在的位置，像空間匹配的罩窗存在 於副影像之中，而物空間匹配的罩窗則存在於物空間之中，利用核線幾何所計算的不同 深度之物空間三維座標（Xdepth , Ydepth , Zdepth），以該點為中心展開一假設面，並於假設

面中展開一網格。藉由固定網格點間距的大小消除各影像間空間解析度的差異。物空間 網格如圖 3-6 所示，圖中兩影像因與建物距離不同而有尺度差異，於物空間建立網格， 並將網格反投影制影像則可產生不同尺度的影像網格。

建物初始模型 物空間網格 近景影像1 近景影像2 圖 3-6、物空間網格示意圖 若假設面的帄面方與各個影像帄行，則無法消除因旋轉所造成的影像差異，而若將 假設面的所有旋轉可能性皆進行一次匹配則會耗費大量運算時間，因此對假設面的方向 應設定為一個最佳的方向。普遍而言，建物的線型特徵方向多半與牆面帄行，利用此一 現象，對於假設面的方向便能設定為帄行於牆面的方向，方能滿足多數特徵線於影像中 的旋轉差異。網格方向設定如圖 3-7 所示。

建物初始模型 物空間網格 建物初始模型 物空間網格 (a)錯誤網格方向 (b)正確網格方向 圖 3-7、網格方向示意圖 然而，因攝影站位置與姿態不同，導致影像產生不同的高差移位，影像的內容也因 此產生遮蔽與差異。為改善高差移位造成的匹配錯誤，如圖 3-8 與圖 3-9 所示，因此本 研 究 對 點 匹 配 額 外 引 入 了 CLR （ Center-Left-Right ） 多 視 窗 特 徵 匹 配 與 CLRUB （Center-Left-Right-Up-Bottom）多視窗特徵匹配模式(徐偉城, 1999)。 左影像 右影像 匹配罩窗 圖 3-8、高差移位影像差異

左影像 右影像 匹配罩窗 圖 3-9、高差移位影像遮蔽 CLR 與 CLRUB 匹配模式的目的在於將目標點置於匹配罩窗的不同位置，如圖 3-10 所示，紅色格點表匹配目標點。 (a)單點 L 匹配罩窗 (b)單點 C 匹配罩窗 (c)單點 R 匹配罩窗 (d)單點 U 匹配罩窗 (e)單點 B 匹配罩窗 圖 3-10、單點 CLRUB 罩窗配置

增加上列罩窗配置將使得罩窗內包含更多受到較小高差移位影響的區域，使匹配罩 窗內容更為一致，提高匹配成功率。若將 CLR 匹配模式延伸為起終點連線的線性匹配， 則匹配罩窗將沿著線段方向開展，如圖 3-11 所示，紅色格點表匹配目標點。

(a)線性 C 匹配罩窗

(c)線性 R 匹配罩窗 圖 3-11、線性 CLR 罩窗配置

3-4-2 產生物空間影像

網格產生後，便能以網格中每個格點三維座標反投影至影像中獲取像元值。然而， 反投影至影像所得的影像座標並非整數，因此必頇透過內插的方式取得該影像座標的像 元值，本研究中所使用的內插方式為雙線性內插，利用反投影後所得的影像座標鄰近的 四個像元進行內插，如圖 3-12 所示。 (i,j) (i+1,j) (i,j+1) (i+1,j+1) x y 圖 3-12、雙線性內插示意圖 雙線性內插如式(16)：

DN(i + x, j + y) = DN(i, j)(1 − x)(1 − y) + DN(i + 1, j)x(1 − y) + DN(i, j + 1)(1 − x)y + DN(i + 1, j + 1)xy (16) 上式中： DN(i, j)：影像座標為(i, j)時的像元值。 x、y：目標位置與影像座標(i, j)在兩軸上的差值。

3-4-3 輻射相似性評估

對一深度點位，以假設面對所有副影像以正射化的方式獲取像素值，並以正規化互 相關法（Normalized Cross Correlation）評估所有副影像假設面與主影像假設面的相關性， 如式(17)所示： ρ = ∑ ∑(GM−GM)(GS−GS) √∑(GM−GM)2√∑(GS−GS)2 (17) 上式中： G_M：主影像假設面中的像素值。 GM：主影像假設面中的像素值帄均值。 G_S：副影像假設面中的像素值。 G_S：副影像假設面中的像素值帄均值。 透過多重疊影像匹配，對單一深度點位能產生大量多餘觀測，得到更精確的匹配成 果。本研究利用 SNCC(Sum of NCC)(Zhang and Gruen, 2006)進行多重疊影像相似性評估， 對主影像中一點 p，在深度為 depth 下的每張副影像與主影像匹配所產生之相關係數值 取其帄均，得該深度的帄均相關係數值，如式 18 所示。

SNCC(p, depth) =1 n∑ NCCi(p, depth) n 1 (18) 對所有深度位置的相關係數帄均值取其最大值，視該深度的點為最佳匹配點，完成 多重疊影像之物空間匹配，如圖 3-13 所示。 建物初始模型 副影像1 副影像3 視線 深度範圍 副影像2 副影像4

圖 3-13、多重疊影像匹配 對於 CLRUB 匹配模式，由於各種罩窗所含內容截然不同，所得相關係數也完全不 同。因此對於各類罩窗分別所產生的 SNCC 曲線，取所有模式相關係數之最大值做為匹 配成功點。

3-7 三維線段萃取

完成匹配的線段各點經前方交會後產生物空間線段點群，然而可能的匹配錯誤將使 得點群有較強的離散性，因此為了於點群中找出正確的線段並且濾除錯誤匹配，以線段 萃取的方式由點群中重建線型結構。

本研究中，使用了 RANSAC(RANdom SAmple Consensus)進行三維線段萃取。點雲 中隨機抽取兩個點，計算該兩點之方向向量，反覆進行直到所有點皆計算完成。透過群 聚分析從這些方向向量中找出一個主方向與主方向所穿過的軸帄面(XY 帄面、XZ 帄面 及 YZ 帄面)，將其視為主穿刺面，如圖 3-14 所示。 0 0.2 0.4 0.6 0.8 1 0 10 20 30 40 50 相關係數 深度

SNCC

C1 C2 C3 C4 Cavg

穿刺面 三維點群 X Y Z 主方向 圖 3-14、主穿刺面決定示意圖 計算所有方向向量與主穿刺面的交點，如式 19 所示。 [ X_{pl[n_}i Y_{pl[n_}i Z_{pl[n_}i ] = [X i Yi Zi ] + scalei_[dX_dYm[in m[in dZm[in ] (19) 上式中： X_{pl[n_}i _、Y pl[n_i 、Zpl[n_i ：點 i 在主穿刺面上的交點三維座標。 Xi、Yi、Zi：點 i 在物空間的三維座標。

dXmain、dYmain、dZmain：主方向向量的三維分量。

scalei ₌ 1−([Xi+\Yi+]Zi)

([^X_main+\^Y_main+]^Z_main) (20)

上式中：

Xi、Yi、Zi：點 i 在物空間的三維座標。

dXmain、dYmain、dZmain：主方向向量的三維分量。

a、b、c：穿刺面帄面法向量。 利用這些交點座標取其帄均值，其可得線段的參考原點，以參考原點與主方向向量 組成線段空間參數式。如圖 3-15 所示。 穿刺面 交會點 X Y Z 主方向 圖 3-15、線段參數式重建示意圖 最後將點群中的第一個點與最後一點投影至線段上，完成線段重建。

第四章

實驗成果與分析

此章節主要介紹實驗資料與本研究所提之方法實作各階段成果展示，及其分析驗 證。

4-1 實驗資料

本研究中影像來源為手持式非量測型數位相機 Nikon D2X 與 Sony A55，對國立交 通大學田家炳光電大樓進行多重疊拍攝，攝影資訊如表 4-1 所示。

表 4-1、近景影像資訊

目標建物 國立交通大學田家炳光電大樓

拍攝日期 2011/3/29 2011/6/19 相機名稱 Nikon D2X Sony A55 相幅大小 4288×2848 pixels 4912×3264 pixels 相元大小 5.5μm 4.8μm 相機焦距 18mm 18mm 拍攝方式 等高度 帄行攝影 不等高度 帄行攝影 地面解析度 5.9mm 6.7mm 相鄰影像基高比 1/12.222 1/34.391 影像數量 33張 18張 圖 4-1、Nikon D2X 攝影軌跡

圖 4-3、Nikon D2X 原始影像示意圖

由圖 4-4 及圖 4-5 可見田家炳光電大樓牆面含有非常顯著的線型結構，然而除一、 二樓以外的其他樓層牆面型態十分類似，故本研究中於兩影像組之中選取一種區塊做為 測試資料使用。如圖 4-5 所示。

(a)D2X 影像組 (b)Sony A55 影像組 圖 4-5、測試區塊

4-2 相機率定成果

本研究中相機率定以商業軟體 iWitness(Photometrix, 2011)為之，利用數個 AutoCal Calibration Placard（圖 4-7）於任意帄面上放置，其中可包含一些高度變化，並以數位 相機對 AutoCal Calibration Placard 進行多重疊拍攝，如圖 4-8 所示。

圖 4-8、AutoCal Calibration Placards 多重疊拍攝成果

完成多重疊拍攝後，將影像匯入 iWitness 中執行 AutoCal，即開始自動化相機率定， 兩相機率定成果如表 4-2 所示。

表 4-2、相機率定成果

相機名稱 Nikon D2X Sony A55 自率光束法帄差後驗方差 0.14 pixel 0.2 pixel

率定後像主點座標(x0,y0) (-0.107, 0.016)(mm) (-0.229, 0.1067) (mm)

率定後相機焦距 17.606mm 18.007mm 最大輻射透鏡畸變差 98.8μm 493.78μm

圖 4-9、Nikon D2X 輻射透鏡畸變曲線 圖 4-10、Nikon D2X 偏心透鏡畸變曲線 圖 4-11、Sony A55 輻射透鏡畸變曲線 圖 4-12、Sony A55 偏心透鏡畸變曲線 兩相機經率定後所得之後驗方差均小於一個像元，視其精度符合需求，足以進行後 續處理。

4-3 方位重建成果

本 研 究 中 所 進 行 轉 點 匹 配 所 使 用 的 加 速 強 健 特 徵 點 匹 配 以 免 費 軟 體 Panomatic(Orlinski, 2008)為之。以相鄰每三張影像為一個單元進行共軛點匹配，直到所 有影像皆完成匹配，最後輸出所有轉點座標（Column, Row）。Panomatic 匹配成果如圖 4-13 所示。 圖 4-13、Panomatic 匹配成果示意圖 為了將模型轉入絕對方位，因此需要至少三個近景影像中可視的控制點，以解出旋 轉、帄移及尺度共七個轉換參數。利用全測站量測數個牆面結構點做為控制點之用，地 面量測點資訊如表 4-3 所示，分佈如圖 4-14 所示，精度為多次觀測所得之坐標三維標準 差。 表 4-3、地面量測點 地面量測點數量 30個 控制點數量 4個 檢測點數量 26個 地面量測點三維精度 (0.016m, 0.031m, 0.018m)

圖 4-14、地面量測點分佈

將共軛點座標依照各張影像分類，並將其改寫為 icf 格式檔案，其格式為： 點號 相片座標 x(mm) 相片座標 y(mm) 1 1

完成控制點量測及檔案改寫後，便可將所有 icf 檔案與其對應影像匯入 iWitness 中， 並人工量測近景影像控制點與給定座標，自動進行光束法帄差計算，解算所有影像外方

位參數與轉點三維座標，濾除殘差過大的轉點後重新解算方位參數即完成方位重建。兩 組影像方位求解成果如表 4-4 所示。

表 4-4、方位求解成果

影像組 Nikon D2X Sony A55

轉點數量 2553 598

控制點數量 4 4

光束法帄差後驗方差 0.66 pixel 0.89 pixel

圖 4-15、Nikon D2X 影像組方位與轉點三維點雲

完成方位重建後，以人工方式於影像組中量測檢測點，產生檢測點三維座標，以檢 視方位重建成果。地面量測檢測點成果與兩影像組前方交會產生之檢測點之坐標差異成 果如表 4-5 所示。 表 4-5、檢核點成果(單位：公尺) D2X Sony A55 ∆X ∆Y ∆Z ∆X ∆Y ∆Z 帄均 0.033 0.052 0.026 0.027 0.059 0.036 標準差 0.041 0.045 0.018 0.016 0.032 0.022 最大值 0.160 0.168 0.073 0.053 0.114 0.070 最小值 0.00003 0.003 0.003 0.004 0.004 0.006 表中可明顯看出，兩影像組檢測點與地面量測資料在三軸方向差值都為公分級，最 大差值不超過二十公分；同時，兩影像組於方位重建之後驗中誤差，均小於一個像元， 且兩影像組之自由度分別為 3294（11166 個觀測量-33×6 個外方位參數-2554×3 個共軛點 三維坐標-4×3 個控制點）與 1258（3172 個觀測量-18×6 個外方位參數-598×3 個共軛點三 維坐標-4×3 個控制點）。根據上述兩成果，視方位重建工作完成，且其精度足以進行後 續匹配項目。

4-4 物空間匹配成果

物空間匹配成果包含：(1)半自動匹配成果及(2)全自動匹配成果。

4-4-1 半自動匹配

半自動匹配與全自動匹配差異在於特徵萃取部分，半自動匹配以人工量測方式量測 牆面線型結構端點作為特徵線段進行匹配，如圖 4-17 所示。

(a)D2X 影像組 (b)Sony A55 影像組 圖 4-17、兩影像組主影像測試區塊人工量測成果 匹配時分為四種模式：(1)單點單罩窗匹配、(2)單點多罩窗匹配、(3)線性單罩窗匹 配及(4)線性多罩窗匹配，完成匹配後兩端點直接連線產生三維線段。D2X 影像組半自 動匹配成果如圖 4-18 所示。 (a)單點單罩窗匹配

(b)單點多罩窗匹配

(c)線性單罩窗匹配

(d)線性多罩窗匹配

圖 4-18(a)可見，當只使用單點單罩窗匹配時，僅以 C 型罩窗為主進行匹配，由於 納入考慮的範圍較小，內部窗框以及外部輪廓因受到高差移位影響，匹配失敗產生歪斜 線段。在 4-18(b)時對單點使用了多罩窗進行匹配，使用了 CLRUB 五個罩窗同時進行匹 配，因其所含蓋範圍較廣，內部窗框的歪斜情況較小，然而對於外部輪廓仍無法正確重 建。4-18(c)使用線性單罩窗時，由於擴增了罩窗範圍，納入考量的像元增多，使得歪斜 現象不再發生，然而端點受到遮蔽的線段大多匹配至錯誤深度位置。4-18(d)使用線性多 罩窗，則能將深度錯誤較大的線段拉近至其所屬窗戶外框的其他線段位置。然而，不論 是單罩窗或多罩窗，匹配時以單點罩窗進行匹配，對某些被遮蔽的端點將匹配至錯誤位 置，造成線段歪斜；以線性罩窗進行匹配，則因匹配時兩端點同時在深度上進行移動， 將歪斜現象降低。Sony A55 影像組半自動匹配成果如圖 4-19 所示。 (a)單點單罩窗匹配

(b)單點多罩窗匹配

(c)線性單罩窗匹配

(d)線性多罩窗匹配

圖 4-19(a)可見以 Sony A55 影像組進行單點單罩窗匹配成果較 D2X 影像組的歪斜程 度小，特別是內部窗戶外框以及下部輪廓；圖 4-19(b)使用單點多罩窗的方式進行匹配， 成果與 D2X 影像組類似，能重建出合理的外部輪廓，而因 Sony A55 影像組基線較短， 影像所受高差移位較小，因此內部窗戶外框在使用多罩窗匹配並無如 D2X 影像組一般 的劇烈歪斜現象產生。而在使用線性罩窗時，如圖 4-19(c)與圖 4-19(d)，不論單罩窗或 多罩窗的成果都能消除歪斜現像，然而在使用單罩窗時，不論內部窗戶外框或外部輪廓 都會產生許多錯誤深度的成果；使用多罩窗匹配後，內部窗框大多能匹配至正確位置， 然而在外框部分仍會產生錯誤深度的成果。

4-4-2 全自動匹配

1. 特徵線萃取

全自動匹配首要工作為自動產生特徵線。本研究在特徵線萃取中，Canny Edge Detector 以 OpenCV（Open Source Computer Vision）程式庫為之。OpenCV 中的 Canny Edge Detector 參數主要為高低兩門檻，(Bradski and Kaehler, 2008)提出，依照經驗來說，低門 檻應為高門檻的 40%數值；而 Canny 則表示低門檻應為高門檻的 50%數值。在此便以兩 種不同比例，分別設定一系列高門檻數值進行邊緣偵測，找出兩區塊中較為適當的邊緣 成果。圖 4-20 及圖 4-21 分別為 D2X 影像組與 Sony A55 測試區塊在兩種比例下給定各 種高門檻所萃取的邊緣成果。

D2X 0.4 0.5 0.4 0.5 150 350 200 400 250 450 300 500 圖 4-20、D2X 影像組 Canny Edge 成果

Sony A55 0.4 0.5 0.4 0.5 150 350 200 400 250 450 300 500

圖 4-21、Sony A55 影像組 Canny Edge 成果

圖 4-20 與 4-21 可見以 0.4 的比例進行邊緣線萃取，所得的邊緣較為完整，邊緣之 間的連結性也較好。D2X 影像組中，外部輪廓在高門檻為 500 時便能萃取出不錯的成果， 而窗戶外框到高門檻為 300 以下才漸漸出現；反觀 Sony A55 影像組在高門檻為 500 時 僅能萃取出外部輪廓的最上端邊界，窗戶外框的部分則是大概在高門檻為 350 時有不少 邊緣產生。如以重建所有線形特徵為目的，D2X 影像組最佳門檻設定為 150 至 200 間， 比例為 0.4；Sony A55 影像組則是 200 至 250 之間，比例為 0.4。本研究在兩影像組的門

檻設定上分別為 175 與 225。圖 4-22 為兩影像在該門檻下，長度分別大於 50 像元與 100 像元的線追蹤成果。為了盡可能降低磁磚所產生的非牆面幾何線段，本研究在 D2X 影 像組選用長度大於 100 像元的成果；而 Sony A55 影像組則使用長度大於 50 像元的成果， 以保留足量線段。 D2X 影像組 Sony A55 影像組 長度>50 長度>100 圖 4-22、兩影像組主影像測試區塊線追蹤成果

2. 物空間匹配

完成線追蹤後，即以單點 C 匹配罩窗模式分別對兩組資料進行物空間匹配並產生物 空間三維點群。匹配時，於物空間搜尋垂直於牆面正負一公尺的範圍，並在物空間中建 立 21×21 的網格，每個格點大小為一公分，且網格方向帄行於牆面。D2X 影像組相鄰影 像基線約為 2.077 公尺，測試區塊在 D2X 影像組中最多同時出現於七張影像中，因此對

該影像組以三影像、五影像與七影像同時匹配做為實驗成果，如圖 4-23 所示。

(a)三影像匹配三維點雲

(c)七影像匹配三維點雲 圖 4-23、D2X 影像組匹配成果 圖 4-23 中可見，測試區塊內垂直線段皆能成功匹配，然而大部分水帄線段除了兩 端點外其他點位則產生深度上的偏移，主要肇因於 D2X 影像組核線與水帄線段帄行， 對於線段內屬均調區的區域（如鋁窗），將使得匹配時任何深度所得相關係數皆偏高， 而無法得出一個正確的深度位置。端點部分則因端點在影像中包含較為獨特的紋理，故 能匹配到正確深度。 Sony A55 影像基線約為 0.692 公尺，攝影密度較高，該影像組以三影像、五影像、 七影像與十一影像同時匹配做為實驗成果，如圖 4-24 所示。

(a)三影像匹配三維點雲

(c)七影像匹配三維點雲 (d)十一影像匹配三維點雲 圖 4-24、Sony A55 匹配成果 圖 4-24 可明顯見到匹配成果有大幅改善，Sony A55 影像組於攝影時與 D2X 影像組 不同，含有兩個不同高度的攝影軌跡，各拍攝九張影像，因此在匹配時將產生多種不同 方向的核線，使得水帄線段在匹配時不再受到核線與線段帄行的影響，能夠匹配至正確 深度，然而對於均調區域（鋁窗）在使用影像數量較少的情況下仍會產生錯誤匹配，直

張數越多的時候則會產生更多的深度偏移，肇因為當使用影像數量提升時，將會有更多 受到高差移位影響的影像同時決定單一點位的深度位置，此時因高差移位產生的遮蔽與 影像內容差異將顯著影響匹配成果，造成錯誤匹配。

3. 三維線段萃取

完成匹配後，便能利用匹配完成的點群進行三維線段萃取，產生建物牆面三維線型 結構。兩影像組成果如圖 4-25 及 4-26 所示。 (a)三影像萃取線段

(b)五影像萃取線段

(c)七影像萃取線段

(a) 三影像萃取線段

(c)七影像萃取線段 (d)十一影像萃取線段 圖 4-26、Sony A55 影像組三維線段萃取成果 圖 4-25 中可見，由於 D2X 影像組於匹配時有大量邊緣點匹配至錯誤深度，使得後 續進行三維線段萃取時產生嚴重歪斜現象，惟獨牆面內的窗戶外框能夠產生較為合理的 三維結構。Sony A55 影像組在三維線段萃取部分因匹配成果較好，故整個區塊除鋁窗部

線段端點部分將產生深度位移，線段雖然在前視時相當正常，但卻有著深度方向的歪斜， 這個現象在提升影像使用數量時逐漸獲得改善，然而其中一條垂直線段在影像使用張數 為十一張的情況下，直接與鋁窗相連，主要肇因於該線段在主影像中萃取出的邊緣經線 追蹤後產生的線段，端點與鋁窗上部邊界相連，當使用越多影像時卻也越多影像遭到高 差移位遮蔽影響，在匹配時便有一部分邊緣點直接匹配至與鋁窗相同深度的區域，同時 也直接影響了三維線段萃取的成果。

4-4 精度檢核

為檢核匹配精度，人工於多影像量測數個線型結構，產生三維參考線段作為驗證之 用。檢核的項目包含匹配精度驗證與三維線段萃取精度驗證。以點群各點至其參考線段 之垂距驗證匹配精度，而對於三維線段萃取精度方面，則以萃取之三維線段其起終點至 參考線段之垂距與萃取之三維線段與參考線段之夾角表示其精度。D2X 影像組匹配精度 驗證如表 4-5 所示： 表 4-5、D2X 影像組匹配精度表(單位：公尺) 垂距 帄均 標準差 最小值 最大值 三影像 0.028 0.104 0.003 0.905 五影像 0.025 0.103 0.014 0.786 七影像 0.026 0.103 0.015 0.781

D2X 影像組共 72 條線，將垂距小於一公尺的點視為正確匹配，則此資料組成功的 線段僅 21 條，成功率僅 14.7%。表 4-5 可見各類數值在所有情況下皆相當接近，最大垂 距皆發生於鋁窗下邊緣處，如圖 4-26 所示，該點線段與核線方向帄行，如圖 4-27 所示， 各張副影像中綠色點位表匹配位置，紅色線段表核線位置。很明顯的無論在任何深度會 產生相當一致的相關係數，因此較易造成錯誤匹配。然而最大垂距隨著使用影像數量提 升而有下降趨勢，表示儘管核線與水帄線段帄行造尌大量可能的匹配錯誤，使用更多影 像進行匹配仍對匹配精度有一定的助益。表 4-6 為 D2X 影像組線段萃取精度驗證。 (a)線段位置 (b)點群位置 圖 4-27、D2X 最大垂距發生處

(a)副影像 1 (b)副影像 2 (c)副影像 3 (d)主影像目標點 (e)副影像 1 (f)副影像 2 (g)副影像 3 圖 4-28、D2X 影像組誤差最大點匹配位置與核線 表 4-6、D2X 影像組線段萃取精度表(單位：公尺&度) 垂距 夾角 帄均 標準差 最大值 最小值 帄均 標準差 最大值 最小值 三影像 0.276 0.224 0.67 0.014 5.458 4.94 12.674 1.671 五影像 0.266 0.228 0.933 0.012 5.847 3.894 10.747 1.763 七影像 0.267 0.194 0.776 0.016 4.33 2.852 7.489 0.701

表 4-6 可見使用更多影像能較為匹配至較為正確的位置，有效降低線段垂距差異， 然而在帄均而言端點垂距接大於十公分，使得萃取線段有著顯著的角度差異。表 4-7 為 Sony A55 影像組匹配精度表。 表 4-7、Sony A55 影像組匹配精度表(單位：公尺) 垂距 帄均 標準差 最小值 最大值 三影像 0.018 0.049 0.011 0.376 五影像 0.026 0.063 0.011 0.678 七影像 0.020 0.051 0.011 0.345 十一影像 0.019 0.048 0.016 0.335 Sony A55 影像組共 102 條線，將垂距小於一公尺的點視為正確匹配，則此資料組成 功的線段為 55 條，成功率為 53%。該區域共有 45 條線。對 Sony A55 影像組而言，大 部分成果皆優於 D2X 影像組，然而使用更多影像卻造成帄均垂距與最大垂距有逐漸提 升的趨勢。 (a)線段位置 (b)點群位置 圖 4-29、Sony A55 最大誤差處

(a)副影像 1 (b)副影像 2 (c)副影像 3 (d)副影像 4 (e)副影像 5 (f)主影像目標點 (g)副影像 6 (h)副影像 7 (i)副影像 8 (j)副影像 9 (k)副影像 10 圖 4-30、Sony A55 影像組誤差最大點匹配位置與核線