第五章：對本研究所提之方法做一結論與建議。
第二章 資料前處理
此章節說明在牆面線型結構重建前的前處理程序，其主要工作項目包含： (1)相機 率定與(2)方位重建。
2-1 相機率定
攝影時，由於光穿過透鏡後產生方向偏折，使得影像上的像元並非在其應有的位置 上，此類幾何上的變形稱為透鏡畸變。透鏡畸變包含了輻射透鏡畸變與偏心透鏡畸變兩 種，其所造成的幾何變型如圖 2-1 及圖 2-2 所示。
圖 2-1、輻射透鏡畸變
圖 2-2、偏心透鏡畸變
透鏡畸變使得光線並非以直線路徑抵達成像面，其成像位置與理像位置產生差異，
破壞中心透視投影幾何模式。為消除透鏡畸變的影響並提高匹配精度，故進行相機率定，
求出相機內方位與透鏡畸變參數，藉以改正像點座標。
人工架設一率定場，率定場中含分布均勻且已知物空間座標之標點。以相機對率定 場進行多重疊拍攝，並於影像中量測率定場中所有標點之影像共軛座標，以自率光束法 帄差進行相機率定。自率光束法帄差為共線式中加入附加參數做為額外未知數進行光束 法帄差，一次求解攝影站座標、相機焦距、像主點座標與透鏡畸變參數，如式(1)所示。
{x[− xo+ ∆x = −f [mm11(XA−XL)+m12(YA−YL)+m13(ZA−ZL)
31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] y[− yo+ ∆y = −f [mm21(XA−XL)+m22(YA−YL)+m23(ZA−ZL)
31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] (1) 上式中：
xa、ya：共軛點相片座標。
xo、yo：像主點相片座標。
∆x、∆y：附加參數。
XA、YA、ZA：共軛點物空間座標。
∆xr、∆yr：輻射透鏡畸變差。
y = y − yo
(Valgren and Lilienthal, 2007)對尺度不偏特徵點（Scale-invariant feature transform）
與加速強健特徵點（Speeded Up Robust Features，SURF）兩種演算法於近景全景影像的 演算成果與效率進行探討。匹配成果中發現 SITF 在特徵點萃取的數量上較多，但匹配 正確率卻較差。而在演算時間上，SURF 所需時間則遠小於 SIFT。因此本研究在方位重
建時引入了 SURF 進行多重疊影像組自動匹配，完成匹配的影像組最後以光束法帄差優 化整體匹配，並將方位模型轉換至絕對座標系。
2-2-1 加速強健特徵點
加速強健特徵點（Speeded Up Robust Features，後文以 SURF 稱之）是由(Bay et al.,
2006)所提出，目的在於找出影像組中對應的尺度不偏與旋轉不偏的特徵點，並加速演 算效率。此演算法分成三個步驟：特徵點搜尋、敘述元建立與特徵點匹配。
特徵點搜尋的部分，SURF 以 Hessian matrix 做為改良基準，如式(7)所示：
H(p, σ) = [Lxx(p, σ) Lxy(p, σ)
Lxy(p, σ) Lyy(p, σ)] (7)
上式中：
Lxx(p, σ) =∂x∂2G(σ) ∗ I(p) Lyy(p, σ) =∂y∂2G(σ) ∗ I(p) Lxy(p, σ) = ∂x∂ ∂y∂ G(σ) ∗ I(p)
G(σ)為標準差為 σ 的高斯濾波器。
I(p)為影像在點 p 上的對應位置。
Hessian matrix 於影像中所開罩窗如圖 2-3 所示。
(a)Lxx (b)Lyy (c)Lxy
圖 2-4、Hessian matrix 各元素示意圖
為了提升解算效率，SURF 以高斯濾波二階導數近似值 Dxx、Dxy 與 Dyy 取代 Lxx、
Lxy 與 Lyy 計算 Hessian matrix，如圖 2-4 所示。
(a)Lyy (b)Lxy (c)Dyy (d)Dxy 圖 2-5、Hessian matrix 原始元素與近似元素(圖中灰色區域為零)
同時以 Integral Image 方式計算罩窗內的數值，如圖 2-5 所示，矩形 ABCD 內像元 總值為Σ，矩形四個端點可與罩窗原點 O 開展為四個獨立的矩形，則像元總值為 Σ 即為
□OA-□OB-□OC+□OD。以此方式計算區域總值，其計算時間僅與其罩窗大小相關，
因此 SURF 以改變罩窗大小的方式取代改變影像大小的方式計算該點在各尺度空間中的 特徵強度，減少計算時間。
圖 2-6、Integral Image 示意圖
Hessian matrix 行列式值表示該點的特徵強度，然而近似矩陣與原始矩陣含有誤差，
故以一常數ω 吸收之，如式(8)所示：
det(𝐻𝑎𝑝𝑝𝑟𝑜𝑥𝑖𝑚𝑎𝑡𝑒) = DxxDyy− (ωDxy)2 (8)
上式中常數ω 為：
ω =|Lxy(1.2)|F|Dyy(9)|F
|Lyy(1.2)|F|Dxy(9)|F = 0.912 … ≃ 0.9
完成特徵強度的計算後，以區域非最大值壓縮（Local Non-maximum Suppression）
濾除過多特徵點。
單純的點位僅代表該點有顯著的變化，但要如何表達這些變化的樣貌則是一個重點，
因此利用敘述元（Descriptor）來描述特徵點周邊的影像灰度值變化。為了達成旋轉不偏，
SURF 對每個特徵點定出一個主要方向，若一某特徵點在尺度為 s 下被找到，便以特徵 為中心，展開一半徑 6s 的圓形範圍，如圖 2-6 所示。
尺度s特徵點
半徑長6s
圖 2-7、主向量計算範圍
在此範圍內計算此區域的 Haar wavelet transform，其 wavelet 邊長為 4s，完成轉換 後再乘上以特徵點為中心，σ為 2s 的高斯權重，便可得到特徵點的主方向向量，如圖
2-7 所示，圖中橘色線段為主方向像量，綠色區塊表示高斯權重，顏色越深其權重越大。
dx dy
圖 2-8、主方向示意圖
完成主方向向量的計算後，便沿著主方向向量展開一個 8×8 的 sub-region，如圖 2-8
所示，圖中咖啡色線段代表主方向向量，綠色區塊代表 Sub-region，每 sub-region 含 5×
5 規律分布的取樣點。對於每個 sub-region 計算其 Haar wavelet transform，得到相對於主 方向向量帄行與垂直的每個 sub-region 分量 dx 與 dy，對所有 dx 與 dy 乘以一個特徵點 為中心且σ為 3.3s 的高斯權重，敘述元 v 即為此 8×8 範圍內的分量 dx 總合Σdx、dy 總 合Σdy、dx 絕對值總合Σ|dx|與 dy 絕對值總合Σ|dy|。
圖 2-9、敘述元計算示意圖
特徵點萃取完成，且敘述元建立完成後，便可進行匹配。匹配時首先以 Hessian matrix 的跡 Dxx+Dyy 的正負趨勢判別該點的對比情況，當兩特徵點有相同的對比情況時才比 較敘述元之相似性，反之亦然。
2-2-2 光束法帄差
完成 SURF 後於影像上產生大量匹配完成的共軛點，但由於高重疊影像基線較短，
影像內容有限，因此無法同時匹配所有影像，僅能以少數影像進行匹配產生局部轉點。
如圖 2-9 所示。
圖 2-10、局部轉點示意圖
為了將所有影像組連接成一條完整的影像方位模型，則頇以光束法帄差的方式連接 這些影像組，並轉換為絕對方位模型。
光束法帄差以共線式做為目標函數，如式(9)所示：
{Fx = xo− x[ − f [mm11(XA−XL)+m12(YA−YL)+m13(ZA−ZL)
31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] Fy = yo− y[− f [mm21(XA−XL)+m22(YA−YL)+m23(ZA−ZL)
31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] (9) 上式中：
xa、ya：共軛點相片座標。
xo、yo：像主點相片座標。
XA、YA、ZA：共軛點物空間座標。
XL、YL、ZL：攝影站物空間座標。 可得 Jacobian 矩陣Ḃ與B̈，如式(10)所式：
Ḃ =
以疊代方式反覆計算各未知數增量，直至小於一定門檻，視為模型收斂，完成整體
3-1-1 Canny Edge Detector
Canny Edge Detector 目的在於找出影像中最佳的邊緣線，其主要包含四個程序：高 斯濾波、梯度與向量計算、非最大值壓縮與雙門檻判定。第一步先以一高斯濾波器使影
低門檻，則視其為一若邊緣，而強度落於高門檻與低門檻之間的邊緣則為候選邊緣，以 其邊緣方向判定候選邊緣的存在與否。Canny Edge Detector 整體流程如圖 3-1 所示。
(a)原始影像 (b)高斯帄滑 (c)梯度影像 (d)非最大值壓 (e)Canny 邊緣 縮前邊緣
圖 3-1、Canny 各步驟示意圖。
3-1-2 線追蹤
完成邊緣萃取的影像成果僅為邊緣影像，各邊緣點雖然為已連接完成的邊緣點，卻 沒有額外的資訊表示該點的方向與所屬的線段。若以邊緣影像進行後續匹配，將耗費大 量運算時間，且所產生的牆面三維點群也將是毫無分類的點，對於線型結構的重建將造 成更多的困難。本研究中的興趣特徵為牆面的直線結構，因此在進行匹配前先將邊緣影 像利用線段追蹤對邊緣點以回歸方式找出邊緣中的直線段，並賦予各線段屬性。
線追蹤主要以 Tracing 的方式進行搜尋，於邊緣影像上任意搜尋邊緣點，當搜尋到 一邊緣點時即視該點為一種子點（Seed point）並以種子點為中心搜尋該點八個方向的像 元，當八方向中存在邊緣點時則沿該方向進行搜尋；利用兩點之直線方程式做為搜尋約 制，任何搜尋到的新種子點與直線方程式的垂距應小於一門檻；當種子點堆疊數大於三 個時則以最小二乘法計算種子點回歸直線方程式；完成搜尋後即給予該點群一編號並輸 出該點群之影像座標。線追蹤整體流程如圖 3-2 所示，紅色矩形代表搜尋範圍，綠色線
段與粉色線段代表點群所歸屬之直線方程式，藍色線段代表點到其所歸屬之直線的垂
θ = cos−1( (vx,vy,vz)∙([,\,])
建物初始模型
副影像1 副影像2
視線
深度範圍
圖 3-4、核線示意圖
(a)主影像 (b)副影像 1 (c)副影像 2 圖 3-5、影像核線
傳統空照影像核幾何，利用改變高程的方式於副影像上產生核線，然而在近景攝影 測量之中需改變的量則不只是高程，點位可能需要有三個維度的改變才能滿足核幾何。
因此在本研究中，利用建物初始模型與前述的視線判定找出特定牆面，利用點位在牆面 上位置，設定一與牆面垂直的深度區間，配合牆面法方程式參數、該點的視線向量與攝 影站座標，於副影像產生核線，如式(14)所示：
S^_pth= (^+^_pth×√[2+\2+]2−[×XL−\×YL−]×ZL)
3-4 物空間匹配
影像匹配的傳統做法為利用物空間點位反投影至副影像中，以該點的影像座標做為 中心點開展一罩窗，用其與主影像中的目標特徵點相同罩窗大小的區間進行光學相似性 的評估，稱為像空間匹配。對於尺度與旋轉量較小的影像而言有相當良好的成果，如空 照影像或衛星影像。
在近景攝影測量的情況，以人手持相機或車載攝影機難免會發生攝影姿態及距離差 異較大的情況，使得影像中的內容有顯著的尺度與旋轉差異，此時若以像空間匹配的方 式進行影像匹配所計算之輻射相似性將會相當低落，且無法正確匹配。為了消除影像中 尺度與旋轉的差異，本研究以物空間匹配的方式進行影像匹配。
3-4-1 物空間網格計算
物空間匹配與像空間匹配最大的不同在於罩窗存在的位置，像空間匹配的罩窗存在 於副影像之中，而物空間匹配的罩窗則存在於物空間之中，利用核線幾何所計算的不同 深度之物空間三維座標（Xdepth , Ydepth , Zdepth），以該點為中心展開一假設面，並於假設
面中展開一網格。藉由固定網格點間距的大小消除各影像間空間解析度的差異。物空間 網格如圖 3-6 所示，圖中兩影像因與建物距離不同而有尺度差異，於物空間建立網格，
並將網格反投影制影像則可產生不同尺度的影像網格。
建物初始模型
物空間網格
近景影像1 近景影像2
圖 3-6、物空間網格示意圖
若假設面的帄面方與各個影像帄行，則無法消除因旋轉所造成的影像差異，而若將
假設面的所有旋轉可能性皆進行一次匹配則會耗費大量運算時間，因此對假設面的方向 應設定為一個最佳的方向。普遍而言，建物的線型特徵方向多半與牆面帄行，利用此一
假設面的所有旋轉可能性皆進行一次匹配則會耗費大量運算時間，因此對假設面的方向 應設定為一個最佳的方向。普遍而言，建物的線型特徵方向多半與牆面帄行，利用此一