此章節說明在牆面線型結構重建前的前處理程序,其主要工作項目包含: (1)相機 率定與(2)方位重建。
2-1 相機率定
攝影時,由於光穿過透鏡後產生方向偏折,使得影像上的像元並非在其應有的位置 上,此類幾何上的變形稱為透鏡畸變。透鏡畸變包含了輻射透鏡畸變與偏心透鏡畸變兩 種,其所造成的幾何變型如圖 2-1 及圖 2-2 所示。
圖 2-1、輻射透鏡畸變
圖 2-2、偏心透鏡畸變
透鏡畸變使得光線並非以直線路徑抵達成像面,其成像位置與理像位置產生差異,
破壞中心透視投影幾何模式。為消除透鏡畸變的影響並提高匹配精度,故進行相機率定,
求出相機內方位與透鏡畸變參數,藉以改正像點座標。
人工架設一率定場,率定場中含分布均勻且已知物空間座標之標點。以相機對率定 場進行多重疊拍攝,並於影像中量測率定場中所有標點之影像共軛座標,以自率光束法 帄差進行相機率定。自率光束法帄差為共線式中加入附加參數做為額外未知數進行光束 法帄差,一次求解攝影站座標、相機焦距、像主點座標與透鏡畸變參數,如式(1)所示。
{x[− xo+ ∆x = −f [mm11(XA−XL)+m12(YA−YL)+m13(ZA−ZL)
31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] y[− yo+ ∆y = −f [mm21(XA−XL)+m22(YA−YL)+m23(ZA−ZL)
31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] (1) 上式中:
xa、ya:共軛點相片座標。
xo、yo:像主點相片座標。
∆x、∆y:附加參數。
XA、YA、ZA:共軛點物空間座標。
∆xr、∆yr:輻射透鏡畸變差。
y = y − yo
(Valgren and Lilienthal, 2007)對尺度不偏特徵點(Scale-invariant feature transform)
與加速強健特徵點(Speeded Up Robust Features,SURF)兩種演算法於近景全景影像的 演算成果與效率進行探討。匹配成果中發現 SITF 在特徵點萃取的數量上較多,但匹配 正確率卻較差。而在演算時間上,SURF 所需時間則遠小於 SIFT。因此本研究在方位重
建時引入了 SURF 進行多重疊影像組自動匹配,完成匹配的影像組最後以光束法帄差優 化整體匹配,並將方位模型轉換至絕對座標系。
2-2-1 加速強健特徵點
加速強健特徵點(Speeded Up Robust Features,後文以 SURF 稱之)是由(Bay et al.,
2006)所提出,目的在於找出影像組中對應的尺度不偏與旋轉不偏的特徵點,並加速演 算效率。此演算法分成三個步驟:特徵點搜尋、敘述元建立與特徵點匹配。
特徵點搜尋的部分,SURF 以 Hessian matrix 做為改良基準,如式(7)所示:
H(p, σ) = [Lxx(p, σ) Lxy(p, σ)
Lxy(p, σ) Lyy(p, σ)] (7)
上式中:
Lxx(p, σ) =∂x∂2G(σ) ∗ I(p) Lyy(p, σ) =∂y∂2G(σ) ∗ I(p) Lxy(p, σ) = ∂x∂ ∂y∂ G(σ) ∗ I(p)
G(σ)為標準差為 σ 的高斯濾波器。
I(p)為影像在點 p 上的對應位置。
Hessian matrix 於影像中所開罩窗如圖 2-3 所示。
(a)Lxx (b)Lyy (c)Lxy
圖 2-4、Hessian matrix 各元素示意圖
為了提升解算效率,SURF 以高斯濾波二階導數近似值 Dxx、Dxy 與 Dyy 取代 Lxx、
Lxy 與 Lyy 計算 Hessian matrix,如圖 2-4 所示。
(a)Lyy (b)Lxy (c)Dyy (d)Dxy 圖 2-5、Hessian matrix 原始元素與近似元素(圖中灰色區域為零)
同時以 Integral Image 方式計算罩窗內的數值,如圖 2-5 所示,矩形 ABCD 內像元 總值為Σ,矩形四個端點可與罩窗原點 O 開展為四個獨立的矩形,則像元總值為 Σ 即為
□OA-□OB-□OC+□OD。以此方式計算區域總值,其計算時間僅與其罩窗大小相關,
因此 SURF 以改變罩窗大小的方式取代改變影像大小的方式計算該點在各尺度空間中的 特徵強度,減少計算時間。
圖 2-6、Integral Image 示意圖
Hessian matrix 行列式值表示該點的特徵強度,然而近似矩陣與原始矩陣含有誤差,
故以一常數ω 吸收之,如式(8)所示:
det(𝐻𝑎𝑝𝑝𝑟𝑜𝑥𝑖𝑚𝑎𝑡𝑒) = DxxDyy− (ωDxy)2 (8)
上式中常數ω 為:
ω =|Lxy(1.2)|F|Dyy(9)|F
|Lyy(1.2)|F|Dxy(9)|F = 0.912 … ≃ 0.9
完成特徵強度的計算後,以區域非最大值壓縮(Local Non-maximum Suppression)
濾除過多特徵點。
單純的點位僅代表該點有顯著的變化,但要如何表達這些變化的樣貌則是一個重點,
因此利用敘述元(Descriptor)來描述特徵點周邊的影像灰度值變化。為了達成旋轉不偏,
SURF 對每個特徵點定出一個主要方向,若一某特徵點在尺度為 s 下被找到,便以特徵 為中心,展開一半徑 6s 的圓形範圍,如圖 2-6 所示。
尺度s特徵點
半徑長6s
圖 2-7、主向量計算範圍
在此範圍內計算此區域的 Haar wavelet transform,其 wavelet 邊長為 4s,完成轉換 後再乘上以特徵點為中心,σ為 2s 的高斯權重,便可得到特徵點的主方向向量,如圖
2-7 所示,圖中橘色線段為主方向像量,綠色區塊表示高斯權重,顏色越深其權重越大。
dx dy
圖 2-8、主方向示意圖
完成主方向向量的計算後,便沿著主方向向量展開一個 8×8 的 sub-region,如圖 2-8
所示,圖中咖啡色線段代表主方向向量,綠色區塊代表 Sub-region,每 sub-region 含 5×
5 規律分布的取樣點。對於每個 sub-region 計算其 Haar wavelet transform,得到相對於主 方向向量帄行與垂直的每個 sub-region 分量 dx 與 dy,對所有 dx 與 dy 乘以一個特徵點 為中心且σ為 3.3s 的高斯權重,敘述元 v 即為此 8×8 範圍內的分量 dx 總合Σdx、dy 總 合Σdy、dx 絕對值總合Σ|dx|與 dy 絕對值總合Σ|dy|。
圖 2-9、敘述元計算示意圖
特徵點萃取完成,且敘述元建立完成後,便可進行匹配。匹配時首先以 Hessian matrix 的跡 Dxx+Dyy 的正負趨勢判別該點的對比情況,當兩特徵點有相同的對比情況時才比 較敘述元之相似性,反之亦然。
2-2-2 光束法帄差
完成 SURF 後於影像上產生大量匹配完成的共軛點,但由於高重疊影像基線較短,
影像內容有限,因此無法同時匹配所有影像,僅能以少數影像進行匹配產生局部轉點。
如圖 2-9 所示。
圖 2-10、局部轉點示意圖
為了將所有影像組連接成一條完整的影像方位模型,則頇以光束法帄差的方式連接 這些影像組,並轉換為絕對方位模型。
光束法帄差以共線式做為目標函數,如式(9)所示:
{Fx = xo− x[ − f [mm11(XA−XL)+m12(YA−YL)+m13(ZA−ZL)
31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] Fy = yo− y[− f [mm21(XA−XL)+m22(YA−YL)+m23(ZA−ZL)
31(XA−XL)+m32(YA−YL)+m33(ZA−ZL)] (9) 上式中:
xa、ya:共軛點相片座標。
xo、yo:像主點相片座標。
XA、YA、ZA:共軛點物空間座標。
XL、YL、ZL:攝影站物空間座標。 可得 Jacobian 矩陣Ḃ與B̈,如式(10)所式:
Ḃ =
以疊代方式反覆計算各未知數增量,直至小於一定門檻,視為模型收斂,完成整體
3-1-1 Canny Edge Detector
Canny Edge Detector 目的在於找出影像中最佳的邊緣線,其主要包含四個程序:高 斯濾波、梯度與向量計算、非最大值壓縮與雙門檻判定。第一步先以一高斯濾波器使影