研究方法

單眼視覺里程計(Scaramuzza and Fraundorfer, 2011)操作流程如圖 1。視覺里程計(Nistér, 2004)是 建構在區域的相對方位求解上，並使用「搭橋」的 方式將推估的區域相對方位進行疊加，持續且自動 地回復連續影像的外方位參數，又可稱為相機軌跡 的重建。因此，視覺里程計的重點是求得每組像對 間可靠的相對方位參數，為講求自動化和求解速度，

該研究使用電腦視覺的本質矩陣(Essential Matrix) (Longuet-Higgins, 1981)描述相對方位。接著假設第 一張影像的透視中心為原點，且物空間座標系三軸 和第一台相機座標系三軸相同，將兩兩影像的相對 方位依序疊加，可獲得連續影像的連續相對方位，

即為恢復每張影像之外方位參數，該外方位參數是 建立於第一台相機座標系之局部坐標系方位參數，

但這樣的作法會將原本存在區域相對方位的誤差

持續累積，當相機移動距離過長，會產生導航飄移 (Drift) (Grisetti et al., 2010)。為解決路徑誤差累積的 問題，需考量連續相對方位的整體一致性，即表示 將所有可靠的相對方位一起納入解算，獲得連續影 像外方位參數的最佳解，因此本研究提出「相對方 位的網型平差演算法」。在該演算法中，僅需將相對 方位參數納入最小二乘求解，以類似水準網解算方 法獲得所有影像的最佳外方位參數解，這樣的做法 有別於傳統的光束法平差，既可以免去繁雜的數學 技巧，又可以因為省去考慮物點的因素而明顯地縮 短外方位參數的解算時間。

圖 1 單影視覺里程計流程圖 (Scaramuzza and Fraundorfer, 2011)

本研究採用框幅式相機，其成像幾何可以被視 為理想的針孔投影成像，如圖 2。在電腦視覺中，

為了讓相機座標系統和影像座標系統的兩軸(X,Y 軸)方向相同，定義相機 Z 軸指向鏡頭前方，X 軸指 向相機右方，Y 軸指向相機下方，為右旋座標系統，

而原點為影像的透視中心。假設影像不存在透鏡畸 變，針孔成像的原理可以簡單地視為外方位以及內 方位參數轉換，參考圖 2，一個位於三維物空間的 物點 P，透過外方位轉換可以轉換成位於三維相機 空間的物點，如方程式(1)，其中 為位於相機空間 的物點 P 向量， 為由物空間轉相機空間的旋轉矩 陣， 為向量的伸縮尺度。再透過內方位參數轉換 可以將三維相機空間的物點轉換成二維像平面座 標，如方程式(2)，其中 稱為相機內部矩陣，包含

焦距、像主點座標以及像素尺寸，而 為位在像平 面的物點 P 向量。相機內部矩陣可透過市面上許多 相機率定軟體經過精密率定獲得，本研究使用商用 軟體 Matlab 提供的單相機之棋盤格率定程式，率定 工作需由不同角度拍攝針對棋盤格拍攝 10~20 張相 片，棋盤格需分布於相片各處，角落尤為重要，如 圖 3。除相機內部矩陣外，率定成果還包含透鏡畸 變參數，用來修正單眼視覺里程計的輸入影像之透 鏡畸變。

= ∙ ∙ − ... (1)

= ... (2)

圖 2 框幅式相機(針孔相機)的成像幾何

圖 3 Matlab 棋盤格率定作業之拍攝方法

一台已精密率定過的相機在兩個不同位置對 一物體進行拍攝，當所得到的像對間具有一定的重 疊率時，則該組像對可以計算相對方位。圖 4 表示 一 組 像 對 的 相 對 方 位 (Relative Orientation Parameters，簡稱 ROPs)，包含像對的相對平移向量 以及相對旋轉量。圖 4 中的兩條影像光束和兩台相 機間的基線位於同一平面，因此在攝影測量中常使 用非線性的共面式進行迭帶計算求解相對方位。而

在電腦視覺中雖然也是利用共面條件求解相對方 位，但透過矩陣外積以矩陣相乘表示法以及齊次座 標的使用，可以將非線性的共面方程式變成線性方 程式，當假設左像的透視中心為原點時，則可獲得 共面方程式，如方程式(3)，其中 和 分別代表 位於第一台和第二台相機座標系的物點 P 向量，

→ 是 3×3 相對平移矩陣， 是 3×3 相對旋轉 矩陣，當平移和旋轉矩陣相乘後，就是電腦視覺中 常用來表示相對方位的 3× 3 本質矩陣(Essential Matrix)，通常以 E 表示。對於像對中的每一組對應 點，它們必須滿足本質矩陣的對極幾何(Epipolar Geometry)，如方程式(4)。

→ = 0 ... (3)

( ) = 0 ... (4)

相對方位是由像對間的共軛點推估的，本研究 採用 SURF 特徵匹配找尋影像間的共軛點，但因 SURF 演算法並沒有考慮影像間的對極幾何關係，

導致匹配成果含有不少的錯誤匹配點，因此需使用

RANSAC 除 錯 (Fischler and Bolles, 1987) 。 通 常 RANSAC 只採用本質矩陣當作數學模型，檢核共軛 點的對極幾何，並將錯誤匹配點剔除，但該方法並 沒有考量到共軛點的分布情形，其實共軛點分布情 形嚴重地影響到像對間的本質矩陣估計，因此本研 究加入凸多邊形(Convex Hull) (De Berg et al., 2000) 的面積檢核機制，透過面積比例需大於門檻值的條 件，改善共軛點可能分布不均勻的問題，圖 5 呈現 改良後 RANSAC 流程圖。

使 用 八 點 法 (Eight-point Algorithm) (Hartley, 1997)或五點法(Five-point Algorithm) (Nistér, 2004) 可以求解像對的本質矩陣，因五點法在求解過程中 將本質矩陣的內部限制加入解算，故五點法會比八 點法更可靠。因為本質矩陣中的 9 個元素為非獨立，

因此需透過奇異值分解將本質矩陣拆解成相對旋 轉以及平移。分解後的本質矩陣會遇到交會模糊性 (Four-fold Ambiguity)的問題，交會模糊性指的是本 質矩陣經過拆解後會得到四組可能的交會情形，如 圖 6，但只有一組是真實的前方交會，因此需透過 檢 查 深 度 值 (Depth) 來 選 出 正 確 的 外 方 位 參 數 (Hartley and Zisserman, 2003)，當物點深度值在兩張 影像皆為正數時，表示物點位於兩張影像的前方，

即為正確的影像前方交會，如圖 6 的左一。

圖 4 像對間的相對方位

圖 5 改良 RANSAC 的流程圖

圖 6 交會模糊性

當一台已率定的相機在移動中對一物體連續 拍攝，可以獲得一系列的連續影像。在連續影像中，

如果兩兩影像間具有一定的重疊率且可以計算區 域相對方位，就可以假設第一張影像的透視中心為 原點並以「搭橋」的方式計算出連續影像的連續相 對方位。本研究闡述的區域相對方位指的是單一像 對的相對方位，以左像的透視中心為原點，若要將 每組區域相對方位疊加，則需統一將各組像對的計 算原點化算至第一張影像的透視中心，即可重建連 續 影 像 的 連 續 相 對 方 位 (Coherent Relative Orientation，簡稱 CROPs)，如圖 7。但因本質矩陣 的相對平移量為 1 單位長度，所以重建後的相對平 移尺度並非真實尺度，因此本研究會使用事先規劃 的拍照路徑和點位，根據雷射測距儀測得的點位間 的粗略距離，將原始平移量(1 單位)與量測距離相乘 (Nistér, 2004)，則可將量測尺度導入往後的平差模

型中，而該量測尺度會在往後的網型平差演算法中 一起解算，以求得真實尺度最佳解。

視覺里程計技術主要就是將每一組的區域相 對方位以搭橋的方式建立影像連續相對方位以達 到導航的目的，故區域相對方位求解可以視為視覺 里程計的基礎，當區域相對方位存在誤差時，則影 像的推估路徑會隨著時間和距離的延伸產生路徑 飄移，當飄移量過大時，則該推估路徑則不具意義。

為解決路徑飄移的問題，需將原本視覺里程計的區 域 一 致 性 (Local Consistency) 延 伸 成 整 體 一 致 性 (Global Consistency)，整體一致性指的是將所有連 續影像間的可靠相對方位一起納入連續相對方位 解算，將評估路徑的偏差量依照特定的權值分配到 各個區域相對方位上，如此可以有效的降低導航上 的路徑偏移。一般來說，目前整體一致性求解的方 法約可以分成兩類，一個是攝影測量的光束法平差

(Bundle Adjustment)，該優點是可以透過大量的觀測 方程式有效的更新影像外方位參數，缺點是因為納 入物點一起解算，導致計算量過大。另一個是電腦 視 覺 中 的 姿 態 的 圖 形 最 佳 化 (Pose-graph optimization) (Grisetti et al., 2010)，該演算法的優點 在於它僅使用相對方位的圖形來優化影像外方位 參數，處理速度快，但是限制是影像路徑必須達到 閉合(Loop Closure)，換句話說，起始影像必須和最 後一張影響需重疊，才可以用重疊的限制降低評估 路徑的飄移。以上兩個方法都有演算法上的限制或 缺點，因此本研究結合兩者的優點提出一個新的演 算法，將其稱為「相對方位的網型平差 (Network adjustment of ROPs)」。

相對方位的網型平差是指將所有可靠的相對 方位結合成網型，選定第一張影像的透視中心為連 續相對方位的計算原點，以類似水準網平差的觀測 量限制(Observation Constraint)解算所有影像於局部

坐標系之最佳外方位參數。因此首要工作是挑選出 連續影像中所有可靠的區域相對方位，本研究提出 兩道檢驗方式，第一道檢驗是先前的 RANSAC 除 錯，倘若由 RANSAC 所挑選出的正確共軛點數量 無法達到原始 SURF 偵測共軛點數量的一半，則剔 除該相對方位。第二道檢驗方式是連續相對方位檢 驗，以 6 張連續影像為例，第六台相機的外方位參 數可分別透過 5 組相對方位( _, 、 _, 、

, 、 _, 和 _, )求得，根據共軛點數量 以及分布情形選出一組最可靠的相對方位以及對 應的外方位參數，將剩下的 4 組外方位參數與上述 最可靠的參數相比，若差值大於設定的門檻值，則 剔除該相對方位，圖 8 敘述以 6 台相機為例的相對 方位檢驗，6 台相機的可能相對方位有 15 個，經過 兩道篩檢，只剩 13 組可靠的相對方位可進入平差 解算。

圖 7 連續影像的連續相對方位

圖 8 網型平差前的區域相對方位檢驗

本研究的相對方位網型平差需建立在一個假

3. 實驗

為驗證上述演算法的可行性，本研究設計兩 個實驗，分別是室外和室內實驗。兩者皆使用

為驗證上述演算法的可行性，本研究設計兩 個實驗，分別是室外和室內實驗。兩者皆使用