第三章 三焦張量特性與流程
3.2 三焦張量流程
3.2.2 引入 Bundler 執行三焦張量實驗
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
38
3.2.2 引入 Bundler 執行三焦張量實驗
實驗流程參考到圖 22，有以下幾個步驟。首先在多視角影像中以 Bundler 計算出任兩張影像對應點，再計算三焦張量過濾掉對應點，最後評估結果。
我們實驗影像來源先以 3ds Max 建構場景架設攝影機進行拍攝，如圖 27。
我們先取前三台攝影機拍攝影像進行實驗，先簡化實驗確定對應點符合三焦張量 幾何關係能降低對應點的錯誤情況。所以我們實驗輸入是三張影像，最後評估輸 入則是 ground truth 二維座標點。接下來 Bundler 可以計算出任兩張影像對應關 係，但是三焦張量是三張影像之間的幾何關係，所以必頇設定一個規則表示三張 影像的對應關係，如下表 2。假設第一、二張影像 1、2 號特徵點有對應，第二、
三張影像 2、3 號特徵點有對應，我們實驗就將第一、二、三張影像 1、2、3 號 特徵點設定成三張影像相互對應的特徵點。
圖 27：Bundler 執行三焦張量 3ds Max 場景
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
39
表 2：計算三張影像對應點
第一張影像 第二張影像 第三張影像
特徵點編號
1 2
2 3
1 2 3
有了對應點就可以計算三焦張量，同樣使用三焦張量 point-point-point 的幾 何關係，在一、二張影像上選點計算三焦張量推導第三張影像上的對應點，如下 面三張影像。圖 28、圖 29 綠色打叉的部分為特徵點位置，藍色框起來的特徵 點為三焦張量的選點，圖 30 紅色圈起來代表推導的位置並且以藍色線段表示偏 移情形。從圖 30 可以發現大部分特徵點推導位置都相當接近，只有 1 個像素值 以下的差距，但是在中間房子的部分卻有幾十個像素值的偏離。而這些對應關係 就是不符合幾何關係的對應點，也就是需要被過濾的對應點，在我們的實驗中是 以較不符合幾何關係百分比的狀況進行刪除。刪除的方法也同表 2 取得三張影 像特徵點對應關係的方式，以反向將其拆解刪除兩兩張影像的對應點。
圖 28：Bundler 執行三焦張量 3ds Max 場景影像一
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
40
圖 29：Bundler 執行三焦張量 3ds Max 場景影像二
圖 30：Bundler 執行三焦張量 3ds Max 場景影像三
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
41
最後就是對刪除前後的對應點進行評估，相關研究介紹到從運動中恢復結構 可以藉由所有影像之間對應點的關係計算相機參數及投影矩陣，我們使用此方法 產生三張影像投影矩陣分別為 P、P'、P''，如下圖 31。前面的章節也有提到投 影矩陣是判斷三維空間座標點與二維影像上座標點轉換情形的指標，評估方式我 們參考蔡政君[9]和 Snavely [23]論文中提到重投影(reprojection error)的方法，下 圖 32。評估的時候是使用 ground truth 的二維影像對應點，先計算出三維座標位 置再投影回二維影像計算所有特徵點的平均誤差，例如左上角第一張影像 ground truth 對應點 x1與投影回影像上預測的 x1計算誤差，再做整體對應點平均誤差即 是我們判斷的依據。利用這樣的誤差大小即可以判定投影矩陣對二維影像對應點 與三維空間座標點轉換的準確程度，實驗結果皆是以此方式評估過濾前後的投影 矩陣，連帶驗證對應點過濾後是否得到更精確的組合。
圖 31：從運動中恢復結構計算相機參數
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
42
圖 32：重投影評估投影矩陣
實驗結果如下表，雖然第一張影像誤差過濾後並未降低，但過濾掉對應點之 後將誤差平均整體狀況是降低的，例如第二張影像過濾前誤差為 5.0133 像素，
過濾後為 0.0228 像素，降低幅度非常大，所以我們由此也驗證三焦張量幾何關 係的確是可以過濾掉較偏差對應點的情形。
表 3：三焦張量三張影像過濾前後評估結果
過濾前 過濾後
第一張影像 0.0001 0.0225
第二張影像 5.0133 0.0228
第三張影像 16.8157 0.0323
單位：像素(pixel)
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
43