第二章 相關研究
2.2 背景知識
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
15
2.2 背景知識
下面將介紹本篇研究在實驗時所使用到的各項技術以及背景觀念。
2.2.1 極線轉換
極線轉換(epipolar transfer) [6][8][29]主要就是利用兩個相機照到同一個物體 上，利用針孔成像的原理搜尋對應點。經過投影的物體應該會是上下顛到的，但 為了計算方便將影像投影回來變成一樣大小的虛擬影像，若跟物體是同方向在計 算的時候就不用再旋轉了。圖 7 中 C 和 C'為兩個照相機的相機中心(camara center)，C 和 C'以及 X 組成極線平面(epipolar plane)。C-C'連線在平面上產生 e 和 e'這兩個點，稱為極點(epipolar point)。如果想要在右邊影像找出 X 投影到左 邊圖像上 x 的對應點，我們會利用 X 和 C 的連線推導出右邊影像上的一條直線l， 稱為極線(epipolar line)，而三維點 X 投影到右邊圖像上的位置就會落在l這極線 上。利用這樣的對應關係讓建模可以更快速，不用將特徵點與整張圖做相似性的 比對，提高找對應點的效率。在這轉換過程中就是以基礎矩陣作為媒介進行，轉 換式子如下：
l=Fx ，其中 F 為基本矩陣 (3.1)
當 x'位於l極線上時，x'的座標會與l的方向向量內積為零，故：
x'l=x'Fx =0 (3.2)
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
16
圖 7：極線轉換示意圖
圖 8：極線轉換退化問題示意圖
由上面觀念繼續延伸，只要再取第三張影像找同一個特徵點的對應點就可再 畫出一條極線，隨後即可在兩條極線交叉區塊附近比對對應點，如上圖 8。在瑞 陽[8]這篇論文也使用到這個觀念將不符合此幾何關係的對應點濾除。但其中可 能會產生退化的問題，如果右邊第三張影像計算出的極線為l'，我們則可以在l與
'
l 焦點的周圍找出對應點。但第三張影像計算出的極線卻可能與l平行，如圖中l''
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
17
的情況，由於沒有交點將會不知道如何在極線間尋找對應點，我們則利用三焦張 量去避免掉這個問題。
2.2.2 Bundler：從運動恢復結構
Bundler[18][23][24][13]是將沒有順序以及結構下的影像做校正取得相機參 數的方法，圖 9。Bundler 的輸入是一組拍攝同樣物體的圖片以及使用特徵不變 量轉換(SIFT)找出兩兩相對應的特徵點。輸出則是物體相對於每張影像相機中心 的投影矩陣。這個方法已經在許多網路相簿集或是各類網站架構下執行，並且也 被實做在 Snavely[23]論文中，且設有網站[30]供人觀賞，另外也提供幾個不同的 資料集供選擇。
圖 9：Bundler 實作示意圖，出自[31]
2.2.3 特徵不變量轉換
本篇論文使用到 Bundler 幫助特徵點的搜尋。而 Bundler 是參考到 David G.
Lowe 在 2004 年提出的特徵不變量轉換(Scale-Invariant Feature Transform,
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
18
SIFT)[17]。特徵不變量轉換是電腦視覺中偵測圖片特徵點的演算法。它可以取得 圖片中各個點提供辨識相關的訊息，包含點的座標位置、尺度(強度)和旋轉角度，
並且以梯度向量表示，如圖 10。隨後需要比對特徵點相似性就必頇依賴這些訊 息。另外，此方法可以使不同角度或是不同焦距拍攝的圖片具有尺寸不變性的特 性，而且也考量到光亮程度的問題，論文中提出的方法也使其維持很好的不變性，
所以可以找出很好的對應點。特徵不變量轉換的處理流程分為下面四個步驟，偵 測尺度空間極值(scale-space extrema detection)、特徵點定位(keypoint localization)、
特徵點方向性(orientation assignment)以及特徵點描述(keypoint descriptor)。特徵 不變量轉換的應用相當廣泛，像是影像辨識、影像追蹤和三維模型的重建。
圖 10：特徵不變量轉換示意圖
2.2.4 最小中值平方法
最小中值平方法(Least Median of Squares, LMedS)[7][22][11]我們參考在廖怡 儂[7]論文，它是一種強健式的估測法。在沒有雜訊的狀況下，最小平方法(least squares)就可以估測出很好的結果，但大多都會存在一些較偏差的資訊，所以可 以使用最小中值平方法進行選擇與評估，而我們論文中就是將此方法用來挑選三
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
19
焦張量最好一組的選點。我們使用簡單的評估例子以說明最小中值平方法的運作，
如下圖 11。假設我們在七個點(X1,Y1)到(X7,Y7)中任取兩個點連成l、l'、l''三條 直線，預期找出最符合以下七個點的直線，我們則將七個點分別使用(4.1)式與三 條直線計算距離，計算的結果表示如表 1。首先將每個點到直線的距離做排序，
排序完取中間值當作代表，其值最小我們就把它認定為三條直線之中最符合這七 個點的一條直線。在使用最小中值平方法有一個重要的限制，就是在資料中不能 存在一半以上的雜訊，否則在比較中間值時會無法做正確的評估。最小中值平方 法在許多研究裡普遍被使用，而且被當作各種演算法比較的基準，在上面相關研 究中 Armangue[11]也提到最小中值法具有準確度極高的價值。
圖 11：最小中值平方法評估示意圖
2 2
ax by c d
a b
，點到直線距離公式 (4.1)
表 1：最小中值平方法示意圖
直線l 直線l' 直線l'' d1(0.1) d1'(0.2) d1''(0.18)
… … …
d3(0.6) d3'(0.8) d3''(0.7)
… … …
d5(1.2) d5'(1.5) d5''(1.3)
誤差排序 取中間值
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
20
2.2.5 投影幾何
在論文中會提到二維影像和三維座標點的轉換，其中我們參考吳坤信[2]說 明投影幾何的關係來進行。如圖 12 所示，P 和 P'分別表示兩張二維影像對於三 維物體的投影矩陣。X 為三維空間中某一座標點，該點就可以透過 P 和 P'投影 到二維影像上，分別形成 x 和 x' 。而 x 相對於 x'也就是這兩張影像上所謂的對 應點。
接下來論文實驗中，我們如果知道了三維的座標點就可以乘上投影矩陣算出 在二維影像上的投影座標。相反的，在得知兩張圖片的投影矩陣後，也可以推導 回三維座標點。但利用不同的投影矩陣在轉換時，座標系統的不一致就要特別注 意。
圖 12：投影幾何示意圖
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
21