多視角影像

國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

6

圖 1：19 種計算基礎矩陣準確性評估

圖 2：19 種計算基礎矩陣效率評估

2.1.2 多視角影像

由於我們的研究是在多視角影像的情況下進行，也稱為未校正的序列影像。

這些影像我們是不知道拍攝相機內外部參數的，就好比不知道各台相機拍攝的相 對位置以及使用幾倍焦距進行拍攝的。在我們研究使用到從運動恢復結構

‧

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

7

(structure from motion)[4][5][21][19]的方法，而這個方法即是在做校正的動作，將 所有二維影像旋轉矩陣、位移矩陣及相對拍攝位置計算出來，並且在同一座標系 統下求得影像中特徵點的三維座標。從運動恢復結構是從單一影像開始計算，先 找出所有影像最多特徵點的其中一張，逐步加入其他影像進行特徵點對應以及過 濾。過濾時使用到重投影(reprojection)的方法，我們研究中最後評估方法也是使 用重投影計算誤差以判斷是否改善，研究方法中會詳述其過程。從運動恢復結構 此方法也包裝在 Bundler 這項工具中，許多研究在多視角影像的環境下為了搜尋 出所有影像特徵點對應關係都會使用到 Bundler，而且在電腦視覺擁有豐富資歷 的Yasutaka Furukawa 也推薦它是一個自動產生相機參數很好的軟體。

Snavely[23][24]兩篇研究都使用到這個軟體，Snavely[23]利用它建置一個非 常新穎瀏覽圖片的互動網站以及建構稀疏的點雲模型，如下圖 3。首先由網路中 蒐集了某個建築物相關的圖片，經由 Bundler 的處理將每一張照片相機拍攝位置 設置於立體空間中，並且將準確的三維點以稀疏點雲方式呈現。另外，提供使用 者可以在畫面中選擇某一台相機或是在建築物上框取以展示該位置的圖片，並且 可以克服遮蔽的情況。Snavely[24]算是延伸上述網站的研究，同樣為了使網路使 用者可以輕鬆透過該網站觀看著名的景點。處理方式大多與前篇研究雷同，在網 路中取得幾百張以關鍵字搜尋出的影像，以 Bundler 處理過後取得相機參數。但 是為了使點雲模型可以更精確地呈現以利使用者搜尋最想要觀看角度的影像，研 究中將相片有特徵點對應的相機做連線，如圖 4。由連線圖可以判斷該建築或風 景大部分影像拍攝的位置，將外圍較不密集的相機濾除再將結果放置於網站。

‧

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

8

圖 3：以 Bundler 建置新穎瀏覽圖片的網站

圖 4：影像相關連線圖

在丁彥弘[1]於 2005 年提出的論文中，與本篇研究方向有幾點非常類似。論 文中同樣是在處理未經校正的影像，也就是不知道相機內部狀況下進行拍攝與處 理。另外，其研究也是為了找出最理想對應點的選點，剃除會造成較大誤差的選 點。在我們的實驗碰到該篇論文一樣的問題。如果在同樣的三維座標點下，以不 同內部參數的相機拍攝會有座標系統不一致的情況。首先必頇算出在(1.1)式中轉 換座標系統的 T 矩陣，(Xc,Yc,Zc,w)和(Xp,Yp,Zp,1)分別表示將要被轉換座標系統 的三維座標以及轉換後對應點的三維座標，繼續推導可以得出(1.2)式。由此式可 以發現 T11~ T43總共有 15 個未知數，然而一組對應點會有三行方程式，所以至 少需要五組以上的對應點才能解出轉換座標系統的 T 矩陣。但在這邊會碰到該 選擇哪些對應點的問題，抑或是選擇對應點的數量都會影響到兩個座標系統間轉

‧