稀疏紋理平面物體三維重建可行性驗證

實驗環境：

使用 1 台相機，(故只有 1 個內部參數 K) ，其型號為 Conon EOS 500D，對一靜止 物體做多視角拍攝(相機動，物體不動)。

拍攝光源使用發光連續的棚燈，拍攝時光圈、快門、ISO 固定，並使用相同的白平 衡演算法(鎢絲燈，因棚燈是鎢絲燈)，目的是使每張影像顏色不會差太多。

1 2

3 4

5

6

2 1

3 4

5

6

先利用一些平面上的特徵對應點(landmark)來得到 reference 影像與其他影像的 homography 矩陣，每個 view 的影像都透過各自的 homography matrix 轉至 reference 影 像。

以 homography 轉換後與 reference 影像差異性小的區域往外長，差異性小的區域包 含 texture & uniform 區域，直至有明確的 boundary 為止，這點與傳統技術中由特徵點往 外 expand 的方式不一樣。

 寧可讓算出的範圍超出正確邊緣而形成過大的區域，之後再用 3D 空間關係來 刪除 ambiguous 的區域。(击多邊形)

 不願讓算出的範圍小於正確邊緣的區域，因為這樣還是沒辦法找出正確的邊 緣。

本實驗首先以 mailbox (共有 5 張影像，如下圖)的上蓋為要重建的平面範圍，並以 其他平面的 edge 資訊做為平面擴張的邊緣。

mailbox0001 mailbox0002 mailbox0003

mailbox0004 mailbox0005

圖 16 Input image：待建物 mailbox 的影像

(a)

Plane equation：(-0.9994, 0.0119, -0.0323, -313.8605)

(b)

Plane equation：(-0.0261, -0.9996, -0.0056, 50.4821) (c)

Plane equation：(-0.0307, -0.0481, -0.9984, -84.2262)

圖 17 mailbox 做標準差的結果 這些標準差皆是以 mailbox0003 當作 reference 所得到的。

(a) 以 mailbox 的上面為主，所產生的標準差圖以及其收斂後平面參數。

(b) 以 mailbox 的左面為主，所產生的標準差圖以及其收斂後平面參數。

(c) 以 mailbox 的右面為主，所產生的標準差圖以及其收斂後平面參數。

(a)

(b)

(c)

圖 18 將標準差用 MSER 抓出來的結果(mailbox)

(a) 利用 MSER 來尋找圖 17(a)中標準差較低的區域，其 MSER 參數設定為：delta = 1, variation = 0.1。

(b) 利用 MSER 來尋找圖 17(b)中標準差較低的區域，其 MSER 參數設定為：delta = 1, variation = 0.1。

(c) 利用 MSER 來尋找圖 17(c)中標準差較低的區域，其 MSER 參數設定為：delta = 1, variation = 0.1。此結果較為不理想，逸出不少區域至上蓋，不過這可以透過 3D 空間 中平面相交的關係，去除屬於物體之外的錯誤區域。

Furukawa’s result Our result

Vertex

Vertex with normal

Texture mapped vertex

The mesh model after PSR

(depth=9 )

其中 Furukawa 所使用的參數如下：Level = 1, cell size =1x1, threshold=0.7, window size=5x5。並去除經 PSR 處理後的 mesh model 中邊長過大的 face。

圖 19 重建三維點雲資料與三維網格模型結果，並與 Furukawa 的重建結果進行比較

從圖 19 可以看出 Furukawa 的重建結果並不好，其原因來自於 texture-less 的區域。

Furukawa 方法中是以特徵點為基礎，且是由穩定、具紋理資訊的特徵點往外做拓展 (expansion)的動作，較無共平面的概念在內。然而拓展至 texture-less 的區域時，因僅能 以附近的特徵點法向量及 3D 位置做為其拓展 patch 的初始值，一旦 texture-less 的區域 過大，就無法透過此方法有效地產生鄰近的新 patch。且 Furukawa 所採取去除誤差過大 的 3D 座標點的 filtering 步驟，亦無法有效發揮效用，造成最後的 point cloud 其實是非 常 noisy 的。透過 PSR 重建結果可以明顯看出其凹击不平的表面，主要原因即是沒有考 慮到整體平面的關係，拓展過程中若遇到無紋理資訊的區域，即無法處理，且後續空間 中的 smoothness constraint 也無法發揮作用。

而我們方法則是透過 homography 轉換(轉換公式為(3.2))後，同時一次計算多視圖影 像之間的標準差，再擷取出 MSER 的區域，如此針對較不具紋理的平面物體，將具有明 顯改善的功效。