第四章 適用於二維攝影機陣列之影像合成方法
4.3 棋盤式視差估測
在上一節中，我們參考鄰近四個方向的影像來得到更精確的視差圖，但該方 法的時間複雜度為傳統視差估測方法的四倍，再加上一個二維攝影機陣列中，攝 影機數量動輒超過數十台。這會使得計算整個系統的影像視差所需要的時間會非 常驚人。因此，在本節中我們根據二維攝影機陣列特有的排列結構提出一個降低 整體系統計算量的視差估測方法。
根據視差的定義，兩張相鄰影像的視差圖間會存在著一個平移的關係。例如 圖 4-15 分別表示兩張水平方向上相鄰影像之視差圖，DmapL代表左邊影像的視差 圖，DmapR為右邊影像的視差圖。其中圓形區域的視差值為 8，背景的視差值為 2。
比較兩張視差圖，可以發現DmapR相當於將DmapL中的圓形區域向左平移 8 個 pixel 的位置；換言之，若我們已知DmapL，則只要將DmapL中各 pixel 向左平移和其視
差大小相同的距離就可以得到DmapR。對於降低計算二維攝影機陣列系統整體視 差值所需的時間，上述的特性提供了一個可行的方法：我們只需要計算系統中部 份攝影機擷取影像的視差值，其餘的攝影機擷取影像則利用已計算出來的視差圖 來推測。在本論文中，我們稱呼以完整方式計算得到的視差圖為主視差圖(primary disparity map)，與其對應的攝影機稱為主攝影機(primary camera)；而利用主視差 圖推測得到的視差圖稱為副視差圖(secondary disparity map)，與其對應的攝影機 稱為副攝影機(secondary camera)。
45
Disparity:2
Disparity:8
Disparity:2 Disparity:8
(a) (b)
Shift 8 Pixel
(c)
圖 4-15 視差圖之間的平移關係：(a)左邊影像的視差圖DmapL (b)右邊影像的視差 圖DmapR(c)圓形區域在兩者間的平移關係
使用主視差圖來推測鄰近影像的視差時，需要遵守以下兩個原則：(1)在攝 影機陣列中，攝影機之間的距離不可以太大。當攝影機彼此相距太遠，會造成同 一件物體在不同攝影機成像中外觀不同，這會導致推測出來的鄰視差圖結果和實 際視差圖不合。例如圖 4-16，因為兩台攝影機距離太遠，我們可以看出在左邊 攝影機的成像平面上的綠色的區域明顯比在右邊攝影機成像平面上的綠色區域 來的大。(2)若發生有兩個以上的視差值在平移後對應到同一位置，則我們保留 最大的值作為該點的視差值。因為視差值越大代表物體越靠近攝影機，所以會遮 蔽視差值較小(亦即距離相機較遠)的後景，如圖 4-17。
46
圖 4-16 因相鄰相機距離太遠導致同一物體在兩個成像平面上外觀不同
圖 4-17 兩種以上的視差值對應到同一點時的處理情形
圖 4-18 是以左邊影像作為主視差圖DmapL來推測右邊視差圖DmapR的例子。
我們只要將DmapL上的每一點，向左平移和它的視差值大小相同的 pixel 數，即可 得到DmapR。觀察 DmapR，可以發現在視差值高的區域右邊會緊連著一塊無法定義
47
視差值的區域(藍色部份)。從平移的角度來看，在將DmapL上各點向左平移至
DmapR上的對應位置時，視差值大的區域移動較多，視差值小的區域移動較少，
導致原本相鄰的兩個不同視差值區域在平移後被分開，如圖 4-19。而從遮蔽效 應的角度來看，相當於該區域所需資訊在DmapL中被前景所覆蓋而無法取得，而 出現類似 occlusion 的情形。
(a) (b)
圖 4-18 以左邊影像的視差圖來推測右邊影像的視差圖：(a)左邊的視差圖DmapL (b)參考DmapL而推測出來的右邊視差圖DmapR
圖 4-19 因不同視差值移動距離不同而導致右邊影像上部份區域無法定義視差
48
Computing primary disparity Images of
secondary camera
Computing secondary
disparity
primary disparity primary
disparity Images of
primary camera
圖 4-20 使用主視差圖合成副視差圖的流程圖
49
圖 4-21 鄰攝影機OncC和周圍主攝影機的位置關係
(a)
(b) (c) (d)
(d)
圖 4-22 攝影機O 和鄰近攝影機的擷取影像：(a)c OmcU的擷取影像(b)OmcL的擷取 影像 (c)OncC的擷取影像 (d)OmcR的擷取影像 (e)OmcD的擷取影像
50
(a) (b)
(b) (d)
圖 4-23 各主攝影機擷取影像的視差圖：
(a)OmcR擷取影像之視差圖 (b)OmcL 擷取影像之視差圖 (c)OmcD擷取影像之視差圖 (d)OmcU擷取影像之視差圖
51
(a) (b)
(b) (d)
圖 4-24 使用不同位置的主視差圖推測影像I 的視差結果： c (a)使用左邊主視差圖推測的結果 (b)使用右邊主視差圖推測的結果 (c)使用下方主視差圖推測的結果 (d)使用上方主視差圖推測的結果
52
(a) (b)
(c)
圖 4-25 以圖 4-24 進行投票來判斷影像I 的視差圖：(a)使用完整估測方式取得c 的I 之視差圖 (b)經投票後得到的c I 之視差圖 (c)兩種方法在結果上的差異 c
圖 4-26 是將圖 4-21 的攝影機關係延伸至整個二維攝影機陣列，其中紅色攝影 機為主攝影機，藍色攝影機為副攝影機。我們可以發現在攝影機陣列中主攝影機 和副攝影機彼此互相包圍交錯，有如一張棋盤圖結構。所以在本論文中，我們稱 此種估測整體二維攝影機陣列的影像視差值方式為棋盤式視差估測(check-board disparity estimation)。在棋盤式視差估測中，僅需要完整計算系統中一半的攝影 機擷取影像(主攝影機擷取影像)的視差，而另一半的攝影機擷取影像(副攝影機擷 取影像)的視差則使用周遭的主視差圖來合成，因此我們在估測整個二維相機陣 列的視差值上可以降低一半的計算量。由於副攝影機視差圖是由四張主攝影機視
53
差圖經投票處理而合成的，其合成效果通常不亞於直接估測所有攝影機視差圖。
圖 4-26 主攝影機和副攝影機在二維攝影機陣列上的位置關係