一維攝影機陣列影像合成

在合成虛擬視點影像時，我們使用視差資訊來判斷參考資訊所在位置。雖然 我們使用整體最佳化以及投票機制來得到較精確的視差圖，但是和實際情形仍然 會有誤差，尤其是在物體邊緣的部份。這可能導致合成出來的結果錯誤。此外，

因遮蔽效應而在兩張影像之間無法對應的區域也會導致合成效果不佳。以下我們

54

按處理步驟來討論在合成水平方向上兩台攝影機間的虛擬視點影像時會遇到的 情形。

1. 左邊影像視差值對應到右邊影像視差值較小的位置，如圖 4-27(a)：

這種情況為低視差值覆蓋了高視差值，相當於離相機較遠的物體擋住了 離相機較近的物體，這顯然是不合常理的。因此我們認為這是視差值錯 誤所造成的，並將右邊影像較小的視差值以相對應的左邊影像視差值取 代，如圖 4 -27(b)。

(a)

(b)

圖 4-27 (a)左邊影像視差值大於對應的右邊影像視差值 (b)視差值修正後的結果

55

2. 左邊影像視差值對應到右邊影像視差值相同的位置，如圖 4-28(a)：

此為合成影像時最常出現的情形，表示該組對應點在左右兩邊的影像中 皆未受到遮蔽效應的影響。若虛擬視點成像平面上的 pixel 正好處在一組 視差值相同的對應連線和成像平面的交錯處，則該 pixel 可直接參考該組 對應點以線性內插的方式來合成影像，如圖 4-28(b)。此步驟完成後結果 如圖 4-29，可以看出合成影像上大部分的區域都已經成型了。

(a)

(b)

圖 4-28 (a)對應位置的視差值相同的情形 (b)虛擬視點平面的合成

56

圖 4-29 步驟 2 合成後結果

3. 左邊影像視差值對應到右邊影像視差值較大的位置，如圖 4-30(a)：

此情況表示該點在右邊影像上被遮蔽。由圖 4-30(b)可以看出實際對應 到該位置的是左邊影像上視差較高的區域。遇到這種情形時，合成時所 參考的對象會依虛擬視點所在位置而改變。以圖 4-31(a)為例，當虛擬視 點位置靠近左邊攝影機時，在虛擬視點成像平面上第 6 個 pixel 是以左邊 影像第 6 個 pixel 作為參考，因為虛擬視點所在位置上該點尚未被遮蔽。；

而當虛擬視點較靠近右邊攝影機時，如圖 4-31(b)，則是以左邊影像第 10 個 pixel 及右邊影像第 5 個 pixel 為參考。此步驟完成後的結果如圖 4-32 中標記區域。

57

(a)

(b)

圖 4-30 (a)左邊影像視差值小於對應到的右邊影像視差值 (b) 實際的對應情形

58

(a)

(b)

圖 4-31 (a)虛擬視點位置靠近左邊攝影機時的合成情形 虛擬視點位置靠近右邊攝影機時的合成情形

圖 4-32 步驟 3 完成後的結果

59

4. 當以上三種情況都處理完後，我們需要檢查是否有右邊影像在左邊影像 上被遮蔽的情形，如圖 4-33。其處理方式和步驟 3 一樣。此步驟完成後 結果如圖 4-34 中的標記區域。

圖 4-33 右邊影像在左邊影像上被遮蔽的情形

圖 4-34 步驟 4 完成後的結果

5. 當以上四個步驟處理完後，我們會發現還有部份區域因為沒有對應點連 線經過而無法合成。對於這類區域，我們參考在同一條掃描線上最靠近 的已知結果以線性內插的方式來合成。此步驟完成後變得到在一維攝影 機陣列上的虛擬視點合成，其結果如圖 4-35。

60

Synthesizing Virtual images and disparity maps

in horizontal direction Disparity

maps Synthesizing

Virtual images in

vertical direction

Virtual viewpoint

image Synthesized

source images Source images

Synthesized disparity maps

圖 4-36 在二維攝影機陣列上的虛擬視點影像合成流程圖

以圖 4-37 為例，其中(0,0)、(0,1)、(1,0)以及(1,1)為實際存在的攝影機位置，

且假設攝影機擷取影像的視差圖皆為已知。若要合成出在座標(0.3,0.4)上所看到