第五章 適用於二維攝影機陣列之視訊合成方法
5.2 參考視差資訊進行移動估測
5.3.2 加入 AWGN 的連續影像
在上一節中，我們發現在合成的虛擬視點影像中，有時會出現參考影像間略過的 frame 較多但影像品質反而較好的情況。這有可能是因為使用 Blender 所合成的 原始影像過於理想，而和現實攝影機所擷取的影像有段差距造成的。為了讓實驗 結果能更接近現實中的狀況，我們在原始的連續影像中加入 AWGN。影像加入 AWGN 後，視覺上並不會有太大差異，但是 pixel 的亮度會和原始影像有所不同，
這可以模擬出不同攝影機成像之間肉眼無法辨識的細微差異。
圖 5-30和圖 5-31是添加AWGN後合成影像的平均PSNR。和未添加AWGN時相比，
整體的PSNR約下降了0.1dB。
圖 5-30 在圖 4-39 添加了 AWGN 後，各種運動行為的合成影像品質和略過的
Number of skipping Frames
Average PSNR
Monkey-Translation AWGN Monkey-Rotation AWGN Monkey-Leaving AWGN
Monkey-Approaching AWGN
Monkey-Cover AWGN
96
圖 5-31 在圖 5-16 添加了 AWGN 後，各種運動行為的合成影像品質和略過的 frame 數量之關係
圖 5-32 到圖 5-40 則是各張合成影像的 PSNR，可以看出除了 PSNR 下降之 外，整體的曲線趨勢和未添加 AWGN 時非常相似，在物體遠離及靠近兩種運動 行為中，也有出現略過較多的 frame 反而 PSNR 提昇的情況，顯然過於理想的影 像並不是造成此現象的主要原因。
31 31.1 31.2 31.3 31.4 31.5 31.6 31.7
0 1 3 7
dB
Number of skipping Frames
Average PSNR
Earth-Translation AWGN Earth-Rotation AWGN Earth-Leaving AWGN Earth-Approaching AWGN
97
Frame Number
Monkey-Trnaslation AWGN
Skipping 0 Frame Skipping 1 Frame Skipping 3 Frames Skipping 7 Frames
30.5
Frame Number
Monkey-Rotation AWGN
Skipping 0 Frame Skipping 1 Frame Skipping 3 Frames Skipping 7 Frames
98
圖 5-34 連續影像Monkey-Leaving加入AWGN後，在略過不同數量frame的情況下 的各張合成影像品質
Frame Number
Monkey-Leaving AWGN
Skipping 0 Frame Skipping 1 Frame Skipping 3 Frames Skipping 7 Frames
30.61
Frame Number
Monkey-Approaching AWGN
Skipping 0 Frame Skipping 1 Frame Skipping 3 Frames Skipping 7 Frames
99
Frame Number
Monkey-Covering AWGN
Skipping 0 Frame Skipping 1 Frame Skipping 3 Frames Skipping 7 Frames
30.7
Frame Number
Earth-Translation AWGN
Skipping 0 Frame Skipping 1 Frame Skipping 3 Frames Skipping 7 Frames
100
Frame Number
Earth-Rotation AWGN
Skipping 0 Frame Skipping 1 Frame Skipping 3 Frames Skipping 7 Frames
31.4
Frame Number
Earth-Leaving AWGN
Skipping 0 Frame Skipping 1 Frame Skipping 3 Frames Skipping 7 Frames
101
圖 5-40 連續影像 Earth-Approaching 加入 AWGN 後，在略過不同數量 frame 的情 況下的各張合成影像品質
31.3 31.35 31.4 31.45 31.5 31.55 31.6 31.65
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
dB
Frame Number
Earth-Approaching AWGN
Skipping 0 Frame Skipping 1 Frame Skipping 3 Frames Skipping 7 Frames
102
5.3.3 實驗討論
觀察實驗結果可以發現，參考影像間距越遠但合成結果越的好情況和原始影 像是否理想關係不大，而應該和物體運動方式有關。圖 5-41(a)(b)分別為在測試 資料 Monkey-Leaving 中使用完整視差估測方式得到的視差圖Dmap0，與利用間隔 三張 frame 的移動向量所得視差圖Dmap3，5-41(c)(d)則是各自利用Dmap0及Dmap3 各自合成的虛擬視點影像。在視差圖Dmap0中能判斷出物體本身前後距離；而在
視差圖Dmap3中，該物體僅有一種視差值。可見使用完整視差估測方式所得到的 視差結果是較為精確的。但比較兩張合成影像和實際影像之間的差異圖，我們發 現參考Dmap0所合成的結果，發生嚴重錯誤的區域其位置和視差值較高的位置相 同，如圖 5-41(e)。而參考精確度較差的Dmap3合成出來的結果卻沒有出現嚴重的 錯誤，如圖 5-42(f)。因此，我們認為這可能和視差圖Dmap0中視差值較高的區域 有關。
103
(a) (b)
(b) (d)
(e) (f)
圖 5-41 (a)Dmap0 (b)Dmap3 (c)使用Dmap0合成的影像 (d)使用Dmap3 合成的影像 (e)使用Dmap0合成的影像和實際影像的誤差 (f)使用Dmap3合成的影像和實際影像
的誤差
104
在圖 5-42 中，我們同時比較以完整視差估測方式所得到兩張相鄰的視差圖。
我們可以發現在這兩張視差圖上，視差值最高的區域在外觀上有著明顯的差異，
尤其是圖中標記的區域。這是因為實際上的視差值可能會有小數值，但在實驗中，
我們將視差值都視為整數，因此無法完整地描述物體前後移動時細微的連續變化。
這會造成最後利用視差值來對應內插位置時出現錯誤，例如圖 5-43 中，可以發 現在物體上出現了許多因對應位置視的視差值彼此不合，而無法合成的區域(圖 中黑色部份)，需要使用鄰近區域以內插方式來填補。
圖 5-42 使用完整視差估測方式得到的兩張相鄰影像視差
圖 5-43 利用圖 5-42 所合成出來的影像
而在圖 5-44 中是使用參考影像相距三張 frame 的移動向量所得到兩張相鄰 影像的視差圖。雖然這兩張視差圖和實際的視差情形差距較大，但是兩張視差圖
105
中的物體外觀整在體上顯得比圖 5-42 中的結果更為一致，這反而能夠降低最後 影像合成時對應位置視差值不合的情況。其結果如圖 5-45，可以看出在物體上不 會出現無法合成的區域，因此影像品質反而比圖 5-43 來的高。
圖 5-44 參考移動向量資訊得到的兩張相鄰影像視差
圖 5-45 利用圖 5-44 所合成出來的影像
從以上討論中，我們發現視差圖精確程度和最後合成影像的品質彼此關係不 一定是絕對的。在視差估測中，要精確地計算物體邊緣周遭的視差值是很困難的，
因為在物體邊緣部份很容易受到遮蔽效應的影響，這使得視差圖中的物體會常常 和實際影像中的外觀有所出入。對於一個在判斷精確的視差圖上的物體，視差圖 通常能夠表現出該物體本身的前後距離。但若相鄰的視差圖之間對於該物體的外 觀不一致，會發生在合成虛擬影像時應該互相對應的位置但是視差值卻不同的情
106
況，導致該物體上出現無法合成的區域，進而將低了影像品質；反之，較不精確 的視差圖之間對於該物體的外觀能有一致或相近的描述，則最後得合成影像仍然 會有不錯的品質。因此，在利用視差圖合成虛擬視點影像時，我們要追求的應該 是能夠穩定描述影像中物體資訊的視差圖，而不是最接近現實情況的視差圖。
107