4.3 模擬與結果 (Simulation and Results)
4.3.2 實驗模擬結果
4.3.2.3 實驗第三部份：攝影機位置的差異性對於合成結果的表現
Data set Champagne
tower Kendo Book arrival Newspaper
CorrespondingDepth map
Experiment part II.
(Depth maps by DERS 4.9 + VS methods)
OriginalViewpoint Pair (OL-OR)
39-41 03-05 08-10 04-06
Experiment part III.
(Depth maps by DERS 4.9 + VS methods + New Camera Location)
OriginalViewpoint Pair (OL-OR)
38-42 02-05 08-11 03-07 Synthesized
viewpoint 40 04 09 05
74
Test sequences: Newspaper (GIST)
Ground truth DERS4.9+VSRS 2.0 (Integral pixel)
DERS4.9+VSRS 2.0 (Half pixel) DERS4.9+VSRS 2.0 (Quarter pixel)
DERS4.9 + TBTW + MB DERS4.9 + TBTW
圖 4-40 測試影像 “Newspaper＂利用 DERS 4.9 產生的景深圖由視點 04 與視點 06 所合成的虛擬視點 05 結果比較圖
Test sequences: Newspaper (GIST)
Ground truth DERS4.9+VSRS 2.0 (Integral pixel)
DERS4.9+VSRS 2.0 (Half pixel) DERS4.9+VSRS 2.0 (Quarter pixel)
DERS4.9 + TBTW + MB DERS4.9 + TBTW
圖 4-41 測試影像 “Newspaper＂利用 DERS 4.9 產生的景深圖由視點 04 與視點 06 所合成的虛擬視點 05 細部結果放大比較圖
76
圖 4-42 DERS 4.9 產生視點 04 與視點 06 的景深圖對於視點合成演算法在測試影 像 “ Newspaper＂視點 05 的前 30 張影像 PSNR 表現
圖 4-43 DERS 4.9 產生視點 04 與視點 06 的景深圖對於視點視點合成演算法針對
測試影像 “Newspaper＂視點 05 的前 30 張影像上的平均 PSNR 表現
20 22 24 26 28 30 32
VSRS 2.0 with integral pixel
VSRS 2.0 with half pixel
VSRS 2.0 with quarter pixel
TBTW + MB TBTW
Depth Maps by MPEG Depth Maps by DERS4.9
Depth Maps by DERS4.9 + New Camera Location
Test sequences: Kendo (Nagoya Univ.)
Ground truth DERS4.9+VSRS 2.0 (Integral pixel)
DERS4.9+VSRS 2.0 (Half pixel) DERS4.9+VSRS 2.0 (Quarter pixel)
DERS4.9 + TBTW + MB DERS4.9 + TBTW
圖 4-44 測試影像 “Kendo＂利用 DERS 4.9 產生的景深圖由視點 02 與視點 05 所合成的虛擬視點 04 結果比較圖
78
Test sequences: Kendo (Nagoya Univ.)
Ground truth DERS4.9+VSRS 2.0 (Integral pixel)
DERS4.9+VSRS 2.0 (Half pixel) DERS4.9+VSRS 2.0 (Quarter pixel)
DERS4.9 + TBTW + MB DERS4.9 + TBTW
圖 4-45 測試影像 “Kendo＂利用 DERS 4.9 產生的景深圖由視點 02 與視點 05 所合成的虛擬視點 04 細部放大結果比較圖
圖 4-46 DERS 4.9 產生視點 02 與視點 05 的景深圖對於視點視點合成演算法在測 試影像 “Kendo＂視點 04 的前 30 張影像 PSNR 表現
圖 4-47 DERS 4.9 產生視點 02 與視點 05 的景深圖對於視點視點合成演算法針對
測試影像 “Kendo＂視點 04 的前 30 張影像上的平均 PSNR 表現
28 30 32 34 36 38 40
VSRS 2.0 with integral pixel
VSRS 2.0 with half pixel
VSRS 2.0 with quarter pixel
TBTW + MB TBTW
Depth Maps by MPEG Depth Maps by DERS4.9
Depth Maps by DERS4.9 + New Camera Location
80
Test sequences: Champagne tower (Nagoya Univ.)
Ground truth DERS4.9+VSRS 2.0 (Integral pixel)
DERS4.9+VSRS 2.0 (Half pixel) DERS4.9+VSRS 2.0 (Quarter pixel)
DERS4.9 + TBTW + MB DERS4.9 + TBTW
圖 4-48 測試影像 “Champagne tower＂利用 DERS 4.9 產生的景深圖由視點 38 與視點 42 所合成的虛擬視點 40 結果比較圖
Test sequences: Champagne tower (Nagoya Univ.)
Ground truth DERS4.9+VSRS 2.0 (Integral pixel)
DERS4.9+VSRS 2.0 (Half pixel) DERS4.9+VSRS 2.0 (Quarter pixel)
DERS4.9 + TBTW + MB DERS4.9 + TBTW
圖 4-49 測試影像 “Champagne tower＂利用 DERS 4.9 產生的景深圖由視點 38 與視點 42 所合成的虛擬視點 40 細部放大結果比較圖
82
圖 4-50 DERS 4.9 產生視點 38 與視點 42 的景深圖對於視點視點合成演算法在測 試影像 “Champagne tower＂視點 40 的前 30 張影像 PSNR 表現
圖 4-51 DERS 4.9 產生視點 38 與視點 42 的景深圖對於視點視點合成演算法針對
測試影像 “Champagne tower＂視點 40 的前 30 張影像上的平均 PSNR 表現
22 24 26 28 30 32
VSRS 2.0 with integral pixel
VSRS 2.0 with half pixel
VSRS 2.0 with quarter pixel
TBTW + MB TBTW
Depth Maps by MPEG Depth Maps by DERS4.9
Depth Maps by DERS4.9 + New Camera Location
Test sequences: Book arrival (HHI)
Ground truth DERS4.9+VSRS 2.0 (Integral pixel)
DERS4.9+VSRS 2.0 (Half pixel) DERS4.9+VSRS 2.0 (Quarter pixel)
DERS4.9 + TBTW + MB DERS4.9 + TBTW
圖 4-52 測試影像 “Book arrival＂利用 DERS 4.9 產生的景深圖由視點 08 與視 點 11 所合成的虛擬視點 09 結果比較圖
84
Test sequences: Book arrival (HHI)
Ground truth DERS4.9+VSRS 2.0 (Integral pixel)
DERS4.9+VSRS 2.0 (Half pixel) DERS4.9+VSRS 2.0 (Quarter pixel)
DERS4.9 + TBTW + MB DERS4.9 + TBTW
圖 4-53 測試影像 “Book arrival＂利用 DERS 4.9 產生的景深圖由視點 08 與視 點 11 所合成的虛擬視點 09 細部放大結果比較圖
圖 4-54 DERS 4.9 產生視點 08 與視點 11 的景深圖對於視點視點合成演算法在測 試影像 “Book arrival＂視點 09 的前 30 張影像 PSNR 表現
圖 4-55 DERS 4.9 產生視點 08 與視點 11 的景深圖對於視點視點合成演算法針對
測試影像 “Book arrival＂視點 09 的前 30 張影像上的平均 PSNR 表現
31 32 33 34 35 36 37 38
VSRS 2.0 with integral pixel
VSRS 2.0 with half pixel
VSRS 2.0 with quarter pixel
TBTW + MB TBTW
Depth Maps by MPEG Depth Maps by DERS4.9
Depth Maps by DERS4.9 + New Camera Location
86
實驗結果與分析
表 12 表示分別輸入 MPEG 所提供四種不同的 FTV 測試影像景深圖： “Book arrival”、 “Champagne tower”、 “Newspaper” 以及 “Kendo”的前 30 張影像進行 視點合成演算法的平均 PSNR 的結果。
表 12 MPEG 測試影像提供的景深圖對於前 30 張合成影像的平均 PSNR 效能表 現
Test sequences Newspaper Champagne
tower Kendo Book Arrival
Viewpoint pair 04-06 39-41 03-05 08-10
Our proposed VS method
TBTW + MB 30.36 28.62 34.47 32.67
TBTW 32.06 29.89 37.06 34.42
VSRS 2.0
VSRS 2.0 withintegral pixel 32.26 30.98 37.65 35.46 VSRS 2.0 with
half pixel 32.82 31.57 38.36 37.25 VSRS 2.0 with
quarter pixel 32.82 31.57 38.35 36.42
表 13 表示利用 DERS 4.9 產生的景深圖[23]進行視點合成演算法的平均 PSNR 結果，左欄表格表示原始位置進行視點合成演算法的平均 PSNR 表現及影 像品質，右欄表格為利用較遠的攝影機位置進行視點合成演算法且觀察其平均 PSNR 表現。
對於 MPEG 測試影像 “Newspaper”，我們所提出的演算法與參考軟體 VSRS 2.0 以整數為單位畫素的合成影像品質均較前兩個實驗結果差，如圖 4-40 與圖 4-41 所示。以平均 PSNR 的數值而言，我們的演算法相較 VSRS 2.0 大略差 不多。以 MPEG 測試影像 “Kendo”而言，畫面中仍有許多瑕疵現象仍待改善，
但整體的平均 PSNR 表現相較於實驗的第二部分大約下降 0.5 到 1dB 不等。
對於 MPEG 測試影像 “Champagne tower”，圖 4-49 表示為我們所提出的演
Test sequences Newspaper Champagne
tower Kendo Book Arrival
Viewpoint pair 04-06 03-07 39-41 38-42 03-05 02-05 08-10 08-11
Our proposed VS method
TBTW + MB 29.95 25.12 27.39 24.03 33.69 30.96 33.05 32.54 TBTW 31.63 26.41 28.81 25.04 36.23 32.35 34.86 34.04
VSRS 2.0
VSRS 2.0 withintegral pixel 31.57 26.38 31.22 26.35 36.67 34.30 35.33 34.94 VSRS 2.0 with
half pixel 31.85 27.87 31.55 27.25 37.39 35.28 37.40 36.20 VSRS 2.0 with
quarter pixel 31.85 27.87 31.55 27.25 37.39 35.27 36.40 36.10
對於 VSRS 2.0 而言，以二分之一或是四分之一畫素單位合成影像，可以發 現對於攝影機距離較遠所合成出來的平均 PSNR 約下降 0.4dB 到 5dB 左右。攝影 機距離越遠，則平均 PSNR 值下降越多，相較於以整數畫素為單位的合成影像而 言，PSNR 值約略高於 0.8dB 到 1.5dB。以實驗第二部份而言，以子畫素為單位 合成影像品質的平均 PSNR 值約成長 0.3dB 到 0.8dB 左右，相較於實驗的第三部
88
份，以子畫素為單位合成影像品質的平均 PSNR 值較為穩定。
以實驗整體的第三部分而言，在合成虛擬視點影像的過程中，若是攝影機的 擺放位置並非密集的擺放，則對於合成端所產生的影像結果以及平均 PSNR 數值 的確有待加強。如果我們再針對三角形對三角型投影映射後的合成影像結果做一 些後續的濾波器處理，也許會得到更佳的效果。
結論
針對物體邊緣處容易產生一些不連續性的瑕疵現象，對於 VSRS 2.0 而言使 用以子畫素為單位相較以整數畫素為單位的合成影像而言，擁有較佳的主觀視覺 品質。與 TBTW 演算法相比，由於三角形對三角形映射的過程中，將三角形區 域內的紋理直接映射，並未做任何修改。因此將左右兩張映射後的參考影像做線 性疊合時，紋理複雜的部分容易造成影像模糊的問題。
以整體而言，景深圖的品質的確對於合成影像的平均 PSNR 表現有些差異，
DERS 4.9 產生的景深圖品質相較於 MPEG 測試影像所提供的景深圖來看，MPEG 測試影像的景深圖對於整體 PSNR 的表現較佳。
在合成虛擬視點影像的過程中，若攝影機的擺放位置並非密集的擺放，則對 於合成端所產生的影像結果以及平均 PSNR 數值的確有待加強。攝影機距離越遠，
則平均 PSNR 值下降越多，相較於以整數畫素為單位的合成影像而言，平均 PSNR 值表現較佳。以實驗的第二部份相較於第三部份的平均 PSNR 結果，以子畫素為 單位合成影像品質的平均 PSNR 值較為穩定許多。與 TBTW 演算法相比，或許 我們可以針對三角形對三角型投影映射後的合成影像結果做一些後續的濾波器 處理，也許會得到更佳的效果。