實驗第一部份：MPEG 測試影像提供的景深圖對於合成結果的表現

在實驗第一部分我們將利用 MPEG 測試影像中所提供的景深圖當作是輸入 測試影像的對應景深圖並且觀察其成像結果，其輸入規格如表 6 所示。

表 6 MPEG 測試影像以及對應景深圖

Data set

Champagne tower

Kendo Book arrival Newspaper

Input image

Corresponding Depth map

Original Viewpoint Pair

(OL-OR)

39-41 03-05 08-10 04-06

Synthesized

viewpoint 40 04 09 05

44 

Test sequences: Newspaper (GIST)

Ground truth VSRS 2.0 (Integral pixel)

VSRS 2.0 (Half pixel) VSRS 2.0 (Quarter pixel)

TBTW + MB TBTW

圖 4-8 測試影像 “Newspaper＂由視點 04 與視點 06 所合成的虛擬視點 05 結果 比較圖

Test sequences: Newspaper (GIST)

Ground truth VSRS 2.0 (Integral pixel)

VSRS 2.0 (Half pixel) VSRS 2.0 (Quarter pixel)

TBTW + MB TBTW

圖 4-9 測試影像 “Newspaper＂由視點 04 與視點 06 所合成的虛擬視點 05 細部 結果放大比較圖 

46 

圖 4-10 不同的視點合成演算法在測試影像 “Newspaper＂視點 05 的前 100 張 影像 PSNR 表現

  圖 4-11 不同的視點合成演算法針對測試影像 “Newspaper＂ 視點 05 的前 100

張影像上的平均 PSNR 表現

29 29.5 30 30.5 31 31.5 32 32.5 33 33.5

VSRS 2.0 with integral pixel VSRS 2.0 with half pixel VSRS 2.0 with quarter pixel

Lu Yang [16] TBTW + MB TBTW

Test sequences: Kendo (Nagoya Univ.)

Ground truth VSRS 2.0 (Integral pixel)

VSRS 2.0 (Half pixel) VSRS 2.0 (Quarter pixel)

TBTW + MB TBTW

圖 4-12 測試影像 “Kendo＂由視點 03 與視點 05 所合成的虛擬視點 04 結果比 較圖

48 

Test sequences: Kendo (Nagoya Univ.)

Ground truth VSRS 2.0 (Integral pixel)

VSRS 2.0 (Half pixel) VSRS 2.0 (Quarter pixel)

TBTW + MB TBTW

圖 4-13 測試影像 “Kendo＂由視點 03 與視點 05 所合成的虛擬視點 04 細部放 大結果比較圖

圖 4-14 不同的視點合成演算法在測試影像 “Kendo＂視點 04 的前 100 張影像 PSNR 表現

  圖 4-15 不同的視點合成演算法針對測試影像 “Kendo＂視點 04 的前 100 張影

像上的平均 PSNR 表現

32 33 34 35 36 37 38 39

VSRS 2.0 with integral pixel VSRS 2.0 with half pixel VSRS 2.0 with quarter pixel

Lu Yang [16] TBTW + MB TBTW

50 

Test sequences: Champagne tower (Nagoya Univ.)

Ground truth VSRS 2.0 (Integral pixel)

VSRS 2.0 (Half pixel) VSRS 2.0 (Quarter pixel)

TBTW + MB TBTW

圖 4-16 測試影像 “Champagne tower＂由視點 39 與視點 41 所合成的虛擬視點 40 結果比較圖

Test sequences: Champagne tower (Nagoya Univ.)

Ground truth VSRS 2.0 (Integral pixel)

VSRS 2.0 (Half pixel) VSRS 2.0 (Quarter pixel)

TBTW + MB TBTW

圖 4-17 測試影像 “Champagne tower＂由視點 39 與視點 41 所合成的虛擬視點 40 細部放大結果比較圖

52 

圖 4-18 不同的視點合成演算法在測試影像 “Champagne tower＂視點 40 的前 100 張影像 PSNR 表現

  圖 4-19 不同的視點合成演算法針對測試影像 “Champagne tower＂ 視點 40 的

前 100 張影像上的平均 PSNR 表現

26 27 28 29 30 31 32

VSRS 2.0 with integral pixel VSRS 2.0 with half pixel VSRS 2.0 with quarter pixel

Lu Yang [16] TBTW + MB TBTW

Test sequences: Book Arrival (HHI)

Ground truth VSRS 2.0 (Integral pixel)

VSRS 2.0 (Half pixel) VSRS 2.0 (Quarter pixel)

TBTW + MB TBTW

圖 4-20 測試影像 “Book arrival＂由視點 08 與視點 10 所合成的虛擬視點 09 結 果比較圖

54 

Test sequences: Book Arrival (HHI)

Ground truth VSRS 2.0 (Integral pixel)

VSRS 2.0 (Half pixel) VSRS 2.0 (Quarter pixel)

TBTW + MB TBTW

圖 4-21 測試影像 “Book arrival＂由視點 08 與視點 10 所合成的虛擬視點 09 細 部放大結果比較圖

圖 4-22 不同的視點合成演算法在測試影像 “Book arrival＂視點 09 的前 100 張 影像 PSNR 表現

  圖 4-23 不同的視點合成演算法針對測試影像 “Book arrival＂ 視點 09 的前 100

張影像上的平均 PSNR 表現

30 31 32 33 34 35 36 37 38

VSRS 2.0 with integral pixel VSRS 2.0 with half pixel VSRS 2.0 with quarter pixel

Lu Yang [16] TBTW + MB TBTW

56 

分析與討論

表 7 表示我們分別針對 MPEG 所提供四種不同的 FTV 測試影像： “Book arrival”、 “Champagne tower”、 “Newspaper” 以及 “Kendo”的前 100 張影像進 行視點合成演算法的平均 PSNR 的結果。事實上，可以發現我們使用多率頻段疊 題。這是造成我們所提出的演算法架構對於測試影像 “Champagne tower”的平均 PSNR 數值低落的主因。從圖 4-19 中，我們的平均 PSNR 數值與[16]是差不多的。

對於測試影像 “Book arrival”而言，圖 4-20 表示為 TBTW 演算法以及參考 軟體 VSRS 2.0 以整數單位畫素的視點 09 合成結果。合成影像在人的頭部附近以 及桌椅較細小的握把部分，容易產生一些肉眼可見的不連續現象，如圖 4-21 所 示。對於主觀視覺而言，MPEG 測試影像 “Book arrival”的場景中，椅子仍然有

許多肉眼可見的不連續性產生。其原因在於我們的演算法使用特徵點的方式，若 要切割較細小的物體是十分困難的，使得測試影像 “Book arrival”對於 PSNR 的 表現較為差。

表 7 MPEG 測試影像前 100 張合成影像的平均 PSNR 效能表現

Test sequences Newspaper Champagne

tower Kendo Book Arrival

Our proposed method

TBTW + MB 30.36 28.62 34.47 32.67

TBTW 32.06 29.89 37.06 34.42

VSRS 2.0

integral pixel 32.26 30.98 37.65 35.83 VSRS 2.0 with

half pixel 32.82 31.57 38.36 37.22 VSRS 2.0 with

quarter pixel 32.82 31.57 38.35 36.47

Others

58