首先,本篇論文探討深度圖、自然影像與合成虛擬影像之關係,如圖 9。圖 9 不同曲線代表相同品質的自然影像,利用不同品質的深度圖,其合成虛擬影像 之客觀品質為何。由圖 9 可以獲得三個結論:
1. 觀察不同的曲線,可以觀察出不同影片在相同資料量時,為了讓合成虛 擬影像之客觀品質較好,分配給自然影像之資料量應該比深度圖之資料 量多,如圖 9 不同影片之紅色虛線。本篇論文的研究在於深度圖壓縮,
因此為了只讓深度圖影響合成虛擬影像之主、客觀品質,將採用高品質 的自然影像以提供合成之用。
2. 觀察單一的曲線,除了某些特定影片( 如 Door Flowers )之外,其餘影片 的深度圖品質即使受到嚴重的破壞,影響合成虛擬影像之客觀品質還是 有限。對於 Door Flowers 來說,在相同資料量時,為了讓合成虛擬影像 之客觀品質較好,分配給深度圖之資料量應該比自然影像之資料量多,
如圖 9 中 Door Flowers 影片之藍色虛線;如果一味的增加自然影像之品 質,而不增加深度圖之品質,則會發現合成虛擬影像之品質幾乎不變,
如圖 9 中 Door Flowers 影片之綠色虛線。本篇論文之研究會著重在深 度圖失真後會嚴重影響合成虛擬影像之客觀品質,才得以比較與 MVC 之間的優劣。
3. 為了以最少的資料量達到最好的合成虛擬影像之品質,將所有影片之自 然影像與深度圖最佳比例描繪出來,如圖 9 之紫色曲線,會發現在使用 者可以接受的合成品質的情況下,大多數深度圖和自然影像的資料量比 例相當低,因此可以得出深度圖需要在低資料量的限制下壓縮。
接著,本篇論文以 MVC 之壓縮標準分析深度圖使用 Intra 和階層 B 影像 預測模式之間的差異,其方法為分別比較合成虛擬影像之客觀品質、壓縮效率與 壓縮運算複雜度。
從合成虛擬影像之客觀品質來看,分別使用 Intra 和階層 B 影像預測模式壓 縮深度圖,其合成虛擬影像之誤差值平均為 0~0.3 之間,如圖 10,再以主觀視覺 觀察兩者,其合成虛擬影像也幾近相同,如圖 11。
Newspaper
Bit-rate (kbps)
0 1000 2000 3000 4000 5000
PSNR
0 1000 2000 3000 4000 5000 6000 7000
PSNR
0 500 1000 1500 2000 2500 3000 3500 4000
PSNR
0 1000 2000 3000 4000 5000 6000
PSNR
0 2000 4000 6000 8000 10000
PSNR
0 2000 4000 6000 8000 10000
PSNR
14
Newspaper
Bit-rate (kbps)
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 5500
PSNR
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 5500
PSNR
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 5500
PSNR
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 5500
PSNR
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 5500
PSNR
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 5500
PSNR
(a) (b)
圖 11 比較 Intra 與 階層 B 影像壓縮架構之主觀視覺。(a) Intra;(b) 階層 B 影像壓縮架構
比較 Intra 與階層 B 影像壓縮架構之壓縮效率與運算複雜度方面,在圖 9 可以得知,絕大多數的影片不需要高品質的深度圖以提供合成虛擬影像,所以本 篇論文從圖 9 找出各個影片之自然影像與深度圖資料量的最佳比例,如圖 12 (a) 紅色星星表示之。由圖 12 (a) 中可以發現,使用階層 B 影像架構的壓縮效率是 Intra 的數倍;不過將圖 12 (a) 紅色框框放大來看,如圖 12 (b),會發現兩者與 自然影像資料量的比例差不超過 6%,Intra 和階層 B 影像與自然影像資料量平均 比例分別為 4% ~ 9%與 1% ~ 3%,但階層 B 影像壓縮架構之運算複雜度遠大於 Intra,如表 1。因此,本篇論文之深度圖壓縮演算法以壓縮單張深度圖出發,目 的是除了希望讓運算複雜度較 MVC 的 Intra 預測模式小之外,還可以提高其壓 縮效率。
表 1 比較 Intra 與 階層 B 影像壓縮架構之平均運算複雜度 ( 單位:秒 ) Lovebird1 Newspaper Door Flowers Dog
Intra 18 20 14 32
Hierarchical B picture 206 235 184 316
16
Newspaper
QP
QP=22 QP=25 QP=28 QP=31 QP=35 QP=38 QP=41 QP=44
Ratio between depth and intensity bit-rate
0.0
Ratio between depth and intensity bit-rate
0.00
QP=25 QP=28 QP=31 QP=35 QP=38 QP=41 QP=44
Ratio between depth and intensity bit-rate
0.0
Ratio between depth and intensity bit-rate
0.00
QP=22 QP=25 QP=28 QP=31 QP=35 QP=38 QP=41 QP=44
Ratio between depth and intensity bit-rate
0.0
QP=31 QP=35 QP=38 QP=41 QP=44
Ratio between depth and intensity bit-rate
0.00
Leaving Laptop
QP
QP=25 QP=28 QP=31 QP=35 QP=38 QP=41 QP=44
Ratio between depth and intensity bit-rate
0.0
Ratio of depth and intensity bit-rate
0.00
QP=22 QP=25 QP=28 QP=31 QP=35 QP=38 QP=41 QP=44
Ratio between depth and intensity bit-rate
0.0
Ratio of depth and intensity bit-rate
0.00
QP=22 QP=25 QP=28 QP=31 QP=35 QP=38 QP=41 QP=44
Ratio between depth and intensity bit-rate
0.0
Ratio between depth and intensity bit-rate
0.00
18
Histogram of Depth Map
Number of distinct values
0 5 10 15 20
Histogram of Color Image
Number of distinct values
0 5 10 15 20