本篇論文針對深度圖與自然影像做分析，並根據深度圖之特性加以設計低複 雜度壓縮演算法。藉由深度圖在空間定義上有高度相關之特性，在前處理端使用 眾數演算法，將需要的深度資訊壓縮並傳輸至接收端；接收端重建深度圖後，再 經由簡單的線性權重之過濾器以修補壓縮重建後深度圖，提高合成影像之主、客 觀品質。因此，本篇論文在不影響合成虛擬影像的主、客觀品質下，不僅對網路 頻寬的需求較 MVC 少 4% ~ 13%，運算複雜度也較 MVC 少 5% ~ 15%。
本篇論文在 Entropy Coding 的部分採用現今無失真資料壓縮演算法，此壓 縮方法是針對一般資料之特性所設計，並不是針對本篇論文產生之參數所設計，
所以未來應針對本篇論文之參數特性設計一套 Entropy Coding。
由於本篇論文之演算法的一些門檻之參數(如公式 3 之 𝑇ℎ1 )並沒有依據不 同的影片的資料分布與特性，而加以模組化，目前是以訓練參數之方式，找出適 合不同影片的門檻之參數。在重建深度圖的後處理上，僅利用前處理產生深度值 失真的原因，做簡單的修補，若可以偵測哪些像素深度值需要被修補，便可以增 加合成虛擬影像之主、客觀品質。
本篇論文所提供的演算法，僅利用該張深度圖資訊設計演算法，未來應可以 再擴充 Temporal 及 Inter-view 在統計上有相關之特性，設計深度圖壓縮演算 法。
34
0 500 1000 1500 2000 2500 3000
PSNR
0 500 1000 1500 2000 2500
PSNR
0 1000 2000 3000 4000
PSNR
0 200 400 600 800 1000 1200
PSNR
Newspaper
Bit-rate (kbps)
0 200 400 600 800 1000 1200 1400 1600 1800
PSNR
0 200 400 600 800 1000 1200
PSNR
0 500 1000 1500 2000 2500 3000 3500 4000
PSNR
0 500 1000 1500 2000 2500 3000 3500
PSNR
36
(a)
(b)
(c)
圖 26 Champagne Tower，深度圖與其合成虛擬影像之主觀視覺比較。(a) 原 始深度圖；(b) MVC Intra Prediction；(c) Proposed
(a) (b) (c) (d) 圖 27 Book Arrival，合成虛擬影像之主觀視覺比較。(a) Original；(b) MVC All Intra Prediction；(c) MVC Inter Prediction；(d) Proposed
38
(a) (b) (c) (d) 圖 28 Door Flowers，合成虛擬影像之主觀視覺比較。(a) Original；(b) MVC All Intra Prediction；(c) MVC Inter Prediction；(d) Proposed
(a) (b) (c) (d) 圖 29 Leaving Laptop。(a) Original；(b) MVC All Intra Prediction；(c) MVC Inter Prediction；(d) Proposed
(a) (b) (c) (d) 圖 30 Lovebird1，合成虛擬影像之主觀視覺比較。(a) Original；(b) MVC All Intra Prediction；(c) MVC Inter Prediction；(d) Proposed
40
(a) (b) (c) (d)
圖 31 Newspaper，合成虛擬影像之主觀視覺比較。(a) Original；(b) MVC All Intra Prediction；(c) MVC Inter Prediction；(d) Proposed
附錄
表 6 深度圖限制在高資料量的情況下，R.I. 預測模式的比例關係 模式 1 模式 2 模式 3
Lovebird1 36.7% 13.6% 49.7%
Lovebird2 36.7% 18.3% 45.0%
Newspaper 41.2% 9.10% 49.7%
Alt Moabit 13.6% 17.8% 68.6%
Book Arrival 39.6% 8.50% 51.9%
Door Flowers 31.1% 12.1% 56.8%
Leaving Laptop 45.7% 7.90% 46.4%
Champagne Tower 24.3% 12.1% 63.6%
Dog 45.5% 16.2% 38.3%
Pantomime 28.3% 20.8% 50.9%
表 7 深度圖限制在低資料量的情況下，R.I. 預測模式的比例關係 模式 1 模式 2 模式 3
Lovebird1 80.8% 2.4% 16.8%
Lovebird2 79.0% 2.4% 18.6%
Newspaper 72.1% 2.9% 25.0%
Alt Moabit 93.1% 0.5% 6.40%
Book Arrival 70.2% 4.5% 25.3%
Door Flowers 65.0% 9.3% 25.7%
Leaving Laptop 70.3% 4.8% 24.9%
Champagne Tower 81.0% 2.0% 17.0%
Dog 74.3% 7.0% 18.7%
Pantomime 85.4% 4.6% 10.0%
42
參考文獻
[1] C. Fehn, R. Barre, and R. S. Pastoor, “Interactive 3-DTV: Concepts and Key Technologies,” Proceedings of the IEEE, vol. 94, pp. 524-538, March 2006.
[2] C. Fehn, “A 3D-TV Approach Using Depth-Image-Based Rendering (DIBR),”
Proceedings of Visualization, Imaging, and Image Processing, September 2003
[3] C. L. Zitnick, S. B. Kang, M. Uyttendaele, S. Winder, and R. Szeliski,
“High-Quality Video View Interpolation Using a Layered Representation,” ACM Transactions on Graphics, vol. 23, pp. 600-608, August 2004.
[4] A. Smolic, K. Muller, K. Dix, P. Merkle, P. Kauff, and T. Wiegand, “Intermediate View Interpolation based on Multiview Video plus Depth for Advanced 3D Video Systems,” IEEE Int’l Conf. on Image Processing, October 2008.
[5] E. Cooke, P. Kauff, and T. Sikora, “Multi-view Synthesis: A Novel View Creation Approach for Free Viewpoint Video,” Signal Processing: Image Communication, vol. 21, pp. 476-492, July 2006
[6] B. Kamolrat, W. Fernando, M. Mrak, and A. Kondoz, “3D motion estimation for depth image coding in 3D video coding,” IEEE Transactions on Consumer Electronics, vol. 55, 2009, pp. 824-830.
[7] B. Kamolrat, W. Fernando, and M. Mrak, “3D motion estimation for depth information compression in 3D-TV applications,” Electronic Letters, vol. 44, Oct. 2008, pp. 1244-1245.
[8] S. Grewatsch and E. Miiler, “Sharing of Motion Vectors in 3D Video Coding,”
Int. Cong. Image Processing, pp. 3271-3274, 2004
[9] P. Merkle, Y. Morvan, A. Smolic, D. Farin, K. Müller, P. de With, and T.
Wiegand, “The effects of multiview depth video compression on multiview rendering,” Signal Processing: Image Communication, vol. 24, Jan. 2009, pp.
73-88.
[10] Min-Koo Kang, Jaejoon Lee, Jin Young Lee, Yo-Sung Ho, “Geometry-based Block Partitioning for Efficient Intra Prediction in Depth Video Coding,” Proc.
SPIE, vol. 7543 75430A, 2010, pp.1-11.
[11] Kwan-Jung Oh, Sehoon Yea, A. Vetro, Yo-Sung Ho, “Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video,” IEEE Signal Processing Letters, vol. 16, 2009, pp. 747-750.