深度圖(Depth map)經過現行視訊壓縮標準的編解碼後，將造成解碼重建 後深度圖有不同程度的失真。這些失真可能會影響到最終虛擬影像的合成品 質，例如在物體邊界的深度值發生錯誤時，可能明顯地造成主、客觀影像品質 評量上的降低。因此，本子計畫針對重建後的深度圖對虛擬影像合成的影響，
提出一個單一像素之合成誤差的檢測模型。透過此模型之分析，可有效預測出 每個像素可能造成的合成誤差。利用不同參照視角(Reference Views)畫面之 間 對 應 點 關 係 ， 找 出 隱 藏 的 深 度 資 訊 ， 並 依 此 修 正 不 可 靠 的 深 度 像 素 (Unreliable Depth Pixel)，使其在虛擬影像合成上可得到較好的品質。採用 現行最新的視訊壓縮標準對原始深度圖(圖 27) 進行壓縮後，並再解碼重建深 度圖 (圖 28)。主觀視覺比較上，可在圖 27 與圖 28 看見明顯的落差，例如圖 28 中，人背上的深度影像產生明顯的區塊效應(Block Effect)。
目前 MPEG 標準制定小組已出現兩篇於接收端修正深度圖的演算法：第一 篇由 Tanimoto 提出，其利用合成相鄰參照視角時的合成誤差，以 Linear Prediction 的方式，推測出虛擬視角可能的合成誤差，最後將此預測出來的 合成誤差補回虛擬視角之合成影像；第二篇由 Sung 提出，其利用合成虛擬視 角時，來自不同參照畫面的亮度值與深度值的差值，若此差值越過某個門檻 值，則判定此深度值需要被修正；其次，此方法為每個 Connected Component 找出一個最佳的深度值偏量，使得合成誤差可以降到最低。然而，上述方法未 考慮深度值壓縮的情況，兩者皆無法根據不同的壓縮品質進行調整，造成修改 的效能嚴重受到壓縮之品質所影響。
為解決上述問題，子計畫三設計一個單一像素之合成誤差的檢測模型，於 理 論 上 分 析 虛 擬 影 像 合 成 時 ， 所 有 可 能 影 像 合 成 品 質 的 因 素 。 根 據 Depth-Image-Based Rendering(DIBR)描述參照視角和虛擬視角的對應點關 係，如公式(1)：
1
1
: 1 1 1 Z
p
p p p
A RA A T
(1)其中
p
和p
分別為參照視角和虛擬視角的對應點座標，R 和 T 為虛擬相機的旋 轉矩陣與位移向量，A
和A
分別為參照相機和虛擬相機的相機內部參數，本文以
p ( ; Z
p)
簡化表示公式(1)之運算子。在深度圖沒有失真的情況下，可確 保p ( ; p Z
p)
，且亮度值相同I
T( )pI
R( )p ；若深度圖有失真(Z
p加上雜訊，
pp p
Z Z n
)，以q ( ; p Z
p)
表示，則合成誤差可由泰勒展開式逼近：
p
2 2
2
2
( ) ( ) ( ( ) ( )) ( ) ( ) ( ) ( )
( ) ( )
p R T R R
R R R
R
I I I I
I I I
I
p q p q
p p p q p
p q p
(2)
其中
q
1 q ; Z
q ， p 為I
R( )p
的 Gradient。利用p
、q
和q
三點的關係 Z
q Z
p n
p
q; p;
q'
，可將( q p )
可表示為公式(3)：圖27. 原始深度圖. 圖28. 解碼後之深度圖.
( ) p
q p p
n Z Z n
q p c (3)
其中
2 2 1
1
c I 0 AR T 。將
( q p )
帶入公式(2)，並導出下式：
2 p
p R
q p p
n I
Z Z n
p c
(4)在 MPEG FTV 的水平相機設置的限定下，位移矩陣只含水平方向之分量，因此 可將公式(4)簡化為下式：
2
2 2
p
p x
q p p
n g c
Z Z n
p
(5)其中
g
2x
p 為 p 的水平分量。因此，假設有真實(Ground-truth)深度資I
R
訊的情況下，計算出合成影像誤差的條件期望值：
Depth Value、Virtual Camera Location。本文給定公式(6)各種不同的參數設 定，並將結果描繪於圖 29 中，並提出四項詳細之觀察：Expected Synthesis Distortion
圖29. Measuring the depth-error sensitivity under various settings of
Z
p,Z
q andg
2x p
.圖30. A geometrical interpretation of the effect of