Mode Determination、Quantization、Residual Extraction

以區塊大小為 16x16 分割深度圖，每個區塊採取眾數演算法決定該區塊代表 的眾數深度值，其目的為盡可能降低需要傳送至接收端的資料量；所有區塊之眾 數決定後，即可將之壓縮至接收端。對於其它與眾數不同的像素深度值必須經由 壓縮並傳送至接收端，判斷條件如下：

𝐃_𝑖 = 𝑀, 𝑖𝑓 𝐃_𝑖 − 𝑀 < 𝑇𝐻₁;

𝐃_𝑖, 𝑒𝑙𝑠𝑒 . (3)

其中 𝐃_𝑖 為該區塊某一點的深度值、𝑀 為該區塊之眾數值、𝑇𝐻₁ 為使用者 設定門檻之常數，若該像素深度值與眾數之絕對值差小於使用者所訂立的門檻，

則該像素深度值可被眾數取代。𝑇𝐻₁ 為控制深度圖品質之用，其效果類似於 AVC 中的 QP 設定，𝑇𝐻₁ 越大，雖然可以增加深度圖之壓縮效率，但是也降低 深度圖之品質。

由此可知道本篇論文採用的深度值預測方式為眾數，和其他影像壓縮演算法 的平均數的不同之處在於深度圖與自然影像特性不同，一般壓縮演算法採用的是 最小均方根預測該像素值。若深度圖以平均數來預測深度值的話，雖然可以滿足 最小均方根之特性，不過深度圖每個像素深度值都會有些許的誤差，造成合成虛 擬影像會有不可預期之瑕疵。若像素深度值採用眾數預測的話，與眾數相差極大 的部分會額外編碼，企圖維持深度圖之幾何特性。

剩餘未被眾數取代的像素深度值，本篇論文將之稱為 Residual，如圖 14。由 圖 14 可以觀察出大多數 Residual 分佈在物體邊界處上；少部份的 Residual 分 佈在平坦區域內，而分佈在平坦區的 Residual 可以被鄰近的深度值取代，因為 並不會造成合成影像之誤差上有很大的影響。

以圖 18 為例，圖 18 (a) 為原始深度圖，其畫面大小為 8x8，分割區塊大小 為 4x4，經由眾數演算法各自區塊的眾數深度值分別為 20、60、90 和 20，如圖 18 (b)；經過公式 3 計算後，圖 18 (c) 彩色部份為 Residual 之分布。

20

不同影片之深度圖，其公式 3 之門檻 𝑇𝐻₁ 設定也會有所不同，本篇論文並 沒有深入探討如何將 𝑇𝐻₁ 加以模組化，而直接依據該深度圖之像素深度值分布 決定該門檻 𝑇𝐻₁ 之設定，以達到減少壓縮深度資訊之目的。

如果 𝑇𝐻₁ 之門檻設定非常寬鬆時，原本該區塊有明顯的前後景之深度相對 關係，會變成只有單一前景或後景之深度值，導致無法透過之後的深度圖修補演 算法 ( §4.3 ) 來解決深度資訊失真之問題，並嚴重影響合成虛擬影像之主、客 觀品質，如圖15 中的海報板與桌子之間，深度圖之深度值由原本前景的深度值 變成後景之深度值，因此在合成虛擬影像時，該位置產生極大的合成誤差；若該 區塊有 Residual 之資訊時，使用 ( §4.3 ) 的深度圖修補演算法則可以有效的修 補挑選 Residual 所造成深度資訊的失真，降低合成虛擬影像之誤差。

若將每個區塊之眾數分別填入對應的區塊，如圖 16，以主觀視覺的方式評斷，

可以發現由眾數產生的深度圖在空間定義上具有高 度相關性；不過眾數和 Residual 兩者之間並沒有相關性，因此分別壓縮眾數以及 Residual 時，其壓縮 效率遠比將眾數及 Residual 合起來壓縮還來的高。

最後將 Residual 與眾數壓縮並傳送至接收端，Residual 壓縮方法的部份將 由下一個章節闡述之。

圖 14 Residual 之分布圖

(a) (b)

圖 15 公式 3 之 𝑇𝐻₁ 設定對主觀視覺之影響。(a) 𝑇𝐻₁ 條件較嚴苛；(b) 𝑇𝐻₁ 條件較寬鬆

圖 16 眾數填入對應區塊產生的深度圖

22