可信賴模型之門檻參數決策 (Threshold Decision about Reliability Model)

本實驗在前面有針對景深圖映射後的各種修復演算法加以實驗與探討，對於本篇論 文所提出的演算法架構而言效果最佳；但是所使用的可信賴模型中，須考慮到兩種參 數，分別為 thread_cont 與 thread_desc，用於連續圖與下降圖的生成。以下將會針對 Kendo 標準測試影像，歸納出最佳的門檻值，使得最後的合成品質上，其質量評估可以 達到最佳化效果。

為了簡化問題，我們使用最簡單的合成系統，亦即考慮金字塔型影像修補階層 0、

並且不採用瑕疵抑制演算法，如下表 12 所示：

表 12 環境設定：平行景深圖映射後修復方法中門檻參數對合成品值影響

Parameters Setting Parameters Setting

sampling_method 1 TW_blending_mode 1

depth_sampling_method 2 Pyramid_level 0

DW_direct_mode 0 AR_mode 0

DW_case_mode 1 thread_cont 0%~10%

DW_refine_mode 2 thread_dest 1~10

由於下降圖的門檻為一自然數，因此我們可以針對不同整數值的 thread_desc，統 計出 thread_cont 對於最後合成的 PSNR 數值上影響。如圖 65 所示。並且統計出在 不同的下降圖門檻情況下，所對應出最佳的連續圖門檻與合成後的 PSNR 值，如表 13 所示。而這些最佳點也會個別標示在曲線上。

Thread_cont 對 合成影像 PSNR 之趨勢線

(a) Thread_desc = 1 (b) Thread_desc = 2

(c) Threaddesc = 3 (d) Threaddesc = 4

(e) Thread_desc = 5 (f) Thread_desc = 6

(g) Threaddesc = 7 (h) Threaddesc = 8

(i) Thread_desc = 9 (j) Thread_desc = 10

圖 65 不同下降圖門檻下，連續圖門檻對於合成影像 PSNR 之曲線圖

表 13 不同下降圖門檻下，所對應的最佳連續圖門檻與最佳合成影像 PSNR

下降圖門檻 1 2 3 4 5

最佳連續圖門檻 (%) 5.5102 2.2449 1.8367 2.4490 9.7959 最佳 PSNR 33.6582 33.8696 33.8949 33.9078 33.9113

下降圖門檻 6 7 8 9 10

最佳連續圖門檻 (%) 1.8367 9.7959 1.8367 6.7347 3.0612 最佳 PSNR 33.9162 33.9184 33.9186 33.9233 33.9219

由圖 65 可發現當下降圖的門檻值越低，其 PSNR 上界會越小，尤其是當門檻值為

5.5 景深圖各種升取樣方法對合成品質影響 (Up-Sampling of Depth versus Quality of Synthetic Virtual Images)

5.5.1 環境設定 (Environvmental Setting)

表 14 環境設定：景深圖各種升取樣方法對合成品值影響

Parameters Setting Parameters Setting

sampling_method 1 TW_blending_mode 0

depth_sampling_method 0~2 Pyramid_level 0

DW_direct_mode 0 AR_mode 0

DW_case_mode 0 thread_cont nope

DW_refine_mode 0 thread_dest nope

表 14 中代表的意思是，我們以雙三次插值法做為色彩影像的升/降取樣方法；以廣 義正向映射演算法來做景深圖映射；使用中值濾波器來做映射後修補動作；紋理映射後 的線性疊合是採用 2.7 章節所介紹的 (25)式；金字塔影像修補階層則採用 level 0，並 且不使用後置瑕疵抑制演算法來消除雜訊。

接著我們分別以高斯插值法、雙三次插值法、與複本插值法，用於景深圖升取樣方 法，來探討對於合成品質的影響。

5.5.2 實驗結果 (Simulation Results)

Sequence: Test_01 (Without Artifact Reduction)

Ground Truth Gaussian Up-Sampling

Bu-Cubic Up-Sampling Duplicated Up-Sampling 圖 67 虛擬視點合成針對不同升取樣方法之示意圖 (Test_01 Sequence)

Sequence: Test_02 (Without Artifact Reduction)

Ground Truth Gaussian Up-Sampling

Bu-Cubic Up-Sampling Duplicated Up-Sampling 圖 68 虛擬視點合成針對不同升取樣方法之示意圖 (Test_02 Sequence)

Sequence: Test_03 (Without Artifact Reduction)

Ground Truth Gaussian Up-Sampling

Bu-Cubic Up-Sampling Duplicated Up-Sampling 圖 69 虛擬視點合成針對不同升取樣方法之示意圖 (Test_03 Sequence)

Sequence: Test_04 (Without Artifact Reduction)

Ground Truth Gaussian Up-Sampling

Bu-Cubic Up-Sampling Duplicated Up-Sampling 圖 70 虛擬視點合成針對不同升取樣方法之示意圖 (Test_04 Sequence)

5.5.3 實驗結果討論 (Discussions)

表 15 各類測試影像的虛擬視點合成針對不同升取樣方法之質量評估表 (CORR) Test_01 Test_02 Test_03 Test_04 Gaussian 0.8125 0.78407 0.67606 0.77135 Bi-Cubic 0.81239 0.78373 0.67572 0.77114 Duplicated 0.81278 0.78293 0.67629 0.77158

Unit: CORR

由表 15 可發現對於景深圖升取樣方法，複本插值法 (Duplicated Interpolation) 最 佳、高斯插值法 (Gaussian Interpolation) 次之、雙三次插值法 (Bi-cubic Interpolation) 最 差，這是因為雙三次插值法容易讓景深影像銳利化，也代表著若景深值估錯，則該插值 法會讓其雜訊擴大，造成最後的合成品質上會有尖銳狀的瑕疵現象產生。

而高斯插值法會讓景深影像有模糊化的效果，這意味著不僅是雜訊、連物體邊緣景 深也跟著被平滑化，使的最後的合成品質上雖沒有如雙三次插值法嚴重，但其物體邊緣 或紋理上可能會有模糊的效果。不過在主觀品質上是可以被接受的。

至於複本插值法，它並沒有使用太複雜的核心來做濾波，因此不會破壞到景深資 訊。但缺點在於使用後會有細小方塊狀的瑕疵現象產生。可參考圖 71 (其放大區域來源 在圖 67 中以圓圈表示)。

Ground Truth Gaussian Bi-Cubic Duplicated Region 1

Region 2

圖 71 Test_01 虛擬視點合成針對景深圖升取樣之部分放大示意圖