5.1 第 1 組測試影像模擬與結果 (Simulation of First Test Sequence)
5.1.3 景深影像改善
進入「景深影像改善與合成」(C)的部分。一開始對於景深影像採用 C1 步驟 的「濾除雜訊」，來濾掉景深影像邊界的雜訊。考慮 4.3.1 節的聯合雙向濾波器演 算法，以圖 85 當作輸入影像，則可得到聯合雙向濾波後的影像(如圖 90 所示)。
各參數值可參考表 5。
表 5 濾除雜訊-聯合雙向濾波器參數表
Filter Size 15 15× σ for filter ( )f ⋅ 1.875
σ for filter ( )h ⋅ 15 σ for filter ( )r ⋅ 15 σ for filter ( )g ⋅ 15
74
σ for filter ( )b ⋅ 15
圖 90 A: C1 - 左邊景深影像 B: C1 - 右邊景深影像
Left Image Right Image
Original
C1-JBF
圖 91 C1 - 細部比較示意圖(1)
75
Left Image Right Image
Original
C1-JBF
圖 92 C1 - 細部比較示意圖(2)
對照圖 85 與圖 90，在物體邊界的部份會較平滑，因為尖銳的高頻雜訊在參 考彩色影像的資訊下被濾除，景深圖的物體會顯得較為柔順。
參考圖 91 的桌腳細部放大圖，原始的左右影像在邊緣部分凹凸不平，表示 其高頻雜訊明顯。使用雙向濾波器濾除邊緣雜訊，且加入彩色影像的 R、G、B 資訊，讓濾波器在濾波時會額外考慮顏色資訊，讓整張圖會變得更完整。對於圖 92 小熊頭部的細部放大圖，原始影像跟濾波後的影像在邊緣部份，也有明顯的改進。
考慮「消除缺陷問題」(C2)來修補景深影像中未知的景深資訊。參考聯合雙 向濾波器(4.3.2 節)演算法，利用遞迴的方式來消除缺陷問題。其結果可參考圖 93。
表 6 消除缺陷問題-聯合雙向濾波器參數表 Filter Size 15 15× σ for filter ( )f ⋅ 5
σ for filter ( )r ⋅ 15 σ for filter ( )g ⋅ 15
76
σ for filter ( )b ⋅ 15
th 0.5
圖 93 A: C2 - 左邊景深影像 B: C2 - 右邊景深影像
Left Image Right Image
Original
C2
圖 94 C2 - 細部比較示意圖(1)
77
Left Image Right Image
Original
C2
圖 95 C2 - 細部比較示意圖(2)
在圖 93 中，缺陷問題已完整消除，但仍有些不足的地方。參考圖 94 的左 圖影像，微波爐上的「洞」有很完整的改善;但右圖改善完的影像，手部會有殘影，
主要原因是因為 Kinect 感應器偵測景深時，微波爐上的部分景深資訊，被手的景 深資訊覆蓋，所以參考彩色影像資訊時，會有誤判的情況。相較於圖 95 的右邊 影像，杯子被錯誤資訊嚴重干擾。使用 C2 演算法後，杯子的邊緣很明顯的被修 補回來，影像看起來更自然。
參考圖 93 相較於圖 85，經過各個步驟的雜訊去除，景深影像已有明顯改善，
但部分區域因為缺陷過大，使用經過好幾個步驟的去雜訊仍無法修補完全，所以 最後利用 C3 步驟的「基於彩色影像改善景深影像」針對這些區域做改善。
參考 4.3.3 「基於彩色影像改善景深影像」(C3)的演算法(方塊大小為21 21× ， 15
th= )，針對圖 93 做加強改善，其結果可參考圖 96。
78
圖 96 A: C3 - 左圖影像 B: C3 - 右圖影像
Left Image Right Image
Original
C3
圖 97 C3 - 細部比較示意圖(1)
Left Image Right Image
Original
79
C3
圖 98 C3 - 細部比較示意圖(2)
從圖 96 明顯看到，整個影像相較於圖 93 有明顯改善。就細部影像來看，
在圖 97 中不管左右圖的冰箱上都有殘影的出現，主要是因為彩色影像在冰箱上 邊緣的部份，跟背景牆壁很像(可參考圖 82)，所以參考彩色影像資訊時，在這個 部份會有誤差。對於圖 98 為例，桌腳的景深資訊大部分都有修補起來，小缺陷 如左圖的左邊桌腳部分，因為桌腳的資訊量太少，所以無法完全修補;以及右圖左 邊靠近桌腳的部分，也因為相同的原因無法修補。但整體看起來已有明顯改善。
參考 4.3.4 節 C4 步驟的「中值濾波」演算法，針對圖 96 做濾波動作(濾波 器大小為 5 5× )。其結果可參考圖 99。
比較圖 99 與圖 96 之間的差異，明顯看到邊緣的胡椒鹽雜訊有大幅的減少。
對於圖 100 的冰箱上緣，中值濾波後的影像在該處凹凸不平，主要原因原始輸入 影像在該處本來就有嚴重的雜訊問題，所以使用中值濾波也無法完全還原該處的 資訊，但該處相較於輸入影像明顯較為連續。在圖 101 中，中值濾波器明顯發揮 其用處，整體的影像變的更連續平滑，邊緣雜訊幾乎都被濾除。
80
圖 99 A: C4 - 左圖影像 B: C4 - 的右圖影像 Left Image Right Image
Original
C3
圖 100 C4 - 細部比較示意圖(1)
Left Image Right Image
Original
C3
圖 101 C4 - 細部比較示意圖(2)
81