在這裡使用第 3 組測試影像來做測試。參考圖 73 擺放示意圖，圖 140、圖 141 分別為左右 Kinect 感應器輸出的影像。
圖 140 A: 左邊 Kinect 輸出彩色影像 B: 左邊 Kinect 輸出景深影像
圖 141 A: 右邊 Kinect 輸出彩色影像 B: 右邊 Kinect 輸出景深影像 且圖 140 B、圖 141 B 是考慮「校準處理」(4.2 節)中 B1、B2 和 B3 後的輸出 影像。
103
5.3.1 校正處理
相機校正(A1)的步驟，我們使用[32]的相機校正軟體。其原始左右相機參數 與式(36)、式(37)、式(38)和(39)類似。
校正處理(A)的第二步是對左右的彩色影像作色彩校正(A2)，參考色彩校正 演算法(2.3 節)針對圖 140 A 和圖 141 A 做處理，其結果如圖 142 所示。
圖 142 A: 左邊參考影像 B: 右邊校正影像
從圖 142 會看到兩張影像的色彩仍無法完全一樣，圖 142 B 牆壁比較圖 142 A 有點偏紅色，但相較於圖 141 A 未校正前的影像，圖 142 B 影像整體偏暗，
整體的色調較接近圖 142 A 的參考影像。此組左右測試影像相較於 5.1 節與 5.2 節的左右測試影像，色調較為接近，所以做完色彩校正以後，左右影像的色調也 較前兩組測試影像接近。
在影像校正(C3)中，利用 2.2 節的影像校正演算法，設法把雙相機投影到虛 擬位置上，讓這兩台相機可以達到「極幾何」(Epipolar Geometry)上的平行。最 後影像校正完的相機參數與式(40)、式(41)、式(42)和式(43)類似。輸出影像如 圖 115 所示。
104
圖 143 A: 影像校正後左邊影像 B: 影像校正後右邊影像
A
B
圖 144 A: 原始左右影像 B: 校正後左右影像
105
參考圖 143，我們可看出影像校正後的結果是合理的。再參考圖 144 我們利 用極線幾何來做驗證。圖 144 A 分別是原始左右影像，可看到該原始影像的極線 並不水平; 圖 144 B 為校正完的左右影像，可看到兩影像的極線順利變成水平，
則表示影像校正順利完成。
5.3.2 校準處理
Kinect SDK 讀取資料串流的時候，已考慮「校準處理」(B)中 B1 步驟的「使 用 Kinect SDK 函數」、B2 步驟的「景深圖垂直位移」和 B3 步驟的「考慮視差模 型的水平位移」做過考慮。所以這裡只針對最後一步 B4 步驟的「景深圖映射」
做考慮。
參考 2.5 節的景深映射演算法。為保留重要的資訊，我們針對校正後的彩色 影像(圖 143)與映射後的景深影像作切割。最後結果可參考圖 145 與圖 146。
圖 145 A: 切割映射後左邊景深影像 B: 切割映射後右邊景深影像
106
圖 146 A: 切割後左邊彩色影像 B: 切割後右邊彩色影像
5.3.3 景深影像改善
在「景深影像改善與合成」(C)的部分。第一步考慮 C1 步驟的「濾除雜訊」，
來濾掉景深影像邊界的雜訊。考慮 4.3.1 節的聯合雙向濾波器演算法，以圖 145 當作輸入影像，則可得到聯合雙向濾波後的影像(如圖 147 所示)。各參數值可參 考表 5。
圖 147 A: C1 - 左邊景深影像 B: C1 - 右邊景深影像
107
Left Image Right Image
Original
C1
圖 148 C1 - 細部比較示意圖(1)
Left Image Right Image
Original
C1
圖 149 C1 - 細部比較示意圖(2)
比較圖 147 與圖 145，明顯地邊緣變得更平滑，大部分的邊緣雜訊，經由聯 合雙向濾波後都被濾除，且藉由彩色影像的資訊讓邊緣保留下來。參考圖 148 的 烤箱部分，不管是左右原始影像，邊緣雜訊都十分明顯，經過濾波器以後，邊緣
108
雜訊消失變得較平滑。參考圖 149，雖然雜訊沒有圖 148 那麼明顯，但經過濾波 器做濾波後，同樣也得到很好的結果。
在圖 147 中，洞(未知景深資訊點)的面積雖然不大，但仍然顯而易見。在此 我們使用 C2 演算法-「消除缺陷問題」來修補景深影像中未知的景深資訊。參考 消除缺陷問題(4.3.2 節)演算法，針對缺陷問題利用遞迴的方式來逐漸消除。其 參數設定可參考表 6，結果可參考圖 150。
圖 150 A: C2 - 左邊景深影像 B: C2 - 右邊景深影像
Left Image Right Image
Original
109
C1
圖 151 C2 - 細部比較示意圖(1)
Left Image Right Image
Original
C1
圖 152 C2 - 細部比較示意圖(2)
參考圖 150 對照圖 147，可看出圖 150 的左右影像的瑕疵現象已順利被移 除。從細部影像來看，在圖 151 大面積的「洞」明顯消除。在圖 152 B 中，邊 緣部分因為聯合雙向濾波器的優點(保留邊緣資訊)，所以物體邊緣的景深資訊完 整的被保留下來。
對於圖 150 來說，C1 與 C2 步驟分別改善邊緣雜訊與缺陷問題，但相較於圖 146，部分物體邊緣的景深資訊仍與彩色影像不匹配。所以第三步參考 4.3.3 節
110
C3 演算法-「基於彩色影像改善景深影像」(左邊方塊大小為19 19× ，右邊方塊大 小為 23 23× ，th=10)，針對圖 150 做加強改善，其結果可參考圖 153。
圖 153 A: C3 - 左邊景深影像 B: C3 - 右邊景深影像
Left Image Right Image
Original
C1
圖 154 C3 - 細部比較示意圖(1)
111
Left Image Right Image
Original
C1
圖 155 C3 - 細部比較示意圖(2)
參考圖 153 相較於圖 150，並無明顯的差異。C3 演算法的目的主要是為讓 物體景深資訊可以與彩色影像更匹配，所以圖 153 在物體邊緣殘留一些胡椒鹽雜 訊，但其實我們的目的已經達到，而這些雜訊可以在 C4 步驟的中值濾波去濾除。
參考圖 154 與圖 155 的細部比較，這兩組細部比較的共通點，都是改善後的影像 邊緣較原始影像少雜訊，且與原始圖比較也會較匹配。
如上一段所提到的胡椒鹽雜訊問題，在邊緣部份會造成凹凸不平的狀況。在 這裡我們使用 C4 步驟的中值濾波( 5 5× 大小的中值濾波器)，來解決雜訊問題。
圖 156 A: C4 - 左邊景深影像 B: C4 - 右邊景深影像
112
Left Image Right Image
Original
C1
圖 157 C4 - 細部比較示意圖(1)
Left Image Right Image
Original
C1
圖 158 C4 - 細部比較示意圖(2)
參考圖 153 與圖 156，明顯改善的部份為邊緣雜訊幾乎濾除，尤其是前景(小 熊)的部份效果更加明顯。參考圖 157 與圖 158 的細部比較，可以看到原始影像 的邊緣雜訊十分明顯，經過中值濾波器後，大部分的邊緣因為雜訊被濾除而變得 更平滑。
113
5.3.4 影像合成
使用 MPEG 的影像合成參考軟體(VSRS)，針對經過「影像改善」(C)每個步 驟的合成影像與原始影像做比較。參考圖 159 為原始合成影像，圖 133 為景深影 像改善後的合成影像。
圖 159 原始合成影像(圖 146 與圖 145 所合成)
圖 160 影像改善後(C)合成影像(圖 146 與圖 156 所合成)
114
原始合成影像 改善後合成影像
圖 161 合成影像細部比較示意圖(1)
原始合成影像 改善後合成影像
圖 162 合成影像細部比較示意圖(2)
原始合成影像 改善後合成影像
圖 163 合成影像細部比較示意圖(3)
參考圖 159、圖 160，原始合成影像邊緣雜訊明顯，尤其是前景小熊的部份，
在視覺上會顯得很不自然;相較於改善後的合成影像，除背景部份(如牆壁、門) 外，邊緣雜訊的成分有明顯的減少，整體看起來較自然。
參考圖 161 的細部比較，原始影像的小熊腳雜訊明顯，改善後影像的大部分 邊緣雜訊濾除後，也變得較為自然。參考圖 162 的細部比較，原始合成影像在左 邊的熊耳明顯的凹凸不平，相較於改善後的影像，在該部分的耳朵較為完整。圖
115
163 為梯子與冰箱交界的影像，原始影像的梯子有明顯的凹陷處(在圖 159、圖 160 會更明顯)，在改善後的合成影像內，梯子較為平順且凹陷處也消失了。
5.3.5 被動式景深影像與合成結果比較
比較使用 MPEG 標準景深估測軟體(DERS)所估測的景深影像。參考由圖 146 藉由 DERS(2.4 節)估測出的景深影像。
圖 164 A: DERS 估測左邊景深影像 B: DERS 估測右邊景深影像 在圖 164 中，明顯可以看到背景資訊十分雜亂(對照圖 146)，在牆壁的景深 資訊十分不一致，前景的小熊景深邊緣也與圖 146 不一致。此外大面積的遮蔽區 域(如圖 164 A 的最左邊，圖 164 B 的最右邊)。利用 MPEG 所提供的合成參考 軟體-VSRS，基於圖 146 與圖 164 實現影像合成，其結果可參考圖 165。
參考圖 165，影像看似很好，觀察小細節可發現一些不理想的區域。參考圖 166 A，在背後牆壁的部份明顯很雜亂，因為用來合成的兩張彩色影像(圖 146) 在牆壁部分顏色不一致，且錯誤的景深值也會把彩色像素點映射至錯誤的位置。
如果原始兩張彩色影像顏色相當一致的話，這部分景深值的問題會比較不明顯。
參考圖 166 B，梯子的形狀與顏色也十分不自然，主要原因是圖 164 A 在最左 邊是遮蔽區域，所以結合(Merge)時只能參考右邊影像，當右邊景深資訊不正確
116
時，則會導致合成影像不自然。參考圖 166 C，烤箱的形狀嚴重變形，原因也是 景深資訊造成的嚴重錯誤。
圖 165 被動式景深影像合成結果
細部區域(A) 細部區域(B) 細部區域(C)
圖 166 圖 165 細部區域示意圖
117