Network 預測結果分析

(圖表16)Sponza 的測試結果，可以看到亮度較高的部分，以及 indirect lighting 的部分差異較大，去雜訊的影像 PSNR 大約28左右。

圖表 16 Sponza 預測結果

表格 4 Sponza 預測結果數據

MSE PSNR SSIM 1spp 0.0155 18.072 0.2178 denoise 0.0012 28.931 0.7991

denoise 與ground truth 相減 取絕對值乘以2 的結果

圖表 17 Sponza 場景比較圖

⚫ 物體邊緣:

黃色框可看到植物與背景的紅色布幕有部分重疊，一般的模糊影像降噪後會使 物體影像模糊，高斯模糊使用常態分佈比一般的濾波器更能保持影像清晰，經過卷 積網路後達到降噪的效果，並保持植物葉片邊界的銳利度。

⚫ 陰影:

綠色框中可以看到鐵鍊遮蔽產生的陰影，在降噪後仍保留陰影細節，但部 分陰影應該要有反射光的影響而被打亮，但其亮度值被包含在雜訊中，去除雜 訊後會讓場景影像比實際結果暗。

24

⚫ 貼圖細節:

在綠色框中藍色布幕的貼圖， 在繪製後會有像是雜訊的波浪狀的紋理，根 據取樣的次數紋理也會有粗糙與細緻之分，因為使用低取樣頻率的影像，在經 過特徵取樣和重建後仍會留下的較粗糙的布料的質感。

圖表 18 布幕貼圖

⚫ 間接照明:

在藍色框中的地板呈現微弱的紅色，光線打到右側的紅色布幕再反射到地板的 間接照明，因為path tracing 的隨機取樣的繪圖方式造成反射到地板的光以雜訊 的方式呈現，在降噪後大部分的明顯亮點會被去除，卷積的層重建方式會以周 圍的地磚顏色替代，呈現微弱的紅色。

圖表 19 藍色布幕間接照明

圖表 20 實驗移動光源與相機位置

表格 5 移動光源與相機位置比較數據

MSE PSNR SSIM 1spp 0.0579 12.36 0.3504 denoise 0.0006 32.08 0.8580

⚫ 移動光源、移動相機:

使用移動相機位置與光源位置後的雜訊影像，與圖表16相較此影像受到光源的 影響較小，沒有去除雜訊後亮度也減弱的問題，使用與訓練資料不同的光源位 置與不同的相機位置並不影響降噪的效果。

26

第一項 增加訓練場景資料

這節比較使用多場景訓練的模型，與僅使用Sponza 場景訓練出的模型差 異，多場景模型由Sponza、BMW、San Miguel 2.0、Salle de Bain，4種場景訓 練。

圖表 21 兩種模型產生的 Sponza 降噪影像 表格 6 兩種模型對 Sponza 降噪數據

MSE PSNR SSIM 1spp 0.0155 18.072 0.2178 denoise (Sponza) 0.0012 28.931 0.7991 denoise (4 scenes) 0.0015 28.060 0.7518

(圖表21)在多場景訓練後對於 Sponza 的貼圖細節還原解析度較差，但在光 的間接照明有較佳的結果，黃框中的地板與花瓶都有明顯的偏紅，而藍色框中 的花瓶也有比較清楚的光影影響。

圖表 22 BMW、Salle de Bain 場景預測結果 表格 7 BMW、Salle de Bain 場景預測結果數據

BMW Salle de Bain

MSE PSNR SSIM MSE PSNR SSIM 1spp 0.0359 14.44 0.0528 0.0435 13.61 0.2111 denoise (Sponza) 0.005 23.39 0.5280 0.0221 16.55 0.4625 denoise (4scenes) 0.0004 33.57 0.8089 0.0004 33.02 0.8567 高斯模糊 0.0054 22.66 0.6736 0.0205 16.87 0.7505

使用單一場景訓練的模型，對於其他顏色的測試資料適應性較低，會有偏 色的狀況，以及處理白色雜訊於白色物體時訊效果不佳，Salle de Bain 場景 PSNR 僅剩 16，多長訓練出的模型，同一個場景數據相較就沒有這樣的問題，

PSNR 都可以維持在 30 左右。

28

圖表 23 San Miguel 2.0、Fireplace Room 場景預測結果 表格 8 San Miguel 2.0、Fireplace Room 場景預測結果數據

San Miguel 2.0 Fireplace Room MSE PSNR SSIM MSE PSNR SSIM 1spp 0.0103 19.84 0.1795 0.0281 15.50 0.1243 denoise (Sponza) 0.0006 32.11 0.8516 0.0038 24.16 0.6159 denoise (4scenes) 0.0004 33.25 0.8502 0.0012 28.98 0.7553 高斯模糊 0.0015 28.07 0.7659 0.0051 22.89 0.6317

庭院的場景顏色與Sponza 類似，以及光源較遠，PSNR 可以維持在32，

Fireplace 是兩個模型都沒有訓練過的場景，單一場景訓練的葉子有點偏紅，在 白牆的部分也會有白色的雜訊點，多場景的模型幾乎看不出差異。

使用Crytek Sponza 場景訓練出的模型做測試，輸入 BMW、Salle de Bain、

San Miguel 2.0以及未經訓練的場景，Fireplace Room 等影像，每個像素取樣1次

的路徑追蹤影像，從BMW 的測試可看出地板應該要偏綠色，但降噪的結果偏

紅色，從Salle de Bain 與的 Fireplace Room 測試可看出白色洗手台與白牆有明顯 的雜訊，可以推測出使用Crytek Sponza 訓練出的模型在偏白色材質上的白色雜 訊效果不佳。多場景訓練的模型能適應變化較多顏色、亮度的場景，但也因將 雜訊納入重建影像的權重調高，導致顏色正確但細節模糊。

第二項 接縫問題

在研究初期使用簡單的Autoencoder 結構(如表格9)，階層為由左到右，輸 入、輸出皆為128*128的影像，需要將影像切成128*128輸入，再合併成

720*1280的大小，在使用 sigmoid 激勵函數時會有明顯的接縫痕跡，經過修改激 勵函數成Relu 後有明顯改善。Sigmoid 輸出值介於0~1之間，當函數超出-4與+4 經計算後會趨近於零造成梯度消失，造成卷積神經網路訓練困難。

表格 9 使用的卷積結構

Encoder Decoder

30

第三項 Skip Connection 結構的結果比較

基於使用Crytek Sponza 場景訓練、相同的卷積神經網路、Epoch 為 2000，

比較未使用跳轉連接(skip connection)的結果。

圖表 25 使用跳轉連接的結果

圖表 26 未使用跳轉連接的結果

圖表 27 跳轉連接的結果細節比較

表格 10 跳轉連接的數據比較

MSE PSNR SSIM Crytek

Sponza

使用 0.0012 28.931 0.7991 未使用 0.0018 27.26 0.7097

對於未使用跳轉連接測試Crytek Sponza 場景，場景中較亮的部分會有較嚴 重的失真，在布幕標誌、石像等有細節的貼圖會有模糊不清的狀況，在樹葉重 疊的部分因顏色相近也產生模糊的問題，並在葉片邊緣產生棕色的邊界，根據 人類視覺判斷使用跳轉連接的模型還原度較高，數據中也顯示使用的結果較 佳。

32

下圖使用Crytek Sponza 場景訓練出的模型測試 San Miguel 2.0 場景，比較 模型對於不同場景的適用性。

圖表 28 跳轉連接的 San Miguel2.0 場景影像

圖表 29 未使用跳轉連接的 San Miguel2.0 場景影像

圖表 30 San Miguel2.0 場景影像使用跳轉連接細節比較

表格 11 San Miguel2.0 場景影像跳轉連接數據 MSE PSNR SSIM San

Miguel 2.0

使用 0.0006 32.09 0.8517 未使用 0.0007 31.12 0.8175

未經過訓練的場景比較有較明顯的差異，模型較無法適應場景物體顏色的 改變，如上圖，桌上藍綠色的物體，藍框中的葉子有偏棕色的邊緣，以及較細 的紋路在經過卷積後消失，導致再去除雜訊後無法重建回復細節。

由這項測試可以知道使用跳轉連接能提供更多特徵資訊，減少偏色的問 題，適應其他未經過訓練的場景，重建清晰影像。

34