• 沒有找到結果。

0 1 2 3 4 5 6 7 8 9 10111213141516171819202122232425262728293031

像素個數

找到的距離

暖色系

48

圖 6-3:暖色系實驗系列圖。

得到色彩空間映射表後,來強化此測試影 像。

黑色像素表示可從色彩映射表直接找到映 射值。彩色像素代表找不到映射值(空洞 點),透過找尋最近非空洞點的顏色來填 補。

黑色像素表示可從色彩映射表直接找到映 射值。非黑色像素表示原先為空洞點,但 找到最近非空洞點,越白色的像素表示距 離原像素越遠,(R, G, B)=(r, r, r),r 為兩點 距離。為了表示明顯的差異程度,每段距 離拉大 16 倍,也就是 rx16。

程式跑出來的結果影像。

由攝影師調整的風格影像。

49

我們實驗結果顯示,訓練影像和測試影像的所有色彩在整個色彩空間中佔有 率只有不到 10%,猜測有兩個原因,大自然的色彩有限或是相機的感光度有限,

而這兩組影像(訓練影像和測試影像)都是在戶外拍攝。我們也發現,若測試影 像人造物體上有奇怪的顏色,通常是無法直接從映射表找到對應值。後來我們也 拍攝室內相片來進行實驗,色彩空間的佔有率依然不到 10%。

此時,我們會思考,既然訓練影像和測試影像的所有色彩在整個色彩空間中 佔有率只有不到 10%,也就是說 16777216(256x256x256)個顏色中,佔 有不到 1677721 個顏色,有時甚至佔有率只有 5%,佔有 838860 個顏色。我 們的訓練影像光是一張影像就有 962400 個像素,強烈地假設是不是只要幾張訓 練影像對,即可讓強化有相當好的效果?當然我們希望訓練影像對中的像素顏色 盡可能不要重複。

於是有以下的實驗結果:

表 6-4:不同的訓練影像對得到的驗證數據。

實驗不同數量訓練影像對的風格化。深藍底為所有 58 張測試影像的數據,

淺藍底為第 53 張測試影像的數據。

此數據來自實驗三的測試影像和風格,選定不同數量(45、35、25)訓練 影像對來形成色彩空間映射表。我們拿第 53 張測試影像與所有測試影像來討論,

意外發現儘管 PSNR 值不是很理想,但是在為人眼定義的 SSIM 值卻有一致的表 現,而實際人眼來看強化後的風格也極其相似!

至於為何 PSNR 值會低落,是因為某些像素沒辦法直接在映射表找到對應

50

值,並且經過找尋映射表附近值也找不到對應值(因為實驗設定距離超過根號 1000 就放棄尋找),最後呈現在強化影像上就是黑色,實際看結果圖便可知道。

圖 6-4:不同的訓練影像對實驗的系列影像。

使用者調整後的影像

使用 45 張影像對風格化後的影像

使用 35 張影像對風格化後的影像

使用 25 張影像對風格化後的影像

51

研究和實驗到這裡,我們會猜想,到底最少需要幾對訓練影像,即可有不錯 的影像風格化效果?可以先觀察下表數據:

訓練數 空洞數 非空洞數 非空洞率 PSNR SSIM

Number N Y rate Red Green Blue 1 16652672 124544 0.74% 31.86 0.96 0.96 0.86 5 16557875 219341 1.31% 32.06 0.97 0.97 0.89 10 16492074 285142 1.70% 32.66 0.97 0.98 0.90 15 16378193 399023 2.38% 33.71 0.98 0.98 0.90 25 16297997 479219 2.86% 34.63 0.98 0.99 0.91 35 16215173 562043 3.35% 35.21 0.98 0.99 0.92 45 15999587 777629 4.64% 36.46 0.98 0.99 0.93

表 6-5:不同的訓練影像對得到的色彩空間覆蓋率與驗證數據。

數據顯示,儘管只有一對訓練影像,PSNR 值和 SSIM 值都依然有可接受的 表現,也就是說,在最糟糕的情況之下,我們很有可能只有一對訓練影像,當我 們想要模仿這一對的影像風格,使用我們發展出來的方法,依然可以得到良好的 風格化效果!

實際來看僅由一對訓練影像生成的色彩空間映射表,強化出來的影像效果如 何:

52

圖 6-4:僅一對訓練影像。

圖 6-5:範例的測試影像。

圖 6-6:難以分辨使用者強化和我們演算法強化的影像。

此外,我們也考慮若訓練影像對有些許誤差,也就是說以人眼來看是類似的 風格,而以不同參數調整影像來實驗,所生成的色彩空間映射表來強化影像,其 風格化效果依然相當良好。

為了模擬相似風格也能得到不錯的視覺效果,在此我們以影像處理軟體來調 整六種風格,訓練影像集同上為 45 張,這裡只列出其中六張,分別代表六種極 其相似的風格。

53

圖 6-7:45 張訓練影像集的其中 6 張影像。

圖 6-8:將圖 6-7 以不同參數調整出來的六種相似風格。

最後當然我們想知道,以這六種相似風格產生的色彩空間映射表,強化測試 影像集會有怎樣的效果,在此列出 58 張中的 6 張。

54

圖 6-9:58 張訓練影像集的其中 6 張影像。

圖 6-10:將圖 6-9 使用六種相似風格產生的色彩空間映射表強化的結果。

誠如我們人眼所見,縱使以不同參數來得到相似的風格,透過我們的演算法 產生的色彩空間映射表,來強化其它影像依然可以得到滿意的結果。

55

相關文件