0 1 2 3 4 5 6 7 8 9 10111213141516171819202122232425262728293031
像素個數
找到的距離
暖色系
48
圖 6-3:暖色系實驗系列圖。
得到色彩空間映射表後,來強化此測試影 像。
黑色像素表示可從色彩映射表直接找到映 射值。彩色像素代表找不到映射值(空洞 點),透過找尋最近非空洞點的顏色來填 補。
黑色像素表示可從色彩映射表直接找到映 射值。非黑色像素表示原先為空洞點,但 找到最近非空洞點,越白色的像素表示距 離原像素越遠,(R, G, B)=(r, r, r),r 為兩點 距離。為了表示明顯的差異程度,每段距 離拉大 16 倍,也就是 rx16。
程式跑出來的結果影像。
由攝影師調整的風格影像。
49
我們實驗結果顯示,訓練影像和測試影像的所有色彩在整個色彩空間中佔有 率只有不到 10%,猜測有兩個原因,大自然的色彩有限或是相機的感光度有限,
而這兩組影像(訓練影像和測試影像)都是在戶外拍攝。我們也發現,若測試影 像人造物體上有奇怪的顏色,通常是無法直接從映射表找到對應值。後來我們也 拍攝室內相片來進行實驗,色彩空間的佔有率依然不到 10%。
此時,我們會思考,既然訓練影像和測試影像的所有色彩在整個色彩空間中 佔有率只有不到 10%,也就是說 16777216(256x256x256)個顏色中,佔 有不到 1677721 個顏色,有時甚至佔有率只有 5%,佔有 838860 個顏色。我 們的訓練影像光是一張影像就有 962400 個像素,強烈地假設是不是只要幾張訓 練影像對,即可讓強化有相當好的效果?當然我們希望訓練影像對中的像素顏色 盡可能不要重複。
於是有以下的實驗結果:
表 6-4:不同的訓練影像對得到的驗證數據。
實驗不同數量訓練影像對的風格化。深藍底為所有 58 張測試影像的數據,
淺藍底為第 53 張測試影像的數據。
此數據來自實驗三的測試影像和風格,選定不同數量(45、35、25)訓練 影像對來形成色彩空間映射表。我們拿第 53 張測試影像與所有測試影像來討論,
意外發現儘管 PSNR 值不是很理想,但是在為人眼定義的 SSIM 值卻有一致的表 現,而實際人眼來看強化後的風格也極其相似!
至於為何 PSNR 值會低落,是因為某些像素沒辦法直接在映射表找到對應
50
值,並且經過找尋映射表附近值也找不到對應值(因為實驗設定距離超過根號 1000 就放棄尋找),最後呈現在強化影像上就是黑色,實際看結果圖便可知道。
圖 6-4:不同的訓練影像對實驗的系列影像。
使用者調整後的影像
使用 45 張影像對風格化後的影像
使用 35 張影像對風格化後的影像
使用 25 張影像對風格化後的影像
51
研究和實驗到這裡,我們會猜想,到底最少需要幾對訓練影像,即可有不錯 的影像風格化效果?可以先觀察下表數據:
訓練數 空洞數 非空洞數 非空洞率 PSNR SSIM
Number N Y rate Red Green Blue 1 16652672 124544 0.74% 31.86 0.96 0.96 0.86 5 16557875 219341 1.31% 32.06 0.97 0.97 0.89 10 16492074 285142 1.70% 32.66 0.97 0.98 0.90 15 16378193 399023 2.38% 33.71 0.98 0.98 0.90 25 16297997 479219 2.86% 34.63 0.98 0.99 0.91 35 16215173 562043 3.35% 35.21 0.98 0.99 0.92 45 15999587 777629 4.64% 36.46 0.98 0.99 0.93
表 6-5:不同的訓練影像對得到的色彩空間覆蓋率與驗證數據。
數據顯示,儘管只有一對訓練影像,PSNR 值和 SSIM 值都依然有可接受的 表現,也就是說,在最糟糕的情況之下,我們很有可能只有一對訓練影像,當我 們想要模仿這一對的影像風格,使用我們發展出來的方法,依然可以得到良好的 風格化效果!
實際來看僅由一對訓練影像生成的色彩空間映射表,強化出來的影像效果如 何:
52
圖 6-4:僅一對訓練影像。
圖 6-5:範例的測試影像。
圖 6-6:難以分辨使用者強化和我們演算法強化的影像。
此外,我們也考慮若訓練影像對有些許誤差,也就是說以人眼來看是類似的 風格,而以不同參數調整影像來實驗,所生成的色彩空間映射表來強化影像,其 風格化效果依然相當良好。
為了模擬相似風格也能得到不錯的視覺效果,在此我們以影像處理軟體來調 整六種風格,訓練影像集同上為 45 張,這裡只列出其中六張,分別代表六種極 其相似的風格。
53
圖 6-7:45 張訓練影像集的其中 6 張影像。
圖 6-8:將圖 6-7 以不同參數調整出來的六種相似風格。
最後當然我們想知道,以這六種相似風格產生的色彩空間映射表,強化測試 影像集會有怎樣的效果,在此列出 58 張中的 6 張。
54
圖 6-9:58 張訓練影像集的其中 6 張影像。
圖 6-10:將圖 6-9 使用六種相似風格產生的色彩空間映射表強化的結果。
誠如我們人眼所見,縱使以不同參數來得到相似的風格,透過我們的演算法 產生的色彩空間映射表,來強化其它影像依然可以得到滿意的結果。
55