第四章 研究內容與方法
4.4 色點的方向與橢圓
為達到輸出的結果與真實的點畫足夠相似,我們觀察了藝術家的真實點畫。由這 些真實點畫我們可以發現:藝術家在作畫時,色點並不會是規規矩矩的圓型,而是一個 個隨著物件的邊緣流動方向而排列的長扁橢圓形,並且有著明顯的輪廓外形,如圖 19。
我們還可以觀察發現:越是在物件邊緣的部分,該部分的色點就會在越上層。綜合以上 兩個觀察到的特性,這樣的橢圓不僅可以強調出影像內容的邊緣特性,還更加強了物件 與物件之間的區別,使得真實點畫不僅僅是一種由多個小色點組合而成的馬賽克效果,
而是許許多多隨著畫筆方向而旋轉排列的小橢圓點所構成富含結構紋理的圖畫。
圖 19 秀拉點畫局部圖。可看出秀拉大多使用長扁形的橢圓來作畫。
藉由以上的觀察,我們計算圖片的梯度值(Gradient)來得到每一個像素的方向性
(Orientation),影像中在座標
( y x , )
的梯度向量f ( y x , )
定義為:36
37
(a)
(b)
(c)
圖 20 圖(a)為輸入影像。圖(b)和圖(c)分別為用圓點和橢圓所構成的點畫局部圖。可以 看出橢圓比圓點更能描繪出邊緣的結構與細節輪廓,也更貼近筆觸的形狀。
38
第五章
實驗與結果討論
在以往的研究中,並沒有一套可供評估點畫輸出結果好壞的統計量化方式來測量 一幅模擬圖的好壞,大多使用圖片目測比對的方式來評估結果。然而一幅藝術創作的在 視覺上的感受往往是很主觀的,因此若只單靠目測比對的方式來評斷結果,就稍微缺乏 了一點公信力。在本論文中,我們認為若要測試一幅點畫是否與秀拉的作品足夠相似,
那麼在色彩的組合方式上便是很重要的一環。色點的顏色分佈狀況就是一個可以量化的 部分,如果顏色的分佈數據足夠近似秀拉的作品,那麼也許結果在外觀目測上也可以呈 現出較好的結果。
然而在許多秀拉的作品中,我們無法得知秀拉當初在作畫時眼睛所見的場景的色 相及亮度是多少,只能靠我們自己憑空想像,因此在秀拉作品的模擬方法上,輸入影像 與輸出結果在顏色上的差異大小是好或壞是十分主觀的,而且秀拉在作畫時的情緒與情 感影響畫出來的不同結果也難以量化分析。因此除了數據上的量化分析實驗之外,我們 也找了數位使用者來針對主觀藝術部分進行使用者實驗,針對整體藝術性的好感度、色 彩好感度、結構性保留度、以及色彩保留度進行評分,以比較我們的方法與其他作者的 方法在主觀人為感受上的差異。
本章第一小節將介紹我們所採用的量化測量方式,用來評估我們輸出的點畫在色 彩的結構上與秀拉點畫的適合度,並呈現多張點畫結果,以及我們的結果與先前其他研 究所產生的點畫結果在圖片上與數據上的比較;第二小節介紹我們的使用者實驗方式,
並以表格方式呈現使用者測試結果;第三小節展示本論文更多的輸出圖片,以及我們的 結果與秀拉作品局部圖的比較;第四小節針對我們的研究方法與我們方法上的限制進行 討論。
39
5.1 實驗一
5.1.1 實驗一方法
為了測試本論文在顏色組合上與秀拉點畫的相似度,我們收集了多幅先前的研究 所產生的點畫結果來與本論文的輸出結果進行數據上的比較。我們使用了Aslan 和 Zech 在2005 年[42]所發表的多維度適合度檢定(Multivariate Goodness-of-fit Tests)。
首先我們對輸入圖片使用彩色影像分割,每個分割區域為一個顏色,將此顏色至
其中,L 為對數距離(Logarithmic Distance)函數:
) log(
)
( r r
L
(14)40
41
下面各圖中h 、s h 、 m 分別代表空間解析度參數、範圍解析度參數、最小區域參r 數,詳細定義請參照第三章3.1.1。
(a)輸入影像 (b)Hays (c)Yang (d)我們的結果
(e)
圖 21 geisha。 Hays、Yang 與我們的結果比較。
解析度:
1600 1067
,(hs,hr,m)(50,2,30)。 (實驗採納分割數,總分割數) = (1991,3117)。42
(a)輸入影像 (b) Hertzmann (c)Yang (d)我們的結果
(e)
圖 22 cow。Hertzmann、Yang 與我們的結果比較。
解析度:
1600 1067
,(hs,hr,m)(50,2,30)。 (實驗採納分割數,總分割數) = (8961,12170)。43
(a)輸入影像 (b)Hays (c)Yang (d)Seo (e)我們的結果
(f)
圖 23 pink flower。Yang、Seo 與我們的結果比較。
解析度:
1600 1067
,(hs,hr,m)(60,2,40)。 (實驗採納分割數,總分割數) = (645,1848)。44
(a)輸入影像 (b) Luong (c)Yang (d)我們的結果
(e)
圖 24 columns。Luong、Yang 與我們的結果比較。
解析度:
1600 1067
,(hs,hr,m)(50,2,30)。 (實驗採納分割數/總分割數) = (11308/22465)45
圖 25 多維度適合度平均能量值比較。其中數線中所標的數字為每個研究方法在每張圖 中所得到的能量值標準差,而每個點延伸出的鉛直線為一倍標準差的信賴區間。
而p1 與 p2 分別代表我們的結果與 Yang 和 Hays 在能量值分布的 p-value,可以 看出這些p-value 值皆遠小於 0.05,表示我們的能量值分布狀況與他們的結果有 顯著差異。
5.2 實驗二
由於本論文只取得了 Yang 的四張完整解析度圖檔,即實驗一所使用的 geisha、
cow、pink flower、以及 columns,因此在本實驗中我們只與 Yang 進行使用者分析比較。
5.2.1 實驗二方法
在實驗開始以前,我們曾請教了具有藝術設計相關背景的人員進行訪談,詢問關 於像秀拉這類藝術家的油畫模擬,該如何評斷不同模擬方法的好壞。首先是對於單純的 寫生油畫評分而言,藝術家會認為一幅好的作品其主體要明確,以及注重其作品結果與 真實場景的相似性,並具有立體感。其次是對於以同一景物的寫生或同一張照片的臨
46
摹,若要比較不同作者的作品優缺,其重點會放在色調與結構是否與原作或景物相似,
顏色組成結構也必須要與秀拉相近。
對於訪談結果,我們設計了以下實驗,將實驗分成兩部分,第一部分是針對整體 藝術好感度(Overall Artistic Impression)與色彩好感度(Color Impression),取我們的 結果圖與 Yang 的結果圖讓使用者進行二選一,強制選出一張使用者主觀認為較好的結 果。而第二部分則是針對結構性保留度(Structure Retention)與色彩保留度(Color Retention)將我們的結果圖與 Yang 的結果圖分別和輸入影像進行結構與色彩上的比對,
並針對使用者的主觀判定結果給1~5 分,1 分為最差,5 分為最好。
本次實驗共有23 個使用者,共有 14 名男性與 9 名女性,年齡介於 20~30 歲之間。
其中21 位使用者具有電腦圖學背景,但沒有具有藝術相關背景的使用者。
5.2.2 實驗二結果 表格 1 使用者投票實驗
票數
A.整體藝術好感度 B.色彩好感度
圖片 \ 方法 我們的結果 Yang 我們的結果 Yang
geisha 10 13 5 18
cow 11 12 12 11
Pink flower 10 13 10 13
column 11 12 10 13
平均票數 10.5 12.5 9.25 13.75 由表格 1 可以看出,我們的結果在 23 個使用者的主觀票選中票數略低於 Yang 的 結果,其原因可能在於我們在整體模擬點畫的操作過程較為簡單,而省略了許多細節的 處理,例如光暈、色點大小的變化、色點邊緣的漸層等,使得整體好感度略低。
47
48
5.3 其它結果
圖 26 為與我們的點畫結果比較的秀拉原圖,將我們的點畫輸出結果取局部與秀拉 的畫作比較。
如圖 27,(a)小圖為我們的結果圖,(b)小圖為我們的結果在黃色方框中的局部放大 圖,(c)小圖為圖 26 黃色方框的局部放大圖,由(a)(b)比較可以看出,我們在柱狀物等邊 緣性質強烈的的物體結構呈現與秀拉描繪樹幹的結構十分相似,因為我們利用梯度方向 以及梯度值將靠近邊緣的橢圓色點擺在最上層,以突顯出物件的結構。
圖 28 為我們與秀拉點畫的顏色組成比較,(a)小圖為我們的點畫結果,(b)小圖為 我們的結果在紅色方框中的局部放大圖,(c)小圖為圖 26 紅色方框的局部放大圖,由(a)(b) 比較可以看出,在淺藍色的天空中我們摻了一些黃色色點,與在秀拉著色天空的部分也 十分相近。
圖 29 為我們與秀拉點畫在樹葉結構上的比較,(a)小圖為我們的點畫結果,(b)小 圖為我們的結果在藍色方框中的局部放大圖,(c)小圖為圖 26 藍色方框的局部放大圖,
可以看出我們跟秀拉的樹葉色彩結構,除了綠色色點之外,也都富有橘色及藍色的色點。
最後,圖30~33 為我們與先前研究結果的放大比較圖。圖 34~37 為我們方法的 其他結果圖。
49
(a)
(b) (c)
(d)
圖 26 與我們的結果比較的秀拉點畫「大捷特島的塞納河畔」。圖(b)、圖(c)分別為圖(a) 中紅色方框與黃色方框的局部放大圖。
50
(a)
(b) (c)
圖 27 我們的結果與秀拉點畫在邊緣結構上的比較圖。
解析度:
1024 1024
,(hs,hr,m)(20,2,20)51
(a)
(a) (b)
圖 28 我們的結果與秀拉點畫在色彩結構上的比較圖。解析度:
1280 1024
,(hs,hr,m)(20,2,15)52
(a)
(b)
(c)
圖 29 我們的結果與秀拉點畫在樹葉結構上的比較圖。
解析度:
1600 1200
,(hs,hr,m)(40,2,40)53
圖 30
(a) Hays
(b) Yang
(c)我們的方法
54
(a)Yang
(b)我們的方法
圖 3155
圖 32
(a) Hays
(b) Yang
(b)我們的方法
56
(a)Yang
(b)我們的方法
圖 3357
圖 34 解析度:
1600 1066
,(hs,hr,m)(30,3,30)58
圖 35 解析度:
1280 1024
,(hs,hr,m)(30,2,30)59
圖 36 解析度:
1640 1230
,(hs,hr,m)(40,2,30)60
圖 37 解析度:
1240 768
,(hs,hr,m)(30,2,30)61
5.4 結果討論
在我們的研究方法中,彩色影像分割的結果影響輸出點畫細緻度的程度很大,尤 其在漸層的部分,如下圖 38 的天空部分,圖(a)的分割明顯比圖(b)粗糙,因此在漸層的 部分表現較差。
(a)
(b)
圖 38 (a) (hs,hr,m)(7,.5,20)。(b) (hs,hr,m)(20,2,15)
62 Spectrum)的測試,如圖 39,結果發現秀拉的色點並非是完美的藍雜訊性質,而是較 符合隨機卻不均勻分布的白雜訊(White Noise)性質。我們認為其原因在於秀拉作畫時,
63
改變,因此在分析光暈的研究上,目前我們並沒有想到一個較準確的實現辦法。而若要 以主觀判斷來增加光暈,我們目前可以以手動方式直接修改輸入圖片在邊緣位置的亮度 及色相來達成,如圖 41。
最後,本論文採用我們在第三章所建立的色彩統計模型的一個限制是,我們目前 的方法,如果在著色步驟時,搜尋到兩個以上與目標顏色最相似的代表色,其組成色並 不相同,則我們無法判斷出哪一個代表色的顏色組成方式與目標影像的整體顏色最為搭 配。若有此情況發生,我們則利用隨機的方式決定要採用的代表色。另外,因為我們已 對秀拉的點畫進行事前處利並儲存分析結果,此色彩統計模型為一個短期內無法更新的 固定資訊,因此對於大部分的狀況而言,同一個代表色的顏色組成只會有一種,無法隨 著不同影像的色調風格而改變其組成結構。
(a)
64
(b)
圖 39 秀拉點畫的能量頻譜
(a) (b) (c)
圖 40 (a)「馬戲團」局部圖,小丑的紅色頭髮在上方有明顯的深藍色光暈,但在同樣 背景的左側頭髮邊緣部分卻完全沒有光暈。(b)「大捷特島的星期日下午」局部圖,後方 穿西裝的男人與淺綠色草地有明顯的邊緣,卻沒有光暈;在前方的男人的深色帽子與後 方男人的深色西裝交界處有明顯的白色光暈,但是在加上光暈之前,此交界處的邊緣性
圖 40 (a)「馬戲團」局部圖,小丑的紅色頭髮在上方有明顯的深藍色光暈,但在同樣 背景的左側頭髮邊緣部分卻完全沒有光暈。(b)「大捷特島的星期日下午」局部圖,後方 穿西裝的男人與淺綠色草地有明顯的邊緣,卻沒有光暈;在前方的男人的深色帽子與後 方男人的深色西裝交界處有明顯的白色光暈,但是在加上光暈之前,此交界處的邊緣性