行政院國家科學委員會專題研究計畫成果報告
美術影像資料庫中的繪畫風格探勘
Mining Painting Style from Fine Art Image Databases
計畫編號：NSC 90-2213-E-004-005
執行期限：90 年 8 月 1 日至 91 年 7 月 31 日
主持人：沈錳坤 政治大學資訊科學系
一、中文摘要 資料探勘技術的研究，隨著資料庫系統技術的 成熟而顯得日益重要。然而目前並沒有關於繪畫影 像中風格的探勘。每個畫家都有其繪畫風格。所以 本研究利用資料探勘的技術從低階影像特徵來分析 印象派畫家的風格，並且提出改進資料探勘技術中 的 associative classification 來探勘出畫風。 關鍵詞：個人化技術 資料探勘 美術影像風格Content-based image retrieval
Abstract
With the advance of database technology, researches on data mining are becoming more important than usual. However, no studies have investigated mining painting styles from fine arts images. The aim of this report is to analyze the personal painting style of impress artist from low-level feature by data mining technology. In addition, two algorithms are proposed to improve the classification effectiveness.
Keywords: Personalization, Data Mining, Fine Arts
Painting Style, Content-based image retrieval 二、緣由與目的 資料探勘(data mining)技術的研究，隨著資料庫 系統技術的成熟而顯得日益重要。資料探勘的主要 目的在從大量資料中整理出有價值的的資訊。但是 目前資料探勘的研究，所處理的資料多是諸如客 戶、交易、文件、網頁等文數字資料，針對多媒體 資料的資料探勘的研究並不多。 目前多媒體資料探勘的研究，主要包括音樂資 料及影像資料的探勘。在有關影像探勘的研究方 面，目前多集中在室內/室外或城市/風景等特定主 題的影像自動分類[2][5]。其主要的資料探勘技術利 用 Bayesian classification，或 neural network。然而 對於繪畫影像中風格的探勘，目前並沒有相關的研 究。 每個畫家都有其繪畫風格。風格可能牽涉到語 意或詮釋，例如表達唐詩中田園的意境。風格也可 能是畫作給我們的感覺，例如淡雅清新、明亮活潑。 目前資料探勘技術對於牽涉語意的風格，仍有瓶 頸。但對於牽涉感覺的風格探勘，是可行的。 西洋繪畫的發展，可以概括分為古典、近代、 現代三時期。其中近代時期的印象畫派試圖突破傳 統，運用原始的色塊和條紋，不經過混色而直接著 色，讓這些純色由觀賞者的眼睛加以重組和融合， 表達出光線的種種變化，特別是透明度和明亮度。 因此，我們主要的研究目標以印象畫派為主。 從印象畫派風格的描述中，常見兩類描述。一 類是描述畫家常用的顏色。例如畢卡索早期傾向藍 色系，後來傾向玫瑰色。另一類畫則是感覺的形容， 例如梵谷的畫風充滿生命力，用色無拘無束，充滿 強烈的個性特徵。因此，印象畫派中風格的描述， 我們都可以低階影像特徵的角度來分析。 由於畫家的風格會表現在大部分畫作裡，因此 我們應用資料探勘演算法從圖畫中的低階影像特徵 找出共同的特性，並以定量(quantitative)的方式表示 繪畫風格。例如畫作中常出現高亮度且高彩度的顏 色，或是畫作中常將橘黃色系與高亮度的顏色一起 搭配。 因此本研究從美術畫作中萃取出低階影像特 徵 ， 並 改 進 資 料 探 勘 技 術 中 的 associative classification 來探勘出畫風。由於早期台灣本土畫家 曾受過印象畫派的影響，因此我們搜集了六位台灣 前輩畫家的畫，分別是李梅樹、李澤藩、陳澄波、 楊三郎、劉啟祥與顏水龍的畫作，再應用資料探勘 的技術，從圖畫中的低階影像特徵探勘出繪畫風格。 三、結果與討論 （一）畫風與畫風探勘 進行畫風探勘前，先要定義畫風。所謂的畫風 是指大部分畫作中所呈現的共同特徵；從另一個角 度而言，畫風是指與其他畫家的畫作相比，在畫作 的共同特徵上之獨特性與差異性。 我們先利用 association rule，找出每個畫家其所 有畫作裡共同的特徵，再利用 data mining 中的 classification 演算法來進行畫家間特徵的比較。並把 比較的結果，加以定量的描述，就是每個畫家獨特 的風格。探勘繪畫影像風格分為三個議題。一、 feature extraction，從美術影像中萃取低階影像特 徵。二、mining module，從所有該畫家畫作的低階 影像特徵找出共同的特徵。三、classification，找出 每個畫家與別人不一樣的低階影像特徵，就是定量 描述的繪畫影像風格。 （二）探勘繪畫影像風格 1 、 影 像 特 徵 方 面 ， 在 image content-based
retrieval 之中，常用的 feature 有 color、shape、texture 還有 spatial relationships。本研究萃取 color 與 spatial relationships 二個特徵。
Color︰我們萃取 color feature 表示方法之一的 dominant color。當一幅繪畫影像被輸入時，我們計 算其 color histogram，去掉出現次數太少的顏色。而 在描述顏色方面，我們將 color space 從 RGB 轉換 成 HSV，並進行降色，使用 HSV 的原因是因為 HSV 比 RGB 更接近人類的視覺上的感覺。 表示 HSV 的顏色方面，我們以(h, s, v)的方式來 表示。其中 h 代表色度，0≦h＜360。而 s 代表彩度， v 代表亮度，0≦s,v≦100。 在降色方面，我們對 H, S, V 進行 uniform quantization，並取其區間的第一個值當代表。以降 色成 256 色為例，指定 H 取 16 種，S 與 V 取 4 種。 如此 S 就有[0- 24]，[25-49]，[50-74]，[75-100]四個 區間，代表值就是 0, 25, 50, 75。 Color relationship︰根據色彩調和的理論，顏色 間的搭配會造出各式不同的感覺[6][7][8]。例如，淡 黃色與紫色的組合會帶給人不安焦慮的感覺。因此 我們利用 image segmentation 找出 region。再用各個 region 的 dominant color 當代表色，之後再找出各個 代表色的相鄰關係。在表示空間關係方面，我們以 (h1, s1, v1)•(h2, s2, v2)的方式表示相鄰關係。 2、資料探勘方法︰由於畫家的畫風可能來自於 顏色的搭配，如白色與藍色一起用。因此在探勘繪 畫影像風格的過程中，我們應用 association rule mining 的技術。
Association rule 是從顧客交易資料(transaction data)中，找出購買商品(itemset)間關連的行為。例 如買奶粉且買尿布的顧客中有 40%會買奶瓶。將一 幅繪畫影像視為一筆 transaction，而這幅繪畫影像 所萃取出來的低階影像特徵，以 dominate color 為 例，就是這個 transaction 的 itemset，一個顏色，就 是一個 item。而 support 是指 itemset 出現的百分比。 此外使用者需指定 minimum support (min_sup)，而 association rule 會找出 support 超過 min_sup 的 pattern，稱為 freqnent pattern。
例如有一畫家的四幅畫及其 dominant color，如 表 1 所示。當 min_sup 設為 50%時，探勘出來的 frequent pattern 為＜白 紅＞，其 support 為 2。這表 示這位畫家 50%的畫中同時出現白與紅兩種顏色。 此外，相鄰關係的探勘過程也和 dominant color 相似，此時每一個 item 就是一組相鄰關係，例如＜ 紅•藍＞。而找出來的 frequent itemset 代表畫家常 使用的相鄰關係組合，例如＜紅•藍 靛•黃＞。 Association rule 能找出畫家常搭配使用的顏 色，然而畫家的風格可能不只有顏色的關係，例如 畫家喜歡以高亮度的顏色做畫。此時就要個別考慮 色度或彩度或亮度間的關係。例如有一畫家的四幅 畫及其 dominant color，如表 2 所示。當 min_sup 為 50%時，我們可以發現畫家常將兩個亮度 25 的顏色 搭配使用。而且畫家也將彩度 25 與彩度 60 一起搭 配使用。此外畫家也將彩度 25 且亮度 25 與彩度 60 且亮度 25 的顏色一起搭配使用。 表1：Database D1 畫作 ID dominant color 100 紅 白 綠 200 藍 白 橙 300 紅 黃 白 400 紅 藍 紫 表2：Database D2 畫作 ID dominant color 100 (22, 75, 25) (73, 0, 25) 200 (90, 25, 25) (315, 60, 25) 300 (225, 12, 25) (135, 50, 25) 400 (0, 25, 25) (270, 60, 25) 由於傳統的 association rule 不能直接產生這種 pattern，於是 mining 時要進行轉化讓 association rule 可以處理。轉化的方式是針對每一個 color，產生所 有的組合，包括 H，S，V 以及 HSV 兩兩間的組合。 以第一幅畫為例，一共會新增下列 pattern︰ (22, *, *)，(*, 75, *)，(*, *, 25)，(22, 75, *)，(22, *, 25)，(*, 75, 25)。轉化之後，設 min_sup 為 2 時所找出的 maximum frequent pattern 如下︰＜(*, *, 25)＞， support 為 4 ，以及＜(*, *, 25) (*, 25, *) (*, 25, 25) (*, 60, *) (*, 60, 25)＞，support 為 2。 3、Associative classification 分類器︰當資料庫 中有大量資料需要分類，卻沒有分類規則時，一般 classification 可以用兩個步驟進行分類。第一步驟， 建出 classifier︰先以已知類別的資料(training set)， 找出分類的規則，第二步驟針對未知類別的資料進 行自動分類。由於我們在前一節的 mining module 中使用 association rule 的技術，因此我們在分類器 上選擇 associative classification。
由 B. Liu 等人提出的 associative classification[3] 是結合 association rule 與 classification 的分類方法， 分 類 的 依 據 是 利 用 各 類 別 間 所 探 勘 出 來 的 associative rules。由於利用 data mining 技術所探勘 出來的 rule，可以代表該分類資料的共同特性。例 如，影像資料庫中有 X，Y 兩類畫，如果 X 類畫中 白與紅兩種顏色常常一起出現，而 Y 類畫中藍與黃 兩 種 顏 色 常 常 一 起 出 現 。 那 麼 分 類 器 就 可 以 associative rules 的型式，表示成下列二條分類規 則︰ ＜白 紅＞→＜X＞，＜藍 黃＞→＜Y＞。而 新增的畫作如果也是白與紅兩種顏色一起出現，那 就會被分到 X 類。
Associative classifier 的組成是由分類 rule 與 default class 所組成。要建出 classifier 時，分為兩個 步 驟 ， 第 一 個 步 驟 是 找 出 各 類 別 的 frequent itemsets。例如，現在影像資料庫中有 X，Y 兩類畫， 每一類畫各 10 幅。在針對 X，Y 兩類各進行 mining association rule 後，得到的 frequent itemsets 如表 3。 接著把兩類別的 frequent itemsets 合併。如果某 一個 itemset 在 X，Y 兩類別中都出現，那麼只留下 support 大的一邊。如果兩邊 support 相同，則隨便 取一邊。然後再依下列公式計算其 confidence︰ confidence = MAX{support_X, support_Y}/(support_X + support_Y)
得出 confidence 後，再將合併完的 frequent itemsets 依 confidence 及 support 的順序排序，結果如表 4。 然後進行第二個步驟，Training-Classifier，以 建出 classifier（C）。依表 3 的順序，將每條 rule 加進 classifier(C)，並記錄準確率，所謂的準確率是 畫家的畫被分到正確的那一類的比例。除了記錄 rule 外，classifier（C）隨時記錄一個 default class， 是 剩 下 未 分 類 的 畫 中 數 量 最 多 幅 的 類 別 。 最後 classifier（C）為︰ ＜紅 綠＞→＜X＞ 100% ＜紅 黃＞→＜Y＞ 100% ＜紅＞→＜X＞ 55.56% default class: Y Training-Classifier 的演算法如圖 1所示。 （三）分類器的改進 在 本 節 ， 我 們 提 出 兩 個 改 進 associative classification 的演算法。 SFVS 分類器︰由於每個畫家作畫習慣不同，因此 min_sup 會影嚮低階影像特徵的探勘結果。例如， 一位畫家用色風格較為集中，那在 min_sup 的值較 高時，仍然可以找出 frequent pattern，可是如果有 一位畫家用色風格較為多樣，那麼找出 frequent pattern 就會較少。這時候建出來的分類器就會偏向 用色較為集中的畫家，造成用色多樣的畫家準確率 降低。 然而傳統的 associative classification 中所有類 別的 min_sup 是一樣的。為此，本論文提出改進的 演 算 法 ， single-feature variant support (SFVS) classification，容許各個 class 進行不同 minimum support 的 mining。
在 training 的過程中，SFVS 會自動嘗試所有可 能的 min_sup 組合，並選擇分類效果最佳的 min_sup 配對。而為了計算分類效果，我們採取 five-fold cross validation。分類前將資料分成五群。每一次取四群 當 training set，另一群當 validation set，一共進行五 次 ， 再 將 分 類 準 確 度 加 以 平 均 。 因 此 每 試 一次 min_sup 配對，就會進行五次分類，並得到一組平 均過的準確度。最後在試過所有可能的 min_sup 組 合後，再依準確度選擇分類效果最佳的 min_sup 配 對，及對應分類器。SFVS 分類器的演算法如圖 2。 表3：X 與 Y 的 frequent itemsets。 Class X Class Y Itemset Support Itemset Support
紅 10 紅 8
綠 4 黃 6
紅 綠 4 紅 黃 5
表4：合併完的 frequent itemsets Itemset Confidence Support Class
紅 綠 100% 4 X
紅 黃 100% 5 Y
紅 55.56% 10 X
Algorithm Training-Classifier
Input: painting database DB, frequent rules of all classes
Output: Classifier
1. sort rules by confidence and support 2. for each rule r do
3. for each painting object p in DB do
4. if r satisfies p then mark p to be classified 5. if
p
be classified correctly by r then 6. remove all marked p from DB 7. insert r into the end of Classifier 8. choose majority category of music inDB as default_class(r)
9. count total error of Classifier 10. remove rules after the first rule r’ with the
lowest total error in Classifier 11. insert the default_class(r’) to the end of
Classifier 12. return Classifier
圖 1：Training-Classifier 演算法
Algorithm Single-Feature-Variant-Supports-Classification
Input: painting database DB, candidates of min_sup MS, Pattern (Color histogram, Color Bins, or Color Relationships)
Output: Classifier
1. divide training data of each class y into 5 subsets Ty, k of
approximately equal size
2. for each combination of min_sups of all categories do 3. for k = 1 to 5 do
4. for each class y do 5. yi k i y T set training_ , 6. validation_setyTy,k
7. mine mixed frequent patterns from training_sety
8. for each frequent patterns do
9. calculate confidence of frequent patterns 10. Classifier = Training-Classifier
11. classify each validation_sety by Classifier and store
the accuracy ak
12. accuracy of the min_sups combination
ak 5 13. return the Classifier with the highest accuracy圖 2：SFVS classification 演算法 Color:＜紅 (*,25,25)＞
→＜
X＞ Color relationship: ＜藍•白 紫•綠＞→
＜X＞ Color: ＜黃 綠＞→
＜Y＞ Default_class: class Y 圖 3：MFVS classification 的例子 MFVS 分類器︰SFVS 分類器考慮的是每一分 類內的資料特徵不同。然而，畫家的風格可能是不 同特徵表示方式的組合。例如，一個畫家的風格是 紅色系顏色與低彩度且低亮度的顏色(*, 25, 25)，而 且他在相連關係上藍色與白色搭配使用。 雖然經由 association rule 可以知道畫家常用的 顏色組合，或彩度，色度，明亮度的喜好。但是， 經由基本的 association rule 只能 mining 出同一種feature 間的相關性，卻不能知道除了常用的顏色組 合外，畫家是否一起搭配了例如色度與亮度的組 合。因此，我們基於 SFVS classification 提出了另一 個 改 進 的 演 算 法 multiple-feature variant support (MFVS) classification，允許同時使用不同低階影像 特徵進行分類。
MFVS classification 會結合 color histogram， color relationships 與 color bin 等多種特徵的 frequent pattern，依其 confidence 排列，建立 classifier。如同 SFVS 分類器的作法，MFVS 分類器利用 five-fold cross validation 進行 min_sup 配對的微調，並傳出分 類效果最佳的 min_sup 配對，及對應的分類器。 MFVS 分類器的演算法如圖 4。
Algorithm Multiple-Feature-Variant-Supports-Classification
Input: painting database DB, candidates of min_sup MS Output: Classifier
1. divide training data of each category y into 5 subsets Ty, k
of approximately equal size
2. for each combination of min_sups and multiple features of all classes do
3. for k = 1 to 5 do
4. for each category y do 5. yi k i y T set training_ , 6. validation_sety Ty,k
7. mine frequent Color histogram, Dominant Color and Color relationships from training_sety
8. for each frequent Color histogram, Dominant Color and Color relationships do
9. calculate confidence of pattern 10. Classifier = Training-Classifier
11. classify each validation_sety by Classifier
and store the accuracy ak
12. accuracy of the min_sups and multiple patterns combination
a
k5
13. return the Classifier with the highest accuracy 圖 4：MFVS classification 演算法 （七）實驗 我們從文建會的台灣網路美術館、台北美術館 及台灣省立美術館等網站蒐集了六位台灣前輩畫家 的畫。其中陳澄波 43 幅、劉啟祥 54 幅、李梅樹 40 幅、楊三郎 38 幅、顏水龍 40 幅、李澤藩 41 幅。全 部的畫作約 250 幅。畫作的大小約從 400x400 到 650x840 不等。 我們將這些畫作的格式從 JPG 轉換成 BMP，再 進行特徵萃取。萃取後，降成三個範圍，128，256 及 512。128 色是 H 取 8，S 取 4，V 取 4。而 256 色是 H 取 16，512 色是 H 取 32，S V 與 128 色相同。 接著我們對六位畫家的 15 種兩兩配對，利用 MFVS classification 演算法，建出風格分類器。我們 以準確率評估風格分類器的效果，所謂的準確率是 畫家的畫被分到正確一類的比例。為了得到較合理 的 準 確 率 ， 我 們 一 樣 採 取 five folder cross validation，再將準確度加以平均如下表 5。 而我們探勘出來的六個畫家的風格如下。楊三 郎好用高亮度，高彩度的顏色，使用的色系較富變 化，包括 H225 的藍色，H45 的橘黃，H315 的桃紅 色。而一般畫評家對楊三郎的評論則是︰『色彩鮮 麗多變，帶有濃厚之法國印象派情調』。 劉啟祥顏色色系較統一，偏好一起使用低亮度 或低彩度的 H45 橘黃與 H135 綠色。而畫評家一般 認為劉啟祥的畫風有︰「色澤淡雅、清新」；「畫 風靜謐優雅，用色單純而色感雋永」；「偏愛樸素 色彩」。 陳澄波則偏好使用中間彩度（S25~S74）與中 間亮度（V25~V74）一起出現的顏色組合。此外在 空間關係上喜歡使用紅色（H0）與紅磚色（H22） 相鄰，或者使用紅色（H0）與橘黃色相鄰（H45） 的相鄰搭配。而一般畫評家認為陳澄波：「表現色 彩強烈的台灣特色」；「用色大膽」；「自由奔放」。 顏水龍常用單一色系間的低亮度且低彩度之色 彩組合，這些色系包括 H90 的藍色，H225 的綠色 或 H270 的紫色的。而一般畫評家認為顏水龍：「常 大膽採用橙藍強烈對比」；「色調陰沈晦澀，摻雜 大量的灰色」。 李澤藩常用單一色系間的高彩度（S50~S100） 且低亮度（V0~V49）的色彩搭配。在色系方面常用 H180 的青色，與 H225 的藍色。而一般畫評家認為 李澤藩：「用色豔麗、濃厚」。 李 梅 樹 在 空 間 關 係 上 喜 歡 用 紅 色 系 明 （V50~V100）與紅色系暗（V50~V100）相鄰。除 此之外，李梅樹也常一起使用 H45 的橘黃，H315 的紫色。而一般畫評家認為李梅樹：「畫風細膩」； 「明亮華麗」。 由以上可知，畫風探勘的結果與我們搜集有關 這六位前輩畫家風格的評論大致符合。 此外，我們發現，劉啟祥、陳澄波與李梅樹間 的準確率較其他人的低，原因可能是因為這三人都 常用 H45 色系。 表5：MFVS classification 準確率 畫家 準確率 min_sup 陳澄波-劉啟祥 75.01% 0.3/0.3 陳澄波-李梅樹 75.56% 0.2/0.2 陳澄波-楊三郎 80.64% 0.1/0.2 陳澄波-顏水龍 85.89% 0.2/0.1 陳澄波-李澤藩 84.38% 0.1/0.3 劉啟祥-李梅樹 77.42% 0.2/0.2 劉啟祥-楊三郎 88.46% 0.2/0.2 劉啟祥-顏水龍 79.91% 0.2/0.5 劉啟祥-李澤藩 85.27% 0.1/0.1 李梅樹-楊三郎 75.15% 0.5/0.3 李梅樹-顏水龍 83.41% 0.2/0.2 李梅樹-李澤藩 80.00% 0.5/0.3 楊三郎-顏水龍 83.12% 0.3/0.2 楊三郎-李澤藩 80.12% 0.2/0.5 顏水龍-李澤藩 82.00% 0.2/0.3 四、計畫成果自評
本研究計畫發展了美術影像資料庫中的繪畫 風格探勘演算法，並實作出個人化的影像風格查詢 系統雛形。本系統所具有的功能包括畫風查詢及個 人化繪畫影像查詢與過濾。本計畫的部分成果已經 發表在中研院所舉行的第一屆數位典藏技術研討 會。 五、參考文獻
[1] R. Agrawal and R. Srikant, “Fast Algorithms for Mining Association Rules.” Proc. of International Conference on Very Large Data Bases VLDB’94, 1994.
[2] C. Djeraba, “Relationship Extraction from Large Image Databases.” Proc.
of
Second International Workshop on Multimedia Data Mining MDM’, 2001.[3] B. Liu, W. Hsu, and Y. Ma, “Integrating Classification and Association Rule Mining.” Proc. of ACM International Conference on Knowledge Discovery and Data Mining KDD’98, 1998.
[4] R. Sablatnig, P. Kammerer, and E. Zolda, “Structural Analysis of Paintings based on Brush Strokes.” Proc. of SPIE Scientific Detection of Fakery in Art, SPIE-Vol. 3315, 1998.
[5] A. Vailaya, M. Figueiredo, A. Jain, and H. Zhang, “Bayesian Framework for Hierarchical Semantic Classification of Vacation Images.” Proc. of IEEE International Conference on Multimedia Computing and Systems, 1999.
[6] 大山正，色彩心理學 : 追尋牛頓和歌德的腳
步，牧村圖書出版，1998。
[7] 林書堯，色彩認識論，三民書局，1983。
6
