第二章 相關研究
2.4 五官辨識
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
8
類似迷宮的結構，並且能夠參考輸入影像來生成出符合其特徵的迷宮，和上述的迷宮生 成方法相較之下，其結果能夠具有Evolving Mazes from Images[16]無法產生的自似特性，
但運算的時間複雜度卻高出許多；Ando和Tsuruno[20]在NPAR 2010提出透過流體的擴散 特性模擬出大理石紋和日本墨流的向量圖形，並讓使用者能夠即時互動，其結果與中國 傳統裝飾紋路中的雲紋相當類似。以上兩篇相關研究也與向量有密切的關聯性。
(a) (b)
圖 6. (a)輸入影像，(b)配合特徵向量抽象化之輸出影像[18]。
(a) (b)
圖 7. (a)根據色調決定之方法，(b)為透過特徵向量決定之方法[17]。
2.4 五官辨識
欲將動物臉孔的寫實相片與傳統獸面紋圖樣相互對應並進行風格轉換的過程中不 可避免的就是比對臉部的特徵，在近年來臉部辨識的技術是一項熱門的研究，以現階段
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
9
而言，針對人類臉部特徵的辨識與相關應用都已有一定的成熟度，而與電腦圖學所相關 的多用於人類臉孔之特徵進行風格化的轉換，例如 ExampleBased Caricature Generation with Exaggeration[21] 和 Automatic Caricature Generation By Analyzing Facial Features[22]…等之中的技術皆為進行找出自動找出人類五官的特徵並風格化為漫畫的 表現。而為求應用在獸面紋風格圖樣生成的便利性，我們參考了上述研究中的方法以求 得到動物的臉孔特徵，但根據輸入影像中動物種類的不同會產生有特徵與外形差異過大 的現象，無法以通用的規則對待所有動物五官的偵測，因此增加了許多辨識上的困難度。
另外，我們也參考了 Feature-Based Image Metamorphosis[23]的變形技術以應用在我們期 望的特徵誇張化。
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
12
圖 8. 傳統獸面紋特徵比例分配[10]。藍色區域為雙眼、紅色區域為鼻梁、桃紅色區域為 獠牙、橘色區域為雙耳、綠色區域則為觝角。
除此之外，每一個年代的獸面紋圖樣之變化，從較早期年代的基本獸面樣式與側身 組合演進至較晚期的年代有鮮明的臉部特徵和動物特徵，由此可見所能描述的特徵演變 的越來越豐富。
一個完整的獸面紋裝飾圖樣除了有前段所述的特徵之外，根據我們的觀察，在獸面 紋圖樣以外的區域也大多具有其它線條狀交疊的紋路裝飾，在文獻[2]的分類中是屬於幾 何紋路，此類的紋路多源自於如火焰或水渦…等大自然現象，而多出現於獸面紋圖樣中 的幾何紋路被稱為雷紋，是由雷的古文字“ ”所象形而來，故因此命名。分析雷紋的 結構，基本形態的輪廓為矩形並且以回字型的旋轉線條為特徵的表現。在變化上，以迴 旋層次的多寡與排列組合不同做為多樣的類型呈現，常做為烘托主題的次要裝飾紋路，
較少以單獨的形式出現，圖 9 為不同類型之雷紋範例。
(a) (b)
圖 9. 不同的雷紋類型[2]，(a)為勾連雷紋、(b)為菱形雷紋。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
13
3.2 研究方法
透過文獻史料與 3.1 中對傳統獸面紋的分析之後，我們將最主要的特徵結構，例如：
雙眼、卷角、雙耳…等歸類為五官的特徵，而比對一張動物臉譜影像與傳統獸面紋圖樣，
見圖 10，我們發現在五官特徵的對應中具有比例誇張化的效果，同時也會形成黑白兩色 風格化的轉換，特別是在眼睛部分的誇大呈現最為顯著。在相關文獻中，發現對於在傳 統獸面紋五官特徵中豐富的線條裝飾並沒有明確的指出是如何得來，以輸入影像能提供 的資訊而言，我們假定是以現實中的動物之花紋特徵做為來源並加以線條化做為風格的 描述，而在過去與反應-擴散相關的文獻[12][13][15]印證了其方法確實能夠模擬出生物 體表的花紋且能以包含線條風格…等多樣化結構呈現的特性。有此為基礎，我們開始著 手於利用反應-擴散方法做為紋路裝飾的生成與風格化技術。另外，在動物臉譜以外的 區域，我們也試圖運用反應-擴散生成線條紋路的特性來模擬出具迴旋結構的幾何紋路，
由於做為次要的裝飾紋路，我們較不考慮例如圖 9 中較複雜樣式的幾何紋路生成。總結 來說，我們將傳統獸面紋圖樣定義為一種風格，其中包含了黑白色彩與誇張化、抽象風 格化的動物臉孔以及多具結構的線條做為裝飾。
圖 10. 動物臉譜與傳統獸面紋圖樣[2]比對。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
15
圖 11. 系統流程圖。
3.4 五官特徵的生成
在這一節中，參考傳統中國獸面紋圖樣對應寫實相片之產生技術[10]中生成獸面紋 特徵的方法，將輸入的動物臉譜作色彩區塊的分割並透過 Artistic Thresholding[11]的技 術建立出 Thresholding 純粹黑白兩色的影像，其目的是抓出臉孔上的特徵部位之後能夠 開始與存於資料庫中的獸面紋之五官特徵範本進行比對並找出相似性最高的五官特徵。
我們將其中的比對方法改為 Structure Similarity(SSIM)[24]，相較於[10]所使用的比對技 術，SSIM 除了在影像品質上的衡量更符合人類眼睛感知對結構性特徵的判斷之外，在 實作和計算上也不複雜。以下表格 2 所列內容為對應至 3.1 節中表格 1 所分類之五官特 徵資料庫的部分樣本，在實際的資料庫中，在較主要的眼睛和卷角的部分各約有 20 種 樣本，而在獠牙、耳朵和鼻子則各約有 10 種樣本。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
16
表格 2. 獸面紋資料庫之部分範本。
眼睛
無瞳孔 圓形瞳孔 橫條狀瞳孔
卷角
內卷角 外卷角 對稱卷角
獠牙
內獠牙 外獠牙
耳朵
鼻子
在生成出 Thresholding 影像後，為求與資料庫比對之特徵區域，我們便開始著手於
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
17
特徵點的擷取，根據 3.1 節中的觀察，可以了解到一張獸面紋圖樣在視覺上最明顯的特 徵就是眼睛與卷角，相較於其他部位的特徵，也最容易從現實動物影像中的資訊找出關 聯性，我們就以此做為主要的特徵點進行擷取。如下圖 12(b)所示，一共選取五個特徵 點：p1和 p2內所包含的區域做為眼睛的比對來源；計算 p3p4和 p4p5線段之斜率決定此 角的形式為內卷或外卷，再以 p3和 p5所包含的區域與內卷/外卷角資料庫進行比對以找 出最相似的五官特徵。
(a) (b)
圖 12. (a)輸入影像，(b)生成之 Thresholding 影像，並在其中選取特徵點。
我們採用根據[24]所提出的方法，首先，將給定兩個信號 x 和 y 兩者的相似性定義 為：
---(1)
,
,
---(2)
其中，l(x, y)比較 x 和 y 的亮度，c(x, y)比較 x 和 y 的對比度，s(x, y)比較 x 和 y 的結構。
α=β≈0，γ=1 ，用以 調整 l(x, y)、c(x, y) 、s(x, y)的權重參數 ，由於經過 Artistic
‧
圖 13. (a)輸入影像(羊)，(b)生成之 Thresholding 影像，並選取出特徵點進行比對以得到 重要特徵(c)。
如前段所言，輸入的動物影像資訊在眼睛與卷角以外的特徵較無法找出相似的關聯 性，於是我們再次以 3.1 節內從文獻中歸納出五官中特徵與特徵之間的關聯性做為規則，
例如內獠牙常與具特徵為內或外卷角的獸面紋搭配，以推測出剩餘部位之五官特徵。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
19
表格 3. 對應於圖 13 比對結果之分數排名。
Feature Input
Horn Eye
Rank Pattern Score Pattern Score
1st 0.37 0.32
2nd 0.25 0.34
3rd 0.17 0.13
3.5 花紋特徵的生成
第二部分為參考Evolving Mazes from Images[16]中以Cellular Neural Networks(CNN) 為架構的反應-擴散模擬公式，並且加入Control Map和Vector Field的資訊能讓我們進一 步的控制由輸入影像的前景花紋特徵生成為我們所期望的特徵紋理，而目的在於將利用 反應-擴散公式的特性將影像進行具線條和塊狀化的風格化轉換，並且轉為如獸面紋般 的黑白色彩，以及用以加強輸出影像的獨特風格。我們假定以每一個像素做為細胞，每 一個細胞的狀態是X，而它的反應為Y，在以下的反應-擴散模擬公式定義了細胞之間的 狀態與反應關係：
‧
3.5.1 Global Control
而在反應-擴散的模擬下，為求在生成的紋路有更多樣的變化，我們從輸入著手， 14所示意，將r1設定為0.369，r2為0.588。除此之外，在運算前為了運用CNN之架構計算，
我們再次將Pm透過f(x) = 2x - 1至[-1, 1]的區間裡。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
21
X
(0)= c
mP
m, I = P
m---(6)
(a) (b) (c) 圖 14. (a)輸入影像，參考於[16]，將灰階值區間映射至(b)中的[r1, r2]，
生成出全為線條結構(c)。
(a) (b) (c)
(d) (e) (f)
圖 15. (a)輸入影像，(b)w1 = 5.0，(c) w1 = 1.5，(d) w1 = 1.0 ，(e) w1 = 0，
(f) w1 = -1.0。
‧
3.5.2 Local Control
除了在控制全域的紋路變化外，我們利用了 Control Map 讓反應-擴散的核心能有不
下圖16為核心根據Control Map的灰階度取樣到不同的5x5細胞上之示意圖，左圖與 中圖顯示出不同Control Map的灰階值改變了反應-擴散核心中的數值對應到影像中像素
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
23
的位置，右圖則顯示出當sx > sy 對核心縱橫縮放的改變。實際結果如下圖17、圖19顯示，
輸入影像在配合Control Map中灰階層度越深暗區域的進行反應-擴散所生成的線條會變 寬，而越明亮的區域則相反，結果上只要有不同的Control Map的灰階影像輸入則能控制 區域，甚至是全域的生成變化以產生出相異結構的紋路，而若是在欲強調的特徵區域，
也能單純在此區塊給予較深顏色的Map以單純強化此區塊的特徵結構。另外，圖19顯示 出當sx = sy時產生出的線條紋路就沒有如sx > sy或sx < sy時所顯示比較偏往縱橫其一方 向。
圖 16. 反應-擴散核心根據 Control Map 和縱橫向的權重(sx、 sy)進行取樣範圍縮放。
圖 17. (a)輸入影像，(b)上下圖分別為灰階值不同的 Control Map，生成出(c)不同寬度之 線條結構。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
24
圖 18. (a)輸入影像，(b)上下圖分別為部分黑色區塊的 Control Map，生成出(c)強調不同 區域之線條結構。
(a) (b) (c) 圖 19. (a)sx = sy，(b)sx > sy，(c)sx < sy之相異生成結果。
3.5.3 紋路裝飾
在得到經由反應-擴散所生成的特徵線條風格影像後，目標則是針對應用在傳統獸 面紋圖樣裡最具豐富線條裝飾的中心-鼻樑之中。我們從文獻所收集到資料庫中得到鼻 樑的外觀形式，再利用選取特徵點的方式從反應-擴散方法所生成的影像中選取出要裝 飾於鼻樑內的紋路線條。如下圖 20 所示，在選取位置上，為求對應到傳統獸面紋的鼻 樑所表示的位置，我們會挑選動物鼻子至額頭之間的紋路做為鼻樑特徵內的裝飾。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
25
(a) (b) (c)
圖 20. (a)輸入影像，(b)選取反應-擴散生成的結果，(c)紋路與鼻樑外形結合。
3.6 背景裝飾的生成
根據3.1節所分析，傳統獸面紋圖樣的背景多由幾何紋路中的雷紋所排列裝飾，其結 構大多是方形輪廓且具迴旋狀的線條。在這個步驟中，我們傾向於產生單一基本的雷紋 結構再將其佈滿背景區域，於是我們一致應用反應-擴散方法的特性做為基礎，若是將 一個純粹黑色輪廓的幾何圖形透過前段所敘述之反應-擴散運算後，可控制產生出具同
根據3.1節所分析，傳統獸面紋圖樣的背景多由幾何紋路中的雷紋所排列裝飾，其結 構大多是方形輪廓且具迴旋狀的線條。在這個步驟中，我們傾向於產生單一基本的雷紋 結構再將其佈滿背景區域，於是我們一致應用反應-擴散方法的特性做為基礎，若是將 一個純粹黑色輪廓的幾何圖形透過前段所敘述之反應-擴散運算後，可控制產生出具同