科技部補助專題研究計畫成果報告
期末報告
基於流場的紋路生成技術-以剪紙藝術為例
計 畫 類 別 ： 個別型計畫 計 畫 編 號 ： MOST 103-2221-E-004-008-執 行 期 間 ： 103年08月01日至104年12月01日 執 行 單 位 ： 國立政治大學資訊科學系 計 畫 主 持 人 ： 紀明德 計畫參與人員： 碩士班研究生-兼任助理人員：李亞憲 大專生-兼任助理人員：許書軒 博士班研究生-兼任助理人員：胡臻騏 報 告 附 件 ： 出席國際會議研究心得報告及發表論文 處 理 方 式 ： 1.公開資訊：本計畫涉及專利或其他智慧財產權，1年後可公開查詢 2.「本研究」是否已有嚴重損及公共利益之發現：否 3.「本報告」是否建議提供政府單位施政參考：否中 華 民 國 105 年 02 月 29 日
中 文 摘 要 ： 影像風格化是指將輸入影像轉換成具備特殊風格的影像，此轉換過 程通常會運用數個特定的圖案樣式來增強影像的特徵。一個好的風 格化影像關鍵在於風格圖樣的設計和排列。然而對於初學者而言 ，設計一個新的風格化圖案並將之適當的排列是不容易的。在本研 究中，我們提出一種新的技術，基於非等向性反應擴散
(anisotropic reaction diffusion)的影像風格化系統，使圖樣產 生及設計風格化影像更為容易。本系統是基於反應擴散來產生圖樣 。為了擴展反應擴散系統能產生的圖樣，我們提出的方法包含使用 一些調整後的非等向性擴散來將原有之圖樣進行變形並結合流場來 引導圖案的排列。亦提供一個圖樣選擇器，以方便使用者從各式圖 樣中做選擇。而在後處理步驟中，我們使用一個新的閾值處理和顏 色匹配方法，以便於針對影像做尺寸，密度和圖案顏色的改進。從 實驗結果和使用者研究的回饋中，我們所提出的多種影像風格化樣 式，包括剪紙、風格化半色調和運動錯覺(流場視覺化)影像，均可 透過我們的方法產生並且被多數使用者接受，證明此一系統的可行 性和靈活性。 中 文 關 鍵 詞 ： 影像風格化、非等向性反應擴散、圖樣產生
英 文 摘 要 ： Image stylization refers to the process of converting input images to a specific representation that enhances image content using several designed patterns. The critical steps to a successful image stylization are the design of
patterns and arrangements. However, only skilled artists master such tasks because these tasks are challenging for most users. In this paper, a novel image stylization system based on anisotropic reaction diffusion is proposed to facilitate pattern generation and stylized image design. The system begins with self-organized patterns generated by reaction diffusion. To extend the style of reaction
diffusion, the proposed method involves using a set of modifications of anisotropic diffusion to deform shape and introducing a flow field to guide pattern arrangement. A pattern picker is proposed to facilitate the pattern selection from these modifications. In the post-process step, a new thresholding and color mapping method is introduced to refine the sizes, densities, and colors of patterns. From the experimental results and a user study, several image stylizations, including paper-cut, stylized halftone, and motion illusion, are generated by using our method, demonstrating the feasibility and flexibility of the proposed system.
英 文 關 鍵 詞 ： image stylization, anisotropic reaction diffusion, pattern generation
1 緒論 現今的數位藝術創作工具對於藝術創作者已是不可或缺的。一個易於控制且具備多樣的 創作工具的系統可以使藝術家便於創作並增加效率。影像風格化是一個重要的非真實渲染 （NPR）的技術，可以用來修改輸入影像的樣式、增強影像特徵，並表達特定且具體的視覺 感。這種技術主要依賴概括化圖案樣式，而這涉及圖案形狀和圖案間的分佈。 如豹斑和斑馬條紋般的生物皮毛圖案，可使用反應擴散(reaction diffusion)的技術來 生成。反應擴散系統是一個用數學模型來描述多種化學品的相互作用。許多研究[11,17,19] 有提出使用反應擴散來生成圖案。儘管基於反應擴散的方法可以藉由簡單的數學模型生成複 雜的圖案，但動態產生的過程和細節缺乏可控性會容易使業餘用戶難以產生所期望的結果。 因此，本文所提供的系統之核心理念是利用一個圖樣選擇器(pattern picker)簡化參數的調 整並且引導圖樣沿流場流向(flow field)產生風格化圖案，讓圖樣沿著流向分佈於影像上的 同時依舊能保持或增強原輸入影像的特徵。 本研究所提出之影像風格化方法可產生多種風格，包括剪紙、半色調等。為了產生品質 優良且增強特徵的風格化影像，本方法需要區分圖案原始的配置以及他的幾何形狀。舉例來 說，剪紙風格的影像可以當作各種幾何圖案樣式的組合。創作出這個作品需要經過閾值處理 (thresholding)的程序。另外，半色調風格的影像是用原始的幾何圖形排列來表達原影像的 色調，由於可產生眾多的原始幾何圖案，故創做出的風格化的影像會是足夠強烈的。流場也 是一個影像的重要特徵，如何適當的排列幾何圖案對於運動錯覺(流場視覺化)以及影像風格 話來說都是十分重要的。另外，一個影像風格化的系統應包含一個好的圖樣選擇及調整工 具，以利使用者能夠創做出嘆為觀止的作品。 在本研究中，我們提出多種方法來使我們的系統能夠符合這些要求。與其他相似研究比 較以後，我們的研究提供以下貢獻： — 結合流場的反應擴散技術，能使得我們的方法保留原影像的邊緣、特徵、色調及原影 像的流場特徵。 — 一個圖樣引導工具綜合了所有基本的幾何圖樣，使用者能夠利用這樣的工具來快速且 直覺的創做出想要的風格化影像。 — 我們提出的後處理方法能夠經由域值處理、顏色匹配等方法使得色調、流場等特徵更 為豐富。 本研究的其他部分將依照以下的編排。第二部分探討其他相關研究；第三部分講述我們 的方法；第四部分檢討我們的實驗結果；第五部分則是結論以及未來展望。 2 相關研究： 2.1 反應擴散 反應擴散系統啟發了非常多有關於圖案生成的研究。反應擴散描述兩化學物質之間的交 互作用，可以用來產生動物皮毛類的有機圖案。Witkin, Kass [19] , Turk [17]等人將反應
擴散系統應用於表面貼圖上，藉此產生多種點、線的形狀。McGraw [11]引入張力來描述高階 的擴散方法，並替換掉原本反應擴散系統中的擴散方式，藉此可以產生出非有機的圖案。Wan et al. [18]採用反應擴散系統中的線條樣式來自動產生迷宮。藉由非等向性的擴散方式可以 擴充反應擴散系統能產生的圖案樣式並且能夠藉由一些參數控制產生的樣式。然而，使用反 應擴散系統來設計風格化的影像依舊是困難的。 部分研究將反應擴散與流場做結合。Sanderson et al. [14]提出了調整版的非等方向性 的擴散方式來產生變形的點狀圖案，以此來對流場做視覺化呈現。Kim and Lin [6]將非等向 性的擴散方式以及對流導入反應擴散系統中，擴充反應擴散系統所能產生的圖案樣式。我們 利用本方法做為基礎並延伸應用，實作一個基於流場的非等向性的反應擴散系統，藉由強化 圖案樣式以及顏色匹配來達到更有效的流場視覺化呈現。 2.2 影像風格化 很多電腦圖學的學者嘗試將各種類型的藝術的原則及技巧實作出來。Xu et al. [21]利 用黑白影像以及幾何上的連接限制來產生剪紙風格的藝術作品。Xu et al. [20]提出一套方 法能將連續色調的影像藉由最佳化域值處理變成黑白二值影像，同時又保有原影像的顯著特 徵。這種黑白二值化方法也可以拿來做為影像抽象化的用途。Zang et al. [22]介紹一套可 以保留原影像特徵的前處理方法，以及模擬藝術風格的影像強化。 從眾多的影像風格化技術中，我們選擇了基於流場的影像風格化技術。為了要從輸入影 像中自動產生流場，Kang et al. [4]提出一套產生流場的方法，這方法利用將原輸入影像的 灰階漸層轉換為對應的流場，並且以流場及高斯濾鏡來畫出保有原影像特徵的線條風格藝術 畫。Bousseau et al. [2]提出一套將影片轉換成水彩畫的方法，將影片中的動態改變轉換為 對單一影像的流動，藉此產生類似水彩畫藝術的結果。Kyprianidis et al. [7] 及 Kang et al. [5]利用輸入影像的邊緣正切向量(ETF)產生對應的流場。利用邊緣正切向量能加強風格 化線條的連續性，並且確保所產生的風格化影像能夠比傳統方法的結果來的更佳滑順。 Kyprianidis et al. [8]提出一套基於有方向性的衝擊濾鏡(shock filter)的影像抽象化技 術。Lee et al. [9]基於流場發展出一套貼圖轉換的方法。Li et al. [10]的方法使使用者 能利用引導場(field guided)自行設計幾何圖樣。此外，為了產生基本的設計樣式，產生出 的結果能夠以最不失真的圖樣搭配流場來排列。Son et al. [15]提出點畫風格演算法，此方 法能夠有效的保持流場的分佈，並且此方法也可用來重現原輸入影像的色調及特徵。方向的 資訊不只有利於影像風格化，對於保留原影像的細節也是很有用的資訊。Steidl 及 Teuber [16]提出一套基於非等向性平滑化的影像重構技術。 3 方法 3.1 反應擴散(reaction diffusion) 基於 Gray-Scott Model 的反應擴散系統是一個經常被採用的反應擴散方式，其定義如 下： 𝜕𝐴 𝜕𝑡= 𝐷𝐴𝛻2𝐴 − 𝐴𝐵2+ 𝐹(1 − 𝐴)
𝜕𝐵
𝜕𝑡 = 𝐷𝐵𝛻2𝐵 + 𝐴𝐵2− (𝐹 + 𝑘)𝐵
A 與 B 分別代表兩化學物質的密度場(density field)。這個公式描述 A、B 密度場隨著時 間的變化。最前面的項次用來描述擴散，𝐷𝐴及𝐷𝐵分別代表A 與 B 的擴散速率，𝛻2𝐴 代表 A 的 拉普拉斯。第二項則是用來描述反應的部分，反應公式上顯示一單位的A 與兩單位的 B 會變 成三單位的B。第三項分別代表著 A 的補充速率以及 B 的減少速率，其中 F 及 k 是使用者能 夠控制的參數。(F +k)是用來確保 B 的減少速率會快於 A 的增加速率。在本研究中，A 的分 布被用於樣式的排列。反應擴散系統的本質使得產生自我組織的圖案樣式能夠簡單的排列出 非常規的分布。這個方式有別於相關研究中提及的圖案樣式排列以及影像風格化的方法。 Pearson [12] 曾研究過圖案樣式的風格與反應擴散模型之間的關係。他將 Gray-Scott Model 參數化並且將圖案樣式分成許多種類。反應擴散動態生成圖案的過程是其非常有趣的 部分，這些圖案樣式在一些特定參數組合下將會趨於穩定。圖一顯示各種會穩定的圖案樣式 以及其對應的參數空間。不同的初始狀態或者不同的執行時間會使得產生出的穩定圖案樣式 結果相似於圖中所示，但不完全一致。這樣的性質增加了風格化的結果的多樣性，並且也使 得這些圖樣更加自然。本研究所提出之方法利用並且擴充這些穩定的圖樣，使得我們擁有多 樣的風格化方式。
圖一、Gray-Scott Model 的參數圖。(a)利用參數 F, k 可產生多樣的圖樣。(b)局部放大(a)中紅框處。
3.2 非等向性擴散 非等向性擴散可以使圖樣在生成的過程中有變形及旋轉的彈性。我們以以下公式套用非 等向性擴散： 𝜕𝐴 𝜕𝑡 = 𝐷𝐴(𝛻 ∙ 𝛼(𝜃𝑉,∇𝐴)∇𝐴) − 𝐴𝐵2+ 𝐹(1 − 𝐴) 𝜕𝐵 𝜕𝑡= 𝐷𝐵(𝛻 ∙ 𝛼(𝜃𝑉,∇𝐵)∇𝐵) + 𝐴𝐵2− (𝐹 + 𝑘)𝐵 𝛼(𝜃)代表非等向性函式，而𝜃𝑉,𝛻𝐴表示流場的向量V 與 A 的灰階梯度向量之間的角度。於 是產生出的圖樣就會經由非等向性函式來變形並且沿著流場向量旋轉。舉例來說，於圖二(b) 中，點狀的圖樣變形為紡錘狀，而圖樣的分佈則沿著流場的流向排列。不過，點與點之間依 舊維持一個相同的間距來排列，這是由於 Eq(2)中使用的拉普拉斯核心(Laplacian kernel) 是固定的。我們提出的系統採用的方法是流向引導的擴散，這使得圖樣的排列與流場間有更 (2) (1)
密切的關係。流向引導的擴散中的拉普拉斯核心會隨著流場的方向改變，如圖二(c)所示。流 向引導的擴散可以被視為圖樣排列的一個重要因素。在圖二(d)中，用流向引導的擴散所產生 的結果中，圖樣不只沿著流場排列，形狀也沿著流場拉伸變形。 圖二、比較不同的擴散方法。(a)固定的擴散核心。(b)非等向性擴散使用固定的擴散核心的結果。(c)變形的擴 散核心。(d)使用變形的擴散核心的結果，圖樣沿著流向變形、旋轉。 3.2.1 圖樣的穩定
在 Gray-Scott Model 中，等向性擴散(isotropic diffusion)的擴散速率𝐷𝐴及𝐷𝐵通常
會設為 2:1。利用 Eq(2)與等向性擴散，可以生成穩定的點狀圖樣(F=0.0300, k=0.0655)。不 過當換成非等向性擴散之後就不一定能夠穩定了，當非等向性擴散的極座標函式並非對稱 時，就無法達到穩定態。 圖三、比較非等向性擴散的穩定性；t 為疊代次數。上排：使用不對稱非等向性擴散的結果無法穩定。下排：使 用修改過的非等向性擴散可以達到穩定。上下排皆使用 F = 0.0300, k = 0.0655 舉例來說，若𝛼(𝜃) = 𝑠𝑖𝑛(0.5𝜃)，則產生出的圖樣會無法穩定，若非等向性擴散牽涉到多 種角度(對於物質A 而言是 𝛼(𝜃𝑉,𝛻𝐴)，B 而言則是 𝛼(𝜃𝑉,𝛻𝐵))則會使得圖樣持續的改變，如圖 三所示。我們對非等向性擴散的公式做調整來確保非等向性擴散所產生的圖樣能夠維持穩 定。調整過之後，我們將𝛼(𝜃𝑉,𝛻𝐴)套用到 A、B 兩物質。我們將調整過的非等向性擴散維持 2:1 的擴散速率，因此能夠產生出穩定的非等向性圖樣，如圖三(下排)所示。 3.2.2 圖樣的變形
由於其中距離項‖𝑥𝑗− 𝑥𝑖‖反比於擴散項，所以越遠的鄰居所受到的影響將會越小。而𝐷𝜂(𝑖) 項代表距離總合。在 Eq(3)中， 𝛼(𝜃)是個基於餘弦的非等向性函式，𝜃0是旋轉角度而 𝑙 則控 制產生出的圖樣的邊數。一些圖樣的生成對應參數顯示於表一。 圖四、使用 Eq(3)的基於餘弦的非等向性函式所產生的點狀圖樣。 另外，使用者也可以自行定義不一樣的非等向性函式至不同的角度區間。舉例來說， Eq(4)中將 0°~180°設為常數，使這公式能產生出不對稱的圖樣。利用這樣自行定義的公式， 能夠生成水滴狀、山丘狀、扇形等非對稱的圖樣，如圖五所示。 圖五、用 Eq(4)所產生的非對稱圖樣。(a)水滴狀、(b)山丘狀、(c)扇形。對應參數顯示於表一。 表一、圖案樣式及其對應參數。 圖樣 𝛼(𝜃) 𝐹 𝑘 𝑙 圖 點:紡錘狀 Eq.3 .0375 .0655 2 圖四(a) 洞:紡錘狀 Eq.3 .0300 .0546 2 圖八(藍區) 線條 Eq.3 .0300 .0620 2 圖八(綠區) 三角形 Eq.3 .0375 .0655 3 圖四(b) 點:方形 Eq.3 .0375 .0655 4 圖四(c) 水滴狀 Eq.4 .0375 .0655 2 圖五(a) 山丘狀 Eq.4 .0375 .0655 3 圖五(b) 扇形 Eq.4 .0375 .0655 4 圖五(c)
3.3 系統流程 整體的流程主要可以被分為四部分：前處理、圖樣選擇及編輯、反應擴散、後處理，如 圖六所示。 在前處理中，原輸入影像將利用邊緣正切向量(ETF)轉換成流場(或手動輸入流場)。在圖 樣選擇及編輯階段，系統會基於原影像進行分區，產生出控制影像(control image)，使用者 將選擇每區所要使用的圖樣。接著，反應擴散將會根據先前定義的流場、控制影像及對應的 生成參數來自動產生出一個密度場，反應擴散將會持續的作用直到達到穩定態或被使用者手 動暫停。在後處理中，系統將基於所產生的密度場進行各種後處理，包含閾值處理、顏色匹 配等等方法，藉此來完成豐富的藝術風格作品。 圖六、系統流程圖。 3.3.1 前處理 我們利用原輸入影像的邊緣正切向量(ETF)[5]來產生出對應的流場，並且可以藉由改動 流場來控制整體圖樣的排列以及變形方向。另外，系統也能夠將原影像之特徵點及線作為持 續提供反應擴散原料的源頭，這可以使得原影像之特徵能夠在風格化之後依舊維持明顯。 3.3.2 圖樣選擇器及編輯工具 在我們提出的系統中，圖案的樣式可以被𝐹、𝑘、𝑙三個参數定義出來，而圖樣的大小則是 依據𝑺𝑫及𝑺𝑹來決定。為了方便使用者快速選擇想要的圖案樣式，系統中提供一個選擇工具， 其顯示出所有基礎的圖案樣式，如圖七所示。使用者可以利用此選擇工具來快速的挑選圖 樣，系統會將之轉換成對應的生成參數。
圖七、圖樣匯總影像，此引導圖顯示了𝐹=0.0375 時能產生的大部分圖樣。𝑋軸為參數𝑘、𝑌軸為參數𝑙。本引導圖 列出了基本的可產生圖樣，方便使用者選擇。 系統會依據輸入影像色調進行分區(亦可自行分區)，使用者可以分別指定圖樣至對應的 區塊。舉例來說，圖八為給定流場、分區影像、以及各區塊指定圖樣的結果。另外，系統提 供大小漸層工具對於圖樣大小的控制精細度可細至像素等級，利用這樣的功能可以產生自然 的大小漸層效果。 圖八、(a)分區影像，每區被指定不同的圖樣：紅區為點狀、藍區為洞、綠區為線、黃區為反白的線條。(b)流 場。(c)利用分區影像產生的結果。 我們藉由分別控制反應以及擴散的速率來改變生成圖樣的大小。𝑺𝑫及𝑺𝑹分別代表擴散、 反應速率的權重，圖樣的大小與 𝑺𝑫/𝑺𝑹 成正比關係，如圖九。𝑺𝑫及𝑺𝑹必須大於零來防止產 生失敗的圖案。 圖九、𝑺𝑫及𝑺𝑹與圖樣大小的關係。 3.3.3 後處理 保留色調之閾值處理：由反應擴散產生出之密度場通常在圖樣邊緣會有一點模糊。為了強化
密度場的結果，須經過一連串的影像處理。首先須經過直方圖均衡化(adaptive histogram equalization)[13]來使區域最大值(local maximum)較為一致；接下來再藉由域值處理來使 得圖樣的邊緣較銳利。然而這樣的方式可能無法凸顯原影像的特徵及色調。為了使經過域值 處理的圖片能夠保有原影像的特徵，我們先將原輸入影像的色階切成好幾等份，並分別算出 各灰階值該對應到的域值，如圖十(a)右所示。此方法可使每個像素個別依據自己的域值來決 定是黑或白，其產生的結果就能夠保留原影像的特徵。圖十描述將密度場轉換成保留原影像 特徵的域值方法。 圖十、閾值處理過程。(a)密度場與色階間的關係。將原影像(c)的色階分別對應到一個閾值；密度場(b)可以藉 由這樣的閾值處理來得到半色調的影像(d)。 4 實驗結果 本研究旨在提供多樣的樣式使設計風格化影像較為容易，同時也提出一個直覺且易於使 用的風格化影像設計工具。我們將展示使用本研究方法所產生之剪紙風格藝術的結果，並以 使用者研究來探討本研究方法的結果。 4.1 剪紙風格藝術 剪紙風格的藝術通常會讓圖樣明顯且整齊的排列於流場上。Myriam Dion 的剪紙藝術作品 即是以報紙為基礎，並沿著幾個特定流向將之挖空，且這些空洞有著特定的圖樣並緊密的排 列。在我們的系統中也可以藉由流場來使圖樣沿特定方向生成，且圖樣間維持緊密排列。圖 十一是一個簡單的剪紙風格作品，圖中使用方型空洞並使之沿著貓的周圍排列。圖十二是剪 紙藝術中常見的手法，bird mafia 的作品利用適當排列的圖樣來達到皮毛的效果；而我們則 利用適當的流場搭配紡錘狀空洞來達到整齊的動物皮毛的視覺感。圖十三的星夜則是一個較 為複雜的例子，我們利用流向引導變形的紡錘狀圖樣來取代原本的雲、星星及月亮的周圍區 域。圖十四則是剪紙藝術仿窗風格，藝術家 Myriam Dion 的作品利用一組主要框架，搭配排
列整齊的圖樣來達到仿窗效果；而我們利用適當的流場及圖樣使得產生的結果能夠有種仿窗 欞紋路的效果。
圖十一、簡單的剪紙藝術。(a)輸入影像、(b)流場、(c)經過閾值處理的結果、(d)有大小漸層的結果。
(a) (b)
圖十二、剪紙藝術中的常見手法。(a) bird mafia 的剪紙藝術作品，其整齊排列的空洞達到動物皮毛的視覺效 果。(b)我們的系統產生的結果，利用適當的流場與圖樣產生密度場，並經過閾值處理後的結果。
圖十三、複雜的剪紙藝術例子。(a) Myriam Dion 的剪紙藝術作品。(c)利用流場(b)以及分區影像所產生的 作品。
(a) (b) 圖十四、剪紙藝術仿窗風格，整齊排列的圖樣搭配一些主要骨架，能夠使剪紙藝術成為特色仿窗樣式。(a) Myriam Dion 的仿窗剪紙藝術作品。(b)利用適當流場與圖樣產生的鐵窗風格影像。 4.2 使用者研究 我們設計了一套使用者研究，共有 14 個 20 至 30 歲的人參與此研究。在這一套研究中， 我們比較使用參數調整圖樣與使用我們所提供的選取圖樣工具的完成時間。 我們先講解本使用者研究目的、反應擴散及系統的操作介面。我們指定受測者題目(給定 流場及輸入影像)，並希望他們能夠完成相似於我們所提供的風格化結果圖。我們使用圖十一 (a)、圖十一(c)為輸入影像及目標，並測試他們完成時間。受測者被分為 A、B 兩組，A 組使 用圖樣選取工具；B 組使用參數調整的方式(提供表一參數)。完成本題後，我們將問受測者 一組問題以及評斷圖十三中，藝術家的作品與我們產生的結果風格上是否相似及何者美觀， 兩邊的作品在給受測者評斷時是以隨機出現並且沒有任何標示。 從結果上來看，我們可以發現 A 組平均完成時間遠少於 B 組所需時間(195 秒及 396 秒)，表示我們所提供的工具是更直覺且容易使用的。表二為問卷結果，可以發現多數的人是 同意本系統能夠產生良好排列的圖樣(平均 3.62)、圖樣的多樣性(平均 3.77)、好看的圖樣 (平均 3.62)。圖十五顯示大部分(78.5%)受測者認為我們的結果比藝術家的來的更美觀，這 超出我們預期，有可能是因為星夜本身是著名且較引人注目的原故。 表二、問卷結果。評分範圍 1(最差)～5(最好)。 題目 平均 標準差 Q1.圖樣排列美觀程度？ 3.62 0.84 Q2.圖案樣式豐富程度？ 3.77 0.8 Q3.圖樣形狀上美觀程度？ 3.62 0.92 圖十五、受測者評斷時是隨機出現並且沒有任何標示。Q5.圖十三風格是否與藝術家作品相似？;Q6.圖十三與藝術家作品何者美觀？ 5 結論及未來展望
本研究提出利用非等向性的圖樣生成方法來達成影像風格化的目的。本方法結合了流場 以及非等向性反應擴散，本方法的核心演算法是由反應擴散模型延伸而來。本研究提出的系 統提供直覺的圖樣選擇工具，讓使用者能夠在避免接觸到麻煩的參數設置下快速的選擇到想 要的圖樣。此外，閾值處理及顏色匹配等後處理方式也讓原本的密度場能變得更加強調原影 像的特徵，使得結果更多樣化。本系統能夠產生多樣化的風格化影像，在本研究中也展示了 一些剪紙風格的結果並與剪紙藝術家比較。 未來，作者們想要將之擴展到三維的空間，然而這樣將會遇到許多新的挑戰，包含可能 必須重新定義拉普拉斯核心至三維空間域，也必須降低整體時間複雜度。另外，本方法也可 以整合其他反應擴散模型，進而使得整體圖樣多樣性能夠提升。本系統亦存在一些限制，若 流場本身有不連續區域，則產生之圖樣會碎裂、失敗；另外，由於是利用流場進行圖樣的變 形，所以如雪花一般的複雜圖樣就難以靠此方法生成。 參考文獻
[1] Barla, P., Thollot, J., Markosian, L.: X-toon: An extended toon shader. In: Proceedings of the 4th International symposium on Non-photorealistic Animation and Rendering, NPAR ’06, pp. 127–132. ACM, New York, NY, USA (2006)
[2] Bousseau, A., Neyret, F., Thollot, J., Salesin, D.: Video watercolorization using bidirectional texture advection. In: ACM SIGGRAPH 2007 Papers, SIGGRAPH ’07. ACM, New York, NY, USA (2007)
[3] Chi, M.T., Lee, T.Y., Qu, Y.,Wong, T.T.: Self-animating images: illusory motion using
repeated asymmetric patterns. In: ACM Transactions on Graphics (TOG), vol. 27, p. 62. ACM
[4] Kang, H., Lee, S., Chui, C.K.: Coherent line drawing. In: Proceedings of the 5th International Symposium on Nonphotorealistic Animation and Rendering, NPAR ’07, pp.43–50. ACM, New York, NY, USA (2007)
[5] Kang, H., Lee, S., Chui, C.K.: Flow-based image abstraction.IEEE Transactions on Visualization and ComputerGraphics 15(1), 62–76 (2009)
[6] Kim, T., Lin, M.: Stable advection-reaction-diffusion with arbitrary anisotropy. Comput. Animat. Virtual Worlds 18(4-5), 329–338 (2007)
[7] Kyprianidis, J.E., D¨ollner, J.: Image abstraction by structure adaptive filtering. In: Proc. EG UK Theory and Practice of Computer Graphics, pp. 51–58 (2008)
[8] Kyprianidis, J.E., Kang, H.: Image and video abstraction by coherence-enhancing filtering. Computer Graphics Forum 30(2), 593–V602 (2011). Proceedings Eurographics 2011
[9] Lee, H., Seo, S., Ryoo, S., Yoon, K.: Directional texture transfer. In: Proceedings of the 8th International Symposium on Non-Photorealistic Animation and Rendering, NPAR ’10, pp. 43– 48. ACM, New York, NY, USA (2010)
[10] Li, Y., Bao, F., Zhang, E., Kobayashi, Y., Wonka, P.: Geometry synthesis on surfaces using field-guided shape grammars. Visualization and Computer Graphics, IEEE Transactions on 17(2), 231–243 (2011)
[11] McGraw, T.: Generalized reaction diffusion textures. Computers & Graphics 32(1), 82–92 (2008)
[12] Pearson, J.E.: Complex patterns in a simple system. Science 261(5118), 189–192 (1993)
[13] Pizer, S.M., Amburn, E.P., Austin, J.D., Cromartie, R., Geselowitz, A., Greer, T., Romeny, B.T.H., Zimmerman, J.B.: Adaptive histogram equalization and its variations. Comput. Vision Graph. Image Process. 39(3), 355–368(1987)
[14] Sanderson, A.R., Johnson, C.R., Kirby, R.M.: Display of vector fields using a reaction-diffusion model. In: Proceedings of the Conference on Visualization ’04, VIS ’04, pp. 115–122. IEEE Computer Society, Washington, DC, USA (2004)
[15] Son, M., Lee, Y., Kang, H., Lee, S.: Structure grid for directional stippling. GraphicalModels 73(3), 74–87 (2011)
[16] Steidl, G., Teuber, T.: Anisotropic smoothing using double orientations. In: Scale Space and Variational Methods in Computer Vision, pp. 477–489. Springer (2009)
[17] Turk, G.: Generating textures on arbitrary surfaces using reaction-diffusion, vol. 25. ACM (1991)
[18] Wan, L., Liu, X., Wong, T.T., Leung, C.S.: Evolving mazes from images. Visualization and Computer Graphics, IEEE Transactions on 16(2), 287–297 (2010)
[19] Witkin, A., Kass, M.: Reaction-diffusion textures. ACM Siggraph Computer Graphics 25(4), 299–308 (1991)
[20] Xu, J., Kaplan, C.S.: Artistic thresholding. In: proceedings of the 6th International Symposium on Nonphotorealistic Animation and Rendering, NPAR ’08, pp. 39–47. ACM, New York, NY, USA (2008)
[21] Xu, J., Kaplan, C.S., Mi, X.: Computer-generated papercutting. In: Proceedings of the 15th Pacific Conference on Computer Graphics and Applications, PG ’07, pp. 343–350. IEEE
Computer Society, Washington, DC, USA (2007)
[22] Zang, Y., Huang, H., Li, C.F.: Artistic preprocessing for painterly rendering and image stylization. The VisualComputer 30(9), 969–979 (2014)
1
出國差旅心得報告
一、參加會議經過
ACM SIGGRAPH 為從事電腦圖學以及互動技術的相關人員最為關注的國際會議，除了在美國 每年舉辦的會議外，自從 2008 年起，在亞洲也開始每年舉辦 SIGGRAPH ASIA 年會，同樣吸引全 球圖學的學者和廠商的參與。今年 2015 為 SIGGRAPH ASIA 第二次在日本舉辦，本次會議舉辦地 點在日本神戶國際會議場和神戶國際展示場，活動分為 11 月 2 至 5 日的會議與 11 月 3 至 5 日的展 示會，而會議主要由 technical paper, poster, education program, art gallery, emergent technology, course, and exhibition 這幾個議程所組成。今年很榮幸以 Intuitive 3D Cubic Style Modeling System 為主題參 與 poster 議程，並以 Morphable Word Clouds 在 TVCG special session 做論文發表。二、與會心得
在 SIGGRAPH ASIA 中，機器人研究是一大重點。今年的 keynote speaker Satoshi Tadokoro 教授 為機器人權威，其介紹日本機器人研究的脈絡，特別是因應近年災害救援上的應用。另一位 keynote 則是 Pixar 的 Ronnie Del Carmen，他描述 insideout 這部動畫電影的製作過程，這部片探討青少年 腦中的情緒變化，其發想和故事來自 Pixar 導演女兒的相似經歷，另外，Ronnie 生動的演講方式以 及人生經驗也使人看到藝術和創意在電腦動畫相對科技的另一面。
巨量資料的視覺化也是大會重要的議題，其中同時舉辦 Symposium On Visualization In High Performance Computing。由 Kwan-Liu Ma 教授負責 keynote，之後在會場還多次相遇，向他請教進 行中的視覺化研究題目。另外，就是 TVCG 與 SIGGRAPH 協同的 TVCG special session，將已被 TVCG 期刊接受的論文，在 siggraph 會議中發表，讓更多人能交流討論。我與成大合作的 Morphable wordcloud，也藉此一機會有機會上台發表分享。Morphable wordcloud 的核心技術是將傳統靜態的 文字雲擴展成外型可動態變化的文字，特別是在展示一個具時間性的文件資料時，像是人類演化 史，透過人類不同外型的演化改變輪廓，並同時在內部排列合適的關鍵字。這樣的擴展使得文字 雲更吸引人，在展場或廣告的運用上也更為突顯。而核心的技術就是形狀的變形和有效率地解決 關鍵字排列和避免重疊的計算方式。 在 poster session 中，以海報的型式和與會者互動。我們的主題是藉由提供直覺化的觸控界面的 建模工具，讓使用者能輕易創作積木風格模型，這樣的系統有助初學者快速描繪出基本輪廓，再 逐漸做細部修正。為跨平台滿足所有使用者而不綁定特別平台，我們以 unity 開發實作。在會場中，
出國人員
姓名
紀明德
服務機構
及職稱
國立政治大學 副教授
會議時間
2015 年 11 月 2 日至 2015 年 11 月 5 日會議地點
日本神戶
會議名稱
SIGGRAPH ASIA2015
Poster presentation: Intuitive 3D Cubic Style Modeling System
TVCG special session: Morphable Word Clouds for Time-varying Text
Data Visualization
2
我們也準備了 windows 和 android 版本，讓參訪者能實地操作體驗，並設計有下載 QR code 的小名 片方便下載。在會場有接觸一些使用者，了解到真實的回饋以及建議，以方便未來做程式的更新 與修改。 Figure 1 海報以及為宣傳軟體下載所設計的小卡片 除了議程之外，交流討論也是參與會議重要的收獲。大會舉辦的 reception 晚宴提供了餐點和表 演，讓所有參與者能輕鬆地交流，由於台灣和日本間的交流密切，遇到一些日本人能以流利的中 文交談，一聊之下瞭解過去曾在台灣遊戲產業工作多年，也熱心分享兩地遊戲產業現況。除了大 會舉辦的晚宴之外，SIGGRAPH Taipei chapter 也舉辦了 Taipei reunion，與日本等地的台灣或華人學 者，能一同聚餐分享研究的心得，其中也有廠商代表參與，希望能將其在公司研發的技術在此。
三、發表論文全文或摘要
Intuitive 3D Cubic Style Modeling System
Modeling is a key application in 3D fabrication. Although numerous powerful
3D-modeling software packages exist, few people can freely build their desired model
because of insufficient background knowledge in geometry and difficulties manipulating
the complexities of the modeling interface; the learning curve is steep for most people. For
this study, we chose a cubic model, a model assembled from small cubes, to reduce the
learning curve of modeling. We proposed an intuitive modeling system designed for
elementary school students. Users can sketch a rough 2D contour, and then the system
enables them to generate the thickness and shape of a 3D cubic model.
Morphable Word Clouds for Time-varying Text Data Visualization
A word cloud is a visual representation of a collection of text documents that uses various
font sizes, colors, and spaces to arrange and depict significant words. The majority of
previous studies on time-varying word clouds focuses on layout optimization and temporal
trend visualization. However, they do not fully consider the spatial shapes and temporal
motions of word clouds, which are important factors for attracting people’s attention and
are also important cues for human visual systems in capturing information from
time-varying text data. This paper presents a novel method that uses rigid body dynamics
to arrange multi-temporal word-tags in a specific shape sequence under various constraints.
Each word-tag is regarded as a rigid body in dynamics. With the aid of geometric,
aesthetic, and temporal coherence constraints, the proposed method can generate a
3
temporally morphable word cloud that not only arranges word-tags in their corresponding
shapes but also smoothly transforms the shapes of word clouds over time, thus yielding a
pleasing time-varying visualization. Using the proposed frame-by-frame and morphable
word clouds, people can observe the overall trend and story of a time-varying text data
from the shape transition, and people can also observe the details from the word clouds in
frames. Experimental results on various data demonstrate the feasibility and flexibility of
the proposed method in morphable word cloud generation. In addition, an application that
uses the proposed word clouds in a simulated exhibition demonstrates the usefulness of
the proposed method.
四、建議
首先感謝科技部的補助，使得這次會議順利成行，藉由會議的參與可以直接聆聽到國外專家 學者的研究報告，並有機會和國外學者互動。這次會議中，有機會發表分享有關直覺式建模與動 態文字雲的研究。隨著各項互動裝置的發明和普及，互動的手段以及可能性也越更寬廣，是值得 再研究，使得做事與溝通的效率更為普及。另外，日本在動漫遊戲產業的發展，連帶也有許多相 關的研究在進行，甚至激勵許多開發者從事機器人相關研究，也是值得學習之處。 此外，這次與所指導的博士生和參與積木風格開發的大學部同學一同前往，參與 SIGGRAPH ASIA 這類頂尖的會議，相信對於開拓視野有很大的幫助，今後將多鼓勵學生發表 poster 或 paper 的方式參與，或是藉由 volunteer 身份取得主辦單位的補助。科技部補助計畫衍生研發成果推廣資料表
日期:2015/12/17科技部補助計畫
計畫名稱: 基於流場的紋路生成技術-以剪紙藝術為例 計畫主持人: 紀明德 計畫編號: 103-2221-E-004-008- 學門領域: 計算機圖學無研發成果推廣資料
103年度專題研究計畫研究成果彙整表
計畫主持人：紀明德 計畫編號： 103-2221-E-004-008-計畫名稱：基於流場的紋路生成技術-以剪紙藝術為例 成果項目 量化 單位 備註（質化說明 ：如數個計畫共 同成果、成果列 為該期刊之封面 故事...等） 實際已達成 數（被接受 或已發表） 預期總達成 數（含實際 已達成數） 本計畫實 際貢獻百 分比 國內 論文著作 期刊論文 1 1 100% 篇 研究報告/技術報告 0 0 100% 研討會論文 1 1 50% 專書 0 0 100% 章/本 專利 申請中件數 0 0 100% 件 已獲得件數 0 0 100% 技術移轉 件數 0 0 100% 件 權利金 0 0 100% 千元 參與計畫人力 （本國籍） 碩士生 1 1 100% 人次 博士生 1 1 100% 博士後研究員 0 0 100% 專任助理 0 0 100% 國外 論文著作 期刊論文 1 1 100% 篇 研究報告/技術報告 0 0 100% 研討會論文 0 0 100% 專書 0 0 100% 章/本 專利 申請中件數 0 0 100% 件 已獲得件數 0 0 100% 技術移轉 件數 0 0 100% 件 權利金 0 0 100% 千元 參與計畫人力 （外國籍） 碩士生 2 0 100% 人次 博士生 1 0 100% 博士後研究員 0 0 100% 專任助理 0 0 100% 其他成果 （無法以量化表達之 成果如辦理學術活動 、獲得獎項、重要國 際合作、研究成果國 際影響力及其他協助 產業技術發展之具體 效益事項等，請以文 字敘述填列。） 無成果項目 量化 名稱或內容性質簡述 科 教 處 計 畫 加 填 項 目 測驗工具(含質性與量性) 0 課程/模組 0 電腦及網路系統或工具 0 教材 0 舉辦之活動/競賽 0 研討會/工作坊 0 電子報、網站 0 計畫成果推廣之參與（閱聽）人數 0
