以識覺認知基礎的淺浮雕生成強化技術

行政院國家科學委員會專題研究計畫 期末報告

以識覺認知基礎的淺浮雕生成強化技術

計 畫 類 別 ： 個別型 計 畫 編 號 ： NSC 101-2221-E-004-015- 執 行 期 間 ： 101 年 08 月 01 日至 102 年 12 月 11 日 執 行 單 位 ： 國立政治大學資訊科學系 計 畫 主 持 人 ： 紀明德 計畫參與人員： 碩士班研究生-兼任助理人員：劉維晉 碩士班研究生-兼任助理人員：王士豪 碩士班研究生-兼任助理人員：胡臻騏 報 告 附 件 ： 出席國際會議研究心得報告及發表論文 公 開 資 訊 ： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢

中 華 民 國 103 年 01 月 21 日

中 文 摘 要 ： 浮雕是雕刻藝術中重要的表現方法，藉由在平板上雕刻出高 低落差，傳達出豐富的形狀視覺線索，是介於 3D 雕塑和 2D 畫作中間的一種物體外形的表現方式。本計劃針對淺浮雕這 類型相對高度較低的浮雕技法，將要表達的 3D 場景壓縮到接 近平面但盡可能保留細節。我們使用適應性直方圖均衡化技 術去壓縮高度的動態範圍並儘可能強化細節，且經由降低取 樣點數量的技巧加速適應性直方圖均衡化的計算，以利於使 用者進行互動性自訂風格化。此外，依照場景特徵的流向， 增加特殊的刻紋去豐富淺浮雕的風格表現。 中文關鍵詞： 淺浮雕、適應性直方圖均衡化、風格化

英 文 摘 要 ： Relief is one of the most important sculpture art, it provides rich visual cues in a relative small surface variance. And perception theory is the foundation of computer graphics. The more we understand how the perception system works, the more we can design a better algorithm for shape depiction. In the project, we use adaptive histogram equalization method to enhance the shape depiction of bas-relief generation. In the proposed system, we try to convert 3D model into bas-relief, the key of the relief generation is how to compress the depth from high dynamic into relative low dynamic, and keep most shape feature. Our proposed method will use local Laplacian filter to separate the boundary and detail in multi-level, the benefit of this method will be feature

preservation and easy parameter turning, and provides the intuitive options for stylized rendering.

英文關鍵詞： Bas-relief, Adaptive Histogram Equalization, Stylization

1

1. 簡介

浮雕是藉於 3D 雕塑和 2D 媒體的一種視覺表達藝術，可以傳達豐富的形狀視覺線索。 最常見的應用是在真實和虛擬場景的裝飾上，例如在建築牆壁上或遊戲場景中。浮雕通常 附著於平面或弧面的基底之上，其長和寬之間的比例與原本所要表達的畫面相同，但在高 度上作範圍的壓縮，經過光影的效果後能呈現相似於製作者所想要的畫面。 浮雕的高度使其具有像3D 雕塑般的立體感，而高度和光影等各種視覺上的變化效果 又類似於2D 媒體如繪畫。依照浮雕高度壓縮的比例作分類，可大略分成 high-relief 和 bas-relief，high-relief 較接近 3D 雕塑，而 bas-relief 則較接近 2D 繪畫，也就是相對高度較 低的浮雕。其中製作bas-relief 需要高度的技巧，因其要將物體中的大致結構到微小細節一 同表現在有限的高度範圍內，當由正交視角或接近的角度觀看，仍然能呈現相似的畫面。 在以電腦輔助設計淺浮雕方面，如果是直接使用3D 編輯軟體，需由專業人員來進行 操作，且過程繁瑣和費時。另外也有人藉由影像來產生bas-relief，這樣的好處是方便快速， 但因為影像不具有物體完整的高度資訊，所生成的bas-relief 往往會有一些錯誤的現象。而 我們所要探討的是以3D 模型作為輸入場景，將其深度範圍作壓縮，來產生接近平面的 bas-relief，一方面可以利用到現存豐富多樣的模型，一方面是數位化的優點如容易編輯和 保存。 除了輸入場景的壓縮，淺浮雕上還可見如繪畫般的風格化效果，呈現出各式各樣特色 的浮雕，其中最常見的手法就是線刻。線刻又可大致分成兩種，一種是放置於邊緣來突顯 物體的輪廓，另一種是在較平坦區塊的刻紋去豐富浮雕的風格變化(如圖 1)，而在此我們著 重於後者的線條狀的刻痕。 (a) (b) 圖1. 具有特殊風格的淺浮雕，在(a)天空與地板，(c)河流等位置上有一些刻紋。

2. 相關研究

與本計劃有關的重要相關研究可分為以下二類：第一類為強化低動態範圍影像的研究， 包括色調映射和直方圖均衡化。第二類為浮雕生成之研究。 2.1 色調映射與直方圖均衡化 要將 3D 場景壓縮到接近平面的範圍，同時要保留細節，類似影像處理中的色調映射技 術。色調映射是去壓縮高動態範圍(High Dynamic Range, HDR)影像到低動態範圍(Low Dynamic Range, LDR)的媒體上，且盡可能接近原影像的對比情形。Decarlo 等人[2000]檢 視了色調映射的一些方法，基本上可以分為全域映射和區域映射兩種。常見的全域映射， 例如伽馬校正和直方圖均衡化，這類的方式通常簡明且具有計算上的效率，容易保留整體

2 的相對變化，但難以留住區域性的對比而損失視覺上的細節。區域映射的方面，Fattal 等 人[2002] 在影像的梯度上進行對數的壓縮，梯度越大則壓縮比例越大而相對保留梯度較小 的部分。Paris 等人[2011]以影像金字塔將不同層次的邊緣和細節作分離，各別進行減弱 和強化的處理，達到範圍壓縮和細節處理等目的。區域映射的特性使得區域對比得以保留， 但問題是可能會過度強化某些細節像是雜訊。

直方圖均衡化(Histogram Equalization, HE)是常見技術的影像強化技術，可用於 HDR 的壓縮或 LDR 的強化，與其它全域映射方法同樣具有損失細節的缺陷。適應性直方圖均衡 化(Adaptive Histogram Equalization, AHE)的研究如 Pizer 等人[1986]，分別以每個像 素點的鄰近區塊進行 HE 之計算，改善原本 HE 在區域上的缺點。 2.2 浮雕生成 Cignoni 等人[1997]被認為是由電腦來輔助生成浮雕最早的研究，利用到深度值的概念， 也就是場景中攝影機到模型上任一點的距離，去推算浮雕的高度場。將高度場中最大到最 小的範圍進行縮放的處理，對應到使用者想要的高度，適合於high-relief 的生成。但在 bas-relief 的部分，卻容易損失掉細節。 目前許多更進一步處理深度值的研究類似於HDR 影像壓縮，這類 HDR 的技術代表如 Fattal 等人[2002]對於影像的梯度進行對數的壓縮。而浮雕與影像的不同之處是通常要具備 連續性，以避免稍微的視角改變讓呈現的畫面上產生較大的落差[Weyrich et al. 2007]，至少 在人類視覺上要符合連續性，除非我們要在同一浮雕上呈現兩個以上的視覺效果。Song 等 人[2007]比較了淺浮雕所需幾何處理與 HDR 的不同之處，提出在微分座標上利用相似度比 對來找出顯著特徵的部分，但無法強化外形的輪廓且造成某種程度的扭曲。Kerber 等人 [2007a]在 gradient domain 上進行特徵保留的範圍壓縮，藉由 unsharp masking 的方式強化梯 度，卻造成高梯度的部分過度誇張。Kerber[2007b]接著以 Fattal 等人[2002]提出的方式進行 非線性縮放的調整，改善了過度強化的問題，可是原有的外形輪廓並沒有良好的保存下來。 Weyrich 等人[2007]也參考 HDR 的方法以高度場的梯度去壓縮，並且讓使用者可以針對不 同的頻帶各別進行減弱或增強的處理。此研究有一個問題是如果梯度的範圍過大，可能造 成細節的消失，或是由使用者去調整各別的頻帶而造成負擔。

Sun 等人[2009]利用到 adaptive histogram equalization(AHE)去作浮雕特徵的強化，考量

由小到大鄰近區塊去作AHE 再取平均值，以此將 local 和 global 的資訊都保留下來。這個

技術在計算上很花時間，所以很難讓使用者去作互動性的控制。Kerber 等人[2009]主要以 bilateral filter 來強化細節，在使用者控制的參數部份最多只有兩個，有效簡化使用者的操 作，但同時也無法有進一步多層次的調整。而我們的方法能以全域或多層次的參數來進行 控制，使用者可以由簡單的操作到複雜的細部調整做選擇。

除了範圍壓縮和細節強化外，有另一類的研究是關於人類的視覺感知。Belhumeur 等人

[1999]提出 bas-relief ambiguity 的概念，主要是說 bas-relief 一般是以正交視角附近的角度去 觀看，而如果視角差異大時就會與原本要呈現的畫面有落差。從此我們可以得知在同一浮 雕上有可能呈現兩個以上的視覺效果，像Alexa 等人[2010]就是以此為目的的研究。這個研 究將兩張以上的影像作為輸入，生成在不同光源的情形下產生不同畫面之bas-relief，甚至 可以讓白色的bas-relief 搭配數個不同顏色光源來呈現彩色畫面。Wang 等人[2011]針對線條 在人眼視覺上的重要性，以線條陰刻的方式來生成浮雕，也是在bas-relief 中首度提出風格 化概念的研究。

3

3. 研究方法與步驟

我們首先概述整個系統的方法與流程。再來介紹直方圖均衡化和適應性直方圖均衡 化與其在浮雕生成上的應用，並以取樣和內插的方式來加速計算。另依照場景特徵的流向， 加上特殊的刻紋去豐富淺浮雕的表現。 3.1 方法流程 我們提出的方法主要分為兩大部分，一部分是淺浮雕的產生，另一部分是風格化刻紋 的生成，兩邊結合為風格化的淺浮雕，整個系統的流程如圖2。淺浮雕的部分一開始由 3D 場景轉換成高度場，在高度場中取樣某些點或完全取樣，依這些點其周圍的特性作統計直 方圖。經過扣除掉超過給定限制者與重新分配的動作，再依新的統計直方圖進行均衡化， 計算出這些點在浮雕中的高度。如果有在高度場取樣的話，以內插求出取樣點外的部分， 完成整個浮雕高度場的計算。

風格化的部分由3D 場景渲染出的影像和前面的高度場作 edge extraction 取出 line map， 再由到edge 的距離計算產生 distance field，然後每過一段等距畫製成 offset lanes。以 offset lanes 控制風格化的位置，由這些位置擺放刻紋用的取樣點，取樣點間的關係來決定刻紋的 深度，然後將這些刻紋加上淺浮雕使其具有特殊風格。

4 3.2 場景前處理 輸入一個 3D 場景並取得其每一個像素點的深度值，將深度範圍減掉深度值及得到此點 的高度值，所有高度值構成浮雕原始的高度場 H(x)，這裡的 x = (x, y)表示高度場中的某 一點。因為一開始取出的深度值在[0, 1]的範圍內，所以 H(x)也會落在[0, 1]的區間，基 本上可以分成前景和背景兩個區塊。背景為原輸入深度值在無窮遠處，也就是場景中沒有 物體的地方。在這裡將背景部分的高度值視為 0，當成浮雕的水平面，而這些部分並不納 入我們方法的處理範圍，所以後面所述的 H(x)僅代表前景的部分。 另外前景和背景之間常常會造成相當大的高度落差，而這些不連續性只沿著物體的輪 廓[Kerber et al. 2009]。因此在關於 H(x)的梯度場方面，前景鄰近背景的位置會有不適 當的大梯度，我們會把它們視為 0，以避免生成的浮雕在輪廓有落差或擴張的情形。 3.3 適應性直方圖均衡化於浮雕之應用 這節對我們會用到而由前人提出的方法作基礎的說明，首先介紹直方圖均衡化和適應 性直方圖均衡化在浮雕上的應用，另外在適應性直方圖的部分又可進行加權和增加對比限 制作為改良。。 3.3.1 直方圖均衡化(Histogram Equalization, HE)

在3.3.1 節我們將描述基本的 Histogram Equalization (HE)，後面幾節則討論其變形及我

們的改良。HE 是影像處理中強化影像對比的一種方法，對於浮雕的高度場也可產生相似的 作用。首先要進行直方圖的統計，將[0, 1]切成 B 等分，每一等分稱之為 bin，第 i 個 bin 以 b 表示，則統計 H(x)落入b = [(i – 1)． 1 / B, i．1 / B)者的數量為h ，其中 i = 1, 2, …, B。 最後的bin 則為特殊的情況，b = [(B – 1)． 1 / B, 1]。 從第1 個到第 i 個 bin 為止加起來的 定義成累計量c 如下： ( 1 ) 上述之c 也就是 H x 中點的數目。接下來處理直方圖的均衡化，均衡化的目標是要使 原本不均勻分散在每一bin 中的c ，盡可能均勻分布在每一個 bin 上，而充分利用到整個 0, 1 的範圍。某一點其H x ∈ b 經過均衡化所產生的H x 如下： ( 2 ) 由於所產生的 因為是離散的關係，並無法完全均勻分布在每一個bin 上，而均勻 的程度則取決於統計直方圖的等分 B。B 越小則均衡化的效果越差，容易產生一些人工缺 陷，越大則生成的浮雕對比越明顯，但會增加計算量的代價。 3.3.2 適應性直方圖均衡化(Adaptive Histogram Equalization, AHE) 單純對於整個高度場來作直方圖均衡化，並不容易強調區域的細節變化，而AHE 則 可減低此缺陷。AHE 由每個像素點作為中心以周圍的鄰近區塊進行上述之直方圖均衡化， 區塊越小越能呈現局部的細節，越大則越能表示全域的結構。以某一點 x, y 為中心的鄰近 區塊表示為：

5 , 　, ∈ ：|　 | , | | (3) m為(x, y)往水平或垂直方向延伸的最大距離，在N x, y 這一區塊內 H(μ, ν)落入b 範圍 的統計量為h x, y ，而累計量 c x, y 定義如下： , , ₍₄₎ 上面的式子與HE 式子的差別就是每一點 x, y 都有屬於自己的h x, y 和c x, y ，藉此 在N x, y 的區域中就可以充分利用 0, 1 的範圍，而其H x, y ∈ b 經過均衡化所產生的 H x, y 如下： H x, y c x, y c x, y c x, y c x, y 5

AHE 中由 x, y 延伸的最大距離m是值得探討的地方，當所有 x, y 在 X × Y 的範圍內， m如果大於等於 max X, Y ，則所計算出來的結果與 HE 是一樣的。當m縮到越小於 max X, Y ， 就越能顯示出區域的細節。但當m如果太小，導致某些h x, y 不足甚至為 0，會使得浮雕產 生扭曲等人工缺陷。 不管是HE 或 AHE 都只有高度場上統計直方圖的資訊，而缺乏表面形狀上的資訊，所 以加入H x 的梯度作為權重來彌補這方面的不足 Sun et al. 2009 。在梯度的計算方面採用 Sobel 算子： g x, y H x 1, y 1 2H x 1, y H x 1, y 1 H x 1, y 1 2H x 1, y H x 1, y 1 6 g x, y H x 1, y 1 2H x, y 1 H x 1, y 1 H x 1, y 1 2H x, y 1 H x 1, y 1 7 而梯度的權重則依照梯度量大小所構成的梯度場g x, y ： g x, y g x, y g x, y 8 加上權重後，在N x, y 這區塊內某一點 μ, ν 之 H μ, ν 落入b 範圍的統計量為h x, y 如 下： h x, y g μ, ν , ∈ , 9 經由梯度的加權使得在原高度場中梯度較大的地方，在後來生成的浮雕也有較大的梯 度，而非只依賴同一高度的統計量。注意到梯度為0 的地方因此就不會被計入其h x, y ， 但基本上都會有屬於同一個bin 的某些點之梯度不為零，除非N x, y 內都是同一高度，所 以在不是一整個平面的情況下有點落入的bin 不會產生其h x, y 是 0 的現象。 更進一步為避免太大的高度落差，以Weyrich 等人 2007 提出的方法將梯度進行取對 數的壓縮： C g μ, ν 1 αlog 1 α．g μ, ν 10 這個對數壓縮函式目的是保留較小的梯度變化而減弱較大的，其中參數α所控制的是壓

6 縮的程度，越高的值代表壓縮的程度越大，建議設在0.5 與 10 之間 Weyrich et al. 2007 。 另外一個情形也會造成太大的高度落差，當我們移動中心點的時候，鄰近區塊外圍的 變化有可能是不連續的。因此以鄰近區塊內某一點到中心的距離 d μ, ν μ x ν y 為因子，將其Gaussian分佈作為權重函式，使得遠處的影響 較小： D d μ, ν e , / ₍₁₁₎ 最後將壓縮後的梯度和距離兩個權重結合起來，在N x, y 這一區塊內 H μ, ν 落入b 範 圍的統計量為h x, y 如下： h x, y C g μ, ν , ∈ , ．D d μ, ν ₁₂ 對比限制AHE Contrast Limited AHE, CLAHE 我們所設定生成浮雕的高度範圍是固定的，在HE 中如果相鄰兩個 bin 其對應產生的高 度差距過大，也就是前一個bin 的統計量h x, y 很多，相對來講就是降低其它 bin 的高度 落差。如此可能會產生一些問題，例如雜訊的過度強化，因此參考Pizer 等人 1986 提出的 Contrast Limited AHE CLAHE ，針對統計量超過給定限制者將其多出的部分扣除。 由於各個bin 統計量之間的差異是相對的，所以給定限制適合採佔所有 bin 總量比例 的方向。設給定限制L x, y c x, y ．l / B，其中 l 屬於 1, B 區間，為使用者控制浮雕高 度變化的參數。L x, y 代表某一 bin 的統計量能佔所有 bin 的最大比例為 l / B，例如 l 1

就是L x, y 的量所佔比例最大能為總量的平均。l 越大則在浮雕上能呈現越多的細節，但太 大則會突顯出雜訊，l 越小則越接近線性壓縮的情形。在 l 1 的特殊情況下，每一個 bin 其h x, y 都均等，也就是在輸入的每一高度區間其比例和輸出後是相同的，因此可視同為 線性壓縮。 如果單純只扣除掉超過給定限制者，因為所有bin 的總量發生改變，各個 bin 的比例 也會跟著變化。Pizer 等人 1986 針對多出限制的部分，把它重新分配到直方圖其它的 bin 上面，考量了兩種重新分配的模式。其一是依照原本bin 統計數量上的比例，把多出的分 配給未超過給定限制的部分，另一則是將其均勻分配到所有的bin 上面。為了實作上的效 率，採取均勻分配到未超過給定限制的bin 之策略如圖 3，方法在下面的段落詳述，結果的 部分在4.3 有更詳盡的討論。 圖3. 重新分配的改變，N(x,y)中(a)未重新分配和(b)經過重新分配的統計直方圖。

7

扣除和重新分配統計直方圖是一個疊代的過程，將所有bin 的統計量超過給定限制的

部分，均勻分配到其它未超過限制的bin 上面，經過重新分配後有些 bin 才會超過限制，再

進行一樣之扣除和重新分配的動作，重複這樣的過程直到所有的bin 都沒有超過限制。

為了有效率的進行此一疊代的過程，以bin 的統計量由大到小進行排序，就可依序扣除多

出的部分，並將其計入累計量S，S 除以剩餘 bin 的個數就是每個 bin 加上的量 A。後續的

bin 加上 A 超過限制的話，就加到限制為止，且多出的部分一樣累計入 S，如果沒超過就會

讓每一未分配的bin 加上 A。

這樣作法的好處可避免重複尋找超過限制的bin，只需一層迴圈依序檢視每個 bin。不

過代價就是要先進行排序，這裡採用O(n•logn)的排序演算法，優於原本重複尋找所需要

O(n2)的複雜度。我們亦嘗試 O(n+k)的桶排序(k 為桶子的數目)，但事實上 bin 的統計量容 易集中在同一桶子裡，在效能上沒有太大的差異。推測是因為距離權重的關係，中心點鄰 近範圍內如果沒有太大的變化，bin 的統計量傾向集中在一定範圍內。 3.4 AHE 之改進 在這一節我們針對前述方法不足的地方加以改善，分成輪廓的大落差和計算耗時兩個 問題。輪廓的部分是依照前景的比例作分配上的調整。計算耗時的部分以取樣與內插的策 略來加速計算，達到不致於損失太多細節的結果。 3.4.1 輪廓限制 在對比限制中，如果我們把S 都分配其它 bin 內，會使得這些 bin 之中統計量沒有到達

限制的部分都增加A 如圖 3(b)，如果浮雕的外圍輪廓屬於的 bin 其 h_i (x,y)也會升高 A / S，

這將導致輪廓上較明顯的落差。因此考量N(x,y)內視為前景之點的數目 F 和點的總數 W 之 比例作調整，把分配的部分由S 改成 S．F / W，修改後如果前景涵蓋整個 N(x,y)則與未調 整前一樣如圖4。 圖4. 全部與依比例重新分配之差別：黑色和白色的地方分別為背景和前景，考量前景 比例所作的分配量p1 為 S， p2 則為 S/2。 3.4.2 取樣與內插 AHE 一個主要的問題是計算量相當大，如果只在 H(x, y)中取樣某些點，由這些點的 N(x,y)去進行 AHE，再以內插求出 H(x, y)中取樣點外的部分[Pizer et al. 1986]，將可有效加

速AHE 的計算。先考量以網格式均勻取樣，如果取樣率 RS 是 1/4，則有計算 AHE 之點的

數目則會縮減為RS2 = 1/16。可以推論 AHE 計算量的部分大致與 RS2 成正比，降低 RS 可

8 細節，所呈現的浮雕傾向於整體的結構變化。 Sun 等人[2009]提出了以不同大小的 N(x,y)去取平均，來達到局部細節和全域結構的平 衡。由於N(x,y)的範圍越大所需的計算量越大，且越偏向全域結構而非細節，我們考量讓 不同大小的N(x,y)其 m 與 RS 成反比。這樣小的 N(x,y)負責呈現細節，大的表示結構，且 不同大小的情況下所有點其N(x,y)的大小在包含背景的部分時累計後是相同的。在以取樣 率依不同層次改變求其平均的架構下，讓m 屬於{ , , …, }， 表示所屬 其 生成的高度場，所產生的浮雕高度場 ′ 為： ⋯ ( 13 ) 例如我們取n = 4, m ∈ 16, 32, 64, 256 ， = 16 設定為完全取樣， = 32 則是取樣 率為1/2，以此類推。上述設定所產生的過成和結果如圖 5，可以看見從圖 5 (b)到(e)由細節 漸漸傾向結構，最後結合在圖5(f)。將圖 5 (f)與(g)作比較，我們演算法的結果雖然在細節 上呈現的較差，但也減低了過度強化的情形，重要的一點是所花的時間差不多只有7 分之 一，更詳盡的討論在4.1。 除了平均不同層次的作方，可以進一步加入權重，使得每個 能具有不同程度的 強化或減弱。讓權重 屬於{ , , …, }， 其k 較小時影響的地方偏細節，k 較大 時影響則偏結構的部分如圖6，加權後的浮雕高度場 之公式為： ∑ ． ∑ ( 14) 圖5. 取樣率依不同層次改變求其平均與完全取樣下 m 最大的一層之比較：(a) 輸入的場景， 與其產生的浮雕

9 圖6. 某一個權重調整為不等於 1 的值，其它權重則設為 1，調整的權重由左到右分別為 、 、 和 ，調整的值由上到下分別為4、2、1/2 和 1/4。 3.5 風格化生成 在這一節我們欲產生依照場景特徵的刻紋，將其加上前面所生成的高度場 。首 先由3D 場景渲染出的影像和高度場H 作edge extraction 來取出線條特徵，再由到這些線 條特徵的最短距離計算產生distance field，並以其梯度的垂直方向作為特徵流向。將刻紋中 軸線依照特徵流向擺放，再合成具有深度和平面寬度變化特點的刻紋，最後將這些刻紋加 上淺浮雕使其具有特殊的風格。 3.5.1 Edge Extraction 與距離轉換

由3D 場景其高度場 H(x)和渲染出的影像 S(x)如圖 7(a)分別以 Laplace 算子作 edge extraction，在高度場的部份因為會有大的落差情形，特別利用到前面所提的對數壓縮函式 C，最後取出 C( l(H(x)) )≥Ө_H 和 l(S(x))≥Ө_S 兩者的聯集。取出的部分作為黑色的 edge，

產生二元的黑白影像稱之為line map，黑色的地方表示特徵線所在的位置如圖 7(b)。

圖7. 風格化過程中各個主要的階段：(a) S(x)，(b) line map，(c) distance field，(d) 距離等 值線圖，用以呈現場景的特徵流向。

處理完後的line map 進行 distance transform，也就是利用影像中的邊緣當作起點，一個 像素一個像素的傳遞來計算非邊緣像素與邊緣的最短距離，而這裡的距離是採用歐幾里德 距離，得到的影像稱為distance field 如圖 7(c)。distance field 中某一點其距離的值以 D(x) 表示，D(x)越小則越接近黑色，越大則越接近白色。沒有經過後製的 distance field 會造成

10

一些非預期的人工缺陷，例如過度尖銳的角落，這裡以Gaussian kernel 的平滑化來減低此

缺點如圖8。

圖8. Gaussian kernel 平滑化的差異：(a) 輸入的場景，與其紅色方框中(b) 沒有經過平滑化 的distance field 和(c) 其 offset lanes；(d) 經過平滑化的 distance field 和(e) 其等值線 圖。於等值線圖方面可以看到(c)比(e)有更多鋸齒狀的情形，在 distance field 的地方為 了更清楚的顯示而讓其值經過縮放。

3.5.2 刻紋中軸線

給定一個平滑化的 distance field 之後，以 Sobel 算子去計算其梯度，並取梯度的垂

直方向之向量構成我們所要的向量場V(x,y)。我們欲使刻紋沿著向量場 V(x,y)的方向，而

讓刻紋有接近平行於特徵線的效果，來呈現場景的特徵流向類似圖7(d)所示。除了讓刻紋

依照流向來走，我們還希望在場景中不同區塊中的刻紋具有差異，使得彼此之間更為分明。 我們目前所設定的刻紋差異在密度和長度兩個部份，而區塊的分割則藉助於使用者自訂的 場景分割圖如圖9(a)。密度方面用 Poisson-Disk Sampling[Dunbar et al. 2006]的方式依照分割 的數目去平分權重的範圍(例如有六個分割在 [10,45]的範圍，則平分的結果為 10、17、24、 31、38 和 45)，最後產生 個不規則的取樣點如圖 9(b)，作為每一條刻紋中軸線的起始中 心點 ( j∈[1, ] )，也就是刻紋的數目和位置取決於取樣點 。其中刻紋由中心往一邊延 伸的最大長度l，包含基本長度加上不同區塊的差異化的長度，差異的部分一樣由分割的數 目去平分最大差異化長度的範圍。我們並限制刻紋中軸線不能在line map 中黑色的像素， 以避免刻紋產生在邊緣的地方，因此受限後的中軸線一邊延伸的長度未必會達l。 圖9. 使刻紋產生差異化的方法，(a) 場景分割圖，(b) 取樣點的位置與密度，(c) 形成的刻 紋中軸線。

為使形成的中軸線較為平滑，加入Runge-Kutta [Cabral et al. 1993]的方法，依向量場 V(x,y)產生的變化量以 RK(V(x,y))表示。刻紋軌跡可以 (x,y)代表如公式(15)~ (16)，由其

11 , , , ( 15 ) , , , , (16) 讓中軸線單純沿著V(x,y)的方向顯得過於工整且單調，因此加入正弦波函式，讓刻紋 的中軸線在平面上向其垂直方向擺動，產生不一樣的變化。原本中軸線上的點 , 經過 正弦波後位移到 ’ , ’ ，而中心點兩邊一開始所朝的方向不同，形成的公式如下：

′ = sin( , ) * amp *sin( freq ∗ extend , ) (17)

’ cos , ∗ amp ∗ sin freq ∗ extend , (18)

extend(x,y)為(x,y)到刻紋中心點的距離，freq 為正弦波頻率的參數，越大則擺動得越頻 繁，amp 為正弦波振幅的參數，越大則擺動的幅度越大如圖 10。 3.5.3 刻紋合成 得到刻紋中軸線後要再將其合成完整的刻紋，包含在深度和平面寬度上的變化。 在刻紋最大深度depth 的設定上我們採以整體浮雕範圍[0,1]之間的比例，以避免刻紋深度超 過浮雕的範圍和能夠限制其所佔據的比例。刻紋的技法在深度方面由一開始的端點大幅度 向下雕刻，越接近中心則越平滑，離開中心後再加大： 圖10. 頻率與振幅參數調整的刻紋變化。 length 為刻紋 , 端點到中心的距離，offset(x,y)為(x,y)到同一邊端點的距離，函式 的意義是讓最大深度depth 乘上目前位移佔據整個長度其經過 log 處理的比例，舉例來說當

offset , length 時也就是到達刻紋中心的位置，depth , 就會等於 depth。深度與β產

生的刻紋變化如圖11 所示。 depth , 1 β log 1 β．offset , 1 β log 1 β．length ．depth ( 19 )

12 圖11. 深度與β參數調整的刻紋變化。 3.6 浮雕生成 依上述步驟產生的高度場 最終要轉成浮雕的模型，首先依照使用者自訂的浮雕高 度最大範圍，可以是一個固定的值或與高度場邊長之比例，例如高度場的解析度為512x512， 比例是10240：1 的話高度的最大範圍就是 0.05。將浮雕的最大範圍與高度場 中的最 大值取兩者之間的比值r，將目前 中所有的高度值乘上r 進行線性縮放。我們讓縮放 後的高度場中鄰近的三個點組成一個三角形，而所有三角形則構成三角網格的浮雕模型。

4. 結果與討論

本研究的實作執行在CPU 為 3.0GHz Intel CoreTM2 Duo E8400，記憶體為 3GB 的電腦 上。以解析度為512x512 的輸入場景為例，邊長與高度的比例是 10,240：1，採用的 histogram bin 數目則為 10,000，在鄰近區塊中延伸的最大距離 m 為 16、32、64、128 和 256 的情況 下分別以整個高度場完全取樣和取樣率為1/4 的方式做計算，所花的時間(秒)如表格 1，可 以看到取樣率為1/4 的時間大約是完全取樣的 1/16。 表格1. 不同取樣率與 m 其所花的時間。 在呈現結果的部分，我們的方法只在細節上的表現稍差，但也減低了過度強化的情形 如圖16 獅子的額頭，可以看到 Sun 等人[2009]的結果上有雜訊，而我們的無此情形或較輕 微。當模型中的網格面太大時也容易在浮雕上突顯出來，相較之下Sun 等人[2009]的方法 突顯地較為嚴重如圖17，同時還附帶一些其它的雜訊。除了模型上原有的雜訊過度強化的 問題外，Sun 等人[2009]和我們的方法在輸入的模型很工整時都容易產生缺限，這種狀況常 見於人造物，如圖17 神廟柱子之間的地板在原本的模型是平坦的，但浮雕的結果卻有起伏 的情形。

13

圖 15. 獅子花瓶計算的結果以(a) Sun et al. 2009 和(b) 我們的方法。

(a) (b)

圖16. 計算比較以(a) Sun et al. 2009 和(b) 我們的方法。

5. 結論與未來工作

本計劃提出了一套加速與風格化的AHE 淺浮雕生成方法。在以 AHE 為基礎的演算法 下，考量其統計直方圖中扣除超過給定限制和重新分配的影響和結果，盡可能避免產生過 度強化的情形。在重新分配的部分採取前景所佔比例的策略，以減少外圍輪廓的落差，來 達到淺浮雕的要求。 在加速的方面，主要是藉由取樣和內插來提昇計算的效率。在高度場中取樣一部分進 行AHE 的計算，在沒有取樣的地方以計算量相對少的內插求出，因此取樣率越低則整體的 計算量下降。加速過後的生成方式便於使用者調整出淺浮雕的風格，也因此有利於加上我 們的風格化刻紋。刻紋的產生方式是由場景中找出特徵流向來放置刻紋中軸線。最後依照 中軸線合成具有深度和平面寬度特點的刻紋，將其加入浮雕中達到風格化的目標。在實驗 結果的效能部分呈現了顯著的改善，同時能有接近品質，且減輕了過度強化雜訊的缺陷。 另外藉由影像相似度和剖面圖來進行分析，檢視其符合淺浮雕的特性。 透過取樣率上的改進在效能上還有進步的空間。目前在相同大小的鄰近區塊內已固定 的取樣率作均勻取樣，未來可依照場景的特徵自動調整取樣率，就能降低不重要地方的取 樣率。甚至以不均勻的取樣方式來進行，這樣取樣完後如何作內插就是值得研究的地方。 除了取樣率外，因為AHE 是以每個像素點作為周圍區塊的中心去計算，中心彼此之間的處

14

理是獨立的，很適合平行運算的架構。如果能以多核心的CPU 甚至是 GPU 去實作，可望

能獲得明顯的效能提昇。在風格化刻紋的部分，需要有更精密及變化更多的方法，幫助使 用者可以進行更多樣性的風格化。

6. 參考文獻

[1] M. Alexa, and W. Matusik, “Reliefs as images,” ACM Transactions on Graphics

(SIGGRAPH 2010), vol. 29, no. 4, art. 60, 2010.

[2] P. N. Belhumeur, D. J. Kriegman, and A. L. Yuille, “The bas-relief ambiguity,”

International Journal of Computer Vision, vol. 35, no. 1, pp. 33–44, 1999.

[3] B. Cabral, and L. C. Leedom, “Imaging vector fields using line integral convolution,”

SIGGRAPH '93 Proceedings of the 20th annual conference on Computer graphics and interactive techniques, pp.263–270, 1993.

[4] P. Cignoni, C. Montani, and R. Scopigno, “Computer-assisted generation of bas- and high-reliefs,” Journal of Graphics Tools, vol. 2, no. 3, pp.15–28, 1997.

[5] J. Dicarlo, and B. Wandell, “Rendering high dynamic range images,” In Proceedings of the

SPIE Electronic Imaging’2000 conference, vol. 3965, 392–401.

[6] D. Dunbar, and G. Humphreys, “A spatial data structure for fast poisson-disk sample generation,” ACM Transactions on Graphics (SIGGRAPH 2006), vol. 25, no. 3, pp.503– 508, 2006.

[7] R. Fattal, D. Lischinski, and M. Werman, “Gradient domain high dynamic range compression,” ACM Transactions on Graphics, vol. 21, no. 3, pp.249–256, 2002.

[8] J. Kerber, “Digital art of bas-relief sculpting,” Master’s thesis, Univeristy of Saarland, Saarbrücken, Germany, 2007.

[9] J. Kerber, A. Belyaev, and H. P. Seidel, “Feature preserving depth compression of range images,” in Proceedings of the 23rd Spring Conference on Computer Graphics, M. Sbert (ed), Budmerice, Slovakia: Comenius University, Slovakia, pp. 110–114, April 2007.

[10] J. Kerber, A. Tevs, A. Belyaev, R. Zayer, and H. P. Seidel, “Feature sensitive bas relief generation,” IEEE International Conference on Shape Modeling and Applications, pp. 148-154, 2009.

[11] S. Paris, S. W. Hasinoff, and J. Kautz, “Local Laplacian Filters: Edge-aware Image Processing with a Laplacian Pyramid,” ACM Transactions on Graphics (SIGGRAPH 2011), vol. 30, no. 4, art. 68, 2011.

15

[12] S. M. Pizer, E. P. Amburn, J. D. Austin, R. Cromartie, A. Geselowitz, T. Greer, B. T. H. Romeny, and J. B. Zimmerman, “Adaptive histogram equalization and its variations,”

Computer Vision, Graphics, and Image Processing, vol. 39, no. 3, pp. 355–368, 1986.

[13] W. Song, A. Belyaev, and H.-P. Seidel, “Automatic generation of bas-reliefs from 3d shapes,” in Proceedings IEEE International Conference on Shape Modeling and

Applications. Washington, DC, USA: IEEE Computer Society, pp. 211–214, 2007.

[14] X. Sun, P. L. Rosin, R. R. Martin, and F. C. Langbein, “Bas-relief generation using adaptive histogram equalization,” IEEE Transactions on Visualization and Computer

Graphics, vol. 15, pp. 642-653, 2009.

[15] M. Wang, J. Kerber, J. Chang, and J. J. Zhang, “Relief stylization from 3D models using featured lines,” Proceedings of the 27th Spring Conference on Computer Graphics, pp. 63-68, 2011.

[16] Z. Wang, A. C. Bovik, H. R.Sheikh, and E. P. Simoncelli, “Image quality assessment: from error visibility to structural similarity,“ IEEE Transactions on Image Processing 13, 4, 600–612, 2004.

[17] T. Weyrich, J. Deng, C. Barnes, S. Rusinkiewicz, and A. Finkelstein, “Digital bas-relief from 3D scenes,” ACM Transactions on Graphics (SIGGRAPH 2007), vol. 26, no. 3, art. 32, 2007.

1

國科會補助專題研究計畫出席國際學術會議心得報告

日期：2013 年 12 月 21 日

一、參加會議經過

CAD/Graphics 著重於電腦輔助設計與電腦圖學技術，由 Chinese Computer Federation (CCF)主辦 的雙年會議，吸引關心此一主題的學者和開發商交流新的想法和研究心得。今年以 Illusory Motions on Surfaces 為題被選入 poster 議程，同時也被選入 IEEE CPS 中。ACM SIGGRAPH 為從事電腦圖 學以及互動技術的相關人員最為關注的國際會議，除了在美國每年舉辦的會議外，自從 2008 年起， 在亞洲也開始每年舉辦 SIGGRAPH ASIA 年會，同樣吸引全球圖學的學者和場商的參與。這個會 議主要由 technical paper, poster, education program, art gallery, emergent technology, course, and exhibition 這幾個議程所組成。今年很榮幸以 Digital Latte Art 為主題參與 poster 議程。

今年剛好兩個會議都在香港接連舉辦，所以藉此機會有更長的時間與兩個會議的與會人士交流。

二、與會心得

CAD/GRAPHICS 今年請了三位 keynote speaker，分別介紹了其研究的脈絡。其中浙大的周昆教

授深耕於 GPU 的研究，利用 GPU 平行運算的特性，將傳統 offline rendering 提升到接近 realtime 的速度。UC Berkeley 的 Prof. Ravi Ramamoorthi 的 Ketnote 提到 sampling 的重要性，現代的繪圖技 術已經轉移到以 light field 這樣高維視覺取樣資料，再進行重構，提供了新的研究角度。

在 SIGGRAPH ASIA 中，穿戴式的裝置也是其中一個重點。Symposium on Mobile Graphics and Interactive Application: Panel wearable devices，四位教授一起探討穿戴式裝置，Thad Starner 教授主

計畫編號 NSC 101－ 2221－ E－ 004－ 015－

計畫名稱

以識覺認知基礎的淺浮雕生成強化技術

出國人員

姓名

紀明德

服務機構

及職稱

國立政治大學 助理教授

會議時間

2013 年 11 月 15 日至 _{2013 年 11 月 22 日}

會議地點

香港

會議名稱

(中文)

(英文) CAD/graphics 與 siggraph aisa

發表題目

(中文)

(英文)Illusory Motions on Surfaces. Digital Latte Art.

附件五

2

要說明關於 google glass 相關的研究，一位日本教授介紹關於演藝人員於表演時，穿戴具有燈光效 果的裝置，有助於表演時燈光所呈現的文藝和娛樂效果，另一位日本教授主要專精於機器人學， 而近期主要研究關於裝置在手臂上的穿戴式儀器，最後一位是由韓國的教授介紹關於衣物相關的 感測儀器，這個感測儀器有助於衣物相關的活動或是行為的探討，並且在最後的時間討論關於穿 戴裝置在未來的相關可能性，是一個有趣且很有展望的一個課題。在之後的 keynote speech 中，Thad Starner 教授主講關於穿戴式裝置的研究，他同時是 google glass 計劃的主持人，主要描述 google glass 的功能性和未來觀，首先對於 google glass 這項穿戴式的儀器是否會對於人眼看世界受到遮蔽而影 響視覺為題開場，但經過人眼具有立體的視覺效果而打破遮避這個迷思。後來主要在介紹關於 google glass 具有側錄生活紀實的功能，以及即時作資料蒐尋和社群交友的功能，幫助使用者不僅 可以用另外一種視覺看世界，也同時可以做到和人交流的社會效益。最後，仍然提到 google glass 還是有很多的可能，可以做到更多更不一樣的整合性，期待未來開發。

在 poster session 中，以海報的型式和與會者互動。我們的主題是藉由提供數位化的工具，讓使

用者能輕易進行咖啡拉花的創作，使用的系統主要是從 2010 年從 Philip Rideout 從 2004 年的 fast dynamic fluid simulation 這篇論文中，實作出一個類似煙霧狀的流體系統(simple fluid simulation)， 然而對於我們來說，煙霧狀的流體系統，其實和液體的流動效果是不一樣的，更何況牛奶和咖啡 的物理係數完全不一樣的。再者對於數位咖啡拉花的系統架構進行分析，我們是怎麼去實作這個 系統的，以及產生出來的結果會是如何？特別是遇到浙江大學的學者有做過類似的主題，提供了 寶貴的建議與回饋，建議是對於流體架構部分仍然需要對於 navier-stoke equation 的拆解，他認為 了解這個方程式是很難的。所以第一步是需要了解這個方程式的各個係數的交互關係和實現，之 後在系統上的實作才有更大的空間。

在技術論文中，流體模擬一直都是重要的研究議題。今年 Interactive Localized Liquid Motion Editing 中，提出了一個直觀且可以交互控制的流體模擬系統，而使得使用者可以自由的編輯特定 區域的流體幾何變形，大致上可以分成三個編輯功能：(1)使用部分使用者筆觸來呈現區域流體特 色，(2)可拖曳的流體區域以及(3)操控局部的形狀以及該區域的流體特性。因此在這個系統中，他 們呈現了一個流體(液態)的動畫編輯系統，此系統可以非即時且高畫質的模擬用以掩蓋過多的流體 表面細節，並且他們可以證明使用他們的方法在現實生活中的情況下是具有直觀性且有效性的。 Spatio-temporal Extrapolation for Fluid Animation 提出了一個流體模擬的改進方法，透過時間和空間 的外插技術來模擬流體，而無須透過高解析度的模擬網格來計算。一般來說，將流體動畫做到更 高解析度時，伴隨而來的就是有限且更大量計算的瓶頸。然而他們提出一個方法來權衡高畫質以 及效率的問題，讓使用者可以更容易地取得高畫質的流體動畫且能同時兼具增加計算效率的功能。

除了議程之外，交流討論也是參與會議最重要的收獲。除了大會舉辦的晚宴之外，SIGGRAPH Taipei chapter 也舉辦了 Taipei reunion，與香港新加坡等地的台灣或華人學者，能一同聚餐分享研究 的心得。

三、發表論文全文或摘要

Illusory Motions on Surfaces

Illusory motions refer to the phenomena in which static images composed of certain colors

and patterns lead to the illusion of motions. This paper presents a first approach to

generating illusory motions on 3D surfaces which can be used for shape illustration as

well as artistic visualization of line fields on surfaces. Our method extends previous work

3

on generating illusory motions in the plane, which we adapt to 3D surfaces. In addition,

we propose novel Repeated Asymmetric Patterns (RAPs) to visualize bidirectional flows,

thus enabling the visualization of line fields in the plane and on surfaces. We demonstrate

the effectiveness of our method with applications in shape illustration as well as line field

visualization on surfaces.

Digital Latte Art

In recent years, with the rapid development of graphics hardware and shader techniques,

fluid simulation has become a feasible application, even for mobile devices. This study

developed a latte art system based on fluid simulation, which can assist users with learning

to create and design latte art digitally. With this application, users can redraw and undo

patterns numerous times without wasting coffee. This study adopted an existing GPU

based fluid simulation, modified the physical parameters to mimic the behavior of milk

and coffee, and integrated a painting interface for users to create their own patterns. The

results of this system are shown in Figure \ref{fig:teaser}, and can facilitate a comparison

with real latte art.

四、建議

首先感謝國科會和政治大學的補助，使得這次會議順利成行，藉由會議的參與可以直接聆聽 到國外專家學者的研究報告，並有機會和國外學者互動。這次會議中，由於數位工具與通訊的進 步，資料累積和生產的速度相當地快，如何有效率地處理分析資料這類型 Big Data 的主題成為主 流，並能從資料中學到各種特徵，做為電腦繪圖或互動科技的應用。 此外，這次與所指導的博士生一同參與，這是他第一次出國便能參與 SIGGRAPH ASIA 這類頂 尖的會議，對於研究生開拓視野有很大的幫助，今後將多鼓勵研究生發表 poster 或 paper 的方式參 與，或是藉由 volunteer 身份取得大會的補助。

五、攜回資料名稱及內容

兩個會議的論文集，分別儲存在 USB 隨身碟和 DVD 中。

六、其他

國科會補助計畫衍生研發成果推廣資料表

日期:2013/12/21

國科會補助計畫

計畫名稱: 以識覺認知基礎的淺浮雕生成強化技術 計畫主持人: 紀明德 計畫編號: 101-2221-E-004-015- 學門領域: 計算機圖學

無研發成果推廣資料

101 年度專題研究計畫研究成果彙整表

計畫主持人：紀明德 計畫編號：101-2221-E-004-015-計畫名稱：以識覺認知基礎的淺浮雕生成強化技術 量化 成果項目 實際已達成 數（被接受 或已發表） 預期總達成 數(含實際已 達成數) 本計畫實 際貢獻百 分比 單位 備 註 （ 質 化 說 明：如 數 個 計 畫 共 同 成 果、成 果 列 為 該 期 刊 之 封 面 故 事 ... 等） 期刊論文 0 0 100% 研究報告/技術報告 0 0 100% 研討會論文 1 1 100% 篇 論文著作 專書 0 0 100% 申請中件數 0 0 100% 專利 已獲得件數 0 0 100% 件 件數 0 0 100% 件 技術移轉 權利金 0 0 100% 千元 碩士生 0 0 100% 博士生 0 0 100% 博士後研究員 0 0 100% 國內 參與計畫人力 （本國籍） 專任助理 0 0 100% 人次 期刊論文 0 0 100% 研究報告/技術報告 0 0 100% 研討會論文 2 2 100% 篇 論文著作 專書 0 0 100% 章/本 申請中件數 0 0 100% 專利 已獲得件數 0 0 100% 件 件數 0 0 100% 件 技術移轉 權利金 0 0 100% 千元 碩士生 3 3 100% 博士生 1 0 100% 博士後研究員 0 0 100% 國外 參與計畫人力 （外國籍） 專任助理 0 0 100% 人次

其他成果

(

無法以量化表達之成 果如辦理學術活動、獲 得獎項、重要國際合 作、研究成果國際影響 力及其他協助產業技 術發展之具體效益事 項等，請以文字敘述填 列。) 無 成果項目 量化 名稱或內容性質簡述 測驗工具(含質性與量性) 0 課程/模組 0 電腦及網路系統或工具 0 教材 0 舉辦之活動/競賽 0 研討會/工作坊 0 電子報、網站 0 科 教 處 計 畫 加 填 項 目 計畫成果推廣之參與（閱聽）人數 0

國科會補助專題研究計畫成果報告自評表

請就研究內容與原計畫相符程度、達成預期目標情況、研究成果之學術或應用價

值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）

、是否適

合在學術期刊發表或申請專利、主要發現或其他有關價值等，作一綜合評估。

1. 請就研究內容與原計畫相符程度、達成預期目標情況作一綜合評估

■達成目標

□未達成目標（請說明，以 100 字為限）

□實驗失敗

□因故實驗中斷

□其他原因

說明：

2. 研究成果在學術期刊發表或申請專利等情形：

論文：■已發表 □未發表之文稿 □撰寫中 □無

專利：□已獲得 □申請中 ■無

技轉：□已技轉 □洽談中 ■無

其他：（以 100 字為限）

初步研究已發表在國內會議中，並持續改良結果

3. 請依學術成就、技術創新、社會影響等方面，評估研究成果之學術或應用價

值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）（以

500 字為限）

目前已針對 relief generation 進行效能上的改良，相對於之前的研究有執行效率上的優 勢。技術創新的部份，則是將風格化的效果帶入淺浮雕的生成，可針對輸入 3D 模型或場 景的特徵線條加以風格化，唯受限於淺浮雕本身高度起伏的限制，目前的風格效果仍須調 整，使其效果更為豐富。