第二章 相關研究
2.3 Non-photorealistic Rendering
主要以 bilateral filter 來強化細節，在使用者控制的參數部份最多只有兩個，有效簡化使 用者的操作，但同時也無法有進一步多層次的調整。而我們的方法能以全域或多層次的 參數來進行控制，使用者可以由簡單的操作到複雜的細部調整做選擇。
除了範圍壓縮和細節強化外，有另一類的研究是關於人類的視覺感知。Belhumeur 等人[1999]提出 bas-relief ambiguity 的概念，主要是說 bas-relief 一般是以正交視角附近 的角度去觀看，而如果視角差異大時就會與原本要呈現的畫面有落差。從此我們可以得 知在同一浮雕上有可能呈現兩個以上的視覺效果，像 Alexa 等人[2010]就是以此為目的 的研究。這個研究將兩張以上的影像作為輸入，生成在不同光源的情形下產生不同畫面 之 bas-relief，甚至可以讓白色的 bas-relief 搭配數個不同顏色光源來呈現彩色畫面。Wang 等人[2011]針對線條在人眼視覺上的重要性，以線條陰刻的方式來生成浮雕，也是在 bas-relief 中首度提出風格化概念的研究。
2.3 Non-photorealistic Rendering
Non-photorealistic Rendering (NPR)方面的研究探討非物理寫實的影像生成技術，以產 生具有特殊風格的畫面。NPR 大致上可分為兩類，一類是以物理模型來模擬繪畫，例如 水墨在紙上渲染的效果；另一類是以筆觸為基礎，將影像上的某部分取代為筆觸，例如 點描畫的筆觸就是圓點。而我們在浮雕上所加的刻紋就類似於 NPR 的筆觸，在這方面相 關的研究有 Ostromoukhov [1999]提出關於臉部線條上的數位雕版印刷，可以產生依照臉 部表面起伏的線條流向，但需要使用者的介入去決定臉部結構的特徵流向，造成使用者 有可觀的額外負擔。給予我們很大啟發的研究是 Kim 等人 [2008]呈現了可以應用於任何 場景的點描畫技術，並採取自動化的方向，藉由到邊緣的距離作為特徵流向的依據。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
8
第三章
研究方法與步驟
我們首先概述整個系統的方法與流程。再來介紹直方圖均衡化和適應性直方圖均衡化與 其在浮雕生成上的應用，並以取樣和內插的方式來加速計算。另依照場景特徵的流向，
加上特殊的刻紋去豐富淺浮雕的表現。
3.1 方法流程
我們提出的方法主要分為兩大部分，一部分是淺浮雕的產生，另一部分是風格化刻 紋的生成，兩邊結合為風格化的淺浮雕，整個系統的流程如圖 2。淺浮雕的部分一開始 由 3D 場景轉換成高度場，在高度場中取樣某些點或完全取樣，依這些點其周圍的特性 作統計直方圖。經過扣除掉超過給定限制者與重新分配的動作，再依新的統計直方圖進 行均衡化，計算出這些點在浮雕中的高度。如果有在高度場取樣的話，以內插求出取樣 點外的部分，完成整個浮雕高度場的計算。
風格化的部分由 3D 場景渲染出的影像和前面的高度場作 edge extraction 取出 line map，再由到 edge 的距離計算產生 distance field，然後每過一段等距畫製成 offset lanes。
以 offset lanes 控制風格化的位置，由這些位置擺放刻紋用的取樣點，取樣點間的關係來 決定刻紋的深度，然後將這些刻紋加上淺浮雕使其具有特殊風格。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
9
圖 2. 系統流程圖。
Stylization Line Map
Distance Field
Feature Flow Rendered Image Height Field
3D Scene
Sampling
Adaptive Histogram Equalization
Interpolation
Stylized Bas-Relief
Fast Bas-Relief Bas-Relief
‧
3.3.1 直方圖均衡化(Histogram Equalization, HE)
在 3.3.1 節我們將描述基本的 Histogram Equalization (HE)，後面幾節則討論其變形及 我們的改良。HE 是影像處理中強化影像對比的一種方法，對於浮雕的高度場也可產生 相似的作用。首先要進行直方圖的統計，將[0, 1]切成 B 等分，每一等分稱之為 bin，第 i 個bin 以b𝑖表示，則統計 H(x)落入b𝑖 = [(i – 1)． 1 / B, i．1 / B)者的數量為ℎ𝑖，其中 i = 1, 2, …, B。最後的bin 則為特殊的情況，b𝐵 = [(B – 1)． 1 / B, 1]。
從第 1 個到第 i 個 bin 為止加起來的ℎ𝑗定義成累計量c𝑖如下：
‧
3.3.2 適應性直方圖均衡化(Adaptive Histogram Equalization, AHE)
單純對於整個高度場來作直方圖均衡化，並不容易強調區域的細節變化，而 AHE
‧
‧
更進一步為避免太大的高度落差，以 Weyrich 等人[2007]提出的方法將梯度進行取 對數的壓縮：
‧
3.3.4 對比限制 AHE(Contrast Limited AHE, CLAHE)
我們所設定生成浮雕的高度範圍是固定的，在 HE 中如果相鄰兩個 bin 其對應產生 的高度差距過大，也就是前一個 bin 的統計量ℎ𝑖(𝑥, 𝑦)很多，相對來講就是降低其它 bin 的高度落差。如此可能會產生一些問題，例如雜訊的過度強化，因此參考 Pizer 等人[1986]
提出的 Contrast Limited AHE (CLAHE)，針對統計量超過給定限制者將其多出的部分扣 除。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
16
3.4 AHE 之改進
在這一節我們針對前述方法不足的地方加以改善，分成輪廓的大落差和計算耗時兩 個問題。輪廓的部分是依照前景的比例作分配上的調整。計算耗時的部分以取樣與內插 的策略來加速計算，達到不致於損失太多細節的結果。
3.4.1 輪廓限制
在對比限制中，如果我們把 S 都分配其它 bin 內，會使得這些 bin 之中統計量沒有 到達限制的部分都增加 A 如圖 3(b)，如果浮雕的外圍輪廓屬於的 bin 其ℎ𝑖(𝑥, 𝑦)也會升高 A / S，這將導致輪廓上較明顯的落差。因此考量𝑁(𝑥, 𝑦)內視為前景之點的數目 F 和點的 總數 W 之比例作調整，把分配的部分由 S 改成 S．F / W，修改後如果前景涵蓋整個𝑁(𝑥, 𝑦) 則與未調整前一樣如圖 4。
圖 4. 全部與依比例重新分配之差別：黑色和白色的地方分別為背景和前景，考量 前景比例所作的分配量 p1為 S， p2則為 S/2。
3.4.2 取樣與內插
AHE 一個主要的問題是計算量相當大，如果只在 H(x, y)中取樣某些點，由這些點的 𝑁(𝑥, 𝑦)去進行 AHE，再以內插求出 H(x, y)中取樣點外的部分[Pizer et al. 1986]，將可有效
p1
p2
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
18
(a) (g)
(b) (d)
(c) (f) (e)
圖 5. 取樣率依不同層次改變求其平均與完全取樣下𝐦最大的一層之比較：(a) 輸入 的場景，與其產生的浮雕於 (b) m1 = 16, RS = 1， (c) m2 = 32, RS = 1/2， (d) m3 = 64, RS = 1/4， (e) m4 = 256, RS = 1/16， (f) [m1, m4] 之平均； (g) m = 256, RS = 1。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
19
𝑤1 𝑤2 𝑤3 𝑤4
4
2
1/2
1/4
圖 6. 某一個權重調整為不等於 1 的值，其它權重則設為 1，調整的權重由左到右分別 為𝒘𝟏、𝒘𝟐、𝒘𝟑和𝒘𝟒，調整的值由上到下分別為 4、2、1/2 和 1/4。
3.5 風格化生成
在這一節我們欲產生依照場景特徵的刻紋和使用者自訂的雜訊在結果的浮雕上。首 先是刻紋的部分，將其加上前面所生成的高度場𝐻′(𝐱)。一開始由 3D 場景渲染出的影像 和高度場𝐻(𝐱)作 edge extraction 來取出線條特徵，再由到這些線條特徵的最短距離計算
‧
產生 distance field，並以其梯度的垂直方向作為特徵流向。將刻紋中軸線依照特徵流向 擺放，再合成具有深度和平面寬度變化特點的刻紋，最後將這些刻紋加上淺浮雕使其具
處理完後的 line map 進行 distance transform，也就是利用影像中的邊緣當作起點，
一個像素一個像素的傳遞來計算非邊緣像素與邊緣的最短距離，而這裡的距離是採用歐 幾里德距離，得到的影像稱為 distance field 如圖 7(c)。distance field 中某一點其距離的 值以 D(x)表示，D(x)越小則越接近黑色，越大則越接近白色。沒有經過後製的 distance field 會造成一些非預期的人工缺陷，例如過度尖銳的角落，這裡以 Gaussian kernel 的平滑化 來減低此缺點如圖 8。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
21
(b) (c)
(a) (d) (e)
圖 8. Gaussian kernel 平滑化的差異：(a) 輸入的場景，與其紅色方框中(b) 沒有經過平 滑化的 distance field 和(c) 其 offset lanes；(d) 經過平滑化的 distance field 和(e) 其等值 線圖。於等值線圖方面可以看到(c)比(e)有更多鋸齒狀的情形，在 distance field 的地方為 了更清楚的顯示而讓其值經過縮放。
3.5.2 刻紋中軸線
給定一個平滑化的 distance field 之後，以 Sobel 算子去計算其梯度，並取梯度的垂 直方向之向量構成我們所要的向量場𝑉(𝑥, 𝑦)。我們欲使刻紋沿著向量場𝑉(𝑥, 𝑦)的方向，
而讓刻紋有接近平行於特徵線的效果，來呈現場景的特徵流向類似圖 7(d)所示。除了讓 刻紋依照流向來走，我們還希望在場景中不同區塊中的刻紋具有差異，使得彼此之間更 為分明。我們目前所設定的刻紋差異在密度和長度兩個部份，而區塊的分割則藉助於使 用者自訂的場景分割圖，如圖 9(a)將場景分割成灰色的高地及黑色的低谷兩個區塊。密 度方面用 Poisson-Disk Sampling[Dunbar et al. 2006]的方式依照分割的數目去平分權重的 範圍(例如有六個分割在 [10,45]的範圍，則平分的結果為 10、17、24、31、38 和 45)，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
22
最後產生𝒏𝑠個不規則的取樣點如圖 9(b)，作為每一條刻紋中軸線的起始中心點
𝒔𝑗(𝑗 ∈ [1, 𝒏𝑠])，也就是刻紋的數目和位置取決於取樣點𝒔𝑗。其中刻紋由中心往一邊延伸 的最大長度 l，包含基本長度加上不同區塊的差異化的長度，差異的部分一樣由分割的 數目去平分最大差異化長度的範圍。我們並限制刻紋中軸線不能在 line map 中黑色的像 素，以避免刻紋產生在邊緣的地方，因此受限後的中軸線一邊延伸的長度未必會達 l。
(a) (b) (c)
圖 9. 使刻紋產生差異化的方法，(a) 場景分割圖，(b) 取樣點的位置與密度，(c) 形成 的刻紋中軸線。
為使形成的中軸線較為平滑，加入 Runge-Kutta [Cabral et al. 1993]的方法，依向量場 𝑉(𝑥, 𝑦)產生的變化量以𝑅𝐾(𝑉(𝑥, 𝑦))表示。一條刻紋以𝑐𝑗(𝑥, 𝑦)代表如公式(15)~ (16)，由 其所屬的𝑝𝑖(𝑥𝑖, 𝑦𝑖)(𝑖 ∈ [−𝒍, 𝒍])所構成，其中𝑝0(𝑥0, 𝑦0)就是取樣點𝒔𝑗的位置。
𝑝𝑖±1 (𝑥𝑖+1, 𝑦𝑖+1) = 𝑝𝑖 (𝑥𝑖, 𝑦𝑖) ± 𝑅𝐾(𝑉(𝑥𝑖, 𝑦𝑖))
( 15 )
𝑐𝑗(𝑥, 𝑦) = {𝑝𝑖(𝑥𝑖, 𝑦𝑖), 𝑝0(𝑥0, 𝑦0) = 𝒔𝑗}
( 16 )
讓中軸線單純沿著𝑉(𝑥, 𝑦)的方向顯得過於工整且單調，因此加入正弦波函式，讓刻 紋的中軸線在平面上向其垂直方向擺動，產生不一樣的變化。原本中軸線上的點𝑐𝑗(𝑥, 𝑦)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
23
經過正弦波後位移到𝑐𝑗(𝑥’ , 𝑦’)，而中心點兩邊一開始所朝的方向不同，形成的公式如下：
𝑥’ = 𝑥 ± sin(𝑉(𝑥, 𝑦)) * amp * sin( freq ∗ extend(𝑥, 𝑦) )
( 17 )
𝑦’ = 𝑦 ± cos(𝑉(𝑥, 𝑦)) * amp * sin( freq ∗ extend(𝑥, 𝑦) )
( 18 )
extend(𝑥, 𝑦)為(𝑥, 𝑦)到刻紋中心點的距離，freq 為正弦波頻率的參數，越大則擺動 得越頻繁，amp 為正弦波振幅的參數，越大則擺動的幅度越大如圖 11。
3.5.3 刻紋合成
得到刻紋中軸線後還需要再將其合成完整的刻紋，包含在深度和平面寬度上的變化，
也就是我們要建立深度和平面寬度的計算模型。在刻紋最大深度 depth 的設定上我們採 以整體浮雕範圍[0,1]之間的比例，以避免刻紋深度超過浮雕的範圍和能夠限制其所佔據 的比例。刻紋的技法在深度方面由一開始的端點大幅度向下雕刻，越接近中心則越平滑，
離開中心後再加大幅度往上，最後收尾在結束的端點。另外為了簡化函式的設計，我們 假設中心到刻紋起點和終點兩個部份的變化是一致的。
首先考量中軸線上的深度，基於上述刻紋深度的變化幅度，我們以 log 為基礎的深 度曲線函式，其中β作為變化幅度的調整參數，β趨向 0 的時候曲線會接近一條直線，β越
首先考量中軸線上的深度，基於上述刻紋深度的變化幅度，我們以 log 為基礎的深 度曲線函式，其中β作為變化幅度的調整參數，β趨向 0 的時候曲線會接近一條直線，β越