第一章 緒論
1.4 論文章節架構
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4
輪廓落差和計算效率上的改良，並加上刻紋的風格化。而本篇論文的研究貢獻主要如下 敘述：
改善原本由AHE產生的淺浮雕其在外圍輪廓可能有大落差的情形，以避免稍微的視 角改變會讓呈現的畫面有太大的不同。
在AHE的基礎下，只以取樣的部分來進行AHE的計算，再內插求出沒有取樣的部份 來加速bas-relief的生成，幫助使用者作互動性的控制。
我們發現在一些浮雕上如圖 1，會盡可能讓畫面不要有留白的地方，因此在較無起 伏變化的地方，加上依照場景特徵流向的刻紋，並具有平面和深度上的兩個特點。
1.4 論文章節架構
在第二章，我們將會介紹與本論文相關的一些研究，包括色調映射與直方圖均衡化 的技術、探討浮雕生成的方法和 NPR 風格化的研究；第三章將介紹本論文主要的研究方 法與步驟；第四章介紹的是實驗結果與其討論；第五章為結論與未來工作。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
5
第二章 相關研究
與本論文有關的重要相關研究可分為以下三類：第一類為強化低動態範圍影像的研究，
包括色調映射和直方圖均衡化。第二類為浮雕生成之研究。第三類為NPR領域有關風格 化的研究。
2.1 色調映射與直方圖均衡化
要將 3D 場景壓縮到接近平面的範圍，同時要保留細節，類似影像處理中的色調映 射技術。色調映射是去壓縮高動態範圍(High Dynamic Range, HDR)影像到低動態範圍(Low Dynamic Range, LDR)的媒體上，且盡可能接近原影像的對比情形。Dicarlo 等人[2000]檢 視了色調映射的一些方法，基本上可以分為全域映射和區域映射兩種。常見的全域映射 例如伽馬校正和直方圖均衡化，這類的方式通常簡明且具有計算上的效率，容易保留整 體的相對變化，但難以留住區域性的對比而損失視覺上的細節。區域映射的方面，Fattal 等人[2002] 在影像的梯度上進行對數的壓縮，梯度越大則壓縮比例越大而相對保留梯度 較小的部分。Paris 等人[2011]以影像金字塔將不同層次的邊緣和細節作分離，各別進行 減弱和強化的處理，達到範圍壓縮和細節處理等目的。區域映射的特性使得區域對比得 以保留，但問題是可能會過度強化某些細節像是雜訊。
直方圖均衡化(Histogram Equalization, HE)是常見技術的影像強化技術，可用於 HDR
‧
衡化(Adaptive Histogram Equalization, AHE)的研究如 Pizer 等人[1986]，分別以每個像素點 的鄰近區塊進行 HE 之計算，改善原本 HE 在區域上的缺點。2.2 浮雕生成
Cignoni 等人[1997]被認為是由電腦來輔助生成浮雕最早的研究，利用到深度值的概 念，也就是場景中攝影機到模型上任一點的距離，去推算浮雕的高度場。將高度場中最 大到最小的範圍進行縮放的處理，對應到使用者想要的高度，適合於 high-relief 的生成。
但在 bas-relief 的部分，卻容易損失掉細節。
目前許多更進一步處理深度值的研究類似於 HDR 影像壓縮，這類 HDR 的技術代表 如 Fattal 等人[2002]對於影像的梯度進行對數的壓縮。而浮雕與影像的不同之處是通常 要具備連續性，以避免稍微的視角改變讓呈現的畫面上產生較大的落差[Weyrich et al.
2007]，至少在人類視覺上要符合連續性，除非我們要在同一浮雕上呈現兩個以上的視 覺效果。Song 等人[2007]比較了淺浮雕所需幾何處理與 HDR 的不同之處，提出在微分座 標上利用相似度比對來找出顯著特徵的部分，但無法強化外形的輪廓且造成某種程度的 扭曲。Kerber 等人 [2007a]在 gradient domain 上進行特徵保留的範圍壓縮，藉由 unsharp masking 的方式強化梯度，卻造成高梯度的部分過度誇張。Kerber[2007b]接著以 Fattal 等人[2002]提出的方式進行非線性縮放的調整，改善了過度強化的問題，可是原有的外 形輪廓並沒有良好的保存下來。Weyrich 等人[2007]也參考 HDR 的方法以高度場的梯度 去壓縮，並且讓使用者可以針對不同的頻帶各別進行減弱或增強的處理。此研究有一個 問題是如果梯度的範圍過大，可能造成細節的消失，或是由使用者去調整各別的頻帶而 造成負擔。
Sun 等人[2009]利用到 adaptive histogram equalization(AHE)去作浮雕特徵的強化，考 量由小到大鄰近區塊去作 AHE 再取平均值，以此將 local 和 global 的資訊都保留下來。
‧
主要以 bilateral filter 來強化細節，在使用者控制的參數部份最多只有兩個，有效簡化使 用者的操作，但同時也無法有進一步多層次的調整。而我們的方法能以全域或多層次的 參數來進行控制，使用者可以由簡單的操作到複雜的細部調整做選擇。
除了範圍壓縮和細節強化外，有另一類的研究是關於人類的視覺感知。Belhumeur 等人[1999]提出 bas-relief ambiguity 的概念，主要是說 bas-relief 一般是以正交視角附近 的角度去觀看，而如果視角差異大時就會與原本要呈現的畫面有落差。從此我們可以得 知在同一浮雕上有可能呈現兩個以上的視覺效果，像 Alexa 等人[2010]就是以此為目的 的研究。這個研究將兩張以上的影像作為輸入，生成在不同光源的情形下產生不同畫面 之 bas-relief，甚至可以讓白色的 bas-relief 搭配數個不同顏色光源來呈現彩色畫面。Wang 等人[2011]針對線條在人眼視覺上的重要性，以線條陰刻的方式來生成浮雕，也是在 bas-relief 中首度提出風格化概念的研究。
2.3 Non-photorealistic Rendering
Non-photorealistic Rendering (NPR)方面的研究探討非物理寫實的影像生成技術，以產 生具有特殊風格的畫面。NPR 大致上可分為兩類，一類是以物理模型來模擬繪畫，例如 水墨在紙上渲染的效果；另一類是以筆觸為基礎，將影像上的某部分取代為筆觸，例如 點描畫的筆觸就是圓點。而我們在浮雕上所加的刻紋就類似於 NPR 的筆觸，在這方面相 關的研究有 Ostromoukhov [1999]提出關於臉部線條上的數位雕版印刷，可以產生依照臉 部表面起伏的線條流向，但需要使用者的介入去決定臉部結構的特徵流向，造成使用者 有可觀的額外負擔。給予我們很大啟發的研究是 Kim 等人 [2008]呈現了可以應用於任何 場景的點描畫技術，並採取自動化的方向，藉由到邊緣的距離作為特徵流向的依據。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
8
第三章
研究方法與步驟
我們首先概述整個系統的方法與流程。再來介紹直方圖均衡化和適應性直方圖均衡化與 其在浮雕生成上的應用，並以取樣和內插的方式來加速計算。另依照場景特徵的流向，
加上特殊的刻紋去豐富淺浮雕的表現。
3.1 方法流程
我們提出的方法主要分為兩大部分，一部分是淺浮雕的產生，另一部分是風格化刻 紋的生成，兩邊結合為風格化的淺浮雕，整個系統的流程如圖 2。淺浮雕的部分一開始 由 3D 場景轉換成高度場，在高度場中取樣某些點或完全取樣，依這些點其周圍的特性 作統計直方圖。經過扣除掉超過給定限制者與重新分配的動作，再依新的統計直方圖進 行均衡化，計算出這些點在浮雕中的高度。如果有在高度場取樣的話，以內插求出取樣 點外的部分，完成整個浮雕高度場的計算。
風格化的部分由 3D 場景渲染出的影像和前面的高度場作 edge extraction 取出 line map，再由到 edge 的距離計算產生 distance field，然後每過一段等距畫製成 offset lanes。
以 offset lanes 控制風格化的位置，由這些位置擺放刻紋用的取樣點，取樣點間的關係來 決定刻紋的深度，然後將這些刻紋加上淺浮雕使其具有特殊風格。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
9
圖 2. 系統流程圖。
Stylization Line Map
Distance Field
Feature Flow Rendered Image Height Field
3D Scene
Sampling
Adaptive Histogram Equalization
Interpolation
Stylized Bas-Relief
Fast Bas-Relief Bas-Relief
‧
3.3.1 直方圖均衡化(Histogram Equalization, HE)
在 3.3.1 節我們將描述基本的 Histogram Equalization (HE)，後面幾節則討論其變形及 我們的改良。HE 是影像處理中強化影像對比的一種方法，對於浮雕的高度場也可產生 相似的作用。首先要進行直方圖的統計，將[0, 1]切成 B 等分，每一等分稱之為 bin，第 i 個bin 以b𝑖表示，則統計 H(x)落入b𝑖 = [(i – 1)． 1 / B, i．1 / B)者的數量為ℎ𝑖，其中 i = 1, 2, …, B。最後的bin 則為特殊的情況，b𝐵 = [(B – 1)． 1 / B, 1]。
從第 1 個到第 i 個 bin 為止加起來的ℎ𝑗定義成累計量c𝑖如下：
‧
3.3.2 適應性直方圖均衡化(Adaptive Histogram Equalization, AHE)
單純對於整個高度場來作直方圖均衡化，並不容易強調區域的細節變化，而 AHE
‧
‧
更進一步為避免太大的高度落差，以 Weyrich 等人[2007]提出的方法將梯度進行取 對數的壓縮：
‧
3.3.4 對比限制 AHE(Contrast Limited AHE, CLAHE)
我們所設定生成浮雕的高度範圍是固定的，在 HE 中如果相鄰兩個 bin 其對應產生 的高度差距過大，也就是前一個 bin 的統計量ℎ𝑖(𝑥, 𝑦)很多，相對來講就是降低其它 bin 的高度落差。如此可能會產生一些問題，例如雜訊的過度強化，因此參考 Pizer 等人[1986]
提出的 Contrast Limited AHE (CLAHE)，針對統計量超過給定限制者將其多出的部分扣 除。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
16
3.4 AHE 之改進
在這一節我們針對前述方法不足的地方加以改善，分成輪廓的大落差和計算耗時兩 個問題。輪廓的部分是依照前景的比例作分配上的調整。計算耗時的部分以取樣與內插 的策略來加速計算，達到不致於損失太多細節的結果。
3.4.1 輪廓限制
在對比限制中，如果我們把 S 都分配其它 bin 內，會使得這些 bin 之中統計量沒有 到達限制的部分都增加 A 如圖 3(b)，如果浮雕的外圍輪廓屬於的 bin 其ℎ𝑖(𝑥, 𝑦)也會升高 A / S，這將導致輪廓上較明顯的落差。因此考量𝑁(𝑥, 𝑦)內視為前景之點的數目 F 和點的 總數 W 之比例作調整，把分配的部分由 S 改成 S．F / W，修改後如果前景涵蓋整個𝑁(𝑥, 𝑦) 則與未調整前一樣如圖 4。
圖 4. 全部與依比例重新分配之差別：黑色和白色的地方分別為背景和前景，考量 前景比例所作的分配量 p1為 S， p2則為 S/2。
3.4.2 取樣與內插
AHE 一個主要的問題是計算量相當大，如果只在 H(x, y)中取樣某些點，由這些點的 𝑁(𝑥, 𝑦)去進行 AHE，再以內插求出 H(x, y)中取樣點外的部分[Pizer et al. 1986]，將可有效
p1
p2
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
18
(a) (g)
(b) (d)
(c) (f) (e)
圖 5. 取樣率依不同層次改變求其平均與完全取樣下𝐦最大的一層之比較：(a) 輸入
圖 5. 取樣率依不同層次改變求其平均與完全取樣下𝐦最大的一層之比較：(a) 輸入