相片之自動化鉛筆式素描顯像

全文

(1)國立交通大學資訊工程系碩士論文. 相片之自動化鉛筆式素描顯像. Automatic Generation of Pencil Drawing from Photos. 研究生：張彥佶指導教授：林正中. 中華民國九十四年九月.

(2) 相片之自動化鉛筆式素描顯像 Automatic Generation of Pencil Drawing from Photos. 研究生：張彥佶. Student：Yen-Chi Chang. 指導教授：林正中. Advisor：Cheng-Chung Lin 國立交通大學資訊工程系碩士論文. A Thesis Submitted to Institute of Computer Science and Information Engineering College of Electrical Engineering and Computer Science National Chiao Tung University in partial Fulfillment of the Requirements for the Degree of Master in Computer Science and Information Engineering September 2005 Hsinchu, Taiwan, Republic of China. 中華民國九十四年九月.

(3) 相片之自動化鉛筆式素描顯像學生：張彥佶. 指導教授：林正中. 副教授. 國立交通大學資訊工程學系碩士班. 摘要本篇論文的研究目的在於自動化產生鉛筆素描效果圖，讓即使不擅長美工的使用者，也能在短時間內得到令人滿意的結果。本篇論文所產生的素描風格偏向輪廓與結構特徵的加強，所提出之自動化產生鉛筆式素描效果圖的方法分為三個重點。第一個是針對亮度較暗的區域作著色式素描。第二個是將輪廓偵測的結果以較暗的筆觸突顯。第三個重點是對那些相對於周圍較暗的結構特徵區域作著色式素描。三個重點素描結果經權重加成後，再結合紙張材質效果，構成鉛筆式素描圖輸出。. i.

(4) Automatic Generation of Pencil Drawing from Photos Student：Yen-Chi Chang. Advisor：Cheng-Chung Lin. Institute of Computer Science and Information Engineering National Chiao Tung University. ABSTRACT The thesis presents an automated system that is capable of generating satisfactory pencil drawings without intervention from users of sketching skills. The system consists of three processing components, respectively taking care of the parallel/cross hatching of low-intensity areas in the image, line drawing of subject silhouettes and the drawing of local contrast associated with the subjects that reflects structural features in general. The outcomes of the three components are then fused by appropriate weighting, to which the effect of paper texture is applied for a final pencil drawing with the silhouettes and structural features of the subjects being emphasized.. ii.

(5) 目錄中文摘要..................................................................................................... i 英文摘要.................................................................................................... ii 目錄........................................................................................................... iii 使用圖表................................................................................................... iv 第一章簡介...............................................................................................1 第二章相關研究 ......................................................................................4 第三章處理方法 ......................................................................................9 3.1 依亮度分佈曲線分層....................................................................................11 3.2 LIC鉛筆式素描演算法 ................................................................................12 3.3 輪廓擷取與其素描.......................................................................................14 3.4 Center-Off演算法.........................................................................................16 3.5 組合結果與紙張材質效應之引進 ..............................................................17. 第四章實驗結果 ....................................................................................19 4.1 結果圖...........................................................................................................19 4.2 結果與效能分析...........................................................................................34. 第五章結論.............................................................................................35 參考文獻...................................................................................................36. iii.

(6) 使用圖表圖 1-1： (A)斜線筆觸. (B)交叉筆觸. (C)寫實式色調，三圖皆取自文獻[6] ................................2. 圖 1-2：素描圖--少女半身像，作者拉斐爾 (RAPHAEL SANTI) ...........................................................3 圖 1-3：素描圖--向綠意深處走，作者吳重安 .....................................................................................3 圖 2-1： (A)文獻[6]的範例圖. (B)文獻[6]的結果..............................................................................4. 圖 2-2：文獻[6]的流程圖：(A)原圖(B)雜訊圖(C)切割結果(D)輪廓偵測(E)向量圖(F)LIC 之結果(G) 加上輪廓(H)紙張材質(I)最後結果，取自文獻[6].......................................................................5 圖 2-3：文獻[7]之流程圖：(A)原圖(B)最亮層(C)次暗層(D)最暗層(E)次暗層使用 LIC 素描法的結果(F)最暗層使用 LIC 素描法的結果(G)輪廓偵測結果(H)最終結果.........................................7 圖 2-4： (A)文獻[10]的範例圖 (B)文獻[10]的結果 ...........................................................................7 圖 2-5：文獻[10]的彩色圖像之素描呈現處理流程，取自文獻[10] ...................................................8 圖 3-1：彩色圖像之素描呈現處理流程 ..............................................................................................10 圖 3-2： (A)文獻[7]的範例圖的灰階圖 3-3： (A)最亮層. (B)次暗層. (B)左圖的亮度分佈曲線 ....................................................11. (C)最暗層...................................................................................11. 圖 3-4：LIC 演算法示範圖，取自文獻[9] ..........................................................................................14 圖 3-5：文獻[6]LIC 過程圖例 (A)向量圖圖 3-6： (A)輪廓偵測強度 0.15 以上圖 3-7： (A)改良式 LIC 結果. (B)雜訊圖. (C)LIC 的結果 ....................................14. (B)輪廓偵測強度 0.05 以上..............................................15. (B)傳統 LIC 結果 ..........................................................................16. 圖 3-8： (A)CENTER-OFF 演算法的結果. (B)左圖再套用 LIC 的結果..........................................17. 圖 3-9：三種重點素描組合後的結果，輪廓、結構特徵與亮度特徵比重分別為 1、0.8 與 0.6....18 圖 3-10：(A)紙張材質. (B)套用紙張材質的結果 ............................................................................18. 圖 3-11：最暗層以兩段式 LIC 表現. 圖 3-12：文獻[7]的結果.............................................18. 圖 4-1：NATALIE PORTMAN...................................................................................................................19 圖 4-2： (A)亮度特徵著色. (B)輪廓突顯素描. (C)結構特徵著色............................................20. (D)另一種亮度特徵著色 .............................................................................................................20 圖 4-3(A)：圖 4-1 最後素描結果，輪廓、結構特徵與亮度特徵比重分別為 1、1 與 0.6..............20 圖 4-3(B)：圖 4-1 另一種素描結果，輪廓、結構特徵與亮度特徵比重分別為 1、1 與 0.8 ..........21 圖 4-4(A)：文獻[6]的範例圖................................................................................................................21 圖 4-4(B)：結構特徵著色的結果.........................................................................................................22 圖 4-4(C)：圖 4-4(A)的最後素描結果，輪廓、結構特徵與亮度特徵比重分別為 1、0.85 與 0.6.22 圖 4-4(D)：文獻[6]中的結果................................................................................................................23 圖 4-5(A)：文獻[6]中的範例圖............................................................................................................23 圖 4-5(B)：結構特徵著色結果.............................................................................................................24 圖 4-5(C)：最後素描結果，輪廓、結構特徵與亮度特徵比重分別為 1、0.8 與 0.6 ......................24. iv.

(7) 圖 4-5(D)：以平行筆觸(HATCHING)作亮度特徵著色的最後結果，輪廓、結構特徵與亮度特徵比重分別為 1、0.8 與 0.6....................................................................................................................25 圖 4-5(E)：文獻[6]中的結果 ................................................................................................................25 圖 4-6(A)：輸入圖像 ............................................................................................................................26 圖 4-6(B)：結構特徵著色結果.............................................................................................................26 圖 4-6(C)：最後素描結果，輪廓、結構特徵與亮度特徵比重分別為 0.8、0.6 與 0.6 ...................27 圖 4-6(D)：以平行筆觸作亮度特徵著色的最後結果，輪廓、結構特徵與亮度特徵比重同(C)....27 圖 4-7：(A)文獻[10]中範例圖..............................................................................................................28 (B)亮度特徵著色. (C)輪廓突顯. (D)結構特徵著色 ..........................................................28. (E)最後素描結果 (F)以平行筆觸作亮度特徵著色的最後結果 (G)文獻[10]中的結果 ........28 圖 4-8：(A)輸入圖像 ............................................................................................................................29 (B)亮度特徵著色. (C)輪廓突顯. (E)最後素描結果. (F)以平行筆觸作亮度特徵著色的最後結果...........................................29. 圖 4-9：(A)文獻[10]中範例. (B)平行筆觸的最後結果 ..................................................................30. (C)細密筆觸最後素描結果圖 4-10：(A)文獻[10]的範例. (D)文獻[10]中的結果 ...............................................................30 (B)平行筆觸的最後結果...............................................................31. (C)細密筆觸的最後素描結果圖 4-11： (A)文獻[7]的範例 (C)細密筆觸的素描結果. (D)結構特徵著色 ..........................................................29. (D)文獻[10]的結果 .............................................................31. (B)平行筆觸的素描結果 ...............................................................32 (D)文獻[7]的結果 .........................................................................32. 圖 4-12：(A)文獻[6]的範例..................................................................................................................33 (B)平行筆觸素描的結果 .............................................................................................................33 (C)細密筆觸素描的結果 .............................................................................................................33 (D)文獻[6]的結果 ........................................................................................................................34. v.

(8) 第一章簡介近年來，關於非擬真顯像(Non-Photorealistic Rendering)領域的研究愈來愈受到重視，相較於擬真顯像(Photorealistic Rendering)，非擬真顯像以特定的描述方式來呈現影像或場景，而不同於擬真顯像以人類在真實世界的視覺為目標。非擬真顯像的描述方式與風格往往根據不同的應用領域而有所差異，其應用包括了醫學影像和藝術效果等領域，其中藝術效果又包括了油畫、墨水畫、鉛筆素描和銅版蝕刻等不同的風格[1]。. 在分類方面，非擬真顯像大致可分為處理 2D 影像系統(Image-based system) 與處理 3D 模型或場景的系統(Geometry-based system)這兩大類。本論文著重於處理 2D 影像的素描系統，在操作方面，其過去的相關研究可分為互動式與全自動化兩種，互動式一般都需要使用者人工介入，比方說決定筆觸的方向、位置、風格等[2,3,4,5]，而全自動化素描系統從輸入影像到呈現結果幾乎不需使用者介入，頂多調整一些系統提供的參數來修正結果而已，例如影像處理軟體 Adobe Photoshop 的素描濾鏡功能。在優缺點上，互動式系統較可能產生接近使用者需求的結果，因為像 Photoshop 的素描濾鏡功能，產生的筆觸方向整張影像皆為同一方向，不容易突顯物體的輪廓與相對的位置關係，又其對整張影像內的所有區域皆使用同樣的手法處理，當原輸入影像內物體數量或色彩過於複雜時，可能會產生線條雜亂或主體無法突顯的結果，進而影響了視覺效果。但相對的，互動式系統往往操作較繁雜，尤其當使用者不擅長美工時，可能會產生較自動化系統更差的結果。 1.

(9) 素描系統的主要目標在於模擬人類素描的習慣與效果。在人類的素描圖像中，圖像質感 (texture) 是由許多筆觸整體集合成而呈現的，故每一筆筆觸不必畫的非常精細，甚至我們需要感覺不是很工整的筆觸以避免產生機械化圖像的感覺。另外，不同的畫筆或紙張也會產生不同的效果，因此素描系統須考慮的重點在於人類素描習慣中的亂數因子，以及紙張接受顏色與畫筆給予顏色間的關係。. 在鉛筆素描方面，最常見的筆觸包括了斜線筆觸 (hatching) 與交叉筆觸 (cross-hatching)，前者由許多近似平行的線條所構成，如圖 1-1(A)，後者由各個方向筆觸交錯而成，也許各方向會有許多重疊部分，如圖 1-1(B)。通常上述兩者被歸類為模仿式色調 (imitative tone)，相對的還有寫實式色調 (realistic tone)，如圖 1-1(C)，其由較細密的筆觸構成，不易看出筆觸的方向，並較接近真實的亮度變化效果。而常見的風格方面，則包含注重輪廓線條來表現主體結構的，如圖 1-2，以及利用筆觸的濃淡與方向來表現出物體層次的，如圖 1-3。. 圖 1-1： (A)斜線筆觸. (B)交叉筆觸. (C)寫實式色調，三圖皆取自文獻[6]. 本論文的目標在於以自動化的方式，讓使用者不需介入處理過程，只須設定少數參數，便可在短時間內，將輸入的數位相片經過數個階段處理，並以輪廓加強的方式突顯相片中景物的結構，產生令人滿意的鉛筆式素描結果。接下來的章節中，除了第二章的相關研究外，將於第三章說明此篇論文方法之處理程序，第四章是實驗結果，最後第五章為結論。. 2.

(10) 圖 1-2：素描圖--少女半身像，作者拉斐爾 (Raphael Santi). 圖 1-3：素描圖--向綠意深處走，作者吳重安. 3.

(11) 第二章相關研究在自動化鉛筆式素描系統這方面，近年來有以色調符合為重點[6,7]和以輪廓突顯為重點[8]等相關研究。在 Automatic Generation of Pencil Drawing From 2D Images Using Line Integral Convolution [6]這篇文獻中，作者將以往用於貼圖合成的線積分迴旋法 LIC(Line Integral Convolution)作為基礎，以一張依照原圖亮度產生的雜訊圖(white noise image)和一張分析原圖所得到的向量圖(vector field)，產生出鉛筆素描的結果。這個方法的優點在於自動決定鉛筆筆觸的方向和自動色調吻合，例如圖 2-1，(A)是輸入的原圖，(B)是產生的結果，可以看出(B)的亮度分佈和(A)幾乎一樣。圖 2-2 則是文獻[6]的演算法流程圖。. 圖 2-1：. (A)文獻[6]的範例圖. (B)文獻[6]的結果. 4.

(12) 圖 2-2：文獻[6]的流程圖：(A)原圖(B)雜訊圖(C)切割結果(D)輪廓偵測(E)向量圖 (F)LIC 之結果(G)加上輪廓(H)紙張材質(I)最後結果，取自文獻[6]. 在圖 2-2 中，LIC 的結果(F)主要是利用雜訊圖(B)和向量圖(E)產生，這部份演算法由於論文中有所引用，故將於第三章作更詳細的介紹。另外，原作者希望素描結果是以數個不同的筆觸區域，來突顯原圖中的景物與層次感，故將原圖(A)經過影像切割處理產生(C)，其實作方法是先將原圖分成很多個矩形小區域，然後依據色彩分佈(color histogram)的相似度來合併小區域，最後形成數個大區域。接著每個大區域各自產生向量圖再組合起來形成(E)，以及各自作邊緣偵. 5.

(13) 測(edge detection)再組合產生(D)。在結合 LIC 結果(F)與輪廓結果(D)形成(G)之後，再套用紙張材質(H)產生具有鉛筆素描效果的最終結果(I)。. 文獻[6]的流程中最大的缺點在於影像切割花費太多時間，以圖 2-1(A) 這張 1024 乘以 768 大小的影像為例，影像切割就得花上十幾分鐘的時間，因此並不是一個即時系統，另外在輸入圖像的構圖複雜時，切割結果可能會不理想。. 在 Enhanced LIC Pencil Filter [7]這篇中，作者則是以文獻[6]的 LIC 鉛筆素描法為架構，用亮度分層的方式取代原來的影像分割方式，圖 2-3 為其流程圖，首先將原圖(A)利用灰階亮度分佈曲線分為(B)最亮層、(C)次暗層、(D)最暗層等三層，接著最暗兩層各自的亮度以整層像素的亮度平均值表示，然後各自套用文獻[6]的 LIC 鉛筆素描法產生(E)(F)兩個素描結果，最後與輪廓偵測結果(G)一起組合形成最終素描(H)。這個方法的優點是不同亮度區域間的界線更為平滑且更符合人類的素描習慣，在效率上也大幅快於原來文獻[6]的系統。. 另外在「相片中主體之突顯與素描」[10]這篇中，作者以灰階分群的方式，將不同群的區域依亮度及代表方向套用不同的筆觸來作素描，並以分析原彩色圖像色彩種類的分佈，找出圖像中主體的涵蓋區域，將剩餘區域淡化處理以達到主體突顯的效果。圖 2-4 為其論文中的範例，(A)是輸入圖像，(B)是輸出結果。圖 2-5 為其流程圖。. 6.

(14) 圖 2-3：文獻[7]之流程圖：(A)原圖(B)最亮層(C)次暗層(D)最暗層(E)次暗層使用 LIC 素描法的結果(F)最暗層使用 LIC 素描法的結果(G)輪廓偵測結果(H)最終結果. 圖 2-4： (A)文獻[10]的範例圖. (B)文獻[10]的結果. 7.

(15) 彩色原圖. 色彩空間轉換. (RGB image). (RGB-HSV transform). 彩色灰階轉換. 主體區域分析. (RGB-YIQ transform). (Visual target selection by Hue analysis). 灰階分群處理 (grouping by gray-level quantization). 局部明暗變化方向之分析. 筆觸合成. 筆觸資料庫. (oriented stroke mapping). 主體強化處理輪廓擷取. 輪廓線條合成. (boundary extraction). 素描圖圖 2-5：文獻[10]的彩色圖像之素描呈現處理流程，取自文獻[10]. 8.

(16) 第三章處理方法為達到輪廓加強的素描效果，本篇論文所提之處理方法主要包含三個步驟。第一，針對亮度較暗的區域做著色式素描。第二，針對輪廓擷取的結果做素描，使輪廓更為完整明顯。第三，針對那些相對於周圍較暗的結構特徵區域做素描。最後，組合前三步驟的結果得到整體的素描視覺效果。. 完整的鉛筆式素描流程如圖 3-1，從一開始的彩色影像輸入，經過灰階轉換，接下來對輪廓、相對與絕對較暗區域三種重點分別使用類似的 LIC 素描法呈現，經由不同比重組合後，再套用輸入的紙張材質，產生出最終的鉛筆式素描圖。本章接下來將對每個步驟詳細介紹。. 9.

(17) 彩色原圖 (RGB Image). 彩色灰階轉換 (RGB-YIQ Transform). 根據亮度分佈曲線將影像分層 (Intensity Layer Subdivision). 將最暗的那一層使用 LIC 鉛筆素描法處理. 輪廓擷取 (Boundary Extraction). 用改良式 LIC 鉛筆素描法處理 (Apply Modified LIC Pencil Filter). (Apply LIC Pencil Filter). 依不同比重將結果組合 (Weighted Combination of the Results). 數位化紙張樣本. 套用紙張材質. (Digitized Paper Sample). (Apply Texture of Paper Sample). 素描圖圖 3-1：彩色圖像之素描呈現處理流程. 10. 用 Center-Off 演算法找出相對較暗的區域 (Apply Center-Off Algorithm). 用 LIC 演算法處理 (Apply LIC Algorithm).

(18) 3.1 依亮度分佈曲線分層此方法是引用Enhanced LIC Pencil Filter [7]中的分層方式，該篇作者認為人在素描時並不會以連續性的色調來呈現影像，而應該是以數層代表性的亮度來表現。因此模擬人類的視覺將影像的亮度分為三個區段，分層的方式是分析所有像素亮度由小排到大的曲線，找出前後平均斜率變化最大的兩個轉折點，由該兩個點將曲線分成的三個區段就是三個主要的亮度層。圖 3-2 中(B)是(A)的亮度分佈曲線圖，如果灰階亮度以 0 到 255 表示的話，兩個分段點分別是 131 和 182，沒有取箭頭所指處為分段點之一是因為每一層有個最低像素數目的限制，以避免層與層之間比例失衡。圖 3-3 是以圖 3-2(A)為輸入後所得分層結果，(A)的非白色區域為最亮層，(B)的非白色區域為次暗層，(C)的非白色區域為最暗層。. 圖 3-2： (A)文獻[7]的範例圖的灰階. 圖 3-3：(A)最亮層. (B)左圖的亮度分佈曲線. (B)次暗層. 11. (C)最暗層.

(19) 為了避免素描結果的線條過於雜亂的問題，接下來只處理最暗的亮度層，其各像素使用原來的灰階，因為美學視覺上通常透過這一層之呈現，我們即可產生對主體之視覺感受。. 3.2 LIC 鉛筆式素描演算法 LIC. (Line Integral Convolution) 早期是應用在貼圖合成[9]，主要的目. 的在於利用一張和輸入影像大小一樣的向量圖 (vector field) 做出方向性模糊化的效果，其輸入通常是一張原圖和一張依需求產生的向量圖，輸出是一張合成後的結果，其作法是逐一計算各像素的顏色接受量，如圖 3-4 代表某一影像的向量圖，標示(x,y)的格子為目前正在計算的像素，由其向量的正向及逆向兩個方向計算出一條曲線，曲線的走向依照經過像素的向量，曲線通過的像素數目參數則由使用者設定，(x,y)像素顏色的決定方式就是將曲線上每個像素的顏色乘上各別比重後加起來，再除以比重的和。比重通常是越接近曲線中央的比重越大，反之則越小。. LIC 鉛筆式素描演算法[6][7]則是以 LIC 為架構，主要的差別在於用原圖灰階的雜訊圖 (white noise image)代替原圖當作素描筆觸上之像素灰階濃淡計算的參考，向量圖則是從頻率空間(frequency domain)分析原圖每個像素的貼圖走向產生，LIC 演算法中的向量曲線長度則是由筆觸長度參數設定。雜訊圖的產生公式如下：. 12.

(20) 其中 k 為一常數，控制整體雜訊圖的明暗度，P 則為即時亂數，由上述公式所產生的雜訊圖中像素只有黑或白兩種可能，原圖中像素的顏色越深，雜訊圖中是黑色的機率就越高，同理原圖中顏色越深的區域，雜訊圖中區域的平均亮度也越暗。. LIC 鉛筆式素描演算法的優點在於自動決定鉛筆筆觸的位置與方向，以及自動色調吻合，就結果來看也和真實的鉛筆筆觸特性相當接近。圖 3-5 為演算法示範圖，(A)為向量圖，(B)為雜訊圖，(C)為結果。. 本論文主要的鉛筆素描產生方式基本上是引用上述的 LIC 鉛筆式素描演算法，由三個重點素描分別進行，但是在使用的向量圖及素描產生方向略有不同。由於素描的目標是加強輪廓，所以向量圖產生方式類似輪廓偵測，是先用 Sobel 邊緣偵測(Sobel edge detector)所得的水平和垂直變化量，算出每個像素的亮度變化方向以及亮度變化值，然後與亮度變化方向垂直的方向便指定給該像素，表示筆觸的方向。接下來針對三個不同重點素描對向量圖作微調，在亮度特徵著色所用的向量圖方面，當某個像素的亮度變化值小於一個臨界值，表示該像素的向量不值得參考，以預設的向量取代之。在輪廓突顯和結構特徵著色所用向量圖方面，則是換成用周圍最近的一個可參考向量取代，如此較符合輪廓走向。而在三個重點素描使用的雜訊圖方面，亮度特徵著色是用 3.1 的最暗層結果套用上述雜訊圖公式產生，輪廓突顯是用輪廓偵測的結果套用公式，結構特徵著色則是用 Center-Off 演算法的結果直接當作雜訊圖進行 LIC 演算法處理。另外輪廓突顯所用的是改良過的 LIC 演算法，細節將於下一節介紹。. 13.

(21) 圖 3-4：LIC 演算法示範圖，取自文獻[9]. (A)向量圖圖 3-5：文獻[6]LIC 過程圖例. (B)雜訊圖. (C)LIC 的結果. 3.3 輪廓擷取與其素描輪廓的加強可以增加影像中景物的立體感，表現物體本身的結構以及相互之間的空間關係。但常用的輪廓偵測，例如 Sobel 邊緣偵測(Sobel edge detector)，常有臨界值(threshold)難以控制的問題，不是結果有太多雜訊，就是擷取出的輪廓不足，例如圖 3-6(A)(B)是以圖 3-2(A)為輸入的結果，(A)是取輪廓偵 14.

(22) 測強度 0.15 以上，而主體的輪廓並沒有完整，(B)則是取強度 0.05 以上，雖然主體的輪廓是完整了，但也多了許多不必要的雜訊。. 另外，光是套用輪廓偵測的結果不太符合鉛筆筆觸的特性。本論文解決上述問題的方法是先用較高的臨界值取進較少的輪廓，接下來套用改良過的 LIC 演算法，使用較長筆觸來描繪出較完整的輪廓。. 所謂的改良式 LIC 演算法還是使用一張雜訊圖和一張向量圖，只是結果的計算方式是先找出雜訊圖中的黑色像素，然後以反向的方式算出它給予了向量曲線上其他像素多少的顏色，如此一筆筆的畫出輪廓結果。使用此方法所產生的輪廓圖線條較明顯而乾淨，較符合人描繪輪廓的習慣。圖 3-7(A)為圖 3-6(A)套用改良式 LIC 鉛筆素描演算法後的效果，3-7(B)則是在同樣參數設定下套用傳統 LIC 鉛筆素描法後的結果。. 圖 3-6：(A)輪廓偵測強度 0.15 以上. (B)輪廓偵測強度 0.05 以上. 15.

(23) 圖 3-7：. (A)改良式 LIC 結果. (B)傳統 LIC 結果. 3.4 Center-Off 演算法 Center-Off 演算法的目的在於模擬人類的視覺反應，將相對周圍較暗的區域擷取出來，因為我們認為人在素描時所著色的區域除了絕對較暗的區域，也應包括相對較暗的區域，而這些區域通常也是圖像中景物的結構特徵之處。在實作上是以一個 9 乘以 9 像素的遮罩，中間 5 乘以 5 設為 0，其餘外圍設為 1，中央的像素代表目前處理的像素，然後去計算原圖每個像素代表區域與這個遮罩的相關係數，如果是正相關且大於一個臨界值，那代表這個像素就是我們所需要的，其亮度計算方式則是將相關係數 0 至 1 這範圍對應到亮度值 255 至 0，如果相關係數小於或等於臨界值，則像素亮度設為 255。圖 3-8(A)為圖 3-2(A)套用 Center-Off 演算法後的結果，(B)則是(A)再套用 LIC 演算法後的結果。. Center-Off 演算法的結果有一部份是會跟輪廓偵測的結果重疊，但在效果上則可彌補輪廓偵測一些不足的地方，因為一般來說輪廓偵測的結果是較細的線條所構成，適合以較深的顏色作突顯之用，而 Center-Off 演算法的結果則是較粗的區域，適合作結構特徵之著色用。另外在可利用度上以 Center-Off 的結果較. 16.

(24) 高，對大部份測試的圖片來說臨界值設為 0.1 就可以得到預期的效果，而輪廓偵測的可利用度則視輸入圖片的對比程度與品質有很大的差異，其一部份的原因是 Center-Off 遮罩範圍較大，結果較具代表性。. 圖 3-8：(A)Center-Off 演算法的結果. (B)左圖再套用 LIC 的結果. 3.5 組合結果與紙張材質效應之引進組合三種結果的比重通常是以輪廓最重，其次是 Center-Off 的結果素描，最後是一些最暗區域的素描，以達到輪廓為重點的效果。圖 3-9 為結合 3-7(A)、3-8(B)與 3-3(C)之 LIC 鉛筆素描著色後的結果，比重分別為 1、0.8 與 0.6。. 套用紙張材質步驟主要目的在模擬紙張上凹凸不平區域所接受鉛筆筆尖碳墨的不同量，實作上是先讀入一數位化的紙張材質，然後之前的素描結果直接減去材質對應像素值的一個比例，以達到模擬的效果。圖 3-10 為一範例，(A) 為紙張樣本，(B)為圖 3-9 套用紙張材質(A)後的效果。圖 3-11 是另一種最後結果，主要是將 3-3(C)之 LIC 鉛筆素描以另一種風格呈現，作法是連續套用兩次不同對角方向的 LIC 鉛筆素描法，如此筆觸看起來較為細密。3-12 則是文獻[7]中的實驗結果。. 17.

(25) 圖 3-9：三種重點素描組合後的結果，輪廓、結構特徵與亮度特徵比重分別為 1、 0.8 與 0.6. 圖 3-10：(A)紙張材質. (B)套用紙張材質的結果. 圖 3-11：最暗層以兩段式 LIC 表現. 圖 3-12：文獻[7]的結果. 18.

(26) 第四章實驗結果我們已將第三章所述的系統架構以 C++在 Windows 平台實作出來，本章節展示出若干實驗結果及分析結果和系統效能。. 4.1 結果圖第一個實驗是以影星 Natalie Portman 的半身人像，圖 4-1 當輸入。圖 4-2(A)為亮度特徵著色的結果，(B)為輪廓突顯的結果，(C)使用 Center-Off 演算法作結構特徴著色後的結果，(D)則是另一種亮度特徵著色的效果。圖 4-3(A) 是 4-2(A)(B)(C)組合成的最後結果，4-3(B)則是 4-2(B)(C)(D)組合成的最後結果。. 圖 4-1：Natalie Portman 19.

(27) 圖 4-2：(A)亮度特徵著色. (B)輪廓突顯素描. (C)結構特徵著色. (D)另一種亮度特徵著色. 圖 4-3(A)：圖 4-1 最後素描結果，輪廓、結構特徵與亮度特徵比重分別為 1、1 與 0.6 20.

(28) 圖 4-3(B)：圖 4-1 另一種素描結果，輪廓、結構特徵與亮度特徵比重分別為 1、1 與 0.8 第二個實驗是以文獻[6]中的範例圖 4-4(A)為輸入。 4-4(B)為結構特徵著色的結果，(C)則為三種重點素描組合後的結果。 (D)是文獻[6]中的實驗結果。. 圖 4-4(A)：文獻[6]的範例圖 21.

(29) 圖 4-4(B)：結構特徵著色的結果. 圖 4-4(C)：圖 4-4(A)的最後素描結果，輪廓、結構特徵與亮度特徵比重分別為 1、 0.85 與 0.6. 22.

(30) 圖 4-4(D)：文獻[6]中的結果第三個實驗為文獻[6]中的另一個範例圖 4-5(A)，(B)為結構等徵著色的結果，(C) 為三種重點素描組合後的結果，(D)則是以平行筆觸(Hatching)作亮度特徵著色的最後結果。 (E)是文獻[6]的其中一個實驗結果。. 圖 4-5(A)：文獻[6]中的範例圖 23.

(31) 圖 4-5(B)：結構特徵著色結果. 圖 4-5(C)：最後素描結果，輪廓、結構特徵與亮度特徵比重分別為 1、0.8 與 0.6. 24.

(32) 圖 4-5(D)：以平行筆觸(Hatching)作亮度特徵著色的最後結果，輪廓、結構特徵與亮度特徵比重分別為 1、0.8 與 0.6. 圖 4-5(E)：文獻[6]中的結果. 25.

(33) 第四個實驗是以圖 4-6(A)為輸入，(B)為結構特徵著色的結果，(C)是最後組合後的結果，(D)則是以平行筆觸作亮度特徵著色的最後結果。. 圖 4-6(A)：輸入圖像. 圖 4-6(B)：結構特徵著色結果 26.

(34) 圖 4-6(C)：最後素描結果，輪廓、結構特徵與亮度特徵比重分別為 0.8、0.6 與 0.6. 圖 4-6(D)：以平行筆觸作亮度特徵著色的最後結果，輪廓、結構特徵與亮度特徵比重同(C). 27.

(35) 第五個實驗是以文獻[10]的其中一個範例圖 4-7(A)為輸入，(B)為亮度特徵著色的結果，(C)為輪廓突顯，(D)為結構特徵著色，(E)為(B)(C)(D)組合成的最後素描結果，輪廓、結構特徵與亮度特徵比重分別為 1、0.7 與 0.6，(F)是以平行筆觸作亮度特徵著色的最後結果，輪廓、結構特徵與亮度特徵比重分別為 1、0.7 與 0.7， (G)是文獻[10]的結果。. 圖 4-7：(A)文獻[10]中範例圖. (B)亮度特徵著色. (C)輪廓突顯. (D)結構特徵著色. (E)最後素描結果 (F)以平行筆觸作亮度特徵著色的最後結果 (G)文獻[10]中的結果 28.

(36) 第六個實驗是以圖 4-8(A)為輸入，(B)為亮度特徵著色，(C)為輪廓突顯，(D)為結構特徵著色，(E)則是(B)(C)(D)組合成的最後素描效果，輪廓、結構特徵與亮度特徵比重分別為 1、0.8 與 0.8，(F)是以平行筆觸作亮度特徵著色的最後結果，輪廓、結構特徵與亮度特徵比重同(E)。. 圖 4-8：(A)輸入圖像. (B)亮度特徵著色. (E)最後素描結果. (C)輪廓突顯. (D)結構特徵著色. (F)以平行筆觸作亮度特徵著色的最後結果 29.

(37) 第七個實驗是以文獻[10]中的另一個範例圖 4-9(A)為輸入，(B)和(C)為我們的最後素描結果，(D)為文獻[10]的結果。. 圖 4-9：(A)文獻[10]中範例. (B)平行筆觸的最後結果. (C)細密筆觸最後素描結果. (D)文獻[10]中的結果. 第八個實驗是以文獻[10]中的另一個範例圖 4-10(A)為輸入，(B)和(C)為我們的最後素描結果，(D)為文獻[10]的結果。. 30.

(38) 圖 4-10：(A)文獻[10]的範例. (B)平行筆觸的最後結果. (C)細密筆觸的最後素描結果. (D)文獻[10]的結果. 第九個實驗是以文獻[7]中的範例圖 4-11(A)為輸入，(B)和(C)為我們最後的素描結果，(D)為文獻[7]的結果。. 31.

(39) 圖 4-11： (A)文獻[7]的範例. (B)平行筆觸的素描結果. (C)細密筆觸的素描結果. (D)文獻[7]的結果 32.

(40) 第十個實驗是以文獻[6]的範例圖 4-12(A)作為輸入，(B)和(C)為我們最後的素描結果，(D)則是文獻[6]的結果。. 圖 4-12：(A)文獻[6]的範例. (B)平行筆觸素描的結果. (C)細密筆觸素描的結果. 33.

(41) (D)文獻[6]的結果. 4.2 結果與效能分析從實驗結果來看，當一張輸入圖像明暗變化複雜時，Center-Off 演算法所找出之結構特徵的著色佔了效果中的大部份，而輪廓突顯雖然使用的顏色最深，但效果上則是一個輔助結構特徵著色的角色，亮度特徵著色的顏色比重最淡，佔的面積則視原圖亮度分佈而定。另外，當輸入圖像的畫質越高，主體與背景的對比越明顯，處理出來的素描效果會越令人滿意. 在系統效能方面，處理圖像時間與原圖的像素數目成正比。以一張 640 乘以 480 的圖片來說，在 CPU 1.8GHz 的平台上，處理時間不到 3 秒鍾，可說是符合即時系統的目標。至於佔最多處理時間的步驟是 Center-Off 演算法，大約是百分之五十左右。. 34.

(42) 第五章結論此篇論文的主要貢獻在於提出自動化產生鉛筆素描效果圖的方法，讓即使不擅長美工的使用者，也能在短時間內，產生出令人滿意的結果。此方法的結果是由三個特定區域的素描組合而成，第一：亮度特徵著色。第二：輪廓突顯。第三：結構特徵著色。這三者都有其對於一張完整素描圖的重要性，組合的最佳比重則是視輸入圖像而略有不同。. 在未來規劃方面，首先可以改進的是自動化參數設定，雖然本系統中的參數都有預設值，但有時為了得到最佳結果，還是得修改一些參數，所以如果能找出這些參數與輸入圖像的關係，將更利於自動化的目標。另外，也希望本篇論文的鉛筆素描方法能應用在各種需要影像處理的產品中，如一般的影像處理軟體、數位相機、以及手機中，增加這些產品的娛樂效果，祈望能達成些許貢獻。. 35.

(43) 參考文獻 [1] C. Reynolds. Stylized depiction in computer graphics, NPR, painterly and toon rendering. http://www.red3d.com/cwr/npr/ [2] M. Salisbury, M. Wong, J. Hughes, and D. Salesin. “Orientable textures for image-based pen-and-ink illustration”. Computer Graphics (SIGGRAPH 97 Proceedings), pp. 401~406, 1997. [3] Michael P. Salisbury, Sean E. Anderson, Ronen Barzel, David H. Salesin, “Interactive Pen-and-Ink Illustration”, Computer Graphics Proceedings, pp. 101~108, 1994. [4] Georges Winkenbach, David H. Salesin, “Computer-Generated Pen-and-Ink Illustration”, Computer Graphics Proceedings, pp. 91~100, 1994. [5] Oliver Deussen, Thomas Strothotte, “Computer-Generated Pen-and-Ink Illustration of Trees”, Computer Graphics Proceedings, pp. 13~18, 2000. [6] Xiaoyang Mao, Yoshiyasu Nagasaka, and Atsumi Imamiya, “Automatic Generation of Pencil Drawing From 2D Images Using Line Integral Convolution”, CAD/Graphics’, pp. 240~248, 2001. [7] Shigefumi Yamamoto, Xiaoyang Mao, Atsumi Imamiya, “Enhanced LIC Pencil Filter”, IEEE Computer Graphics, Imaging and Visualization Proceedings, pp. 251~256, 2004. [8] Max Mignotte, “Unsupervised Statistical Sketching for Non-Photorealistic Rendering Models”, IEEE Image Processing Proceedings, pp. 573~576, 2003. [9] B. Cabral and C. Leedom, “Imaging Vector Field Using Line Integral Convolution”, SIGGRAPH93 conference Proceeding, pp. 263~270, 1993. [10] 馬紀哲、林正中，”相片中主體之突顯與素描”，碩士論文，2004。. 36.

(44)