第二章 相關研究
2.2 其他
2.2.2 圖像對照素描圖產生法
Salesin 等人於 2001 年提出了以關係對照的概念由兩幅給定影像之對照 產生新影像之方法 (Image analogies [2])，該方法可利用以產生素描或其他藝術風 格之影像。簡言之，給定 A、A’和 B 三幅影像，經由 A 和 A’對照關係之推定，
該方法可根據該對照關係由 B 產生 B’。以圖 2-8 為例，A’為原圖 A 之渲染呈現，
則給定任一影像 B，相對應之渲染圖像 B’即可產生。此方法[2]之應用廣泛列舉 如下：
解析度轉換 (super-resolution)： 從比較低解析度的數位圖檔自動生成解 析度比較高的數位圖檔，如圖 2-5。影像質感轉換 (texture transfer)： 將一張數 位圖像的質感自動轉換成另外一種質感，如圖 2-6。多質感轉換
(texture-by-numbers)：以圖 2-7 為例說明，A 圖中以不同之單色區域代表 A’圖中 不同之地貌區域 (影質各異)。若將單色區域之分佈與形狀改變 (B) 則經由對照 關係得到一全新之人造地貌圖像 (B’)。傳統影像濾鏡 (traditional image filters)：
例如渲染效果，圖 2-8。改良傳統的質感合成 (improved texture synthesis)：質感 合成乃利用一小塊的質感合成我們場景中所需要的一大片質感，但其傳統方法上 有合成時質感接合處不連續之問題，利用 Image analogies 可以將之改良，如圖 2-9。最後是我們所著重的藝術家效果濾鏡 (artistic filters)：我們可以利用它這個 功能自動由一張數位影像自動產生其相對映的素描效果圖，如圖 2-10 及圖 2-11。
圖 2-5：解析度轉換，由高解析度 A’圖對低解析度 A 圖之對照，自動產生比 B 圖解析高的 B’圖
A A’ B B’
圖 2-6：多質感轉換，由左方二張不同質感圖的比較，使得右方二張圖的質感得 以互相轉換
圖 2-7：多質感轉換，由 A、A’的對照關係及 B 的資訊，產生全新之人造地貌圖 像 B’圖
A A’
B B’
圖 2-8：傳統影像濾鏡，由 A’為 A 的渲染效果對照，自動產生 B 的渲染效果 B’
圖 2-9：感質合成，由左方的小張的質感圖合成右方的完整大張質感圖
A A’
B B’
圖 2-10：圖 A’為 A 經 PhotoShop 素描處理後效果圖，利用對應關係產生 B 之素 描效果 B’圖
A A’
B B’
圖 2-11：圖 A’為 A 經 PhotoShop 素描處理後效果圖，利用對應關係產生 B 之素 描效果 B’圖。與圖 2-10 對照
從上述對 Image analogies 的介紹可以了解 Image analogies 的技術應用相 當廣泛。單就產生素描對照的結果來看 (圖 2-10)，尚有極大的改良空間，此外 處理時間相當長，常常需要數個小時。
第三章 處理方法
為達到主體加強的素描效果，本篇論文所提之處理方法分為三個步驟。
第一，選取圖像中的主體物件 (visual target selection)。第二，將照片做分群 (grouping)。第三，將筆觸分別合成到我們已分群完的圖像中(stroke mapping)。
最後，綜合前三步驟得到一素描效果圖並加強主體物件之視覺效果。
若將上述三步驟細分可以將整個處理程序描述為如圖 3-1 的流程，由輸 入的彩色原圖，經由第一階段的主體區域分析得到一主體影像遮罩，並將此遮罩 儲存為遮罩 M，在這一階段選取主體物件的方法是將彩色原圖中的 RGB 色彩空 間轉換為 HSV 色彩空間，並使用分析 HSV 色彩空間的色調分佈方法來找尋主體 區域。接著將 RGB 色彩空間轉換為 YIQ 色彩空間，並擷取其灰階資訊將其儲存 為灰階圖檔，再由此灰階圖檔做第二階段的灰階分群處理。接著進入第三階段，
由預先準備好的筆觸資料庫中選取適合的筆觸合成初步素描結果圖，在此一階段 中所選取的筆觸濃度與筆觸方向需要參考明暗變化方向之分析、輪廓擷取等處理 所得的結果資訊。最後做主體加強的後處理，主體加強部份是參照第一階段所得 到的遮罩 M，得到一個有素描效果且主體凸顯的素描風格圖像。本章將於以上 步驟細部介紹。
彩色灰階轉換 (RGB-YIQ transform)
主體區域分析 (Visual target selection
by Hue analysis) 彩色原圖
(RGB image)
色彩空間轉換 (RGB-HSV transform)
局部明暗變化方向之 分析
灰階分群處理 (grouping by gray-level
quantization)
輪廓擷取 (boundary extraction) 輪廓線條合成
主體強化處理 筆觸合成 (oriented stroke
mapping)
3.1.1 彩色照片主體區域之選取
本文所提方法利用 HSV 色彩空間範圍限定選擇主體區域，換言之，以 照片中主體像素在 HSV 色彩空間的分佈特性來選取主體區域。首先簡短介紹 HSV 色彩空間的基本性質。HSV 色彩空間是由色調 (Hue)、飽和度 (Saturation)、
亮度 (Value) 三項參數所組成，它是一種接近吾人對色彩感受的直覺性色彩空 間，也可說是當人接觸到色彩時會怎麼去詮釋它的途徑；當我們想要去指定某種 色彩時，使用 HSV 色彩空間是人性化的選擇。圖 3-2 為 HSV 色彩空間的圖解範 例，我們可以看到一個圓椎形的圖示。圓錐的頂點代表了亮度值為 0 的點 (即 V
= 0)，也就是亮度值最小的地方，故感覺會是全黑。而在上方的圓錐面附近代表 亮度值為 1 的區域，在色彩飽和度為 1 的前提下觀察可以看到各種色調最鮮明的 色彩。色彩飽和度亦可解釋為色彩的濃度，在圓錐中心軸處由於飽和度 (濃度) 為 0，故在亮度不為 0 的時侯也沒有色調的資訊，看起來像是由全白而灰而全黑 的區域。而最外層的一圈則代表了從 0 度到 360 度的各種不同基本色調。
圖 3-2：HSV 色彩空間的模型
要使用 HSV 色彩空間，需先將輸入之彩色圖像 (RGB image) 由 RGB 色彩空間轉換至 HSV 色彩空間，即圖 3-1 中色彩空間轉換處理 (RGB-HSV transform)。首先取 R、G、B 中最大值做為亮度值 (Value)，接著取 R、G、B 的
範圍值除以亮度值得到飽和度 (Saturation)，然後由 R、G、B 中最大值得知色調
Hue values in degrees and in the range [0, 359]
Saturation and Value are in the range [0, 1]
Value = Max (R, G, B)
Saturation = (Max (R, G, B) - Min(R, G, B)) / Max (R, G, B) If (R==G==B) Hue is undefined
If (R == Max (R, G, B)) Hue = 60 * (G – B) / (Max (R, G, B) - Min(R, G, B))
359
’ 0
’
圖 3-3：東方人皮膚的色調值分佈範圍
觀察出圖像中主體物件色調值 (Hue) 分佈範圍後，即可藉由此資訊將圖 像中的主體區域選取出來。其做法相當直覺，吾人只需將圖片中色調值分佈於所 指定主體物件色調值範圍內 (如前述東方人皮膚之 330 度以上以及 30 度以下) 的像素 (pixel) 擷取即可以得到主體區域遮罩影像 (mask)。吾人在選取主體物件 色調值範圍有二種方法，第一種是手動指定主體物件色調值範圍，只對特定的視 覺目標做加強；第二種為根據在畫面上占了最大比例的色調來決定主體物件色調 值範圍。第一種方法如同上述的人類皮膚範例，吾人只需藉由肉眼及圖 3-3 之色 調值表即可觀察出圖像中主體物件之色調值分佈範圍。圖 3-4 是以第一種方法對 圖像做主體辨識的結果，白色部份即是選取出來的主體區域。
圖 3-4：左圖為待處理的彩色圖像，右圖為經 HSV 主體區域範圍選取而得的遮 罩影像，右圖白色部份即為主體區域
HSV 主體區域範圍選取的第二種方法則需先統計出整張圖像所有像素
此公式是將色調統計圖表中色調 (Hue) 值分布在某範圍 (大於 i-Neighborhood 且小於 i+Neighborhood 間的區域) 的數量加總起來
(Neighborhood 是可以在程式中設定的參數)，吾人使 i 從 0 到 359 移動，以找到 上述總合最大的 SUM[i]，並將其中的 i 訂為選定的色調值 (chosen hue：Hc)。此 選定色調值 (Hc) 代表的意義是待處理圖像中主體物件的色調絕大多數分佈在 此選定色調值附近。其中 Neighborhood 參數的大小會影響到選定的色調值的結 果，故必需訂得適中。而式中的求餘 (modulus) 部份是由於色調值為 0 度到 360 度的循環分佈，故超過 360 度如 361 度就要算 1 度即 361 modulus 360 = 1 而-1 度算 359 度，依此類推。圖 3-6 為上述處理之圖示：
圖 3-6：自動找尋主體物件色調分佈範圍圖示
當 Hc 值確定後，便可訂一 DIFF 參數，然後從待處理的數位圖像 (圖 3-5 左) 中找出所有與選定色調 (Hc) 相差值小於 DIFF 的像素 (pixels)， 以構成 一個遮罩影像 (M)，遮罩影像即涵蓋了原數位影像中之主體區域。DIFF 也是影 響選取主體物件的精確度的重要參數之一，以下是遮罩影像的選取方法。
i(x,y)：圖片中橫座標為 x, 縱座標為 y 的像素色調值
M = { (x, y) | | i(x,y) - Hc| < DIFF } for each
i
(x
,y
)∈Image
在 HSV 色彩空間中，除了由色調值 (Hue) 來決定主體物件的選取外，
尚可加入飽和度 (Saturation) 與亮度 (Value) 的考量。由於當飽和度達極值成為 全白或亮度達極值成為全黑時，通常不是我們所要選取的區域，故可以考慮將亮 度值及濃度值介於某些範圍外的部份濾掉，後面的實作中吾人暫不做此處理。
3.1.2 加強主體區域的選取範圍
當吾人初步將圖像中主體部份辨識出來並存為遮罩時，此遮罩仍有許多 需要加強的部份，以上述儲存的遮罩影像 (圖 3-4 右) 為例，我們可以發現在選 取出來的人頭部份中的眼睛及鼻子和嘴巴附近有許多的區域沒有選到，這些在最 後淡化背景的步驟會產生極大的影響，即吾人在淡化背景處理時，亦會把眼睛周 圍及鼻子、嘴巴周圍一併淡化掉，使得結果圖像的效果大打折扣。除此之外，吾 人亦可能選取到與主體無關的背景區域，如圖 3-4 右，其中選到了背景的鐵絲網 部份，同樣的，最後在做背景淡化的時侯，這些小地方便沒辦法淡化掉。基於以 上原因，吾人假設主體物件的區域集合性，使用遮罩加強 (mask expanding) 的 方法來加強主體的區域性。唯遮罩加強處理仍具有侷限性，未必適用於所有狀況。
圖 3-7：遮罩加強 (mask expanding) 處理過程圖示
遮罩加強採取的方法是從選定遮罩影像的每個像素都加以檢查過，並以
For each pixel in the mask image do{
SUM = the number of white pixels in the grid if(SUM > upper_bound) mask[i][j] = 255;
if(SUM < lower_bound) mask[i][j] = 0;
}
遮罩加強的動作有時需要重覆做才能得到好的效果，吾人將其簡短記為 ME(upper bound)(lower bound) = repeat times，圖 3-8 為遮罩加強之範例。
圖 3-8：遮罩加強 (mask expanding) 處理範例，由左至右分別為 ME1813 = 0,
ME1813 = 2, ME1813 = 100.
3.2 圖像分群
換及圖像分群處理 (grouping by gray level quantization)，YIQ 轉換方式說明如下。在 YIQ 色彩空間中，Y 表示亮度 (luminance)，而 I (Inphase)、Q
當取得彩色圖像的灰階資訊後，便可開始進行分群處理(grouping)。由於
圖 3-10：左圖為待處理灰階圖像，右圖為左圖經過分群的處理後的圖示
3.3 筆觸合成
將圖像的灰階值分群之後，便開始要做筆觸合成的處理。本節介紹二種 筆觸，即點陣筆觸和斜線筆觸，以及圖 3-1 中之筆觸方向分析與輪廓擷取法。
3.3.1 點陣筆觸
吾人使用半色調處理以得到點陣筆觸之效果，半色調處理主要應用在圖 像呈現設備之灰階表現能力不及圖像灰階解析度的場合。例如報紙印刷僅能有黑 白二階之表現能力，這時半色調技術即可派上用場來處理灰階新聞照片。以圖 3-11 為例，原圖灰階由黑到白之灰階解析度為 256，利用半色調技術可將原圖改
吾人使用半色調處理以得到點陣筆觸之效果，半色調處理主要應用在圖 像呈現設備之灰階表現能力不及圖像灰階解析度的場合。例如報紙印刷僅能有黑 白二階之表現能力，這時半色調技術即可派上用場來處理灰階新聞照片。以圖 3-11 為例，原圖灰階由黑到白之灰階解析度為 256，利用半色調技術可將原圖改