印花織物電腦自動化分析與辨識智慧型之專家系統開發與研製(3/3)
Exploitation and Development of the Intelligence Expert System for the Analysis and Recognition of Computer Automation on the Printing Fabrics
計畫編號 :NSC-95-2221-E-011-062 執行期限 :95/08/01 ~ 96/07/31
主 持 人:郭中豐 國立台灣科技大學 高分子工程研究所
一、中文摘要
印花織物工業目前擬朝向電腦輔助設計(CAD) 及電腦輔助製造(CAM)自動化方向發展,但是印花 織物的影像分析與辨識需包含顏色、紋理及圖案的 研究,幾乎涵蓋了電腦視覺的技術與學術理論,故 採用電腦自動化地分析及辨識有其高度之困難 性,使得印花織物工業自動化的發展停滯不前。本 計畫第一年擬進行印花織物影像電腦自動化分色 的研究,其主要是擬採用與人眼視覺方式相同的 HSI 彩色空間,分析印花織物的色彩呈現模式 後,以基因演算法(Genetic Algorithms)搜尋出能代 表原織物相同顏色分佈的較小子影像,以供給後續 的分色演算法使用。在演算法上,接著以 Fuzzy C-Means(FCM) 聚 類 法 作 為 基 礎 的 區 域 分 裂 法 (Region Splitting Method)進行印花織物的電腦分 色,得出所用的顏色數及顏色值,並進行依顏色切 割出印花工程製版所需的黑圖。第二年首先建立以 小波轉換取出印花織物影像紋理結構的方法,進而 以共生矩陣來計算紋理結構的特徵值,最後採用學 習向量量化類神經網路來進行織物紋理的辨識研 究,以達成自動化分辨印花織物所用的布種是梭 織、針織或不織布及簡單的織物組織。第三年進行 直接於圖案元件中心點的排列結構上搜尋印花織 物的重複圖案及印花織物間圖案的相似性,首先進 行印花織物圖案元件的切割及分類,然後建立以基 因演算法搜尋出重複圖案的方法,最後以圖案元件 間的相似比進行比較兩組印花織物圖案相似性的 研究。由於本計畫內容包含了印花織物的顏色、紋
理及圖案特徵,故亦進行建立一個以影像內涵作為 存取印花織物的資料庫及其檢索方法之研究,期克 服目前業界的印花織物影像資料庫是以文字描述 及人眼方式檢索的困難。
英文摘要
The objective of the printing fabric industry is to develop with the automation of computer-aided design (CAD) and manufacture (CAM) at presence.
However, the image analysis and recognition of the printing fabrics which cover a wide range of science theories and technologies of computer vision involve the investigations into their colors, textures, and patterns. It is highly difficult to perform the image analysis and recognition with the computer automation so that the development of automation faces the bottleneck in the fabric printing industry.
The project is planned to execute the three-year systematically integrated investigation. In the first year, a scanner was used to obtain the digitized color image of printed fabric in RGB (Red, Green, Blue) mode and the image is then converted to the digitized color image in HSI (Hue, Saturation, Intensity) mode.
Next, the genetic algorithm was applied to search the smaller sub-image having same color distribution as the original fabric for proceeding with the subsequent color separation algorithm. In respect to the color separation algorithm, the FCM-based (Fuzzy
C-Means) region splitting method was used to carry out the color segmentation of the printed fabric image.
In the second year, the wavelet transform-based method of extracting the textures from the printing fabric images can be established and then be used to calculate the texture features through the co-occurrence matrix. The recognition of image textures can be operated by learning vector quantization neural network (LVQ) to achieve the aim of automated recognition of the used cloth belonging to woven, knitted, non-woven, or simple texture categories. In the final year, the replicate patterns and the similarities between the printing fabrics can be found directly on the arrangement composition of the pattern element center. The pattern elements of the printing fabrics can be segmented and classified and then construct the method of searching the replicate patterns by using genetic algorithm as the similarity between the two printing fabric patterns are compared via the similar ratio between the two ones. As the result of the project including the colors, textures, and pattern features of the printing fabrics, building the image quality-based database that has access to the printing fabrics and its related retrieval approach is indispensable, so as to overcome the difficulties in the existing database that is depicted by words and retrieved by human eyes in the industry.
二、計畫 緣由與目的
印花布不像梭織布能以色紗排列及織物組織 來精確地描述彩色圖案;印花布僅能以顏色數、顏 色值及重複圖案來描述印花布的彩色圖案。而其中 色彩對印花布而言,是扮演著關鍵性的角色,因印 花的製程中是以個別的顏色來製版且印染。而印花
工業在過去是以人工方式進行彩稿分色、黑圖描繪 及印花製版等工作,這在工時及人力上,相當地耗 時又費力。印花織物是一種高附加價值的紡織品。
比起其他紡織品,其色彩極為豐富、圖案更有變 化。在印花的製程上,分色是最為重要的項目。在 傳統上是以人工來進行圖案的描繪及分色,但這需 要大量的人力及工時,相當地耗時又費力。目前的 印花織物分色技術是以電腦輔助分色系統為主,將 各種彩稿或樣布經掃描器掃描後,轉換為彩色數位 影像進行歸色作業,然後再於電腦中可進行圖案的 顏色合併、重新組合及校正。目前許多應用於織物 的影像分析技術大部分為灰階織物影像分析,然而 日常生活中經常被使用的大都是彩色織物;因此,
精確且快速的色彩分類是重要研究議題。
第一年計畫是以印花織物電腦自動化分色為 研究方向,目前這方面的研究很少,已有的研究是 我們以非監督式聚類方法,達到印花織物 RGB 格 式彩色圖案依其所用的顏色數進行彩色自動化分 色[1]。而我們第一年計畫擬以 HSI 的色彩格式 進行電腦分色的研究,因人眼所感受的色彩是以 色調(Hue)、飽和度(Saturation)及亮度(Intensity)來 呈現。且又因印花織物基本重複的彩色圖案的長寬 有時高達 1 公尺左右,如以低解析度 150dpi 進行 掃描後的數位檔案大小有時會高達 3 億多位元 組,因此上述非監督式的彩色聚類方法對此龐大 的資料量幾乎是無法運算,故此本研究擬以基 因演算法搜尋出可代表原織物色彩分佈的較小 切割圖,如此使得電腦自動化分色能實際地達 成 。 而 在 電 腦 分 色 的 演 算 法 上 則 使 用 Fuzzy C-means (FCM)模 糊 聚類 法 為基 礎 的區 域 分裂 法達到電腦自動化的分色效果。
第二年計畫在分析織物影像中發現,織物表面 上會形成起伏的紗線結構,使得光線反射不一而在 布疋表面上形成紋理,所以理論上只要分析織物的 紋理便可瞭解織物的織法及組織。因此常用的辨識
算法分為結構、統計和頻譜的方法。而統計法重於 紋理特徵的抽取,並以紋理之平滑度,粗糙度等來 表達。紋理可以由一組特徵的統計加以描述,並利 用統計值可由最簡單的一階統計值到更高階的統 計值。常見如平均值、直方圖、變異值,或共生矩 陣,Haralick 提出了灰階度空間上的機率分佈矩
(Gray-tone Spatial-dependence Matrices)的方法,
使用由它所定義的十四種特徵因子,來進行辨識[2]
此類研究運用在梭織物的織物組織辨識[14-6]及經 緯密辨識[7],而利用傅立葉轉換來歸納梭織物紗 線的位置,以此辨識梭織物的三原組織,在分析過 程中使用背向打光的技巧,因此透光性不佳的梭織 物不易適用此方法[8]。傅立葉轉換做影像處理的 方法更進一步使用來探討平紋組織的外觀,並這些 織物紋理研究有運用在梭織物的織物組織辨識 [9,10],針織物表面的 Fuzz and Pills 分析[11],及 非織物 fiber orientation 的量測[12]。
常用於影像分色的技術主要有三種:以像素 (Pixels-Based) 、 區 域 (Region-Based) 及 邊 緣 (Edge-Based)為基礎的分色技術。以像素為基礎的 分色技術主要是以個別像素的顏色特徵進行分 色,而沒有考量其空間上的關係[14-15]。以區域為 基礎的分色技術主要是將影像區分為好幾個子區 域使得每一個子區域符合適合的色彩均勻度準則 [16-17]。以邊緣偵測為基礎的分色技術主要是利用 鄰接像素顏色值的不連續性或突變來進行線段及 邊緣的檢測,並且將線段連結在一起找出物體的邊 界來分割影像[18]。而在重複圖案的研究上,是有 以自動相關(Autocorrelation)、富利葉轉換(Fourier Transform)或共生矩陣(Co-occurrence Matrices) 進 行影像的週期式圖案偵測[19-21]。其中以自動相關 的方法是較適合用於分析如印花圖案這種重複次 數低的圖案,不過該方法會得出菱形的重複圖案,
無法得出固定切割點的重複圖案且難以進一步分 析構成重複圖案的圖案元件[22]。第三年計畫在印
花布重複圖案的辨識上,是要先找出色彩、形狀及 方位都一樣的相同圖案元件所在,這方面本論文是 以非監督式分類法及模版匹配法等兩種方式來找 出相同圖案元件的所在。最後這些相同圖案元件中 心點的水平及垂直連線結構,可以用霍弗(Hough) 轉換法來得出,再據以進行矩形單位重複圖案的切 割,最後,製版用的黑圖則依據矩形重複圖案中需 要進行製版的顏色類別,分別產生不同顏色類別的 單位黑圖重複圖案元件再加以擴展而成的,以下是 這三年計畫的敘述。
三、研究方法
3.1HSI 模式的色彩空間
彩色影像最常使用的是硬體導向的 RGB 色彩 模型空間,諸如掃描器、數位相機等設備的光學元 件,直接取得的色彩分量便是 RGB。但對人眼的 感受來說,很難去分辨或描述一組 RGB 的顏色值 所代表的顏色,人眼所感受的色彩是 HSI 色彩模 型,其是將色彩以色調(Hue)、飽和度(Saturation) 及亮度(Intensity)來呈現色彩的顏色值,色調(H 層) 是代表純色彩的類別、飽和度(S 層)是顏色中滲入 白色成分的多寡,亮度(I 層)是代表顏色中黑色到 白色間明暗強度之變化。所以我們便將彩色影像 RGB 模式轉為 HSI 彩色模式,其轉換公式如下 [23]:
H H
then G B if
B G B R G R
B R G H R
I B G R S
B G R I
0 2
1
360
, ] ) )(
( ) ( 2
) ( ) [ (
cos
, / ) , , min(
1
, 3 / ) (
(1)
色彩空間的兩個點之間的距離公式如下︰
2 2 2 1 1 2 2 2 1 1 2 2 1
2 2
int
)) sin(
) sin(
( )) cos(
) cos(
( ) (
) ( ) (
H S H S H S H S I I
d d
d
ensity chromaticity
(2)色彩相似度的衡量(color similarity measure)
為了要搜尋出與原影像有著相同色彩分佈的 子影像,本研究採用 Swain and Ballard 所提的 histogram intersection 來進行子影像與原影像的色 彩相似性衡量[24]。而影像的 histogram 取得,是 先將 HSI 彩色空間切割成 113 個子空間((12 hues * 3 saturations) * 3 層 + 5 grays),然後加以編號,最 後統計影像中每一個色彩編號各別有多少個像素 而形成 histogram 中的長條。而子影像與原影像間 的 Histogram intersection 定義如下:
nj
D n
j
D Q
j I H
j I H j I H S
1 1
) , (
)) , ( ), , ( min(
(3)
3.2 基因演算法(G
ENETIC
ALGORITHM
,GA) 基因演算法(Genetic Algorithm,GA)是一種電 腦化搜尋及最佳化的方法,是由密西根大學的 John Holland 教授於 1960 年提出。經過這些年來的發 展,遺傳演算法已成功地應用在工程方面如控制、類神經網路、模糊理論、航空、影像處理、機器人 學、電腦等領域之應用。基因演算法仿效生物進化 的物競天擇、適者生存的生存競爭原則。基因有擇 優複製(Selection of reproduction )、交配(Crossover) 及突變(Mutation)的能力,故在新生代中的基因會 是較優良的,而劣質基因會被漸次淘汰。基因演算 法就是把上述三種基因遺傳方法,即擇優複製、交 配及突變寫成一個程式,以供解決問題之用。且因 為基因演算法採用隨機搜尋法則,所以,不會像一 般的數學方法,有陷入局部最佳點,而無法跳出的 問題,這使得基因演算法有更好的機會求得全域最 佳解[25-26]。
本計畫用於搜尋與原織物有著相同顏色分佈 子影像的基因演算法流程如下:
1.設定基因演算法的初始參數:每一代族群的 物種總數是 40 個,每一物種的基因組成是(X,
Y, DX, DY),其中(X, Y)是子影像的座標,各 以 9 bit 的長度進行基因編碼;(DX, DY)是子 影像的尺寸,各以 7 bit 的長度進行基因編碼。
1 1 1 1 1 0 0 0 0 1 1 1 0 0 0 1 0 1 1 0 1 0 1 0 1 1 0 0 0 0 1 1 ( X ) ( Y ) ( DX ) ( DY )
2.隨機產生第一代族群。
3.以 公 式 (4) 計 算 族 群 中 每 一 物 種 的 適 應 函 數值(E)。適應性函數是以原影像與子影像 的 色 彩 相 似 度 (S)及 母 影 像 面 積 除 以 子 影 像面積的面積比(P)來建構。其中色彩相似 度(S)是以方程式(2)計算得到。色彩相似度 值的範圍是介於 0 與 1,1 是完全相同而 0 是完全不同。
If (S>0.99) then E=S
else E=S+P (4) 4. 以 公 式 (5) 由 輪 盤 法 (roulette-wheel
selection)來計算每一個物種可被複製到下 一代族群的個數。
f N N f
i i
i
(5)Ni:是第 i 個物種要被複製的個數。
fi:是第 i 個物種的適應性函數值。
N:是每一代的物種的總數。
Σfi:整體物種的適應性函數值的總合。
5.以單點交配(single-point crossover)進行物 種間的交配,以產生下一代族群。
1 1 1 1 1 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 1 0 1 0 1 0 1 0 1 1 1 1 1 1 1 1 1 1 0 1 0 1 0 1 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 0
^
交 配 點 ( 隨 機 選 擇 ) 交 配 後 的 子 代 如 下
1 1 1 1 1 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 1 0 1 0 1 0 1 0 1
6. 從這一代族群中隨機選 2 個物種進行單位元(one bit)的基因突變。
突 變 前
1 1 1 1 1 0 0 0 0 1 0 1 0 1 0 1 0 1 0 0 0 0 1 1 1 1 0 0 0 0 0 0
^
突 變 位 元 ( 隨 機 選 擇 )
突 變 後
1 1 1 1 1 0 1 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 1 1 1 1 0 0 0 0 0 0
7.記錄這一代的最佳物種其基因組合,即(X,Y, DX, DY)值。
8.重複(3)到(7)步驟進行繁衍 100 代後,得到 演化後的最佳(X, Y, DX, DY)值。
3.3 小波轉換之演算法
小波轉換能轉換以空間-頻率為主的影像,提 供比傳統傅立葉(Fourier)轉換更強而有力的訊號 處理功能,小波轉換在不同頻率內可採用不同的處 理長度,即處理長度因頻率增加而縮短,因此能有 效偵測非穩態訊號。其數學表示如下:
z
j k z
c j k
jkt
t
f ( ) ( , )
,( )
(6)其中
j,k( t ),
m,n( t ) 0 , j k , m n ))
( ), ( ( ) ,
( j k f t , t
c
jk(3-5
) (t
f
為原始訊號,c ( k j , )
為係數矩陣,為小波轉 換第j
層頻率於k
位置之函數(Wavelet Function),就正交 wavelet 變換而言,任意二不同基底函數內 積必為 0。因此係數
c ( k j , )
為原始訊號與基底之內積 (Inner Product)所得之值,而由 Mallat (1989)發展出 小波轉換之快速演算法。Mallat 之演算法乃利用低 頻濾波器與高頻濾波器(由基底轉換所得),將訊號 分解成低頻與高頻號,固定基底的長度,分解至下 一層僅保留訊號之偶數點(Down-sampling),即每 分解一次訊號的長度會減少一半。二維小波轉換訊號分解圖如圖 9 所示,其中 cA 表示低頻之 wavelet 係數(Wavelet Coefficient),
數字表示分解層數,cH、cV、cD 分別代表水平 (Horizontal)、垂直(Vertical)、對角(Diagonal)之高頻 小波訊號。二維小波轉換之分解流程圖如圖 10 所 示其中:
Lo_D:代表分解時之低頻(Low)濾波器。
Hi_D:代表分解時之高頻(High)濾波器。
rows:代表對輸入訊號之列訊號。
columns:代表對輸入訊號之行訊號。
2↓1:表示保留影像之偶數行。
1↓2:表示保留影像之偶數列。
3.4 共生矩陣
影像物體的紋理就是物體表面灰度變化內容 的表徵,紋理分析可以用灰度或灰度梯度在一定空 間位置條件的統計特性來表徵。而共生矩陣的產生 方式就是統計影像空間內,每一個像素在符合預先 設定的條件下,出現相同灰階值的次數;所以共生 矩陣是以機率來模擬紋理(Texture),而紋理是相鄰 像素的灰階相關性的表現。因此,同樣幾何位置的 灰度相關性,就可以以這一對對像點出現某種灰階 的條件機率來表徵,可以定量地描述紋理。
假設有一幅大小為
N N
的影像I ( j i , )
,其灰階 範圍為G
(即像素灰階值分佈為 0 到G 1
)。並引進 兩個參數d
、θ,d
為兩個像素點間的距離,θ為 兩像素點間相對的角度關係,其角度共有八種 0
為水平;
45
為右對角; 90
為垂直; 135
為 左對角;並得到新的矩陣M
稱之為共生矩陣,其 矩 陣 大 小 為G G
, 最 後 將 矩 陣M
正 規 化(Normalize)將所有元素和為 1,所得之新矩陣
P
如下列式所示:0
0 R
H( d ) : k m 0 , l n d 45
0 R
RD( d ) : ( k m d , l n d ) or ( k m d , l n d ) 90
0 R
V( d ) : k m d , l n 0
135
0 R
LD( d ) : ( k m d , l n d ) or ( k m d , l n d )
R d f k l i f m n j
d j i
M ( , , , 0
)
H( ), ( , ) , ( , )
(7) R d f k l i f m n j
d j i
M ( , , , 45
)
RD( ), ( , ) , ( , )
R d f k l i f m n j
d j i
M ( , , , 90
)
V( ), ( , ) , ( , )
R d f k l i f m n j
d j i
M ( , , , 135
)
LD( ), ( , ) , ( , )
矩陣符號 表示所有條件之總和,共生矩陣
M
是p 、 q 、 d 、
四參數的函數。在求取紋理特徵之 前,將共生矩陣M
所有值做正規化處理,正規化後之共生矩陣
C
ij,可以下示表示:
N
i N
j ij ij ij
M C M
0 0
(8) 本計畫利用 Haralick 等人所提出紋理特徵的 特徵因子[1]; 選用其中四個特徵因子用於所算出 之 co-occurrence matrices 中,來代表影像的特徵。
假設正規化後的矩陣為
C
ij,則此這四個特徵因子表 示如下:1. 角二次矩(Angular second moment)
1
0 1
0 2 1
n
i n
j
p
ij
(9)2. 熵(Entropy)
1
0 1
0
4
log( )n
i
ij n
j
ij
p
p
(10)3. 對比(Contrast)
1
0 1
0
2 2
n
i n
j
p
ijj
i
(11)4. 相關值(Correlation)
1
0 1
0 3
1 1
n
i n
j x y
ij y
x
p
(12)
3.5 學 習 向 量 量 化 網 路 ( Learning Vector Quantization Networks, LVQ)
Learning Vector Quantization Networks (LVQ)[13]是由一群具右 M 維輸入向量的訓練範例 可視為一個 M 維空間中的一群樣本點,而且一個 分類其樣本點可能散佈成數群,各有各的形心,其 藉著樣本點來估計各分類的各群形心座標,學習過 程相當於樣本空間中尋找群的形心座標,並正確的 對應到所屬的類別中。訓練完成後,即可利用各群 的形心位置,正確的分類動作,而學習向量量化網 路的基本原理很簡單,也相當直覺,其演算邏輯如 圖 11 所示,它下列包含五條規則:
1. 優勝單元(Winner)
學習過程中,與訓練範例輸入向量最接近之隱
藏層處理單元稱為優勝單元以公式表示如下:
) ( ) ( min )
( )
(
* hh h
X c X c
c X c
X
(13)則第
h
個隱藏層處理單元為優勝單元) ( ) ( )
( c X c X c
X
h
與X ( c
h)
歐氏距離平方)]
( ) ( [ )]
( ) (
[ X c X c
h T X c X c
h
i
h i
i
c X c
X
( ) ( )]2
[ (14)
2. 吸引作用
學習過程中,如果優勝單元的分類與該訓練範 例的目標分類(目標輸出向量)相同時,則優勝單元 所對應的向量(形心)會向該訓練範例的輸入向量 移動。
)
1 (
W xh
ih X W xh
ih (15) 3. 排斥作用(Repulsion)學習過程中,如果優勝單元的分類與該訓練範 例的目標分類不同,則優勝單元所對應的向量(形 心)會向該訓練範例反方向移動。
)
2 (
W xh
ih X W xh
ih (16) 4. 移動收斂在學習過程中,逐漸縮小學習速率,最後優勝 單元將會移動到所屬分類的訓練範例群之一,且接 近該群的形心。以公式表示如下:
_
1
n
n
rate
(17)5. 回想過程
在回想過程中,與測試範例輸入向量最接近之 隱藏層處理單元稱為優勝單元以公式表示如下:
如果
( ) ( ) min ( ) (
h)
h h
X c X c
c X c
X
則第
h
個隱藏層處理單元為優勝單元。3.6 Hough 轉換
印花織物的圖案是以重複圖案按二方連續或
四方連續複製於織物表面上,故只要在水平及垂直 方向上即可找出圖案元件中心點的排列結構。
Hough 轉換法是由 Hough(1962)所提出的,此技巧 可用於搜尋影像中的直線、橢圓及不規則幾何圖 案。其原理如下[27-28]:
影像中的直線其極座標方程式可由公式(18) 來表示,在這裡
是影像中從線到原點的垂直距
離、是與 r
軸的夾角、r
與 c 是構成直線像素的 列與行座標,如圖 15 所示。藉由計算影像中的每 一個點其可能構成的直線其參數及,然後在
及所構成的空間上標示出此影像所有可能線的
) ,
(
,則可由其空間上所形成的累積尖峰判斷出 直線所在的位置,如圖 16 所示。
r cos c sin
(18) Hough 轉換法的演算流程主要包含三步驟:A.先設定好
及的增量,ΔρandΔθ。
B.代入影像中點的
r
與 c 的值,然後以公式(18) 計算每一個所對應的 。
C.記錄每一對
( 於 及的轉換空間上。 , )
如此於影像中構成相同直線的點,在及的
轉換空間於所對應直線的點( 上累積成突出 , )
的尖峰。所以只要於進行影像中所有點的 Hough 轉換,則可於及的轉換空間上找出所影像中點
的直線結構。四、結果與討論 第一年
圖 1 是利用 Epson Scanner 2400 Photo,以 150 dpi 的解析度,掃描尺寸大小為 1200×1200 像 素(pixels)的六色印花織物的樣布,取得 RGB 格式 的全彩數位影像。圖 2 是將 RGB 格式轉為 HSI 格式後以基因演算法捜尋出與圖 1 有著相同色彩 分佈的子影像,能代表印花織物的最小面積,稱之 為重複圖案,其尺寸是 1161×101 像素,此子影像 的面積是原影像的 8.14%。因圖 1 的彩色圖案是
連續圖案,此方法可搜尋出高度更小的子影像,為 了避免所搜尋出的影像太小導致影響分色的正確 性,所以將最小的子影像的寬與高都限制在 100 像素以上。圖 3 是第一次分裂演算的結果,其結 果是將圖 2 的影像分為兩個子區域,分別為區域 A
1
、區域 A2
,由黑色代表子區域 A1
,白色代表子 區域 A2
,由表格 1 可知這兩個子區域都需進行下 一步的分裂,因其色彩的同質性仍未達門檻值。圖 4 是將圖 3 的子區域 A1
再進行分裂演算的結果,黑色代表子區域 A
11
,白色代表子區域 A12
,經這 次的分裂已順利分出紅色與紫色的色條,而且由表 一可知這兩顏色群的色彩同質性都已超過門檻 值,故不用再進行分裂。圖 5 則是對圖 3 的子區 域 A2
再進行分裂演算的結果,黑色代表子區域 A21
,白色代表子區域 A22
,由表一可得知子區域 A21
這顏色群是屬於黃色的色條,這顏色群的色彩 同質性也超過門檻值所以也不用再進一步分裂。另 外子區域 A22
這顏色群的色彩的同質性未達門檻 值所以需要再進行分裂。圖 6 是對圖.的子區域 A22
再進行分裂的結果,子區域 A221
的色彩的同質性 未達門檻值所以仍需再進一步分裂,而子區域 A222
由於已超過色彩同質性準則的門檻值,所以此子區 域不用再進一步分裂,且由平均亮度值可知是代表 白色的顏色群。圖 7 是對圖 6 的子區域 A
221
進行 分裂演算的結果,由於這兩個子區域其色彩的同質 性都已超過門檻值所以不用再進一步分裂演算,而 黑色是子區域 A2211
,代表著綠色的色條;白色是 子區域 A2212
,代表著藍色的色條。整個分裂的過程如圖 8 所示,只需要進行五 次的二元分裂過程就可得出結果,總共所使用的時 間是 30 分鐘,相較之下相同的影像於我們之前的 非監督聚類法需耗費 8 小時。
第二年
本計畫共用 120 個訓練範例樣布及 60 個測試 範例樣布,所使用的布種類包括梭織布的平紋、斜
紋、緞紋等三類組織,還有針織布的單層針織、雙 層針織和不織布等的布種類。而樣布的大小是裁切 成 1 inch × 1 inch。
本年計畫的實驗流程圖如圖 12 所示。首先使 用 Canon 8400 解析度為 600 dpi,擷取織物影像 為 600×600 pixels. 接著用小波轉換的二層解析架 構,將影像分解成四個小影像,每個小影像是原影 像的十六分之一。而在紋理分析上,是以小波轉換 第二層中的低頻的子影像和對角的高頻的子影 像,先以像素距離為 1,方向為 0、90 度的條件求 出 共 生 矩 陣 , 然 後 分 別 算 出 Angular second moment、Entropy 、Homogeneity 、Contrast 等紋 理特徵值。最後在紋理的分類上,是利用 Learning Vector Quantization Networks 輸入紋理特徵值,先 進行訓練範例,然後再以測試範例進行這些織物的 布種分類,而分類目標的種類包括平紋、斜紋 、 緞紋、單層針織、雙層針織和不織布等六類。
如圖 13 所示為本計畫所要辨識分類的紋理 織物樣本,擷取的影像大小為 600x600 pixels,並 且轉換為灰階的影像。如圖 14 (a)所示是經過小波 轉換二層解析架構,而圖 14 (b)所示則是圖 14 (a) 右上角的四個小影像,每一個小影像為原影像的十 六分之一大小,以本計畫使用 Pentium 4 的電腦等 級來運算所擷取的影像,結果發現不經過小波轉換 直接使用共生矩陣運算所需時間高達 5 分鐘多但 是使用小波轉換卻只需要 9 秒,足足快了 33 倍,
因此取第二層小波轉換解析架構不但不會使影像 失真也可以縮短共生矩陣在對影像作運算的時 間,且在不同比例的影像並不會影響到辨識率。接 著由共生矩陣(圖素距離為 1,方向為 0、90 度)
算 出 Angular second moment 、 Entropy 、 Homogeneity 及 Contrast 等 16 個紋理特徵值。而 在類神經網路的設計上,是將這 16 個特徵值作為 LVQ 的輸入,而其輸出的單元有平紋、斜紋 、緞 紋、單層針織、雙層針織和不織布等 6 類,然後將
120 個訓練範例樣布於不同結構的 LVQ 經 5000 次 的學習後,然後再將 60 個測試範例樣布作為 LVQ 的測試並計算正確率,由表格 2。所示經過實驗的 測試,可知隱藏層處理單元為 120、學習速率為 0.2,移動速率為 0.95 時是最佳的網路結構參數,
分類正確率高達 95%。
第三年
本實驗是要建構完整的印花布影像分析系 統,包含分色、辨識重複圖案及黑圖製作。實驗的 材料是三色印花樣布,實驗的流程如圖 17 所示,
各個步驟的說明如下:
圖 18 是三色印花布經掃瞄器掃瞄後所得 RGB 影像再經轉換成的 HSI 數位影像,其尺寸大 小是 875×875 像素。圖 19 則是由基因演算法所搜 尋出與圖 18 有著相同色彩分佈的子影像,其尺寸 是 649×201 像素,此子影像的面積是原影像的 16.9%,如此可大幅降低後續分色演算法的計算時 間。圖 20(a)是圖 19 子影像的顏色分為兩子區域 A1 及 A2 的結果,可看出 A1 子區域已切割出圖 19 子影像中的紅色區域,且由表 4 可看出 A2 的色彩 統計值尚未超過色彩均勻度的閥值。所以圖 20 (b) 是圖 20 (a) A2 子區域的進一步分裂 A21 及 A22 兩子區域的結果,可看出這兩個子區域已切割出圖 19 子影像中的白色及藍黑色區域,且由
表格 3 可看出這兩個子區域的色彩統計值都 超過色彩均勻度的閥值,已不用再進一步分割。整 個子影像的二元區域分裂的過程,如圖 21 所示。
圖 22(a)是以圖 19 子影像的區域分裂結果所得 3 個子區域的色彩統計值當成聚類中心對圖 18 原 影像進行一次的 FCM 聚類演算法,再以不同的灰 階值標示出這 3 類顏色像素,就可得出的灰階多色 印花圖案。由於子影像的區域分裂已取得正確的顏 色數及顏色值,所以在大面積的印花影像上就可以 進行一次的 FCM 聚類演 算法來達成快速的分
色,所以能節省大量的運算時間。而圖 22 (b)是於 圖 22(a)的獨立圖案元件中選出最大的來當成模 板。圖 23(a)是圖 22(b)的模板於圖 22(a)的灰階多 色印花圖案上進行模板匹配的結果,其中越亮的點 代表著與模板的相似係數越高。圖 23(b)中的白色 點是以 0.9 為閥值由圖 23 (a)切割出來的,這些白 色點代表著與模板相同的圖案元件的中心點所 在,而黑線條是以 Hough 轉換法得出於水平及垂 直方向上連接這些白色點的直線所在,其中垂直線 的平均間隔是 213 像素,這代表重複圖案的長;而 水平線的平均間隔是 107 像素,這代表重複圖案的 寬。圖 24(a)是由圖 18 所切割出的單位重複彩色 影像,圖 24 (b) 是由圖 22 所切割出的矩行單位 重複印花圖案,這兩者的切割起始點都是由圖 23 (b)中第一條水平線與第一條垂直線交差所得的座 標點(168,56),而切割尺寸的長及寬是 213×107 像素。
由於印花布通常是將色彩印製於白色胚布 上,所以本研究這塊樣布所須要製版的是圖 22(a) 中的顏色類別 2 及顏色類別 3。圖 25(a)是於圖 24 (b)中切割出顏色類別 3 來形成單位重複黑圖,於 圖中黑色點就代表顏色類別 3 的像素。圖 25 (b) 是複製圖 25 (a)成為較大尺寸而可用於製版用的 影像。圖 26(a)是於圖 24 (b)中切割出顏色類別 2 來形成單位重複黑圖,於圖中黑色點就代表顏色 類別 2 的像素。圖 26 (b)是複製圖 26 (a)成為較大 尺寸而可用於製版用的影像。
由上述的結果可知,本實驗能達成印花布影像 的自動化分色、重複圖案切割及黑圖製作,可建立 成一個完整的印花布的自動化影像分析系統。本實 驗在分色上是延續上個實驗以聚類數為 2 的 FCM 的聚類演算法進行遞迴式的二元區域分裂法,而分 裂與否的準則是以 HSI 色彩空間所規劃出兩條包 含灰色區域與彩色區域的色彩均勻度判定準則。而 本實驗在相同圖案分佈的搜尋上是以模版匹配法
來進行,不但可以達到圖案元件的精確分類、對圖 案元件形狀變異的容忍度較高、也可區分出有旋轉 的圖案元件。
影像資料庫的建立與存取,本計劃所求取的影 像特徵值包函顏色、紋理及形狀,然後於相似性的 計算上是以這三種特徵值的歐基里德距離來衡 量,但因業界通常會將印花織物設計好的圖案套用 幾組色彩以生產不同彩色印花圖案的印花布,或者 將同樣的彩色圖案印製於不同的布類(梭織物、針 織物及不織布)上。所以本計畫在影像取回時,雖 然需同時考量顏色、紋理及圖案的特徵值,但這些 特徵值間的權重大小順序依序是圖案、顏色及紋 理,圖 27 所示。
六、結論 第一年
由實驗的結果可看出,第一年計畫的印花織物 自動化分色系統能成功地達到快速且精確的分色 效果。這是由於使用符合人眼 HSI 彩色格式做分 析,使得色彩的分色效果能配合人類的視覺。且我 們利用基因演算法搜尋出代替原印花織物影像的 重複圖案影像,因此能達成縮短分析時間的目的。
再以遞回式(recursive)區域分裂法的概念,利用 FCM 演算法達成自動化分割一區域為兩個子區 域,並以色彩同質性的測定自動化地判斷子區域是 否繼續分裂,將歸屬同一色彩的部分聚為一類,成 功地達成分色的目的。本研究可提升印花織物電腦 分色的能力達到完全自動化的程度,不需要以人工 方式進行修圖。此階段不但能分析出印花織物所用 的顏色數也可列出其顏色值,進而依顏色切割出圖 案元件影像以利後續的圖案辨識,甚至最後直接產 生印花製程所需的黑圖。另外影像的輸入裝置也可 運用掃描器以外的影像輸入裝置,如數位攝影機 等。如此將可大幅提升電腦視覺的能力於織物的分 析、辨識、製造、檢測與管理上。
第二年
本 計 畫 使 用 Learning Vector Quantization Networks 非常適用在織物紋理的分類上,由於是 利用小波轉換將織物影像分解成二層的解析架 構,不但影像的分析尺寸可縮小也縮短了紋理分析 與辨識的運算時間,因此本計畫的方法可達成快速 且正確地將不同組織型態的織物分類出來,可以克 服目前要以人工檢測所帶來不便和不客觀的判 斷。隨著電腦硬體的進步,未來以更大的分析面 積、更高的解析度、更快速的運算及更精細的分 類,將可提供更詳細的織物分類。
第三年
本計畫使用在重複圖案辨識的功能上,因需要 進行大面積彩色印花影像的分色,此時可利用上述 色彩分析所得到的顏色數及顏色值當成是聚類數 與聚類中心對大面積影像再進行一次的 FCM 演算 法計算就可迅速達成分色的目的,如此可以克服大 面積彩色影像進行冗長遞迴式計算的困難,而且因 為彩色印花影像中每一像素已被歸類則可以將每 一類的像素標以不同的灰色值以形成灰階影像方 便後續的圖案分析,這樣會比直接以彩色影像進行 重複圖案分析較容易且正確性可以提高。而在重複 圖案的切割上,因本研究是以模版匹配法定位出色 彩、形狀及角度都相同的圖案元件中心點的位置,
這方法的特點是直接以灰階影像進行模版匹配來 取代黑白影像的模版匹配,可簡化了模版匹配法的 流程,且這方法對圖案元件形狀變異的容忍度較 高,不但可以簡化圖案元件的分類與辨識上的困 難,而且可區分出有經過旋轉的圖案元件。最後 Hough 轉換用於得出連接這些相同圖案元件的中 心點的水平線及垂直線,如此可得出用於切割出單 位矩形重複圖案所需的座標點與長寬尺寸,這方法 的 特 性 是透 過 (+5 ° ~ -5 ° ) 及 (85 ° ~ 95 ° ) 直線 的 Hough 轉換,即使影像有些微傾斜或者有些元件的 中心點沒有被正確切割出來,也能得出連接相同圖
案元件的中心點的水平線及垂直線。 在黑圖製作 的功能上,本系統能依所要製作黑圖的顏色類別,
從矩形單位重複圖案中切割出相對應的單位重複 黑圖,再加以擴展成為較大尺寸而可用於製版用的 黑圖影像,並且透過求取的影像特徵值包函顏色、
紋理及形狀,然後於相似性的計算上是以這三種特 徵值的歐基里德距離來衡量,能從資料庫索引到所 需要的織物種類。
七、參考文獻
1 Kuo, C. F., Shih, C. Y., Kao, C. Y. and Lee, J.
Y., Color and Pattern Analysis for Printed Fabric by Unsupervised Clustering Method, Textile Res. J. 75(1), 9-12 (2005).
2 Haralick, R.M., Shanmugam, K., and Dinstein, I.,“Texturalfeaturesforimageclassification”, IEEE Trans. Systems Man and Cybernetics, Vol. 3, pp.610-621, 1973.
3 Huang, C. C., Liu, S. C., and Yu, W. H., Woven Fabric Analysis by Image Processing Part Ⅰ:
Identification of Weave Patterns, Textile Res. J.
70(6), 481-485 (2000).
4 Huang, C. C., Liu, S. C., and Yu, W. H., Woven Fabric Analysis by Image Processing Part Ⅱ:
Identification of Weave Patterns, Textile Res. J.
70(6), 481-485 (2001).
5 Jeon, B. S., Bae, j. H., and Suh, M. W., Automatic Recognition of Woven Fabric Patterns by an Artificical Neural Network, Textile Res. J. 73(7), 645-650 (2003).
6 Kang, T. J., Choi, S. H., and Kin, S. M., Automatic Recognition of Fabric Weave Patterns by Digital Image Analysis, Textile Res.
J. 69(2), 77-83(1999).
7 Lin J. J., Applying a Co-occurrence Matrix to
Automatic Inspection of Weaving Density for Woven Fabrics, Textile Res. J. 72(6), 486-490(2002).
8 林弘祺、張正東、李美惠 合譯,”使用影像 處理對布結構辨識方法之研究”,紡織中心期 刊,一卷一期,1991,PP.11-15。
9 Bugao, X., Identifying Fabric Structures with Fast Fourier Transform Techniques, Textile Res.
J. 66(8), 496-506 (1996).
10 Ravandi, S. A. H., and Toriumi, K., Fourier Transform Analysis of Plain Weave Fabric Appearance,Textile Res. J. 65(11), 676-683(1995).
11 Jensen, K. L., Carstensen, J. M., Fuzz and Pills Evalusted on Knitted Textiles by Image Analysis, Textile Res. J. 72(1), 34-38(2002).
12 Pourdeyhimi, B., Dent, R., and Davis, H., Measuring Fiber Orientation in Nonwovens Part Ⅲ :Fourier Transform, Textile Res. J.
67(2), 143-151(1997).
13 葉怡成 編著,“類神經網路模式應用與實作”, 儒林圖書公司, 1999.
14 Plataniotis, K. N., and Venetsanopoulos, A. N., Color Image Processing and Applications, Springer, New York, pp.239-246, 2000.
15 8. Liu, J., and Yang Y. H., “Multiresolution Color Image Segmentation,” IEEE Trans. Pattern Anal. Mach. Intell., Vol. 16, pp.689-700, 1994.
16 More, J. M. & Solimini, S., Variational Methods in Image Segmentation, Birkhäuser, Boston, pp. 21-34, 1995.
17 10.Gauch,J.,and Hsia,C.,“A Comparison of Three Color Image Segmentation Algorithms in FourColorSpaces,”VisualCommunications
and Image Processing, Vol. 1818, pp.
1168-1181, 1992.
18 11. Fan, J., Aref, W. G., Hacid, M. S., and Elmagarmid,A. K., “An improved automatic isotropic color edge detection technique,” Pattern Recognition Letters, Vol.22, pp.
1419-1429, 2001.
19 12. Lin, H. C., Wang, L. L., and Yang, S. N.,
“Extracting Periodicity of a Regular Texture Base on Autocorrelation Functions,” Pattern Recognition Letters, Vol. 18, pp. 433-443, 1997.
20 13. Russ, J., The Image Processing Handbook, second ed., CRC Press, 1995.
21 14. Zucker S. W., and Terzopoulos, D.,
“Finding Structure in Cooccurrence Matrices for Texture Analysis,”Proc,Int’lConf.Color in Graphics and Image Processing, Vol. 12, no.
3, pp. 286-308, 1980.
22 15. Liu, Y., Collins, R. T., and Tsin, Y., “A Computational Model for Periodic Pattern Perception Based on Frieze and Wallpaper Groups,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No.
3, 2004.
23 Plataniotis, K.N., Venetsanopoulos, A. N.,
“Color Image Processing and Applications,”Springer,New York,(2000). 24 Swain, M.J. and D.H. Ballard, Color indexing,
International Journal of Computer Vision, 7(1), 11-32, (1991).
25 Mitsuo Gen, Runwei Cheng, “Genetic Algorithms & Engineering Optimization,” Wiley-Interscience, New York, (2000).
26 周鵬程,遺傳演算法原理與應用,全華,台
北,2001。
27 Scott E Umbaugh, Computer Vision and Image Processing, Prentice Hall PTR, NJ, pp,75-79(1998).
28 吳成柯、戴善榮、程湘君及雲立實譯,數位 影像處理,儒林,台北,第 438-443 頁(2001)。
圖 1 RGB 格式的彩色數位原影像圖
圖 2 經基因演算法所捜尋出有著與圖 1 同顏 色分佈的子影像用於彩色分析的子影像
■ A
1子區域 □ A
2子區域
圖 3 由圖 2 像進行第一次分裂演算的二元 分色結果
■ A
11子區域 □ A
12子區域
圖 4 由 A1子區域進行分裂演算的二元分色 結果
■ A
21子區域 □ A
22子區域
圖 5 A2 子區域進行分裂演算的二元分色 結果
■ A
221子區域 □ A
222子區域
圖 6 A22 子區域進行分裂演算的二元分色 結果
■ A
2211子區域 □ A
2212子區域
圖 7 A221子區域進行分裂演算的二元分色 結果
圖 8 二元樹狀結構的分裂過程
表格 1 各個子區域的顏色統計值
子區域 M
HM
SM
IS
HS
SS
IA
16.021 0.711 0.392 0.287 0.198 0.132
A
22.674 0.134 0.831 1.575 0.270 0.151
A
116.229 0.852 0.295 0.016 0.104 0.043
A
125.669 0.490 0.548 0.150 0.074 0.062
A
210.739 0.914 0.547 0.041 0.109 0.049
A
222.876 0.053 0.861 1.520 0.098 0.125
A
2212.723 0.308 0.524 1.127 0.083 0.058
A
2222.892 0.026 0.897 1.555 0.048 0.061
A
22111.693 0.246 0.519 0.090 0.037 0.063
A
22123.950 0.382 0.531 0.021 0.056 0.050
N N
N/2 N/2 N/2 N/2
N/2 N/2 N/2
N/2
cA cH cV cD
圖 9 二維小波轉換訊號分解圖
輸入影像
Lo_D
Hi_D
Lo_D
Lo_D Hi_D
Hi_D 2↓1
2↓1 rows
columns columns
1↓2
1↓2
1↓2
1↓2 rows
cA
cH
cV
cD (Horizontal)
(Vertical)
(Diagonal)
圖 10 二維小波轉換之分解流程圖
訓練範例 目標參數
計算優勝單元
優勝單元分類
排斥作用 吸引作用
訓練結束
分類錯誤 分類正確
圖 11 學習向量量化網路演算邏輯
Image Input
Two-Dimensional Wavelet Transform
Co-occurrence Matrix
ASM
Learning Vector Quantization Network
ENT HOM CON
Determination of txture image types
圖 12 實驗流程圖
圖 13 (a)平紋 (b)斜紋 (c)緞紋
(d)單層針織 (e)雙層針織(f)不織布
(a) (b)
圖 14 (a) 使用二層小波轉換的平紋組織 (b) 二層小波轉換的子影像
表格 2 各種網路參數結構之辨識正確率
隱藏 層 學習 速率
6 18 30 60 90 120
0.1 51.67% 60.00% 63.33% 78.33% 86.66% 93.33%
0.2 51.67% 55.00% 61.67% 80.00% 88.33% 95.00%
0.3 53.33% 53.33% 71.67% 76.67% 86.66% 91.66%
0.4 50.00% 56.67% 66.67% 75.00% 85.00% 90.00%
0.5 53.33% 56.67% 66.67% 75.00% 83.33% 88.33%
0.6 51.67% 58.33% 65.00% 78.33% 85.00% 91.66%
圖 15 直線的極座標公式示意圖
圖 16ρ 及 θ 的轉換空間
圖 17 實驗流程圖
圖 18 印花樣布的 HSI 影像
圖 19 與圖 4 有相同顏色分佈的子影像
圖 20 (a)圖 4 的二元區域分裂 (b)圖 6(a)的 A2 子區域的二元區域分裂結果
圖 21 分裂過程的二元結構樹
圖 22 (a)圖 4-19 的灰階多色印花圖案(b)模版
圖 23 模版匹配的影像 (b) 連接切割點的水 平及垂直線影像
圖 24 (a)圖 4 的單位重複影像 (b)圖 8 的單位 重複圖案
圖 25 (a)顏色類別 3 的單位重複黑圖 (b)放大 5 倍後的黑圖
圖 26 (a)顏色類別 2 的單位重複黑圖 (b)放大 5 倍後的黑圖
表格 3 每個子區域的統計值
圖 27 影像索引流程