應用數位影像處理於複雜紋理織物之瑕疵檢測研究(I)

行政院國家科學委員會專題研究計畫 成果報告

應用數位影像處理於複雜紋理織物之瑕疵檢測研究(I)

計畫類別： 個別型計畫

計畫編號： NSC91-2213-E-011-082-

執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立臺灣科技大學高分子工程系

計畫主持人： 邱士軒

計畫參與人員： 呂全斌、葉彥廷、張文棟

報告類型： 精簡報告

處理方式： 本計畫可公開查詢

中 華 民 國 92 年 10 月 2 日

行政院國家科學委員會補助專題研究計畫

R

□期中進度報告

應用數位影像處理於複雜紋理織物之瑕疵檢測研究 (I)

計畫類別：

R

計畫編號：NSC 91-2213-E-011-082

執行期間：91 年 8 月 1 日至 92 年 7 月 31 日

計畫主持人：邱士軒 教授 共同主持人：彭勝宏 博士

計畫參與人員：呂全斌、葉彥廷、張文棟

成果報告類型(依經費核定清單規定繳交)：

R

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

□出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究 計畫、列管計畫及下列情形者外，得立即公開查詢 □涉及專利或其他智慧財產權，□一年□二年後可公開查詢

執行單位：國立台灣科技大學 高分子工程系

中 華 民 國 92 年 9 月 30 日

中文摘要

工業自動化品質管制的應用範疇中，以電腦代替人工，能夠有效地提高效率及降 低成本。表面瑕疵特徵的自動檢測上，從背景中分離出瑕疵是很重要的課題。對 複雜紋理進行瑕疵檢測仍然是一個很難處理的問題。本計畫針對如織物般複雜紋 理的影像，進行瑕疵檢測方法之研究。我們使用小波轉換以及共生矩陣找出紋理 的特徵，並且用來定位出瑕疵的位置。從我們的實驗結果來看，這樣的方法可以 準確的分離出有瑕疵的織物並將其瑕疵位置給檢測出來。

Abstr act

In application of automatic quality control can be enhanced efficiency and decreased cost by computer interchanges human work. In the automatic inspection of texture surface defects, the most important technology is to segment the defects from the background. Defect segmentation of complicated textures is a challenging problem in automatic inspection. This study researches the methods that segments defects from the complicated texture such as the fabric image. In this project, we use wavelet transform (WT) and the co-occurrence matrices to extract features of texture images, and apply them to locate the defects on textile fabrics. From experimental results, our method is effective to detect and locate the defects from the fabric image.

報告內容 前言

紋理分析早在三十年前就有人提出，而對於自動化檢測的應用上，Chetverikov 提出一些關於瑕疵特徵檢測的看法，且對於瑕疵分析方法進行分類討論[1]。近 幾年來，小波轉換已被廣泛地應用在許多方面上，如影像放大、影像壓縮、紋理 分割… … 等等。它可將影像直接作轉換，並可將訊號做很細膩的頻帶分割，保留 我們所需要的資訊[2,5,6,7,8,9,10,11]。其優點包括：小波轉換具有時間域與頻率 域局部性處理的能力，對於小區域之瑕疵能有效的凸顯出來；小波轉換不會變動 影像的相對位置，能夠保留紋理與瑕疵的空間關係與影像大小；小波轉換處理速 度快，不須事先經過繁複的數學運算。許多針對小波轉換所提出的改善方法也被 提出來[11,12,13,14,15,16]，充份展現小波轉換的廣泛應用。有了這些特性，我們 決定使用小波轉換來作為我們影像瑕疵的分割。另外，在共生距陣的應用上也甚 為廣泛[3,4,17]。在此我們並應用共生矩陣做為粗略的瑕疵判斷，因為它是一個

最直覺的方法，並很容易的表現出紋理本身的特徵。

方法描述

小波轉換

給定一個二維平方可積分的函數 f(x,y)∈L²(R²)，如果有一個二維的多層解析近 似子空間V₂j，設φ(x)和ψ(x)分別為尺度函數及小波函數，在每一個V₂j空間均 可分離成兩個一維多層次解析近似V₂j之張量積(tensor product)：

1 1 2j V₂j V₂j

V = ⊗ (1)

其中的V₂j為一個L²(R²)空間下的二維近似區域， ¹

2 j

V 為一個L²(R)空間下的一維 近似區域。則尺度函數可寫為：

) ( ) ( )

(x =φ xφ y

Φ (2)

且小波函數為：

) ( ) ( ) ,

1(

y x y

x =φ ψ Ψ

) ( ) ( ) ,

2(

y x y

x =ψ φ Ψ

) ( ) ( ) ,

3(

y x y

x =ψ ψ

Ψ (3)

則二維影像小波分解如下：

( ) ( )

(

)

2 ( , )* ( ) ( ) 2 ,2

Z m n j j

d f f x y x y n m

Aj j j

∈

−

− −

−

= φ φ

( ) ( )

(

)

1

2 ( , )* ( ) ( ) 2 ,2

Z m n j

jn m

y x

y x f f

D j j j

∈

−

− −

−

= φ ψ

( ) ( )

(

)

2

2 ( , )* ( ) ( ) 2 ,2

Z m n j

jn m

y x

y x f f

D j j j

∈

−

− −

−

= ψ φ

( ) ( )

(

)

3

2 ( , )* ( ) ( ) 2 ,2

Z m n j

jn m

y x

y x f f

D j j j

∈

−

− −

−

= ψ ψ (4)

上式中D j f

3

2 為顯示對角線之邊緣影像；D j f

2

2 為顯示之垂直邊緣影像；D j f

1

2 為

顯示水平之邊緣影像；以及A2^dj 1⁺ f 為近似影像，如圖(1)所示。

f A2^dj⁺1

H~ G~

1 2 ↓

1 2 ↓

G^~

G~ H^~

H~

2 1↓

2 1↓

2 1↓

2 1↓

f D j

3 2

f D j

2 2

f

D j

1 2

f A2j

X

2 1↓

1 2 ↓

: convolve with filter X

: keep one row out of two

: keep one column out of two row

column

圖 1：二維影像的小波分解流程圖

共生距陣

有一N×N大小的影像 I，其灰階度為 L。並引進兩個參數，d,θ，其中 d 為兩個 像素點間的距離，θ 為兩像素點間相對的角度關係。角度共有八種θ =0^。為水平；

θ =45^。為右對角；θ =90^。為為垂直；θ =135^。為左對角；θ =180^。、225^。、270^。、 315^。與前四個角度互為轉置，為了避免運算上的複雜，只需取前四個角度作運 算，如圖(2)所示。並得到新的矩陣 M 稱之為共生矩陣，其矩陣大小為 LxL，最 後將矩陣 M 正規化（normalize）將所有元素和為 1，所得之新矩陣 P。

圖 2：引進之角度參數示意圖

由於共生矩陣是透過位置與角度的關係所定義而得，於是相同的影像在不同的位 置與角度下，所得到的共生矩陣亦有所不同，所以選擇適當的位置與角度關係，

將更能強調出影像的特徵。四種角度的對應關係如式(5)，共生矩陣的表示式如 式(6)：

0o

θ = ^RH

( )

45o

θ = R_RD(d):(k−m=d,l−n=−d)或(k−m=−d,l−n=d) 90o

θ = R_V(d): k−m =d,l−n=0 135o

θ = R_LD(d):(k−m=d,l−n=d)或(k−m=−d,l−n=−d) (5) 其中的(k,l)和(m,n)為我們所假設的兩個像素點。d 為所取的距離。下標 H 為水 平線的方向； RD為右對角線的方向；V 為垂直線的方向以及 LD 為左對角線的 方向。

} ) , ( , ) , ( ), ( { ) 0 , , ,

(i j d R d f k l i f m n j

M ^o = _H = =

} ) , ( , ) , ( ), ( { ) 45 , , ,

(i j d R d f k l i f m n j

M ^o = _RD = =

} ) , ( , ) , ( ), ( { ) 90 , , ,

(i j d R d f k l i f m n j

M ^o = _V = =

} ) , ( , ) , ( ), ( { ) 135 , , ,

(i j d R d f k l i f mn j

M ^o = _LD = = (6)

M 為四個參數的函數。其所構成的矩陣我們稱之為共生矩陣，M。 f(k,l)和 )

, (m n

f 所代表的是在(k,l)和(m,n)位置的灰階度值。最後將矩陣 M 正規化後即 可得到所要之矩陣 P。

特徵計算

本計畫從中選用最常用的二個特徵因子用於之前所算出共生矩陣中，來代表這張影像 的特徵。假設正規化後的矩陣為P，則可將這二個特徵因子表示如下：

1)熵（Entropy）

∑∑

−

=

i j

ij

ENT PijlogP (7)

熵的值愈高代表紋理愈複雜。當矩陣中的元素均勻分布在各個處，其特徵值最 小；若所有元素都聚集在某一個區域時，其特徵值會最大。

2)對比（Contrast）

∑∑ ( )

=

i j

j ij

i

CON ²P (8)

計算出影像的對比及影像在區域內變化的量。若矩陣中較大元素大多集中在對角 線附近時，此特徵值將會較小。

執行步驟

首先，我們取數張沒有瑕疵的織布影像對它們做共生矩陣計算其特徵值，建立各 影像的可信區間。然後依照這可信區間的值，對所有輸入的影像作判斷。待測之 織物影像輸入後，經過小波轉換及共生矩陣的計算後，得到特徵值，比對特徵值 是否落於可信區間之內：若特徵值落於可信區間之內，則為無瑕疵影像，繼續比 對下一張輸入影像；反之，特徵值不落於可信區間之內，則為有瑕疵影像，則繼 續進行瑕疵檢出工作。瑕疵檢出方法是利用將小波轉換所得到的高頻帶融合，得 到邊緣的資訊，再藉由區域同質性計算，得到瑕疵部份與背景部份分離，再經由 二值化而得到瑕疵位置。檢測方法的流程圖如圖(3)所示。

邊緣融合

主要目的是為了將小波轉換後，影像本身的瑕疵給凸顯出來，而此方法並不會破 壞影像本身的相對位置。將小波轉換後的 3 個細節影像，融合為一張影像。其公 式如下：

( ) ^{x y} { ^f

^f

} { [ ^f

^f

] }

O

= + − ×

其中

( ) [ ] [

( )

]

[

( )

]

y D x

f _{k k}

k k

i max , min ,

) , ( min ) , , (

1 1

1 1

2 2

2 2

−

= − (10)

其中^{O ,}

( )

圖(3)檢測流程圖

同質性

首先定義出一個相互關係之間因子[17]：

) 1 (

lim ) (

1 ,

2 i j

N

j i

j

N i X X

C N r r

−

− Θ

=

∑

≠=

∞

→ ε

ε ⁽¹¹⁾

其中 N 代表為總共的像素點數；Θ(x)所表示的是步階函數：Xr_i

所代表的是 )]

, ( , ,

[x y f x y ，i=1,2,...N；Xv_i Xv_j

− 為兩個向量間的距離。我們接著定義出粗

糙度指標^R

( )

∑

= ^u C m n n

m R

ε ε

ε

1

2( , , )

) ,

( (12)

其中(m,n)為所要處理區塊點的起始位置。當粗糙度指標的值越高時，表示影像 越平滑，反之則粗糙。第二個指標為一致性的指標V ，定義如下：

∑∑

=

m n

M n m Q R

V 1 [ ( , ) ]²

(13)

其中 ⁼

∑∑

m n

n m Q R

M 1 ( , )

(14)

Q 為分割區塊的總數。當一致性的指標越小時，則表示此影像呈現一致性，表示 這張為同質性相同的影像。我們將^R

( )

實驗及結果

如圖(4)所示為二張實驗的樣本，其中最左邊(a)為原始的影像；(b)為邊緣融合的 結果；(c)為同質性計算的結果；(d)則為瑕疵檢測結果(白色為瑕疵所在位置)。

(a) (b) (c) (d)

圖(4)織布的瑕疵檢測結果

(a) (b) (c) 圖(5) 旋轉樣本後的檢測結果

為了試驗本方法的各種適用性，我們針對原來的樣本做了若干個的幾合變化。首 先對樣本進行旋轉 45 度，如圖(5)中所示，其中最左邊(a)為旋轉後的影像；(b) 為邊緣融合的結果；(c)為同質計算的結果。可以發現，經過同質化的計算後，

瑕疵位置已經能夠被突顯出來。

另外，我們針對影像的尺寸變化做實驗。如圖(6)所示，我們將原來取到的樣本 影像放大，其中最左邊(a)為放大後的影像；(b)為最後做同質計算後的結果。從 結果中不難發現，本方法對於大尺寸的影像，仍可以有效的運作。

(a) (b) 圖(6)尺寸放大後的檢測結果

結論

本計畫利用小波轉換及共生矩陣方法，成功地將複雜紋理織物影像中的瑕疵給分 離出來。實驗中我們對樣本進行旋轉、放大、縮小等幾合變化以模擬不同攝像方 式，然而本研究之方法不受這些變化之影響，仍能夠檢測得到瑕疵。

參考文獻

1. Chetverikov, D., “Texture imperfections”, Pattern Recognition Letters, Vol.6, No.1, pp.45-50 (1987).

2. Amet, A. L., Ertüzün, A. and Ercil, A., “Texture Defect Detection using domain co-occurrence matrix,” Image Analysis and Interpretation, IEEE Southwest Symposium, pp.205-210(1998).

3. Haralick, R.M., Shanmugam, K. and Dinstein, I., “Textural features for image classification,” IEEE Trans. Systems Man and Cybernetics, Vol. 3, pp.610-621 (1973)

4. Don, H. S., Fu, K. S., Liu, C. R. and Lin, W. C., “Metal surface inspection using image processing techniques”, IEEE Trans. System, Man, and Cybernetic, Vol. 3,1, pp.139-146 (1984)

5. Xavie, D. and Marc, S., “Estimating Gaussian Markov Filed Parameters in a Nonstationary Framework：Application to Remote Sensing Imaging”, IEEE Trans. on Image Processing, Vol. 8,4, pp490-503 (1999)

6. Paget, R. and Longstaff, I. D., “Texture Synthesis via a Noncausal

Nonparametric Multiscale Markov Random Filed”, IEEE Trans. on Image Processing, Vol. 7,6, pp.925-931 (1998)

7. Choi, H. and Richard, B., “Multi-scale texture segmentation using

wavelet-domain hidden Markov Models”, Proceedings of the 1998 32^nd Asilomar Conference on Signals, Systems & Computers, Part 2(of 2), pp1692-1697 (1998).

8. Papageorgiou, C. P. and Michael, O. and Tomaso, P., “General framework for object detection”, Proceedings of the 1998 IEEE 6^th International Conference on Computer Vision Conference Location: Bombay, India Conference Date: 199801, pp555-562 (1998).

9. Mallat, S. G. “A Theory for Multiresolution Signal Decomposition：The Wavelet Representation”, IEEE Trans. on Pattern Analysis and Machine Intelligence. Vol. 11,7, pp.674-693 (1989)

10. Zhang, J., Wang, D. and Tran, Q. N., “A Wavelet-Based Multiresolution Statistical Model for Texture”, IEEE Trans. on Image Processing, Vol. 7,11, pp.1621-1627 (1998)

11. Mallat, S. G., “A Theory for Multiresolution Signal Decomposition: The Wavelet Representation.” IEEE Trans. Pattern analysis and machine intelligence, pp.674-693 (1989)

12. Ahang, J. and Shunichiro, O., “Texture image segmentation method based on wavelet transform and neural”, Proceedings of the 1998 IEEE

International Conference on Systems, Man, and Cybernetics. Part 5(of 5), pp.4595-4600 (1998).

13. Chang, T. and Kuo, C. C., “A Wavelet Transform approach for hierarchical texture segmentation “, Signal System and Computers”, Vol. 2, pp.816-820 (1992)

14. Sari-Sarraf, H. and D. Brzakovic, “A Shift-Invariant Discrete Wavelet Transform”, IEEE Trans. on Signal Processing, Vol. 45,10, pp2621-2626 (1997)

15. Warren, J. J., Stephen, J. G. and Potlapalli, H., “Texture characterization and defect detection using adaptive wavelets”, Optical Engineering,

Vol.35,No.11, pp3140-3149 (1996)

16. Lee, C. S., Choi, C. H., Choi, J. Y., Kim, Y. K. and Choi, S. H., ”Feature extraction algorithm based on adaptive wavelet packet for surface Defect classification”, Image Processing, 1996. Proceedings., International Conference on Vol. 1, pp.673-675 (1996)

17. Sari-Sarraf, H. and James, S. J., “Robust defect segmentation in woven fabrics”, Proceedings of the 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.938-944 (1998.)

計畫成果自評

本計畫依照原計畫內容之想法，逐步完成計畫之工作。我們成功 地利用了小波轉換及共生矩陣來對複雜紋理之織物影像進行瑕 疵檢測。檢測的過程中我們首先利用特徵值來區別是否有瑕疵的 存在，當瑕疵存在後，我們再利用小波轉換後的頻帶，進行邊緣 融合及同質性之計算，最後可將瑕疵所在位置給區隔出來。

本計畫成功地將複雜紋理中的瑕疵給分離出來，並使用擁有複雜 紋理的織物影像做實驗。從實驗的結果得知，本計畫達到預期目 標，成功的將瑕疵從複雜紋理中給檢測出來，同時並不受到攝影 機架設(旋轉、放大、縮小)的影響。

本計畫針對複雜紋理中的瑕疵，提出了一個一般性的檢測方法。

未來在應用方面，並不一定只能局限於織物影像之檢測，舉凡複 雜紋理之材料，如木頭、石材或其他材料之表面，皆可應用。

可供推廣之研發成果資料表

□ 可申請專利 R 可技術移轉 日期：92 年 9 月 30 日

國科會補助計畫

計畫名稱：應用數位影像處理於複雜紋理織物之瑕疵檢測研究(I) 計畫主持人：邱士軒 教授

計畫編號：NSC 91-2213-E-011-082學門領域：工業工程與管理

技術/創作名稱 複雜紋理之瑕疵檢測方法

發明人/創作人 ^邱士軒

中文：

我們針對如織物般複雜紋理的影像，進行瑕疵檢測方法之研究。我 們將小波轉換以及共生矩陣找出紋理的特徵，並且用來定位出瑕疵 的位置。

（100~500 字）

技術說明 英文：

This study researches the methods that segments defects from the complicated texture such as the fabric image. In this project, we use wavelet transform (WT) and the co-occurrence matrices to extract features of texture images, and apply them to locate the defects on textile fabrics.

可利用之產業 及 可開發之產品

紡織品管或其他複雜紋理材理之自動化瑕疵檢測。

技術特點

對於複雜紋理中的瑕疵有檢測及定位效果，而且方法不受大小、旋 轉等幾何變化影響。

推廣及運用的價值

可應用於複雜紋理之自動化檢測系統。

1.每項研發成果請填寫一式二份，一份隨成果報告送繳本會，一份送 貴 單位研發成果推廣單位（如技術移轉中心）。

2.本項研發成果若尚未申請專利，請勿揭露可申請專利之主要內容。

3.本表若不敷使用，請自行影印使用。