行政院國家科學委員會補助專題研究計畫 █ 成 果 報 告
□期中進度報告 薄膜電晶體液晶顯示器快速瑕疵檢測系統開發與研製
計畫類別：▓ 個別型計畫 □ 整合型計畫 計畫編號：NSC-97-2622-E-011-001-CC3
執行期間：97 年 08 月 01 日至 98 年 07 月 31 日
計畫主持人：郭中豐教授
計畫參與人員：邱錦勳 彭楷慶
成果報告類型(依經費核定清單規定繳交)：□精簡報告 ■完整報告
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、
列管計畫及下列情形者外，得立即公開查詢
□涉及專利或其他智慧財產權，□一年□二年後可公開查詢 執行單位：國立台灣科技大學 自動化及控制研究所
中 華 民 國 9 8 年 1 0 月 1 6 日
中文摘要
本計畫應用自動化光學檢測於薄膜電晶體液晶顯示器(Thin Film Transistor-Liquid Crystal Display，TFT-LCD)快速瑕疵檢測系統開發與研製，含括系統標記自動定位系統及瑕 疵辨識系統。系統標記自動定位使用模板比對(matching by correlation)的方式定位電晶體基 板上的十字標示，並提出新的平均化模板(template)製作方式和門檻值決定方式，將定位精 度提升到次像素定位的能力。瑕疵辨識系統整合雜訊去除、影像增強、影像分割及瑕疵影 像分析，並運用貝氏分類器(Bayes Classifier)做瑕疵的分類結果，過程中，利用 Sobel 運算 法及輪廓分布圖來做邊緣的檢測，藉此方法加強瑕疵檢測的準確率。根據分類結果，經過 自行設計的檢測系統驗證 213 組瑕疵影像，貝氏分類器總辨識率達 95.8%，驗證所設計的 方法適合於 TFT-LCD 邊緣瑕疵的檢測系統。
關鍵詞：模板比對，平均化模板，貝氏分類器。
Abstract
This project aims to integrate automatic optical inspection with Thin Film Transistor-Liquid Crystal Display (TFT-LCD) to research and develop a rapid defect detection system, including automatic system mark positioning system and defect identification system. Automatic system mark positioning is based on matching by correlation theory to locate the cross mark. In this theory we propose a new way to built up an average pattern and a new threshold selector function.
These two approaches can improve the accuracy of the positioning. Defect identification system integrates noise elimination, image enhancement, image segment, and defect image analysis.
Next, we used Bayes classifier to classify defects. In the process, we used Sobel algorithm and profile distribution to make edge inspection. This method enhanced the accuracy of the rate of defect inspection. According to our classification results, the automatic optical inspection system investigated 213 groups of the defect image by self-developed inspection system. The Bayes classifier total distinguish rates are 95.8%. Therefore, those rates indicated that this study had successfully developed a set of defect inspection system applicable to the defects on TFT-LCD edges.
Keywords: Matching by Correlation, Template, Bayes Classifier.
目 錄
中文摘要...I Abstract ...I 目 錄... II
第 1 章 緒論... 1
第 2 章 文獻探討... 2
第 3 章 研究方法... 3
3.1 模板比對方法... 3
3.2 連續使用相關係數法製作平均化模板... 3
3.3 改良式對比伸長強化法... 4
3.4 索貝爾運算子... 8
3.5 自動門檻值決定法... 8
3.6 瑕疵特徵值擷取... 10
3.7 貝氏分類器... 12
第 4 章 結果與討論... 14
4.1 系統標記自動定位... 14
4.2 瑕疵辨識系統... 16
第 5 章 結論... 19
第 6 章 參考文獻... 20
行政院國家科學委員會專題研究計畫成果自評表... 22
可供推廣之研發成果資料表... 23
第1章 緒論
薄膜電晶體液晶顯示器(thin film transistor-liquid crystal display, TFT-LCD)的液晶胞製 程(liquid crystal cell process)中會對薄膜電晶體基板(thin film transistor glass substrate)的部分 範圍進行磨邊，以利後續製程的安裝測試。但由於電晶體基板的邊緣距離含有電線之端子 部(terminal)很近，又因為電晶體基板是由很薄的玻璃製成，所以在研磨邊緣的過程往往會 造成邊緣的破碎。這些破碎結構如果碰觸電路部分，則將會造成液晶面板需要進行修復或 是銷毀的過程，主要是因為電線直接關係到液晶面板是否能夠正常運作。另一種瑕疵為邊 緣玻璃毛邊，毛邊也是玻璃切割不良所造成的，過大的毛邊會對後續製程造成損害，也不 利於後續安裝的工作。所以當有過大的玻璃毛邊出現時，必須取出液晶面板，並對邊緣的 部分再次加工。因此本計畫主要針對液晶面板邊緣部分進行檢驗，以確保後段製程之正常 運作。
液晶顯示器之顯示面板邊緣包含有薄膜電晶體基板之上、下磨邊，電晶體基板是由三 層玻璃結構所構成，層層相疊，如圖 1 所示。本計畫使用相關係數法的方式配合模板，自 動定位面板之十字標示，並且提出連續使用相關係數法的方式製作模板，和配合使用相關 係數法之最大內積值平均位置決定法求得位置，期望能藉此方法提升定位之準確度。
液晶面板邊緣瑕疵可依照成形的原因分為:因切割過程所形成的毛邊(burr)和破片 (chipping)或是磨邊過程造成之刮痕(scratches)和汙損(stains)，但是這些瑕疵於面板邊緣都具 有相同的影響性，因為任何瑕疵皆會造成面板短路，使面板失去功能。本計畫檢測流程結 合影像處理、遮罩技術、影像分割、形態學處理及影像辨識的功能，將瑕疵各自分類，並 使用分類器加速分類瑕疵。藉由本計畫所開發出的處理流程，可以在瑕疵產品的辨別與分 類有高度的成功率，達到簡單且快速的檢測系統。
圖 1 電晶體基板邊緣之放大圖
(a) 薄膜電晶體基板 (b) 薄膜電晶體基板邊緣
第2章 文獻探討
在自動光學檢測(automated optical inspection)中，利用影像擷取儀器拍攝檢測物之影 像，然後將影像輸入電腦並且運用各式各樣的演算法將最後的瑕疵和原來的影像分離，最 後將結果輸出統計以方便檢測人員對整體品質的評定。
利用影像擷取系統擷取待測影像之後，必須在圖中搜尋需要的樣本，其中模板匹配是 用來搜尋樣本的方法 。Goshtasby[1]提出了使用模板比對的方式搜尋圖像中的物件，
Brunelli[2]提出了使用模板比對的方式做人臉辨識的動作。Tsai[3][4]，提出以正規化相關係 數法來進行印刷電路版的瑕疵辨識。其方法先定義一張完整的標準模板，並使用一個遮罩 與欲檢測的影像進行小範圍的相關係數計算，進而得到相關係數影像，並經由統計相關係 數影像而得到瑕疵的位置。Lewis[5]提出快速相關係數法，省略掉了正規化的動作並且加速 運算速度。在邊緣的測定上比較 Sobel and Feldman[6]的測邊方式及 Canny[7]測邊等方式。
在影像增強方面，Yang[8]提出了一套改良式對比增長強化法來讓影像對比度提高，此 方法較一般傳統影像增強技術還要有效；Windyga[9]提出一個較迅速的方法去除脈衝雜 訊，而且在峰對峰訊號雜訊比(Peak Signal to Noise Ratio；PSNR)的品質上很接近中值法；
Sonka[10]在影像去除雜訊方面，低通濾波(Lowpass Filter)處理是衰減影像中高頻的部分，
並平均鄰近區域的灰階值；高通濾波(Highpass Filter)處理是衰減影像中低頻的部分，強化 影像中之高頻特性，具有較佳之邊緣特性。
在瑕疵檢測方面，Kim[11]發展出一套以差值影像(Image Subtraction)為基礎的演算法，
並用在胸腔 X 射線影像上偵測可疑的結節(Nodule)，並以相關係數法來對原影像與樣板做 相關性的計算，以提升偵測結節的正確率；Kim[12]提出 LCD 上由於不均勻的背光，導致 擷取的影像呈現不均勻的亮度，故以修改平均值與標準差的方式，降低亮度不均勻的情況，
接著再對 x 方向及 y 方向做亮度的補償，把亮度不均勻的情況降得更低，以克服亮度分布 不均勻的問題。
在瑕疵分類方面，Richard[13]所提出的分類器有：貝氏分類器、區別函數分類器、最 小距離分類器、最鄰近區域分類器、決策樹狀分類器及類神經分類器； Jagannathon[14]利 用 倒 傳 遞 類 神 經 分 類 法 分 類 波 銲 中 的 銲 錫 瑕 疵 ； Chern[15] 使 用 了 標 準 差 平 均 法 (Amplitude)、標準差平方平均法(Variance)、Tenengrad、Laplacian、快速傅立葉轉換法(FFT)、
Sum-Modulus-Difference(SMD)、Entropy、Histogram of Local Variations(HLV)等方法針對聚 焦影像進行評估，最後結果經由 Tenengrad、Laplacian 及 SMD 的方式表現出來的結果較好，
較能凸顯聚焦較好的影像。
M × N
Subimage r( i , j ) m × n
Original image f( u-i ,v- j )
圖 2 模板比對法示意圖
第3章 研究方法
3.1 模板比對方法
模板比對[16] (matching by correlation)長久以來是影像處理中的熱門學問。而相關係數 法是用來進行比較兩張影像相似度常用的方法。圖 2 說明對於在一張大小為 M × N 的原始 影像 f (x, y)內尋找大小為 m × n 的子影像 r(i, j)，其可藉由計算其相關係數法來達成，其中 子影像 r(i,j)即為模板。其過程為在原始影像上移動子影像，並在每一次移動子影像時計算 一次相關係數，最後根據所有之相關係數值判斷影樣匹配之位置。
圖 2 說明模板比對法的基本架構。所謂模板即為圖中之子影像，將子影像依序在原始 影像中移動，每次移動單位像素或更多像素，其視情況需要而定。將子影像所涵蓋之原始 影像範圍做正規劃相關係數計算，並得到一個數值。當圖像匹配度越高，則該數值越大。
一般而言，會設立門檻值以鑑別是否有匹配物存在，所洗相關係數法的基本條件為模板的 好壞，相關係數法的計算情況，每次子影像的位移大小以及門檻值的大小等，這些情況將 會影響到模板比對的效果。
3.2 連續使用相關係數法製作平均化模板
平均化模板是收集十字標的影像樣品，然後取所有樣品的平均值做為模板。對於平均 值模板的製作需要每個樣品的共同定位位置。例如需要每張十字標樣品的中心點後，每張 樣品都各別以自己的中心點互相疊加。這樣的平均方式會有中心點選取的問題，所以在此 提出一種連續使用正規化相關係數法的方式選取定位中心點，其原理如下：
從樣品中選取出最適當的十字標示，例如: 良好曝光，整齊無汙損的邊緣，均勻的二 次反射圖形，如圖 3 所示。圖中之十字標示並沒有在圖檔的正中央故無法使用中心點定位 平均所有圖形。
以最適當的十字標示當做初始模板，並且以此模板用正規化相關係數法去比對從圖 3 選取的標示，由於相關係數法會尋找影像最匹配位置，也就是模板和樣品疊合內積值的總 合最大之位置，所以所得到最大值的位置代表初始模板在好的樣品上的相對中心位置，如 圖 4 所示。
以上步驟所得的中心位置，讓初始模板和樣品平均得到新的初始模板，依此類推最後 模板會收斂到具有代表性的模板，這樣平均法具有加權的現象，越後面參與平均的圖像權 重越低。另一方式是記錄所有樣品上的相對中心點再一次平均使的所有圖形的權重皆相 同，但是第一初始模板的選擇對結果的影響較大。
3.3 改良式對比伸長強化法
本研究提出改良式對比伸長強化法來增強低對比影像，對於較差的照射光所攝影出來 的影像，若使用一般的對比伸長強化法會造成研究上所需要的目標影像過於偏暗，使用改 良式對比伸長強化法則會比較明顯，有助於研究過程簡單清楚。
改良式對比伸長強化法使用 Rubber-Band 轉換函式來表示之：
k I k for
I 128
I (1)
for I kk 255 I 128 k 2 255
I
(2)
式中，I 為原影像的灰階值； I為修正過後輸出的灰階值； k 為設定的參數。對於兩個方程 式的關係圖，如圖 5 所示。
假設相鄰的兩個像素其灰階值分別為I、 ，故可將原影像的灰階值矩陣轉換為兩個子1 I2 矩陣(Sub-Matrices)，分別為：
圖 4 相關係數法選取之中心圖 圖 3 十字標示
(a) 樣品一 (b) 樣品二 (c) 樣品三 (d) 樣品四
2 I M I12
(3)
2 I N I12
(4)
而 M 表示高頻資訊，N 表示低頻資訊。由於研究中需要將影像對比微弱的地方加強凸顯出 來，所以研究中將影像的資訊做修改，首先將低頻資訊 N 代入到 Rubber-Band 轉換函式中 則成為：
k N k for
N 128
N (5)
k 255 I 128 k 2 255
N for Nk (6)
至於高頻資訊 M，將此代入下列式(7)及(8)中：
0 M for ) 1 M log(
w
M (7)
0 M for ) 1 M log(
w
M (8)
其中 w 為設定的值，由此求得 M、 N，再代回式(3)及(4)中可以得到：
M N
I1 (9)
M N
I2 (10)
在此過程中， N絕對大於 M，如果發生MN則我們令MN，如此一來，就可求出 兩相鄰像素新的灰階值I1、I2；圖 6 為整個方法的流程圖。
圖 5 Rubber-Band 轉換函式關係圖
圖 6 改良式對比伸長強化法之流程圖
是 否
是 否
是
否
I1 I2
3.4 索貝爾運算子
索貝爾運算子(Soble operator)可以用來檢測影像的邊緣，其原理是使用兩個子遮罩，分 別是檢測垂值邊緣和水平邊緣的子遮罩分別是G 和X GY，如圖 7 所示，子遮罩內部有兩倍 係數這是為了使遮罩通過邊緣且通過門檻值時，遮罩為位於邊緣的中央。如此偵測出的邊 緣較 Prewitt 運算子的邊緣細且精確，。
Z 2Z Z
Z 2Z Z
GY 7 8 9 1 2 3 (11)
Z 2Z Z
Z 2Z Z
GX 3 6 9 1 4 7 (12) G
G
GXY X Y (13)
方程式(13)中 GX和 GY運算子分別檢測有無水平垂直物件，如果圖像上是平滑的平面 沒有邊緣則 GX和 GY的值會等於零，因為遮罩兩邊的係數會相互抵消，也就是說如果有邊 緣產生時， GX和 GY值會上升，並可藉由在 GXY值上加設門檻值來控制邊緣的選定。
3.5 自動門檻值決定法
門檻值法只適用於背景與物體目標有明顯區分的影像，對於一般的影像，灰階分布柱 狀圖並沒有明顯 的波峰與波谷，較不適合使用視覺選取法 ；在本研究中採用統計式 (Statistical)最佳門檻值法則是根據 Otsu 的法則[17]-[19]。此方法可自動產生門檻值來符合二 值化的需求，若T 為最佳門檻值，可把影像分成* C1及C2，如圖 8；在C1區內任一像素其 灰階值f
x,y 必定滿足0f
x,y T*；同樣地，C2區內的任一像素其灰階值f
x,y 亦必定 滿足T* 1f
x,y 255。Otsu 另外提出兩個條件：一為讓前景與背景間的變異數(Between Class Variance)為最大，也就是把前景和背景分開；另一為前景與背景各自的變異數(Within Class Variance)之和為最小，即找出灰階值較相近的；只要任一條件成立，就可決定其最佳 門檻值T 。*-1 0 1
-2 0 2
-1 0 1
-1 -2 -1
0 0 0
1 2 1
Z1 Z2 Z3
Z4 Z5 Z6
Z7 Z8 Z9
圖 7 索貝爾運算子
(a)垂直子遮罩 (b)水平子遮罩 (c)遮罩編號
背景 前景
C1 C2
圖 8 分割之背景與前景
對於一個灰階影像來說，令n為整個影像的像素，灰階值個數為 ，則灰階值為L的機 率為：
1 L ,..., 2 , 1 , 0 n k
) n k (
P k (14)
式中，nk為 k 的灰階數量。
依據機率原理可知：
1
L
0 k
1 ) k (
P (15)
假設C 內的圖元個數所佔有的比例為：1
T
0 k 1 r
1 P(C ) P(k)
W (16)
而C 內的圖元個數所佔有的比例為：2
L 1
1 T k 2 r
2 P (C ) P(k)
W (17)
以上二式皆須滿足W1W2 1，而C1的期望值為：
T
0
k 1
1 k
W ) k (
u P (18)
同樣地，C2之期望值為：
L 1
1 T
k 2
2 k
W ) k (
u P (19)
進一步算出C1及C2之變異數：
12 T 1 2 W
) k ( ) P u k
( (20)
L 1
1 T
k 2
2 2 2
2 W
) k ( ) P u k
( (21)
此時C1及C2變異數和為：
2 2 2 2 1 1 2
W WW
(22)
C1及C2間的變異數可表示為：
2 T 2 2 2 T 1 1 2
B W(u u ) W (u u )
(23)
此處之uT表示整個原始影像的平均值：
L 1
0 k
k 1
L
0 k
k
T n k
n 1 n
k
u n (24)
在此可驗證：
2 T 2 B 2
W
(25)
這裡的 為原始影像的變異數。2T
由於 為固定值，2T C1及C2間的變異數為最大與C1及C2內的變異數之和為最小的意思 是同樣的，在此只需要考慮C1及C2內的變異數之和為最小就可設定最佳門檻值 T。
3.6 瑕疵特徵值擷取
特徵擷取為在一張影像中的物件，用其量值來描述結構上的變化，取得其資訊後，在 影像辨識時可作為分類的基準。特徵(Feature)常使用於圖樣辨識的文獻中[20]，藉以表示圖 形的描述子，可以是唯一或多重的；在影像辨識過程中，最重要的是影像特徵的擷取，瑕 疵的特徵擷取在自動化機器視覺占有相當重要的一環。針對需要做分類的一堆圖形，觀察 其特性，列出可用的特徵來作為辨識分類之用途，此方法稱為性質列表法；此種方法有高 度的辨識度，因為特別的針對某類群所觀察得到的特徵值，在辨識分類圖形上的效率可靠 度是很高的；不過，卻有非常大的限制性，其一為在特徵選取上沒有可重複性，當有新的 瑕疵影像樣本輸入的時候，必須重新尋找屬於這個樣本的特徵，另一為在尋找特徵上沒有 自動產生特徵的方法，大都需要花費精力把辨識的圖形，逐一設計屬於該群的特徵列表，
在時間的安排上較為耗時。
本研究由於需要將特徵值分別代入分類器去做判別，為了要使準確度提高，讓變數值 域差別不要太大，因而影響學習的效果，因此在輸入處理單元部分將特徵值先作正規化處 理，有助於學習更快更完整。本研究採用區間對映法，是將變數的最大值及最小值映射到 期望的最大值和最小值。其步驟如下：
1.找出輸入特徵值參數最大值 Max 及最小值 Min。
2.設定輸入特徵值參數正規化後的最大值Dmax及Dmin最小值。
3.將資料利用下式正規化。
) D D
Min( Max
Min D V
Vnew min old max min
(26)
式中，Vold為正規化前的值；Vnew為正規化後的值。
本研究針對瑕疵的形狀特徵來當作影像辨識的輸入，擷取經由邊緣特性所分割出的瑕 疵其形狀特徵，藉由分類器來分辨出瑕疵的種類；瑕疵特徵值分別為：質心 x 座標(Center of Mass x-coordinates)、面積(Aera)、延展度(Elongation Factor)、緊密度(Compactness Factor)、
海伍德圓因子(Heywood Circularity Factor)等五種特徵值。分別介紹如下：
(1) 質心 x 座標：
質心可經由動量(Moment)的計算求得，動量的計算式為：
M 1
0 m
1 N
0 n
l k
kl m n f(m,n)
M (27)
由於影像為二值化影像，所以 f(x,y)不是 0 就是 1，因此質心的位置可由下式(28)得到，進 而取得 x 座標之數值。本研究用此特徵質來判斷 TFT 及 CF 個別之 Chipping 與 Burr 的分類。
0 , 0
1 , 0
0 , 0
0 , 1
M ,M M ) M y , x
( (28)
(2) 面積：
面積之計算是影像經過分割後，所得到之瑕疵圖形，計算其瑕疵所包含的總體像素值，
以 A 表示之。
(3) 延展度：
延展度為一種反映旋轉不變量的特徵，會反映出物件的延展性，數值越大就越能顯現 出物件的延伸程度。其方程式為：
S
ED (29)
式中 E 為延展度，D 為物件之最大半徑，S 為包含物件之最小矩形之短邊。
(4) 緊密度：
緊密度可代表一物件的緊密程度，藉此判斷物件形狀的複雜程度。其方程式為：
M
CA (30)
式中 C 為緊密度，A 為物件範圍之面積， 為包含物件的最小矩形面積。
(5) 海伍德圓因子：
此因子可用來判斷物件之形狀為矩形或圓形，數值越接近 1 時物件越趨近於圓形，若
物件為圓形，則數值就為 1。
Q
HP (31)
其中 H 為海伍德圓因子，P 為物件範圍之周長，Q 為與此物件目標相同面積之圓的周長。
3.7 貝氏分類器
一個特徵 x 是屬於wi類(共有 M 類)的機率為p(wix)；若分類器判定 x 是來自於w 類j 而實際上 x 是來自於wi類，如此就是分類錯誤，記為L 。因為 x 可屬於 M 類中的任何一ij 類，所以特徵 x 是屬於wi類但分類到w 類所產生的損失可定義成：j
M
1 k
k kj
j(x) L p(w x)
r (32)
由機率理論的方法利用式(32)可以把上式(33)改寫為式(34)，如下所示：
) b ( p
) a
| b ( p ) a ( ) p b
| a (
p (33)
M
1 k
k k kj
j L p(x|w )p(w )
) x ( p ) 1 x (
r (34)
其中，p(x|wk)表示wk類中 x 的機率密度函數，p(wk)是wk類發生的機率。由於p(x)與 j 無關且為正數，所以式(34)又可簡化為：
M
1 k
k k kj
j(x) L p(x|w )p(w )
r (35)
通常假設在正確的決策分類下，損失 L 為 0；相反地，錯誤分類下損失為 1，亦即：
j i if 1
j i if
Lij 0 (36)
如此式(36)又可簡化為：
) w ( P ) w
| x ( p ) x ( p ) x (
rj j j (37)
給定一個特徵向量 x，因為分類器的可能選擇分類有 M 個，若計算每個的類別損失，
並將 x 分類到有最小損失的類別，藉以使得整體平均損失為最小值，此種分類器就稱為貝 氏分類器(Bayes Classifier)；換句話說，也就是當 j=1,2,…,M，且ji，使得ri(x)rj(x)， 則將 x 分類給wi類。同理使用式(37)得到：
) w ( P ) w
| x ( p ) x ( p ) w ( P ) w
| x ( p ) x (
p i i j j (38)
i j M ,...., 2 , 1 j ) w ( P ) w
| x ( p ) w ( P ) w
| x (
p i i j j (39)
因此，可以定義失真損失的貝氏分類器有形式如下的決策函數(Decision Function)：
i j M ,...., 2 , 1 j )
w ( P ) w
| x ( p ) x (
dj j j (40)
其中，p(x|wj)是w 類別之圖樣向量的機率密度函數(PDF)，而j P(wj)試類別w 出現j 的機率為一個純量。對於所有j ，當i di(x)dj(x)時則將 x 分類給w 。j
當機率密度函數為高斯的情況是最常見的，n維高斯機率密度函數有下列形式：
) m x ( C ) m x ( 2 1
2 1 j 2 j n
j 1 j T
e j
C ) 2 ( ) 1 w
| x (
p
(41)
其中，C 和j m 是j w 類別圖樣成員的共變異數矩陣和均值向量，而j C 是j C 的行列式。j 因為對數是單調遞增函數，所以選擇最大的dj(x)來對圖樣分類等同於選擇對大的
)]
x ( d
ln[ j ，因此可以用下列形式的決策函數取代之：
) w ( P ln ) w
| x ( p ln ) w ( P ) w
| x ( p ln[
) x (
dj j j j j (42)
並將高斯 PDF 代入得方程式：
(x m ) C (x m )
2 C 1 2ln 2 1 2ln ) n w ( P ln ) x (
dj j j j T j1 j (43)
因為本研究之瑕疵類型出現的機率皆為相等，也就是說P(wj)1 M；又(n 2)ln2這一項 對所有類別來說都是相同的正常數，所以可忽略，而決策函數可化簡為：
(x m ) C (x m )
2 C 1 2ln ) 1 x (
dj j j T j1 j (44)
使用此決策函數只需要計算各類別的特徵值平均向量與共變異數矩陣就可得到dj(x)。 本研究是對每個圖形類別計算所得到的特徵值，再將特徵值的平均向量和共變異數矩 陣計算出，就可得到該類圖形的決策函數；當總共有 M 類圖形時，就會有 M 個決策函數 d，
第 j 個決策函數則為dj(x)；輸入待判別的圖形，分別計算取得待判別圖形的特徵向量 ]
[
xi ，將此向量帶入決策函數式(44)中，若使得dj(x)為最大值，則可將待判別的圖形分 類為第j類。
第4章 結果與討論
4.1 系統標記自動定位
系統標記定位是檢測的最初步驟，本計畫提出連續使用相關係數法製作模板，並配合 最大內積值平均位置決定法之概念以達到提升定位精度。故在此設計實驗，藉此驗證本計 畫所提之方法能提升精準度。
液晶面板表面具有各種不同的定位點，其中定位點如圖 9 所示。該系統標記包含十字 定位標示和 T 字型定位標示。兩定位點的相對位置固定，所以可藉由測試兩定位點之相對 位置，來鑑定一到四組實驗配對之品質優劣。
使用不同模板量測不同面板表面之兩定位點，所得距離變化越小，則定位動作受到雜 訊和曝光程度的影響較少，本實驗於測試樣品中加入雜訊和改變亮度等動作以比較實驗結 果。統計樣品圖經由定位後得到的 X 和 Y 值如圖 10。X 值代表兩定位點在水平軸方向上的 位移，由於兩定位點的中心位於同直線上，所以 X 值大小應為零，但由於定位動作的誤差 或門檻值的選取方式，造成 X 值的產生。
經由統計多種樣品的方式來評定結果，其中包含平均值、極大值、標準差等評定方式。
每種分析方式皆有其獨特的重點，平均值小代表誤差少，極大值小代表定位精準度高，標 準差越小則代表資料浮動的情況較少。
4.1.1 實驗模板製作
本實驗樣本經由隨機的方式從八十張樣品取出二十五張的十字標示圖。十字標在此階 段尚由人工方式擷圖，並限制圖形大小於 120x120 像素的範圍。
圖 10 實驗量測示意圖 圖 9 T 型標示與十字標示
由於圖形為隨機選取，所以會有各種曝光、塵埃顆粒等狀況。也因為是人工取圖所以 十字標示在圖中的位置並不固定。從圖形擷取出完整之十字標示做為初始模板，並使用初 始模板收尋十字標示並將比對結果取出，並將結果列於圖 11。最後將圖 11 全部平均得到平 均化模板，即為本實驗所使用之模板，如圖 12。
4.1.2 求得樣品圖之 X、Y 值
如圖 13 所示，先選用(1) Maximum value 或(2) 98% of maximum value 做為門檻值，和 選取模板 Pattern 1 和 Pattern 2 其中一組模板，接著對七種分別為(A) (B) (C) (D) (E) (F) (G) 的 sample set 運算，並求得所有資料的 X 值和 Y 值。最後使用算術平均、標準差、極大值 等對 X、Y 等資料進行實驗分析。其中 Pattern 1 為本實驗方法製作之模板，pattern 2 為隨 機選取之模板。
將所得四組實驗數據之平均值列於表 1。分別以 avg_x、avg_y 代表 X 和 Y 的平均值，
sd_x、sd_y 代表 X 和 Y 的標準差，max_x、max_y 分別代表 X、Y 的最大值。由於無法確 定 Y 值之實際大小所以 Y 值僅為參考用，但由於可以確定 X 值應為零，所以探討 X 值之 變化狀況即可了解第一組到第四組的配對優劣。比較表 1 之結果，由本方法所提出之第三 組配對具有 X 之最大值為最小，其值為 0.688。且所有 X 值之間之標準差亦為最小其值為 0.246，因此證明本計畫所提出之方法能夠提升模板比對之精度。
圖 12 連續相關係數法所得之模板 圖 11 由初始模板取得之十字標示樣品
表 1 四組實驗數據之個別平均值
Sd_x Sd_y Avg_x Avg_y Max_x Max_y
第一組 0.338795 6.070245 0.069643 119.9196 1 121
第二組 0.346622 7.928316 1.055357 118.9875 2 121
第三組 0.246881 7.586402 0.095625 119.6872 0.688095 121.5
第四組 0.295586 7.032387 1.017406 119.1116 1.640476 120.5286
4.2 瑕疵辨識系統
TFT-LCD 面板邊緣瑕疵種類可分為毛邊、破碎、刮痕和汙點的檢測，瑕疵如圖 14 所 示，這些瑕疵必須能夠檢測辨識出來，因為有瑕疵的 TFT-LCD 其使用壽命較短或容易產 生故障等問題，必須在產線上被篩檢出來。
4.2.1 影像處理
針對圖 14 之六種瑕疵影像圖進行影像的處理技術，每張影像為 512×512 (Pixels)，利用 改良式對比伸長強化法則，將影像的對比度提高，瑕疵影像強化後，再利用高通濾波器將 影像銳化，使得影像之輪廓凸顯出來，得到較佳的影像邊緣特性，進而再利用中值濾波將 雜訊消除，影像加強後以自動門檻值取得二值化瑕疵影像，如圖 15 所示。
Pattern 1 and Pattern 2
Normalized cross correlation with two kind of threshole.
(1)Maximum value (2) 98% of maximum value.
Sample sets (A) (B) (C) (D) (E) (F) (G)
X and Y
Analyze X and Y value.
(1)Average (2)Stand Divition (3)Max (4)Min
圖 13 系統標記定位之流程圖
(a)TFT 之 Chipping (b)CF 之 Chipping (c) 汙點瑕疵
(d)TFT 之 Burr (e)CF 之 Burr (f) 刮痕瑕疵
圖 14 瑕庛種類
(a)TFT 之 Chipping (b)CF 之 Chipping (c)汙點瑕疵
(d)TFT 之 Burr (e)CF 之 Burr (f)刮痕瑕疵
圖 15 瑕疵與背景分割
4.2.2 瑕疵特徵值分析
影像經過二值化後，就可以將目標檢測物的資訊數值化，算出每個瑕疵特性的特徵值，
就可以方便檢測的判斷。本計畫所使用的特徵值有：質心 x 座標、延展度、緊密度、海伍 德圓因子以及面積五個部分，其值再經過正規化使其介於 0~1 之間，分別針對 TFT 及 CF 的毛邊、破碎、刮痕與汙點的瑕疵進行運算，總計共有 213 個樣本提供實驗數據，圖 16 為 六個瑕疵影像的平均特徵值分布圖。
圖 16 不同瑕疵的平均特徵值分布圖
4.2.3 貝氏分類結果
本計畫利用貝氏分類器之決策函數來做瑕疵的分類，依據實驗流程所擷取其瑕疵之特 徵值，對特徵值取平均向量和共變異數矩陣來產生每類圖形的判別式，產生判別式後代表 訓練學習完成，接著依序輸入影像之特徵值並開始正式的實驗分類結果。最後經由實驗結 果統計，貝氏分類器之總辨識率達 95.8%，如表 2 所示。
表 2 貝氏分類器分類結果
瑕疵種類 待測數量 檢測錯誤 檢測率
TFT-Chipping 30 0 100%
TFT-Burr 10 0 100%
CF-Chipping 25 2 92%
CF-Burr 10 0 100%
刮痕 45 3 93.3%
汙點 93 4 95.7%
總體辨識率 213 9 95.8%
第5章 結論
本計畫中提出各種檢驗液晶面板的理論和方法，最後經由實驗證實所提出的理論，達 到檢測液晶面板的目的。根據四組實驗證明本計畫所提系統標記自動定位之理論能夠有效 的提升十字標示的定位精準度至次像素之定位能力，並提供更精準之新型模板製作方式和 門檻值決定方式。針對面板邊緣之瑕疵檢測，利用實驗流程：改良式對比增長強化法增強 影像的對比度，高通濾波與中值濾波器將雜訊去除，自動門檻值法將影像二值化，求取每 個蝦疵的特徵值後以分類器分類瑕疵，可以有效的將瑕疵檢測出，其瑕疵分別為：薄膜電 晶體(TFT)及彩色濾光片(CF)的毛邊和破碎、刮痕與汙點，除了形狀比較細微且明暗度相似 的瑕疵比較難以檢測分類出來外，一般的瑕疵可以順利得找出；貝氏分類器利用瑕疵特徵 值，檢測成功率達 95.8%。經由結果可以證明，本計畫之自動光學檢測技術可以取代人工 方法來進行瑕疵檢測，更可以有效縮短作業時間及節省人力資源的浪費，對於提升產業競 爭上有相當大的幫助。
第6章 參考文獻
[1] A. Goshtasby,S.H.Gage,and J.F.Bartholic,“Atwo-stage cross-correlation approach to template matching”,IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 6, no. 3, pp. 374-378 (1984)
[2] R.Brunelliand T.Poggio,“Face recognition: features versus templates”,IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 15, no. 10, pp. 1042-1052 (1993)
[3] D. M. Tsai and C. T. Lin,“Fastnormalized crosscorrelation fordefectdetection”, Pattern Recognition Letters, vol. 24, no. 15, pp. 2625-2631 (2003)
[4] D. M. Tsai, C. T. Lin, and J. F. Chen,“Theevaluation ofnormalized cross correlations for defectdetection”, Pattern Recognition Letters, vol. 24, no. 15, pp. 2525-2535 (2003)
[5] J.P. Lewis, “Fast template matching”, Vision Interface, Canadian Image Processing and Pattern Recognition Society, Quebec City, Canada, pp. 120-123 (1995)
[6] I. Sobel and G. Feldman, “A 3x3 isotropic gradient operator for image processing”, presented at a talk at the stanford artificial project in 1968, unpublished but often cited, orig.
in Pattern Classification and Scene Analysis , pp. 271-2 (1973)
[7] J. Canny, “A computational approach to edge detection”, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. PAMI-8, no. 6, pp. 679-698 (1986)
[8] C. C. Yang, “ImageEnhancement by Modified Contrast-Stretching Manipulation,”Optics &
Laser Technology, pp.196-201, 2006.
[9] P.S.Windyga,“FastImpulsiveNoiseRemoval,”IEEE Trans.on Image Processing,Vol.10, No. 1, pp. 173-179, 2001.
[10] M. Sonka,V.Hlavac,and R.Boyle,“ImageProcessing, Analysis and Machine Vision,”
PWS Publishing, Pacific Grove , CA, USA, 1999.
[11] S. Kim, H. B. Pyo, S. K. Lee, S. Lee, and S. H. Park, “Digital Image Subtraction of Temporally Sequential Chest Images Byrib Image Elimination,”Proceedingsofthe22nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Chicago, IL, USA, Vol. 3, pp. 1752-1755, 2000.
[12] W. S. Kim, D. M. Kwak, Y. C. Song, D. H. Choi, and K. H.Park,“Detection ofSpot-Type Defects on Liquid Crystal Display Modules,”Key Engineering Materials, Vol. 270-273, pp.808-813, 2004.
[13] O. D. Richard, E. H.Peter,and G.S.David,“Pattern Classification,” Second Edition,New York, NY, USA, 2001.
[14] S. Jagannathon, “Automatic Inspection of Wave Solder Joints Using Neural Network,”
Journal of Manufacturing Systems, Vol. 16, No. 6, pp. 389-398, 1997.
[15] N. K. Chern, P. A. Neow, H. Marcelo, and J. Ang , “Practical Issues in Pixel-Based Autofocusing for Machine Vision,”Proceedingsofthe2001 IEEE InternationalConference on Robotics & Automation Seoul, Korea, pp. 21-26, 2001.
[16] C. H. Lee, and L. H. Chen, “A fast search algorithm for vector quantization using mean pyramids of codewords,”IEEE Ttransaction on Cmmuniations, Vol. 43, No. 234, pp.
1697-1702, 1995.
[17] N.Otsu,“A Threshold Selection Method from Gray-Level Histogram,”IEEE Trans. Syst., Man, Cybern., Vol. SMC-8, pp. 62-66, 1978.
[18] M. Cherist, J. N. Said, and C.Y.Suen,“A Recursive Thresholding Technique for Image Segmentation,”IEEE Trans. on Image Processing, Vol. 7, No. 6, pp. 918-921, 1998.
[19] Y. Du, C. I. Chang, and P. D. Thouin, “Unsupervised Approach to Color Video Thresholding,”Optical Engineering, Vol. 43, No. 2, pp. 282-289, 2004.
[20] R. M. Haralick, K. Shanmugam, and I. Dinstein, “Textural Features for Image Classification,”IEEE Trans.SystemsMan and Cybernetics,Vol.3,pp.610-621, 1973.
行政院國家科學委員會專題研究計畫成果自評表
計畫名稱：薄膜電晶體液晶顯示器快速瑕疵檢測系統開發與研製 計畫編號：NSC-97-2622-E-011-001-CC3
一、研究內容與原計畫相符程度說明( 如低於 50，請將不符處說明於後) 相符程度：百分之九十五
二、本研究達成預期目標概要(請從報告中指出其最主要的項獻，複選)
()創新之發現 ()實驗原型或系統之建立
()理論之拴導或摸式建立 ()人才培育 ()技術水準之提升 ( )其他(請說明)
()新技術在國內之再現 ( )未獲具體結果，(請填下欄) 三、本研究如未獲具體結果，其主要原因為何？(必要時請用另紙書寫) 四、本研究成果之學術參考價值：
()極高 ( )高 ( ) 中 ( )普通 ( ) 低 請列示應送參考機構名稱：
中國機械工程學會、自動光學檢測設備聯盟及各大專院校光機電技術研發中心。
五、本研究成果之應用推薦價值：
()極高 ( )高 ( ) 中 ( )普通 ( ) 低 如可能。請建議送交那些單位或業者參考：
()可立即推介 ( )尚需進一步研究 ( )不宜推介 自動光學檢測設備聯盟及自動光學檢測設備商。
六、本研究成果可申請專利項目之說明：
可 ()發明 ( )新型 ( )新式樣
不可，請說明:
七、本專題計畫應再進一步研究之需要性：
()不需再研究
( )應再進一步研究，其研究之方向與目標：
八、本研究成果發表之建議：
( )否 ( )機密性 ( )成果層次尚需再加強
( )是，且刊載於何種刊制物為宜？
( )本會 Proceedings 季刊 ( )本會科學發展月刊 ( )可發表於其他國內外期刊
九、綜評：(請就本研究之核定經費額度與報告之結果，成效，主要發現及其他有 關價值等作一綜合評估，本欄請務必填寫。若空間不夠，請書於背面或另紙書寫)
本計畫所提出薄膜電晶體液晶顯示器快速瑕疵檢測系統之開發與研製，整合影像處理 的專業領域，達到TFT-LCD自動化檢測系統，其預期完成項目及具體成果分述如下：
1.應用相關系數法配合最大內積值平均位置決定法提升系統標記定位精度。
2.利用貝氏分類器進行TFT-LCD 瑕疵的分類，取得TFT-LCD 瑕疵評級的客觀性，總 區分率達95.8%。
3.應用自動化光學檢測於TFT-LCD 快速瑕疵檢測系統可節省檢測的時間，因此系統提 供一位操作員可同時控制數台檢測系統，此操作人員僅須排除檢測系統所發生的機 械故障的問題，省時省力。
※ 對本研究成果報告自評等第：()極佳 ( )佳( )中( )可( )劣
![圖 2 模板比對法示意圖 第3章 研究方法3.1 模板比對方法 模板比對[16] (matching by correlation)長久以來是影像處理中的熱門學問。而相關係數法是用來進行比較兩張影像相似度常用的方法。圖 2 說明對於在一張大小為 M × N 的原始影像 f (x, y)內尋找大小為 m × n 的子影像 r(i, j)，其可藉由計算其相關係數法來達成，其中子影像 r(i,j)即為模板。其過程為在原始影像上移動子影像，並在每一次移動子影像時計算一次相關係數，最後根據所有之相關係數值判斷影樣匹配](https://thumb-ap.123doks.com/thumbv2/9libinfo/9124351.408837/6.892.213.629.401.595/模板比對法示意圖研究方法在一張大移動子每一次移動子算一次相關.webp)
