邊光式照明 直下式照明 圖 4.1 背光模組照明方式
(資料來源:成功大學陳鴻滄等人之專題報告) [20]
由於擷取影像使用的光源是由待檢測面板產生檢測樣板時所散發出來的,並 無外加的照射光源,然後經由鏡頭的光圈,最後由 CCD 的感知器感光所得到。
在所擷取到的影像中(如圖 4.2 所示)處處充滿了顏色不均的情形(如圖 4.3 所 示)。
圖 4.2 面板影像擷取圖
圖 4.3 影像 R 分量灰階分布圖
由影像中可以明顯的看到灰階不均的現象,而一般的影像處理方式是以外加 光源的方式來改善取像時的灰階不均勻的現象,以彌補影像中光源不足的地方。
彩色攝影機是以 3 個感光元構成一個基本像素(pixels)。就彩色 RGB 攝影機出廠 的設定值而言,其色溫大約在 3600ºK 左右,因而會讓影像色彩出現明顯偏藍色 (Blue)的情況,然而這項初始設定值比較符合實際自然光譜,其灰階或亮度的感 光與轉換接近線性,通常使用於數位彩色影像分析與處理。當然,亦可改變其色 溫為 4500ºK 或 5600ºK,或配合白色 LED 及高週波螢光燈源,其輸出影像顏色 就會趨近真實。
本研究初期曾嘗試以不同的光源以及不同的光源照射角度來擷取影像,但是 因為顯示面板對於 CCD 攝影機本身而言就算是一個會自主發光的物體,因此若 是以外加光源的方式加以照射,所取得的影像還是不盡人意。雖然影像中較暗的 區域會因為外加光源的影響而變得明亮,但是影像中的其他區域卻也會因為這外 加的光源影響而改變,所以影像中仍是處處充滿了灰階不均的情況。且因為是使 用彩色 CCD 攝影機取像,如果要強制加上光源,則還需要考慮外加光源與面板
顯示樣本顏色之間的關係,並無法以一單色光源進行照明,且在選擇適合光源時 有施行上的困難存在。
因此本研究使用面板本身之背光源,在暗室中擷取影像,以減少光源對於取 像的影響,使得灰階不均現象降至最低。
4-2 色彩模型
一般色彩量測所使用的工具是輝度計,利用輝度計所讀出的數值判斷色彩是 否正確。但是對視覺檢測系統而言,影像是光線經過鏡頭光圈,然後由 CCD 感 知器感光所得,因此所得到的影像色彩與人眼所見並不相同。
RGB 色彩模型是影像處理中最常見也最常用的色彩模型,利用 RGB 色彩模 型則所有顏色是以紅(R)、綠(G)、藍(B)來構成。RGB 色彩模型可以看做 是由直角座標系統組成的正立方體(如圖 4.4 所示)。R、G、B 可以看成是正立 方體相對於座標軸上的三個頂點;而青(Cyanine)、紫(Magenta)、黃(Yellow)
則是相對於各平面上的另三個頂點;黑色相對於原點;而白色則是離原點最遠的 頂點。灰階顏色可視為位於黑色與白色連線的直線上,其餘彩色顏色則是可以看 做是散佈在正立方體的內部,只要將 R、G、B 三原色做適當的調配組合,就能 夠得到所需的各種顏色。
圖 4.4 RGB 彩色模型立體方塊示意圖
在點燈測試時使用的樣本中,有許多的樣本也是在 R、G、B 單色的情況下 或是其組合的顏色中做檢測的,因此本研究將使用 RGB 色彩模型當作彩色影像 分析處理的基礎。
4-3 實驗方法
本研究利用機器視覺技術進行液晶面板點燈檢測。就檢測的流程而言(如圖 4.5 所示),根據瑕疵之大小將瑕疵分成巨觀瑕疵及微觀瑕疵兩大類。由於巨觀檢 測法是檢查的面積較大的瑕疵,所以使用整個液晶面板做為待測物體;對於微觀 瑕疵而言,由於這些瑕疵大都屬於點的瑕疵,所以將面板劃分為數個子區域來做 微觀檢測法。以下將就各部份流程與方法作詳述說明。
圖 4.5 檢測流程示意圖
4-3-1
巨觀檢測法此部份主要是針對點燈測試中屬於較大面積的瑕疵來做檢測,如 Mura 現 象、BAND 失效等瑕疵。減少微觀檢測不易處理的情形,如瑕疵面積大於微觀檢 測子區域,將造成判斷上的困難。巨觀檢測法之流程如圖 4.6 所示,先擷取標準 的樣板影像,再從影像中抽取所需要的資料,如 RGB 各分量之灰階值、平均值、
標準差等。然後擷取待檢測面板,並從影像中抽取所需要的資料。最後比較這兩 者之間的差異,並依照不同的情形設定相關的閥值來判斷瑕疵是否存在,詳細說 明如下:
圖 4.6 巨觀檢測法流程圖
4-3-1.1 平均值
在處理影像時,必須計算平均值。首先將整張 640 x 480 pixels 的影像劃分 為 80 x 80 個子區域,每ㄧ子區域大小約為 8 x 6 pixels,計算每一區域的平均值,
可以大略的了解影像中各子區域的平均灰階值情況,然後利用每ㄧ個子區域中像 素點的資料將平均值與標準差計算出來。任何一個子區域灰階值的平均值都可以 利用 4.1 式所示:
∑
= x n
X i/ ………(4.1)
其中X表示該子區域的平均灰階值,
∑
xi 表示該子區域的各資料點的灰階值總 和,n為該子區域資料點的總數。經由平均值可以知道各子區域的灰階值分布情形,平均值計算結果顯示如圖4.7所示:
圖4.7 RGB各分量平均值結果
4-3-1.2 標準差
單以平均值來表示各子區域間灰階值的分布關係是不夠的,因為平均值的大 小會受到灰階值總和的影響。有可能會出現各子區域間擁有的灰階值差異性很 大,但是灰階值相加的總和卻是相同的情形,因此必須計算出各子區域的灰階標 準差,進而得知各子區域之間的灰階差異性。
雖然子區域的灰階平均值可能一樣,但是各子區域的灰階值與其平均值間的 分散程度卻各不相同。在統計上可以用標準偏差(Standard Deviation, 以符號s表 示)來代表一組數值中各測量值與其平均值之間分散的程度,標準差的算法如 4.2式所示:
1 )
( 2
−
=
∑
− nx
s xi ………(4.2)
其中 表示該子區域各資料點的灰階值,x表示該子區域的灰階值平均值,
n為該子區域資料點的總數。標準差計算結果顯示如圖4.8所示:
xi
圖4.8 RGB各分量標準差結果
4-3-1.3 閥值設定
計算出標準差之後,就可以了解各子區域之間的灰階差異情形。然後可以設 定出一個標準差的閥值,若是標準差的差異超過設定之閥值,則判定該子區域有 瑕疵存在;若是標準差的差異小於閥值,則表示該子區域沒有瑕疵。
雖然可以透過設定標準差閥值的方式來判斷瑕疵是否存在,但是對於不同顏 色之樣本,檢測時所適合的色彩模型分量並不一定相同,因此無法僅使用單一的
色彩分量對全部的顏色樣本進行檢測,再者,在每個顏色樣本下做瑕疵檢測時,
所對應的最佳色彩分量所需之閥值大小也不盡相同。
評估影像間的標準差所允許的偏差性閥值大小,是在經過多次實驗比較後,
在每ㄧ種的檢測顏色樣本下,對應到檢測樣本的最佳RGB分量所需要的判斷數 值,然後以平均的方式所計算出來的。
4-3-1.4 誤差排除
根據所設定的標準差差異量閥值進行瑕疵判斷後,就可以偵測出瑕疵,但是 也會有誤判的情形(圖4.9)。實驗顯示,誤判為瑕疵之子區域通常是單獨存在的,
換言之並未出現被誤判為瑕疵之子區域有兩兩相連的情況。因此,我們可以將單 獨出現之瑕疵子區域視為誤判,亦即忽略此瑕疵的存在。在加入這個限制條件 後,可以讓巨觀檢測的誤判率大大的減少。即便如此,當真有瑕疵在巨觀檢測的 結果中是以單一子區瑕疵的情形出現也沒關係,此類瑕疵在微觀檢測時也是會被 偵測出來的。
時間一 時間二
圖4.9不同取像時間所得影像之處理結果
4-3-2
微觀檢測有些瑕疵面積與整個面板面積相比較之下,在面積上的比例便顯得十分的 小,此時若再經過CCD所擷取到的影像,這些面積小的瑕疵將無法由巨觀的影 像中察覺出來,例如點瑕疵及弱線瑕疵等。因此,本研究將藉由小面積的微觀檢 測,將微觀瑕疵找尋出來。在研究初期曾嘗試將整個面板區域劃分為3x3、4x4、 5x5 個子區域的方式來進行檢測,但是分割成 3x3、4x4 個子區域的方式仍是無 法將點的資料完整的呈現在影像中,而5x5個子區域則可以將點的資訊完全的顯 示出來,所以本實驗最後是採取將面板劃分為5x5個子區域來做檢測。
在微觀檢測的流程方面(圖4.10所示)將分為線瑕疵的找尋與點瑕疵的找 尋兩部份來進行,將兩部份流程一一詳述如下:
圖4.10 微觀檢測流程圖
4-3-2.1 線瑕疵找尋
依據瑕疵的面積大小可以將瑕疵分類為巨觀檢測與微觀檢測兩類,其中微觀 檢測方面又細分為線瑕疵與點瑕疵找尋。線瑕疵的檢測流程如下圖4.11所示,
並對各步驟做一詳細說明:
開始
擷取影像
影像相減
高增幅濾波
二值化
中值濾波
線段找尋
結束
圖4.11 線瑕疵的檢測流程圖
4-3-2.1.1 影像相減
在突顯出瑕疵的眾多方法中,利用影像相減是ㄧ種最簡單而直接的方法。當 擁有標準影像與待檢測影像時,一旦瑕疵存在待檢測影像中,相減後將可以得知 標準影像與待檢測影像之間的不同(如圖4.12 所示)。
標準影像 瑕疵影像 相減後 圖4.12 影像相減之結果
可是擁有弱線的影像經過一般的影像相減方式並無法得到預期的效果。但是 若是利用影像是無負整數(unsigned char)的宣告方式,影像經過直接相減的運 算,便可以將弱線的部份在相減後的影像中突顯出來。在圖 4.13、圖 4.14、圖 4.15中可以看出影像在RGB各分量作影像相減後,弱線在影像中的突顯程度,
本研究在選用影像相減時所需要的RGB色彩模型分量時,因為在G分量上做影 像相減會比在其他兩個分量上做影像相減顯的更加清晰,因此本研究選擇使用G 分量作為影像相減時所使用的色彩模型分量。
無瑕疵標準R分量影像 擁有弱線的R分量影像 影像相減後
圖4.13 影像使用R分量做影像相減之結果