國
立
交
通
大
學
電子工程系
碩 士 論 文
以對比為基礎的液晶面板瑕疵偵測系統
Contrast Based Mura Detection System for
Liquid Crystal Display Panels
研 究 生：鄞毅捷
指導教授：王聖智 教授
以對比為基礎的液晶面板瑕疵偵測系統
Contrast Based Mura Detection System for
Liquid Crystal Display Panels
研 究 生：鄞毅捷 Student：I-Chieh Yin
指導教授：王聖智 Advisor：Sheng-Jyh Wang
國 立 交 通 大 學
電子工程系
碩 士 論 文
A ThesisSubmitted to Department of Electronics Engineering & Institute of Electronics
College of Electrical Engineering and Computer Science
National Chiao Tung University
in partial Fulfillment of the Requirements for the Degree of Master
in
Electronics Engineering August 2009
Hsinchu, Taiwan, Republic of China
以對比為基礎的液晶面板瑕疵偵測系統
研究生：鄞毅捷 指導教授： 王聖智 教授 國立交通大學 電子工程學系 電子研究所 摘要 在本論文中，我們提出一個能夠自動偵測 LCD 面板上亮度不均勻的瑕疵， 並且以符合人眼視覺的方式去量化這些瑕疵的嚴重程度。其中，我們希望處理的 瑕疵包括: 水平或垂直跨整個螢幕的帶狀瑕疵，水平或垂直跨整個螢幕很細且訊 號很弱的細線瑕疵，以及在螢幕上緣像窗簾一樣亮暗間隔的窗簾瑕疵。針對帶狀 瑕疵和細線瑕疵，我們提出偵測的方法，並且以符合人眼視覺的方式去量化瑕疵 的嚴重程度，而窗簾瑕疵部份，我們則是提出偵測的方法。關於帶狀瑕疵的偵測， 我們先採用二次微分的運算去找出影像中亮度不均勻的帶狀區域，然後計算這些 可能是帶狀瑕疵區域的對比值，最後再利用清華大學所進行的人因實驗結果，來 決定人眼對這些瑕疵的感受程度。關於細線瑕疵的偵測，由於訊號十分微弱，不 易偵測，我們一樣先利用二次微分去找每個點跟附近點之相對亮暗關係，然後利 用細線瑕疵整條線的一致特性，來找到可能是瑕疵發生的地方，最後再利用人因 實驗的結果去決定人眼對這些區域的感受程度。關於窗簾瑕疵的偵測，則可以被 當成是只有影像上緣的帶狀瑕疵偵測，但是由於缺乏相關人因實驗的配合，所以 在這部份我們將只討論此類瑕疵的偵測。在本論文中，我們完成了這幾種瑕疵的 偵測與量化技術，並且經過實驗來證明這些演算法的確卻可以有效地找到瑕疵並 加以量化。Contrast Based Mura Detection System for
Liquid Crystal Display Panels
Steduent：I-Chieh Yin Advisor： Dr. Sheng-Jyh Wang
Department of Electronics Engineering Institute of Electronics
National Chiao Tung University
Abstract
In this thesis we propose an automatic mura detection system for the liquid crystal display panels. Our system can find the brightness non-uniform region of LCD panel and quantify them with the way human vision does. The mura which we can deal with are cluster mura, V-band mura, H-band mura, thin weak line mura, and curtain mura. First we propose the automatic detection method to find mura candidates, then we apply the human factor experimental results which NTHU did to quantify the mura candidates. We use the LOG filter to find the brightness non-uniform region in the mura image and propose different detection methods based on the characteristics of different types of mura. After we find the mura candidates which are the brightness nou-uniform region we need to determine if the mura can be seen by human eye. The human factor experimental results can help our system determine the contrast
threshold of different type and different size of mura. So we can make our detection result close to the human detection results. By these two steps we prpose an automatic detection system which has better detection results.
CONTENTS
Chapter 1 Introduction...1
Chapter 2 Background ...2
2.1 Introduction to Mura ...2 2.1.1 Working Principle of TFT-LCD ...2 2.1.2 Causes of Mura ...32.1.3 Introduction of Mura Types ...4
2.2 Prior Arts of Mura Detection ...5
2.2.1 Survey of Mura Detection...5
2.2.2 Prior Arts of TTLA Project ...6
2.2.3 Contrast Definition and Just Noticeable Distortion ...9
2.2.4 Human Visual Contrast Sensitivity ...9
2.2.5 Contrast Threshold and Just Noticeable Distortion ...14
Chapter 3 Proposed Mura Inspection System...16
3.1 Detection of Mura Candidates ...16
3.1.1 Analysis of Mura Characteristics ...16
3.1.2 Detection Algorithms ...23
3.2 Contrast Based Identification...58
3.2.1 Position Refinement...59
3.2.2 Contrast Evaluation...60
3.2.3 Threshold Determination ...61
Chapter 4 Experimental Results...62
4.1 Band Mura Results...62
4.2 Thin Weak Line Mura Results ...64
Chapter 5 Conclusions...66
LIST OF FIGURES
圖 2.1 背光模組工作原理 ...3 圖 2.2 薄膜電晶體液晶模組工作原理 ...3 圖 2.3 瑕疵原因示意圖 ...4 圖 2.4 瑕疵種類的介紹 ...5 圖 2.5 之前演算法的流程圖 ...6 圖 2.6 有垂直帶狀瑕疵的影像 ...7 圖 2.8 垂直投影的結果和用曲線近似方法的差值 ...8 圖 2.9 Weber’s Law 實驗 ...9 圖 2.10 實驗用的刺激影像 [21]... 11 圖 2.11 每個受試者對不同測試圖片的平均 threshold [21] ...12 圖 2.12 人眼視覺模型的架構[21]...13 圖 2.13 人眼視覺模型模擬出來的結果和實驗結果的比較 [21]...13 圖 2.14 圓形群聚瑕疵面積和 JND 的關係[22] ...14 圖 3.1 帶狀瑕疵的影像 ...16 圖 3.2 帶狀瑕疵發生的位置 ...17圖 3.3 Vertical Projection Profile...17
圖 3.4 有帶狀瑕疵影像的縱段曲線 ...19 圖 3.5 水平投影的曲線 ...19 圖 3.6 有水平帶狀瑕疵的影像和水平投影 ...20 圖 3.7 水平細線瑕疵的影像 ...21 圖 3.8 水平投影的曲線 ...21 圖 3.9 有水平細線瑕疵影像的縱剖面 ...22 圖 3.10 垂直微弱細線瑕疵的影像 ...22 圖 3.11 垂直投影的結果...23 圖 3.12 前期計畫中偵測的方法 ...25 圖 3.13 帶狀瑕疵偵測的概念 ...26 圖 3.14 初期的演算法介紹 ...27 圖 3.15 帶狀瑕疵和投影的關係 ...28 圖 3.16 橫截的曲線和做過 LOG 後的結果 ...28 圖 3.17 提出的演算法 ...29 圖 3.18 偵測區域示意圖 ...30 圖 3.19 不同大小的 LOG 濾波器 ...31 圖 3.20 帶狀瑕疵大小和 LOG 濾波器大小之間的關係 ...32 圖 3.21 帶狀瑕疵大小和 LOG 濾波器大小之間的關係 ...33 圖 3.22 通過不同大小的 LOG 濾波器的結果 ...34
Chapter 1 Introduction
隨著市場上液晶顯示器的普及，液晶顯示器品質的檢測變得越來越重要。目 前為止大部分的檢測工作都還是由人眼來判斷，然而由人眼來判斷有下面一些缺 點：耗人力且成本高;判斷結果的不一致;人眼視覺的極限;沒辦法有統一的標準。 因此如果能透過機器做自動檢測，不僅能降低成本，也能使檢測的準確性一致， 不受人眼視覺極限的影響，所以面板的自動檢測是一個不錯的選擇。 由於面板的自動檢測未來可能會取代人眼的檢測，所以過去幾年有蠻多的論 文在討論這方面的問題。整個檢測過程可以分成兩部分，第一部份是去找出面板 上瑕疵發生的地方，第二部份則是去量化這些瑕疵的嚴重程度。在這邊提到的瑕 疵，在大部分的文獻中都稱為 mura，指的是在螢幕上看到的亮暗不均勻的部分。 造成這些瑕疵的原因，是面板製造過程中的不良，導致最後面板上每個位置透過 的光量不一致，造成對比很低的亮暗不均勻。面板上的瑕疵可以分成很多種，從 小到只有幾個點的群聚型瑕疵，大到跨整個螢幕的帶狀瑕疵。現有的演算法幾乎 都是再處理比較小型的瑕疵，而大型的瑕疵很少人再討論。 在這篇論文中，我們提出了一個檢測的系統，處理對比低的大型瑕疵。我們 的系統可以將瑕疵的地方標記出來，並且去模擬人眼在不同距離觀測的感覺，瑕 疵型態分成下面五種：垂直帶狀瑕疵、水平帶狀瑕疵、垂直微弱的細線瑕疵、水 平微弱的細線瑕疵、和窗簾瑕疵。 在下面的論文中，我們會分成三個部分介紹，在第二章裡我們會先介紹瑕疵 還有瑕疵造成的原因，接著介紹一下現有的瑕疵偵測還有一些量化的方法，最後 點出有什麼問題還不能解決，然後我們想要解決的問題。接著在第三章我們就會 開始介紹我們提出的檢測系統裡面的演算法，主要分成兩部分介紹，第一部份是 瑕疵偵測的方法，第二部分是瑕疵嚴重程度量化的方式。在第四章我們會說明系 統測試後的結果，在第五章我們會總結一下我們的系統。Chapter 2 Background
在這章裡面，我們會分成三個部分介紹一下背景知識。第一部份，我們會介 紹什麼是瑕疵、造成瑕疵的原因和瑕疵的特性。第二部份，我們會介紹前人做過 的瑕疵偵測方法，能夠解決什麼問題，還有什麼是還不能解決的。最後一部份介 紹一下什麼是對比，什麼是 JND (Just Noticeable Difference)，還有一些人因實驗 的結果。
2.1 Introduction to Mura
我們要介紹什麼是液晶顯示器上的瑕疵，先從 LCD 的運作原理開始介 紹，然後介紹瑕疵的成因，最後介紹瑕疵的定義和我們想要處理的瑕疵。2.1.1 Working Principle of TFT-LCD
我們簡單介紹一下 TFT-LCD 運作的原理，TFT-LCD 主要分成兩個部 分，背光模組和薄膜電晶體液晶模組，圖 2.1 是背光模組的構造和工作原 理，圖 2.2 是薄膜電晶體液晶模組的構造和工作原理。整個 LCD 運作的原 理就可以看成從圖 2.1 的 CCFL 陰極冷射管產生光源，經過層層的鏡片修 正，理論上應該會產生強弱一樣的平行光源，圖 2.1 產生的平行光會從圖 2.2 下面進入薄膜電晶體液晶模組，利用兩片偏光片( polarizer )垂直擺放的 特性，讓光線完全沒辦法穿越，此時要透過加電壓讓液晶轉向，使的部分光 線可以透過最上面那塊偏光片，然後透過的光才會穿過最上面的玻璃，讓人 看到。圖 2.1 背光模組工作原理 圖 2.2 薄膜電晶體液晶模組工作原理
2.1.2 Causes of Mura
看到前一節介紹的 LCD 的工作原理，在這一節中我們將要介紹造成螢 幕上亮暗不均勻瑕疵的原因。會造成亮暗不均勻瑕疵的原因，主要是在製作 過程中的瑕疵，很多的原因都會導致。剛剛看到光要通過這麼多層的東西， 之後才能透過最上層的玻璃到人眼，每一層構造上透過去的光都要均勻，才 不會造成亮暗不均的現象。所以在製造過程中任何一種鏡片或玻璃厚度不 均，液晶旋轉的特性不一，或是有污損發生在任何一層構造上等等都可能會 造成瑕疵。下面用一個簡單的示意圖來說明，看圖 2.3 是三種 LCD 面板和 看到的亮暗分佈情形，左邊那個是一個完全沒有瑕疵的面板，由於透過的光 線一致，所以人眼看到的是很均勻的，沒有亮暗的分佈。中間的圖是表示有 diffuser LGP reflector Lamp reflector CCFL Patterns (elements) prism lens Polarizer Polarizer Color filter Liquid crystal TFT瑕疵的面板，在中間的區域由於有瑕疵發生，透過的光線較少，所以看起來 會呈現中間比較暗的分佈。右邊的圖則是中間的地方有瑕疵出現，通過的光 過多，所以會造成中間比較亮。因為光學性質的關係，我們可以看到不均勻 的地方都是呈一種漸進的方式，慢慢的變亮或變暗，而不是直接就變的很暗 或很亮。 圖 2.3 瑕疵原因示意圖
2.1.3 Introduction of Mura Types
我們已經知道瑕疵發生的原因，接著我們介紹一些常見的瑕疵，圖 2.4 裡面包含了一些常見的瑕疵，有小型的比周圍亮或暗的點的聚集，這種瑕疵 叫做群聚瑕疵。有跨過整個螢幕的很微弱的細線不均勻，這種叫做微弱細線 瑕疵(Thin Weak Line Mura)，這種瑕疵又分成兩種，橫跨螢幕的叫水平細線 瑕疵(H-Line)，垂直跨過螢幕的叫垂直微弱細線瑕疵(V-Line)。在上下邊緣的 地方會有漏光現象的叫做漏光瑕疵(Light Leak Mura)，橫跨螢幕大約 45 度的 週期性的亮暗不均勻，因為像是摩擦的擦痕，所以叫做 Rubbing Mura。跨 越整個螢幕，成一個長方形的比旁邊暗的區域，我們稱為帶狀的瑕疵(Band Mura)，一樣的這種瑕疵分成垂直(V-Band)和水平(H-band)兩種。跟帶狀瑕疵 很像，但是很短且有很多條亮暗不均勻的小帶狀瑕疵發生在螢幕的上緣的瑕 疵，因為有點像是窗簾，所以我們稱為窗簾瑕疵(Curtain Mura )。 這些訊號都是一種漸進性的不均勻，而且訊號都很微弱。當訊號所佔的 面積更大的時候，漸進性的不均勻會變的更難偵測，所以面積比較大的瑕 疵，會比較難偵測。現有的演算法大部分都是針對面積小的瑕疵像群聚瑕疵 做偵測和量化，很少的人有在討論大面積瑕疵的偵測，所以我們的論文主要 就是去找出一種偵測大面積瑕疵的方法，並且希望能量化她的嚴重程度。 所以整個論文我們處理的瑕疵是水平和垂直的帶狀瑕疵，水平和垂直的 微弱細線瑕疵還有窗簾瑕疵。
Band Mura
Thin Weak Line Mura
Cluster Mura
Light Leak Mura
Rubbing Mura
圖 2.4 瑕疵種類的介紹
2.2 Prior Arts of Mura Detection
這個章節裡面分成兩個部分，第一部份我們整理一下現有的瑕疵偵測的 方法。第二部分介紹一下我們實驗室成員於前期已經完成的演算法開發。
2.2.1 Survey of Mura Detection
發現所有的演算法大約可以分成三個步驟，如圖 2.5，其中任何一步都有人 在討論，也有的論文是包含了兩個或是三個步驟。先介紹一下整個架構。 從螢幕前拍到的影像先經過一個把對比提高的前處理，希望能把訊號放 大 [1][2]。接著透過不同的演算法去把瑕疵的地方找出來，最後再經由一個 確認的動作去確定找到的東西是不是真的是瑕疵。
Identification
Segmentation
Preprocessing
圖 2.5 之前演算法的流程圖 重點是第二部分如何去找到並把發生瑕疵的地方圈起來，在這邊有一些 方法在討論[3]~[8]，其中又可以大約分成兩個比較主要的方法，第一種方法 的精神是根據拍到的影像，去試著產生一張沒有瑕疵的影像，然後再用兩張 影像去比對，然後找到不均勻瑕疵發生的地方[3][4]。第二種方法是將拍下 來的影像通過一些濾波器，讓亮暗變化較大的地方有比較強的訊號，再透過 threshold 的方式把瑕疵和均勻的部分分開 [5][6] [7][8]。 第三部分要去檢驗第二部份找到的東西，到底是不是真的是瑕疵發生的 地方，這邊的想法都很接近，都是把人的感覺考慮進來。有利用人眼視覺模 型去模擬人對看到的東西的對比感覺[9]。也有利用模糊類神經網路的方法 去模擬人判斷找到的地方是不是瑕疵的過程[10]。也有透過人因實驗去找到 人對不同大小不同形狀的瑕疵，需要多強的對比才能看的到。這個實驗的概 念通常是直接去模擬瑕疵的形狀和大小，讓受測者去找到需要多強的對比刺 激才會開始看的到臨界值，用這些臨界值可以幫我們判斷找出來的地方對比 夠不夠強，強到我們能看的到[11][12][13]。 透過這幾個過程可以做小面積瑕疵的偵測，但當面積變的很大那很多方 法都不再適用。現在的論文針對比較大面積的瑕疵，討論的很少。所以在工 研院前期的計畫我們也開始在討論一下面積比較大的瑕疵，像是帶狀瑕疵。 下一小節我們將會做個簡單的介紹。2.2.2 Prior Arts of TTLA Project
“人因與影像品質技術開發”是中華民國台灣薄膜電晶體液晶顯示器產 業協會跟學界的一個合作計畫，整個計畫主旨是希望能完成一個面板自動檢 測的系統，其中分成幾個大的方向和學界合作，交通大學負責的是顯示器品
質測試的智慧型處理的部分，清華大學負責的部分是 Mura 人類視覺計測與 資料庫建立，台灣大學是視覺模型與線上檢測作業準則轉換研究。在前兩年 的計畫中[14]，已針對群聚瑕疵、垂直帶狀瑕疵、邊緣漏光瑕疵、還有擦痕 瑕疵四種瑕疵提出了對應的偵測方法。其中帶狀瑕疵的準確率偏低，所以在 本論文中，以改善帶狀瑕疵的偵測方法為首要目標，進而加入更多的新種類 瑕疵偵測的方法。在此，我們先介紹一下之前的帶狀瑕疵偵測方法，還有為 什麼會準確率不佳。 圖 2.6 有垂直帶狀瑕疵的影像 圖 2.6 是一個有垂直瑕疵的影像，用綠色的框框把有瑕疵發生的地方圈 起來。觀察垂直方向的投影，可以得到圖 2.7 藍色的曲線，凹下去的地方對 應的就是暗帶發生的地方。這邊的想法是去做一條像是沒有瑕疵發生的曲 線。這邊用的方式是用原曲線上二次微分零的點來當作沒有瑕疵發生的曲線 上的基本點來做 curve fitting，得到的曲線是圖 2.7 中紅色的虛線，將兩條 曲線相減，可以得到圖 2.8。靠著對圖 2.8 做一個 threshold 的動作，我們可 以找到瑕疵發生的地方。
圖 2.7 圖 2.6 垂直投影的結果
我們可以看到用這樣的方法去找的話，其實會有誤判產生，因為單純 由原本那條垂直投影的曲線要去模擬一條沒有瑕疵的曲線，其實是很困難 的，而且當瑕疵面積更大或瑕疵數量更多，其實會更困難。可見在前期計 畫中提出的帶狀瑕疵偵測方式並不是很理想，所以我們決定重新開發一種 新的偵測方式。
2.2.3 Contrast Definition and Just Noticeable Distortion
這裡我們想要介紹人對影像上對比的定義，對比指的是某個物體或是圖 樣在一個背景中，人所看到的感覺。而 JND(Just Noticeable Difference)代表 的是剛好可被看到的那個對比臨界值。下面我們先介紹一下對比的定義，再 介紹 JND 的概念和怎樣取得。2.2.4 Human Visual Contrast Sensitivity
這邊要介紹的是人眼視覺對對比的感覺，我們整理了過去人對對比的一 些計算方式[15]~[20]，主要可以分成三個大類
2.2.4.1 Optical Concept Contrast Definition
這邊主要是從光學的概念去定義對比，最有名的就是 Weber’s Law，它 是由實驗去發現前景的光亮度要比背景的光亮度高出多少的時候，人才會剛 好看到。實驗做了各種不同亮度的背景光，發現前景光剛好可以被看到時的 亮度，跟背景光有一個關係存在，也就是前景跟背景亮度的差除上背景的亮 度，大致會是一個固定的值，這樣的關係叫做 Weber’s Law。以 圖 2.9 為例，對比將定義為 h h Δ = w C . (1) 當對比超過一個臨界值後，我們就會開始看得到前景。
h
h +
Δ
h
h1
h1 +
Δ
h1
圖 2.9 Weber’s Law 實驗後來也有不少論文在幫忙修正這樣的對比定義，其中有在討論背景範圍 該選多大的[16]，也有在討論如果遇到的前景和背景不是均勻的情況的話， 要如何修正對比的定義[17]，這些論文都是基於光學的特性所定義的對比定 義。
2.2.4.2 Frequency Selectivity Contrast Definition
這邊的想法是從人眼對不同頻率的刺激有不同的感覺，去分析刺激影像 的頻率，然後根據影像的成分，去決定看不看的到訊號，所以一次是看一整 張影像的對比，而沒辦法只單獨去比較前景和背景的差別。這邊也有蠻多的 論文在討論，像是 Peli 提出的對比的定義 ) , ( ) , ( ) , ( y x LP y x BP y x Ci i i = (2) 是去分析不同頻段的對比，再由各個不同頻段的對比，去組合出整張影像的 對比強弱。每個頻段的對比，是用訊號通過當個頻段的帶狀濾波器的結果， 除上通過比那個訊號小的低通濾波器後的結果，如(2)的式子。[18][19][20]
2.2.4.3 Vision Model
這邊的另外一種算對比的方法，是直接去模擬人眼的構造和處理的過 程，然後建立一個人眼視覺的模型去模擬人對對比的感覺。 人眼視覺模型建立的過程中[21]，主要分成兩個部份。第一部分是由實 驗的方式，取得真正人對這些測試用刺激的反應。圖 2.10 是所用來測試的 圖片，經由改變每張圖片對比的強弱，來觀察人眼對每張圖片刺激的反應強 弱。實驗方式是一開始每個點都固定在同一個灰階顏色，也就是完全沒有任 何刺激，接著由下面的式子(3)來調整圖片上每個點的值，也就是改變它的 對比程度，直到人可以分辨上面有東西出現。 ( 128)) 127 1 ( ) (g =L0 + c g− L (3) 0 L :背景的光源大小 g:各點的灰階值 c:對比值，以高斯函數的形式在改變，標準差在 0.125 sec 由這樣的實驗，藉由觀察人對這些不同刺激的反應時間長短，可以得到 每張圖對人眼刺激的強弱關係。越強的刺激，代表越容易被人眼偵測出來， 如果用自動偵測的方法，也就是代表所需要給的 threshold 越低，圖 2.11 是說明平均各個受試者對不同測試影像的刺激關係，縱軸是用 threshold 來表 示橫軸每個圖片的刺激強弱，所以是跟刺激的強弱成反比的關係。所以在第 一部份，我們由實驗知道了這 43 張作實驗用的圖片對人眼的刺激強弱。
圖 2.11 每個受試者對不同測試圖片的平均 threshold [21] 第二部份是希望能建立一個數學模型，來描述人眼對這些刺激的反 應。模型的基礎架構，主要分成四個部份，如圖 2.12 所示，一開始利 用簡單的把每個像素的值減掉整張圖的平均值之後再除以平均值，可得 到 每 個 點 的 對 比 值 。 接 著 將 得 到 的 對 比 值 通 過 一 個 CSF(Contrast Sensitivity Function)的濾波器，來模擬人眼對這些不同訊號的反應，對 太高頻率或太小頻率的刺激反應都比較小。出來的結果可選擇性的再經 過一些轉換的動作，把結果轉換到另一個 domain 來看，像是做 DCT， 把訊號轉到頻率域來看，想要這樣做的原因是因為不知道人眼在做最後 判斷刺激強弱的時候，是在哪一種 domain 下進行的， 所以有一些不同 的選擇，來觀察看看哪種 domain 可能是人眼用來衡量刺激強弱的 domain。在最後一個過程中，經由 pooling 的動作，把整張圖每個點的 值用不同的方式加總起來，藉以決定每個 pattern 的刺激強弱，要這樣 做的想法是，人眼在做最後判斷的時候不一定只採簡單的全部加總的結 果來看，也許是透過不同次方的加總，於是我們就觀察很多不同次方的 表現情況，再選出最接近人眼表現的方式。目標是希望能模擬出接近在 第一部份實驗出來的結果，是經由這個模型，模擬出來的結果和第一部 分實驗結果的差別，發現人眼視覺模型都表現的不錯，跟實驗出來的結 果誤差不大。
圖 2.12 人眼視覺模型的架構[21] 圖 2.13 人眼視覺模型模擬出來的結果和實驗結果的比較 [21] 結論是我們找到了一種能模擬人眼對不同 pattern 對比程度的模 型。透過這樣的機制，任意一張圖，我們都能得到一個對比值，代表那 張圖的對比強弱，而且這個結果跟人眼視覺的結果相當符合。 由此我們可以知道，人眼視覺模型能有效的找出刺激影像給人的對 比強弱，但是一樣沒辦法只針對前景和背景做比較。而且目前的人眼視 覺模型都是針對兩度乘兩度的刺激在做模擬，視角更大的刺激目前還沒 contrast CSF pooling (Pixel-128)/127 transform DCT Gabor channel Input pattern
辦法處理。所以大範圍的瑕疵可能沒辦法透過這樣的方式去找刺激的對 比值。
2.2.5 Contrast Threshold and Just Noticeable Distortion
在前一節中，我們已經介紹了對比值強弱的算法，當對比值低於某 一個值的時候，人會沒辦法感覺到，這個臨界值，稱為 JND，就是一個 對比的 threshold 值。當刺激的對比強度超過這個臨界值，代表人眼看 的到，那我們用來量化刺激強度的方式，常用的是計算對比值比臨界值 大幾倍，像是對比強度是臨界值的兩倍，我們稱他的對比強度是兩倍 JND。 要找到各種不同刺激的 JND 值其實不容易，大概只有透過實驗的方式 比較有可能。 在我們同一個計畫底下，清大負責的部分，就是由實驗去找到人對 不同大小的各種瑕疵的對比臨界值。發現各種瑕疵，大小跟 JND 值間 都會有不一樣的關係。透過清大的實驗，可以幫助我們去決定瑕疵的對 比強弱，也可以幫助我們去知道在不同大小的瑕疵，應該要有多大的對 比，我們才可以看的到。JND 的實驗，Semiconductor Equipment and Materials International (SEMI)這個組織[22]，也花了很多時間去找群聚的圓形瑕疵大小和 JND 的值，希望藉此能幫助瑕疵的量化，它們實驗的關係如下圖所示：
所以我們可以看到對比的 JND 值跟面積之間的關係如下面示子所示： ) 72 . 0 97 . 1 ( 0.33 + = = x x jnd x S C C C Semu （4） 可以看出來當面積愈大需要的 JND 值越小。然而別種瑕疵的 JND 實驗，SEMI 就沒有做了，如果我們希望以人眼的感覺來量化瑕疵，我 們很需要有各種瑕疵的這種資料。那清大的實驗就是針對工研院裡面的 需求，去做了很多這種的人因實驗，包含了圓形群聚、帶狀瑕疵、細線 瑕疵。實驗是去產生模擬各種瑕疵形狀的影像，改變瑕疵的大小，去找 到各種形狀對各種大小下的 Contrast JND 的關係。
Chapter 3 Proposed Mura Inspection System
這章我們將分成兩部分介紹，第一部份我們提出一個瑕疵偵測的系統， 可以有效的偵測出幾種瑕疵發生的地方，但是準確度還是不高，所以我們為 了讓偵測的結果更準確，更貼近人眼的結果，所以放寬第一步的偵測，但加 入第二部分由對比強弱來做確認的動作，讓最終的偵測結果能更貼近人眼偵 測的結果。3.1 Detection of Mura Candidates
3.1.1 Analysis of Mura Characteristics
下面我們會介紹欲偵測的幾種 Mura，針對不同的 Mura，我們會做一些 簡單的分析，找出這些 Mura 有的特性。根據這些特性，在下一節我們會提 出幾種不同的演算法來偵測它們。
3.1.1.1 Profile Analysis of Band Mura
Band Mura 是指在影像上的一條比較暗的帶狀區域，水平的或是垂直的 橫跨整個影像，由圖 3.1 我們可以看到兩種不同的 Band Mura， (a) 是垂直 的橫跨整個影像，所以稱為 Vertical Band Mura (V-band Mura)，(b) 是水平的 橫跨整個影像，稱為 Horizontal Mura (H-Band Mura)。
(a) Vertical Band Mura
(b) Horizontal Band Mura
圖 3.1 帶狀瑕疵的影像
由於現在 Mura 的檢測機制，檢測員都是標記暗帶的 Band Mura。以為 例，在圖 3.2 我們將定義出 Band Mura 發生的區域，也就是影像中暗的帶狀 區域。我們的演算法也將是去尋找影像中暗的帶狀區域，並把它如圖 3.2 標示出來。
(a) Vertical Band Mura
(b) Horizontal Band Mura
圖 3.2 帶狀瑕疵發生的位置
定義完 Band Mura 之後，我們來看看一些 Band Mura 的特性，先看 V-band Mura，如果我們把它做垂直方向加總，可以得到一個一維的曲線，由於在 V-band Mura 發生的區域，都比較暗，所以可預期在一維曲線上，一樣位置應該直都會 比較小。圖 3.3 是用圖圖 3.2 做垂直方方向加總後得到的結果，其中(a)是直接 加總的結果，而(B)是先經過 2 維的 Gaussian smoothing 後的結果，可濾掉一些不 必要的小變化干擾。我們發現一維曲線在 V-band Mura 出現的位置跟整體的變化 趨勢比起來，有凹下去的特性，我們可以運用這個特性來做偵測。
(a) original Projection Profile (b) original Projection Profile with Gaussian Smooth
圖 3.3 Vertical Projection Profile
我們再觀察經過一個二維的 Gaussian smoothing 之後的影像，先經過二維 Gaussian smoothing 的意義，可以拆開成兩個一維的 Gaussian smoothing 來看，其 中水平方向的 smoothing 主要是消去一些比較小的局部變化或是雜訊的擾動，而 垂直方向的 Gaussian smoothing 則可由
圖 3.4(a)解釋，
圖 3.4(a)中的箭頭部分表示 Gaussian smooth 會拿自己上下一部分區域的資料來 取平均，所以其實可以看成是在觀察那塊區域中的變化，所以我們做的事其實是 在觀察把整個影像切成很多段，每段中的亮度變化。取任意一條水平方向的資 料，可以得到一個亮度分佈的曲線，如 圖 3.4，(a)中紅線是我們欲觀察取的兩條水平方向的資料，它們的亮度曲線分別 如圖(b)和(c)，可以發現在(1)的曲線我們可以明顯的看出有兩個凹下去的比較暗 的部分，分別可以對應兩條 V-band Mura 發生的地方，在圖(c)則只有在左邊那條 V-band Mura 出現的地方有比較明顯的變化，右邊則沒有。因此我們也可以知道 不見得在每一條水平方向的資料都會有 V-band Mura 出現的地方比較暗的特性， 每一條資料出現 V-band Mura 的地方也不太一樣，也因此才會讓 V-band Mura 看 起來不一定會很明顯，像圖(a)中的左邊的 V-band Mura 就比右邊的明顯，所以在 比較多的水平方向資料中都會有出現的特性。
(a) original image (b) profile on (1) (c) profile on (2) 圖 3.4 有帶狀瑕疵影像的縱段曲線 接著來觀察看看 H-band 有沒有類似的特性，下面圖 3.5 和圖 3.6 分別是整 張圖水平加總和取一條 Gaussian smoothing 之後的資料來看的結果，發現特性跟 V-band 很像，在暗帶的地方都有凹下去的變化，我們可以用這種特性，來偵測 Band Mura。
(a) original (b) with Gaussian smoothing 圖 3.5 水平投影的曲線
(a) original image
(b) profile on (1) (c) profile on (2) 圖 3.6 有水平帶狀瑕疵的影像和水平投影
3.1.1.2 Profile Analysis of Thin Weak Line Mura
Thin Weak Line 是一種橫跨(H-Line)或是縱跨(V-Line)整個影像的非常細長暗 或亮的細線，如圖 3.7，我們可以看到 Thin Weak Line 通常只有幾個像素寬，跟 旁邊其他區域的亮度值差也小，但因為它通常很長，橫跨整個螢幕，所以人可以 隱約看得出來，(a)圖是有兩條 H-Line Mura 發生的影像，可以發現訊號真的是很 微弱，(b)圖中是把 H-Line Mura 發生的地方 Mark 起來的結果。
(2) (1)
(a) image with H-Line (b) image with H-Line marked 圖 3.7 水平細線瑕疵的影像 因為這種 Mura 也是一個橫跨整個螢幕的種類，所以我們一樣先觀察順著 Mura 方向的垂直加總，圖 3.7 做水平方向加總後會得到圖 3.8，可以看到紅色 的曲線裡有兩個被圈起來的小尖峰出現，位置剛好就是 H-Line Mura 發生的地 方，可以看出來訊號實在很微弱，但又可以被分辨出來，可見這是一個比較難處 理的問題。 圖 3.8 水平投影的曲線 我們可以看到訊號既弱，寬度又小，如果要做 Gaussian smoothing，只能用 很小的 kernel，不然就會跟雜訊一起被 smoothing 掉。我們看一下經過 smoothing 後 column 的 profile，如圖 3.9 (b) (c)，發現因為所用的 smoothing kernel 太小， 所以整個 profile 裡有很多的雜訊都沒有辦法去掉。
(a) original image
(b) profile on column (1) (c) profile on column (2)
圖 3.9 有水平細線瑕疵影像的縱剖面
看完 H-Line 我們一樣來看一下 V-Line，我們發現它們有一樣的性質而且訊 號都很微弱，如圖 3.10 和圖 3.11，我們可以看到水平加總後，V-Line 的地方有 一個很小的凹陷，而如果是單獨只看一個 row 的 profile 的話，那雜訊的擾動很 大，幾乎不能分辨雜訊和 V-Line 的位置了。
(a) image with V-Line (b) image with V-Line marked 圖 3.10 垂直微弱細線瑕疵的影像
(a) vertical projection profile
(b) some row profile of image with V-Line Mura
圖 3.11 垂直投影的結果
由於上面的分析，我們覺得要直接在這個 domain 來處理 Line Mura 的問題， 可能是蠻困難的，因為 Line Mura 的訊號跟雜訊的差異不大。所以我們想把問題 先整個轉換到一個比較明顯的 domain，然後再來做偵測，應該會比較容易，在 下一章我們會介紹我們的方法。
3.1.2 Detection Algorithms
我們提出了一些演算法，可以偵測下面幾種 Mura，Vertical Band Mura、 Horizontal Band Mura、Vertical Thin Weak Line Mura、Horizontal Thin Weak Line Mura，我們的演算法對於不同方向的 Band Mura 和 Thin Weak Line Mura，都用 同一種方法就可偵測，所以下面我們就分成二部分，針對 Band Mura、Thin Weak
Line Mura 來做說明。
3.1.2.1 Band Mura Detection Algorithm
在開始介紹我們的方法前，我們先回憶一下之前的方法，如圖 3.12 所示， 一開始我們先做垂直方向的加總，可以得到(b)圖中的藍色曲線，藍色曲線一些 凹陷的部分都可能是有 Mura 發生的地方。接著我們希望能藉由藍色曲線 fit 出一 條曲線，代表的是整張影像在沒有任何 Mura 發生的時候，這樣，接下來就是把 兩個曲線相減，則在 Mura 發生的地方應該會有比較大的差值，藉由對差值來做 判斷，可取 threshold 來決定有沒有 Mura 發生。這種方法的好壞完全決定在下面 兩個部分，第一是垂直加總是否真的有能力可以表現出 Mura 的特性，第二是要 怎樣的 fitting 方式才能準確地獲得沒有 Mura 情況下的曲線。第二個問題其實是 蠻難解決的，我們用的是二次的近似方法，但不見得能滿足曲線本來的特性，也 就是說單純用 curve fitting 的方式我們不能準確的模擬出一個沒有 Mura 的情況， 只要沒辦法模擬的準確，這個方法就沒辦法很準確。圖 3.12 (b) 有我們 fit 出來 的曲線，用紅色虛線來表示，它跟垂直加總曲線的差值在(c)圖，我們觀察一下 (c)，發現差值的最大值是出現在其中一條 V-band Mura 出現的地方，但是另一條 出現的位置對應的差值卻不大，比其他一些根本沒有 Mura 出現的位置還小蠻多 的，可以看出其實 curve fitting 其實沒辦法很準。我們發現之前的方法的確在有 的 Mura 出現的地方是有用的，但是會有不少誤判的情況，準確率太低，所以我 們提出新的方法來做偵測。
(b) vertical projection profile and fitting curve
(c) difference between projection profile and fitting curve 圖 3.12 前期計畫中偵測的方法
因為這些原因，我們在期中的時候提出了一種方法。這方法的主要想法是我 們不要一次看整張影像加總後的 profile，而是去看每一條 profile 在哪些位置可能 是 V-band Mura 出現的地方；最後再由整張影像來看，如果在一個 column 上幾 乎每點都很有可能是 V-band Mura 出現的話，那麼那個 column 就會很可能是 V-band Mura 發生的地方。由圖 3.13 我們可以更容易瞭解，如果我們想要觀察以 青色為中線的紅色框的區域，V-Band Mura 出現的程度，那我們可以先將整張圖 做一次垂直方向的 Gaussian smoothing，則青色線的 profile 把紅色框的資料也拿 進來一起考慮了，則青色線段代表的是附近區域的特性。如果我們觀察每個水平 方向的 profile，則可以看成是在觀察每個以那條切線為中間的小區域內，V-band Mura 出現的程度。最後可藉著觀察整張影像，類似加總的方式，來檢驗到底哪
裡真的有 Mura 出現。
總的來說，就是我們先由每條水平方向的 profile 來決定那附近區域出現 V-band Mura 的程度，和出現的位置，所以每個水平方向的點都有一個對應的 V-band Mura 出現的程度值，然後由於 V-band Mura 是垂直的橫跨螢幕，所以我 們藉由觀察整個 column 中每個點的程度值的總和，我們可以判斷那個 column 是不是 V-band Mura。 圖 3.13 帶狀瑕疵偵測的概念 這個想法，有點符合平常我們人眼在觀察是不是有 V-band Mura 的方式，那 接下來的問題就是我們要怎樣來決定水平方向每個點是 V-band Mura 的程度。在 期中報告的時候，我們覺得 V-band Mura 是比較暗的區域，所以我們覺得每個 V-band Mura 發生的地方，應該會包含附近區域的極小值，所以我們提出去找所 有在水平方向的極小值的地方當作可能是 V-band Mura 發生的地方，把他們標起 記來，如圖 3.14，藉由觀察橘色 row 的 profile，我們把極小值標記成藍色，極 大值標記紅色，則整張影像變成左邊那張圖，V-band Mura 發生的地方，每個 column 都會包含很多藍色的點，最後由垂直方向加總可以決定每個 column 有沒 有 V-band Mura 發生。
圖 3.14 初期的演算法介紹
用極小值發生來當作可能是 V-band Mura 出現的地方，我們發現不是一個很 好的方法，因為觀察訊號比較弱一點的 V-band Mura，其實它們不一定會有極小 值發生，有時候只是凹下去的反曲點，如圖 3.15 我們可以看到這種現象，發生 Mura 的地方我們用兩個圈圈起來了，左邊的是一個有比較明顯的 V-band Mura， 呈現一個凹下去有極小值的形狀，但是右邊的是一個比較不那麼明顯的 V-band Mura，對應的是右邊的一個反曲點，但卻沒有極小值出現，由此我們可以發現 其實有的 V-band Mura 其實不一定會對應到最小值，也有可能是反曲點，所以我 們應該要稍微修正我們方法。 所以我們想了用新的方法來更準確判斷每個點可能是 V-band Mura 的程度， 如果這方法越準、越貼近人眼的反應的話，那就會有比較準確的偵測結果，下面 我們將介紹我們提出的新方法。
圖 3.15 帶狀瑕疵和投影的關係
由於人眼在觀察東西的時候，會經過一個很像 Laplacian of Gaussian(LOG) 的機制；加上觀察很多的 row profile 後，我們發現在 Band Mura 出現的地方， 對應的是斜率變化比較大的地方，所以我們就想到可以把 row profile 通過一個 LOG filter 出來的結果當作一種是不是 V-band Mura 發生的指標。
(a) row profile (b) LOG result
(c) row profile (d) LOG result
(e) row profile (f) LOG result 圖 3.16 橫截的曲線和做過 LOG 後的結果
圖 3.16 是拿圖 3.15(a)、有兩個 V-band Mura 的影像，取三個不同的橫切 profile 來觀察，有三個 row 的 profile 還有對應的通過 LOG 之後的結果，因為要 觀察的是暗帶，也就是凹下去的部分，對應的 LOG 值結果一定是正值，而且有 V-band Mura 發生的地方通常會有比較大的值，所以我們可以用 LOG 之後的結 果來判斷是否有 V-band Mura 發生，如果 LOG 的結果是正值，而且值很大，則 我們會覺得很有可能是 V-band Mura 出現的地方，只要值大於零都有可能，但是 如果值越大那可能的機會越大。 已經知道我們偵測演算法的想法後，我們來仔細看看整個方法的流程，如圖 3.17，下面我們將分別對每一步驟做解釋。 圖 3.17 提出的演算法 整個偵測的過程可以分成五個步驟，一開始影像經過一個 Gaussian smooth， 接著每一條 row profile 跟水平方向的 LOG filter 做 convolution，這時候每個點都 有一個能決定自己是否是 Mura 的程度值，沿著 Band Mura 發生的方向做加總， 則我們可以知道加總後每條 column 或 row 是否是 Mura 的程度值，接著靠著一 個簡單的 thresholding，可以把有 Mura 的地方找到，最後則是回去原圖把有 Mura 發生的地方 Mark 起來。
下面我們詳細的討論每個步驟：
Gaussian smoothing :
這邊做的 Gaussian smoothing，是沿著 Band Mura 的方向做 smooth，用意是 希望我們觀察的是一個區域而不單純只是一條 profile。看圖 3.18 可以比較容易 瞭解，當想找的是 V-band Mura，則用來觀察的是水平方向的 profile，為了能讓 觀察的 profile 代表的是藍色區域中的影像特性，我們將整張影像先做垂直方向
Gaussian smooth LOG convolution Directional sum
的 Gaussian Smoothing，則每條藍色線的 profile 其實代表的就是整個藍色區域的 特性。 圖 3.18 偵測區域示意圖 LOG convolution： 這裡要做的事主要是判斷像圖 3.19 裡藍色區域發生 V-band Mura 的可能程 度，也就是判斷藍色線上，每個位置的程度。由前面的分析，我們選用的是 LOG filter。那 LOG filter 的 size 要怎麼決定呢？ 我們可以把 LOG 想成是觀察經過 smooth 後曲線的曲率變化，如果 smooth 太多，則小的訊號就可能會消失。如果 smooth 的太少，則小訊號會留下來，但是一些不必要的變化，像雜訊也都會被 留下來。
從另一個角度來看，如圖 3.19 有三種不同 size 的 LOG filter，由雙箭頭夾住 的區域是 LOG 的係數小於零的區域，如果這個寬度剛好等於 Band 的寬度，那 出來的 LOG 結果會最大，所以 LOG 小於零的寬度越貼近 Mura 的寬度，則效果 會最好，由此可見，比較細的 Mura 用σ比較小的 LOG 來偵測比較適合，比較 大的 Mura 則應該用σ大的 LOG 來偵測。
圖 3.19 不同大小的 LOG 濾波器
下面我們觀察一下實際的例子，圖 3.20 是一張有兩個比較寬的 V-band Mura 發 生的影像，我們對紅色的 row profile 分別用σ＝10，σ＝20，σ＝30 三種 LOG filter 來偵測，結果分別如圖(b)(c)(d)，黑色圈圈起來的地方是 V-band Mura 的位 置，我們可以看到左邊的圈對應到的 V-band Mura 是一條比較寬的 V-band Mura， 所以隨著σ越大，則它的最大值就越大，右邊的圈對應的 V-band Mura 是一條比 左邊細一點的 V-band Mura，可以發現到σ＝20 的時候，它有最強的 response， σ＝30 的時候，response 就變小了。另外值得注意的是在σ＝10 的時候有一些 比較不明顯的細的暗帶還會有一些 response，但隨著σ增加則那些暗帶由於 contrast 不夠，response 都越來越低，最後就不見了。
σ=20
(a) image with two V-band Mura (b) LOG filter，σ=10
(c) LOG filter，σ=20 (d) LOG filter，σ=30 圖 3.20 帶狀瑕疵大小和 LOG 濾波器大小之間的關係
下面圖 3.21 是一個很細的 V-band Mura 的例子，我們看到在(b)(c)(d)圖中， 隨著σ變大，發生 Mura 的地方，也就是圈起來的部分，值越來越小，到 30 的 時候，都已經比其他不均勻的部分還小了。
(c) LOG filter，σ=20 (d) LOG filter，σ=30 圖 3.21 帶狀瑕疵大小和 LOG 濾波器大小之間的關係
所以我們發現，用σ大的 LOG 可以觀察到大範圍的不均勻變化，也就是比 較寬的 V-band Mura，而σ小的 LOG 則比較可以觀察小範圍的不均勻變化，也 就是比較細的 V-band。接著我們觀察看看整張影像跟不同大小的 LOG filter convolution 之後的結果，如圖 3.22 和圖 3.23，我們可以觀察到寬的 V-band Mura 和細的 V-band Mura 對 filter size 的關係。在圖 3.22 和圖 3.23 裡，我們把可能是 Mura 的程度 normalize 到 0～255，以方便顯示。
(a) original image (b) σ=15
(e) σ=36 (f) σ=43
圖 3.22 通過不同大小的 LOG 濾波器的結果
(a) original image (b) σ=15
(e) σ=36 (f) σ=43 圖 3.23 通過不同大小的 LOG 濾波器的結果
我們可以發現到做完 LOG 的結果可以比較清楚的把 V-band Mura 顯示出 來，也就是說在有 Mura 出現的那條 column 上面，真的對應的可能是 Mura 的程 度都比較強。可見這個方法是可行的。那我們再來看看σ大小和 Mura 寬度的關 係，我們可以發現到像圖 3.21 的小 Mura，到σ＝29 的時候，就已經開始變的 不太明顯了，因為 smooth 的太多，讓細的 Mura 變的不明顯，然而用σ＝15 的 時候我們可以看到，幾乎整條 column 都有很強的可能性，可見如果要偵測這麼 細的 Mura，用的 LOG size 一定不能太大，反觀圖 3.20 我們可以發現有剛好相 反的結果，因為 Mura 都比較寬，所以在σ=15 的時候，整張影像其實看不太出 來哪裡是 Mura，但當σ超過 29 之後就可以看到在有 Mura 的地方特別明顯，所 以結論是我們可以用 LOG 出來的結果當作 Mura 出現的可能性，如果要讓結果 比較準確，我們不能只用一種大小的 LOG filter，所以我們決定用一個比較小的 LOG filter 和一個比較大的 LOG filter，經過最佳化的測試結果，我們選了σ＝17 和σ＝33 兩種 LOG filter，這樣可以含括從細到寬的 Mura。
(c) σ=22 (d) σ=29 (e) σ=36 (f) σ=43 圖 3.24 通過不同大小的 LOG 濾波器的結果 Directional sum： 因為我們要觀察的 band Mura 是一整條直的或是橫的暗帶，我們有了每個點 發生 Mura 的程度值，接著要做的事就是沿著發生 Mura 的方向加總程度值，看 看每個 row 或是 column 會是 Band Mura 的程度，所以如果是 V-band Mura 就做 垂直方向的加總，如果是 H-band Mura 則做水平方向的加總。圖 3.23 和圖 3.24 是我們看圖 3.22 和圖 3.23 加總後的結果。
(a) original image (b) σ=15 (c) σ=22 (d) σ=29 (e) σ=36 (f) σ=43 圖 3.25 通過不同大小的 LOG 濾波器的結果 加總的結果如上面兩圖圖，用圓圈圈起來的部分是三條不同粗細的 V-band Mura 出現最大值的情況，我們可以發現用這樣的結果的確可以有效的分辨出有 Mura 發生和沒有 Mura 發生的地方。 Thresholding ＆ Marking：
上面的結果已經可以得到在有 Mura 發生的那條 row 和 column 上，會有比 較大的值，也就是有比較大的發生可能性，所以我們可以用一個 threshold 來決 定要多大的程度才稱為 Band Mura，這裡應該是採一個固定的 threshold 就可以 了，我們這裡取 threshold 的方法，是先用一組 data 來做 training，找到最好的 threshold，然後就固定用這組 threshold 來做判斷是不是 band Mura 的依據。決定 好哪些位置是 Band Mura 後，就依是 V-band 或 H-band 來把同一 column 或 row 上的點都 mark 起來。這邊我們的設計是讓使用者可以自己選擇要用怎樣的 threshold，如果想要整個判斷比較嚴苛，那 threshold 可以選比較高，那可以把有 band Mura 發生卻判斷成沒有的機率降的非常低，不過會多判斷出一些 contrast 還達不到人眼能分辨出來的 Mura。
上面我們對整個流程的步驟，做了比較詳細的介紹，由實驗結果我們可以發 現這樣的流程的效果還算不錯，偵測的準確率對 real Mura 都有超過八成五的準 確率。下面我們放用這種方法對 real Mura 和我們人工產生的 Mura 的偵測結果。 圖 3.26 是用 pseudo Mura，圖 3.26 是用 real Mura 做出來的結果，用黑色把有 Mura 的地方 Mark 起來。
(a) original (b) detection result
(c) original (d) detection result
(e) original (f) detection result 圖 3.26 用自己模擬的瑕疵偵測後的結果
(a) original (b) detection result
(c) original (d) detection result
(e) original (f) detection result
(i) original (k) detection result
圖 3.27 真實的有瑕疵的面板偵測的結果
這樣的偵測方法可以有效的判斷有沒有 Band Mura 和 Band Mura 發生的位 置。這就是今年度提出的方法。我們也發現到將影像做完 LOG convolution 後產 生的新影像，擁有比原本那張圖更明顯的資訊，更容易可以用來判斷有沒有 Band Mura 在裡面。所以先將圖轉到 LOG convolution 後的 domain 我們發現到，是一 個不錯的方法。
3.1.2.2 Thin Weak Line Mura Detection Algorithm
這邊要偵測的問題，在第二章有描述過了，而且我們可以發現訊號既不寬也不明 顯，是一個蠻難解決的問題。一樣的先從期中報告我們提出的方法來看一下，想 法很間單，跟 Band Mura 方法很像，一樣是想去判斷每個點可能是 Line Mura 的 程度，在期中報告的時候，我們用極值的發生與否來當每個點是否可能是 Line Mura 發生的地方，如圖 3.28 所示，原圖是一張有一條水平方向的 Line Mura 發 生的影像示意圖，我們猜想整張圖的 intensity profile 應該如右邊那張 Intensity Map，在 H-Line 發生的地方有明顯的極值發生，如果這樣的話，我們只要觀察 每個垂直方向的 profile，如下面的那張圖，把極值的地方標記起來，因為 H-Line 是發生在整條 row 上都是極值的位置，所以我們檢查看看每一個 row 裡面含有 的極值數目就可以判斷那個 row 是不是 Line Mura。
Local maximum intensity position Original Image 3D Intensity Map
Vertical Cut Intensity Profile
圖 3.28 開始的偵測概念
由於 Line Mura 的寬度常常只有幾個像素寬，從亮度上來看，其實跟雜訊很 難分開，所以如果想做 smooth 把雜訊去掉，那 Line Mura 也跟著不見，不做 smoothing 的話，則雜訊影響很大，雜訊造成的極值，則會嚴重干擾判斷，所以 這樣的方法，還是沒辦法有很準確的判斷能力。
於是我們想到可以用跟偵測 band Mura 一樣的方法，而且前面討論過，針對 不同大小的 band，如果用大小相近的 LOG filter，會有比較好的效果，因為這裡 要偵測的是 Line Mura，寬度都大約 2～5 個像素，所以我們可以專為 Line Mura 設計一種 LOG filter，讓偵測效果比較明顯，如下圖 3.29，我們選的σ為 2。
圖 3.29 使用的 LOG 濾波器
則下面的方法都跟偵測 band Mura 一樣了，我們先看看經過 LOG filter 後會變成 怎樣，如圖 3.30，
(b) LOG convolution result of (a)
(d) LOG convolution result of (c)
(f) LOG convolution result of (e)
圖 3.30 有水平細線瑕疵通過 LOG 濾波器後的結果
由 上 面 的 例 子 ， 我 們 可 以 發 現 到 在 有 亮 的 的 H-Line 出 現 的 時 候 ， 則 convolution 的結果會是一條黑線，如果是有暗的 H-Line 出現的話，convolution 的結果對應的是一條亮線。我們發現，這些 LOG 的結果由於雜訊影響，整張圖 都很亂，雖然在有 Mura 出現的地方有比較明顯，但由於雜訊很大，使的判斷變 的不容易，如果要做判斷，那下一步就是要做沿著 Mura 發現的加總來觀察每條 row 或 column 是否是 Line Mura，那我們觀察看看加總後的結果，如圖 3.31，
(b) profile of No.75
(c) profile of No.90
圖 3.31 圖 3.30 水平投影的結果
用藍色圈圈起來的是 H-Line Mura 對應的位置，這裡因為 Line Mura 有暗有 亮，所以我們會同時觀察正和負的變化，正的越大則代表暗線越明顯，負的越大 則代表亮線越明顯，我們發現到圈起來的地方，幾乎都是 profile 裡最正和最負 的位置，可見這樣的方法是可行的，不過因為比較弱的 Mura 跟沒有 Mura 發生 的地方，有的不會差很多，所以如果能把它們的差距拉開，則會更容易偵測。 於是我們嘗試了一些影像處理的技術，希望把一些雜訊的部分濾掉，我們考 慮的是 Line 在水平方向的連續性，所以我們希望能藉由這樣的性質，把一些沒 有這樣特性的雜訊濾掉。所以我們考慮了 Line Mura 方向的 median filter，結果
如圖 3.32，圖 3.32 是圖 3.31 的(d)圖經過 median 的結果，我們可以發現到靠著 水平方向連續線特性，我們可以把一些本來就不連續的暗點給濾掉。接著我們考 慮使用 Morphological 的概念， 圖 3.32 通過 Median Filter 的結果 圖 3.33 在圖 3.32 取兩條水平的截線來觀察 我們觀察如圖 3.32 中 Mura 發生的位置和一個沒有 Mura 發生的位置，我們 可以發現如果我們把這兩條 profile 拉的越開，則加總後的結果會越明顯，越容
易偵測，所以我們用一個 max filter 把不是 Mura 那條 profile 裡面雜訊導致的忽 然變小的值拉大，則可以讓整個 profile 跟有 Mura 的 profile 拉的比較開，結果如 圖 3.34，而整張影像經過這些處理後的結果，則如圖 3.35 所示，錯誤! 找不到 參照來源。則是其水平加總後的結果，發現真的有讓信號變的比較明顯。
圖 3.34 在圖 3.35 中的兩條 row profile
圖 3.36 圖 3.35 的水平投影結果
然而這方法，在處理比較不明顯的訊號則不太有改善，如下面圖圖 3.37。 而且用這樣的方法運算複雜度實在太高，也沒有具體的證明這樣做或有比較好的 結果，所以我們覺得不算一種很好的方法。所以下面我們提出一種新的偵測方 法，可以有效的偵測。
(b) LOG convolution result + median filter
(c) LOG convolution result + median filter + max filter
圖 3.37 通過 Median + max filter 後的結果
新的方法主要是想利用 Line 的連續性，我們發現 Line 是整條幾乎都是比較 暗或比較亮的點組成的，我們觀察看看 LOG convolution 的結果，如圖 3.38 所 示，我們發現到在 Line Mura 發生的 row 上面，LOG convolution 出來的值都很 相近，由於前面在討論 Band Mura 的時候有提過，我們用的 filter，convolution 的結果原本暗的地方會變成正值，原本亮的地方會變成負值，經過 normalize 之
後，會變成原本亮的地方變暗，原本暗的地方，變亮。所以我們可以發現圖 3.38 的暗線，應該是對應回原圖的亮線。我們再觀察沒有 Mura 發生的 row profile， 我們發現到整個 profile 蠻雜亂的，一下亮一下暗沒有一個特性。
所以我們的想法是沒有 Line Mura 發生的 row 或是 column，由於沒有特別的 同性質的點聚集，所以經過 LOG convolution 出來的結果由於是雜訊造成的，大 於零或小於零的點數目應該不會相差太多，而有 Line Mura 發生的 row 或是 column，由於是由特別的同性質的點聚集，所以應該會有相同的特性，所以 LOG convolution 出來的結果，如果原本是暗線，就應該要都大於零，如果原本是亮線， 就應該要都小於零，也就是說，大於零跟小於零的數目應該會差很多，下面我們 觀察一下圖 3.39，這是圖 3.30c)圖經過 LOG filter 之後，我們把他大於零的直都 變成 255，小於零的值變成零的結果，我們發現符合上面說的特性。 圖 3.38 LOG Convolution 後的結果
圖 3.39 LOG Convolution 後的結果
居然符合這樣的特性，下一步我們要做的就是來看看每條 row 上暗點和亮點 的比例關係。以圖 3.38 為例，如圖 3.39，橫軸是由上到下每條 row 的位置，縱 軸是每條 row 上面大於零和小於零的點數目的比值，(a)圖是小於零除以大於零， 左邊則剛好相反。
(a) negative / positive (b) positive / negative 圖 3.40 每個 row 裡面 LOG 結果大於 0 小於 0 的比值
我們可以發現，在有 Mura 發生的地方，它們都有相當高的比例關係，可以 很容易的跟沒有 Mura 發生的地方分開，下面我們再多看一些不同的例子，如圖 3.40 和圖 3.40。
(a) No.65 (b) No.11
(c) No.16 (No Line Mura) (d) No.40 (No Line Mura)
圖 3.41 測試影像的原圖
(c) negative / positive of No.11 (d) positive / negative of No.11
(e) negative / positive of No.16 (f) positive / negative of No.16
(g) negative / positive of No.40 (h) positive / negative of No.40
我們可以發現用這樣的方法，很容易可以判斷有沒有 Line Mura 出現，如圖 3.40 我們可以發現，沒有 Line Mura 出現的位置 ratio 都小於 3，很多都介於 1～2 之間，而有 Line Mura 出現的地方通常 ratio 都很大，都超過 4，而大的地方，有 的甚至可以大到快 10 倍，可見這樣很容易可以偵測到 Lin Mura。
下面我們完整的說明一下偵測的流程：
圖 3.43 提出的微弱細線偵測演算法流程
一開始我們藉由觀察跟 Line 發生的方向垂直的 profile，像 H-Line 我們就觀 察垂直方向(column)的 profile，讓 profile 通過一個 LOG filter，我們想觀察看看 每個位置跟附近的比起來，是亮還是暗。然後針對亮或暗的點，我們沿著 Line Mura 發生的方向做計數，看亮點和暗點數量分別多少。接著我們去做亮點暗點 的比例，由比例高低來決定是不是 Line Mura，最後我們用 training 的方式來訓 練出最佳 threshold。決定 threshold，則根據 threshold，我們可以 Mark 有 Line Mura 出現的地方。
這方法可以很快的找到有 Mura 發生的地方，下面我們放幾個偵測後的結 果。左邊是原圖，右邊用白線標示亮的 H-Line Mura，用黑線表示暗的 H-Line， 我們發現偵測效果還不錯，尤其對有沒有 Line Mura 發生的判斷非常準確。 LOG convolution Directional count (positive) Ratio (positive/negative)
Threshold & Mark
Directional count (negative)
3.2 Contrast Based Identification
透過我們提出的偵測方法，我們改進了帶狀瑕疵偵測的效果，且針對以 前不能做的微弱細線瑕疵，我們也可以處理了。帶狀瑕疵用工研院自己模擬 瑕疵產生的影像來測試，我們的準確率有超過九成，以前 Curve Fitting 的方 式只有六成的準確率。然而在處理真實面板的時候，我們的方法準確率只有 七成，為了更進一步提升準確率，我們將 3.1 中最後取 threshold 的部分，先 把標準放鬆，讓更多有可能是瑕疵發生的地方被判斷出來，接著再透過對比 強弱的判定，搭配清大做實驗得到的 JND 值，來判斷是否是可以被看到的瑕 疵。 在這邊我們觀察很多的瑕疵，發現它們都有漸進性的增減，在瑕疵的地 方看起來很像是一個本來沒有瑕疵的的平緩區域加入一個 Gaussian 的瑕疵， 如圖 3.45。所以下面我們先簡單的選用 Gaussian 來模擬這些瑕疵的形狀。+
Original image with mura Pseudo image with mura removal
圖 3.45 瑕疵形狀的模擬 整個對比判斷的過程分下面三步，一開始先去找到比較準確的位置和大 小，接著第二步去計算那個瑕疵發生的區域對比值多少。最後一步由清大的 實驗去決定瑕疵在這樣的大小應該需要多強才可以感覺的到，最後一步是一 個 threshold 的機制。
3.2.1 Position Refinement
這邊主要是要去細調一下瑕疵發生的地方，還有它的大小，以便之後的 對比計算。前面的作法可以大約找到瑕疵發生的位置，因為是用取 threshold 方式決定的，這樣通常只是找到訊號比較強的地方，而沒有找到整個瑕疵的 地方，所以我們修正一下找到的位置。Original Image Vertical Projection Profile
The LOG Result of Vertical Projection Profile 圖 3.46 修正瑕疵的位置和大小
修正的方法如上圖，本來找到的區域是只有黑色地方圈起來的部分，但 是瑕疵通常成漸進狀，實際上包含的部分應該是從黑點到黑點的二次微分
同性質極值點的距離。也就是下方的箭頭長度。經過這個步驟後我們可 以知道比較準確的位置和長度了。
這邊我們要注意，通過 LOG 濾波器，其實可以看成是先通過一個 Gaussian 濾波器，再做二次微分。所以如果我們想要知道實際上瑕疵的大 小，我們必須要回推到還沒有通過 LOG 的訊號長怎樣。我們利用兩個 Gaussian convolution 的結果還是 Gaussian，可以回推回原本的 Gaussian 的高 度還有標準差。
3.2.2 Contrast Evaluation
由前面的步驟，最終我們可以把有瑕疵的訊號拆解成一個沒有瑕疵的情 況再加上一個 Gaussian 的訊號。如圖 3.47 所示，+
＝
Profile without Mura Mura Profile
Profile with Mura
圖 3.47 對比計算示意圖
那我們要去計算瑕疵發生的地方的對比，這邊採用清大人因實驗的對 比，因為接下來要決定能不能看到的時候，我們是採用清大的實驗，所以要 採一樣的對比定義。對比定義是瑕疵的最大值跟背景的比值。
3.2.3 Threshold Determination
我們想要有一種符合人眼的 threshold 機制，所以我們引用清大的人因 實驗結果，如圖 3.48，
contrast threshold of bands
width(degree) 0.01 0.1 1 10 100 cont rast t h resh old(d B ) -60 -50 -40 -30 -20 -10 v-band h-band 圖 3.48 帶狀瑕疵和微弱細線瑕疵的 Contrast Threshold 由這個圖我們可以得到，不同寬度的帶狀瑕疵，應該需要多強的對比才 能看的到。那這邊包含了微弱細線的瑕疵，因為我們可以把他當成是一個很 細的帶狀瑕疵。這邊的寬度，是由視角決定，所以就等於還有考慮距離的問 題，在不同的距離看到的東西應該會不一樣。我們可以把瑕疵對應到的點 數，回推到對應的視角，這樣我們就可以知道對應的 Contrast Threshold 了。 我們的論文是去模擬檢測員看到的結果，因為檢測員距離螢幕是 30 公 分，所以我們也去模擬在 30 公分下人可以看到的結果，那超過 Contrast Threshold 的訊號，我們就標記起來，並且記錄它的對比，代表那是人看的 到的訊號。
Chapter 4 Experimental Results
這邊我們會放上幾張最後偵測的結果，我們是用標準差 20 和 40 的 LOG 濾波器來做帶狀瑕疵的偵測，用標準差 5 的 LOG 濾波器去做微弱細線的偵 測，要模擬的是檢測員在 30 公分的位置看的結果。有瑕疵的地方我們用黑 色的方塊標記起來。並且會算出對應的對比強弱。
4.1 Band Mura Results
Original image Result image
Contrast Result
Original image Result image
Contrast Result
4.2 Thin Weak Line Mura Results
Original image Result image
Contrast Result
Original image Result image
Contrast Result
Chapter 5 Conclusions
我們提出了一個以人眼對比為基礎的瑕疵檢測系統，這個系統可以有效 的找出各種瑕疵發生的位置，並且以符合人眼的方式，去判斷瑕疵嚴重的程 度。我們的系統完成了下面幾件事情。 1. 水平帶狀瑕疵和垂直帶狀瑕疵的偵測 2. 水平微弱細線瑕疵和垂直微弱細線瑕疵的偵測 3. 窗簾瑕疵的偵測 4. 模擬不同距離下，人對面板上的帶狀瑕疵明顯程度的感覺 5. 模擬不同距離下，人對面板上的微弱細線瑕疵明顯程度的感覺Reference
[1] K Taniguchi, K Ueta, S Tatsumi, “A Mura Detection Based on the Least Detactable Contrast of Human Vision,” International Conference on Computer
Vision and Graphics, Vol. 32, pp. 1024-1030, 2004.
[2] K. Taniguchi, K. Ueta and S. Tatsumi, “A detection method for irregular lightness variation of low contrast”, IEEE International Conference on Systems,
Man and Cybernetics, Hague, Netherlands, pp. 6401-6406, 2004.
[3] Kyu N. Choi, Jae Y. Lee, and Suk I. Yoo, “Area-mura detection in TFT-LCD panel,” Proceedings of SPIE, Vol. 5300, pp. 151-158, April 2004.
[4] SI Baek, WS Kim, TM Koo, I Choi, and KH Park, “Inspection of defect on LCD panel using polynomial approximate,” 2004 IEEE Region 10 Conference, Vol. A, pp. 235-238, 2004.
[5] Shin-Min Chao, Du-Ming Tsai, Yan-Hsin Tseng, Yuan-Ruei Jhang, “Defect detection in low-contrast glass substrates using anisotropic diffusion,” 18th
International Conference on Pattern Recognition (ICPR’ 06), pp. 654-657,
2006.
[6] JS Ryu, JH Oh, JG Kim, TM Koo, and KH Park, “TFT-LCD panel Blob-Mura inspection using the correlation of wavelet coefficients,” 2004 IEEE Region 10
Conference, Vol. A, pp. 219-222, 2004.
[7] KB Lee, MS Ko, JJ Lee, TM Koo, and K Park, “Defect detection method for TFT-LCD panel based on saliency map model,” 2004 IEEE Region 10
Conference, Vol. A, pp. 223-226, 2004.
[8] DM Tsai, YH Tseng, SM Chao, and CH Yen, “Independent component analysis based filter design for defect detection in low-contrast textured images,” 18th
International Conference on Pattern Recognition, pp. 231-234, 2006.
[9] Watson, A. B. (2000). “Visual detection of spatial contrast patterns: Evaluation of five simple models,” Optics Express, 6(1), 12-33. 2000
[10] Y Zhang, J Zhang - Neural Networks and Brain, “A fuzzy neural network approach for quantitative evaluation of mura in TFT-LCD,” International
Conference on Neural Networks and Brain, Vol. 1, pp. 424-427, 2005.
[11] T Tamura, T Satoh, T Uchida, and T Furuhata, “Quantitative Evaluation of Luminance Nonuniformity "Mura" in LCDs Based on Just Noticiable Difference (JND) Contrast at Various Background Luminances,” IEICE Transactions on
Electronics, 2006, Vol. E89-C, No. 10, pp. 1435-1440.
灣薄膜電晶體液晶顯示器產業協會委託學術機構研究期末報告 2006. [13] Y. Mori, R. Yoshitake, T. TaMura, T. Yoshizawa and S. Tsuji, “Evaluation and
Discrimination Method of "Mura" in Liquid Crystal Displays by Just Noticeable Difference Observation,” Proc. of SPIE, vol. 4902, pp. 715-722, 2002.
[14] Li-Te Fang, Hsin-Chia Chen, I-Chieh Yin, Sheng-Jyh Wang, Chao-Hua Wen, Cheng-Hang Kuo, “AUTOMATIC MURA DETECTION SYSTEM FOR LIQUID CRYSTAL DISPLAY PANELS,” Proc. of SPIE, Vol. 6070, Jan 2006. [15] T. N. Comsweet, Visual perception, Academic Press, 1970.
[16] P. Moon and D. E. Spencer, "The specification of foveal adaptation," J. Opt. Soc.
Am., vol. 33, pp. 444-456, 1943.
[17] O. Lilles&m. '"Complex contrast, a definition for structured targets and backgrounds", J. Opt. Soc. Am. A, vol. 10, no. 12, pp. 2453-2457, 1993.
[18] E. Peli, “Contrast in complex images”, J. Opt. Soc. Am. A, Vol. 7, pp. 2032-2039, October 1990.
[19] E. Peli, “In search of a contrast metric: Matching the perceived contrast of Gabor patches at different phases and bandwidths,” Vision Research. 37(23), pp. 3217-3224, 1997.
[20] Dauphin G., Beghdadi A., de Lesegno P.V., “A local directional bandlimited contrast,” Proceedings of Seventh International Conference on Signal
