第二章 文獻探討
2.4 影像處理技術
2.4.2 數學形態學 (Mathematical Morphology)
形態學這個字通常表示處理動物和植物結構形狀的生物學分支。而此小節所
其中，A 代表灰階影像，B 為進行影像之膨脹和侵蝕的結構元素。從膨脹運 2.4.3 Blob 分析(Blob Analysis)
所謂的 Blob(Binary Large Object)，是指在一張影像上具備相同條件或屬性的
以下是 Blob 分析常用的幾個基本步驟【9】：
1. 盡可能去除影像中的雜訊，取得最佳影像；
2. 讓影像背景與 Blob 清楚分離。通常利用二值化(Binarize)將背景的 灰階值設為0，而將 Blob 的灰階值設為大於 0；
3. 利用形態學(Morphology)將影像多餘的雜訊去除；
4. 設定 Blob 互相接觸的條件(四相鄰或八相鄰)；
5. 計算指定的特徵值，並分析結果。
2.4.4 圖形的中軸偵測(Medial Axis Detection)
中軸偵測的主要目的在於將一個物體簡化以取得圖形的骨架(Skeleton)，用 以 表 示 一 個 平 面 圖 形 的 結 構 形 狀 ， 通 常 稱 為 細 線 化(Thinning) 或 骨 架 化 (Skeletonization)演算法。此類演算法的主要應用在於：
1. 減少物體的資料量；
2. 簡化物體的邊緣以得到有用的特徵，以應用到圖形識別及分類。
另外，將物體轉換為骨架的基本特性為減少物體邊緣的局部雜訊。
Gisela Klette【11】將眾多的骨架化演算法依據處理方式的不同分為三大類：
1. 依據距離轉換法(Distance Transform)所得到的距離骨架(Distance Skeleton)，此 骨架是由物體中所有的最大內接圓盤的圓心所構成，每一個內接圓盤至少與 物體邊緣接觸兩個點以上，如圖2.5 所示：
圖2.5 最大內接圓盤示意圖【12】
2. 以非迭代(Non-Iterative Way)方式的演算法所得到的骨架，概念為物體經由一 次處理將骨架的關鍵點找出，再將所得到的關鍵點以特定的路徑連結，即得 到骨架。
3. 由迭代(Iterative Way)方式的演算法所得到的骨架，由於處理過程是由數階段 的判斷式反覆循環的將物體邊緣削減，因此又稱為剝皮法。此類方法的特點 為所得到的骨架保存了原始物體的拓撲(Topology)性質，例如物體的連通性、
影像部分的數目、空洞的數目以及物體與空洞的關係。
中軸偵測有許多種處理的方法，在此以 Blum【13】於 1967 年所提出的中軸 轉換法(Medial Axis Transform，MAT)與 Zhang 與 Suen【14】於 1984 年所提出 的細線化演算法(Parallel Thinning Algorithm)來做介紹。
1. 中軸轉換法
在探討中軸轉換法之前，有必要對數位影像中的距離度量(Distance Metric) 做一說明：
定義1. 對座標平面上p( yx, )、q( ts, )與z( vu, )三點像素而言，符合下列條件的 距離函數 D 稱為度量(Metric)：
(a)D(p,q)≥0 (D(p,q)=0if and only if p =q) (2-10) (b)D(p,q)=D(q,p) (2-11) (c)D(p,z)≤ D(p,q)+D(q,z) (2-12) 定義2. p, q 間的歐幾里德距離(Euclidean distance)定義如下：
D(p,q)= (x−s)2 +(y−t)2 (2-13) 上式為 p 與 q 兩點的直線距離長度，並且滿足定義 1 的屬性，然而，若 是侷限於網格上的像素點，則歐幾里德距離可能不適用，這時可以使用 4-連通及 8-連通路徑的定義如下：
定義3. 對於 p 與 q 之間的距離存在有一序列的格點p= p0,p1,p2...,pn =q，並 且pi與pi−1之間存在α 相鄰的關係，1≤i≤n且α=4, 8，則
4-連通路徑：D4(p,q)=|px −qx|+|py −qy| (2-14) (Distance Transform Image)，最後再依照由左到右、由上到下的順序掃描T 影像，
若滿足下列判斷式則保留為骨架T ： *
2. 細線化演算法
因此，細線化演算法的迭代過程由如下的步驟組成：(1)標記欲刪除的輪廓 點；(2)刪除做過標記的點；(3)標記其餘欲刪除的輪廓點；(4)再次刪除做過標記 的點。這些基本步驟迭代使用，直到不再有刪除點為止，即可得到圖形的骨架。
圖2.9(c)為字體 H 細線化之後的結果。
(a) (b) (c) 圖2.8 對字體H細線化之結果【14】
中軸偵測至今已提出種類相當多的演算法，然而，在實際的應用上都是有特 定範圍，並且依據所要處理對像的不同而採用不同的演算法，因此，沒有可處理 所有問題的最佳方法。本研究擬採用Zhang 與 Suen【14】之細線化演算法，並 且針對此方法所產生的中軸會有縮短及偏離的情形，提出一套修補中軸的機制以 產生符合本研究所需的中軸資訊。
第三章 研究方法設計
目前業界所使用的打線機台，其打線之精確度相當高可達±2μm (From www.kns.com)，故本研究提出一前提為，打線機台能夠依照校正後的打線端點 座標準確的打到導線架上，而本研究亦依此假設以發展適用於導線架(Leadframe) 之多層次打線端點校正系統，針對下列在多層次打線時容易發生的兩項問題進行 研究，分別以檢測系統架構、檢測方法及校正方法進行說明。
(1) 金線端點沒有完整的打在 CAD 圖指定的引腳上，會造成金線端點容易彈開 而造成損壞。
(2) 金線端點打在 CAD 圖指定的引腳上，但端點與墊片的距離較原先 CAD 圖指 定的距離來得遠或近，若較遠則需要較長的金線連接引腳與墊片，會導致成 本增加，若較近則端點可能過於接近引腳下緣，造成端點有彈開損壞之虞。
3.1 檢測系統架構設計
檢測系統架構可以分為軟體控制及硬體環境之設計，由於已完成打線程序 的元件無法重新加工或修復，故本研究利用虛擬打線技術與影像處理方法，以 離線作業的方式在實際進行打線作業前，拍攝導線架的影像並校正打線端點資 訊。
3.1.1 硬體架構
檢測系統的硬體架構概念如圖 3.1 所示，並分述如下：
圖3.1 檢測系統硬體架構示意圖
1. X-Y Table：經由 Driver Controller 控制，負載 CCD 及 LED 環形光源(Ring
以高解析度重建導線架的影像，主要功能為提供程式模擬實際打線端點於引 腳上的情形，藉以校正偏異的端點至正確可靠的位置，圖3.2 為將導線架各子影 像結合成一完整影像的流程圖。
移動X-Y Table至固定位置
是 影像二值化
建立Pattern Matching法 之Model
以不同重疊區域訓練 影像結合之最適Model
選取Match Score最高 之Model進行影像結合
是否完成影像 結合作業
是 否
儲存影像 是否完成取像作業
取像 否
取像前各機構之設定
圖3.2 導線架影像結合流程圖
3.1.2.1 取像前各機構之設定
在尚未進行取像前，需要對取像環境進行調整設定，在 X-Y Table 的操作方 面，先將機台的X 及 Y 軸兩機械手臂歸零校準，以確保每次取像時，移動的精 密度不會受到上一次取像移動所產生的微小機械誤差所影響；在光源設定方面，
光源的強弱對於取像的品質有相當大的影響，太強的光源會使得影像中物體的邊 緣輪廓被光線侵蝕，太弱的光源則使得影像中的物體與背景無法清楚的區分；其 它如載台的位置及水平度、鏡頭的放大倍率等皆需進行調整，以取得良好的影 像，減低後續作業的複雜度。
3.1.2.2 取像方式
本研究於取像階段使用ㄇ字型取像方式，將一張導線架分成左上圖、右上 圖、右下圖及左下圖四區塊進行取像，如圖3.3 所示；接著在導線架影像結合的 階段，考量所需影像為高解析度及低失真的特性，採用影像比對(Pattern Matching) 技術領域之相關係數法(Correlation Coefficient Method)(請參見第二章文獻探討 2.4.1.1)，在鄰接的影像中找出樣板(Model)相對應的位置，依此位置將影像之重 疊區域做適當的疊合，如圖3.4 所示。
圖3.3 ㄇ字型取像方法
圖3.4 影像結合示意圖
(a)灰階影像 (b)灰階直方圖 (c)取閥值=110 之二值化結果 圖3.5 二值化前後影像之變化
3.1.2.4 比對樣本之選取
由於每一張導線架具有引腳環繞著中心排列的特性，並且每一根引腳之角度 與形狀不盡相同，在辨識上具有獨特性，故取引腳作為比對樣本；參考圖 3.4，
第一張影像稱為來源影像(Source Image)，而第二張影像稱為目標影像(Target Image)，我們在來源影像的重疊區域內選取比對樣本，選取方式如圖 3.6 所示。
圖3.6 選取比對樣本示意圖 (a)來源影像
(b)框選處放大圖
比對樣本的長度必須包含圖 3.6(b)中的上方引腳處，以及下方 IC 底座兩部 份，且由於X-Y Table 在移動時，可能產生些許機械誤差，因此兩張鄰近的影像 重疊區域之寬度可能不會與來源影像之寬度一樣，可參照圖3.4 所標示機械誤差 之偏移處。考慮機械誤差所產生影像偏移的程度，將比對樣本的長度設定為來源
影像寬度的95%，以涵蓋比對所需區域；而比對樣本之寬度設定可參考圖 3.6(b)，
箭頭所指處為來源影像寬度的95%處，由右而左的去計算灰階值 255→0(白色為 背景→黑色為引腳)此種灰階變化的次數，於第一次變化處之灰階值 0 的座標，
記為比對樣本之右邊緣(p1)，而第二次變化處之灰階值 255 的座標，記為比對樣 本之左邊緣(p2)，左邊緣與右邊緣所夾之距離(|p1-p2|)，即為研究中所定義的一根 引腳的寬度。
由於導線架之引腳的寬度與形狀變化多且複雜，對於影像比對時要使用多少 根引腳作為比對樣本之寬度不易分類，舉例來說：若只以一根引腳做比對樣本，
則寬度細且窄的引腳資訊過少，若以多根引腳做比對樣本，則寬度較粗的引腳容 易超出重疊區域，兩種情形都會產生不佳的影像結合結果。
有鑑於上述原因，本研究使用窮舉法及上述所說明的引腳寬度之定義方法，
取一到十根引腳作為比對樣本，進行影像結合訓練，可以得到十組不同的相似度 值(Match Score)，取其中相似度值最高的比對樣本進行影像結合，完成後則儲存 影像。圖3.7 所示為影像結合的順序。
圖3.7 影像結合順序
3.2 檢測打線端點演算法
由於導線架在製程中精密度的不足，常造成導線架實體之每一根引腳的形 狀、位置與CAD 圖間存在些許偏異，此節主要說明如何偵測出導線架影像上每 一根引腳之中軸，做為可靠的打線校正位置，並且將CAD 圖上的打線端點座標 經由旋轉及縮放找出在導線架上相對應的位置，以找出沒有正確落在引腳中軸的 端點座標，之後將於3.3 節說明如何進行端點校正作業。圖 3.8 為檢測打線位置 與校正流程圖。
檢測與校正打線端點
讀入已結合好之 導線架影像
對導線架影像進行旋轉 校正至與CAD圖同角度
對導線架影像 做二值化處理
以Blob分析擷取引腳圖形 及去除雜訊
將引腳影像進行 細線化以求得各引腳之中軸
校正CAD圖之打線端點座標 至引腳中軸
儲存校正端點座標資訊
圖3.8 檢測打線位置與校正流程圖