國立交通大學
工業工程與管理學系碩士班
碩士論文
導線架多層式打線端點自動校正之光學檢測系統設計與開發
Design and Development of an AOI System for Auto Correcting the
Bonding Positions of Multi-layer Wire IC
研究生：沈威廷
指導教授：彭德保 博士
導線架多層式打線端點自動校正之光學檢測系統設計與開發
Design and Development of an AOI System for Auto Correcting the BondingPositions of Multi-layer Wire IC
學生：沈威廷 指導教授：彭德保 博士 國立交通大學工業工程及管理學系碩士班
中文摘要
焊線接合(Wire Bonding)--俗稱打線是 IC 封裝中的一道製程，目的是依照 R&D 部門所設計附有打線資訊的 CAD 圖，讓打線機台讀取打線資訊，利用打線 技術以金線連接 IC 晶片上的 I/O 墊片(Pad)與導線架之引腳(Lead)，使得電子訊 號得以傳輸；然而導線架製程在精密度上的不足，使得導線架與CAD 圖之間存 在些許偏異，常導致錯誤的打線結果。 針對多層式打線常發生的三種錯誤情形：1.金線端點沒有完整的打在 CAD 圖指定的引腳上，造成金線端點容易彈開而造成損壞。2.金線端點打在 CAD 圖 指定的引腳上，但端點與墊片的距離較原先CAD 圖指定的端點與墊片的距離來 得遠或近，3.由人工校正偏離引腳中軸的打線端點可能產生的人為誤差，造成實 際打線出現錯打線的情形。本研究設計與開發一套打線端點自動校正系統，以虛 擬打線技術模擬實際打線端點在導線架上的位置，在尚未實際打線前，偵測出引 腳中軸位置以作為端點校正之基準，並自動校正錯誤與偏離的打線端點，對於端 點校正之效率與正確性有極高的幫助。 關鍵字：導線架；電腦視覺；自動光學檢測；檢測打線端點Design and Development of an AOI System for Auto Correcting the Bonding Positions of Multi-layer Wire IC
Student：Wei-Ting Shen Advisor：Dr. Der-Baau Perng Department of Industrial Engineering and Management
National Chiao Tung University
Abstract
Wire bonding, a process of the IC packaging, enables the electronic signal be transmitted between the IC chip and the Leadframe. However, because of the insufficient precision of the Leadframe, deviations between the CAD diagram and the Leadframe are unavoidable that result in wrong bonding.
Common errors of multi-layer wire bonding were: (1) The gold wire was not bonded on the lead completely. The end point of the wire was prone to flip from the lead; (2) The gold wire was bonded on the lead, but the wire length between the lead and the pad was either longer or shorter than the original one that was suggested by CAD diagram; (3)Wire was bonded onto the wrong lead caused by human error. In this thesis, an AOI system for auto-correcting the bonding positions of multi-layer wire IC was proposed. A virtual wire bonding technique was used to simulate the real bonding positions. The median axis of each lead must be determined before the real bonding process and then adopted for auto-correcting the wrong bonding positions. The proposed method was efficiency and robust for correcting the bonding positions.
Keywords：Leadframe, Machine Vision, Automated Optical Inspection, Bonding
致謝
首先感謝 彭德保教授這兩年來給予的指導與勉勵，在過程中提供專業知識 與實驗設備等充份資源，使研究能順利進行，並且老師在研究態度、方法上的執 著皆是我所學習的目標，另外，感謝諸位口試委員提出寶貴的建議，使得本論文 更趨完善。 感謝博士班恕明，彥仲、思翰學長，總是不吝於提供專業的知識與建議，並 且耐心的指導，給予研究相當大的幫助。也感謝曉薇、貴祺、元碩、敬堯、文政 同學，不論是挑燈夜戰而睡在實驗室的那些夜晚，或是一同出外遊玩的歡笑與汗 水，一直都有你們相伴，是很珍貴的回憶。感謝實驗室的學弟妹國書、晴晴，在 低潮的時候給實驗室帶來活力。 感謝提供此研究計畫的日月光半導體製造股份有限公司 李恕明經理，給予 導線架樣本及半導體封裝的專業知識與經驗，使本研究能更趨近於實務，並在表 達方面使我的簡報能力更清楚出色。 最後要感謝我的父母、家人及女朋友郁柔，在碩士兩年的過程中，給予心靈 層面的支持及鼓勵，讓我能夠全心全意的專著在研究上，希望能與你們共同分享 這份成果與喜悅。 沈威廷 於交通大學工業工程與管理學系電腦視覺實驗室 民國九十八年七月目錄
中文摘要... I Abstract... II 目錄...IV 圖目錄...VI 表目錄...IX 第一章 緒論...1 1.1 研究發展動機...1 1.2 研究範圍與目的...4 1.3 論文架構...5 第二章 文獻探討...6 2.1 多層次打線檢測...6 2.2 視覺系統架構...7 2.3 光源照明系統...8 2.4 影像處理技術...9 2.4.1 影像比對(Image Registration)...92.4.1.1 相關係數法(Correlation Coefficient Method) ...10
2.4.2 數學形態學 (Mathematical Morphology) ...11
2.4.3 Blob分析(Blob Analysis)...12
2.4.4 圖形的中軸偵測(Medial Axis Detection) ...13
第三章 研究方法設計...18
3.1 檢測系統架構設計...18
3.1.2 軟體架構 ...19 3.1.2.1 取像前各機構之設定 ...21 3.1.2.2 取像方式 ...21 3.1.2.3 影像二值化 ...22 3.1.2.4 比對樣本之選取 ...223 3.2 檢測打線端點演算法...25 3.2.1 旋轉校正導線架影像之方法 ...26 3.2.2 擷取引腳資訊及去除雜訊之方法 ...27 3.2.3 引腳中軸偵測演算法 ...30 3.3 端點校正演算法...36 3.4 編修打線端點資料...40 第四章 系統驗證與結果...42 4.1 實驗設備...42 4.2 實驗環境...42 4.3 系統整合實驗...44 4.3.1 影像結合比對樣本選取實驗 ...45 4.3.2 人工與自動校正時間之比較 ...47 4.3.3 打線端點校正實例驗證 ...48 4.3.4 打線端點編修實例驗證 ...51 第五章 結論與建議...54 5.1 研究結論...54 5.2 後續研究探討與建議...54 參考文獻...56
圖目錄
圖1.1 附有打線資訊的CAD圖 ...2 圖1.2 打線情形...3 圖1.3 CAD圖之打線位置標示 ...4 圖2.1 多層次打線影像...6 圖2.2 典型的視覺系統基本架構...7 圖2.3 常見的光源照明方式...8 圖2.4 四近鄰與八近鄰關係...12 圖2.5 最大內接圓盤示意圖...113 圖2.6 利用不同距離定義轉換而得的骨架...15 圖2.7 細線化演算法所使用的鄰域排列...16 圖2.8 對字體H細線化之結果...17 圖3.1 檢測系統硬體架構示意圖...18 圖3.2 導線架影像結合流程圖...20 圖3.3 ㄇ字型取像方法...21 圖3.4 影像結合示意圖...22 圖3.5 二值化前後影像之變化...23 圖3.6 選取比對樣本示意圖...223 圖3.7 影像結合順序...24 圖3.8 檢測打線位置與校正流程圖………..25 圖3.9 參考點選取示意圖...26 圖3.10 二值化處理...27 圖3.11 導線架影像中之異物...28 圖3-12 箱型圖 ...28 圖3.13 離群值判斷示意圖...29圖3.14 引腳區域之影像...29 圖3.15 中軸偵測之流程...30 圖3.16 初次編碼影像...31 圖3.17 重新指派編碼示意圖………31 圖3.18 角度對應示意圖...32 圖3.19 引腳中軸偏離、縮短與骨刺情形...32 圖3.20 引腳侵蝕前後之變化...33 圖3.21 引腳中軸偏離及縮短情形...34 圖3.22 截取中軸資訊示意圖………34 圖3.23 中軸末端點影像...34 圖3.24 移除中軸偏離處之結果...35 圖3.25 中軸末端點延伸示意圖...36 圖3.26 中軸修復結果………36 圖3.27 校正打線端點流程圖...36 圖3.28 CAD影像 ...37 圖3.29 具打線資訊之文字檔案………37 圖3.30 偵測IC底座中心座標示意圖...38 圖3.31 轉換後之端點於引腳之情形...39 圖3.32 對應於圖 3-31 之CAD影像...39 圖3.33 校正打線端點示意圖...39 圖3.34 引腳較CAD縮短示意圖 ...40 圖3.35 引腳較CAD增加示意圖……….……….40 圖3.36 引腳過度侵蝕情形...40 圖3.37 警示區域...41 圖3.38 警示訊息...41 圖4.1 承載平台...43
圖4.2 正光源取得的導線架影像...43 圖4.3 背光源取得的導線架影像...44 圖4.4 取像硬體架構...44 圖4.5 實驗流程...45 圖4.6 機械誤差示意圖...46 圖4.7 人工與自動校正時間比較...47 圖4.8 實例一...49 圖4.9 實例二...50 圖4.10 實例三...52 圖4.11 實例四...53 圖5.1 Substrate底板...55
表目錄
表4-1 機械誤差佔取得影像百分比整理結果 ...46 表4-2 端點校正所需時間整理表 ...47
第一章 緒論
1.1 研究發展動機半導體工業為現今全球成長快速的工業之一，隨著人們對於電子零件的需求 日益提高，使得半導體工業無論是軟體及硬體方面的技術皆成長得十分迅速，而 代工場聚集的台灣更是將半導體工業視為經濟發展的重點產業。
IC 封裝(Integrated Circuit Packaging)屬於半導體工業的後段製程技術，即將
晶圓切割出的IC 晶片送到封裝廠進行加工包覆，其主要目的為避免環境中的溼 氣及塵粒與晶片直接接觸而造成腐蝕失效的情況，並且可以保護內部的電路不輕 易受外力撞擊而損壞。電子設備系統是由一般規格或訂製規格的半導體積體電路 元件構裝而成，其構裝層級可分為六個層級【2】，分述如下： 1. 第一層級(Level.1) 指半導體積體電路元件(Chip)本身，在此層級晶片型態是屬於裸晶(Bare Chip)，是沒有經過任何加工的； 2. 第二層級(Level.2) 將第一層級的晶片進行封裝，可分為密封單一裸晶的單晶片封裝(Single Chip Package)以及氣密密封複數裸晶的多晶片模組(Multi Chip Module)；
3. 第三層級(Level.3) 將第二層級的封裝晶片裝構於印刷電路板上，形成電路卡(Card)； 4. 第四層級(Level.4) 取數片電路卡，將該印刷電路板的連接器插入諸如主機板等大型印刷電路板 的連接器群，即構成部件； 5. 第五層級(Level.5) 將部件進行堆疊，並於各部件間施行配線，構成次系統； 6. 第六層級(Level.6) 並列數個次系統後，於各系統間施行配線，構成完整的電子設備系統；
銲線接合(Wire Bonding)是第二層級中的一道製程，目的是依照 R&D 部門所 設計出的附有打線資訊之CAD 圖(如圖 1.1 所示)，讓打線機台讀取打線資訊，再 利用打線技術以金線連接 IC 晶片上的 I/O 墊片(Pad)與底板之引腳(Lead)，使得 電子訊號得以傳輸；常見的底板有兩種，分別是導線架(Leadframe)與基板 (Substrate)。 (a) CAD 圖 (b) a 圖中框選區域之放大圖 圖1.1 附有打線資訊的CAD圖【1】 目前製作導線架的方法為工廠依據 CAD 圖上導線架的樣式以沖壓或蝕刻的 方式製造，其中，沖壓為一項機械的製程，若用來沖壓的模具設計不良或刀具不 利，則會使得製造出來的導線架有毛邊與變形的現象，蝕刻製程主要利用光罩與 光阻以曝光顯影的方式將銅片上不需要的位置露出，再以化學藥劑蝕刻掉不需要 的部份，而由於化學藥劑的濃度不均以及銅片上不同位置的蝕刻速度不相同，均 會使得製造出來的導線架與CAD 圖存在變異。 此外，由於導線架在製程精密度上的限制，封裝廠視產品的精細度與否所設 定的允收規格約為± 0.8 mil ~ ± 2 mil (1mil=25.4μm)之間，導線架廠商配合自家的
設備與製造能力，在光罩設計上以封裝廠提供的原始CAD 圖為基準稍作調整，
預留蝕刻與後續電鍍程序所需的厚度，以使得最終成品的尺寸能盡量與封裝廠的
由於上述導線架的加工誤差，使得導線架上每一根引腳的形狀與位置與 CAD 圖存在少許偏異，故將 CAD 圖上的打線端點座標轉換到實際導線架影像 後，端點可能偏離引腳中軸，造成實際打線時可能出現以下兩種錯誤情形： 1. 金線端點沒有完整的打在 CAD 圖指定的引腳上，造成金線端點容易彈開而 造成損壞。 2. 金線端點打在 CAD 圖指定的引腳上，但端點與墊片的距離較原先 CAD 圖指 定的端點與墊片的距離來得遠或近，若較遠則需要較長的金線連接引腳與墊 片導致成本增加，如圖1.2(b) 所示；若較近則端點可能過於接近引腳下緣， 造成端點有彈開損壞之虞。 延續上述打線端點偏離引腳中軸的問題，傳統是以人工比對 CAD 圖與導線 架影像上的端點位置，並且以人工校正其偏離引腳中軸的端點座標；此外，CAD 圖在設計時為方便線上人員觀看，讓CAD 上同一根引腳的多根線能清楚分辨， 不會因重疊而誤判而刻意使彼此間有空隙而不在引腳中軸上(如圖 1.3 所示)，故 在打線端點由CAD 圖轉換到導線架影像上之後，需再以人工將端點校正至引腳 中軸上；然而導線架上常有上百個打線端點，人工校正容易產生人為誤差而將端 點校正至錯誤的引腳上，故實際打線時可能出現問題3 所述的錯誤情形： 3. 金線端點(Bonding Ball)打在錯誤的引腳或是沒有打在任何引腳上，造成損 壞，如圖1.2(c)所示。 (a)打線正確之影像 (b)端點打在引腳較高處 (c)打線至錯誤引腳影像 圖1.2 打線情形【1】
(a) CAD 圖 (b)框選區域放大圖 圖1.3 CAD 圖之打線位置標示 由於完成打線程序的元件無法重新加工，故即使在打線程序後發現該元件存 在上述問題1 與 3 時，也只能丟棄報廢無法修復，而問題 2 若打線端點較遠，雖 不影響元件的功能但累積的金線成本造成的損失仍不容忽視。 有鑒於上述的問題，本研究希望利用電腦視覺(Computer Vision)的自動光學 檢測(Automatic Optical Inspection , AOI)技術，開發一有效、快速、穩定的系 統，該系統能夠校正打線端點至正確可靠的位置，以避免上述問題的發生，降低 成品的不良率與損壞成本。 1.2 研究範圍與目的 李恕明【1】針對 1.1 節中所提到的問題 3 已提出一套 BPC (Bonding Position Check)演算法來解決，在尚未實際打線前利用母機台與子機台的虛擬打線圖，依 照打線順序比對兩者的每一根金線的端點編碼是否相同，藉以校正沒有正確的依 照CAD 圖上的打線資訊打在指定的引腳上的金線。 然而，由於上述的 BPC 演算法是檢查虛擬打線圖的打線端點座標是否位於 CAD 圖指定的引腳座標上，只要打線端點座標落在指定的引腳上即視為正確， 並未進一步探討其端點座標是否位於引腳上可靠的位置，因此仍然會出現問題1 及問題 2 所述的情形；本研究承接其虛擬打線的概念，針對前述的問題進行研
究，在實際打線前校正其虛擬打線圖上的打線端點座標至引腳之中軸，避免實際 打線時端點打到引腳邊緣，使得端點與引腳的黏著力不足造成彈開而損壞元件； 另外在自動將端點校正到引腳中軸後，提供一機制讓操作人員可以調整端點在中 軸上的位置，以因應問題2 所提到的打線問題，且以自動校正取代人工校正可避 免有人為誤差的問題產生。 1.3 論文架構 本論文架構的章節安排如下：第一章為緒論；第二章為文獻探討，介紹本研 究所提之自動光學檢測系統中硬體、軟體以及在演算法中所使用到的相關影像處 理方法；第三章為本論文之研究方法，內容主要為找出引腳中軸並校正打線端點 之演算法；第四章為使用第三章所提出的方法，對於將端點校正至引腳中軸的實 驗結果進行分析及探討；第五章則提出本研究之結論與未來研究發展目標。
第二章 文獻探討
此章節首先討論檢測多層次打線檢測的相關文獻，包括李恕明【1】對於多 層次打線檢測所提出的虛擬打線技術以及影像處理的方法，從文獻中可以了解到 虛擬打線的概念及其對於多層次打線檢測的重要性。接著，介紹視覺系統的架構 與光源系統以及本研究中使用到的影像處理方法。 2.1 多層次打線檢測 李恕明【1】針對多層次打線所出現的打線瑕疵進行研究，發現由 R&D 部 門所設計出來附有打線資訊的 CAD 圖，與工廠依據 CAD 圖上導線架的樣式以 沖壓或蝕刻的方式製造出的實體，在導線架上的每一根引腳會與CAD 圖所設計 的形狀與大小有些微偏異，以人工校正打線端點時容易產生人為誤差，故當打線 機台依據校正後的打線座標將金線打到實體引腳時會發生金線端點打在錯誤引 腳或是沒有打在任何引腳上的錯誤情形；因此針對此瑕疵進行探討。 另外，多層次打線的檢測之所以困難是因為其具備下列兩項特點： 1. 多層次打線的取像困難；由圖 2.1(a)與(b)可以看出下層金線會被上層金線的 實體及陰影所擋住，因此下層金線無法被清楚的觀察及檢測。(a)多層式打線影像 (Advanced Packaging magazine, October 2005.)
(b)多層式打線之側照放大影像 (From http://www.kns.com.) 圖2.1 多層次打線影像
2. 完成打線程序的元件無法重新加工，因此打線錯誤的元件只能報廢而無法修 復，造成損壞成本的增加。
鑑於上述兩項原因，【1】提出 BPC (Bonding Position Check)演算法，在尚
未實際打線前先拍攝導線架的影像，並且將CAD 圖上的打線端點座標標示在影 像上，此即為虛擬打線圖；之後將虛擬打線圖上的每一根引腳以影像處理技術進 行編碼(Label)，再依打線順序比對母機台與子機台的虛擬打線圖上的每一根相對 應金線端點的編碼是否相同，藉以找出沒有正確的依照CAD 圖標記在指定的引 腳上的端點，校正其錯誤的虛擬打線端點座標至正確的引腳上，再將正確的打線 資訊送給打線機台進行實際打線，以降低不良品的產生。 然而，如同在緒論所述，BPC 演算法是針對虛擬打線的端點是否有依照打 線資訊標記到正確的引腳上進行檢測，並未進一步探討虛擬端點在引腳上的位置 是否落在引腳中可靠的位置，因此，在實際打線時仍會出現端點沒有完整打在引 腳上造成金線端點彈開而損壞的瑕疵，以及端點位置與I/O 墊片的距離過遠造成 金線成本提高的問題。 2.2 視覺系統架構 一個視覺系統的基本組成大致可以粗分為六大單元【15】，如圖 2.2 所示 圖2.2 典型的視覺系統基本架構 本研究擬採用此視覺系統架構，發展一具有實務性之虛擬打線端點校正系 統，並將於後續章節，逐一介紹。
2.3 光源照明系統 機器視覺的效益主要受三項要素所影響：光源、硬體及軟體三大因素。利用 適當的光源照射待測物，以便視覺系統取得適當的影像，是照明的主要目的，且 考慮系統之效率，具有良好的影像可以降低後續影像處理的複雜度。光源系統設 計良好，可節省大部分影像處理之工作，軟體之執行時間亦相對降低，以提高檢 測速度，是事半功倍投資報酬率相當高的重要環節。 光源設置為電腦視覺之前處理，取得所需影像之重要因素。這裡提到的『所 需影像』並非指完全清楚的顯示被拍攝物體的表面紋理，有時為了突顯待測物中 所需檢測的物體(Region of Interesting，ROI)，反而需要將不感興趣的區域以光源 處理加以移除或模糊化，例如：以背光源取得待測物之外形輪廓，移除本體表面 所包含的資訊。同樣的在拍攝導線架的過程中，光源之設計亦是一項重要主題。 在此先討論一般影像處理所使用之光源類別，之後再於後續章節討論與實驗本研 究所需之打光方式。 常見的光源照明方式【2】，根據打光方式分為前照式、背照式以及側照式 三類，如圖2.3 所示。 圖2.3 常見的光源照明方式
(a) 前照式(Front lighting)：光源與 CCD 在待測物之同側，利用光線反射強弱的 不同，作為檢測物體表面特徵時採用。
(b) 背照式(Back lighting)：光源與 CCD 在待測物體之不同側，產生出對比強烈 的物體輪廓線，作為物體尺寸檢測時採用。
(c) 側照式(Side lighting)：光源在待測物體之側面，光源照射的方向與物體平面 近乎平行，作為突顯物體之幾何性質時採用。 2.4 影像處理技術 影像處理是將一幅可見影像的色彩濃淡型態予以數位化(Digitize)，接著將數 位化後的資料儲存或傳送至監視的螢幕上。數位化的影像可以定義為一個二維函 數 f( yx, )，其中，x和 y 是平面座標，而任意一對座標軸 代表影像中的一 個點，此座標對應的 就是該點的灰階值。數位影像是由有限個元素組成，而每 個元素有特定的位置與數值，這些元素稱為影像元素(Image Elements)或像素 (Pixels)。一旦圖片被數位化之後，便可以使用影像處理技術來改變影像中的色 彩形狀，以獲得研究者所需要的影像資訊。 ) , ( yx f 以 下 就 本 研 究 擬 採 用 的 影 像 比 對 (Image Registration) 、 數 學 形 態 學 (Mathematic Morphology)、Blob分析(Blob Analysis)、圖形的中軸偵測(Medial Axis Detection)之影像處理技術逐一的介紹與探討。 2.4.1 影像比對(Image Registration) 影像比對在影像處理中是相當重要且應用極廣的技術，其中，一種常見的應 用是用來處理在不同時間、不同感測器以及不同視角的情境下，所擷取的兩張或 兩張以上的二維影像，利用比對技術將所有的二維影像拼接，以重建出原始物體 的形貌，以下列出利用一序列二維影像以重建物體表面的相關文獻：
1. 重建大型物體的表面，例如：印刷電路板(Print Circuit Board，PCB)【16】、 陰極射線管(Cathode Ray Tube，CRT)面板【3】、有機發光二極體(Organic Light-Emitting Diodes，OLED) 面板【4】以及薄膜電晶體液晶顯示器(Thin Film Transistor Liquid Crystal Display，TFT-LCD)【5】。
2. 將三維的物體以二維影像重建，例如：孔洞的內壁【6】、鑽頭表面【7】。 3. 以高解析度重建微小物體的表面，例如：IC 元件【8】。
影像拼接被廣泛用來處理各種不同的影像處理的問題，一般來說，影像拼接 的方法可以依據兩張或兩張以上欲拼接的影像，是否有重疊區域而分為兩類，一 類是無重疊區域影像的拼接方法【6】【7】，此方法需要被拍攝物體的位移幅度 與CCD 取像可見大小(Field of View，FOV)的精確配合，也就是當被拍攝物體移 動到待拍攝位置時即驅動CCD 進行取像作業，並且依照取像順序將拍攝的影像 接合，一旦拍攝結束就完成整體影像的拼接；另一類則是有重疊區域影像的拼接 方法【5】【8】【16】【17】，此方法需要先經由實驗訂定出相鄰影像重疊的比 例，在取像時相鄰的影像必須包含此比例的重疊區域，接著在第一張影像的重疊 區 域 內 擷 取 出 具 獨 特 性 的 區 域 作 為 比 對 樣 板(Model) ， 以 圖 形 比 對 (Pattern Matching)技術領域之相關係數法(Correlation Coefficient Method)，在鄰接的影像 中找出樣板相對應的位置，依此位置將影像拼接。
2.4.1.1 相關係數法(Correlation Coefficient Method)
此法應用於影像處理的相關性分析，從影像整體資料計算影像間的差異程 度，主要目的在於比較兩影像間的相似程度，相關係數法是在灰階影像中，將待 測物件對已建立好的樣板影像做相關性圖形比對；比對前先設定樣板影像的尺寸 為m×n，計算樣板影像的灰階平均數(Mean)及變異數(Variance)；
∑∑
= = × = n y m x T T f x y n m 1 1 ( , ) 1 μ (2-1)∑∑
= = − × = n y m x T T T f x y n m 1 1 2 1 [ ( , ) μ ] σ (2-2) 其中，μT：樣板影像的灰階平均值； ：樣板影像的灰階變異數； ： 樣板影像中 位置的灰階值。同理，計算待測影像的灰階平均值 2 T σ fT( yx, ) I ) , ( yx μ 及變異數 ，由兩者的平均值及變異數可以推得其相關係數 2 I σ r ，公式如下：∑∑
= = × − × − × = n y m x I T I I T T x y f x y f n m r 1 1 2 2 / ] ) , ( [ ] ) , ( [ 1 μ μ σ σ ，−1≤r ≤1 (2-3) 1 = r 為完全正相關，表示樣板影像與待測影像的相似程度最高； 為無相關， 則表示樣板影像與待測影像完全不相似；而小於0 的 0 = r r 值為負相關，因此將小於0 的 r 值視為 0；此外，為了提高平方根的運算的速度，進一步將 r 值取平方，即 可得到實際用於影像比對時所使用的相似度值(Match Score)，公式如下：
Match Score =[max( ,0)]2×100% (2-4)
r 其中，相似度值的範圍落於0 到 1 之間，值越大表示兩影像越相似。 2.4.2 數學形態學 (Mathematical Morphology) 形態學這個字通常表示處理動物和植物結構形狀的生物學分支。而此小節所 介紹的是以數學上的型態學為背景，來抽取對表示和區域形狀的描述有用的影像 分量的一種工具，比如物體的邊緣輪廓、修剪…等，是相當廣泛被使用的；由於 數學型態學的理論基礎是集合論，因此，以下以集合論的幾個相關定義依序介紹 數學形態學中所包含的膨脹、侵蝕、斷開以及閉合四種運算。 集合論的基本定義【10】： 如果我們討論一幅灰階數位影像，則此影像可以表示成一個集合包含於 3 Z (三維整數空間)，其中，每個元素的前兩個分量為像素的座標值 ，第三 個分量表示對應於此座標的灰階強度，設A、B 和 x 為整數空間中的三個集合， 則A ) , ( yx 3 Z 、B∈Z3且x 3 Z ∈ 。 ∈ 平移：A 平移 x 的距離，用(A)x表示之，定義為： (A)x = |{c c=a+x，a∈A} (2-5) 補集：A 的補集以 c表示之，定義為： A Ac ={x|x∉A} (2-6) 差集：A 和 B 的差集，表示為 A-B，定義為： A−B={x|x∈A， c (2-7) B A B x∉ }= ∩ 運用以上集合論的基本定義，接下來介紹數學形態學的四種運算【18】： 膨脹(Dilation)運算是使影像中目標物膨脹的影像處理方法，定義如下： A⊕B={c∈Z3|c=a+b，∀a∈Aand∀b∈B} 侵蝕(Erosion)運算是使影像中的目標物縮小的影像處理方法，定義如下： AΘB={c∈Z3|c+b∈A，∀b∈B}
其中，A 代表灰階影像，B 為進行影像之膨脹和侵蝕的結構元素。從膨脹運 算和侵蝕運算可進一步發展出斷開運算(Open)和閉合運算(Close)。閉合運算是先 對影像做膨脹運算，再對影像做侵蝕運算，功用為可以將一些斷線連接起來、修 補影像中之小洞、融化裂口與平滑輪廓。其定義為： B B A B A• =( ⊕ )Θ (2-8) 斷開運算先做影像侵蝕運算，再做影像之膨脹運算，其功用為去除影像中之小雜 訊、打斷窄的細頸、消除銳峰等。其定義為： B B A B Aο =( Θ )⊕ (2-9)
2.4.3 Blob 分析(Blob Analysis)
所謂的 Blob(Binary Large Object)，是指在一張影像上具備相同條件或屬性的
像素，彼此互相接觸或相鄰所組成的區域或面積，其可以由一群灰階值是0 或是 大於 0 的像素所構成的區域。最常見的相鄰方式為四相鄰與八相鄰，若像素 P 與Q 互為四近鄰則 P 與 Q 為四相鄰，若像素 P 與 Q 互為八近鄰則 P 與 Q 為八相 鄰，如圖2.4 所示： (a)像素 P 的四近鄰 (b)像素 P 的八近鄰 圖2.4 四近鄰與八近鄰關係 Blob 分析主要是從一張影像中，辨識相同區域且相鄰的像素點，並進行特 徵萃取分析，特徵值可能包含區塊的像素個數、周長、狹長度、真圓度、維度、 重心等。
以下是 Blob 分析常用的幾個基本步驟【9】： 1. 盡可能去除影像中的雜訊，取得最佳影像； 2. 讓影像背景與 Blob 清楚分離。通常利用二值化(Binarize)將背景的 灰階值設為0，而將 Blob 的灰階值設為大於 0； 3. 利用形態學(Morphology)將影像多餘的雜訊去除； 4. 設定 Blob 互相接觸的條件(四相鄰或八相鄰)； 5. 計算指定的特徵值，並分析結果。
2.4.4 圖形的中軸偵測(Medial Axis Detection)
中軸偵測的主要目的在於將一個物體簡化以取得圖形的骨架(Skeleton)，用 以 表 示 一 個 平 面 圖 形 的 結 構 形 狀 ， 通 常 稱 為 細 線 化(Thinning) 或 骨 架 化 (Skeletonization)演算法。此類演算法的主要應用在於： 1. 減少物體的資料量； 2. 簡化物體的邊緣以得到有用的特徵，以應用到圖形識別及分類。 另外，將物體轉換為骨架的基本特性為減少物體邊緣的局部雜訊。 Gisela Klette【11】將眾多的骨架化演算法依據處理方式的不同分為三大類： 1. 依據距離轉換法(Distance Transform)所得到的距離骨架(Distance Skeleton)，此
骨架是由物體中所有的最大內接圓盤的圓心所構成，每一個內接圓盤至少與
物體邊緣接觸兩個點以上，如圖2.5 所示：
2. 以非迭代(Non-Iterative Way)方式的演算法所得到的骨架，概念為物體經由一 次處理將骨架的關鍵點找出，再將所得到的關鍵點以特定的路徑連結，即得 到骨架。 3. 由迭代(Iterative Way)方式的演算法所得到的骨架，由於處理過程是由數階段 的判斷式反覆循環的將物體邊緣削減，因此又稱為剝皮法。此類方法的特點 為所得到的骨架保存了原始物體的拓撲(Topology)性質，例如物體的連通性、 影像部分的數目、空洞的數目以及物體與空洞的關係。 中軸偵測有許多種處理的方法，在此以 Blum【13】於 1967 年所提出的中軸 轉換法(Medial Axis Transform，MAT)與 Zhang 與 Suen【14】於 1984 年所提出 的細線化演算法(Parallel Thinning Algorithm)來做介紹。
1. 中軸轉換法
在探討中軸轉換法之前，有必要對數位影像中的距離度量(Distance Metric) 做一說明：
定義1. 對座標平面上p( yx, )、q( ts, )與z( vu, )三點像素而言，符合下列條件的 距離函數 D 稱為度量(Metric)：
(a)D(p,q)≥0 (D(p,q)=0if and only if p =q) (2-10)
(b)D(p,q)=D(q,p) (2-11) (c)D(p,z)≤ D(p,q)+D(q,z) (2-12) 定義2. p, q 間的歐幾里德距離(Euclidean distance)定義如下： ( , ) ( )2 ( )2 t y s x q p D = − + − (2-13) 上式為 p 與 q 兩點的直線距離長度，並且滿足定義 1 的屬性，然而，若 是侷限於網格上的像素點，則歐幾里德距離可能不適用，這時可以使用 4-連通及 8-連通路徑的定義如下： 定義3. 對於 p 與 q 之間的距離存在有一序列的格點p= p0,p1,p2...,pn =q，並 且pi與pi−1之間存在α 相鄰的關係，1≤i≤n且α=4, 8，則
4-連通路徑：D4(p,q)=|px −qx|+|py −qy| (2-14) 8-連通路徑：D8(p,q)=max{| px −qx |,|py −qy|} (2-15) 以下以 4-連通路徑的定義來介紹中軸轉換法，給定一二值化的數位影像，轉 換方法包含兩個階段，第一階段以函數 依照左到右、由上到下的順序掃瞄整張 影像 1 f I 以產生I*(i,j)，接著以函數 f2依照由右到左、由下到上的順序處理I 以* 產生T(i, j)，如下式： ⎪ ⎩ ⎪ ⎨ ⎧ ≠ ≠ = + − + − = = 1 1 1 ) , ( } 1 ) 1 , ( * , 1 ) , 1 ( * min{ 0 ) , ( 0 )) , ( , , ( 1 j or i and j i I if j i I j i I j i I if j i I j i f (2-16) } 1 ) 1 , ( , 1 ) , 1 ( ), , ( * min{ )) , ( * , , ( 2 i j I i j = I i j T i+ j + T i j+ + f (2-17) 經由上述兩階段的處理之後，即可以將原始影像 I 轉換成距離轉換影像 T (Distance Transform Image)，最後再依照由左到右、由上到下的順序掃描T 影像，
若滿足下列判斷式則保留為骨架T ： * ) , ( 4 ) , (i j A i j T > ，其中A4(i,j)表示像素點( ji, )的四鄰域 (2-18) 若不滿足上式，則將T( ji, )設為背景像素，得到的T 可稱為距離骨架。圖 2.6* 所示為利用4 連通、8 連通以及歐幾里德距離定義，對字體 H 進行中軸轉換所得 到的距離骨架。 4 連通 8 連通 歐幾里德距離 圖2.6 利用不同距離定義轉換而得的骨架【11】
2. 細線化演算法 圖形的細線化是獲得圖形骨架的一個有效方法，目前已經提出多種演算法， Zhang 與 Suen【14】所提的細線化方法具有平行處理效益，可快速的得到細線 化的結果，並盡可能減少圖形的變形(Distortion)。方法是使用兩個步驟，反覆的 對物體的輪廓點作處理。這裡的輪廓點指的是值為 1(表示前景像素)且至少有一 個8 鄰域為 0(表示背景像素)的任何一個像素。參考圖 2.7 的 8 鄰域定義。 圖2.7 細線化演算法所使用的鄰域排列【14】 步驟一：若滿足下列條件，則把欲刪除的輪廓點標記出來： (a)2≤ N(P1)≤6 (2-19) (b)S(P1)=1 (2-20) (c)P2×P4×P6 =0 (2-21) (d)P4×P6×P8 =0 (2-22) 其中N(P1)是P1的鄰域中非0 的個數，即N(P1)= P2 +P3 +...+P8 +P9， 是按 序列 的順序從0 轉變到 1 的次數。步驟一主要刪除物體右邊界及下 邊界的輪廓點，以及左上角的端點。如圖2.9(a)所示。 ) (P1 S 9 ,...,P8,P 3 2, P P 步驟二：維持條件(a)和(b)，但是條件(c)和條件(d)變為 ( )c' P2×P4×P8 =0 (2-23) (d')P2×P6×P8 =0 (2-24) 步驟二主要刪除物體左邊界及上邊界的輪廓點，以及右下角的端點。如圖2.9(b)。
因此，細線化演算法的迭代過程由如下的步驟組成：(1)標記欲刪除的輪廓 點；(2)刪除做過標記的點；(3)標記其餘欲刪除的輪廓點；(4)再次刪除做過標記 的點。這些基本步驟迭代使用，直到不再有刪除點為止，即可得到圖形的骨架。 圖2.9(c)為字體 H 細線化之後的結果。 (a) (b) (c) 圖2.8 對字體H細線化之結果【14】 中軸偵測至今已提出種類相當多的演算法，然而，在實際的應用上都是有特 定範圍，並且依據所要處理對像的不同而採用不同的演算法，因此，沒有可處理 所有問題的最佳方法。本研究擬採用Zhang 與 Suen【14】之細線化演算法，並 且針對此方法所產生的中軸會有縮短及偏離的情形，提出一套修補中軸的機制以 產生符合本研究所需的中軸資訊。
第三章 研究方法設計
目前業界所使用的打線機台，其打線之精確度相當高可達±2μm (From www.kns.com)，故本研究提出一前提為，打線機台能夠依照校正後的打線端點 座標準確的打到導線架上，而本研究亦依此假設以發展適用於導線架(Leadframe) 之多層次打線端點校正系統，針對下列在多層次打線時容易發生的兩項問題進行 研究，分別以檢測系統架構、檢測方法及校正方法進行說明。 (1) 金線端點沒有完整的打在 CAD 圖指定的引腳上，會造成金線端點容易彈開 而造成損壞。 (2) 金線端點打在 CAD 圖指定的引腳上，但端點與墊片的距離較原先 CAD 圖指 定的距離來得遠或近，若較遠則需要較長的金線連接引腳與墊片，會導致成 本增加，若較近則端點可能過於接近引腳下緣，造成端點有彈開損壞之虞。 3.1 檢測系統架構設計 檢測系統架構可以分為軟體控制及硬體環境之設計，由於已完成打線程序 的元件無法重新加工或修復，故本研究利用虛擬打線技術與影像處理方法，以 離線作業的方式在實際進行打線作業前，拍攝導線架的影像並校正打線端點資 訊。 3.1.1 硬體架構 檢測系統的硬體架構概念如圖 3.1 所示，並分述如下： 圖3.1 檢測系統硬體架構示意圖1. X-Y Table：經由 Driver Controller 控制，負載 CCD 及 LED 環形光源(Ring LED Light)至使用者所指定之位置。
2. CCD：取像後，經由 Frame Grabber 將類比訊號轉為數位影像訊號，詳細 規格可參考4.1 節實驗設備。
3. Light：LED 環形光源以正向光照明，以提供待測物的表面紋理及特徵資 訊；矩形背光源(Rectangular Back Light)以背向光照明，以提供待測物的 邊緣輪廓。 在取像階段，將導線架以手動方式載入檢測平台；之後控制 X-Y Table 移動 CCD 及鏡頭至取像位置，在適當的光源強度下將導線架分成左上圖、右上圖、 右下圖及左下圖分四次進行取像，待取像完成則結合影像，於3.1.2 節中說明， 之後進行影像處理作業。 於硬體驅動方面，主要包含 X-Y Table 伺服馬達之程式控制、各照射光源之 光強度控制以及影像擷取卡之取像控制；本研究著重於解決檢測動作中影像處理 之方法，故馬達控制等機電整合之硬體部分，在此不贅述。 3.1.2 軟體架構 近年來電子產品不斷要求以輕薄短小為目標，導致半導體元件也越做越小， 因而承載元件的導線架普遍相當微小，為了提高端點校正的精確度，故需要以高 解析度來重建導線架的影像；本研究於多層次打線端點校正系統中，以影像比對 技術建立高解析度的導線架影像，以供程式以虛擬打線技術模擬實際打線的端點 位置，進一步檢測及校正打線端點座標。 目前研究所使用的 CCD 解析度為 1380×1035(像素點)，每張導線架的大小不 同(約介於 0.5cm×0.5cm~1.5cm×1.5cm)，由於端點校正需要高解析度的影像來模 擬實際打線端點是否位於引腳上準確可靠的位置，故要求在影像中的每一根引腳 之寬度至少大於10 個像素點以上，鏡頭倍率則依據不同的引腳寬度配合此項要 求做調整，影像結合後的整張影像大小約介於1500×1500(像素點)~1900×1900(像 素點)之間。
以高解析度重建導線架的影像，主要功能為提供程式模擬實際打線端點於引 腳上的情形，藉以校正偏異的端點至正確可靠的位置，圖3.2 為將導線架各子影 像結合成一完整影像的流程圖。 移動X-Y Table至固定位置 是 影像二值化 建立Pattern Matching法 之Model 以不同重疊區域訓練 影像結合之最適Model 選取Match Score最高 之Model進行影像結合 是否完成影像 結合作業 是 否 儲存影像 是否完成取像作業 取像 否 取像前各機構之設定 圖3.2 導線架影像結合流程圖
3.1.2.1 取像前各機構之設定 在尚未進行取像前，需要對取像環境進行調整設定，在 X-Y Table 的操作方 面，先將機台的X 及 Y 軸兩機械手臂歸零校準，以確保每次取像時，移動的精 密度不會受到上一次取像移動所產生的微小機械誤差所影響；在光源設定方面， 光源的強弱對於取像的品質有相當大的影響，太強的光源會使得影像中物體的邊 緣輪廓被光線侵蝕，太弱的光源則使得影像中的物體與背景無法清楚的區分；其 它如載台的位置及水平度、鏡頭的放大倍率等皆需進行調整，以取得良好的影 像，減低後續作業的複雜度。 3.1.2.2 取像方式 本研究於取像階段使用ㄇ字型取像方式，將一張導線架分成左上圖、右上 圖、右下圖及左下圖四區塊進行取像，如圖3.3 所示；接著在導線架影像結合的 階段，考量所需影像為高解析度及低失真的特性，採用影像比對(Pattern Matching) 技術領域之相關係數法(Correlation Coefficient Method)(請參見第二章文獻探討 2.4.1.1)，在鄰接的影像中找出樣板(Model)相對應的位置，依此位置將影像之重
疊區域做適當的疊合，如圖3.4 所示。
圖3.4 影像結合示意圖 本研究利用樣本比對的方式將多張導線架子影像結合成一完整的高解析度 導線架影像，而在說明比對樣本的選取方式之前，需要先介紹此步驟使用到之影 像處理方法：影像二值化(Binarization)。 3.1.2.3 影像二值化 影像二值化是將灰階影像中各像素點的灰階值，根據所選定的臨界值 (Threshold value)將之歸類為兩種不同灰階值之基本影像處理方法，其目的為二 值化影像較易儲存與處理，使得後續的影像處理較簡單快速。一般將歸類的兩種 灰階值分別設為255(白)與 0(黑)，二值化之轉換式如下： 令 f( yx, )為影像上座標( yx, )之灰階度值 (3-1) ⎩ ⎨ ⎧ ≤ > = Value Threshold y x f if Value Threshold y x f if y x f ) , ( 0 ) , ( 255 ) , ( 此外，由於臨界值法的發展相當早，衍生出許多不同的臨界值法，例如單一 臨界值法、多臨界值法(Multilevel Threshold)、適應性臨界值法(Adaptive Threshold)
等，由於導線架影像之灰階直方圖普遍呈現雙峰分配，如圖3.5(b)所示，且為簡
化運算量本研究選擇單一臨界值法，利用影像的灰階直方圖找出最大的波谷中的
(a)灰階影像 (b)灰階直方圖 (c)取閥值=110 之二值化結果 圖3.5 二值化前後影像之變化 3.1.2.4 比對樣本之選取 由於每一張導線架具有引腳環繞著中心排列的特性，並且每一根引腳之角度 與形狀不盡相同，在辨識上具有獨特性，故取引腳作為比對樣本；參考圖 3.4， 第一張影像稱為來源影像(Source Image)，而第二張影像稱為目標影像(Target Image)，我們在來源影像的重疊區域內選取比對樣本，選取方式如圖 3.6 所示。 圖3.6 選取比對樣本示意圖 (a)來源影像 (b)框選處放大圖 比對樣本的長度必須包含圖 3.6(b)中的上方引腳處，以及下方 IC 底座兩部 份，且由於X-Y Table 在移動時，可能產生些許機械誤差，因此兩張鄰近的影像 重疊區域之寬度可能不會與來源影像之寬度一樣，可參照圖3.4 所標示機械誤差 之偏移處。考慮機械誤差所產生影像偏移的程度，將比對樣本的長度設定為來源
影像寬度的95%，以涵蓋比對所需區域；而比對樣本之寬度設定可參考圖 3.6(b)， 箭頭所指處為來源影像寬度的95%處，由右而左的去計算灰階值 255→0(白色為 背景→黑色為引腳)此種灰階變化的次數，於第一次變化處之灰階值 0 的座標， 記為比對樣本之右邊緣(p1)，而第二次變化處之灰階值 255 的座標，記為比對樣 本之左邊緣(p2)，左邊緣與右邊緣所夾之距離(|p1-p2|)，即為研究中所定義的一根 引腳的寬度。 由於導線架之引腳的寬度與形狀變化多且複雜，對於影像比對時要使用多少 根引腳作為比對樣本之寬度不易分類，舉例來說：若只以一根引腳做比對樣本， 則寬度細且窄的引腳資訊過少，若以多根引腳做比對樣本，則寬度較粗的引腳容 易超出重疊區域，兩種情形都會產生不佳的影像結合結果。 有鑑於上述原因，本研究使用窮舉法及上述所說明的引腳寬度之定義方法， 取一到十根引腳作為比對樣本，進行影像結合訓練，可以得到十組不同的相似度 值(Match Score)，取其中相似度值最高的比對樣本進行影像結合，完成後則儲存 影像。圖3.7 所示為影像結合的順序。 圖3.7 影像結合順序
3.2 檢測打線端點演算法 由於導線架在製程中精密度的不足，常造成導線架實體之每一根引腳的形 狀、位置與CAD 圖間存在些許偏異，此節主要說明如何偵測出導線架影像上每 一根引腳之中軸，做為可靠的打線校正位置，並且將CAD 圖上的打線端點座標 經由旋轉及縮放找出在導線架上相對應的位置，以找出沒有正確落在引腳中軸的 端點座標，之後將於3.3 節說明如何進行端點校正作業。圖 3.8 為檢測打線位置 與校正流程圖。 檢測與校正打線端點 讀入已結合好之 導線架影像 對導線架影像進行旋轉 校正至與CAD圖同角度 對導線架影像 做二值化處理 以Blob分析擷取引腳圖形 及去除雜訊 將引腳影像進行 細線化以求得各引腳之中軸 校正CAD圖之打線端點座標 至引腳中軸 儲存校正端點座標資訊 圖3.8 檢測打線位置與校正流程圖
3.2.1 旋轉校正導線架影像之方法
在拍攝導線架影像時，由於導線架是經由人工放置於載台上，因此所取得的
影像必定會與CAD 圖的角度有些許偏異，而此偏異將影響到後續端點校正的正
確性，故需要在進行校正端點作業前，將導線架影像校正至與CAD 圖相同之角
度；在 CAD 圖上的引腳處選取兩點校正參考點 IL1 與 IL2，並且在導線架影像
對應處選取兩點參考點L1 與 L2，如圖 3.9 所示。
(a)CAD 圖 (b)導線架影像 圖3.9 參考點選取示意圖
利用(3-2)式計算出 IL1 與 IL2 的連線與水平線所夾的 CAD 角度：
∠CAD=arctan(|YIL2−YIL1|/|XIL2−XIL1|)/3.1415*180 (3-2) 利用(3-3)式計算出 L1 與 L2 的連線與水平線所夾的導線架角度： 180 * 1415 . 3 / |) | / | arctan(|YL2 YL1 XL2 XL1 Leadframe= − − ∠ (3-3) 接著，利用(3-4)式得到導線架影像所需旋轉校正之角度 R： Leadframe CAD R=∠ −∠ ∠ (3-4) 之後，以導線架影像之中點(影像寬度/2, 影像高度/2)為旋轉軸心，將導線架 影像進行旋轉校正。
3.2.2 擷取引腳資訊及去除雜訊之方法 在導線架影像中本研究所感興趣的區域為引腳的部份，而 IC 底座在此階段 並不具所需要的資訊，為方便後續引腳中軸偵測作業的進行，先將IC 底座區塊 移除。首先，利用 3.1.2.3 節所說明的二值化方法對已旋轉校正的導線架影像作 處理，並且為了加快後續程式處理速度，將二值化之轉換式稍做修改： 令 f( yx, )為影像上座標( yx, )之灰階度值 (3-5) ⎩ ⎨ ⎧ ≤ > = Value Threshold y x f if Value Threshold y x f if y x f ) , ( 55 2 ) , ( 0 ) , ( 即將較深色的像素點( )之灰階值設為 255 (白)，而將較淺 色的像素點( )之灰階值設為 0 (黑)，處理後的影像如圖 3.9 所示。 Value Threshold y x f( , )≤ Value Threshold y x f( , )> (a)經由旋轉校正之導線架影像 (b)二值化後之影像 圖3.10 二值化處理 接著，將二值化的導線架影像取出引腳區塊並且去除多餘雜點；利用 Blob 分析(請參照第二章文獻探討 2.4.3)，對二值化影像進行特徵萃取分析之動作，特 徵在此為計算圖 3.10(b)中的各個不相連的白色封閉區塊之面積，將各封閉區塊 之面積資料由小到大排序，選取出面積最大的區塊(即 IC 底座區塊)，將之移除。 然而，本研究模擬生產現場的開放式環境，取像過程並不在無塵室中進行， 故取出之影像難免出現灰塵等異物附著於導線架週遭的現象，如圖 3.11(a)中圈 選處，為避免異物影響後續作業的準確性，本研究利用統計學中箱型圖(Box Plot)
(a)b 圖矩形圈選區域放大圖 (b)二值化後之影像 圖3.11 導線架影像中之異物 的概念，將面積較小的雜訊視為離群值，並加以剔除；所謂箱型圖是將資料中之 最小資料值、第1 四分位數、中位數、第 3 四分位數以及最大資料值使用箱型及 直線之方式來呈現的圖形，如圖3.12，此箱型圖可以用來了解資料分佈的狀況。 X (1) Q1 Q2 Q3 IQR X (n) 圖 3.12 箱型圖 其中，X(1) = 最小資料值 Q1 = 第 1 四分位數 = 第 25 百分位數 Q2 = 第 2 四分位數 = 第 50 百分位數 = 中位數 Q3 = 第 3 四分位數 = 第 75 百分位數 X(n) = 最大資料值 IQR= Q3 - Q1 = 四分位距
藉由箱型圖判斷資料有無離群值存在，其方法乃當資料值超出Q3有1.5 倍的 四分位距或小於Q1有1.5 倍的四分位距，視此值為溫和離群值(Mild Outlier)； 當資料超出Q3有3 倍的四分位距或小於Q1有3 倍的四分位距，則視此值為極端 離群(Extreme Outlier)，圖 3.13 為此概念之示意圖。 極端離群 溫和離群 溫和離群 極端離群 Q3 X (1) Q1 Q3 X (n) 圖3.13 離群值判斷示意圖 本研究參考箱型圖判斷資料有無離群值存在的概念，設定一個可以任意調整 的參數α值，當面積資料小於Q1 –α*IQR或大於Q3 +α*IQR時，即視為雜訊，之後 再使用Blob分析將雜訊移除，處理後的影像如圖 3.14 所示。 圖3.14 引腳區域之影像
3.2.3 引腳中軸偵測演算法 二值化影像之細線化，一直是影像自動檢測、圖形識別以及影像資料向量化 之重要步驟。本研究考慮了執行效率與細線化的品質之後，決定使用 Zhang 與 Suen【14】所提出具有平行運算能力的細線化演算法(請參照第二章文獻探討 2.2.4)，以偵測出引腳之中軸；此外，針對此方法所產生的中軸會有縮短及偏離 的情形，本研究提出一套修補中軸的機制以產生符合校正所需的中軸資訊。圖 3.15 為中軸偵測之流程。 中軸偵測 載入已去除IC底座 及雜訊之引腳影像 將各引腳編碼 利用形態學方法 修飾引腳之外型 利用Blob分析去除 erode後留下的雜點 對引腳影像細線化 以得到中軸初步結果 移除中軸偏離處 並修補中軸 儲存中軸資訊 圖3.15 中軸偵測之流程
由於導線架中的引腳分別在周邊位置上、下、左、右四個方向，先前的文獻 一般使用的方法都是將整張導線架影像循此四個方向，將引腳切割為四張子影像 分開處理。本研究為加快處理的速度，將各個引腳編碼以取代影像切割的動作， 利用引腳之編號得知引腳所在位置，即可進行後續影像處理及校正，步驟如下： Step1. 由左而右、由上而下的掃描整張影像，利用八鄰接關係將影像中的各個引 腳進行初次編碼，並以編碼值取代原像素點的灰階值。如圖 3.16 所示。 Step2. 依照不同的引腳編號，分別儲存各引腳所包含的像素點座標。 Step3. 計算每根引腳的中心與影像中心點的連線，與起始線所夾之角度，如圖 3-17 所示，利用各引腳所夾角度，由小至大重新指派編碼值。 圖 3.16 初次編碼影像 圖 3.17 重新指派編碼示意圖 其中，影像中心點座標為(影像寬度/2, 影像高度/2)，起始線則為影像左上角 端點與影像中心點之連線，經由上述步驟將導線架上的引腳，由左上方引腳為編 碼1 為起始，以順時針方式完成所有引腳的編碼。藉由 Step3 所計算的每一根引 腳與起始線所夾的角度，依圖 3.18 所示的角度對照方式，由引腳的編碼便可判 斷該引腳位於導線架影像中的哪個方向，以及四個方向各有多少根引腳，以作為 後續端點校正所需之資訊。
圖3.18 角度對應示意圖 將導線架之引腳影像，以細線化演算法處理後，在引腳末端會出現中軸偏 離、縮短與骨刺的情形，如圖 3.19 所示；其中黑色區塊為引腳，引腳中的白色 線段為細線化之中軸，由圖中可以發現在中軸兩端，皆出現中軸偏離、縮短與骨 刺的情形。本研究藉由數學形態學(Mathematical Morphology)中的侵蝕運算 (Erosion) (請參照第二章文獻探討 2.4.2)，在尚未進行細線化之前，先將引腳修飾 為較細長且具平滑邊緣的形狀。 圖3.19 引腳中軸偏離、縮短與骨刺情形 然而，如同之前所述，不同的導線架影像上的引腳寬度及形狀變化繁多且複 雜，甚至同一張導線架影像上的單一根引腳各處的寬度也不相同，造成侵蝕的次 數較難判斷，若採用不適合的侵蝕次數，可能造成引腳被過度侵蝕而斷裂，或是 侵蝕不足而無法達到滿意的修飾效果。
利用已編碼完成之引腳影像，由左而右、由上而下的掃描整張影像，偵測屬 於影像上方引腳的編碼。在此例中為編碼1 到 25 的引腳，若偵測到灰階值由零 轉換到非零的變化處且屬於上方引腳，則紀錄為該編號引腳之左邊緣，並於接續 偵測到灰階值由非零轉換到零的變化處，紀錄為該編號引腳的右邊緣。如此，將 每一組相對應的左右邊緣相減，即可得到影像中上方各引腳的寬度值。 由於同一張導線架影像上的引腳具有對稱性，因而只需紀錄上方各引腳的寬 度變化，將寬度由小至大排序後，取其前5%處的引腳寬度值除以 3 作為適用於 此影像的侵蝕次數。圖3.20 為引腳侵蝕前後之變化。 (a)原始引腳影像 (b)引腳經侵蝕運算之結果 圖3.20 引腳侵蝕前後之變化 在對引腳進行侵蝕作業後，於引腳末端及邊緣處可能出現由於侵蝕所造成的 多餘雜點，故再以Blob 分析計算出所有白色封閉區塊的面積資訊，及以 3.2.2 節 所提及之統計方法找出面積的離群值，並剔除之。 接著，對完成引腳修飾的影像進行細線化處理，以得到每一根引腳之中軸， 雖然由修飾後的引腳所得到的中軸，已消除其骨刺的發生，但偏離情況的改善程 度仍不足，並且中軸縮短的情形會更為嚴重，如圖 3.21 所示。故本研究提出一 演算法對其偏離與縮短的中軸進行修補，此演算法可以分為兩階段，說明如下：
圖3.21 引腳中軸偏離及縮短情形 圖 3.22 截取中軸資訊示意圖 第一階段為移除中軸偏離處，首先將引腳細線化之中軸與先前引腳的編碼 (圖 3.17)進行比對，以取得各中軸之編碼，藉以判斷各中軸屬於影像中的哪一方 向，依照方向的不同，分別取出各中軸的末端點資訊，如位於影像上方之中軸的 兩末端點即為Y 軸之最小值與最大值，如圖 3.22 所示。 然而，在中軸末端點處同為 Y 軸之最小與最大值可能不只一個像素點，故 需再以鄰接關係判斷出真正末端點，如圖3.23 所示，在(a)圖中共有三點其 Y 座 標都是最小值，故以八鄰接關係判斷，若某像素點之八鄰域總和為255，則該像 素點為末端點；在(b)圖中共有三點其 Y 座標為最小，在邊緣不另外補零加寬的 情況下，若某像素點之五鄰域總和為255，則該像素點即為末端點。其餘方向以 此類推。 (a)以八鄰接關係偵測末端點 (b)以五鄰接關係偵測末端點 圖3.23 中軸末端點影像
在取得每根中軸的末端點座標後，取出每根中軸的 1/3 處與 2/3 處兩點座標， 如圖 3.22 所示，利用此兩點座標之連線與水平線所構成的夾角作為中軸之主角 度；接著，計算每根中軸之末端點與其前四點所成線段之角度，若與該中軸之主 角度差距超過十度以上，則判斷此線段偏移中軸，應予移除，當所有中軸皆處理 過一次之後，再重新偵測各中軸之末端點座標，並判斷是否有偏移中軸的線段存 在，直到沒有需要刪除之線段，則停止；如此，即完成第一階段作業。結果如圖 3.24。 圖3.24 移除中軸偏離處之結果 接著，進行第二階段修復中軸短缺處，利用第一階段中所得各中軸之主角度 的斜率m，以點斜式求出在同一直線方程式上所延伸的新末端點，公式如下： b a x m y= ( − )+ (3-6) 其中(a, b)為中軸上之任一點，(x, y)則為新的末端點座標，在圖 3.25 中的例子為 帶入新末端點y 值(舊末端點之 y 值-1)，即可得新末端點之 x 值，如圖 3.25 中的 灰色像素點。以此方法進行中軸修復，並且比對新延伸之末端點是否仍在引腳範 圍內，若仍在範圍內則保留並且取代原末端點座標，若不在範圍內則不保留，此 延伸處理直到沒有延伸端點出現，則停止；如此，即完成中軸修復。結果如圖 3.26 所示。
圖 3.25 中軸末端點延伸示意圖 圖 3.26 中軸修復結果 3.3 端點校正演算法 於 3.2 節中已介紹如何利用細線化及修補中軸的機制，以得到導線架引腳之 中軸，而在此節中將說明如何將CAD 圖上的打線端點資訊與各引腳之中軸資訊 進行比對，以將偏離中軸的打線端點座標校正至中軸上並儲存。圖 3.27 為校正 打線端點之流程。 輸出打線端點座標 儲存校正後之端點座標 並標示於導線架影像上 校正打線端點座標至 引腳中軸 計算CAD圖之打線端點對 應於導線架影像之座標 讀入CAD圖之打線資 訊及引腳中軸資訊 校正打線端點 圖3.27 校正打線端點流程圖
介紹校正端點流程之前，先對 CAD 圖之來源與用途作一說明，由 R&D 部 門設計導線架之樣式、該導線架打線之順序、打線於引腳及I/O 墊片上金線端點 的位置等，將其相關資訊以CAD 圖(DXF 檔案)的方式輸出，如圖 3.28 所示；接 著將導線架樣式設計圖送交工廠以沖壓或蝕刻方式，製造該導線架，而CAD 圖 上的打線資訊包括端點座標及打線順序等，以.TXT 文字文件輸出讓打線機台讀 取，如圖3.29 所示，並於導線架上進行實際打線作業。 圖 3.28 CAD影像 圖 3.29 具打線資訊之文字檔案 讀入上述的 CAD 打線端點座標後，由於 CAD 圖與導線架影像兩者之影像 大小及比例有些微差距，故需要將CAD 座標透過縮放轉換至導線架影像上。利 用3.2.1 節中旋轉校正導線架影像的方法，於 CAD 圖上所選取的兩點參考點 IL1 與IL2，與在導線架影像上對應處選取的兩點參考點 L1 與 L2，計算 CAD 圖與 導線架影像之縮放比例R，計算式如下： | 1 2 | / | 1 2 |L L IL IL R= − − (3-7) 得到縮放比例之後，由於CAD 圖的座標起始點(0, 0)位於 IC 底座之中心，為求 一致，須找出導線架影像上IC 底座之中心座標，作為端點座標轉換之基準，說 明如下。 載入導線架之原始影像，依照 3.2 節所介紹檢測打線位置與校正流程圖的前 三個影像處理步驟，將影像旋轉後進行二值化，接著對二值化影像做Blob 分析， 留下面積最大的Blob 區塊，即可將影像中的引腳去除，只留下 IC 底座區域，如 圖3.30。
圖3.30 偵測 IC 底座中心座標示意圖
由 IC 底座影像寬度的一半(W/2)由上往下掃描，找出灰階值由 0 到 255 的變
化處，紀錄其位置為 y1，再接著掃描灰階值由 255 到 0 的變化處，紀錄其位置
為y2，如圖 3.29 所示，計算 y1+(y2-y1)/2 可得到 IC 底座中心的 y 座標(CenterY)； 同理，以水平方向掃描可計算得IC 底座中心之 x 座標(CenterX)。
接著，以下列轉換式將 CAD 圖上的打線端點座標轉換到導線架影像上； X 座標：(R*XCAD)+CenterX (3-8)
Y 座標：Abs((R*YCAD)−CenterY) (3-9)
其中，R 表示 CAD 與導線架影像之縮放比例； 與 表示 CAD 圖打線端
點之X 與 Y 座標； 與 表示 IC 底座之中心座標； 為絕對值
運算。
CAD
X YCAD
CenterX CenterY Abs
圖 3.31 為將轉換過的打線端點標至導線架影像上的部份截圖，黑色區塊為
引腳，引腳中的白色線段為引腳中軸，引腳上的圓點為打線端點；圖 3.32 則為
此樣本相對應的CAD 影像截圖。由此兩張圖的對照，發現轉換後之打線端點幾
乎都落在CAD 所指定的引腳範圍內，然而除了少數端點落在引腳中軸上之外，
圖3.31 轉換後之端點於引腳之情形 圖3.32 對應於圖 3.31 之 CAD 影像 由上述結果，將打線端點座標校正至引腳中軸上，利用在 3.2.3 節中所得到 的引腳寬度資訊，將引腳寬度除以1.5 作為掃描方塊的邊長 L，以各轉換後的打 線端點座標為中心，掃描中心周圍 L*L 矩形範圍內的像素點，如圖 3.33(a)中的 灰色方塊，由方塊中抓出屬於中軸的座標作為校正該打線端點的候選點，如圖 3.33(b)所示，其中灰色矩形內的中軸各方塊即為候選點。接著，計算待校正的端 點座標，與掃描方塊中各個候選點的歐氏距離(Euclidean Distance)，其中，距離 最短者即為校正後之端點座標，同時取代該待校正的端點座標。 (a)掃描方塊 (b)端點校正之候選點 圖3.33 校正打線端點示意圖
3.4 編修打線端點資料 經由上述的演算法已經能夠將偏離引腳中軸之端點座標校正至中軸上，但由 於導線架與CAD 圖存在誤差，故導線架之引腳的長度可能較原設計圖縮短或增 加，若縮短則導致校正至引腳中軸的端點過於接近引腳下緣，如圖3.34 所示(圖 中的黑色粗線表示CAD 圖之引腳、虛線表示實際引腳)；若增加則端點與 IC 上 的I/O 墊片距離過遠，造成金線成本增加，如圖 3.35 所示。故本研究提供一個打 線端點編修的介面，若線上工程師認為端點校正的結果不適當，則能夠藉由此輔 助功能，彈性的調整打線端點的位置。 圖 3.34 引腳較CAD縮短示意圖 圖 3.35 引腳較CAD增加示意圖 導線架的製造是由化學藥劑侵蝕銅片而成，而由於蝕刻的位置不同(如引腳 轉角處)會影響到化學藥劑的流速不同，以及化學藥劑濃度不斷的改變，造成蝕 刻的程度不一使得引腳下緣會較引腳的其他區域的寬度細且短少，如圖 3.36 所 示，而此引腳下緣過窄以致於不適合打線端點黏著，故需要再將CAD 圖指定的 端點位置進行調整。 圖3.36 引腳過度侵蝕情形
上述蝕刻所造成引腳下緣之寬度細且短少的情形，會發生在導線架上所有的 引腳，且於1.1 節中所提到 CAD 圖上引腳的長度與導線架可能不同，以及 CAD 圖設計的端點與引腳下緣的距離與實際打線時所需的距離標準不一，綜合以上因 素的影響，本編修介面的設定為只要調整任一個打線端點位置，則其他端點位置 隨著此調整之距離依各自中軸的方向進行更動。 此外，系統並加入了輔助使用者操作的警示標誌，編修畫面中除了顯示導線 架影像之引腳中軸及各中軸上的端點外，在各引腳之下緣實際距離 1 mil 處(1 mil=25.4μm)之區塊為警示區域，如圖 3.37 所示，以警示使用者此區域過於接近 引腳下緣，不建議將打線端點校正至此區域內，以免造成實際打線時端點超出引 腳範圍之風險。 圖3.37 警示區域 編修後若是有端點過於靠近引腳下緣，即落在警示區域內，則系統將提醒操 作者部份端點過於接近引腳下緣，並在該端點旁給予警告訊息，如圖3.38 所示， 最後將編修好的打線端點座標以TXT 檔案格式儲存。 圖3.38 警示訊息
第四章 系統驗證與結果
本研究所使用之相關軟、硬體實驗設備及實驗環境設置整理敘述如下。 4.1 實驗設備
1. 個人電腦(PC)：使用的 CPU 為 AMD 1.8 GM Hz 個人電腦、記憶體為 1G RAM 2. 影像擷取卡(Frame Grabber)：使用 MATROX 公司所製造的 Meteor_II(PCI
介面)影像處理卡。
3. 攝影機(CCD Camera)：JAI CV-A1(輸入與輸出的解析度為 1380 pixels*1035 pixels、cell size:4.65(h)*4.65(v)μm)。
4. 鏡頭：OPTEM Zoom 125C(光學倍率：0.52~6.5X、FOV:0.1*0.14~77.3* 103.3mm、景深：0.013~45.9mm)。
5. 光源系統：紅色環型 LED 陣列、白色矩形背光源。
6. 影像處理工具：MIL(Matrox Imaging Library)7.0 版函式庫，提供實驗中影像 資料之運算與處理。
7. 程式語言：Visual Basic 6.0、Motion OCX Toolkit(AT6400)。其中 AT6400 為 控制驅動XY Table 函式庫。 4.2 實驗環境 本實驗使用的每張導線架樣本大小不同，約介在 0.5cm×0.5cm~1.5cm×1.5cm 之間，而由於研究需要高解析度的影像來模擬實際打線端點位於導線架引腳上的 位置，故要求導線架影像中的每一根引腳寬度至少須大於10pixels 以上，拍攝影 像時鏡頭倍率則依據不同的引腳寬度作調整，影像結合所得的整張導線架影像大 小約介於1500pixels×1500pixels~1900pixels×1900pixels 之間。 取像用的導線架樣本並未經過切割，通常是由數十張導線架組合成一張連 版，為避免連版上的導線架出現彎曲、變形現象而影響到實際導線架引腳的形狀 與位置，本研究以乳白色壓克力板設計一放置連版的載台，此載台除了要使連版 能水平的放置，並且要有均勻及良好的透光度，使得載台下方背光模組的光源能
均勻打光，圖4.1(a)為載台的設計圖而圖 4.1(b)則為實際載台影像。 (a)載台設計圖 (b)載台實際影像 圖4.1 承載平台 實驗中所用到的光源有紅色環型 LED 正光源及白色矩形背光源兩種，由於 不同種類的導線架上的打線區(即電鍍區)範圍不同，故在取像時需要先以正向光 照明以辨識出打線區域，然而礙於導線架多由銅材質所製造，雖然以紅色光源照 明已較白色光源反射性弱，但仍然可能會有反光及反射不均等現象如圖 4.2，使 得導線架的邊緣輪廓產生變形，故在以正向光辨識出打線區域後，再將正光源關 閉改以背光源進行取像如圖4.3，以得到導線架的邊緣輪廓資訊。 圖4.2 正光源取得的導線架影像
圖4.3 背光源取得的導線架影像 圖 4.4 則為本實驗取像機構之全貌，以高倍率鏡頭搭配 X-Y Table 進行移動， 在適當的光源強度下拍攝導線架之影像。 圖4.4 取像硬體架構 4.3 系統整合實驗 實驗流程如圖4.5。首先以影像結合技術，將分開拍攝的四張導線架子影像， ，以供程式利用虛擬打線技術模擬打線端點 於引腳上的位置，接著找出導線架影像中各引腳之中軸，並且將各打線端點由 圖轉換到實際導線架影像之引腳中軸上，之後提供一打線端點編修的介 ，使操作者能對於程式 結合成一完整的高解析度導線架影像 CAD 面，將校正後的打線端點位置呈現在螢幕上供操作者觀看
