國立交通大學
工業工程與管理學系碩士班
碩士論文
晶圓打線腳位之自動驗證與確認
An AOI Approach for IC Lead Verification
研究生﹕張貴祺
指導教授﹕彭德保 博士
晶圓打線腳位之自動驗證與確認
An AOI Approach for IC Lead Verification
研 究 生：張貴祺
Student: Guei-Ci Chang
指導教授：彭德保 博士
Advisor: Dr. Der-Baau Perng
國立交通大學
工業工程與管理學系
碩 士 論 文
A Thesis
Submitted to Department of Industrial Engineering and Management
College of Management
National Chiao Tung University
in Partial Fulfillment of the Requirements
for the Degree of Master of Science
in
Industrial Engineering and Management
July 2009
Hsin-chu, Taiwan, Republic of China
中華民國九十八年七月
晶圓打線腳位之自動驗證與確認
An AOI Approach for IC Lead Verification
學生：張貴祺 指導教授：彭德保 博士 國立交通大學工業工程與管理學系碩士班
中文摘要
在IC 製程中，實體載板是根據 CAD 模型所做出的，然而製程限制造成實體載 板與CAD 模型有出入，主要是製程問題造成腳位有平移、露金、變形。因此為了協 助IC 自動打線，需先知道 CAD 上 IC 腳位的打線資訊，以及與其相對應實體 IC 載 板的腳位資訊，方能將正確的打線資訊載入到打線機台。為此，本研究針對運用 AUTOCAD 繪出的載板圖(載板設計圖)，與利用 CCD 攝影機所取得的實體 IC 載板 圖(載板實體影像圖)做比對，提出兩者間之 IC 腳位自動對照表演算法；透過連通元 件分析協助腳位自動編號、再配合最佳化重疊比對方法，協助載板設計圖與載板實 體影像圖之間的腳位對應辨識。 IC 腳 位 自 動 對 照 表 演 算 法 以 重 疊 比 對 為 核 心 方 法 ， 透 過 Affine Transformation(縮放，旋轉與平移)，進行影像對應之調整， 並以載板設計圖與實體 IC 載板圖的腳位重疊面積為最大且逼近載板設計圖的腳位個數做為判斷依據。 研究結果顯示自動腳位對照表演算法，可在不同載板樣本，完成腳位對照，以 協助打線腳位之自動驗證與確認，提升工廠的工作效率、設備的附加價值與生產力。 未來亦可提供協助自動打線端點的校正與檢驗等相關研究。 關鍵字：IC 載板；電腦輔助設計模型；粒子群最佳化法An AOI Approach for IC Lead Verification
Student：Guei-Ci Chang Advisor：Dr. Der-Baau Perng Department of Industrial Engineering and Management
National Chiao Tung University
Abstract
To wire-bond automatically, the bonding lead position from CAD model and the corresponding lead position of actual base material should be pre-given. In the manufacturing process, base material is produced based on CAD-model. However, due to production technique limitation, the actual base material often differs from CAD-model specification. That is, some lead on the base material may be shifted, exposed, and distorted.
This thesis proposed a lead matching algorithm which could find the lead positions between the leads on CAD-model and the corresponding leads on actual base material. First, a CAD-graph of base material was used as a template, and the image of actual corresponding base material was grabbed by using a CCD camera. Second, the Connected Component Labeling (CCL) method was applied on each of the leads of the image to have each lead be treated as a complete component. Third, the particle swarm optimization (PSO) method was used to find a set of best affine transformation parameters between the leads of the CAD-model and the actual corresponding base material image. The thesis would output a table which shows the matched corresponding leads positions.
Experimentations revealed that the developed algorithm responds good lead matching and could be applied to various base material types. The proposed method can also be applied in mass production environment to reduce the manual preparation work before actual wire-bonding process.
誌謝
衷心感謝吾師 彭德保教授於兩年來給予貴祺在專業知識、研究態度、表達技巧 之教導，尤其是在論文撰寫部分，不吝提供時間多次修改與指正文字表達，讓本論 文更趨完善；亦謝謝老師用心培養貴祺獨立思考、分析與解決問題的能力。貴祺的 思考與報告能力的進步，都要歸功於老師用心的照顧與指導。亦感謝口試委員們巫 木誠老師與許鍚美老師，不吝指教與提供寶貴意見，使本論文更趨完善周全。 本研究亦感謝日月光半導體公司李恕明學長，悉心指導貴祺IC 封裝專業知識並 提供IC 載板樣本，使本研究得以順利完成，在此致上最誠摰的謝意與感激。本研究 亦感謝相同研究領域的沈威廷同學，提供先進的取像機台設備與技術，讓貴祺無後 顧之憂，專心開發自動腳位對照表演算法。 感謝同實驗室的彥仲學長、朝香學長、思翰學長與俊甫學長，在研究所二年中 給予貴祺的寶貴建議。此外，亦感謝文政、曉薇、元碩、跳肥等同學，以及學弟妹 們的協助與照顧，讓研究生涯多了精彩與生活樂趣。 最後感謝我的家人與一路相挺朋友們，感謝您們陪著貴祺渡過了許多春冬，您 們的加油與鼓勵，讓貴祺持續努力與進步，更加擁有今日的成果。 願與您們一同分享這份畢業的結晶和喜悅。 張貴祺 於交通大學工業工程與管理學系電腦視覺研究室 民國九十八年七月目錄
中文摘要...I Abstract ...II 誌謝... III 目錄...IV 圖...VI 表... VIII 第一章 緒論...1 1.1 研究背景與動機 ...1 1.2 研究範圍 ...2 1.3 研究目的 ...9 1.4 論文架構 ...9 第二章 文獻回顧...11 2.1 腳位檢測於 IC 產業之應用 ...11 2.2 CAD 模型於物件辨識之應用...13 2.3 視覺系統架構 ...14 2.4 影像分割 ...15 2.5 鍊碼與多邊形估計 ...16 2.5.1 鍊碼原理[21] ...16 2.5.2 多邊形估計法[21]...17 2.6 幾何形狀比對 Geometric Shape Matching ...18 2.7 樣板比對(Template Matching)...18 2.8 粒子群最佳化法(Particle Swarm Optimization，PSO) ...19 2.8.1 粒子群最佳化法的原理 ...19 2.8.2 粒子群最佳化法的相關文獻 ...20 2.9 仿射轉換(Affine transformation) ...21 2.10 連通元件（Connected Components） ...22 2.10.1 連通元件標示/標記（Connected Components Labeling, CCL） ..22 2.10.2 連通元件分析（Connected Components Analysis） ...24 第三章 研究方法...25 3.1 擷取樣本圖 ...30 3.1.1 載板設計圖 ...30 3.1.2 載板實體影像圖 ...31 3.2 自動腳位對照表演算法 ...32 3.2.1 包覆載板實體影像圖全部腳位之最小包覆矩形 ...32 3.2.2 包覆載板實體影像圖全部腳位之最小包覆矩形...363.2.3 運用 PSO 於載板設計圖與載板實體影像圖之腳位對應 ...39 3.2.4 判斷腳位比對成功與否...42 3.2.5 腳位對照表...43 第四章 實驗設計與結果...46 4.1 資料來源 ...46 4.2 PSO 自動腳位對照實驗 ...47 4.3 PSO 實驗結果 ...63 第五章 結論...75 5.1 研究結論 ...75 參考文獻...76 附錄一...79
圖
圖1.1 L-A Leadframe 載板 ...3 圖1.2 L-B Leadframe 載板 ...3 圖1.3 L-C Leadframe ...4 圖1.4 S-A Substrate 載板 ...4 圖1.5 S-B Substrate 載板 ...5 圖1.6 L-A Leadframe 載板 ...5 圖1.7 S-A Substrate 載板 ...5 圖1.8 藍色是 L-B Leadframe 載板設計圖，黃色是 L-B Leadframe 載板實體影 像圖，以載板設計圖重疊載板實體影像圖重疊，自此圖可看到Leadframe 腳位平 移...7圖1.9 藍色是 S-A Substrate 載板設計圖，黃色是 S-A Substrate 載板實體影像 圖，以載板設計圖重疊載板實體影像圖重疊，我們可清楚看到Substrate 腳位平 移...7
圖1.10 L-B Leadframe 腳位大小不一 ...8
圖1.11 藍色是 S-A Substrate 載板設計圖，黃色是 S-A Substrate 載板實體影像 圖，以載板設計圖重疊載板實體影像圖重疊，我們可清楚看到Substrate 腳位有 旋轉且腳位寬度大小與設計圖有出入。...8 圖1.12 S-A Substrate 載板實體之露金 ...9 圖2.1 微晶片腳位個數計算 ...12 圖2.2 腳位平移 ...12 圖2.3 共平面性與線性腳位瑕疵 ...13 圖2.4 矩形樣本之邊緣特徵 ...14 圖2.5 典型的視覺系統基本組成圖 ...14 圖2.6 常見打光方式示意圖 ...15 圖2.7 鍊碼方向 ...16 圖2.8 鍊碼例子 ...16 圖2.9 多邊形估計法 ...17 圖2.10 區域積平方誤差 ...18 圖2.11 連通元件編號 ...22 圖2.12 四連通元件編號演算法第一回合 ...23 圖2.13 四連通元件編號演算法第二回合 ...23 圖2.14 連通元件編號演算法 ...24 圖3.1 L-C Leadframe 載板之設計圖之腳位編號顯示圖...26 圖3.2 L-C Leadframe 載板實體影像圖之腳位編號顯示圖 ...26 圖3.3 S-A Substrate 載板設計圖之腳位編號顯示圖 ...27
圖3.5 自動腳位對照表演算法 ...29
圖3.6 L-A Leadframe 載板 ...30
圖3.7 S-A Substrate 載板...31
圖3.8 (a) 紅色框內為 L-A Leadframe 打線範圍 ...31
圖3.8 (b)L-A Leadframe 腳位放大圖，紅框內之較淡色之腳位為電鍍區域...31
圖3.9 L-A Leadframe 之擷取的載板實體影像圖 ...32
圖3.10 (a)經二值化處理後的 L-A Substrate 載板設計圖 ...33
圖3.10 (b)經二值化處理後的 S-A Substrate 載板設計圖 ...33
圖3.11 (a)經二值化處理後的 S-A Substrate 載板設計圖的腳位放大圖, 有些腳 位圖線非封閉區域...34 圖3.11 (b)經多邊形估計處理後的 S-A Substrate 載板設計圖，腳位圖線為封閉 區域...34 圖3.12 S-A Substrate 載板設計圖 ...35 圖3.13 最小包覆矩形 ...36 圖3.14 已使用最小包覆矩形處理的 S-A Substrate 載板設計圖...36 圖3.15 二值化 S-A Substrate 載板實體影像圖...37 圖3.16 Box Plot...38 圖3.17 使用離群值觀念過濾雜訊 S-A Substrate 載板實體影像圖 ...39 圖3.18 最小包覆矩形擷取實體載板實體影像圖的全部腳位 ...39 圖3.19 載板設計圖與實體影像圖之腳位交集介紹 ...41 圖3.20 腳位比對流程圖 ...43 圖3.21 腳位對照表 ...45 圖4.1 S-A Substrate 樣本 ...48 圖4.2 載板設計圖的前置處理 ...49 圖4.3 S-A Substrate 載板實體影像圖的前置處理 ...51 圖4.4 S-A Substrate 之腳位比對結果圖 ...53 圖4.5 L-C Leadfram 之腳位比對結果圖...53 圖4.6 S-A Substrate 腳位之比對失敗的例子 ...55
圖4.7 針對 S-A Substrate 樣本之運用 PSO 於載板設計圖與載板實體影像圖之腳 位對應的流程...61 圖4.8 判斷腳位比對是否成功 ...62 圖4.9 S-A Substrate 載板設計圖與載板實體影像圖 ...63 圖4-10 腳位比對成功圖例...66 圖4-11 腳位比對失敗之圖例 ...68 圖4.12 個別測試樣本於 α=0.9 且粒子數為 30 時的腳位成功比對之收斂過程分析 ...74
表
表1.1 Leadframe 樣本與其腳位個數 ...6
表1.2 Substrate 樣本與其腳位個數 ...6
表4-1 PSO 實驗 Leadframe 與 Substrate 之共同參數...47
表4-2 擷取部分 S-A Substrate 載板設計圖與載板實體影像圖之腳位對照表...63
表4-3 單一樣本在不同 α 值下測試所得的成功率與執行時間 ...69
第一章 緒論
1.1 研究背景與動機
打線(wire bonding)是 IC 封裝相當重要的製程，而錯打線(incorrect boning) 將 造成嚴重問題，因為錯打線不能修正且無法重做，會使資源浪費、成本上升。目 前IC 封裝廠有賴人工以肉眼方式，進行打線位置的校對確認，但尚無法在大規模 量產下，以自動化方式進行打線位置的檢測。 近年來工業界利用該 IC 的 CAD 資訊，輔助打線機台自動找出待測物的位 置，透過自動化檢測，以減少人工成本、縮短生產時間[1-3]。然而 Noble[4]指出運 用CAD 模型於工業領域的困難度，如：依據 CAD 模型所產出的 IC 實體載板，功 能性上雖可運作，但實體載板上有些地方與CAD 模型要求的地方不同；此外，針 對3D 實體的維度資料不易去衡量。以上二個因素若透過人工去獲得實體載板上的 資料，常導致人為誤判或不客觀，資料的取得會失去可靠性，以上二個因素促使 自動光學檢測(Automated Optical Inspection, AOI)系統崛起。相對於傳統檢測方 式，AOI 系統有以下優點[5]：1、精密度高、不受 IC 線路/元件微小的限制；2、檢 測速度快、穩定度高；節省人工成本；3、具有資料儲存功能，可供後續分析研究。
目前 AOI 系統應用的範圍已相當廣泛，包括：可偵測印刷電路板上的線路是否短
路、斷路，晶粒之表面是否缺陷，液晶顯示器(Liquid Crystal Display, LCD)面板是 否缺陷等[6]。 隨著AOI 技術的進步，IC 封裝領域也開始運用視覺檢視系統協助偵測打線品 質[7-10]。在判斷打線位置的準確性方面，PPC[11]系統透過人工先完成一個標準 打線位置的程式設定，其他機台可下載此樣本程式進行模擬打線設定，以做為正 式打線前的預定打線位置校正；PPC 系統利用打線端點與打線端點之間的距離， 來判斷打線位置是否正確。PPC 系統有三個缺憾之處：其一，透過人工設定標準 打線位置程式，而非直接採用原始的設計圖上的資訊，可能會有打線位置設定錯 誤的問題。其二，正確的打線位置可能被判定為錯誤，此狀況稱為誤偵測。其三 為錯誤的打線位置可能被判定為正確，此狀況稱為漏偵測。以上三個因素使得PPC 演算法在自動檢驗打線位置的可靠性降低。因此，2009 年 Perng 等人提出 WWBP 系統(Wrong Wire Bonding Prevention System)[12]，利用 CAD 模型協助 IC 自動打
線。而WWBP 系統主要概念方法是利用 CAD 模型載板圖(在本文簡稱為載板設計 圖)與根據載板設計圖規格所製造的 IC 載板影像圖(本文簡稱載板實體影像圖)，先 使用人工方式在載板設計圖上給予每個腳位的不同地腳位編號；同樣地，將相對 於載板設計圖的載板實體影像之相對應腳位相同的編號。之後將CAD 模型的打線 端點座標載入載板設計圖，記錄每個打線端點所落入的腳位編號，以此當作標準 打線樣本。同樣地，載入標準打線樣本於載板影像圖，再判斷每條金線於機台上 的打線座標於腳位連通元件編號是否與載板設計圖之腳位連通元件編號相同，若 不想同予以調整，解決需要人工設定打線位置的問題。透過WWBP 不需要前置人 工設定打線位置當作標準樣本，給其他機台使用，進而也提升了產品的良率，消 除了原本約2000~3500 PPM 打線錯誤現象；但是，如何將腳位連通元件與設計圖 相同的腳位連通元件給予相同的編號，在實務上卻因為實體載板規格與設計模組 上要求的不同，因而遭遇了一些問題而無法完全自動化，故WWBP 系統所用載板 腳位上的參數，是先經由人工設定其編號，此做法不但耗時且浪費大量人力成本 與生產時間，也會因人眼經長時間使用導致疲憊而產生錯誤設定。歸納上述內容， 若在IC 封裝打線前，即能自動地產生載板設計圖與載板實體影像圖上的腳位之腳 位對照表結果，就能達成製程上的監控，以節省人力、縮短生產時間。 因此本研究希望針對載板設計圖之腳位與載板實體影像圖之腳位，研發出能自 動地產生並確認正確一對一的打線腳位關係表的演算法。
1.2 研究範圍
本研究係針對IC 載板上的腳位與設計圖上載板腳位進行電腦視覺之比對，找 出相對應的腳位對照結果。以下介紹所研究之IC 載板。 IC 載板，是 IC 封裝重要的零組件，為晶片與電路板的中間品，一般分為 Leadframe 與 Substrate 二種，而一個 IC 配置一個 IC 載板，利用載板固定線路位置， 建立零組件模組化[13]。由於載板規格各不同，本章挑選具有代表性質的載板，作 為本研究範圍，如圖 1.1(a)至 1.3(a)為自 AutoCAD 擷取出的 Leadframe 載板設計 圖，圖1.1(b)至 1.3(b)為使用機台擷取前述 Leadframe 載板設計圖所相對應之載板 實體影像圖。圖1.1(a) L-A Leadframe 載板設計 圖，圖片大小為1522*1522 圖1.1(b) L-A Leadframe 載板實體影 像圖，影像圖大小為1928*1926 圖1.1 L-A Leadframe 載板 圖1.2(a) L-B Leadframe 載板設計 圖，圖片大小為894*894 圖1.2(b) L-B Leadframe 載板實體影 像圖，影像圖大小為1789*1789 圖1.2 L-B Leadframe 載板
圖1.3(a) L-C Leadframe 載板設計
圖，圖片大小為1455*1454
圖1.3(b) L-C Leadframe 載板實體影
像圖，影像圖大小為1641*1640
圖1.3 L-C Leadframe
圖1.4(a)至 1.5(a)為 Substrate 載板設計圖，圖 1.4(b)至 1.5(b)為使用取像機台 擷取前述Substrate 載板設計圖所對應之載板實體影像圖。
圖1.4(a) S-A Substrate 載板設計
圖，圖片大小為1455*1454 圖1.4(b) S-A Substrate 載板實體影 像圖，影像圖大小為2369*2406 圖1.4 S-A Substrate 載板 圖1.5(a) S-B Substrate 載板設計 圖，圖片大小為839*766 圖1.5(b) S-B Substrate 載板實體影 像圖，影像圖大小為1824*1679
圖1.5 S-B Substrate 載板
Leadframe 的腳位形狀大致如圖 1.6 中白色細長的區域；Substrate 腳位大致如 圖1.7。
圖1.6(a) L-A Leadframe 載板實體 影像圖
圖1.6(b) L-A Leadframe 載板實體影 像圖之抽樣腳位放大圖
圖1.6 L-A Leadframe 載板
圖1.7(a) S-A Substrate 載板實體影 像圖
圖1.7(b) S-A Substrate 載板實體影 像圖之抽樣腳位放大圖
載板所對應的腳位個數甚多，可從數十個至三百個，而表 1.1 列出不同 Leadframe 樣本的腳位數，表 1.2 列出不同 Substrate 樣本的腳位數；(2)載板實體影像圖上之 腳位平移，在此以載板設計圖重疊載板實體影像圖表示之，請見圖1.8，圖 1.9。 因載板製程限制，造成Leadframe 腳位平移。其一因素，每個腳位寬度可能會 不同，圖1.10；其二因素，每個腳位間的間距可能不同[14]。 除此外，Substrate 載板實體影像圖的特性為(1)與標準樣本載板設計圖相比， Substrate 載板實體影像圖腳位形狀、大小與設計圖不同，在此以載板設計圖重疊載 板 實 體 影 像 圖 表 示 此 差 異 ， 請 見 圖 1.11； (2)載 板製 程缺陷造 成的露金 (Gold Exposed)，造成誤判為載板實體影像圖上的腳位，圖 1.12。 (3)腳位分佈排列幾何 形狀多變化，如圖1.4 與圖 1.5。 表1.1 Leadframe 樣本與其腳位個數 Leadframe 樣本名稱 Leadframe 腳位個數 L-A 176 L-B 144 L-C 216 表1.2 Substrate 樣本與其腳位個數 Substrate 樣本名稱 Substrate 腳位個數 S-A 317 S-B 242
圖1.8 藍色是 L-B Leadframe 載板設計圖，黃色是 L-B Leadframe 載板實體影像圖，
以載板設計圖重疊載板實體影像圖重疊，自此圖可看到Leadframe 腳位平移
圖1.9 藍色是 S-A Substrate 載板設計圖，黃色是 S-A Substrate 載板實體影像圖，
圖1.10 L-B Leadframe 腳位大小不一
圖1.11 藍色是 S-A Substrate 載板設計圖，黃色是 S-A Substrate 載板實體影像圖，
以載板設計圖重疊載板實體影像圖重疊，我們可清楚看到 Substrate 腳位有旋轉且
圖1.12(a) S-A Substrate 載板實體影 像圖 圖1.12 (b) S-A Substrate 載板實體影像 圖上抽樣的區域放大圖，橢圓圈裡所標 示的是露金非腳位 圖1.12 S-A Substrate 載板實體之露金
1.3 研究目的
本研究的目的為改善WWBP 系統需要耗費人力資源，以肉眼設定載板設計圖之 腳位參數與載板實體影像圖之腳位編號後，方能進行WWBP 模擬打線的座標設定。 IC 實體載板雖是依據 CAD 模型所產出的，但實際上有些地方會與 CAD 模型要求 的不同。採用人工進行腳位編號，工作複雜性高，隨著工作時間增加，易導致腳 位編號錯誤。 本研究目的乃提出一套演算法可針對各式不同的 IC 載板自動化產生載板設計 圖與載板實體影像圖之腳位編號對照表，改善WWBP 系統需要人工設定腳位編號， 以提升工廠的工作效率、設備的附加價值與生產力。1.4 論文架構
本論文共分為四章，第一章說明本研究的研究背景、研究動機與研究目的。第 二章說明本研究所參考文獻理論基礎及相關文獻回顧，包括過去IC 晶片檢驗的相關Matching)的部分。接著，介紹影像處理和本研究最重要的粒子群最佳化演算法理論 與相關研究、仿射轉換等方法。第三章則說明本研究如何以粒子群最佳化演算法所 產生的腳位對照表，包括前置處理與事後處理工作，求解問題評估函數的設定。第 四章為實驗設計與結果，包括參數的設定，實驗結果的歸納。第五章結論，為闡述 本研究的貢獻。
第二章 文獻回顧
本章先整理與回顧IC 相關產業腳位辨識的現況與運用 CAD 模型的物件辨識
之相關文獻作為本研究研發演算法之參考。其次，討論視覺系統的基本架構；接著， 介紹本論文中所運用到的前置影像處理，包括二值化(Binarize)，鏈碼與多邊形估計。 而在比對原理，則介紹幾何形狀比對(Geometric Shape Matching)原理，與樣板比對 (Template Matching)。之後，討論本論文主要核心-粒子群最佳化方法(Particle Swarm Optimization, PSO) 及其相關文獻，並介紹本研究最佳化演算法裡的粒子群的維度、 旋轉、縮放之仿射轉換(Affine Transformation)運用。最後，介紹腳位編號方法-連通 元件(Connected Components)，包括連通元件編號(Connected Components Labeling, CCL)與連通元件分析(Connected Components Analysis)。
2.1 腳位檢測於 IC 產業之應用
NAZIM 等人[15]針對微晶片腳位提出一套有效的方法進行偵測。不同於灰階影 像比對，文獻在二值化的影像上，運用連通元件與統計分析，以判斷晶片腳位可能 的瑕疵，包括：多餘腳位或遺失腳位(Extra or Missing Leads)，如圖 2.1；腳位平移 (Offset Leads)，如圖 2.2；共平面性與線性腳位瑕疵(Planarity or Linearity Lead Defects)；如圖 2.3。針對多餘腳位或腳位遺失檢測，此篇論文提出連通元件分析， 獲得晶片上的腳位個數，藉以判斷是否有腳位遺失或多腳位的情形；而在腳位平移 的測量，則是利用通連元件分析來判斷每個腳位方向是否與相鄰腳位群相同，以判 斷是否偏離正確方向；至於共平面性與線性腳位瑕疵之分析，則是以個別腳位面積 來判斷，如果其腳位面積小於標準樣本的腳位面積則判斷為該二類瑕疵。
圖2.1(a)正常腳位個數 圖2.1(b)腳位遺失
圖2.1 微晶片腳位個數計算
圖2.2(a)原始影像 圖2.2(b)影像處理後
圖2.2 腳位平移
圖2.3 共平面性與線性腳位瑕疵
歐陽衡[16]運用電腦視覺方法對封裝積體電路之外接引腳位膠體外觀進行分
析，判斷該封裝 IC 是否符合規範；其方法為先取一個正確的標準樣本(Golden
Sample)，取得其標準樣本影像，並進行二值化處理。之後，切割出感興趣之區域 (Region of Interest, ROI)，將此區域設為遮罩(Mask)。而後，針對數個受檢測樣本， 透過標準規範之形狀與統計分析，找出待測物的全部腳位完整的檢測範圍，再利用 影像處理突顯瑕疵部分，以判斷樣本是否有瑕疵。
2.2 CAD 模型於物件辨識之應用
過去十年來工業界利用CAD 資訊，輔助生產機器自動找出待測物的位置。工 業生產程序中，待測物並不是每次都放在同一位置，導致必須人工調整工作物至機 器手臂工作範圍。Gunnarsson 等人[1]利用定位具(positioner)和治具(fixture)所提供的 3D 待測物的位置資訊，然後利用 CAD 模組的座標進行仿射轉換決定物件精確的位 置。 Teh 等人[2] 提出針對 2-D 矩形物件辨識的演算法。演算法只需要待測物的部分 特徵，再配合資料庫模組資訊做匹配度運算，來推測出待測物可能的位置。Teh 所 使用的方法為利用矩形上的邊緣特徵，如圖2.4，偵測工作物位置。此演算法可以處 理當待測物平移、旋轉、放大或待測物部分被重疊遮蓋住，但只被遮蓋範圍不能太 多，否則推測出來的工作物位置會不正確。圖2.4 矩形樣本之邊緣特徵
Krebs 等人[3]於 1997 年提出以 CAD 視覺(CAD Based Vision, CBV)檢測方法進 行待測物的辨識。Krebs 所採用的方法是先掃描待測物的部分表面，然後進行邊緣 點的擷取，透過3D Cubic B-Spline Approximation 曲線數學模式的方法，再使用節點 偏移(Knot shift)找到匹配的平滑曲率，來描述具自由曲面(Free-Form Surfaces)待測
物，突破過去CAD 模型只能辨識矩形的工作物。
2.3 視覺系統架構
視覺檢測系統的基本組成，可粗略分為六大單元[17]，包括：待測工件、光源、 影像行程裝置、影像擷取介面卡、影像處理器、週邊與輸出裝置。圖 2.5 為典型視 覺系統基本組成的示意圖。 光源 鏡頭 影像形成裝置 電子攝影機 影像擷取 介面卡 影像處理器 週邊及輸出裝置 主電腦 待測工件 圖2.5 典型的視覺系統基本組成圖 光源設計是電腦視覺系統裡重要的元件，其目的是以適當的光源設計擷取待測 物的物體特徵。光源照明系統設計好，可以降低影像雜訊、突顯物件與背景的對比， 降低後續檢測演算法的複雜度。 常見的光源系統打光設計[18]有三種，如圖 2.6 所示：側，利用光線反射強弱的不同，作為檢測物體表面特徵。 (2) 背照式(Back Lighting)：光源與 CCD 在物體不同側。使物體產生對比強烈的輪 廓線。 (3) 側照式(Side Lighting)：光源放在物體的側面，光源的照射方向與物體平面近乎 平行。常作為突顯待檢測物體幾何性質之用。 圖2.6 常見打光方式示意圖
本論文針對 Leadframe 與 Substrate 樣本，各使用不同的光源系統。Leadframe
樣本，如圖1.1~1.3(b)所示，可利用背照式使腳位與腳位之間的空隙，透過背照式讓 Leadframe 上的腳位產生對比強烈的輪廓線。Substrate 的腳位，如圖 1.4~1.5(b)所示， 只能透過前照式，利用光線反射強弱的不同，作為檢測Substrate 表面腳位特徵。
2.4 影像分割
影像二值化[19]為一種影像分割的方法。影像分割的目的為突顯目標物體位置並 消除雜訊與背景，簡化後續影像處理的過程。 灰階影像皆可以灰階直方圖表示，直方法通常是以影像的灰階範圍做為X 軸， 其灰階範圍為0~255；各灰階擁有的像素數量為 Y 軸。利用二值化將灰階的影像， 透過選取的灰階閥值，將灰階的影像轉變成 0 或 1。灰階值大於閥值的為前景，灰 階值設為1；反之為背景，灰階值設為 0，數學式可表示成。 ⎩ ⎨ ⎧ = 0 1 ) , ( yx b otherwise T y x f if ( , )≤ (2-1) 其中b(x, y)代表二值化後的影像，f(x, y)為進行二值化的灰階影像，T 為灰階閥 環形光源 背光源 物件 物件 CCD CCD 物件 CCD 環形光源 側照式 背照式 前照式值。透過公式(2-1)可將灰階影像轉為黑白影像。 由於上述影像二值化方法，其閥值需要人工自行設定，不易找出適合的閥值。 而自動二值化(Auto-threshold)乃利用直方圖像素灰階分佈情形，自動化找出最適合 的閥值(Threshold)，分割影像。Otsu 自動閥值[20]選定法乃是利用機率與統計方法， 讓灰階值閥值區分為背景與物體二類；其閥值的選定乃希望找出背景與前景可明顯 區，其所利用的統計概念是讓灰階群組間之變異值最大，組內之變異值最小。
2.5 鍊碼與多邊形估計
2.5.1 鍊碼原理[21] 在影像處理中的物體形狀表示與描述，鍊碼為常用方法之一。鍊碼方向描述有 四方向與八方向鍊碼，如圖 2.7。在此使用八方向鍊結，來描述物體的輪廓，以圖 2.8 為例，透過鍊碼可以辨識是否為同一物體。 圖2.7(a)四方向鍊碼 圖2.7(b)八方向鍊碼 圖2.7 鍊碼方向 圖2.8 鍊碼例子2.5.2 多邊形估計法[21] 多邊形估計是指在一個封閉曲線中，找到數個連續線段Q’來近似表示該物體的 外緣 Q。連續線段數愈多，就愈接近原本的曲線，因此設定容忍值，容忍值大小影 響Q 和 Q’的相似度，容忍值愈大，相似度愈小；反之，相似度愈大，圖 2.9。 (a)物體影像 (b)二值化 (c)多邊形法估計法逼近，容忍值小 (d)多邊形估計法逼近，容忍值大 圖2.9 多邊形估計法
容 忍值 計算 方法 ，為 利用 區域 積平 方誤 差(Local Intergral Square Error)，
∑ = − + = 1 1 2( , ) j i k k i j ij d P PP LISE 。 假設二維 平曲線在 線段上只 有 n 個點，Pk=(Xk,Yk), k=1,2,3,…,n，如圖 2.10 表示。當 LISEij愈大，則代表容忍值大，產生的多邊形曲線 則與原多邊形相似度低。當 LISEij愈小時，則代表容忍值小，產生的多邊形曲線則 與原多邊形相似度大。
圖2.10 區域積平方誤差，LISEij(= LISE(PiPj))也可以看成所有Pk到 PiPj 的距離平方和，故LISEij可表示為 = ∑ − + = 1 1 2( , ) j i k k i j ij d P PP LISE
2.6 幾何形狀比對 Geometric Shape Matching
幾何形狀比對[26]是可運用於幾何圖形的擷取、辨識、分類、對齊、近似度等。 使用方法大多數是運用Hausdorff Distance 於點集合(point set)與點幾合(point set)的 距離差最小，Hausdorff Distance 的計算公式如下： (2-2) a:A點集合中的一個點座標 b:B點集合中的一個點座標 而另一種幾何形狀比對，主要運用於凸多邊形，透過最大化重疊面積與最小化 的凸包(convex hull)，判斷是否同個幾何形狀。
2.7 樣板比對(Template Matching)
樣本比對通常使用在灰階或二值化影像上的物件辨認及比對，其方法簡單且易 實行，在影像空間取一視窗尺寸為K*L 大的目標視窗，並在其對應的影像空間取範圍較大的搜尋視窗，進行正規化相關係數 r 的判斷(Normalized Cross Correlation， NCC)，在搜尋視窗裡左右上下逐一移動，移動時將目標視窗與搜尋視窗中對應視窗 的灰度值代入數學式(2-3)相關係數愈高，代表二張影像相關性高。
r (i,j)= ) 3 2 ( )] , ( ) , ( [ ] w -y) w(x, [ )] , ( ) , ( ][ w -y) w(x, [ 1 0 1 0 1 0 2 2 1 0 1 0 1 0 − − + + − + +
∑
∑
∑∑
∑∑
− = − = − = − = − = − = L x L x K y K y L x K y j i f j y i x f j i f j y i x f r:相關係數 i,j:視窗內的像素所在的行、列值 w 為目標視窗，視窗大小為 L*K f 為搜尋視窗，視窗大小為 M*N，M>L，N>K 透過正規化相關係數 r 的運算，可以消除影像 f 因打光不均勻，而產生誤判； 然而其缺點是，當辨認物件被旋轉或尺寸變化或缺陷雜訊干擾，無法辨識。2.8 粒子群最佳化法(Particle Swarm Optimization，PSO)
2.8.1 粒子群最佳化法的原理 粒子群最佳化法是Kennedy 等人於 1995 年所提出[22]，是一種以群體為基礎的 最佳化搜尋技術，此方法乃是自觀察鳥類覓食的社會行為，所建立社會行為模擬的 最佳化演算法。 粒子群的概念可視為一個簡單的社會系統，將每個個體視為一個可行解的候選 人，稱為粒子(Particle)。每個粒子都具有各自的速度(Velocity)，透過適應值(Fitness Value)的衡量，每個粒子在各自的搜尋空間中找尋區域最佳解(Local Best)的參數，每 個粒子的速度除了會受到區域最佳解的影響外，亦會受到社區群體目前最佳解 (Global Best)的影響，使粒子之間直接或間接溝通，逐漸移動到可能的最佳解位置上。 每個粒子i 包含以下資訊，xid是目前的粒子位置；vid是目前的粒子速度；而xpbest 是目前粒子所到達的最佳的位置記錄。xgbest是粒子群中任一個粒子目前所找到的最 佳解位置。利用xpbest與xgbest來做為粒子位置更新的依據。 PSO 演算法運作過程如下列步驟所示： 步驟一、在具有D 個維度的問題空間中，以隨機方式產生出每一粒子位置與速度來
步驟二、依據適應函數計算出每個粒子的適應值； 步驟三、比較粒子目前找到的適應值與區域最佳解，若找到的適應值優於區域最佳 解，則更新xpbest； 步驟四、比較粒子目前找到的適應值與全域最佳解，若找到的適應值優於全域最佳 解，則更新xgbest； 步驟五、依照下列公式(2-4)與(2-5)來改變粒子的速度和位置。 4) -(2 ) ( () ) ( () ) 1 ( ) ( id 1 pbest id 2 gbest id id t V t c Rand x x c Rand x x V = − + × × − + × × − 5) -(2 ) ( ) ( ) (t x t V t xid = id + id ] , [ Vmax Vmax Vid ∈ − id V :第i個粒子的第d個維度的速度； id X :第i個粒子的第d個維度的位置； 2 1,C C :學習常數，通常被設為2.0或1.49445； pbest x :粒子到目前為止的區域最佳解； gbest x :全域粒子目前找到的最佳解； () Rand :介於[0.0,1.0]的亂數。 步驟六、回到步驟二，重覆執行，直到獲得符合終止條件為止，通常終止條件為設 定為到達最大的執行次數，或達到期望的適應值。 1998 年，Shi[23]提出了動態調整慣性權重ω，以平衡收斂的品質，由於慣性權 重的引入，使得PSO 的收斂性有了大幅度的提升。修正公式(2-4)，由下列式替代： 6) -(2 ) ( () ) ( () ) 1 ( * ) ( id 1 pbest id 2 gbest id id t V t c Rand x x c Rand x x V =
ω
− + × × − + × × − 2.8.2 粒子群最佳化法的相關文獻仿射轉換，使二個點集合模組間的Partial Hausdorff Distance (PHD)最小。也就是說， 將每個粒子當作是一個點集合，對每個粒子進行仿射轉換，找出粒子與另一組點集 合模組的距離量測是最小。此外，作者亦利用邊界標準(Bounding Criterion)協助PSO 收斂。最後此篇論文以指紋辨識為例，找出同手指但二張不同時間的指紋影像的特 徵，利用作者提出的演算法，找出二組點集合之對應關係。 劉德誠[25]結合類神經網路與粒子群最佳化技術製作臉部偵測系統。此篇論文 利用類神經訓練人臉訓練靜態影像輸入，透過膚色作影像切割，找出含有膚色的最 小矩形區域作為臉部候選區，再將每個PSO 的粒子視為一個子影像並針對每個粒子 進行仿射轉換，即對每個粒子做位置、大小及旋轉角度調整，以找出圖片中最近似 臉部的正確大小與角度。除了基本的 PSO 與類神經網路的應用外，作者發現調整 PSO 裡學習因子參數(C1,C2)，可以將個體與群體間的信任程度作出調整。另外，速 度限定Vmax則可限制每次迭代運算，粒子間合作的反應。因此作者提出「變動信任
式」PSO (Variable Confidence PSO, VCPSO)演算法，透過 PSO 學習因子參數的調整
與速度的限定，找到臉部正確位置與角度機會增加。此外，作者亦發現在 VCPSO
演算法中，在t 次迭代後可找到臉部的概略位置，透過動態學習強化 x 與 y 的收斂，
使得族群往xgbest之座標移動。同時，為了避免信任xgbest已接近臉部，在一定機率下
a 與 b 值交換，使得族群朝各粒子之 xpbest方向擴散。因此作者提出快速變動信任制
(Fast Variable Confidence PSO, FVCPSO)，當 t 次迭代後，xgbest大於門檻值，則進行
FVCPSO，加速收斂。
2.9 仿射轉換(Affine transformation)
影像的像素資料，藉由線性平移(Translation)、旋轉(Rotation)、縮放(Scaling)等 方式，將轉換為後影像的像素資料，並且保持兩張影像中的特徵物不變，也就是說， 將原本影像的座標值(x,y)，經過平移、旋轉或縮放後轉換成座標值(x’,y’)。其轉換公 式為下： (2-7)：前影像的座標值； ：仿射轉換後，影像的座標值； ：平移大小； k：縮放比例； θ：旋轉的角度。
2.10 連通元件（Connected Components）
2.10.1 連通元件標示/標記（Connected Components Labeling, CCL）
連通元件編號[19]的演算法，常被應用在影像分割(Segmentation)與影像辨識 (Pattern Recognition)，目的是要從一張影像中，辨識出屬於相同區域且相鄰的像素 點，給予唯一的編號。處理的對象大多是二維的灰階影像，前景灰階值為 1，背景 灰階值為 0。在一般的影像處理演算法裡，如果使用到一個像素，通常也會用到其 鄰近的像素。針對相鄰像素點的定義有二種，一為四連通(4-neighbor)，圖 2.11 (a)。 二為八連通(8-neighbor)，圖 2.11 (b)。而標記(Labeling)動作是指將所有相連的點標 記同一組。 (a)四連通 (b)八連通 圖2.11 連通元件編號 而以下介紹連通元件編號應用於二維灰階影像的演算法，此方法主要分成二個 ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ y x ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ b a ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ' ' y x
碼為此像素編碼。若鄰近點無編碼，則此點給予一新的編碼，如圖 2.12。第二步驟 則再次重新掃描整張影像像素，若鄰近點有不同值，則依鄰近值中最小編碼此像素 之編碼，如圖2.13。演算法見圖 2.14[27]。
圖2.12 四連通元件編號演算法第一回合
圖2.14 連通元件編號演算法
2.10.2 連通元件分析（Connected Components Analysis）
連通元件分析即將連通之元件擷取出來進行分析，乃是針對影像中相同區域 的物件，進行特徵的萃取；其特徵可以是元件之面積(Area)、最小包覆矩形 (Smallest Bonding Box)、周長(Circumference)、重心(Center of Gravity)等等。
第三章 研究方法
在Perng 等人所提出 WWBP 系統[12]，需要人工將載板設計圖與 載板實體影 像圖做腳位編號，使得人力成本與生產時間仍然偏高，並有人為誤判腳位給予錯 誤編號之可能。因此，本研究針對IC 載板設計圖之腳位與 IC 載板實體影像圖之 腳位進行比對，以得出腳位對照表。 Noble[4]指出依據 CAD 模型所產出的實體，功能性上雖可運作，但實體上有 些部分與載板設計圖的要求會有出入；載板實體影像圖上的腳位是根據載板設計圖 的腳位分佈比例所製造，實體載板腳位分佈的位置與載板設計圖腳位分佈的位置， 是具有某種程度相對位置比例的關係。也就是說，載板實體影像圖雖是根據 CAD 模型所製作，但模樣與CAD 模型也會有些許出入。 IC 載板可分成 Leadframe 與 Substrate 二種，其樣本型式如圖 1.1 至 1.5。比較 載板設計圖與載板實體影像圖，可以發現有不同處，如載板腳位長度不一致、腳 位變形、載板上類似腳位的露金。以Leadframe(圖 1.1 至圖 1.3)而言，載板實體影 像圖之腳位會有平移情形，而以Substrate(圖 1.4 至圖 1.5)而言，載板實體影像圖有 腳位因製程問題，腳位形狀與設計圖不同、露金與平移、旋轉等情況。以上的問 題，若使用腳位重心進行Point Pattern Matching 尋找載板設計圖與載板實體影像圖之腳位對應，受限於IC 實體載板之腳位形狀與位置變化，特徵點的取出會有誤差； 而使用Template Matching 亦會受到腳位變形的干擾；而切割影像，減少影像的複 雜度又會受到載板腳位會有無規律分布的情形；單純使用傳統連通元件編號演算 法於載板腳位，會因為載板實體圖上的腳位變形、露金、位移等問題，導致載板 設計圖與載板實體影像圖的相對應的腳位編號不一致的問題，如圖3.1 至圖 3.4 為 使用連通元件演算法於載板設計圖與載板實體影像圖後，其相對應的腳位編號顯 示圖。
圖3.1 (a) L-C Leadframe 載板設 計圖之腳位編號結果 圖3.1 (b) L-C Leadframe 載板設計圖上的矩 形區域放大圖 圖3.1 L-C Leadframe 載板之設計圖之腳位編號顯示圖 圖3.2 (a) L-C Leadframe 載板實 體影像圖之腳位編號結果 圖3.2 (b) L-C Leadframe 載板實體影像圖上 的矩形區域放大圖 圖3.2 L-C Leadframe 載板實體影像圖之腳位編號顯示圖
圖3.3 (a) S-A Substrate 載板設計圖之 腳位編號結果
圖3.3 (b) S-A Substrate 載板設計圖上 的矩形區域放大圖
圖3.3 S-A Substrate 載板設計圖之腳位編號顯示圖
圖3.4 (a) S-A Substrate 載板實體影像 圖之腳位編號結果 圖3.4 (b) S-A Substrate 載板實體影像 圖上的矩形區域放大圖。(編號 5 為製 程上所產生的露金，非腳位)。 圖3.4 S-A Substrate 載板實體影像圖之腳位編號顯示圖 本論文主要是以載板設計圖為標準樣本(Golden Sample)，找出載板設計圖與載 板實體圖之間的腳位對應關係，利用重疊此二種圖所產生的腳位交集資料，可以過 濾露金，減少腳位變形、腳位平移與腳位寬度不一的干擾。 由於目前IC 載板腳位的精密度需求，因此運用粒子群最佳化法(Particle Swarm Optimization, PSO)，對載板實體影像圖進行最好的旋轉與縮放與平移之調整且重疊
積最大且腳位個數最正確時，記錄下來，使之與載板設計圖重疊與重疊的腳位個數 正確，而前載板圖交集結果的影像資訊，再利用演算法自動化找出載板設計圖與載 板實體影像圖的腳位對照表。 自動腳位對照表演算法，輸入為載板設計圖與載板實體影像圖，輸出為其腳位 編號對照表，腳位對照表內容為設計圖腳位編號與相對應的載板實體影像圖腳位編 號，圖3.5。
在執行自動腳位對照表演算法前，需先擷取載板設計圖與載板實體影像圖。因 此，本研究先說明樣本擷取的部分，再介紹自動腳位對照表演算法的架構與細節。
3.1 擷取樣本圖
3.1.1 載板設計圖
CAD 模型為 IC 工廠的 R&D 部門所繪製，包括：載板圖，晶片位置圖，以及打 線位置等，如圖3.6(a)L-A Leadframe CAD 模型與 3.7(a)S-A Substrate CAD 模型所 示。CAD 模型上有太多的資訊，會影響腳位辨識。因此，在執行自動腳位對照表演 算法之前，需將 CAD 模型檔載入 AutoCAD 系統，刪除與載板圖無關的資訊，只留 下載板腳位，最後輸出載板設計圖，如圖 3.6(b)L-A Leadframe 載板設計圖與圖 3.7(b)S-A Substrate 載板設計圖。
圖3.6(a) L-A Leadframe CAD 模型 圖3.6(b) L-A Leadframe 載板設計圖
圖3.7(a) S-A Substrate CAD 模型 圖3.7(b) S-A Substrate 載板設計圖
圖3.7 S-A Substrate 載板
3.1.2 載板實體影像圖
IC 實體載板大致可為 Leadframe 和 Substrate 兩類，針對 Leadframe 實體樣本為 導線架型式，腳位與腳位之間並無連接，使用背向光源拍攝可使腳位邊緣產生對比 強烈的輪廓線，而不採用正向光源的原因，乃是正向光源照射在導線板上會有反光 的效果，且可能將造成取像結果圖的腳位會發散，二值化後腳位縮短。 Leadframe 取像是擷取 Leadframe 導線架的打線範圍，也就是導線架上有電鍍的 部分，顏色與相較其他腳位較為淡色，如圖3.8 (a)(b)。 以背光源取像，其取像結果使得 Leadframe 實體載板圖的腳位成為背景色，腳 位以外的區域成為前景，如圖3.9。
圖3.8 (a) 紅色框內為 L-A Leadframe 打線範圍
圖3.9 L-A Leadframe 之擷取的載板實體影像圖
而Substrate 實體樣本，從外貌觀察可發現 Substrate 載板與 Leadframe 載板不同， Leadframe 載板其腳位與腳位之間有空隙，而 Substrate 載板其腳位與腳位之間無空
隙，透過背向光源照射，是不可行的。因此Substrate 實體樣本採用正向光源拍攝，
載板的腳位以前景色表示。
Leadframe 與 Substrate 載板實體樣本之拍攝方法不同，使得腳位影像分別為 Leadframe 腳位為背景色，Substrate 腳位呈前景色表示。將 Leadframe 載板圖與 Substrate 載板圖輸入至自動腳位對照表演算法前，腳位一律調整為前景色。在後續 的演算法裡，所採用的 PSO 演算法之適應值即以交集二個載板圖之白色區域(即腳 位區域)的重疊面積與重疊白色區域個數做為考量因素。 擷取樣本後，自動腳位對照表演算法讀入載板設計圖與載板實體影像圖，執行 自動腳位對照之演算，圖3.5。
3.2 自動腳位對照表演算法
3.2.1 包覆載板實體影像圖全部腳位之最小包覆矩形 本研究是擬找出載板設計圖與載板實體影像圖之腳位的對應關係，對於 Substrate 載板圖其取像結果，除了載板腳位，尚留了很多非腳位散布區域。為了配 合打線機之作業速度，針對腳位區域做偵測處理，將減少搜尋非腳位區域的資訊， 提升打線工作效率。因此本研究對於Leadframe 載板圖與 Substrate 載板圖，先以最算法，將只針對載板腳位區域，即打線腳位區域，進行腳位比對處理，其處理步驟 如下： Step1: 前景化載板設計圖的腳位 自 AutoCAD 擷取載板設計圖，將其腳位經色彩對調。本研究利用二值化法進 行色彩對調，以圖3.6(b)，3.7(b)為例，腳位以前景色之結果如圖 3.10(a)與圖 3.10(b) 所示。
圖3.10 (a)經二值化處理後的 L-A Substrate 載板設計圖
圖3.10 (b)經二值化處理後的 S-A Substrate 載板設計圖
Step2: 將載板設計圖未封閉的腳位修補為封閉腳位區域
放的場合，如商標或簡單圖案。以繪製幾何圖型或工程圖型的設計繪圖類軟體，如 CorelDRAW、Illustrator 與 AutoCAD 等，都以向量圖為主要存檔格式。相對的，點 陣圖可以細緻展現影像細節，適合照片和複雜圖像等較不需縮放的場合，主要存檔 格式，如bmp、gif、jpg 等，都是點陣圖。 由於IC 載板之 CAD 模型為向量圖(Vector)，向量圖的好處是縮放皆不會失真， 但向量圖輸出的點陣圖檔，其腳位描述範圍之圖線會有不連續斷開的現象，如圖 3.11(a)。須修補其載板設計圖之腳位裂縫，本論文使用鏈碼的原理(Chain Code)與多 邊形估計法進行腳位裂縫的修補，使腳位邊緣形成封閉區域，如圖3.11(b)。
圖3.11 (a)經二值化處理後的 S-A Substrate 載板設計圖的腳位放大圖, 有些腳位圖 線非封閉區域
Step3：將載板上封閉腳位區域填滿 在腳位形成封閉區域後，運用連通元件，找尋每個密閉區域，即 CAD 圖腳位 之區域，進行填滿動作，並使每個腳位區域都成為前景色，如圖3.12 示。 圖3.12 S-A Substrate 載板設計圖 Step4:擷取載板設計圖的全部腳位之最小包覆矩形區域 找出載板設計圖所有腳位之最小包覆矩形，其作法則是先將所有腳位排序，掃 描所有腳位的所有座標值，再從中求出最小與最大的X 值和 Y 值，即可找出所有腳 位之最小包覆矩形，如圖 3.13，後續處理即只針對載板設計圖上所有腳位之最小包 覆矩形區域，如圖3.14，進行最佳化的腳位比對運算。
圖3.13 最小包覆矩形 Xs：最小的X 值 Xb：最大的X 值 Ys：最小的X 值 Yb：最大的X 值 圖3.14 已使用最小包覆矩形處理的 S-A Substrate 載板設計圖 3.2.2 包覆載板實體影像圖全部腳位之最小包覆矩形
載板實體影像圖分為Leadframe 與 Substrate 二種圖形。Substrate 載板圖，其腳 位散布範圍可大至整個載板，或僅以載板為中心小區域散布。因此為了減少運算，
(Xs,Ys)
Leadframe 載板圖拍攝時，即是以最小包覆矩形包覆整個打線腳位區域，此處只需再 進行二值化動作與去除雜訊即可。執行下列的程式可完成Substrate 二值化、過濾雜 訊，以及取得可包覆全部腳位之最小包覆矩形；而對 Leadframe 則可完成二值化、 過濾雜訊。 Step1: 二值化 本研究使用自動二值化法，讓載板實體影像圖的資訊，凡灰階值大於閥值之像 素，皆轉變成灰階值皆為255 的前景顏色，其餘像素則轉變為灰階值皆為 0 的背景 顏色，透過此步驟過濾消除多餘雜訊，以突顯腳位資訊，如圖3.15。 圖3.15 二值化 S-A Substrate 載板實體影像圖 Step2: 過濾雜訊並找出最小包覆矩形擷取實體載板實體影像圖的全部腳位 IC 載板經連通元件分析，可發現 Substrate IC 實體載板連通腳位個數往往會大 於載板設計圖上的腳位個數，即有露金現象，而Leadframe IC 實體載板上在一般非 無塵室環境下拍攝，也可能產生多餘灰塵般的雜訊資訊。 在企圖刪掉雜訊的過程中，需要全盤考慮到全部樣本特性，若欲利用形態學中 的侵蝕與膨脹(Close and Dilate)運算來過濾雜訊，會受限於每個載板樣本的腳位面積
不同招致挑戰性，無法找到用的運算次數或步驟，尤其是Substrate IC 實體載板之腳
離群值的方法，其方法為採用統計學裡箱型圖(Box Plot)的概念[28]。箱型圖是將數
據資料排序後以箱型及直線之方式來呈現的圖形，如圖3.16 所示。直線上會有五個
綜合分界點，分別為最小數、第一四分位數、中位數、第三四分位數和最大數。第 一四分位是取中位數左邊(不含中位數)的所有數據資料的中位數；第二四分位數即 中位數；第三四分位數是中位數右邊(不含中位數)的所有數據資料的中位數。而四 分位數間距(inter-quartile range, IQR)是指第一和第三四分位數間的差距，即 Q3-Q1。
所有小於Q1-1.5*IQR 或大於 Q3+1.5*IQR 的數值為離群值。 因為載板上的雜訊其腳位面積較小，故利用箱型圖裡的Q1-1.5*IQR，即可獲得 過濾雜訊之閥值，依此閥值可將面積比較小的雜訊給濾除，剩下面積比Q1-1.5*IQR 閥值大者，即可判斷為載板腳位或露金。 在過濾雜訊後，如圖3.17。找出一個最小包覆整個 IC 實體載板腳位的矩形，如 圖3.18，並單獨擷取載板實體影像圖之最小包覆矩形一次截取所有腳位資訊。 圖3.16 Box Plot
圖3.17 使用離群值觀念過濾雜訊 S-A Substrate 載板實體影像圖 圖 3.18 最小包覆矩形擷取實體載板實體影像圖的全部腳位 3.2.3 運用 PSO 於載板設計圖與載板實體影像圖之腳位對應 IC 實體載板上的打線腳位因製程因素會有誤差，在 Leadframe IC 實體載板部分 可以發現腳位平移，而在Substrate IC 實體載板則發現有腳位寬度與載板設計圖上的 腳位寬度不同，在取像後會因載板連接腳位的電路外露，導致Substrate 載板實體影
由於IC 實體載板是根據 CAD 模型製造出來的。透過實體載板影像的擷取，可 將載板實體影像圖上的腳位與載板模型圖上的腳位進行比對會發現其大小不盡相 同，但擁有比例上的對應關係，透過影像做仿射轉換，可進一步執行腳位比對，過 濾雜訊，克服腳位變形、平移、腳位寬度不一等問題。此外，現今的IC 載板腳位與 腳位間的距離都過於細密，在進行旋轉、平移、縮放比例的參數設定時需要非常精 密的計算，由於需要在參數的某區域間進行搜尋與調整其參數值的組合，因此本研 究最佳化的方式來協助找尋區域參數的尋找，因此本研究採用PSO 最佳化演算法， 來協助找尋最佳化參數的設定。 本研究選擇重疊比對方式，透過參數區域範圍內的搜尋，使載板實體影像圖與 載板設計圖的腳位重疊面積最大且重疊腳位數逼近載板設計圖的腳位數，以此二因 素做為腳位對應最佳化適應度的判斷準則，其值愈高，表示適應度愈高，其適應度 公式3-1 如下： over_area:載板設計圖與實體影像圖交集結果圖之腳位面積，(交集面積計算，則 是取二張圖之交集區域，進而計算其交集面積，如圖3.19 所示) CAD_area:載板設計圖上的腳位面積 over_no: 載板設計圖與實體影像圖交集結果圖的腳位個數 CAD_no:載板設計圖上的腳位個數 α :重疊面積比例值之權重
β
:重疊腳位個數比例值之權重 在運用PSO 於載板設計圖與載板實體影像圖之腳位對應流程中，將一個載板實 體影像圖的影像視為PSO 演算法中的一個粒子，每個粒子裡都有旋轉、平移、縮放 等參數。 ( ) ( ) 0 , 0 1 ) 1 3 ( 0 | _ _ | |) 1 _ _ /(| _ / _ 0 | _ _ | |) _ _ /(| _ / _ >= >= = + − ⎩ ⎨ ⎧ = − + − + × > − − + × β α β α β α β α 且 no CAD no over iff no CAD no over area CAD area over no CAD no over iff no CAD no over area CAD area over Max縮放、平移)進行仿射轉換產生的 IC 載板實體影像圖。將仿射後的載板實體影像圖 與載板設計圖重疊，利用公式 3-1 計算其對應的適應度，當α 設愈大，代表重疊面 積愈大，則適應度值愈高；當
β
值設愈大，代表愈重視重疊腳位個數的正確性。在 PSO 演算法中，當適應度值愈高，代表愈趨近腳位比對成功的結果。 透過不斷的遞迴中，所有粒子會逐漸逼近最佳解。主要是透過調整粒子維度參 數設定，粒子產生新的維度參數組合，進而產生最佳化適應度值。其粒子維度參數 之調整主要是透過每次遞回中粒子所找到的區域最佳解與全域最佳解，改變粒子的 維度參數，計算方法如(2-5)、(2-6)。 透過PSO 演算法在迭代中尋找最佳化比對，找到其相對應的最佳化仿射轉換參 數。迭代次數結束，傳回最佳化後的結果，即粒子的各維度、最佳粒子相對應的載 板實體影像圖、載板設計圖及最佳化交集腳位圖。 (a) 載板設計圖之腳位 (b)載板實體影像圖之腳位 (c) 載板設計圖與載板影像圖 之交集腳位圖 (d)交集腳位圖 圖3.19 載板設計圖與實體影像圖之腳位交集介紹3.2.4 判斷腳位比對成功與否 透過最佳化交集腳位圖與載板設計圖的腳位與腳位之間的對應，確定最佳化交 集腳位圖皆有正確交集，也就是說所有腳位皆被交集找到且沒有遺漏，且腳位資訊 無重覆被比對，腳位比對之細節流程請參照圖3.20(此部分為圖 3.5 腳位比對判斷之 流程的細節解釋)。 STEP1：過濾最佳化交集腳位圖之雜訊 最佳化交集腳位圖的腳位個數因為腳位變形或未成功刪除的雜訊，導致最佳化 交集腳位圖除了腳位交集資訊外，也多了面積較小的雜訊。因此，最佳化交集腳位 圖上的腳位個數大於最佳化載板設計圖的腳位個數時，需在最佳化交集腳位圖上的 腳位做面積的排序之後，進行雜訊的刪除。 雜訊的刪除方法，主要以載板設計圖之腳位個數為標準，保留最佳化交集腳位 圖上面積較大的腳位，使最佳化交集腳位圖的腳位個數與載板設計圖之腳位個數相 同，其餘面積較小的腳位則視為雜訊，予以刪除。 STEP2 :連通元件編號於載板設計圖與最佳化交集腳位圖並判斷腳位比對是否成功 腳位比對成功與否決定於最佳化交集腳位圖上的腳位數是否等於載板設計圖上 的腳位數，從最佳化交集腳位圖之第一個腳位到最後一樣腳位，皆有一一找到載板 設計圖腳位且沒有重覆找到相同腳位編號，則判斷腳位比對成功！若腳位比對成 功，則利用連通元件分析於載板設計圖與最佳化交集腳位圖給予其腳位編號。在腳 位比對過程中，利用最佳化交集腳位圖之腳位編號順序與每根腳位之最小的 XY 座 標值，將找到的載板設計圖上的腳位編號給予儲存。
圖3.20 腳位比對流程圖
3.2.5 腳位對照表
腳位比對成功後，接下來則為腳位對照表流程。此流程主要是還原最佳化交集
腳位圖之座標，協助找出最初自CCD 取像的載板實體影像圖與載板設計圖之相對應
表之流程細節解釋)。 Step1: 運用連通元件編號對最初載板實體影像圖之腳位進行腳位編號 Step2: 腳位比對成功後，將最佳化交集腳位圖上之每個腳位之最小 XY 座標值，進 行反仿射轉換，也就是擷取最佳化仿射轉換的參數，將最佳化交集腳位圖上 每個腳位的最小XY 座標，進行反仿射轉換，以公式 2-7 的仿射轉換公式為 例，其反仿射轉換公式3-2。 ：原影像的座標值； ：仿射轉換後，影像的座標值； ：平移參數； k：縮放比例； θ：旋轉的角度。 Step3:擷取已處理後的反仿射轉換後之最佳化交集腳位圖每個腳位的最小 XY 座 標，從第一個腳位座標到最後一個腳位座標，找出其相對應於最初載板實體 影像圖上每支腳位的編號，並儲存下來。 Step4:將在腳位比對流程之最佳化交集腳位圖之第一個腳位到最後一個腳位相對應 的載板設計圖的腳位編號，結合其相對應的最初載板實體影像圖的腳位編 號，合併輸出自動腳位對照表。 ) 2 3 ( ' ' cos sin sin cos ) sin cos ( 1 * 1 y x 2 2 ⎥ − ⎦ ⎤ ⎢ ⎣ ⎡ ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ − + + ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ − − = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ y x k b a θ θ θ θ θ θ ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ y x ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ' ' y x
⎥
⎦
⎤
⎢
⎣
⎡
b
a
第四章 實驗設計與結果
4.1 資料來源
本研究採用台灣某上市封裝廠之 IC 載板設計圖作為標準樣本與其相對應的 IC 載板實體影像圖為測試之樣本。其中，IC 載板設計圖與相對應實體樣本，包括 3 組 代表性的Leadframe 樣本與 2 組代表性的 Substrate 樣本。 IC 載板設計圖為向量圖形，透過 AutoCAD 軟體截取的設計圖影像，先轉換成 像素為單位之圖形，並將之儲存為bmp 無壓縮格式。實體載板實體影像圖是使用自 動光學機台擷取的灰階影像拼接完成，且儲存為bmp 無壓縮格式。以下針對本研究 所需要設備之詳細規格，加以說明： 自動光學機台設備：1、 攝影機(CCD Camera)：JAI CV-A1(輸入與輸出的解析度為 1380 pixels*1035 pixels、cell size:4.65(h)*4.65(v)μm)。
2、 攝 影 機 鏡 頭 ： OPTEM Zoom 125C( 光 學 倍 率 ： 0.52~6.5X 、 FOV: 0.1*0.14~77.3*103.3mm、景深：0.013~45.9mm)。
3、 光源系統：紅色環型 LED 陣列，光源系統為 Exlite PDL-42-74R 平行背照式藍光 LED。
4、 AOI 機台控制驅動程式語言：Visual Basic 6.0、Motion OCX Toolkit(AT6400)。其 中AT6400 為控制驅動 XY Table 函式庫。
5、影像擷取卡(Frame Grabber)：使用 MATROX 公司所製造的 Meteor_II(PCI 介 面)影像處理卡。
個人電腦：
1、 個人電腦(PC)：使用 CPU 為 AMD Athlon™ 64 Processor 3200+。 2、 記憶體(Ram)：2G。
4.2 PSO 自動腳位對照實驗
在PSO 自動腳位對照表的實驗中，我們使用 3 組 Leadframe 與 2 組 Substrate
樣本作為測試。使用演算法對每組樣本進行10 次的測試，再統計其成功率與失敗 率。也就是在最後結果中，會有50 張影像的輸出，我們要檢測系統是否能正確的 輸出腳位對照表。 在本實驗中，我們針對適應度公式的四個α 值：1、0.9、0.8 與 0.7，分別測試。 此外，在不同的 α 值下，以四種不同粒子數：10、20、30、40 等分別進行測試， 其餘參數則全部統一如表4-1。 結果判斷的部分，將以載板設計圖與載板實體影像圖的腳位進行一一重疊比 對，則為腳位比對成功。若重疊正確，則輸出每組載板設計圖與載板實體影像圖的 腳位對照表。若腳位無法進行一一比對，即判定為腳位比對失敗。
表4-1 PSO 實驗 Leadframe 與 Substrate 之共同參數
參數 參數值設定 參數名詞解釋 iMax 100 最大迭代次數 w 0.8~0.4 慣性權重 c1 2 學習參數 c2 2 學習參數 Dk rotate=-1 ~1 度 scale=(設計圖之邊長/實體影 像圖之邊長)*4/5~(設計圖的 邊長/實體影像圖之邊長)*6/5 shift = -10~10 像素 粒子於各維度之限制條件 VMax 0.25(Max(P k)-Min(Pk)) 粒子速度限制 VMax於各維度 之範圍的0.25 以上為本實驗參數的設定，為了更進一步說明本實驗之過程，在此舉例一張
影像之實驗過程。圖4-1(a)是一張 2369*3395 大小的 S-A Substrate 載板設計圖與圖 4-1(b)一張 2369*2406 大小的 S-A Substrate 載板實體影像圖。我們用這二張圖做為
輸入，來解釋整個實驗的流程。在這個範例裡，我們採用 20 個粒子族群且 α=0.9
做為自動腳位對照表演算法的參數，其餘參數如表4-1。
(a)S-A Substrate 載板設計圖 (b)S-A Substrate 載板實體影像圖 圖4.1 S-A Substrate 樣本
首先，進行S-A Substrate 載板設計圖的前置處理。這個步驟中，首先會先對 S-A Substrate 載板設計圖做二值化處理，產生圖 4.2(a)。其次，利用多邊形估計處 理S-A Substrate 載板設計圖的腳位破洞，如圖 4.2(b)。接著為用白色填滿載板上封
閉腳位區域，讓腳位區域呈現白色前景色，如圖4.2(c)。而後，擷取載板設計圖上
全部白色腳位之最小包覆矩形區域，如圖 4.2(d)為圖 4.2(c)以最小包覆矩形所框選
出來的 S-A 載板設計圖，圖片大小為 1455*1454，如圖 4.2(e)。如此即完成 S-A Substrate 載板設計圖的前置處理動作結束。
(a)S-A Substrate 載板設計圖 (b)S-A Substrate 載板設計圖
(c) 用白色填滿載板上封閉腳位區域 (d)找出含括載板設計圖的全部腳位的最 小包覆矩形區域
(e)擷取最小包覆矩形後的 S-A Substrate 載板設計圖，圖片大小為 1455*1454 圖4.2 載板設計圖的前置處理
被消除，使用離群值方法過濾雜訊，依此閥值可將面積比較小的雜訊給濾除，如圖 4.3(b)。 最後截取含括所有白色區域腳位之最小包覆矩形，如圖 4.4(c)(d)。
(a)二值化 S-A Substrate 載板實體影像圖
(b)使用離群值觀念過濾雜訊 S-A Substrate 載板實體影像圖
(c) 以最小包覆矩形擷取實體載板實體 影像圖的全部腳位
(d) 以最小包覆矩形擷取實體載板實體 影像圖的全部腳位的結果圖
圖4.3 S-A Substrate 載板實體影像圖的前置處理 在做完載板設計圖與載板實體影像圖的前置處理後，進行運用PSO 於載板設 計圖與載板實體影像圖之腳位對應。因為載板實體影像圖之腳位會有平移、腳位 寬度大小不一、變形、露金的現象，本論文以載板設計圖為標準樣本，與載板實 體影像圖做重疊比對後，可以過濾掉因載板實體影像圖上的露金所造成的腳位誤 判並克服腳位平移、寬度大小不一、變形等現象；此外，載板設計圖與載板實體 影像圖之影像大小也會有不一致，載板實體影像圖經旋轉、平移、縮放等參數調 整來重疊影像，使腳位能順利比對。在腳位精密度越來越高的情況下，若旋轉、 平移、縮放的參數設定精密度不佳，會有腳位未能交集、導致腳位遺失，或一支 腳位與多支腳位重覆重疊，如圖 4.4(b)與圖 4.5(b)。而在此的重疊腳位是指已知道 旋轉的角度、平移的像素距離、縮放的比例，再去進行兩種圖的重疊，所重疊到 的腳位區域。 以下將介紹腳位精密度會因為旋轉、平移、縮放的參數設定，影響比對成功 或失敗。以下將以圖4.4 與圖 4.5，介紹 Substrate 載板與 Leadframe 載板之腳位比 對結果。 Substrate 載板之腳位比對，首先介紹腳位比對成功的維度設定。圖 4.4(a)是以 S-A Substrate 載板設計圖為標準樣本，而將 S-A Substrate 載板實體影像圖經旋轉 0.64 度，x 軸平移-6.02 像素，y 軸平移 5.51 像素，長寬皆放大 1.37 倍。
以圖4.4(a) S-A Substrate 載板之腳位比對成功之維度設定，進行旋轉角度的微 調。圖4.4(b)則是將 S-A Substrate 載板實體影像圖的旋轉參數設為 0.84 度，其餘參
數不變下，重疊至S-A Substrate 載板設計圖上交集的結果，為腳位比對失敗例子。
而針對Leadframe 載板，其腳位比對成功與否亦會受旋轉角度的影響。首先介
紹Leadframe 載板之腳位比對成功的維度設定。圖 4.5 (a)是以 L-C Leadframe 載板 設計圖為標準樣本，而將L-C Leadframe 載板實體影像圖經旋轉 0.49 度，x 軸平移
以圖4.5(a) L-C Leadframe 載板之腳位比對成功之維度設定，進行旋轉角度的 微調。圖4.5(b) 則是將 L-C Leadfram 載板實體影像圖的旋轉參數設為 0.69 度，其 餘參數不變下，重疊至L-C Leadfram 載板設計圖上交集的結果，為腳位比對失敗 例子。 我們從上述的仿射轉換的參數，可以了解到當平移、與縮放比例未變下，旋 轉角度差0.2 度，就會造成腳位比對成功或失敗。由於腳位的精密度會造成比對成 功或失敗，因此本研究使用PSO 最佳化演算法找出最佳化的參數設定值。
(a-1) 腳位比對成功例子：S-A Substrate 載板實體影像圖與S-A Substrate 載板設 計圖之重疊腳位圖
(a-2) 腳位比對成功例子：S-A Substrate 載板實體影像圖與S-A Substrate 載板設 計圖之交集結果圖
Substrate 載板設計圖之重疊腳位圖 Substrate 載板設計圖之交集結果圖 圖4.4 S-A Substrate 之腳位比對結果圖 (a-1) 腳位比對成功例子：L-C Leadfram 載板實體影像圖與L-C Leadfram 載板 設計圖之重疊腳位圖 (a-2) 腳位比對成功例子：L-C Leadfram 載板實體影像圖與L-C Leadfram 載板 設計圖之交集結果圖 (b-1) 腳 位 比 對 失 敗 的 例 子 ： L-C Leadfram 載 板 實 體 影 像 圖 與 L-C Leadfram 載板設計圖之重疊腳位圖 (b-2) 腳 位 比 對 失 敗 的 例 子 ： L-C Leadfram 載 板 實 體 影 像 圖 與 L-C Leadfram 載板設計圖之交集結果圖 圖4.5 L-C Leadfram 之腳位比對結果圖
在PSO 環境下，需要設定 m 個粒子與 k 次遞迴次數。在執行運用 PSO 於載板 設計圖與載板實體影像圖之腳位對應裡，首先會產生 m 個粒子，每個粒子裡含有 三個維度分別是旋轉、平移、縮放，每個粒子內維度限定範圍如表 4-1 的 Dk。由 每個粒子裡的維度產生一張經旋轉、平移、縮放產生的新的載板實體影像圖，透 過新的載板實體影像圖與載板設計圖重疊後會有一個交集結果圖。 重疊所產生的交集結果圖，皆可計算其適應度(公式為 3-1)，主要為重疊面積 最大且重疊腳位個數愈逼近載板設計圖的腳位數，適應度則愈高。透過重疊面積 最大化，將愈能將含括全部的腳位面積，否則就只會重疊一部分。也就是說，重 疊腳位面積愈大，就代表找到的載板腳位資訊量愈多；反之，代表可能有腳位資 訊被漏失，即代表有腳位沒重疊到，如圖4.6。 圖4.6 可以看到因為縮放參數過小，導致腳位範圍未被偵測到，因此當適應度 公式 α 值過小，便無法藉由重疊面積的因素，快速偵測到有腳位的範圍，來快速 修正粒子群的維度值。 透過重疊腳位個數愈逼近載板設計圖的腳位個數，適應度將會提升，其目的 是為了改善雖然重疊面積愈多，但重疊腳位個數卻少於載板設計圖的腳位個數所 出現的比對失敗現象。 透過每次遞迴中，粒子可以藉由 m 個粒子群中找到適應度的最高的全域最佳 解的粒子再加上粒子本身在之前的遞迴中所達到的區域最佳解，來移動粒子，公 式如2-5 與 2-6。
