國立高雄大學資訊工程學系
碩士在職專班論文
自動定位式光學檢測技術於彎角檢查之應用
Optical Inspection with Automated Positioning for Bent Pins
研究生：陳志遠 撰
指導教授：吳俊興 博士
i
自動定位式光學檢測技術於彎角檢查之應用
指導教授：吳俊興博士 國立高雄大學資訊工程學系 學生：陳志遠 國立高雄大學資訊工程學系 摘要 在科技快速發展的現代，電子產品的需求量日益漸增。電子產品內的 PCB 印 刷電路板是其中不可或缺的一環，電路板的好壞直接影響電子產品的品質，故 PCB 生產廠商對於如何確保 PCB 出廠前的品質管控會是一個很重要的課題。多 年來，在 PCB 的品質主要著重在其板材的製作、SMT 零件搭載這些生產階段， 但針對 CPU 此元件甚至於 DIP 生產這些出現瑕疵也會造成品質異常的地方，卻 無太大的重視。 傳統檢測 PCB 電路板瑕疵方法多為人眼檢視，隨著時代的進步，現都為使 用 AOI 自動光學檢測機進行檢測。即使如此，在 CPU 與 DIP 相關零件上，卻還 常是使用人眼檢測，這種方法對於不同人的判斷標準可能不一，所以有可能發生 誤判與漏判的問題。部分系統用 AOI 編輯方式，亦常遇到儲存空間過大與編輯 時間過長的問題。 本論文使用二值化定位法，是從傳統 AOI 的二值化檢測改良而來，與現今 主流的相似度比對法不同，不需要大量的影像檔案儲存，因此能大幅減少編輯時 間且很適合套用在 CPU 的彎角異常檢測，利用閥值的調整來提升整體的檢出率。 實驗結果顯示，本論文提出二值化定位法，在 CPU 以及 DIP Pin，甚至在 DIMM 連接器上都比現今 AOI 採用的相似度比對法來的更能節省硬體儲存空間與編輯 時間。ii
Optical Inspection with Automated Positioning for
Bent Pins
Advisor : Dr. Chun-Hsin Wu
Department of Computer Science and Information Engineering National University of Kaohsiung
Student: Zhi-Yuan Chen
Department of Computer Science and Information Engineering National University of Kaohsiung
ABSTRACT
With the development of technology, the demand of consumer electronics is increasing. However, printed circuit board (PCB) plays an important role in consumer electronics so it is a big issue for PCB manufacturers to control its quality. During the past few decades, the quality of PCB focuses on board production and SMT, while many defects caused by CPU and DIP haven’t been well improved.
In the past, human inspection was a popular method to find the defect in PCB. Due to advances in technology, automated optical inspection method almost replaces human inspection in recent years. Nevertheless, some material such as CPU and DIP are still inspected by human which may lead to misjudgment. In this study, we propose the automatic binary position method to inspect CPU and DIP in order to solve the problem caused by human inspection and improve to inspection accuracy.
In this study, the automatic binary position method is enhanced from traditional binary method with different similarity measurement techniques. The proposed method doesn’t large storage for image data, so we can spend less time to edit inspection program. This method is suitable for CPU bent pin inspection. The experimental results show that the proposed method can have better performance in inspecting CPU and DIP bent pins.
Key words: Auto Optical Inspection、Binary Location、Defects Inspection、 Bent Pin Inspection、Printed Circuit Board
iii
致謝
在這幾年進修碩士的時間中，由於工作與家庭的緣故，並不是有相當多的時 間可以與吳俊興老師進行討論，儘管一開始錯誤百出，但他依然耐著性子教導與 解說甚至指出我看不到的盲點，讓我可以順利完成這份論文 接下來要感謝的是在這段時間一直支持我的太太與家人們，在小孩出生的這 段忙碌的時間裡，幫我分攤了不少事，如果沒她們的幫忙，相信這份論文也無法 在我工作休息的閒暇時間完成；本論文可說是在跌跌撞撞中完成它的，如果沒有 老師、家人們的協助及體諒，我可能也永遠在出差工作而無法完成它，真的很感 謝大家的幫忙。iv
目錄
摘要... i ABSTRACT ... ii 致謝...iii 圖目錄... vii 表目錄... x 第一章 緒論 ... 1 1-1 研究目的 ... 1 1-2 研究動機 ... 2 1-3 研究架構 ... 3 1-4 章節說明 ... 4 第二章 文獻探討 ... 5 2-1 何為 Bent Pin ... 5 2-2 Bent Pin 異常種類 ... 5 2-3 光學檢查 ... 6 2-4 機械視覺 ... 7 2-5 影像處理 ... 7 2-5-1 二值轉換... 8 2-5-2 形態學... 9 第三章 研究方法 ... 11 3-1 檢測影像架構建立 ... 11 3-2 演算法說明 ... 12v 3-2-1 相似度比對法... 12 3-2-2 二值化定位法... 14 3-3 閥值設定與確認 ... 16 3-4 三角測量法與三角測量網路 ... 18 3-5 差異性比較 ... 21 第四章 驗證建立與結果... 23 4-1 驗證設計 ... 23 4-2 評估標準 ... 26 4-3 開放與封閉條件評估 ... 27 4-3-1 評估項目建立... 27 4-3-2 評估結果比較... 28 4-4 缺陷驗證結果 ... 30 4-5 參數優化 ... 32 4-5-1 腐蝕矩陣... 32 4-5-2 定位影像搜尋範圍... 33 4-5-3 T 值設定 ... 35 4-6 綜合檢測結果 ... 37 4-7 放量檢測結果 ... 39 4-8 其他 DIP 相關製程檢測 ... 41 4-9 整體效益評估 ... 44 4-10 應用上差異說明 ... 46 第五章 總結 ... 49 5-1 檢測效果評估 ... 49 5-2 後續研究探討 ... 50
vi
vii
圖目錄
圖 2-1 Bent Pin 不良分類 ... 6 圖 2-2 機械視覺流程示意圖 ... 7 圖 2-3 二值轉換圖 ... 8 圖 2-4 閥值 T 位置 ... 8 圖 2-5 膨漲示意圖 ... 9 圖 2-6 腐蝕示意圖 ... 9 圖 3-1 二值化檢測流程圖 ... 11 圖 3-2 二值化標準影像建構流程圖 ... 12 圖 3-3 color 檢測法操作流程圖 ... 13 圖 3-4 color 檢測法操作步驟 ... 13 圖 3-5 相似度比對法操作步驟 ... 14 圖 3-6 二值化定位法操作流程圖 ... 15 圖 3-7 二值化定位法操作步驟 ... 16 圖 3-8 二值化編碼建立 ... 17 圖 3-9 閥值與二值化影像關係 ... 18 圖 3-10 三角測量計算示意圖與公式 ... 18 圖 3-11 三角測量示意圖 ... 19 圖 3-12 三角測量導入前 GR&R 值 ... 20viii
圖 3-13 三角測量導入後 GR&R 值 ... 20
圖 4-1 檢測流程圖 ... 24
圖 4-2 CPU Bent Pin 檢測項目 ... 25
圖 4-3 DIP Bent Pin 檢測項目 ... 25
圖 4-4 二值化影像比較 ... 26 圖 4-5 檢出率比較圖 ... 31 圖 4-6 直通率比較圖 ... 31 圖 4-7 影像範圍量化 ... 34 圖 4-8 二值化轉換步驟 ... 36 圖 4-9 檢出率比較圖 ... 38 圖 4-10 直通率比較圖 ... 38 圖 4-11 一週放量檢出率比較 ... 40 圖 4-12 一週放量直通率比較 ... 41
圖 4-13 Connect DIMM Pin 影像 ... 42
圖 4-14 Connect DIMM Pin 轉換步驟 ... 42
圖 4-15 Connect DIMM Pin 不良種類與投入數 ... 43
圖 4-16 Connect DIMM Pin 檢測結果 ... 43
圖 4-17 相似度比對法與二值化定位法儲存空間比較 ... 45
ix
圖 4-19 SMT 主要不良種類 ... 47 圖 4-20 SMT 檢測能力比較圖 ... 47
x
表目錄
表 3-1 GR&R 結果與檢測能力 20
表 4-1 CPU Bent Pin 開放與封閉評估項目 28
表 4-2 DIP Bent Pin 開放與封閉評估項目 28
表 4-3 CPU Bent Pin 檢測結果 29
表 4-4 DIP Bent Pin 檢測結果 30
表 4-5 調整後腐蝕矩陣 32 表 4-6 初步放量測試結果 33 表 4-7 初步放量測試結果 34 表 4-8 一週放量測試結果 35 表 4-9 一週放量測試結果 37 表 4-10 混合檢測不良品數量 37 表 4-11 相似度比對一週放量結果 39 表 4-12 二值化定位一週放量結果 40 表 4-15 SMT 檢測能力結果數據 47
1
第一章 緒論
1-1 研究目的
因工業 4.0 需求，導致 AOI(Automated Optical Inspection，自動光學檢測)日
漸受到重視，無論是半導體產業甚至在 PCB(Printed Circuit Board，印刷電路板)
生產製造皆可看到其身影，而全球消費性電子的需求日漸增長，也連帶帶動了電
子業快速發展並開發出更小的零件，如 mini LED(Mini Light Emitting Diode，次
毫 米 發 光 二 極 體 )、micro LED(Micro Light Emitting Diode，微發光二極體)、7 奈米以下晶圓、0.4*0.2mm 尺寸的晶片電阻電容…等，這些零件是作業人員不易 辨別的，因此，各家廠商也更注重 AOI 這塊領域。
然而，上述大部分的小零件除半導體製程在生產上會有集中性，不會同時出 現其他尺寸的零件外，傳統 PCB 電路板卻有零件多、大小不一問題，而光學檢 測也只集中於錫膏印刷後的 SPI(Solder Paste Inspection，錫膏印刷檢查機)、元件 搭載後的爐前 AOI 與元件過爐後的爐後 AOI，此三個流程階段的 SMT(Surface Mount Technology，表面黏著技術)製程段檢查。
然而 PCB 電路板作業流程在這之後尚有 DIP(Dual In-line Package，雙排標準 封裝)製程，DIP 製程雖是較簡單的製程，僅有人員的手插件與焊錫，但在許多客 訴案件中常也不少 DIP 零件損傷但人員檢查時遺漏，導致產品流到客戶端的情
形。在這些客戶的案件之中，CPU(Central Processing Unit，中央處理器)與手插件
的彎腳異常是最常發生的。
CPU 雖然是在 SMT 生產段製造，但業界皆將此項歸類為 DIP 段的人員檢查 項目之中，且不論是 CPU Pin(CPU 元件腳針)或是 DIP Pin(DIP 元件腳針)，許多
2
工廠總是忽略到這段檢測，造成產品出貨至客戶端後才被發現，但卻無法查證是 哪一個環節出現問題，現況也較少光學檢測有針對此部分做開發。
未針對 CPU 與 DIP Pin 進行針對檢測原因主要在於現況業界 AOI 所採用的 檢測方式為相似度比對法，這種檢測方式需要大量的標準影像添加造成儲存空間 需求量較高。除此之外，大量的標準影像添加也代表著由於初期須確定樣品是否 良好，因此也導致了編輯時間會拉更長，而原本的 CPU 與 DIP Pin 數量已是相 當多且密集了，現有檢測演算法也無法立即性的直接陣列展開。
本論文即是針對 CPU 與 DIP 零件的 Bent Pin 彎腳瑕疵來設計自動檢測系統， 利用自動定位的方式減少學習影像的時間以及儲存空間。此方法也可達到相似度 比對法的效果，並藉此增加品質上的控管並減少人員負擔，最終提高公司產品於 國際上的競爭力。
1-2 研究動機
本次研究為針對 CPU Pin 與 DIP Pin 元件檢查進行開發進而減少人員檢查負 擔及透過不良管制圖表帶動改善品質良率，對於檢查完的成品會將不良位置與整 張 PCB 影像保存，用於客戶確認及不良影像確認時使用。 針對功能性，主要期望達到下列功能： 1. 將影像學習從大量區域樣本的影像儲存改成僅需少量的樣本影像即可， 並針對區域性的影像比對、自動定位與檢測框生成，藉此減少影像的學 習時間以及儲存空間。 2. 藉由不良品的攔截與不良數據的統計回饋至相關部門，藉此來提升生產 品質與生產效率並降低不良品流出產生的客訴問題。
3 3. 將參數模組進行標準化，除去人為認知差異以確保品質一致性，並經由 標準影像與不良影像的比對確認，使作業人員不會有認知不同的差異性。 4. 將不良品部份給予紀錄及統計並保存，當不良品流出遭到客戶端反應時， 可藉由紀錄結果確認是否為自身工廠流出以及是何人作業疏忽，或是客 戶端自身問題導致不良品產生。
1-3 研究架構
本次研究將機台導入 PCB 製造廠內，針對 CPU 與 DIP 的 Bent Pin 檢測進行 設計出符合現場使用設備並計算導入後所產生的效益。 以下為本次研究的流程 1. 不良定義：針對欲檢測元件進行各式不良元件確認與資訊收集，並將收 集到的不良品依照不良名稱進行各式不良樣品分類。 2. 檢測系統整合：將影像、光源、軟體、操作平台進行整合，並調整出適 合用於檢測的硬體系統。 3. 參數設定：針對各元件研究出適合的參數並使其模組化，使後續在檢測 時，可直接套用模組，建立出標準化檢測。 4. 檢測能力確認：單樣品測試後，確認檢測能力可符合，大量投入產品確 認檢測穩定性，藉此比較出適合的檢測方式。 5. 成果確認：將檢測結果進行量化確認並比較，評估出適合運用在 Bent Pin 檢測上的檢測方法。
4
1-4 章節說明
本論文章節安排如下。將在第二章文獻探討將詳細介紹說明何謂 CPU 與 DIP 的 Bent Pin，以及檢測原理二值化定位法的說明。在第三章研究方法中說明本次 論文使用的二值化定位法與以前常使用的相似度比對法其檢測方法建構方式以 及光學檢測在使用的三角測量法進行說明。 而為了驗證本次論文所使用的方式是否較理想，我們利用的第四章驗證建立 與結果將本次論文使用的二值化定位檢測法與一般在使用相似度比對法來進行 初步的樣本測試與放量測試兩階段，將其檢測結果與相似度比對法進行比較，並 另外尋找是否可使用在其他電子零件的檢測上面以及 SMT 零件的導入可行性評 估，第五章我們將本次實驗的論文的驗證結果進行總結評估。5
第二章 文獻探討
本章節會說明自動光學檢測系統、影像處理技術以及業界認證使用的檢證條 件，並於工廠端投入樣品進行檢測；本次論文針對自動光學檢測領域中針對 CPU Bent Pin 的瑕疵種類，如：高蹺、凹陷、偏移與缺件，以及 DIP Bent Pin 的錫多、 錫少與錫渣。
2-1 何為 Bent Pin
Bent Pin 原為字面上翻譯稱為腳針彎曲，即彎腳，但由於 Pin 的定義不只腳 針，連 CPU 上的彈簧片也稱為 Pin 且隨著科技進步，CPU 在製程上已將 CPU Pin 愈做愈多且密集。
CPU 為中央處理器，內部會有許多 Pin。這些 Pin 是用於與 IC 結合所使用， 而過密的情況，會使檢查人員無法輕易辨識出異常點，再加上 CPU Pin 本身就已 經很小了，因此在辨識上僅能從光源下確認其反光性，由於反光造成的影像像是 彎曲一般，因此稱為 Bent Pin，而也因為這樣關係，PCB 生產業界也將 Pin 相關 問題點，稱為 Bent Pin。
2-2 Bent Pin 異常種類
在 Bent Pin 檢查上，常見的異常主要如圖 2-1 分為 CPU 內的高蹺、凹陷、 偏移與缺件，而在 DIP 手插件製程上，我們也將錫多、錫少與錫渣也歸類於 Bent Pin 異常。
由於 CPU Pin 的每一根 Pin 都有其功用，因此若生產時造成損壞而未發現， 對於客戶端與工廠本身都是傷害，而 DIP 發生 Bent Pin 多為過錫爐後所產生的
6 問題，理應較好發現，但就因如此，作業人員常忽略掉，直到電測甚至是出貨到 客戶端後才被發現。 項目 高蹺 凹陷 偏移 缺件 CPU 項目 錫多 錫少 短路 NA DIP 圖 2-1 Bent Pin 不良分類 以目前台灣所生產 SMT 製程，Bent Pin 多是採用人員肉眼檢查方式來將其 不良檢出，這種方式存在一個很大的問題，就是使用人來判定的話會發生標準不 一情形。 由於每個人在進行品質判定上很難達到標準化作用且人力成本也較高，因此 本次論文希望將 Bent Pin 檢查進行標準化與自動化，使不良流出風險降低也可降 低人力成本。
2-3 光學檢查
光學檢查是利用機器視覺化技術達到快速、高精度與可靠性佳的影像檢測系 統，如同陳瑞峰[1]所述，現今以用於取代人力使用的儀器檢測，此項技術在半導 體、PCB 電路板、傳統產業皆被廣泛運用。7
光學檢查依領域不同區分為 AOI (Automated Optical Inspection，自動光學檢 測)、SPI(Solder Paste Inspection，錫膏印刷檢測)、AVI(Automated Visual Inspection， 外觀檢查)，原理上皆為利用光學影像儀器利用非接觸式的感測進行影像擷取與 定義產品表面狀態，最後透過設定的參數將取得的影像找出是否有短路、缺件、 偏移、破損、汙染…等不良發生。
2-4 機械視覺
機械視覺在光學檢測是相當重要一環，如同李秉鴻[2]，與我們視覺系統一樣， 根據圖 2-2 示意圖，機械視覺將看到的影像進行擷取，並經過系統處理後，最後 將影像呈現出來，機械視覺在一般自動化機台多用於校準與定位，而在光學檢測 中更廣泛運用於瑕疵品檢測與尺寸量測。 圖 2-2 機械視覺流程示意圖2-5 影像處理
本次論文主要採用二值轉換與型態學，我們根據 L. Xu, X. He, X. Li, and M. Pan [3]所說明，前者為將顏色區分為兩種形式，自動光學影像檢測初期多採用此 種方式，經由簡單的顏色判斷來將簡單的不良品區分出來。
8 但隨著自動光學影像檢測這塊領域日漸受到重視，愈來愈多的細部不良需倚 賴光學檢測機台來檢出，因此才衍生搭配不同光源所產生的各種檢測方式。而形 態學部分也從早期固定參數部分，為了檢測自由性與專案化，逐漸改變成可依產 品特色自行調整，具體說明如下。 2-5-1 二值轉換 二值轉換是將影像進行二值化，見圖 2-3，當檢測目標灰階度大於或等於設 定值時便會調整為白，小於設定值時則為黑。 本論文使用 Otsu method，如同黃國豪[4]與戴珣[5]，藉由所有影像二值化的 閥值統計結果並計算出不同閥值所造成的差異，差異最大值為最佳閥值 T，如圖 2-4，藉由差異最大處，我們可明顯找出目標閥值 T。 圖 2-3 二值轉換圖 圖 2-4 閥值 T 位置 二值化前 二值化後 閥值 閥值
9 2-5-2 形態學 在影像截取後往往會包含著雜訊，如同陳瑞峰[1]以及徐裕智[6]，為了不使 目標受到干擾需要調整分割成區域形狀，而此時用到的分析空間結構的理論即為 形態學，在二值化影像處理中常被廣泛運用，如下。 1. 膨漲：膨漲主要運用在於填滿隙縫，空間中兩個集合 A 與 B 兩集合，當 a 集合被 b 集合膨脹時，用 a⊕b 表示，a 為輸入的影像，b 為結構元素，圖 2-5 中，當藍色影像 a 經過結構元素 b 膨脹後，得到的結果會使影像 a 看起來更大了 一些。 圖 2-5 膨漲示意圖 2. 腐蝕：腐蝕定義正好與膨脹相反，由於腐蝕是求局部最小值，當 a 集合被 b 集合膨脹時，用 a⊝b 表示，我們從圖 2-6 中看到，當藍色影像 a 經過結構元素 b 腐蝕後，得到的結果會使影像 a 看起來更小了。 圖 2-6 腐蝕示意圖 3. 開放：開放為侵蝕及膨脹兩種運算合成，公式為 a·b =(a⊝b)⊕b，他會針 對結構元素 b 先行侵蝕後再進行膨脹，先進行侵蝕是要將連結弱的區域或小區塊 的雜訊先行濾除，之後經由膨脹使輪廓較為平滑。
10
4. 封閉：封閉與開放正好顛倒，其公式為 a·b =(a⊕b)⊝b，先將結構元素 b 先
行膨脹再行侵蝕，先行膨脹後，區域旁的小雜訊被結合再一起，再經由侵蝕將遠 距離的雜訊侵蝕掉，封閉也可使輪廓較為平滑，但與開放不同的是，他將窄的中 段或常缺口連結起來藉以消除小洞、斑點以及填補輪廓上的缺口。
11
第三章 研究方法
本次研究為利用影像檢測軟體來進行 PCB 工廠內 CPU 與 DIP 的 Bent Pin 檢 測並建立標準化，機台會實際導入工廠內並採用 Off Line 模式，並與其它辨識方 法做比較，評估零件皆是 CPU 與 DIP 元件，本篇章會說明此開發的架構流程， 並將待檢測物影像與檢測影像做比對。
3-1 檢測影像架構建立
為將檢測率提高，我們將待檢測的影像以二值化提供給調整人員確認，讓人 員可以簡單快速的進行設定，使作業方式更為單純，根據圖 3-1 操作方法，操作 人員先將標準影像二值化與閥值調整比例後，將其參數與影像資料存入資料庫內， 在與後續待檢測物的二值化影像進行檢測比對。 標準影像的建構方式如圖 3-2，我們將標準影像進行影像截取並進行二值化， 再進行閥值調整並依照調整後的參數所呈現的影像後再進行影像還原，二值化檢 測為早期 AOI 的檢測方式。 隨著檢測項目越來越多，二值化檢測逐漸被相似度比對、color 檢測法、逐點 匹配…等方式所取代，這是因為二值化檢測法在焊點的檢測能力較差，也容易受 到助焊劑干擾，不過在 CPU 的 Bent Pin 檢測上，由於檢測方式不包含焊點或助 焊劑這類干擾存在，因此反而適合使用二值化檢測。 圖 3-1 二值化檢測流程圖 不良確認 標準影像 二值化 待測物 二值化 檢測比對 存入資料庫 閥值調整12 圖 3-2 二值化標準影像建構流程圖
3-2 演算法說明
3-2-1 相似度比對法 本章節將說明這次測試的相似度比對與二值化定位進行各自演算法的說明， 一般來說，傳統 AOI 機台是將影像截取後，將截取到的影像進行二值化的檢測 比對，或是進行整體相似度或指定顏色百分比進行比對。 這種方式前者稱為二值化檢測法，後者則稱為相似度比對法，本次的二值化 定位法就是將前者的檢測方式進行優化改良形成二值化定位法，這兩種檢測法相 關說明如下。 相似度比對法主有分影像圖片的相似度比對以及指定區域的顏色百分比比 對，建構上兩種無太大差異，如同 L. Fu, S. Sun, R. Li[7]，根據圖 3-3 的流程圖， 在選擇標準零件後，為了確認最適合的影像，進行所有光源模組的影像掃描，並 在掃描後選擇最佳化影像及參數調整最後在儲存於資料庫內。而標準影像建構的方式我們可以從圖 3-4 與 3-5 的說明中了解其步驟，依據 A. Krizhevsky, I. Sutskever, G. E. Hinton[8]在影像擷取後，將想要檢測區域的進行 檢測框設定，並建立標準影像或顏色。
13 這類檢測方式多半會互相搭配在元件有焊錫與沒有焊錫的區域分別檢測，有 焊錫面的區域因為 PCB 在上錫後受熱造成顏色會有區別性，這時候使用顏色百 分比，而沒有上錫的區域則進行標準影像的比較，這類檢測方式現今較為精確且 主流的檢測方式。 然而，這種檢測方式缺點在用於在小部分變形是屬於良品的產品下，易發生 誤判，若要為了使影像判定為良品，則需要添加大量標準影像或顏色，以一個影 像 1MB，基本需要將近 10~15GB 的空間，長期下來，這樣會導致記憶體空間不 足。 圖 3-3 color 檢測法操作流程圖 圖 3-4 color 檢測法操作步驟 項目 1 2 3 項目內容 影像截取 選擇要設定的影像 影像去背 項目 4 5 6 項目內容 檢測顏色設定 陣列展開 執行檢測 不良確認 待測物檢測 資料庫儲存 選擇標準零件 全光源模組 掃描 選擇最佳化 影像
14 圖 3-5 相似度比對法操作步驟 3-2-2 二值化定位法 二值化定位流程根據圖 3-6 所示，與相似度比對法不同，在選擇要建立標準 影像的零件後直接進行二值化，之後選擇要檢測的影像區域並在參數調整完畢後 進行待測物的尺寸與間距確認，確認完後使其自動生成展開並開始進行檢測。 依照圖 3-7 步驟，將標準樣板進行二值化影像擷取與長寬輸入，再將待測物 的距離算出並進行陣列展開，此時檢測框會依照我們輸入的距離進行搜尋與檢測 框生成，若該距離內無判定到與一開始建立的標準影像有類似之影像存在的話， 則不會生成檢測框；另外，若有未生成檢測框也可使用手動方式進行添加。 採用這種方式主要在於一般在光學檢測機台上，若要將數量過多的相同待測 物從學習到展開所花費時間過長，使用一般相似度方法來進行檢測的話，特別是 在 CPU Pin 上，從建立標準影像到生成學習完畢需要 3 到 4 小時。 項目 1 2 3 項目內容 影像截取 選擇要設定的影像 亮度調整 項目 4 5 6 項目內容 相似度調整 陣列展開 執行檢測
15 且後續在調整時又需不斷添加影像下去，因此若採用這種檢測方法，當有大 量誤判發生時，需花費更多時間且也很吃硬體資源，但這種方式在針對傳統 SMT 零件上如極性反向、翻件這類異常上，相對有良好的檢出能力。 而在二值化自動定位生成這種編成方式上，我們僅需先將標準影像先建立出 來，再將 Pin 之大小與彼此間的距離在確認以及輸入完畢後，就可在同畫面下， 自動生成展開。 與相似度比對法不同，二值化定位不需一個一個檢測框作複製、陣列展開， 僅需把距離計算好，就可生成，這樣在編輯上，可大幅下降編輯時間，標準影像 的建立到生成學習完畢僅需 1 到 2 小時，由於影像僅有黑與白，也較不容易發生 誤判。 圖 3-6 二值化定位法操作流程圖 選擇標準零件 二值化 待測物間距 確認 待測物尺寸 確認 參數調整 選擇要檢測 影像 自動搜尋展開 資料庫儲存 不良確認 待測物檢測
16 圖 3-7 二值化定位法操作步驟
3-3 閥值設定與確認
二值化定位法是將原本影像進行二值化後，根據圖 3-7 的步驟，我們透過閥 值的調整進行影像黑與白的比例改變以建立出標準影像，之後輸入物品間的距離 間距，使檢測框自動陣列展開，這種方式主要是針對 CPU 這種量大的 Pin 所開 發出的檢測發式，藉以縮短檢測框展開的時間。 項目 1 2 3 項目內容 影像截取 二值化 選擇要檢測的影像 項目 4 5 6 項目內容 尺寸輸入 間距量測 距離設定 項目 7 8 9 項目內容 自動搜尋展開 手動添加未生成檢測框 開始檢測17 在光學檢測應用上，無論是相似度比對或是二值化定位法皆是在二值化檢測 法之後才開發並逐漸成形的，除此之外，不過此兩種檢測法的檢測方式皆需另外 搭配三角定位後才能發揮出其檢測能力也能測得更精準，更不易形成誤判。 本次實驗因使用的是二值化影像方式，因此閥值設定是否為最佳化會是重要 一環，一般二值化分為固定閥值與自適應閥值，如同黃晨暐[9]，在自動光學檢測 中，為了解參數的差異比較，因此本次使用固定閥值，固定閥值好處在於製程參 數的管控，但相對的，參數的好壞設定就會對檢測有很大的影響，依據圖 3-8， 我們先將二值化的演算法架構先建立出來，並且讓影像輪廓可以更為清晰，當影 像清晰後之後我們再找尋適當的閥值。 而依據徐裕智[6]論文所描述，在圖 3-9 的閥值與二值化影像關係的範例中， 我們能了解到當閥值設定過小，白色影像會過多，這種情況為影像亮度太亮，反 之若閥值設定過大造成黑色影像居多時，則為影像亮度太暗，影像亮度太暗或太 亮是都會造成辨識不穩定形成良品誤判或不良品漏掉等檢測問題，造成整體生產 時間拉長或是不良品流出等缺失。 圖 3-8 二值化編碼建立
18 項目 正常 過亮(閥值過小) 過暗(閥值過大) 影像 閥值 70 50 90 可否檢測 可檢測 無法檢測 無法檢測 圖 3-9 閥值與二值化影像關係
3-4 三角測量法與三角測量網路
在一般光學檢測機台，基本都是使用三個光學點定位，少部分使用 2 個，其 原理來自於三角測量法，三角測量法是一藉由測量目標點與固定基準線的已知端 點的角度，測量目標距離的方法。 如同蔡奇璋[10]，這種方法不需要直接測量特定距離位置，只需利用一個已 知的邊與兩個觀測角度，公式如圖 3-10 所呈現之示意圖，在尋找未知點到已知 邊 d 的距離時，透過兩個已知點的角度 a、b，根據三角恆等式的 tan(a)=sin(a)/cos(a) 以及 sin(a+b)=sin(a)cos(b)+cos(a)sin(b)，進而得知未知點到已知邊 d 的這段距離 c=[d‧sin(a)sin(b)]/[sin(a+b)]。 圖 3-10 三角測量計算示意圖與公式d
b
a
c
公式： c=[d‧sin(a)sin(b)]/[sin(a+b)] [10]19 在蔡奇璋[10]論文所敘述，在 17 世紀荷蘭數學及物理學家 Willebrord Snellius 利用三個已知點角度來獲得另一個未知點的座標，更用來估算地球圓周長，這種 三角形的精準量測方式，稱之為三角測量網路。 現今光學檢查機甚至是部分生產機台皆是使用此種定位方式，根據圖 3-11 所呈現的示意圖，利用三點光學點定位後，其他未知點檢測座標可利用與三個光 學點並透過公式換算來推算出其距離，這種方式也不易發生座標偏移問題，使檢 測更為精確。 圖 3-11 三角測量示意圖 導入三角測量用途在於將機台檢測到的待測物座標使其更為精準，這樣的用 意是因為現今一般自動光學檢查機在檢測缺陷上都有良好的檢測效果，因此，現 今生產工廠在評估機台時，工廠端的品保或品管人員會依據 ISO 16949 內的 MSA 測量系統分析作為評估依據。 MSA 測量系統分析內有一條 GR&R 量測分析，主要是用來確認待測物的重 複性(Repeatability)與再現性(Reproducibility)，在評估時會依據合計量具 R&R 跑 出後結果來確認機台能力，如表 3-1 所示，在評估上有大於 30%、30%到 10%之 PCB 欲檢測元件 光學點
20 間以及 10%以下三種結果，這三種結果分別代表著檢測能力無法接受、檢測能力 尚可以及檢測能力優良三種結果。 表 3-1 GR&R 結果與檢測能力 GR&R 數據結果 檢測能力 超過 30% 無法採用 10%~30% 檢測能力尚可 小於 10% 檢測能力優良 三角測量導入後會直接影響到待測物的座標，這樣的結果會使的 GR&R 的 值更為穩定，我們使用第三方統計軟體 Minitab 進行 GR&R 的分析，根據合計量 具 R&R 的計算結果來知道 GR&R 的數值，如圖 3-12 與圖 3-13，在未導入三角 測量時合計量具為 20.41%，依照表 3-1 顯示，這樣的結果為檢測能力尚可。但在 導入三角測量後其數值降至 4.60%，整體數值下降近 15%，檢測能力變為優良， 也因為這樣，所以現今自動化的光學檢測機台皆有導入這種公式。 圖 3-12 三角測量導入前 GR&R 值 圖 3-13 三角測量導入後 GR&R 值
21
3-5
差異性比較
選擇採用二值化定位這種方式主要是針對 CPU Pin 本身是一種彈簧片，因此 高度會有些許落差，這種落差在 AOI 這種光學檢測機的光源照射下，易產生顏 色上的落差，當這種落差產生時，若使用相似度比對法，需要再重新添加與學習 影像，但若是使用二值化定位法則僅需調整閥值 T 進行確認即可，整體上可減少 更多時間；以 CPU Pin 來看，要學習到好，相似度比對基本需要 4-6 小時，但是 二值化定位僅需 2 小時內即可完成。 而編輯時間多寡也是大多數使用者的考慮項目，二值化定位所需的編輯時間 為 2 小時，而相似度比對的時間為 6 小時，在產能評估上，使用二值化定位法的 話會因 4 小時所減少的時間來產生更多的產能，以伺服器使用的 PCB 板來說， 每片有將近 15 萬台幣的利潤，4 小時的產能可產生近 100 片產能，這樣的利潤 是相當可觀的。 另外，採用二值化來檢測主要也是因為產品上的特性關係，一般來說在檢查 SMT 常見的被動元件上，不只單純檢測零件的偏移或缺件這些問題，也需要檢 測將零件黏住的錫膏，這時候使用二值化檢測會有較多問題，一般與錫膏相關的 假焊、錫少都不易檢測出來，特別是在假焊上；此時，使用相似度比對法則較為 理想，雖然在學習上需要較多時間，不過光打在假焊的錫膏與非假焊的錫膏上顏 色會明顯差異，所以這時候使用相似度比對較為理想，不過在檢測 CPU Socket Pin 上，因為彈片不像錫膏有穩定的高度且彈片並不會有大幅度的偏移，可以直 接用固定座標來檢測，因此，使用二值化檢測理想性也較佳22
另外，在針對 DIP Pin 檢測上，由於 DIP 零件本身就是肉眼可明顯差異的手 插件，他們不像 SMT 零件多屬於需要先上錫膏將零件黏住的小零件，因此，在 DIP Bent Pin 部分，相似度比對與二值化定位兩者的檢測能力是都差不多的，所 以本次論文會比較針對在 CPU 的 Bent Pin 檢測上。
23
第四章 驗證建立與結果
本章節會針對本次實驗的檢測方式與一般 AOI 機台使用的相似度比對法一 同進行驗證，本次驗證會進行 CPU 與 DIP 的 Bent Pin 異常進行檢測，本章節會 進行五組驗證，之後再進行一星期的放量測試。
前四組依 CPU 的高蹺、凹陷、偏移、缺件與 DIP 的錫多、錫少、短路各進 行分類，每組含良品共 1,600 根 CPU 與 DIP Pin，第五組測試為前四組不良情形 與良品混合，數量為 3,200 根 CPU 與 DIP Pin，每一個實驗檢證會依其檢出率與 直通率進行評估，一般 AOI 機台所採用的為相似度比對法，而本次開發為二值 化定位法，根據測試結果進行比較。
4-1 驗證設計
本次實驗分別針對 CPU 的高蹺、凹陷、偏移、缺件與 DIP 的錫多、錫少、 短路分別進行檢測，藉由這種方式先判斷是否有特定異常無法檢測出之後進行改 善再混合檢測。 我們根據圖 4-1 的檢測流程，在標準品建立後，進行各項缺陷初步驗證，驗 證項目如圖 4-2 與圖 4-3 所呈現，針對各項檢測時投入各自 1,600 根的 CPU 與 DIP Pin 進行檢測與參數優化，確認後再各自投入 3,200 根 Pin，再投入工廠生產 產品進行一週的觀察比較。根據圖 4-2 與圖 4-3所呈現，前四組高蹺、凹陷、偏移、缺件，不良數量各
為 557、461、528、347 根，第五組混合不良數量為 1,874 根，而在 DIP Bent Pin 部分我們也依序將錫多、錫少、短路分別投入 493、571、484 根，最後再投入混 合不良的 1,739 根。
24 這樣用意在於針對指定不良項目是否可穩定檢測，確認可檢測出不良後，再 進行混合檢測進行確認，確認皆可正常檢測並無誤判及漏測等問題後再投入生產 線上進行放量測試。 透過圖 4-4 可以知道影像在二值化後，可以看出良品與不良品的差異，然而， 要能穩定的檢測，除了閥值外也需先評估使用何種形態方式較為理想，找到理想 的型態時再與相似度比對法進行評估比較，最後確認是否符合目標需求。 倘若需再優化，則會去尋找更理想的參數並重新驗證評估，將找尋到更為理 想的參數設定及套入後再次與相似度比對法進行比較，檢測結果確認是否為理想 情形後並評估可否導入到 SMT 整段製程零件檢測，亦或是有部分零件使用這種 檢測方式是最理想的。 圖 4-1 檢測流程圖 各缺陷檢測 缺陷混合檢測 標準品建立 漏測分析與優化 放量測試
25 項目 影像 測試數量 高蹺 良品 1,043 不良品 557 凹陷 良品 1,139 不良品 461 偏移 良品 1,072 不良品 528 缺件 良品 1,253 不良品 347 混合 NA 良品 1,326 不良品 1,874
圖 4-2 CPU Bent Pin 檢測項目
項目 影像 測試數量 錫多 良品 1,107 不良品 493 錫少 良品 1,029 不良品 571 短路 良品 1,116 不良品 484 混合 NA 良品 1,461 不良品 1,739
26 項目 二值化前影像 二值化後影像 正常 高蹺 凹陷 偏移 缺件 圖 4-4 二值化影像比較
4-2 評估標準
本次實驗驗證將會依業界評估標準，即檢出率與直通率，檢出率定義為投入 已知不良品檢測，並統計出可檢出的數量，而直通率為投入的正常品中，可檢測 為良品的數量。 兩者的計算公式如下 檢出率=(檢測到不良品數/總不良品數)*100% 直通率=(檢測為良品總數/總良品數)*100% 一般工廠在機台評估時，先進行檢出率確認，檢出率皆需百分之百檢出，此 為必備條件，檢出率代表的意義為在一定數量的不良品中，我們可實際檢查出的 不良品數量。27 基本上，檢測機台目標必為百分之百檢出，雖現實上會因不良樣本所提供的 不良樣本總類而無法實現，但檢測機台在有效且已知的不良數內必定百分之百檢 出，當檢出率確認達成後再進行直通率確認。 直通率為最後機台評估比較標準其代表的涵義為在實際良品中，實際機台檢 查出的良品數會有多少。換言之，這部分就是考驗到機台與演算法的檢測能力， 當檢測中發生將良品誤判為不良品時，必定影響到直通率，直通率的好壞會直接 影響到產能多寡，當直通率佳時，人員必定會花很少時間在複查上，反之，當直 通率不佳時，複查時間會花消耗太多時間，造成產能上的落後，本次驗證也依此 評估條件執行。 本次驗證會以折線圖進行一般機台與本次開發的檢測方式進行評估比較，橫 軸為檢測的百分率變化，縱軸變化下所呈現的指標數值，最大為 100%，最小為 0%，數值愈大表示愈佳。
4-3 開放與封閉條件評估
4-3-1 評估項目建立 為提升檢測的檢出率，先進行開放與封閉兩種檢測方式適當性評估，如在章 節 2 中的 2-4-2 中所述，在光學檢測上會有侵蝕與膨脹以及相對衍伸出來的開放 與封閉，開放是先行侵蝕後再進行膨脹，優先將小區塊的雜訊先行濾除，封閉正 好顛倒，先行膨脹後，區域旁的小雜訊被結合再一起，再經由侵蝕將遠距離的雜 訊侵蝕掉，缺口連結起來藉以消除小洞、斑點以及填補輪廓上的缺口。 由於在測試時需先知道使用哪種形態較為理想，因此需要先確認使用何種形 態模式為最理想的，為了確認理想條件，本次論文將高蹺、凹陷、偏移、缺件這28
類屬於 CPU Bent Pin 的異常以及屬於DIP Bent Pin 的錫多、錫少、短路異常，進
行投入測試。
表 4-1 CPU Bent Pin 開放與封閉評估項目
項目 檢測結果 高蹺 凹陷 偏移 缺件 檢測 數量 良品 500 500 500 500 不良品 500 500 500 500
表 4-2 DIP Bent Pin 開放與封閉評估項目
項目 檢測結果 錫多 錫少 短路 檢測 數量 良品 500 500 500 不良品 500 500 500 評估項目我們依據表 4-1 與表 4-2 來進行 CPU 的高蹺、凹陷、偏移、缺件與 DIP 的錫多、錫少、短路進行比較，每種異常各投入 700 根進行，其中 500 根為 不良品，200 根為良品，依照開放與封閉的檢測結果，確認何種方式最適合 Bent Pin 的檢測方式。 4-3-2 評估結果比較 根據表 4-3 與表 4-4 檢測結果中，可以看到在各 500 根的樣品中，檢出率上 無論開放或封閉，兩者是皆可將不良品檢出，檢出率皆為 100%；但在直通率上，
29
封閉檢測方式是明顯優於開放的，高蹺檢測中，開放直通率為 97.6%，而封閉為 99.7%，凹陷檢測中，開放誤判率為 98.7%，封閉為 99.3%，偏移檢測中，開放誤 判率為 98.7%，封閉為 99.7%，缺件檢測中，開放誤判率為 98.1%，封閉為 99.9%， 因此針對 CPU Bent Pin 的檢測上，使用封閉的方法是較為理想的。
而在 DIP Bent Pin 檢測上，無論是開放或是封閉皆可將 DIP Bent Pin 檢測出 來，檢出率皆 100%，但在誤判率上，開放在錫多與錫少的直通率為 99.2%和 98.2%， 相較於封閉在此三項的 100%檢出率稍嫌不足。綜合在 CPU 與 DIP Bent Pin 檢測 上，使用封閉方法作為檢測是較為理想的。
表 4-3 CPU Bent Pin 檢測結果
項目 檢測項目 高蹺 凹陷 偏移 缺件 開放 不良檢出數 500 500 500 500 檢出率 100% 100% 100% 100% 良品檢出數 483 491 491 487 直通率 97.6% 98.2% 98.2% 92.1% 封閉 不良檢出數 500 500 500 500 檢出率 100% 100% 100% 100% 良品檢出數 498 495 498 499 誤判率 99.7% 99.3% 99.7% 99.9%
30
表 4-4 DIP Bent Pin 檢測結果
項目 檢測項目 錫多 錫少 短路 開放 不良檢出數 500 500 500 檢出率 100% 100% 100% 良品檢出數 496 491 500 直通率 99.2% 98.2% 100% 封閉 不良檢出數 500 500 500 檢出率 100% 100% 100% 良品檢出數 500 500 500 誤判率 100% 100% 100%
4-4 缺陷驗證結果
本次試驗初步驗證結果檢測率與直通率如下圖 4-5 與 4-6 所示，在投入的樣 品中，我們發現二值化定位法在檢測率與直通率都比相似度比對法還來得差，在 檢測率上，二值化定位法在 CPU 部分的高蹺、凹陷與偏移這些檢測項目皆有漏 測發生，檢出率不足 100%。 而在直通率上，僅在短路與相似度比對法皆為 100%外，除此之外，其他檢 測的直通率皆不如相似度比對法，特別在 CPU Bent Pin 檢測上更是不足 90%； 而為將檢出率與直通率優化，我們將閥值重新調整，並進行放量測試比較來選擇 更適合用於檢測的參數。31 圖 4-5 檢出率比較圖 圖 4-6 直通率比較圖 89.20% 85.40% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 相似度比對 二值化定位 100% 100% 100% 100% 100% 100% 100% 94.79% 87.20% 89.58% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 高蹺 凹陷 偏移 缺件 錫多 錫少 短路 相似度比對 二值化定位 （舊演算法） （新演算法） （舊演算法） （新演算法）
32
4-5 參數優化
為將檢測品質提升，我們將原本一開始檢測用的參數進行優化，依照調整到 的參數分為腐蝕矩陣、定位影像搜尋範圍及 T 值設定三個部分，再依我們尋找到 的參數套用到檢測條件內最後再與相似度比對法進行比較。 4-5-1 腐蝕矩陣 由於先前測試使用封閉檢測較為理想，但與相似度比對法測試結果比較下檢 測效果較差，我們依照原本的條件再增加 1*1 與 2*2 兩種腐蝕矩陣，即為表 4-5 所說明的優化後的 3*3 與 4*4 兩種矩陣，並且投入 5,000 樣品進行測試。 表 4-5 調整後腐蝕矩陣 項目 原始條件 優化 1 優化 2 腐蝕矩陣 2*2 3*3 4*4 我們將優化後的 3*3 與 4*4 兩種腐蝕矩陣進行檢測測試，根據表 4-6 結果所 呈現，3*3 與 4*4 兩種條件我們可發現整體檢出率與直通率皆有效提升，檢出率 從原本的 99.87%提升到 100%檢出，而從直通率去觀察，我們發現 3*3 腐蝕後的 直通率為 99.36%相較於 4*4 腐蝕的 95.72%更為理想，因此套用此組參數的閥值 進行後續測試。33 表 4-6 初步放量測試結果 項目 腐蝕矩陣 2*2 3*3 4*4 檢出率 不良數 3,106 3,106 3,106 攔截數 3,102 3,106 3,106 檢出率 99.87% 100% 100% 直通率 良品數 1,894 1,894 1,894 無異常數 1,763 1,882 1,813 直通率 93.08% 99.36% 95.72% 4-5-2 定位影像搜尋範圍 圖 4-7 為將影像範圍進行數值化所增加之功能設定，為增加直通率，因此將 影像檢測框進行數值化，此設定也可手動輸入調整，這種功能用意在於計算頂端 Pin 亮點的長度或寬度，並依照每一個 CPU Pin 與 DIP Pin 規格進行更為精確的 調整。 不過即使讓檢測框可進行調整，但搜尋範圍的大小也會影響到檢測結果，一 般自動化與半自動化機台在搜尋範圍部分皆是無相關設定值的，這種情況會使的 在檢測時因受到搜尋範圍不一的影響造成誤判發生；為將此問題進行改善，我們 將搜尋範圍與檢測框的比例進行測試，並投入 5,000 根樣品測試及一週的放量測 試，來尋找最佳化的參數比例。 依據表 4-7 結果，在初步放量測試觀察後，不良品 3,106 根的 CPU 與 DIP Pin 中，依然可百分之百將異常品檢出，而在 1,894 根的良品中，搜尋框與檢測
34 框比例在 1.5：1 與 2：1 這兩種比例較為理想，兩者的直通率皆在 99%以上， 另外比例在 4：1 在所有條件下的直通率最差，僅 95.62%；因此，我們在後續 的放量測試，再將 1.5：1 與 2：1 這兩種條件進行測試。 依據表 4-8 放量測試中所呈現，在超過 100,000 根的放量檢測中，直通率在 2：1 比例下為 99.93%優於 1.5：1 比例的 99.36%，因此，在現階段數據中，搜 尋框與檢測框比例在 2:1 的條件用來檢測 CPU 與 DIP Pin 為最理想的檢測方式。
圖 4-7 影像範圍量化 表 4-7 初步放量測試結果 項目 搜尋框：檢測框比例 1.5:1 2:1 3:1 4:1 檢出率 不良數 3,106 3,106 3,106 3,106 攔截數 3,106 3,106 3,106 3,106 檢出率 100% 100% 100% 100% 直通率 良品數 1,894 1,894 1,894 1,894 無異常數 1,882 1,891 1,872 1,813 直通率 99.36% 99.84% 98.84% 95.72%
35 表 4-8 一週放量測試結果 項目 搜尋框：檢測框比例 1.5:1 2:1 檢出率 不良數 104,689 104,689 攔截數 104,689 104,689 檢出率 100% 100% 直通率 良品數 106,455 106,455 無異常數 106,013 106,382 直通率 99.58% 99.93% 4-5-3 T 值設定 前面所研究腐蝕矩陣這部分參數皆須以手動輸入進行參數上調整，非常需要 依賴調整者的經驗，否則會浪費很多時間，而在所謂工廠自動化需求下，絕大部 分工廠已逐漸無法提供許多時間讓操作者進行參數調整或是花一定上的時間進 行生產上的單一製程對應；對此，根據章節 4-4-3 的對位長度計算，本次論文針 對二值化關鍵的 T 值上進行自動對應部分。 由於本次論文是利用二值化進行檢測，而在章節 2-5-1 中所描述，在二值化 轉換中，我們藉由所有閥值統計並計算不同閥值所造成的差異，差異最大值為最 佳閥值 T，而這 T 值參數的調整即會影響到我們的腐蝕矩陣大小。
36 項目 影像 Pin 長度與搜尋範圍 設定 二值化轉換與 標準影像擷取 展開 圖 4-8 二值化轉換步驟 依據圖 4-8，為了能確保 T 值的數值為最適當的參數，先將檢測影像的長度 與範圍值設定完畢，接著直接進行二值化轉換，讓系統直接尋找最佳化 T 值，之 後再擷取標準影像再陣列展開，為驗證其穩定性，我們依照章節 4-4-3 一樣投入 產品連續檢測七日觀察其檢出率與直通率。 我們從表 4-9 看到，將 T 值自動化後在檢出率上依然可維持 100%檢出率， 除此之外，在直通率上有 99.99%，相較於表 4-8 的未使用 T 值自動化的 99.93% 結果提升了 0.06%，這意味著每 1000 根 Pin 檢測只會有 3 根 Pin 會有誤判發生， 大幅提升生產產能。
37 表 4-9 一週放量測試結果 項目 T 值自動化 檢出率 不良數 243,769 攔截數 243,769 檢出率 100% 直通率 良品數 156,061 無異常數 156,047 直通率 99.99%
4-6 綜合檢測結果
本次綜合驗證會將高蹺、凹陷、偏移、缺件一同混合檢測，缺陷數量如表 4-10，我們將缺陷分別製作 397、417、488、572 根 Pin，總不良品總數為 1,874 根 Pin，總投入數為 3,200 根 Pin，檢測結果比較圖如圖 4-9、4-10。 檢出率與直通率使用長條圖來呈現，橫軸為檢測的百分率變化，縱軸變化下 所呈現的數值，最大為 100%，最小為 0%，數值愈大表愈佳。 表 4-10 混合檢測不良品數量 項目 高蹺 凹陷 偏移 缺件 測試數量 397 417 488 572 項目 錫多 錫少 短路 NA 測試數量 433 396 43338
圖 4-9 檢出率比較圖
圖 4-10 直通率比較圖
根據圖 4-9 與 4-10 所呈現，在不良品 1,874 根 CPU Bent Pin 與 1,262 跟 DIP Bent Pin 中，相似度比對法與二值化定位法的檢測率皆為相當理想的 100%，也 符合業界需求指標，而在整體 3,264 根良品中的 CPU Pin 與 DIP Pin 中，二值化
100% 100% 100% 100% 100% 100% 100% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 高蹺 凹陷 偏移 缺件 錫多 錫少 短路 相似度比對 二值化定位 89.82% 98.57% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 相似度比對 二值化定位 （舊演算法） （新演算法） （舊演算法） （新演算法）
39 定位法直通率為 98.57%相較於相似度比對的 89.82%更多了 8.75%，顯示出二值 化定位法在直通率上更為理想，為求其準確性與穩定性，我們進行一週放量測 試。
4-7 放量檢測結果
本階段我們將相似度比對與二值化定位兩種方式進行為期一週的放量檢測， 檢測結果依 Day1 到 Day7 各自排列，其檢測結果我們可從表 11、12 與圖 4-11、4-12 中可以看到，經過放量確認，我們發現二值化定位是更為穩定的。 在檢測率上，相似度比對法 99.51%，直通率最低為 91.80%，而二值化定位 法在檢測率上為 100%，直通率最低為 97.30%，比較結果後我們可以發現，二值 化定位法在檢測率優於相似度比對法 0.49%，直通率提升了 5.5%，整體上二值化 定位法優於相似度比對。 表 4-11 相似度比對一週放量結果 項目 相似度比對 檢出率 不良數 101,028 攔截數 100,529 檢出率 99.51% 直通率 良品數 122,977 無異常數 112,892 直通率 91.80%40 表 4-12 二值化定位一週放量結果 項目 二值化定位 檢出率 不良數 101,028 攔截數 101,028 檢出率 100% 直通率 良品數 122,977 無異常數 119,654 直通率 97.30% 圖 4-11 一週放量檢出率比較 99.51% 100% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 相似度比對 二值化定位 （舊演算法） （新演算法）
41
圖 4-12 一週放量直通率比較
根據表 4-11、4-12 與圖 4-11、4-12 所呈現，在每日投入的 35,440 根 CPU Pin 與 DIP Pin 中，本次論文所實驗的二值化定位法在檢測率皆達到 100%，確認可 將不良品進行攔截，而直通率也維持 97.3%，整體而言，比起一般 AOI 機台的相 似度比對法更適合檢測 CPU 與 DIP Bent Pin。
而在 3-2 章節說明中，相似度比對這種方式僅是在高度穩定情形下才適合， 如供應商所提供料件型號、生產工廠製作 CPU 與 DIP Pin 相關製程的穩定性… 等等，當 CPU 或 DIP Pin 有一些有些微翹起或偏移情況發生時，就會跟原本基 礎設定不同，進而導致誤判發生，而本次實驗是採用二值化方式，因較不容易被 干擾，因此更為適合使用在 CPU 與 DIP Bent Pin 上。
4-8 其他 DIP 相關製程檢測
本次實驗除了 CPU 與 DIP Pin 檢測外，也嘗試檢測目前業界尚未檢測 Connect
DIMM Pin(Connect Dual In-line Memory Module Pin，接續子金針)，未檢測原因
91.80% 97.30% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 相似度比對 二值化定位 （舊演算法） （新演算法）
42
為在使用相似度比對時，樣品會因為光源角度關係造成 DIMM Pin 色澤有所差 異，使用相似度比較易造成誤判率過高，然而二值化則是無此問題，業界未使用 原因為二值化編輯時 DIMM Pin 時易將粉塵一同算入檢測，但使用二值化定位因 採用相對距離搜尋，因此可避免掉這問題。
Connect DIMM 為我們一般電腦常見的記憶體插槽，兩排孔內有 DIMM Pin， 影像見圖 4-14，依照圖 4-15 做法，本次實驗一樣先設定好 Pin 長度與搜尋範圍 之後將影像直接二值化並建立標準影像與展開，依照這種方法，本次實驗進行 Connect DIMM Pin 檢測確認，並將圖 4-16 內的相關異常：粉塵、異物、偏移等 問題進行確認，最後在投入同前面章節混合驗證部分，確認其檢測率與直通率是 否與 CPU 與 DIP Pin 有相同的結果。
圖 4-13 Connect DIMM Pin 影像
項目 影像
二值化轉換與 標準影像擷取
展開
43
圖 4-15 Connect DIMM Pin 不良種類與投入數
圖 4-16 Connect DIMM Pin 檢測結果
我們從圖 4-16 中可以看見在 Connect DIMM Pin 檢測上，使用二值化定位法 可維持住 100%的檢出，除此之外，在直通率部分亦有 99.98%良好的直通率，在 12,316 個樣本中只有 2 個遭到誤判，檢測結果證明二值化定位法也可套用在 Connect DIMM Pin 檢測上。
100% 100% 100% 100% 99.98% 0% 20% 40% 60% 80% 100% 粉塵 異物 偏移 混和 檢出率 直通率 項目 粉塵 異物 偏移 混合 影像 NA 測試 數量 不良品 3,762 4,168 2,967 17,684 良品 4,238 3,832 5,033 12,316
44
4-9 整體效益評估
根據前面所論述之實驗結果，二值化定位法無論是在 CPU Bent Pin、DIP Bent Pin 甚至在 Connect DIMM Pin 檢測上，其檢出率與誤判率皆是優於相似度比對 法的，不過整體差異上是不到 10%，並無相當明顯的落差。 然而二值化定位與相似度比對兩種最大的差異，一個是硬體的儲存空間，而 另一個是檢測程式的編輯調整時間，如圖 4-17 所示，使用二值化定位法儲存空 間為 4.7GB，而相似度比對法的儲存空間為 12.3GB，整體儲存空間減少了 7.6GB ，即是少了 61.79%的儲存空間。 而在編輯時間上我們可從圖 4-18 看到，原本的相似度比對編輯時間為 3.5 小 時，若改用二值化定位法則為 1.5 小時，整體減少了 2 個小時的編輯時間，縮短 了 57.14%。就結果來看，使用二值化定位法在儲存空間與編輯時間上皆可縮短 50%以上。 造成這種明顯差異主因在於二值化定位在進行標準影像建構時，可直接進行 當下整體性的二值化切換，因此，在調整閥值時可立即性的確認參數是否恰當。 除此之外，二值化定位法也不需一直不斷的添加標準影像來提高檢出率，也因此 拉長的編輯時間，而在執行檢測框展開時，二值化定位法可立刻依照待測物所輸 入的尺寸、距離作展開，但相似度比對法需要進行行列的輸入才可展開，也因為 這些差異才可讓二值化定位法在儲存空間與編輯時間會有如此的成效。
45 圖 4-17 相似度比對法與二值化定位法儲存空間比較 圖 4-18 相似度比對法與二值化定位法編輯時間比較 12.30 4.70 0 2 4 6 8 10 12 14 16 18 20 相似度比對 二值化定位 3.50 1.50 0.00 0.50 1.00 1.50 2.00 2.50 3.00 3.50 4.00 4.50 5.00 相似度比對 二值化定位 （舊演算法） （新演算法） （GB） （GB） （小時） （小時）
46
4-10 應用上差異說明
從上述實驗中，可以發現無論在 CPU 與 DIP Pin 甚至在Connect DIMM Pin
二值化定位檢測都有大幅提升檢測品質，但並非相似度檢測法不理想，實際上在 大部分 SMT 元件檢測上，仍是以相似度比對法為主要的檢測方式。 主要原因在於錫膏印刷與元件搭載會有其偏移問題，依照 IPQC 國際規範中 所述，SMT 搭載元件有其±50%的規格值，這種情況下使用二值化定為檢測會因 為範圍面積較大導致誤判情形較高，若 PCB 稍有部分沾附汙染或錫球產生，儘 管是可允收的情形，二值化定位檢測法會因為只能區分黑與白導致誤判，相較之 下，相似度比對法會因其資料庫的完整性及標準值的設定而較不易發生。 除此之外，在 SMT 元件搭載上，不良的檢測較多，除了有圖 4-19 常見的假 焊、錫少、偏移、翻件外，尚有短路、缺件、極反與站立，除缺件、短路使用二 值化檢測法可快速對應與應用外，其餘在其檢測上較為不理想，特別是在假焊與 站立上，而極性更是無法檢測。 假焊為搭載元件未確實與錫膏結合，而站立則為單邊吃錫不佳導致元件微翹， 此兩種不良需搭配 RGB 三色光利用高度的顏色差異才可檢測出，也因為這樣，
一般工廠皆使用相似度比對法來進行檢測，不過在 CPU Pin 與Connect DIMM Pin
上，由於密集的待測物，易使相似度比對法的檢測框抓錯元件，形成誤判，因此 目前採用的檢測方式是，SMT 元件檢測使用相似度比對法，而在 CPU Socket Pin 這類密集的待測物上，則是使用二值化定位法。
47 圖 4-19 SMT 主要不良種類 表 4-15 SMT 檢測能力結果數據 項目 假焊 錫少 偏移 翻件 相似度比對 不良數 10,297 11,413 10,622 11,307 攔截數 10,297 11,413 10,622 11,307 檢出率 100% 100% 100% 100% 二值化定位 不良數 10,297 11,413 10,622 11,307 攔截數 32 9,828 10,622 0 檢出率 31.08% 86.11% 100% 0% 圖 4-20 SMT 檢測能力比較圖 100% 100% 100% 31.08% 86.11% 100% 0.00% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 假焊 錫少 偏移 翻件 相似度比對 二值化定位 項目 假焊 錫少 偏移 翻件 影像 （舊演算法） （新演算法）
48 我們根據圖 20 的主要 SMT 的不良種類中進行兩種檢測法確認，而在圖 4-20 中我們也可以看到在假焊與翻件是明顯不易辨別的，也因為如此，所以我們 從表 4-10 與圖 4-18 中可以看到二值化定位除在偏移部分有較理想的檢測率外， 其餘皆是相似度比對法較為理想的，特別是在假焊與翻件這兩個檢測上。 二值化定位法在假焊檢測率為 31.08%，而翻件更是只有 0%，這兩個不良檢 測是遠遠不及相似度比對法的，也因為如此，所以現況一般 PCB 工廠其實是將 SMT 與 DIP 製程各自使用不同方式檢測，前者使用相似度比對法，而後者則使 用二值化定位法。 會選擇這種方式原因在於兩邊製程面不同，SMT 為表面實裝黏著搭載而 DIP 則是手插件，SMT 因有翻件、假焊這種問題需使用相似度比對法進行檢測，不 過這種方式需不斷的進行影像添加來進行學習因此所花費的時間也較長，除此之 外也較吃電腦記憶體容量。 一般來說，學習一片板子需 6 到 8 小時左右，完成後該檢測程式會依零件數 目而產生 5 到 10GB 左右不等的容量需求，所以若將這種檢測法套入 DIP 元件檢 測，學習時間與容量會因此再拉長且更占空間，另外，在 DIP 零件檢測上，相似 度比較法的檢測率也不如二值化定位，較不實用，所以，現況 PCB 板廠多是在 SMT 製程零件採用相似度比對，DIP 製程零件採用二值化定位這種搭配。
49
第五章 總結
5-1 檢測效果評估
本次實驗所開發的檢測系統可透過二值化定位檢測方式讓操作者可依需求 進行檢測與距離參數設定，閥值系統會自行尋找 T 值來讓使用者檢測參數上的 調整時間，並且另用定位搜尋方式自動展開並檢測影像中的 CPU 與 DIP Bent Pin， 並標示或紀錄問題所在的位置並且讓現場人員可再次確認瑕疵狀況。當不良品過 多時，現場作業人員可立即回饋於檢查站前的相關製程或供應端來進行分析與改 善來提升產品品質。
二值化檢測是針對 CPU Bent Pin 所開發的檢測，並將這種方法運用在 CPU Bent Pin 的高翹、凹陷、偏移與缺件，DIP Pin 的錫多、錫少與短路。上述部分皆 可有效檢測，直通率也達到 99%以上，即誤判率不會超過 1%，而一般 AOI 機台 的檢測誤判率約 3%，直通率 87%，可大幅提升不良品的檢出並降低誤判問題。
除此之外，這種檢測方式也可運用在Connect DIMM Pin 檢測上面，並維持良好
的檢測率與直通率，對於工廠而言，不良品檢測率的提升也可減少被客訴的機會，
對於公司品質與名譽皆有所幫助。
除此之外，使用二值化定位法可減少 61.79%的儲存空間，而在編輯時間上
亦可縮短 57.14%的編輯時間，這樣可使操作人員在產品的檢測程式的編輯時間 以及儲存空間上能大幅減少。
50
5-2 後續研究探討
本研究主要是針對 Bent Pin 上的檢測，但對於 PCB 電路板而言，整個產品 製程最關鍵會在 SMT 階段。針對此階段製程檢測，本研究尚無法運用在此階段 上，因此 SMT 製程段檢測仍然是以一般 AOI 機台為主。 整體而言，一般 AOI 機台在 SMT 段的檢測仍是優於本研究，因此在現階段的零件檢測上，除 CPU Bent Pin、DIP Bent Pin 與Connect DIMM Pin檢測可用二
值化去有效檢測攔截外，其他零件仍是以影像相似度或是顏色百分比的相似度比 對法來進行檢測。儘管這種檢測方式很需要消耗不少電腦資源，但 SMT 在生產 上有錫膏印刷穩定性以及過高溫爐後助焊劑擴散性的變化因素，色澤變化性大， 不適合使用二值化檢測，未來要如何套用在 SMT 製程檢測上，仍是我們需要精 進與克服的。
51
參考文獻
[1] 陳瑞峰，“自動影像辨識應用於載帶之製程改善”，國立高雄應用科技大學電 子工程系碩士論文，2015. [2] 李秉鴻，“機器學習於自動光學檢測之應用”，義守大學資訊工程學系碩士論 文，2010.[3] L. Xu, X. He, X. Li, and M. Pan, “A machine-vision inspection system for conveying attitudes of columnar objects in packing process,” Measurement, vol.87, 2016, pp. 255-273 [4] 黃國豪，“影像二值化描述元與其應用”，國立中興大學資訊網路多媒體研究 所碩士論文，2012. [5] 戴珣，“一個新的圖像二值化演算法於車牌辨識之研究”，國立彰化師範大學 數學系碩士論文，2018. [6] 徐裕智，“使用亮度資訊之影像二值化轉換機制之研究”，明新科技大學資訊 工程學系碩士論文，2018.
[7] L. Fu, S. Sun, R. Li, et al, “Classification of kiwifruit grades based on fruit shape using a single camera,” Sensors (Basel, Switzerland), vol. 16, no. 7, 2016.
[8] A. Krizhevsky, I. Sutskever, G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” 25th International Conference on Neural Information Processing Systems, 2012.
[9] 黃晨暐，“光學檢測自動化之穩定性改善與系統開發”，國立臺北科技大學土木工程
系土木與防災碩士班碩士論文，2017.
[10] 蔡奇璋，“以半自動影像匹配實施與解析製圖儀結合之空中三角測量”，國立 成功大學測量工程學系碩士論文，1995.
