• 沒有找到結果。

摘 要

N/A
N/A
Protected

Academic year: 2022

Share "摘 要"

Copied!
72
0
0

加載中.... (立即查看全文)

全文

(1)
(2)
(3)
(4)
(5)

摘 要

由於印刷電路板的線路愈做愈細,使得印刷電路板底片的檢查愈來愈困難。

除此之外,人工檢測還有勞力密集以及易出錯的缺點。有鑑於此,本研究採用機 器視覺技術進行印刷電路板底片瑕疵的檢測。檢測法則是以影像相減為基礎,影 像相減是將參考影像與待測影像相減,如果相減所得之結果影像為一空白影像,

即代表待測影像無瑕疵;反之,任何出現在結果影像內的物體即視為瑕疵。本研 究就是利用此一簡單原理,檢查底片是否有缺陷。但是,影像相減並非如此直截 了當。通常在影像相減之前,必需先將測試影像與參考影像對齊,消除兩影像間 因空間變異所產生的差異,如此才能確保影像相減能夠成功地運作。讓兩影像對 齊的過程,即稱為影像註記。

相關係數法是影像註記諸多方法中最常用的一種。然而,相關係數法僅能用 來註記具有位置差異的兩張影像,很少被用來註記具有方向差異的兩張影像。為 了克服相關係數法此一與生俱來的缺點,本研究發展一個嶄新的子影像相關係數 影像註記法。首先,分別將參考影像及測試影像區分成 n×n 子影像,因此可獲 得 n×n 個子影像對。第二步是利用相關係數法,找出這 n×n 個子影像對之間的 對應關係。完成此步驟後可得到一些配合成功的匹配對。第三步則是利用匹配 對,推導出關聯兩影像的座標轉換矩陣。第四步是利用座標轉換矩陣對測試影像 進行修正,以便達成與參考影像對齊的目標。最後透過影像相減及影像後處理,

即可得知測試影像是否有瑕疵。為了驗證所提出之影像註記法的可行性,本研究 以50 對 780×582 大小之影像對進行測試。實驗結果顯示,瑕疵檢出率約為 96%,

檢測一張影像所花費的平均時間約為0.17 秒。

關鍵詞:相關係數、影像註記、瑕疵偵測、印刷電路板底片

(6)

Abstract

Inspection of PCB films becomes more and more difficult because the traces of PCB are getting finer. Besides, manual inspection has the shortcomings of labor-intensive and error-prone. In view of that, we apply machine vision technology to inspect PCB films for defects. The inspection algorithm is based on image subtraction. By subtracting the reference image from the test image, image subtraction can determine whether an image is defected or not. If the resulting image is a blank image, it means that the test image is free of defects; otherwise, any thing left in the image is regarded as a defect. In the research, we applied this simple idea to locate defects on a PCB film. However, for image subtraction to work successfully, we need to first align the test image with the reference image to eliminate the discrepancies between these two images resulted from spatial differences. The process to bring two images into alignment is call image registration.

One of the commonly-used image registration methods is the Correlation Coefficient (CC). However, CC is only capable of registering images with position differences. It is not commonly used to register images with orientation differences.

To overcome this inherent limitation of CC, we developed a novel sub-image-based CC image registration method. First, both reference and test images were divided into n×n sub-images such that n×n sub-image pairs were obtained. Second, the

correspondence between each sub-image pairs was derived using CC. The results of the step were a number of successful matched pairs. Third, those matched pairs were used to derive the transformation metric relating the test image to the reference image.

Fourth, the derived spatial coordinate transformation metric was used to correct the test image such that the two images were brought into registered. Finally, by using image subtraction, whether the test image is defected was determined.

(7)

To verify the feasibility of the proposed image registration method, fifty pairs of 780×582 images were used in this research. The experimental results showed that the

flaw detection rate was about 96% and the average inspection time was 0.17 second per image.

Keywords: Correlation Coefficient, Image Registration, Flaws Detection, PCB Film

(8)

誌 謝

承蒙指導教授 邱奕契博士這兩年來對我的悉心指導,在研究過程中,使我 能克服研究上的瓶頸,以及適時地提供寶貴的意見與經驗的傳承,幫助我使得本 論文以順利完成。

感謝 蕭呈方博士與 羅鵬飛博士的寶貴意見,對於本論文缺失不吝指正,使 得本文更臻完善。在此致上最誠摰的謝意。

研究過程中,感謝學長黃俊榮、陳冠字、林義堂、翁家瑩和李志堅的傳授與 指導,同學張育康、楊政宏,還有學弟林憲忠和楊禮鴻的協助。在此一併誌謝。

在此同時感謝我的父母和家人,提供一個良好的讀書環境,使我能專心在研究和 課業上。也由衷地感謝曾經幫助過我的師長、同學以及朋友們,感謝你們曾經給 我的支持與鼓勵,願將我在此時的榮耀與快樂與各位共同分享。

(9)

目 錄

摘要... 錯誤! 尚未定義書籤。

Abstract... 錯誤! 尚未定義書籤。

誌 謝...iv

目 錄...…...v

圖目錄... viii

表目錄... viiii

第一章 緒論...1

1.1 研究背景...1

1.2 研究動機與目的...5

1.3 研究方法簡介...5

1.4 論文大綱...6

第二章 文獻探討...7

2.1 印刷電路板檢測應用...8

2.2 文獻回顧結論...10

第三章 研究方法...11

3.1 研究方法流程概述...11

3.2 建立樣本影像流程圖...13

3.3 系統架構...13

3.3.1 硬體設備...14

3.3.2 軟體程式...14

3.4 光源照明系統...15

3.4.1 光源種類...15

3.5 影像前處理...17

3.5.1 直方圖均值化...17

3.5.2 立方根均值化...18

3.6 相關係數法...18

3.6.1 相關係數演算法...19

3.6.2 加總表相關係數法...20

3.6.3 快速灰階相關係數法...21

3.6.4 相關係數法使用與評估...23

3.6.5 相關係數法定位法...24

3.7 空間座標轉換...25

3.7.1 空間座標轉換參數計算...27

3.8 影像定位...29

(10)

3.9 影像相減比較法...32

3.10 形態處理...34

3.11 瑕疪尋找...35

第四章 實驗結果與分析...36

4.1 檢測系統軟體...36

4.2 圖形特性進行分析...37

4.2.1 圖形區域選擇...39

4.2.2 定義比對搜尋區域...41

4.3 比對視窗大小之影響...43

4.4 光源變動之影響...44

4.5 系統對瑕疵檢測適用性...45

4.5.1 字元錯字檢測...45

4.5.2 PCB 缺件檢測 ...46

4.6 實際擷取影像之測試結果...48

4.7 辨識結果...50

第五章 結論與未來研究方向...51

5.1 結論...51

5.2 未來研究方向...52

參考文獻...53

附錄A……….………..55

A.1 50 張測試影像(標準影像)…….………. 55

A.2 50 張標準影像(具平移影像)…….………. 57

A.3 50 張標準影像(具平移和旋轉影像)……...……… 59

(11)

圖目錄

圖1.1 印刷電路板製作流程圖...4

圖3.1 瑕疵檢測流程圖...12

圖3.2 建立樣本影像流程圖...13

圖3.3 比對視窗大小測試樣本(影像大小780×582像素) ...24

圖3.4 比對視窗大小測試樣本(影像大小780×582像素) ...25

圖3.5 相關係數影像定位流程圖...29

圖3.6 影像定位流程圖...30

圖3.7 兩階段相關係數定位流程圖...31

圖3.8 影像相減...33

圖3.9 侵蝕影像步驟圖...35

圖4.1 檢測系統軟體介面...36

圖4.2 底片偏移量相關係數運算...38

圖4.3 各種誤判的情況...40

圖4.4 判斷流程圖...42

圖4.5 比對視窗大小測試樣本(影像大小780×582像素) ...43

圖4.6 影像前處理流程圖...44

圖4.7 字元錯字檢測...46

圖4.8 PCB 缺件檢測...47

圖4.9 參考比對法瑕疵檢測範例一...49

(12)

表目錄

表1.1 印刷電路板分類表...2

表3.1 比對視窗大小測試結果之執行時間...24

表4.1 區域最大相關係數值...38

表4.2 各區域偏移量...39

表4.3 比對視窗大小測試結果之執行時間...44

表4.4 定位對應點...48

表4.5 底片瑕疵瑕疵檢測結果...50

(13)

第一章 緒論

1.1 研究背景

印刷電路板(Print Circuit Board,簡稱 PCB)乃主要用來插立電子元件並且 已有連接導線的電路基板。首先需要特定的工具(如電腦輔助設計)作基體電路設 計,再將所繪出圖案以雷射沖片機等機器輸出成底片,然後由銅箔層板上經過圖 形顯影、鑽孔、電鍍、蝕刻、防銲、鍍金、鍍錫等作業程序(圖1.1), 在絕緣 體上將零組件間之連接電路的導體顯現出來,形成一個完整的印刷電路板。由於 印刷電路板既可為電子零組件的支架,亦可做為零件的連接體,因此是電子產品 不可或缺的基本構成要件,其使用範圍甚廣,涵蓋家電、產業機器、車輛、航空、

船舶、太空、兵器等層面[1]。

近 年 來 電 子 產 品 日 新 月 異 , 資 訊 、 通 訊 、 以 及 消 費 性 電 子(Computer, Communication, and Consumer Electronics-3C 產業)產品已成為全球成長最快速的 產業之一。由於印刷電路板能將墊子零件連接在一起,使其發揮整體功能,是所 有電子產品不可或缺之重要零組件,且其設計品質的良,部但直接影響墊子產品 的可靠度,亦可左右系統產品的競爭力,因此 PCB 經常被稱為是電子系統產品 之母或是3C 產業之基。

印 刷 電 路 板 依 其 柔 軟 度 可 分 為 硬 式 電 路 板(Rigid PCB) 及 軟 式 電 路 板 (Flexible PCB)兩種;若依電路板之外觀可分為單層版、雙面板及多層版;若依材 質可分為紙基材銅箔基版、複合基版、玻纖布銅箔層基板、陶瓷基板、金屬基板、

熱塑性基板等(表一);若以目前印刷電路板的產品結構則可概分為資訊板、通訊 板及IC 載板三大類,其中資訊板產品已進入成熟期,技術障礙較低,通訊板產

(14)

品主要用於手機,目前有傳統壓合板、盲埋孔板及高密度互連板等,而HDI 板 漸成主流,在IC 載板方面,則包括球形格點陣列構裝、晶片尺寸封裝、覆晶接 合三種。

表 1.1 印刷電路板分類表

在目前的工業檢測上,由勞力密集產業轉型成為技術密集產業的過程中,對 於強調高品質、高附加價值,使用自動化設備注入科技化,主要目的提高生產力 和競爭力。國內的檢測技術領域由一般傳統的紡織到精密的半導體檢測,由於人 工檢測有訓練不足、素質不一及疲勞的問題,導致檢測品質不能達到穩定的良率

(15)

要求。因此,自動化檢測由此而生,並且取代傳統的人工檢測,在應用的領域上 由紡織工業、電子產業、航空工業及醫學等,皆有應用自動化檢測技術的地方。

國內的紡織產業是持續成長且值得發展的產業。一般人認為紡織業屬於勞力 密集的工業而且附加價值低應該是面臨淘汰的產業,其實並非是一般傳統所認知 的廉價、大量生產方式,而是利用現代科技來創造高附加價值的產品,而在由勞 力密集產業轉型為技術密集產業之過程中,對於強調高品質、高附加價值,就是 要導入新式之自動化設備及加入科技化之生產管理,將更是提高競爭力之重要利 器[2]。

自動光學檢測(Automated optical inspection) 已然成為在過去數年通訊工業 用來檢測印刷電路板(Print Circuit Board,PCB)的標準。事實上,以往的人工光 學檢驗即可滿足需求,但隨著高頻電路板的金屬導線有越來越細的趨勢,導致以 人工檢驗的檢測模式非常容易發生錯誤的判斷。當有不良品問題產生時,一般是 依工作經驗累積來判斷,尋求問題之癥結。如此常會造成時效性與經驗傳承的困 擾,還須花費時間進行討論分析外,甚至可能還需要進行實驗,並且無法避免面 對人員異動與退休使得經驗無法傳承,造成企業體極大的損失。最近幾年,本地 印刷電路板產業經過業界不斷的努力,己躋身為全世界第三大印刷電路板製造 國,1998 年的年產值約佔全世界 9%-10%,而產量則佔全世界 17%-18%,以 上之數據顯示,產值無法與產量齊觀,這代表台灣印刷電路板產業間削價競爭十 分嚴重[3],如此激烈競爭之環境下,產業之利潤全賴如何降低生產成本,諸如 提高產能、降低不良率、改善製程方法、縮短製程時間等都是產業界降低生產成 本的方法,而自動光學檢測則為此一艱鉅任務的靈魂。

(16)

圖 1.1 印刷電路板製作流程圖

內層板發料 裁板

表面粗化清

潔前處理 內層鑽孔

壓膜 表面粗化

清潔前處理

顯影 烘烤

蝕刻 蝕刻

去膜 去墨

曝光 印刷

沖孔

內層檢查

壓合 棕化處理

打靶 疊板

雙面板發料 蝕銅

去毛屑

無電解銅 回蝕 鑽孔 截板

鍍銅(一)

壓膜 表面粗化 清潔前處理

曝光

去膜 鍍錫鉛 鍍銅(二)

顯影

噴錫板 錫板

剝錫鉛 斷短路測

斷短路測

鍍金手指

前處理

壓膜

熔錫

防焊印刷 淺態防焊印刷

烘烤 烘烤

曝光

顯影

噴錫

印文字 鍍金手指 成型

斷短路測試

成品檢驗 成品

噴錫板

(17)

1.2 研究動機與目的

在目前機器視覺技術中,影像比對是機器視覺或是影像處理領域中相當重要 的課題。其中利用灰階影像進行相關係數法為影像比對應用最普遍方法之一,但 在使用相關係數法應用上能須克服一些問題,例如容易受光源變異及位移旋轉、

製程中縮漲變異等因素影響,使得一般相關係數法在處理效果上無法獲得較穩定 比對結果,同時其計算複雜造成效率不彰。

底片品質優劣對於印刷電路板後續製程影響深遠,在製程無法獲得高品質的 底片,則無法將所需規格正確製造出來,而導致日後檢測瑕疵困難,會造成產品 需重新再造或報廢,使得製造成本大量增加,無法有效率製造出印刷電路板。因 此如何有效地控制底片製程品質為印刷電路板製造中最重要的製程之一。而影響 底片品質的最關鍵因素為底片瑕疵,其瑕疵會造成後續製造印刷電路板的良率。

本研究的主要目的是提供一個穩定、快速及對於偏移旋轉有自動修正的演算法,

使得影像比對技術更有能有效地應用於自動檢測。

1.3 研究方法簡介

本研究利用相關係數法比對法對印刷電路板底片影像做缺陷之檢測。首先需 建立標準影像樣本,來作為檢測影像比對的根據,檢測影像使用CCD 攝影機擷 取影像,再經由影像前處理程序去除雜訊,以達到降低光源環境干擾,以便獲得 較好影像的一致性。將一張待測影像區分為16 區域,再利用相關係數法比對法 來做16 個區域分別做偏移收尋,收尋影像中心點設為特徵點,特徵點必須先判 斷是否有判斷錯誤,如果為錯誤特徵點則將不把此區域列入計算特徵中心資料

(18)

點。反之,把各個區域經由快速相關係數法計算找出初步相對位置,進而計算細 部相對位置,即可得到標準影像與待測影像相對影像位置。將其各區域特徵點代 入空間座標轉換公式,可求出偏移及旋轉量,並且把待測影像轉正。轉正之後經 由影像分割、影像相減、形態處理,判斷是否有瑕疵,經由此流程來達成底片瑕 疵檢測。

1.4 論文大綱

本論文可分為五個章節,第一章為緒論。第二章為文獻探討,主要探討國內 外相關瑕疵檢測文獻進行探討。第三章則針對本研究所使用方法原理及進行步驟 進行說明,研究應用方法包含下列幾個部分:影像前處理、相關係數法、特徵轉 換、及瑕疵收尋。第四章為實驗結果,針對本研究獲得檢測瑕疵結果作說明。第 五章對本研究之結論,並且說明未來研究方向。

(19)

第二章 文獻探討

影像比對技術應用相當廣泛,經常應用於在瑕疵檢測,最常見應用於印刷電 路板檢測,使用CCD 來擷取印刷電路板影像,將擷取影像做瑕疵檢測。本研究 欲利用參考比對檢測法技術發展一種可應用於底片瑕疵檢測的圖形比對方法。在 目 前 常 見 的 影 像 辨 識 大 致 上 可 分 為 參 考 比 對 檢 測 法(Reference Based Inspection)、非參考比對檢測法(Non- Reference Based Inspection)以及混合法 (Hybrid Inspection)檢測法。

„ 參考比對檢測法(Reference Based Inspection)

參考比對檢測法是兩個影像資料的處理比較,參考影像與待檢測影響坐影像 資料以逐點作比對,若有參考資料和待測資料比對有所不同,便會被判定為缺 陷。待檢測影像中可由檢測物體輪廓,擷取出其中影像中物體特徵,常用色彩特 徵、結構特徵、物體輪廓特徵等,藉由特徵與標準影像的特徵來作比較。參考影 像可由檢測影像中挑選出無瑕疵影像作為標準影像當作樣本,或是以人工製造假 設標準影像。優點:方法簡單、可將兩影像中所有缺陷完整出顯出來。缺點:須 有穩定的光源環境及影像定位。

„ 非參考比對檢測法(Non- Reference Based Inspection)

相較於參考比對檢測法,非參考比對檢測法顧名思義不須考參樣本來作影像 比對的根據,亦可說不須建立比對樣本作為比對的程序步驟,直接由使用者自行 設定之規範來作檢測根據,如果和設定規範不同者,便判定為瑕疵,又稱為規則 驗證法(Design Rule Check Method,簡稱 DRC)。主要是利用影像中物體的特徵,

(20)

經由編碼的狀況訂定出判斷規範,以利於判斷是否為瑕疵。優點:處理速度快、

不須建立樣本資料繁雜手續。缺點:無法判斷規範中以外之缺陷。

„ 混合法(Hybrid Inspection)檢測法

混合法檢測法是結合了參考與非參考比對檢測法之原理,同時應用樣本比對 及使用者設計規範進行檢測缺陷。優點:融合了上述兩種檢測法的優點。缺點:

使檢測系統更加繁雜。

2.1 印刷電路板檢測應用

印 刷 電 路 板 檢 測 法 包 含 下 列 幾 種 方 法 如 : 相 關 係 數 法(Correlation coefficient)、樣本匹配(Template matching)等,除此之外,還包含,如:圖樣匹配 法 (Graph-matching) 、 結 構 比 對 法 (Structure-matching) 、 特 徵 比 對 法 (Feature-matching)及型態學(Morphological)等方法,以下就對國內外一些圖形比 對方法進行探討。

彭光裕[4]利用影像處理之相關係數法(Correlation Coefficient)、直方圖法 (Histogram)、正投影法(Projection)、型態處理法(Morphology) 、顆粒處理法(Blob process)等方法的配合應用,來解決印刷電路板製程當中產生的問題,其中主要 包括元件的缺件、歪斜、極性反、錫膏造成的短路等等現象。使用此演算法可以 找出瑕疵的部分。蔡雅惠[5]利用物體不受旋轉影響之彩色比對技術了節省搜尋 時 間 , 比 對 過 程 中 使 用 兩 階 段 比 對 方 法 , 第 一 階 段 為 粗 略 比 對 (Coarse matching),第二階段為細緻比對(Fine matching),先由二次動差法配合色彩 模型中的色彩特徵值作為權重計算一個彩色圖形的方向軸,以克服旋轉之影響,

再由彩色影像點相關係數法進一步確認第一階段所選擇之可能區域中最近似標

(21)

準圖形之比對結果,此方法解決了灰階比對方法缺失的地方。劉宜德[6]研究軟 性印刷電路板自動化系統,此系統必須涵蓋機械定位與影像辨識。機械定位系統 以不同方式獲得孔位座標,經過路徑規劃後進行運動定位。影像辨識系統,利用 正規化相關匹配法進行圖形比對,輸出修正量到機械定位系統進行修正。Lewis [7]

等人提出了快速正交相關係數法,透過一個轉換函式將欲搜尋的影像矩陣轉換產 生一個新的矩陣,此過程只需計算一次,之後每次平移只需簡單的加減法即可求 出相對應的相關係數值,並且不受比對圖案大小的影響。Anil [8]在文章中提出 將灰階相關係數法改良成為一個分為兩個階段的收尋法,第一階段為粗略搜尋主 要是減少運算複雜程度,第二階段為再配合其他的方式做細部的搜尋並將此方法 應用在IC 四個角落的搜尋定位上。林建達[9]在論文中主要針對處理瑕疵偵測效 果方面,藉由高斯平滑濾波器,對於兩張比對圖形進行高斯平滑影像處理來降低 變異因素對相關係數所造成的影響。在計算效率方面,透過建立的加總表,使相 關係數的計算不受比對視窗尺寸的影響進而達到快速計算的目的。此方法能夠有 效改善傳統相關係數法在處理效果與計算效率上的缺失,使得相關係數法在自動 瑕疵檢測方面能獲得更廣泛的應用。許哲魁[10]在論文中對於常用的相似度評估 函數做分析,並提出九種在圖形特性所導致無法有效正確的判斷, 許哲魁提出非 參數轉換與非參數濾波兩種額外輔助工具,主要是減少關聯性計算的次數與增加 比對結果的可性度。而使用的非參數運算子查普與等級,是利用影像相鄰像素間 的相對關係,主要是可以包含位置檢驗。此方法效果針對影像內容有所變動,所 以可以針對影像的擷取方面做一個改善。楊榮華[11]在論文中利用兩張影像灰階 對應圖的建立,可由所建立圖形的分布看出兩張影像間的差異,再利用共變異矩 陣法來做瑕疵影像的檢測,在瑕疵判別上具有穩定性。Kai 與 Uwe [12]文章中 將快速相關係數法使用在影像比對中,經過加總表(Sum table)轉換,利用四個像 素點來取代比對影像中所有的像素點,可以大幅提高運算速度。顏清居[13]將檢 測影像二值化做影像處理膨脹、收縮、斷開及閉合等處理,將元件的缺件與斷裂 的位置和區域範圍突顯出來,再計算其區域面積,以面積的像素值來判斷是否有

(22)

缺件。Lee [14]將參考影像與待測影像直接影像相減來顯示出瑕疵,處理方式簡 單,但在於待測影像擷取時亦受到環境影響,如光源變化、影像偏移等狀況,須 有完善光源處理及定位機構。Pratt [15]主要在影像中擷取出具代表性的特徵來進 行比對。特徵樣本是針對於待測影像中特徵來規範,若待測影像變更須重新擷取 樣本特徵。

2.2 文獻回顧結論

在圖形比對的方法雖然對於較複雜且不規則的影像特性有較佳的效果,但檢 測方法往往耗費時間且易受光源變異、影像位移旋轉、雜訊干擾等影響而使檢測 較果不穩;在傳統2D 相關係數法是比對領域最重要的方法之一,但仍有其限制 與問題。

1. 繁雜的計算,使得比對效率低。

2. 對於影像均勻區域存有誤判情形。

3. 容易受影像徵量為一影響使比對有誤判雜訊。

本研究利用參考比對法來進行圖形比對,希望可避免位移的影像且具較高之計算 效率。

(23)

第三章 研究方法

3.1 研究方法流程概述

本研究主要使用機器視覺檢測之影像比對技術來進行待測影像瑕疵檢測,主 要檢測瑕疵影像為底片。由於影像比對技術容易受到光源變動、影像偏移以及灰 階影像一致性等影響因素。在處理影像比對工作之前,首先必須對光源一致性及 影像偏移作修正的動作。本研究先對影像做前處理,來減少後續在處理方面的複 雜度。再透過處理過之標準影像與待測影像做影像相似度比評,並且做影像旋轉 及平移作一修正,最後對標準影像與待測影像做影像相減,使得可以找出待測影 像瑕疵。其檢測流程圖如圖3.1 所示。

由圖 3.1 比對流程依序說明,利用 CCD(Charge Coupled Devices)相機來擷取 標準影像與待測影像,來收集樣本影像來源。對待測影像做影像前處理,藉由影 像處理來達到提高影像比對的效果。然後對標準影像與待測影像做相似度比評,

這裡使用相關係數法作為兩張影像比評之基準。最後經由影像相減,可以找到兩 張影像不同處,並將瑕疵部分篩選出來。

(24)

影像定位

擷取印刷電 路板底片影

像 開始

建立標準影 像

讀取比對之

影像樣本 影像前處理

相關係數搜 尋對應點

空間座標轉 換

缺陷搜尋

結束 統計瑕疵

(製程品管)

4 2 1

3

圖 3.1 瑕疵檢測流程圖

(25)

3.2 建立樣本影像流程圖

本研究在樣本影像取得以固定光源方式,直接對印刷電路板底片影像做連續 擷取多張影像,把影像做評估分類,將良好影像,作為標準影像,以減少不穩定 光源、環境及系統雜訊所造成的影響。樣本影像之建立流程如圖3.2 所示。

CCD擷取樣本影 像

連續擷取樣本影像

影像分類

樣本影像

圖 3.2 建立樣本影像流程圖

3.3 系統架構

本研究所建構之機器視覺檢測系統可分為軟體架構及硬體架構兩大部 份。軟體方面主要是應用 Borland C++ Builder 5.0 程式來撰寫,再配合 MATROX 公司所發展之 MIL(Matrox Imaging Library),目標開發使操作者容

(26)

易操控視窗界面程式,以利操作者作PCB 瑕疵檢測。在硬體架構方面包括 CCD

(Charge Coupled Device)攝影機、影像擷取卡(Frame Grabber)、照明設備

(Lighting Devices)及個人電腦。

3.3.1 硬體設備

本研究所建構之硬體設備係由CCD 攝影機、照明設備、光源控制器、鏡 頭組及個人電腦所組成。各設備之功能及規格說明如下:

¾ CCD 攝影機:本研究採用 JAI CV-M1 高解析度彩色 CCD 攝影機,其功能為 擷取彩色影像,並將訊號傳給影像處理卡;其最大影像擷取解析度為 654×494 個像素,而本系統所處理的影像解析度為780×582個像素,實際取 像大小為16mm×15mm。

¾ 鏡頭:本研究採用日本製可變焦、可調光圈之鏡頭。

¾ 影像擷取卡:本研究使用之影像擷取卡為加拿大 Matrox 公司的 Genesis 影 像擷取卡。

¾ 照明設備:本研究使用環形光源作為照明設備。

¾ 個人電腦:本研究所使用的個人電腦,中央處理器(CPU)為 INTEL Pentium

Ⅱ- 800,動態存取記憶體(RAM)為 128Mbytes。

3.3.2 軟體程式

在軟體程式的開發上,本研究是以Borland C++ Builder 5.0 作為程式開發的 工具,搭配Matrox 公司所提供之影像處理函式庫 (MIL, Matrox Imaging Library) 及本實驗室所自行發展之基本影像處理函式庫的使用,撰寫擷取影像之軟體。

(27)

3.4 光源照明系統

影響機器視覺可區分為光源、硬體及軟體三大因素。利用適當的光源照射在 待測物上,以便擷取適當待測影像,是照明之主要目的。擷取得到良好影像,可 以降低影像處理複雜度。光源系統設計良好,可節省影像前處理的工作,軟體可 以大幅度縮減程式執行時間,以提升檢測速度。

3.4.1 光源種類

一般光源種類大致上可區分為下列七種形式:

1. 白幟燈泡

此類燈泡是因燈絲電阻加熱而發出光線,發光率不高,通常使用上可分為鎢 絲燈與鹵素燈兩種。

(1)鎢絲燈:價格便宜而成為最常使用的光源,使用時由於鎢絲的蒸發使其亮 度再壽命期間逐漸低降低。

(2)石英鹵素燈:再燈泡內充入點之類的蒸氣,防止鎢絲蒸發以增加燈泡壽 命,目前廣泛抵使用在投影機上或名間裝潢燈泡,再視覺系統上以常使用此種燈 泡作為冷光的發光源。

2.螢光燈

以電子激發氣體放電,而螢光材料受到紫外光線中衝擊而發光,發光效率甚 佳。因為他是屬於擴散型的光源,特別適合在高反射物檢測的場合及照射大面積 的場合使用。

(28)

3.氙燈

此種光源可提供高速閃光來凍結運動物體,特別適用在油脂檢測的用途上,

具有瞬間高強功率輸出。

4.水銀燈

其發光原理是電弧通過高壓水銀蒸氣而產生可見光,它的色因僅若干普線存 在、光色不良及瓦特數高,適合用於室外照明且無需考慮色彩的場合。

5.雷射

此種光源是單一光譜波長的光源,而且直進性相當好、強度比其他光源強,

能作較特殊的光學影像處理。另外,它是相當好的結構性光源,能由二維的掃描 獲得三維的影像資料。缺點就是壽命較短。

6.紅光二極體

此光源的好處是壽命長、低消耗功率、快的工作週期及穩定性佳。若能將其 組合成陣列型式,配合閃光控制迴路,將是一種相當優異的光源,能凍結高速運 動物體的影像,以供處理使用。

7.X 光

此光源其粒子性特強,能穿透一般物質,故做為輪胎內部檢測及人體骨骼攝 影很適合,唯一缺點就是此光源對人體有害,需再依定條件下使用。

由上敘述可知白光二極體使用壽命長、消耗功率低所以減少耗電、光源穩定 性佳較能提供穩定的檢測環境及光圓形可依整體系統需求加以自行設計,再加上 面狀 CCD 攝影機最適合搭配 LED(發光二極體)的情況下,本實驗採用光源為白

(29)

3.5 影像前處理

在影像處理的用應上,影像需經過空間濾波處理,主要是可以得到較佳瑕疵 影像,以利於後續檢測工作困難度。一般空間濾波包含了均值濾波器、高通濾波 器、中值濾波器等。中值濾波器與均值濾波器可去除雜訊而使影像的變化較均 勻,至於高通濾波器則可使影像銳化達到強化影像之效果。均值濾波主要是將欲 處理像素的灰階值與其鄰近各個像素的灰階值進行加總,並計算其平均值。然後 再以計算所得之平均值取代欲處理像素的灰階值。由於是使用遮罩內所有像素的 灰階值的平均值,因此濾波結果會將灰階值變化較大的像素值縮小。

中值濾波主要是一個平滑影像的濾波器,不過這些濾波器並不是使用遮罩與 像素值運算,而是將遮罩內所有像素的灰階值進行排序,並以排序後數列位於中 間的像素的灰階值取代欲處理像素的灰階值。高通濾波器是一個銳化影像的濾波 器,也就是將影像灰階變化大的部分提高其響應。此種濾波器會將影像邊緣位置 強化出來。

3.5.1 直方圖均值化

直方圖處理的目的是將原影像的直方圖改變成所需要的影像。直方圖為表現 影像灰階分佈,以灰階值為橫座標,灰階機率值為縱座標,所形成一個機率密度 函數的圖形。

) ( f T

g= (3.1)

直方圖均值化是希望獲得一個均勻分佈的輸出影像。 g 為輸出影像, f 為輸

(30)

入影像。在轉換函數T( f)方面。

3.5.2 立方根均值化

立方根型均值化法可以下式表示:

( ) ( )

[

3 3 min

]

3

3 min

max ( )

)

(f g g P f g

T = − ⋅ f + (3.2)

其中gmingmax為輸出影像 g 欲轉換像素灰階值大小的一個區間,在此gmin為 0,gmax為255。

3.6 相關係數法

相關係數法主要是用來尋找出標準影像與待測影像中最相似區域位置的技 術,在圖形比對運算過程中,由於容易受到光源強弱與影像偏移旋轉等因素,會 造成影像搜尋上的困難度,因此在圖形比對之前必須要克服外界不必要因素並且 要求更快速的比對。在過去數年中,已有相當多探討研究相關係數這方面,所以 應用範圍相當廣泛,也已經使用於各種工業中影像處理技術上。

此應用大致上有三個方面,第一種為影像定位(Alignment),使用於印刷電路 板、軟式電路板等,可由影像圖形中相似圖形做一比對可以找到相對應的位置,

並且可以決定待測圖形偏移位置與旋轉角度。第二種為檢測(Inspection),可收尋 出圖形中的瑕疵。第三種為量測(Gauging) ,藉由圖形比對找出所需量測位置,

並且可以量測尺寸、角度、特徵點。

(31)

3.6.1 相關係數演算法

相關係數法經常被使用圖形比對上面,但是相關係數所需運算量龐大及易受 到外界環境影響使得擷取影像一致性降低,常常被使用自動化線上檢測系統,而 受到需要即時、效率問題的限制。所以經過不斷的改良,使複雜運算減少,使得 應用範圍更為廣泛。其相關係數法主要計算標準影像與待測影像之間相關係數 值,利用相關係數值作為影像相似度評估值。

首先在相關係數運算式子中,視窗大小為m×n,計算標準影像f

( )

x,y 與待 測影像t ,

( )

x y 之間相似度評估值,可以求得相關係數γ ,其定義如下所示。式中 所運算出相關係數值會介於− 與1之間,當相關係數 r 趨近於1,表示標準影像1 與待測影像相似度高,否則反之。

( ( ) ) ( ( ) )

( ( ) ) ( ( ) )

∑ ∑

= −

y

x uv xy

y

x uv

t v y u x t f

y x f

t u y u x t f y x f r

, ,

2 2

,

, ,

, ,

,

, (3.3)

其上式中:

( )

x y

f , 為標準影像在

( )

x,y 灰階值

( )

x y

t , 為待測影像在

( )

x,y 灰階值

f 為標準影像的平均灰階值(只需運算一次)

t為與標準影像相對應的搜尋區影像平均灰階值

可以想像當標準影像越大或是搜尋影像區域越大時會造成計算量大幅上 升,哪是因為傳統的相關係數法計算所用的點資料是整個標準圖案而且是沿著搜 尋影像中的每個位置去計算相關程度,所以傳統的計算法則已經慢慢被改良。以

(32)

下針對相關係數方法做研究探討。

3.6.2 加總表相關係數法

相關係數法會受到影像複雜度及影像比對視窗大小會影響處理效率,當影像 視窗越大,所運算時間必定增加。如重覆使用於相關係數法,其所需時間會大量 增加。針對改善方法,只對部分影像做相似度比對,另一方法藉由總合表(Sum table)建立,此方法能有效提升運算效率且不受比對影像大小的影響[9]。

此法是建立總合表(Sum table)轉換公式,將一個 2D 函數 f( yx, )值轉換至另 一矩陣s( yx, )其中x=0,1,2,...,m−1;y=0,1,2,...,n−1,其轉換公式如下所示。

) 1 , 1 ( ) 1 , ( ) , 1 ( ) , ( ) ,

(x y = f x y +s xy +s x y− −s xy

s (3.4)

x,y<0時,s(x,y)=0。

經由公式加總表之轉換後, 1 ( , )

0 1 0

y x f

m

x n

y

=

=

,可寫成如下式所示。

) 1 ,

1 ( ) 1 ,

1 (

) , (

1 0 1 0

− +

− +

− +

=

=

=

n y x s n

y m x s y x f

m

x n

y

) 1 , 1 ( ) 1 , 1

( + − − − − −

s x m y s x y (3.5)

如此一旦加總表建立完成後,原本計算 1 ( , )

0 1 0

y x f

m

x n

y

=

=

之加法計算量為m×n 次,經由加總表之運算後,利用公式則只需4 次加法運算便可得到 1 ( , )

0 1 0

y x f

m

x n

y

=

=

值。

(33)

3.6.3 快速灰階相關係數法

將加總表之轉換公式於灰階相關數值演算法式中,首先分別建立標準影像與 待測影像之加總表,定義如(3.5)式、(3.6)式所示:

( )

x,y = f

( )

x,y +m

(

x−1,y

)

+m

(

x,y−1

) (

m x−1,y−1

)

m s (3.6)

在(3.7)式中m ,

( )

x y 為標準影像中每一像素點灰階值的加總表, fs

( )

x,y 為標準影 像中像素點在座標

( )

x,y 上的灰階值。當x,y<0時, m

( )

x,y =0。

( )

, 2

( )

, 2

(

1,

)

2

(

, 1

)

2

(

1, 1

)

2 x y = f x y +m xy +m x y− −m xy

m s (3.7)

在(3.8)式中m2

( )

x,y 為標準影像中,每一像素點灰階平方值得加總表, fs2

( )

x,y 為標準影像中像素點在座標

( )

x,y 上的灰階平方值。當x,y<0時, m2

( )

x,y =0

( )

x,y = f

( ) (

x,y +t x−1,y

) (

+t x,y−1

) (

t x−1,y−1

)

t t (3.8)

在(3.9)式中t ,

( )

x y 為待測影像中每一像素點灰階值的加總表, fs

( )

x,y 為標準影像中像素點在座標

( )

x,y 上的灰階平方值。當x,y<0時, t

( )

x,y =0

( )

, 2

( ) (

, 2 1,

) (

2 , 1

) (

2 1, 1

)

2 x y = f x y +t xy +t x y− −t xy

t t (3.9)

在(3.10)式中t2

( )

x,y 為待測影像中每一像素點灰階平方值得加總表, ft2

( )

x,y 為待測影像中像素點在座標

( )

x,y 上的灰階平方值。當x,y<0時, t2

( )

x,y =0

(34)

( ) ( )

[

, ,

]

( 1, ) ( , 1) ( 1, 1)

) ,

(x y = f x y × f x y +mt xy +mt x y− −mt xy

mt s t (3.10)

在(3.10)式中mt( yx, )為標準影像與待測影像中,每一像素點灰階值相乘的加總 表。

x,y<0時, mt

( )

x,y =0

藉由上面加總表的建立,標準影像的灰階平均數μs和灰階平方值 fs2(x,y)定義如 下:

)]

1 , 1 (

) 1 , 1 (

) 1 ,

1 ( ) 1 ,

1 (

1 [

) , 1 1 (

0 1 0

+

− +

− +

− +

× +

=

= ×

∑ ∑

=

=

y x m

y m x m m

y x m n

y m x n m m

y x n f

m s

m

x n

y

μs

(3.11)

) 1 , 1 ( ) 1 , 1 (

) 1 ,

1 ( ) 1 ,

1 (

) , (

2 2

2 2

1 2 0 1

0

− +

− +

− +

− +

− +

=

=

=

y x m y

m x m

n y x m n

y m x m y x fs

m

x n

y

(3.12)

藉由上面加總表的建立,檢測影像的灰階平均數μt和灰階平方值 ft2(x,y)定義如 下:

)]

1 , 1 (

) 1 , 1 (

) 1 ,

1 ( ) 1 ,

1 (

1 [

) , 1 1 (

0 1 0

+

− +

− +

− +

× +

=

= ×

∑ ∑

=

=

y x t

y m x t m y x t n

y m x n t m

y x n f

m t

m

x n

y

μt

(35)

(3.13)

) 1 , 1 ( ) 1 , 1 (

) 1 ,

1 ( ) 1 ,

1 (

) , (

2 2

2 2

1 2 0 1

0

− +

− +

− +

− +

− +

=

=

=

y x t y

m x t

n y x t n y m x t y x ft

m

x n

y (3.14)

標準影像和檢測影像上每一點像素相乘之灰階值。

)]

1 , 1 ( ) 1 , 1 (

) 1 ,

1 ( ) 1 ,

1 (

[ ) , ( ) , (

1 0 1

0

− +

− +

− +

− +

− +

=

×

=

=

y x mt y

m x mt

m y x mt n

y m x mt y x f y x

fs t

m

x n

y (3.15)

最後代入下式,即可得到以加總表運算之相關係數值δG

) )

, ( (

) )

, ( (

) , ( ) , (

2 1 2

0 1 0 2 1 2

0 1 0

1 0 1 0

t t

m

x n

y s s

m

x n

y

t s t

s m

x n

y G

n m y x f n

m y x f

n m y x f y x f

μ μ

μ μ δ

×

×

×

×

×

×

×

×

×

=

=

=

=

=

=

= (3.16)

3.6.4 相關係數法使用與評估

利用相關係數來檢測,除了要提升辨識率外,辨識速率也是一項重要的評估 指標,因此評估出一個最佳的演算法,來降低運算時間,以減少不必要的時間浪 費,可提升檢測系統的實用性。

本研究使用的比對影像尺寸大小為780×582Pixels (如圖 3.3 所示)。使用的 評估方式為這兩種相關係數演算法在比對時,計算所花費時間的長短。

(36)

(a) 標準影像 (b) 待測影像 圖 3.3 比對視窗大小測試樣本(影像大小780×582像素)

由表可知,上面討論的兩種相關係數演算法,計算所得之相關係數值均有 0.8 以上的相似度。而在計算時間上比較如下表 3.1 所示。

表 3.1 比對視窗大小測試結果之執行時間 相關係數 運算時間

相關係數法 0.87 0.07

快速相關係數法 0.88 0.05

快速相關係數法 >相關係數法

再比較相關係數運算複雜度與計算量的差異性,相關係數比加總表相關係數 法的計算要來得複雜許多,因此計算量大,相關係數所消耗的時間也就叫加總表 來得多。且加總表相關係數法不受限於比對視窗大小,在相關係數法的計算時間 評估上,加總表相關係數法的計算時間最短也最有效率。因此,選用了加總表來 建立影像定位。

3.6.5 相關係數法定位法

如圖 3.4 所示,使用標準影像定義一個目標區域(如100×100之矩形目標區

(37)

像中之目標區域,由上而下,由左而右,找尋出相對於參考影像中最相似區域的 位置,進而求出待檢測影像與參考影像之間的偏移量。

(a) 標準影像 (b) 待測影像

圖 3.4 比對視窗大小測試樣本(影像大小780×582像素)

3.7 空間座標轉換

在相關係數法收尋出多個配對點後,在待測影像中抽取出多個配對點與標準 影像做一個比較。將待測影像的空間座標轉換後與標準座標做比對結果。空間座 標是將標準影像或是待測影像,經過一個數值轉換函數可以得到另一張新的影 像。一般空間座標轉換類型有下列幾種:剛體轉換(Rigid Body Transformation)、

透視轉換(Perspective Transformation)、仿射轉換(Affine Transformation)及多項式 轉換(Polynomial Transformation)等等。較常被運用轉換方式為仿射轉換,此方法 具有平移(Translation)、旋轉(Rotation)及縮放(Scale)功能,對於底片待測影像擷 取時,可能會有偏移、旋轉,並且會受到外界的溫度差異會有影像縮放的情況發 生,所以本研究利用仿射轉換來轉換影像。

在標準影像與檢測張影像再做影像相減之前,須將檢測影像位置與角度做個 修正,未修正會造成影像誤判瑕疵或檢測失敗。在這之前對檢測影像與標準影像 做相對位置及旋轉做一修正。利用標準影像與檢測影像找出相對關係的點,利用

(38)

數個點做轉換,以下列簡單說明平移、旋轉及比例縮放矩陣公式。

平移(Translation)是在二維影像中,影像平面上的任意點P(X,Y),在 X 和Y 方向各偏移一個數值量(TX,TY),可以獲得到新的點P'(X',Y'),其座標轉換方程 式下列所示:

TX

X

X' = + (3.17)

TY

Y

Y' = + (3.18)

比例縮放(Scaling)是在二維影像中,影像平面上的任意點P(X,Y),分別對 在 X 和Y 乘上一個比例因子(Scaling Factor),可以獲得到新的點P'(X',Y'),其座 標轉換方程式下列所示:

X S

X' = X ⋅ (3.19)

Y S

Y' = Y ⋅ (3.20)

旋轉(Rotation)是在二維影像中,影像平面上的任意點P(X,Y),對影像原點 作旋轉角度θ 後,成為為新的一點P'(X',Y'),其座標轉換方程式為:

θ θ sin

' = X ⋅cos −Y

X (3.21)

θ θ cos

' = X ⋅sin +Y

Y (3.22)

線性幾何轉換(Linear Geometrical Transformations)由上敘之平移、比例縮放及旋 轉之座標轉換方程式,也可以用下列之向量空間(Vector-Space)表示式代表:

平移轉換矩陣 ⎥⎤+

⎢⎡

⎥=

⎢ ⎤

X' X TX

(3.23)

(39)

比例縮放轉換矩陣

⎢ ⎤

⎣ +⎡

⎥⎦

⎢ ⎤

=⎡

⎥⎦

⎢ ⎤

Y X S

S Y

X

Y X

0 0

' '

(3.24)

旋轉轉換矩陣

⎢ ⎤

⎣ +⎡

⎥⎦

⎢ ⎤

⎡ −

⎥=

⎢ ⎤

Y X Cos

Sin

Sin Cos

Y X

θ θ

θ θ

' '

(3.25)

將數個線性轉換作連續的線性轉換,可將轉換公式寫成下式。

⎥⎦

⎢ ⎤

⎥⎡

⎢ ⎤

⋅⎡

⎥⎦

⎢ ⎤

⎡ −

⎥+

⎢ ⎤

⎥⎡

⎢ ⎤

⋅⎡

⎥⎦

⎢ ⎤

⎡ −

⎥=

⎢ ⎤

Y X Y X Y

X

T T S S Cos

Sin

Sin Cos

Y X S S Cos

Sin

Sin Cos

Y X

0 0 0

0

' '

θ θ

θ θ

θ θ

θ

θ (3.26)

上式可合併為下式:

⎥⎦

⎢ ⎤

⋅ +

− + ⋅

⎥⎦

⎢ ⎤

⋅⎡

⎥⎦

⎢ ⎤

= ⋅

⎥⎦

⎢ ⎤

Y Y

Y

X X

X Y

X

Y X

T Cos S Sin

S

T Sin S Cos

S Y X Cos

S Sin S

Sin S Cos

S Y

X

θ θ

θ θ

θ θ

θ θ

' '

(3.27)

⎥⎦

⎢ ⎤

⎣ +⎡

⎥⎦

⎢ ⎤

⋅⎡

⎥⎦

⎢ ⎤

=⎡

⎥⎦

⎢ ⎤

0 0 2

1 2 1 '

'

α α β

β α α

Y X Y

X (3.28)

3.7.1 空間座標轉換參數計算

由上式的空間座標轉換方式,利用配對點可求出待檢測影像與參考影像間的 偏移量及旋轉量。平面上之一般仿射轉換(General Affine Transformation)公式,可 以下是表示[16]:

(40)

⎥⎥

⎢⎢

⎥⎥

⎢⎢

=

⎥⎥

⎢⎢

1 1 0 0 1

0 2 1

0 2 1 '

'

y x y

x

β β β

α α α

(3.29)

其中( yx, )及(x',y')為代表參考影像與待測影像中任意點之座標,仿射參數 有α0、α1、α2、β0、β1及β2。由上式需解參數有六個,可利用最小平方法推 導出所示之求解公式:

⎩⎨

=

=

) ( ) (

) (

) (

1 1

Y T T

X T T

R B B B

R B B B β

α (3.30)

其中

[

α012

]

α = ; (3.31)

[

β012

]

β = ; (3.32)

⎥⎥

⎥⎥

⎢⎢

⎢⎢

=

n

n y

x y x

y x B

1 1 1

2 2

1 1

Μ Μ

Μ ; (3.33)

[

2' '

]

'

1 n

T

X x x x

R = Λ ; (3.34)

[

2' '

]

'

1 n

T

y y y y

R = Λ ; (3.35)

(41)

3.8 影像定位

開始

擷取印刷電 路板底片影

相關係數搜 尋相對偏移 讀取比對之

影像樣本

粗部搜尋

細部搜尋

結束

兩階段 相關係數法

圖 3.5 相關係數影像定位流程圖

本研究為探討標準影像與待測影像之間圖形相似度關係,利用此灰階相關係 數值來呈現標準與待測影像相似度高低,並應用待測影像與標準影像偏移量數值 來建立相關係數數值表格,利用。圖3.5a)為標準影像,圖 3.5(b)由 CCD 擷取之 待測影像,將待測影像由上往下由左而右偏移收尋,收尋範圍為±20像素值,收 尋此區域最大相關係數值為所偏移量。圖 3.5(c)為標準影像對應點,圖 3.5(d)為 待測影像所搜尋最大相似度作為影像特徵點。特徵點的搜尋可分為兩個部份,第 一步為初步影像搜尋,每次偏移量為 5 個像素點,在搜尋相關係數最大值,圖

(42)

3.6(a); 第二步為細步影像搜尋,每次偏移量為 1 個像素點,在搜尋相關係數最 大值,找到此點設為特徵點,圖3.6(b)。

(a)標準影像 (b)待測影像

(c)為標準影像對應點 (d)為待測影像對應點 圖 3.6 影像定位流程圖

(43)

開始

擷取印刷電路 板底片影像

對影像中心搜 尋範圍20像素

偏移5像素

搜尋最大相關 係數值為下次 偏移影像中心

對影像中心搜 尋範圍3像素

偏移1像素 讀取比對之影

像樣本

搜尋出擷取影 像偏移量

結束

圖 3.7 兩階段相關係數定位流程圖

(44)

3.9 影像相減比較法

影像相減為找出兩張影像中對應點前後時間之變化情況。影像相減是將一張 影像 f( yx, )與另一張g( yx, )做點對點的相減運算,此計算影像所有對應像素之 灰階值,經相減運算後可得到h( yx, )。可表示如下:

) , ( ) , ( ) ,

(x y f x y g x y

h = − (3.36)

可利用影像相減應用於缺陷檢測,影像相減為圖形比對法最簡單的方法,常用於 電子業、製造業、航空……等機器視覺應用領域上,可利用比對與影像邏輯運算 的方式,尋找結構瑕疵,即是已沒有缺陷影像與存於缺陷影像對每一個點進行邏 輯運算,可將缺陷的部分突顯出來,最常使用邏輯運算為XOR 運算與相減法運 算。XOR 計算為當兩著亮度相同處輸出為零,不同處輸出為一,對於影像亮暗 差異相當敏感。本研究利用影像相減將瑕疵突顯出來, 圖 3.8(a)為標準影像,

3.8 (b)為為瑕疵影像,對兩張影像作二值化後再將影像相減,如圖 3.8(c)。

(a)為標準影像 (b)瑕疵影像

(45)

圖(c)影像相減

圖 3.8 影像相減

影像比對(Image Matching)應用在瑕疵檢測是最常見的技術,所謂影像比 對是指兩張影像來進行比對,一張標準影像(Model Image)與另一張待測影像 (Scene Image),來比較兩張影像間相異處,而最簡單的方式就是將兩張影像做影 像相減(XOR),影像不同之處判斷為瑕疵。

影像比對(Image Matching)的技術有相當多種類,大致上可分為三類。第一 類Die to Die,先擷取兩張影像一張為標準影像,另一張為待測影像,對兩張影 像中有規則圖形使用二值化,互相比對,若比對結果不同則表示有缺陷。第二類 Die to Reference,先儲存取一張標準影像,再擷取一張待測影像,將檢測待測影 像與標準的影像做比對,若比對的結果不同則表示有缺陷。第三類 Die to Database,先將標準影像存入資料庫中,將待測影像資料讀出與資料庫影像作比 對,便可找出其缺陷處。其上述三類均有各優缺,假設使用Die to Die 法作比對 時,如果兩幅影像皆有瑕疵產生時,則會發生誤判情況產生; 使用 Die to Reference 的影像比對的處理中非常容易受到光源亮度與影像偏移所影響,使得 影像處理效果無法得到穩定的影像比對結果,假設待測影像與標準影像亮度差異 太大時,此法便不是適合使用;而使用 Die to Database 法時,需先對擷取影像與 真實空間作校正,此法較適合於構造簡單之物件。

(46)

3.10 形態處理

因為底片影像受到照明或是影像偏移旋轉所造成雜訊,經過二值化處理,

再經由XOR 後仍含有雜訊,一般說來,此類雜訊可透過形態運算(morphological operation)予以去除。常用的形態運算法包括膨脹、侵蝕、斷開、及閉合等四 種。

膨脹(Dilation):當 A 被 B 膨脹,即以結構元素 B 對影像中的一組像素 A 做膨脹,

則集合A 的周圍會產生集合 B 之圍繞,記為 A♁B。

侵蝕(Erode):當A 被 B 侵蝕,即以結構元素 B 對影像中的一組像素 A 做侵蝕,

則集合A 的周圍會被集合 B 所減掉,記為 AΘB。

斷開(Opening):當集合 A 被集合 B 侵蝕之後再被集合 B 膨脹即為斷開,記為 A。B,亦為 (AΘB)♁B。其斷開主要的功能為平滑影像輪廓、截斷窄的細頸及 消除細小的突出物。

四、閉合(Closing):當集合 A 被集合 B 膨脹之後再被集合 B 侵蝕即為閉合,

記為A‧B,亦為 (A♁B)ΘB。閉合主要功能也是傾向於平滑影像輪廓,其動作 與斷開相反,將長細缺口連接起來、消除小洞及填補輪廓上的缺口。

圖 3.10(a)為一幅標準影像,圖 3.10(b)為一幅待測影像,當影像前面程序處 理後,在經由影像相減產生圖 3.10(c)為偏移所產生雜訊,將圖 3.10(d)作侵蝕一 次,可以得到一張無雜訊的影像,以便判別是否有瑕疵產生。

(47)

(a)標準影像 (b)待測影像

(c)為影像相減所產生影像 (d)作侵蝕一次 圖 3.9 侵蝕影像步驟圖

3.11 瑕疪尋找

瑕疪尋找的目的,是為了將影像中的瑕疪區隔出來,系統中只對瑕疵進行特 徵抽取與分析。影像經過前面程序處理,最後經由影像相減後,影像中含有許多 白色區域,然而並非所有的白色區域皆為瑕疵,通常需要由使用者來定義哪些區 域為瑕疵。而通常篩選的方法是根據區域面積的大小來判定,若是白色面積大小 大於設定面積,則判定視為瑕疵。

(48)

第四章 實驗結果與分析

4.1 檢測系統軟體

在檢測軟體方面,本研究將採用Borland C++ Builder 5.0 作為撰寫及編譯軟 體的環境,利用Matrox 公司所發展的 MIL(Matrox Imaging Library)影像函式 庫配合影像擷取,撰寫出具人性化的視窗程式,方便使用者的操作(如圖 4.1 所 示)。

圖 4.1 檢測系統軟體介面

本章實驗結果為利用灰階相關係數法所產生之相似度根據,進行比對分析,

第一部份為針對圖形特性進行分析,第二部分為檢測視窗大小影響分析,並作區 域性檢測,第三部分為對各種影像的瑕疵檢測適用性分析,第四部份辨識率結

參考文獻

相關文件

T transforms S into a region R in the xy-plane called the image of S, consisting of the images of all points in S.... So we begin by finding the images of the sides

For ex- ample, if every element in the image has the same colour, we expect the colour constancy sampler to pro- duce a very wide spread of samples for the surface

Courtesy: Ned Wright’s Cosmology Page Burles, Nolette &amp; Turner, 1999?. Total Mass Density

(It is also acceptable to have either just an image region or just a text region.) The layout and ordering of the slides is specified in a language called SMIL.. SMIL is covered in

• It is a plus if you have background knowledge on computer vision, image processing and computer graphics.. • It is a plus if you have access to digital cameras

* All rights reserved, Tei-Wei Kuo, National Taiwan University, 2005..

• It is a plus if you have background knowledge on computer vision, image processing and computer graphics.. • It is a plus if you have access to digital cameras

• It is a plus if you have background knowledge on computer vision, image processing and computer graphics.. • It is a plus if you have access to digital cameras