基於紋理分析與模糊理論對白光干涉檢測系統之研究

國

立

交

通

大

學

電控工程研究所

碩 士 論 文

基於紋理分析與模糊理論對白光干涉檢測系統

之研究

A Study of White Light Interference Detection

System Based on

Texture Analysis and Fuzzy

Theory

研 究 生 :徐 世 雄

指導教授:林 昇 甫 博士

基於紋理分析與模糊理論對白光干涉檢測系統之研究

A Study of White Light Interference Detection System Based on

Texture Analysis and Fuzzy Theory

研 究 生 ：徐 世 雄

Student:

Shih-Hsiung

Hsu

指 導 教 授 ：林 昇 甫 博士

Advisor: Dr. Sheng-Fuu Lin

國立交通大學

電控工程研究所

碩士論文

A Thesis

Submitted to Institute of Electrical Control Engineering College of Electrical Engineering

National Chiao-Tung University in Partial Fulfillment of the Requirements

for the Degree of Master

in

Electrical Control Engineering June 2011

Hsinchu, Taiwan, R.O.C 中 華 民 國 一 百 年 七 月

i

基於紋理分析與模糊理論對白光干涉檢測系統

之研究

學生：徐世雄 指導教授：林昇甫 博士 國立交通大學電控工程研究所 碩士班

摘要

在眾多高科技產業中，諸如半導體、平面顯示器、光纖通訊、微機電、生物醫學與 電子封裝等，由於微結構表面輪廓的準確性決定了產品的效能與功能，在其製程中皆需 針對微結構的表面輪廓品質進行監測。由於大部分白光干涉三維檢測系統的演算法，大 多只考慮定點像素在每張影像的關係，也就是只考慮到垂直方向，如此作法並無完善地 利用白光干涉產生的紋理特徵。本論文所討論的白光干涉三維檢測系統演算法，考慮到 利用白光干涉產生的區域性紋理特徵，使用紋理分析、影像處理以及模糊理論，可濾除 無干涉資料點的影響，並減少雜訊造成的錯誤高度數據。垂直解析能力最高達到0.1μm， 量測重複度可達到2μm，並具備多種檢測功能，對於斷差高度、夾角、面積、體積、粗 度、起伏以及薄膜厚度等需求，提供一個精確的檢測方案。 關鍵字: 白光干涉檢測、模糊理論、紋理分析

A Study of White Light Interference Detection System

Based on

Texture Analysis and Fuzzy Theory

Student: Shih-Hsiung Hsu Advisor: Dr.Sheng-Fuu Lin

Institute of Electrical Control Engineering

National Chiao Tung University

ABSTRACT

Among the many high-tech industries, such as semiconductors, flat panel displays, optical communications, MEMS, biomedical and electronic packaging, the micro-structure of the surface contour determines the accuracy of product performance and function in its manufacturing process units are required for the micro- structure of the surface contour to conduct quality monitoring. As most of the three-dimensional white light interferometer detection system algorithms, most only consider the fixed relationship between the pixels in each image, that is, taking into account only the vertical direction, so there is no perfect approach to the use of white light interference of the texture features. Discussed in this paper three-dimensional white light interferometer detection system algorithms, taking into account the use of white light interference of regional texture features, the use of texture analysis, image processing and fuzzy theory can filter the data points in addition to non-interference effects, and reduce errors caused by noise height data. Capability of vertical resolution up to 0.1μm, measured repeatedly degrees up to 2μm, and have a variety of detection for the off poor height, angle, area, volume, coarse degree, ups and downs as well as film thickness and other requirements, to provide a sperm does the testing program .

iii

誌謝

首先要以最誠摯的謝意，感謝我的指導教授林昇甫博士，感謝他在研究上的啟迪與 指導，以及細心校閱本論文的謬誤之處。並感謝在工作繁忙中，不辭辛苦地指導我的口 試委員戴鴻名博士以及謝祥文博士，同時也要感謝本實驗室的學長東穎、士哲、晉嘉、 國育、逸章、俊偉；一起同甘共苦的同學家昌、家興、煒清以及學弟們，由於他們熱心 的協助與討論，使得研究過程中的困境能夠迎刃而解。並在平常生活中，像家人般的和 睦相處，給予精神上的支持。 最後要感謝我親愛的父母，感謝他們的養育之恩以及在我求學生涯中給我最大的鼓 勵與支持，使我得以在精神與生活上無後顧之憂，順利完成學業。                          

目錄

摘要...i 英文摘要...ii 誌謝...iii 目錄...iv 表目錄...vi 圖目錄...vii 第一章 緒論...1 1.1 前言...1 1.2 研究動機...2 1.3 論文架構...5 第二章 相關知識...6 2.1 影像處理技術...6 2.1.1 紋理分析 ...6 2.1.2 特徵選擇 ...9 2.1.3 形態學... 11 2.1.4 邊緣偵測 ...13 2.2 模糊推論系統...14 2.2.1 模糊化機構 ...15 2.2.2 模糊規則庫 ...16 2.2.3 模糊推論引擎 ...17 2.2.4 去模糊化機構 ...18 2.3 二值化...18 2.3.1 常見二值化方法 ...19 2.3.2OTSU二值化方法...21 2.4 白光干涉原理...22 第三章 系統流程說明...24 3.1 系統流程概述...24 3.2 系統校正...25 3.3 平面高度估測系統 ...26 3.3.1 資料讀取與影像前處理...27 3.3.2 特徵抽取...33 3.3.3 模糊平面高度估測系統...36 3.4 垂直方向高度估測系統...39

v 3.5 模糊待測物高度系統...42 第四章 實驗結果與分析...45 4.1 硬體介紹...45 4.2 基本資料的處理...46 4.3 實驗結果與分析...62 第五章 結論與未來工作...72 參考文獻...73

表目錄

表3.1 模糊平面估測系統的模糊規則。 ...39

表3.2 模糊待測物高度系統的模糊規則。 ...44

表4.1 本論文之誤差結果表。 ...67

圖目錄

圖 1.1 三維檢測技術的規格。. ...2 圖 1.2 (a)與(b)為金屬表面常見會出現雜訊的表面輪廓。 ...3 圖 1.3 暗點區域得到的掃描資訊。 ...3 圖 1.4 白光干涉系統量測物體表面的示意圖。 ...4 圖 1.5 為粗糙度較高的物體表面示意圖。 ...4 圖 2.1 具有三個灰階的影像。 ...7 圖 2.2 位置運算子 R 的選擇方式。...8 圖 2.3 侵蝕運算。 (a) 侵蝕前影像；(b) 結構元素；(c) 侵蝕後影像。...12 圖 2.4 膨脹運算。 (a) 膨脹前影像；(b) 結構元素；(c) 膨脹後影像。...12 圖 2.5 一個 3×3 區域（ 代表灰階）和 Sobel 遮罩計算 處，(a)影像區域，(b)計算z z₅ x g 的遮罩，(c)計算g_y的遮罩。...14 圖 2.6 模糊系統的基本架構。 ...15 圖 2.7 歸屬函數。 (a) Z型；(b) 三角形；(c) S型。...16 圖 2.8 一個模糊推論過程的例子。 ...19 圖 2.9 像素分佈曲線，T*為最佳切割閥值。...21 圖 2.10 二值化之結果(a)為原始圖，(b)為經過Otsu之後的影像。 ...22 圖 2.11 (a)各波長同調示意圖，(b)白光干涉波包。 ...23 圖 2.12 白光干涉示意圖。 ...23 圖 3.1 系統架構圖。 ...25 圖 3.2 待測物體的傾角導致掃描範圍加大之示意圖， .. (a) 待測物體調平後的垂直 掃描範圖，(b) 待測物體傾斜時的垂直掃描範圍。 ...26 圖 3.3 平面估測高度系統流程圖。 ...27 圖 3.4 列數據(raw data)資料示意圖。...27 圖 3.5 將彩色影像轉為灰階的例子(a)為原始彩色圖片，(b)彩色影像轉成灰階影像的 例子。...29 圖 3.6 Otsu分成多值化流程圖。...30 圖 3.7 以Otsu方法分群示意圖。...30 圖 3.8 侵蝕運算。 (a) 侵蝕前影像；(b) 結構元素；(c) 侵蝕後影像。...32 圖 3.9 膨脹運算。 (a) 膨脹前影像；(b) 結構元素；(c) 膨脹後影像。...32

圖 3.10 模糊平面高度估測系統的歸屬函數。 (a) NPratio的歸屬函數；(b) Diffratio的 歸屬函數；(c) IVdegree的歸屬函數。...38

圖3.11 NPratio、Diffratio以及IVdegree之間的關係。...40

圖3.12 垂直方向高度估測系統流程圖。 ...41 圖3.13 同點像素在不同影像的灰階變化示意圖。 ...42 )Hfinal 圖3.14 模糊待測物高度系統的歸屬函數 (a) H的歸屬函數(b)IV的歸屬函數 (c 的歸屬函數。...44 圖 4.1 一片濾波片。 ...45 圖 4.2 白光干涉三維檢測系統示意圖。 ...46 圖 4.3 為影像經過 Otsu 多值化之後其中的 30 張影像。a)影像第一張、第五十張、 第六十五張，(b)第六十八張影像、第七十張、第七十一張，(c)影像第七十二 張到第七十四張，(d)影像第七十五張到第七十七張，(e)影像第七十八張到第 八十張，(f)影像第八十一張到第八十三張，(g)影像第八十四張到第八十六張， (h)影像第八十七張到第八十九張，(i)影像第九十張到第九十二張，(j)影像第 九十三張到第九十五張。...49 圖 4.4 連續十張原始影像。(a)為第一張影像(b)為第二張影像(c)為第三張影像(d)為 第四張影像(e)為第五張影像(f)為第六張影像(g)為第七張影像(h)為第八張影像 (i)為第九張影像(j)為第十張影像。...50 圖 4.5 為原始影像第一張之能量圖，(a)為遮罩大小3 3× 所形成能量圖；(b)為遮罩 大小9×9所形成能量圖；(c)為遮罩大小21 21× 所形成能量圖；(d)為遮罩大小 所形成能量圖。...51 31× 29 圖 4.6 為原始影像第七十張之能量圖，(a)為遮罩大小3 3× 所形成能量圖；(b)為遮 罩大小9 9× 所形成能量圖；(c)為遮罩大小 21 21× 所形成能量圖；(d)為遮罩大小 所形成能量圖。...52 31 29× 圖 4.7 為原始影像第七十五張之能量圖，(a)為遮罩大小3 3× 所形成能量圖；(b)為 遮罩大小9×9所形成能量圖；(c)為遮罩大小21 21× 所形成能量圖；(d)為遮罩大 小31×29所形成能量圖。...53 圖 4.8 為原始影像第八十張之能量圖，(a)為遮罩大小3 3× 所形成能量圖；(b)為遮 罩大小9 9× 所形成能量圖；(c)為遮罩大小 21 21× 所形成能量圖；(d)為遮罩大小 所形成能量圖。...53 31 29× 圖 4.9 為原始影像第八十五張之能量圖，(a)為遮罩大小3 3× 所形成能量圖；(b)為 遮罩大小9×9所形成能量圖；(c)為遮罩大小21 21× 所形成能量圖；(d)為遮罩大 小31×29所形成能量圖。...54 圖 4.10 為原始影像第九十張之能量圖，(a)為遮罩大小3 3× 所形成能量圖；(b)為遮 罩大小9 9× 所形成能量圖；(c)為遮罩大小 21 21× 所形成能量圖；(d)為遮罩大小 所形成能量圖。...55 31 29× 圖 4.11 為原始影像第九十五張之能量圖，(a)為遮罩大小3 3× 所形成能量圖；(b) 為遮罩大小9×9所形成能量圖；(c)為遮罩大小21 21× 所形成能量圖；(d)為遮罩 大小31×29所形成能量圖。...55 圖 4.12 為原始影像第一張經過多值化後之能量圖，(a)為遮罩大小3 所形成能量 圖；(b)為遮罩大小 所形成能量圖；(c)為遮罩大小 所形成能量圖；(d) 3 × 9 9× 21 21×

為遮罩大小31×29所形成能量圖。...56 圖 4.13 為原始影像第七十張經過多值化後之能量圖，(a)為遮罩大小3 所形成能 量圖；(b)為遮罩大小 3 × 9 9× 所形成能量圖；(c)為遮罩大小 所形成能量圖； (d)為遮罩大小31 所形成能量圖。...57 21 21× 29 × 圖 4.14 為原始影像第七十五張經過多值化後之能量圖，(a)為遮罩大小3 所形成 能量圖；(b)為遮罩大小9 3 × 9 × 所形成能量圖；(c)為遮罩大小 所形成能量 圖；(d)為遮罩大小31 所形成能量圖。...57 21 21× 29 × 圖 4.15 為原始影像第八十張經過多值化後之能量圖，(a)為遮罩大小3 所形成能 量圖；(b)為遮罩大小 3 × 9 9× 所形成能量圖；(c)為遮罩大小 所形成能量圖； (d)為遮罩大小31 所形成能量圖。...58 21 21× 29 × 圖 4.16 為原始影像第八十五張經過多值化後之能量圖，(a)為遮罩大小3 所形成 能量圖；(b)為遮罩大小9 3 × 9 × 所形成能量圖；(c)為遮罩大小 所形成能量 圖；(d)為遮罩大小31 所形成能量圖。...59 21 21× 29 × 圖 4.17 為原始影像第九十張經過多值化後之能量圖，(a)為遮罩大小3 所形成能 量圖；(b)為遮罩大小 3 × 9 9× 所形成能量圖；(c)為遮罩大小 所形成能量圖； (d)為遮罩大小31 所形成能量圖。...59 21 21× 29 × 圖 4.18 為原始影像第九十五張經過多值化後之能量圖，(a)為遮罩大小3 所形成 能量圖；(b)為遮罩大小9 3 × 9 × 所形成能量圖；(c)為遮罩大小 所形成能量 圖；(d)為遮罩大小31 所形成能量圖。...60 21 21× 29 × 圖 4.19 像素屬於 25.5μm 的灰階值變化...61

圖 4.20 高度估測系統對原始圖 NPratio、紋理差異 Diffratio以及估測出的高度程度

IVdegree。...62

圖 4.21 為 Hdegree、IV 與 Hfinal高度程度估測之間關係。...63

圖 4.22 為金屬表面常見會出現雜訊的表面輪廓，(a)待測物一之表面輪廓，(b)待測 物二之表面輪廓。...64 圖 4.23 三維表面輪廓圖。 ...65 圖 4.24 標準片實驗圖， (a)本論文實驗圖(b)標準片圖(c)垂直演算法之圖。皆為長、 寬、高約40x40x20μm 的標準片。...66 圖 4.25 誤差結果實驗圖，紅色線為垂直演算法之誤差曲線，藍色線為本論文之誤 差曲線。...71   ix

第一章 緒論

在眾多高科技產業中，諸如半導體、平面顯示器、光纖通訊、微機電、生物 醫學與電子封裝等，由於微結構表面輪廓的準確性決定了產品的效能與功能，在 其製程中皆需針對微結構的表面輪廓品質進行監測[1]-[3]。線上型(on line)白光干 涉三維檢測系統，使用創新的掃描演算法與暗點修補方式[4][5]，可濾除無干涉 資料點的影響，垂直解析能力最高達到0.1μm，量測重複度可達到0.2μm，並具 備多種檢測功能，對於斷差高度、夾角、面積、體積、粗度、起伏以及薄膜厚度 等需求，提供一個精確的檢測方案。

1.1 前言

近年來高科技產業如半導體、電子封裝、平面顯示器、微機電等各產業蓬勃 發展，其檢測應用需求也相對龐大，目前各產業皆已大量使用AOI檢測機台取代 人工檢測，但由於製程尺度縮小，高精度與快速的檢測能力發展更顯重要，故 AOI檢測能力極待提升以因應產業需求，而探討AOI檢測能力提升一般可以分為 下列二類： (1) 在檢測尺度的需求上，由於製造技術的不斷提升，製程尺度縮小，奈米尺寸 之微小結構物如: LCD 間隔物(spacer)、微機電、電子封裝等高科技產品之 檢測需求也因應而生，故檢測技術的尺度亦需要提升至奈米等級，才足夠解 析產品製程以確保良率。 (2) 在檢測項目上，除了瑕疵、缺件、汙損等傳統二維方向的檢測，在製程溝槽 深度、長晶高度與表面粗糙度等等三維形貌的檢測需求，也成為檢測中重要 的一環。 有鑑於上述二點，發展奈米級三維輪廓檢測系統為產業迫切的需求，並且為我國 產業升級必備之工具。 分析現有的三維檢測各型式設備，如圖 1.1，探針式輪廓儀(stylus profiler) 屬於接觸式的量測，有傷害待測物表面的疑慮，共焦式顯微鏡(confocal gauge)則 量測精度較差，至於掃描式探針顯微鏡(scanning probe microscope)雖有較佳的水

準與垂直解析度，但量測速度慢且不適合高斷差測量。相較於前述幾者，白光干 涉三維檢測系統的特性有以下優點： (1) 採用非接觸式量測技術，不破壞待測物體表面。 (2) 面量測而非逐點掃描，量測速度快。 (3) 水準軸方向上可達微米解析度與釐米量測範圍，垂直軸方向上則是擁有奈米 解析度與微米量測範圍，量測準確度高。 圖 1.1 三維檢測技術的規格。

1.2 研究動機

在做白光干涉量測實驗的時候，發現到金屬表面材質的待測物，容易會有雜 訊的產生，造成微結構表面輪廓的準確性造成影響。由於微結構表面輪廓的準確 性決定了產品的效能與功能，在其製程中皆需針對微結構的表面輪廓品質進行監 測。對於雜訊的消除，本論文提出利用白光干涉區域紋理的特性，並配合模糊系

統，減少雜訊造成不符合常理的表面輪廓。 (a) (b) 圖 1.2 為金屬表面常見會出現雜訊的表面輪廓，(a)待測物一之表面輪廓，(b)待 測物二之表面輪廓。 雜訊的產生主要有兩個: (1) 因物體表面反射角過大導致物鏡無法收集反射光獲得正確的干涉資訊。該部 分資料本論文稱之為暗點區域，若將該區域的資訊引入垂直掃描演算法之 中，將導致輪廓計算錯誤情形發生，造成無法判斷高度所在位置。圖 1.3 暗 點區域得到的掃描資訊便可呈現這種結果。 圖 1.3 暗點區域得到的掃描資訊。

下圖 1.4 為白光干涉系統量測物體表面的示意圖，圖中表示物體表面起伏將影響 相機影像中每一像素點干涉波包的發生高度，依循此高度變化，求取干涉零光程 差位置，即可決定出該像素點之待測物體高度，進而求出待測物的整體表面輪廓。 圖 1.4 白光干涉系統量測物體表面的示意圖。 (2) 粗糙度高的表面，容易會有周圍反射面影響，讓儀器誤判物體表面高度。在 金屬表面特別容易出現這種情形。 加上一般是只採取垂直計算，並未考慮周 圍區域相關性，本論文加上附近區域高度做為參考，減少因反射影響產生的 錯誤資訊。 圖 1.5 為粗糙度較高的物體表面示意圖。

1.3 論文架構

本論文章節分為緒論、研究概況、研究方法、實驗模擬與結論。安排如下： 第一章 簡述本論文之研究動機與目的，第二章 此章節簡單扼要提及本論文中所 應用的相關性之理論，其涵括影像處理的方法、模糊推論系統、多值二值化、白 光干涉原理，以便本論文之後續探討及其發展。第三章 介紹整個系統的流程， 可以分成四個部份介紹本論文之設計核心。第一個部份為系統校正，第二部份是 平面高度估測系統，第三部分是垂直方向高度估測系統，第四部份則是模糊待測 物高度系統。第四章為實驗結果與分析，並加以驗證用紋理方法與模糊系統之效 果。最後，第五章針對前章節所敘內容作一概括性總結，並說明本論文的各項優 劣性探討未來研究與改善方向。

第二章 相關知識

此章彙整本論文所應用之相關理論，其中囊括2.1節影像處理技術、2.2節模 糊推論系統、2.3節二值化與2.4節白光干涉原理，並將其作簡單扼要的介紹。而 在本文中主要以紋理分析，並透過影像處理技術做為基礎架構，搭配模糊推論系 統作為代理者之設計應用，以進行本論文之建構。

2.1 影像處理技術

包括紋理分析(texture analysis)、特徵選擇以及形態學[9]的影像處理相關技術 將會在此節說明。紋理分析可以對影像特定區域定量地描述其對比度、一致性、 相關性、熵以及能量等特徵。特徵選擇可以決定所抽取特徵的重要性。形態學運 算可以用來對影像做初步的前處理。紋理分析在2.1.1 節講解，特徵選擇在 2.1.1 節敘述，形態學在2.1.3 節說明。

2.1.1 紋理分析

描述紋理最簡單的方法是利用一張影像或是影像中一個特定區域灰階直方 圖分佈的矩(moment)。假設 z 代表灰階的ㄧ個隨機變數，並令p

( )

z_i ,i=1,2,",L−1 是直方圖對應於灰階 i 的倉(bin)，其中 L 影像的灰階數，則 z 對平均值的 n 階矩 是

( )

1

(

) ( )

0 , L n n i i i z z m p z μ − = =

∑

− (2.1) 其中 m 是 z 的平均值，可以下式求得：

( )

1 0 , L i i i m z p z − = =

∑

(2.2) 二階矩在紋理描述中尤其重要，它是灰階對比度的ㄧ個量測，可以用來建立相對 平滑度的描述子。三階矩是直方圖歪斜程度的量測，四階矩是直方圖相對平坦度 的量測。五階以上的矩並不容易和直方圖的形狀有關係，但它們提供了更進ㄧ步

紋理內容的定量辨別方式。 僅僅運用影像灰階直方圖分佈計算而得的紋理量測經常有限制性，因為它們 並沒有包含像素間彼此相對位置的資訊。將這類的資訊納入紋理分析過程的ㄧ個 方法是不僅要考慮灰階值的分佈，還要考慮具有相等灰階或是接近相等的灰階之 像素的位置[8]。 假設 R 是一個位置運算元，A 是一個 k 階方陣，其元素 aij是灰階值為 zi的 在 R 所規定的位置上相對於灰階為 zj的點發生的次數，1≤ ,i j≤k。例如，考慮 具有下面三個灰階的ㄧ張影像：z₁= z0, ₂ =1，以及z₃ =2，其中影像如圖 2.1 所 示： 圖 2.1 具有三個灰階的影像。 假設本論文把位置運算元 R 定義為「0°且為中心像素旁邊的第一個像素」，則可 以得出如下所示的3 階方陣 A： 1 0 4 3 2 2 , 1 5 2 ⎡ ⎤ ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ A 方陣中的元素 aij是一個像素灰階為 ，且右方的ㄧ個像素灰階為 所發生的次 數。A 的維度嚴格地由輸入影像中的灰階數目所決定，所以，通常具有較多灰階 數目的輸入影像會被重新量化為一個具有較少灰階數目的影像，以保證 A 的大 小是容易處理的。 i z z_j 設 n 是影像中滿足位置運算元 R 的總點對數，如果一個矩陣 C 是將 A 的每

個元素除以 n 而形成的，則其元素 cij是滿足 K 的ㄧ對像素之聯合機率(joint

probability)估測值。矩陣 C 被稱為灰階共生矩陣(gray-level co-occurance matrix)。 因為 C 取決於 R，所以可以透過選擇適當方向與距離的 R 來檢測特定紋理的出 現，R 的選擇可以圖 2.7 來表示。 圖 2.2 位置運算元 R 的選擇方式。 90°且與中心距離 D 45°且與中心距離 D 135°且與中心距離 D 0°且與中心距離 D 中心像素 ㄧ般而言，問題是分析一個由 R 決定的 C 矩陣，以計算影像中特定區域的 紋理內容。對這個目的有用的ㄧ些運算元包括下列式子： 1. 對比度(contrast) 2 , ij i j i− j c

∑∑

(2.3) 2. 相關性(correlation)

(

)

(

)

, i j i i j i j i μ j μ c σ σ − −

∑∑

j (2.4) 3. 能量(energy) 2 _, ij i j c

∑∑

(2.5) 4. ㄧ致性(homogeneity) , 1 ij i j c i j + −

∑∑

(2.6)

5. 熵(entropy) log . ij ij i j c c −

∑∑

(2.7)

2.1.2 特徵選擇

本節所討論的內容是參考參考文獻[15]的部分內容。特徵們的重要性往往是 不一樣的，特徵選擇是特徵抽取過程中的重要步驟，透過這個步驟，所抽取的特 徵們之相對重要性將可以被決定。從圖形識別的觀點來看，一個類別其特徵抽取 結果的好壞，可以直接從類別裡特徵向量們的密集度來決定，若同ㄧ類別的特徵 向量越密集，則特徵抽取的結果就越佳。假設在特徵向量為 n 維的特徵空間裡， ㄧ個可以代表上述概念的量度就是類別 C 的集合內部距離(intraset distance)，經 推導後可以被表示為： , 2 ) ( 1 2 2

∑

= = n k k C D σ (2.8) 其中σ_k代表特徵向量們第 k 個分量的標準差。若一個類別的集合內部距離越小， 則代表特徵向量的分佈越密集，分類結果也就越好。 再次考慮一個在類別 C 內且具有 n 個分量的特徵向量 [ , , , ]_{1 2} T n x x x = x " ，其 每個分量x_i, 1≤ ≤ ，都代表將此向量分門別類的重要特徵，很直覺地，較不重i n 要的特徵分量本論文可以給予較小的權重，這樣的概念可以透過對原來的特徵向 量進行線性映射，轉換到另外ㄧ個特徵向量空間而達成。考慮一個如下的權重矩 陣(weight matrix)： 11 12 1 21 22 2 1 2 , n n n n nn w w w w w w w w w ⎡ ⎤ ⎢ ⎥ ⎢ = ⎢ ⎢ ⎥ ⎣ ⎦ W " " # # % # " ⎥ ⎥ (2.9) 使用這個權重矩陣可以將原有的特徵向量 映射成新的特徵向量 。若本 論文將式子(2.9)更進ㄧ步地簡化成對角矩陣，如下所示： x x′=Wx

11 22 0 0 0 0 , 0 0 _nn w w w ⎡ ⎤ ⎢ ⎥ ⎢ = ⎢ ⎢ ⎥ ⎣ ⎦ W " " # # % # " ⎥ ⎥ (2.10) 則新映射而成的類別 C 其集合內部距離可以由下式求得： ′

(

)

, 2 ) ( 1 2 2

∑

= = ′ n k k ii w C D σ (2.11) 其中σ_k代表原來的特徵向量們第 k 個分量的標準差。為了要使式子(2.11)的右方 達到最小化，本論文還需要對權重係數w_ii,1≤i≤n，加上一個限制條件。 假設對於權重係數給予下式的限制： 1 1 , n ii i w = =

∑

(2.12) 則將 2( )最小化等同於將式子(2.13)最小化 C D ′

(

)

∑

∑

= = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ₋ − = n i n i ii ii ii w w A 1 1 2 , 1 2 σ α (2.13) 因為式子(2.12)成立，所以將式子(2.13)對權重係數偏微分得到： 2 4 _{ii i} 0 , 1 ii A w w σ α ∂ = − = ≤ ≤ ∂ i n , (2.14) 因此可以得到： 2 , 1 , 4 ii i w α i n σ = ≤ ≤ (2.15) 加上式子(2.12)的限制條件，可以解得α ： 2 1 4 , n i i α σ − = =

∑

(2.16) 再將式子(2.16)代入式子(2.15)，則所求的權重係數可以下式表示： . 1 2 2

∑

− = _n i i i ii w σ σ (2.17) 假設本論文對權重係數給予的限制條件不是式子(2.12)而是下式： 1 1 , n ii i w = =

∏

(2.18)

則依照式子(2.13)到(2.17)的步驟，本論文可以得到相對的權重係數： , 1 1 0 n n i i i ii w _⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ =

∏

= σ σ (2.19) 從上式可以看出第 i 個權重係數的大小是與特徵向量們第 i 個分量的標準差成反 比的，換句話說，標準差越大的特徵分量，即代表越不重要的特徵。

2.1.3 形態學

本節所討論的內容是參考參考文獻[9]的內容。形態學有許多各式各樣的運 算可以用來處理物體的外形及結構。這些運算是使用在二值化影像。侵蝕(erosion) 及膨脹(dilation)是兩種最基本的運算，斷開(opening)及閉合(closing)運算是侵蝕 及膨脹這兩種運算的延伸，這四種運算會在此章節作說明。 首先介紹一些基本定義，設 A 和 B 是 Z2中的兩個集合，它們的分量分別為 a=(a1,a2)以及 b=(b1, b2)，則 A 平移 x=(x1, x2)，用(A)x表示之，定義為 ( )A _x ={ |c c= +a x a, },∈A (2.20) B 的反射，用 ˆB表示之，定義為 ˆ { | , }, B= x x= −b b∈B (2.21) A 的補集是 A={ |x x∉A (2.22) }, A 和 B 的差集表示為 A-B，定義為 { | , } . A B A B A B − = ∈ ∉ = ∩ x x x (2.23) 假設一影像的集合為 A ，且有一結構元素的集合為 B，則 A 被 B 侵蝕記為 A B，定義為 A B={ | ( )x B _x ⊆A} . (2.24) 圖2.3 是一個侵蝕的例子，圖 2.3(a)中灰色部分是影像的集合 A，圖 2.3(b)中灰色 部分是結構元素的集合 B，圖 2.3(c)中灰色部份是侵蝕後的集合。

(a) (b) (c) 圖2.3 侵蝕運算。 (a) 侵蝕前影像；(b) 結構元素；(c) 侵蝕後影像。 假設一影像的集合為 A，且有一結構元素的集合為 B，則 A 被 B 膨脹記為 A⊕ ，定義為 B A⊕ =B { | ( )x Bˆ _x∩ ≠ ΦA } . (2.25) 圖2.4 是一個膨脹的例子，圖 2.4(a)中灰色部分是影像的集合 A，圖 2.4(b)中灰色 部分是結構元素的集合 B，圖 2.4(c)中灰色部份是膨脹後的集合。 (a) (b) (c) 圖2.4 膨脹運算。 (a) 膨脹前影像；(b) 結構元素；(c) 膨脹後影像。 影像的斷開運算是由侵蝕運算及膨脹運算所組成。斷開運算可以定義成： ( A BD = A B)⊕ (2.26) B, 其中 A 是影像的集合，B 是結構元素，它代表的意思為影像先經過侵蝕後再膨脹。 斷開運算可以用來消除物體突出的地方及雜訊。 閉合運算剛好與斷開運算相反，它可以定義成：

(

)

A B• = A⊕B B (2.27) 其中 A 是影像的集合，B 是結構元素，它代表的意思為影像先經過膨脹後再侵蝕。 閉合運算可以用來消除影像中的空洞及填滿空隙。 由於型態學運算提供了類似於空間域濾波(spatial filtering)的概念，所以也可

以稱做形態學濾波(morphological filtering)。在此總結上述型態學運算與其對應的 效果：膨脹運算可以延展影像的邊界；侵蝕運算可以將邊界收縮；斷開運算可以 平滑輪廓，將狹長帶截斷，並消除孤立的雜訊點；閉合運算可以平滑輪廓，將狹 窄的斷開處接合，以及填滿影像中的小洞。

2.1.4 邊緣偵測

邊緣是兩個區域有明顯的灰階差異時所產生的。邊緣偵測的技術一般是利用 導數運算元[9]。導數運算一般是利用空間濾波器去實現，空間域濾波是考慮頻 率域濾波的方法－將頻率域的遮罩經迴旋積分轉化成空間域的遮罩，而遮罩本身 又稱為空間濾波器。 邊緣偵測中最常使用來求導數的方法是梯度運算，一個函數 f x y ，在 ( , )( , ) x y 的地方梯度定義如下： , f x x f y y g f g ∂ ∂ ∂ ∂ ⎡ ⎤ ⎡ ⎤ ∇ =_{⎢ ⎥= ⎢ ⎥} ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ (2.28) f ∇ 的向量大小為： 2 2 1/ 2 [ _{x y} f g g ∇ = + & & ] | y , (2.29) 在實際應用上，向量的大小近似為絕對值的和： | _x| | f g g ∇ = + & & , (2.30)

本研究採用Sobel 空間濾波器，圖 2.5(a)為 Sobel 遮罩，計算位於 的導數，

以下為其計算式： 5 z 7 8 9 1 2 3 3 6 9 1 4 7 ( 2 ) ( 2 ) ( 2 ) ( 2 ) x y , . g z z z z z z g z z z z z z = + + − + + ⎧ ⎨ _{= + + − + +} ⎩ (2.31) 當g 的値相當大時，代表有一水準的邊緣通過_x z₅；而當g_y的値相當大時，則代 表有一垂直的邊緣通過z₅。

1

z

z

₂

z

₃ 4

z

z

₅

z

₆ 7

z

z

₈

z

₉

1

−

−

2

−

1

0

0

0

1

2

1

1

−

0

1

2

−

0

2

1

−

0

1

(a) (b) (c) 圖2.5 一個 3×3 區域（ 代表灰階）和 Sobel 遮罩計算 處，(a)影像區域，(b) 計算 z z₅ x g 的遮罩，(c)計算g_y的遮罩。

2.2 模糊推論系統

模糊推論系統已廣泛地應用在於許多領域，如自動控制、圖形識別、以及決 策分析，使用模糊系統有兩個主要的優點，第一個優點是不需要精確的數學模 型，第二個優點是可以將人類專家的知識結合至系統的判斷上。一般來說，模糊 系統的基本架構如圖 2.6 所示，根據參考文獻[10]的論述，可以分為四個主要的

功能方塊，包括：1) 模糊化機構(fuzzifier)；2) 模糊規則庫(fuzzy rule base)；3) 模

糊推論引擎(fuzzy inference engine)；以及 4) 去模糊化機構(defuzzifier)。模糊化 機構的功能為將明確的外界輸入資料轉換成適當的語意式模糊資訊；模糊規則庫 存放解決相關問題所需的知識及規則；模糊推論引擎藉由模糊推論的方式來模擬 人類的思考決策模式以解決面對的問題；去模糊化機構的功能是將模糊推論引擎 所推出的模糊資訊轉回外界的明確數值。以上四個功能方塊的詳細解說如後。

圖 2.6 模糊系統的基本架構。

2.2.1 模糊化機構

模糊化機構可以被視為一種映射，由明確的輸入空間映射至特定模糊集合空 間[10]。本論文定義在論域(universe of discourse) U 中的一個模糊集合(fuzzy

set)A為：

{

( , _A( )) |

}

,

A= x μ x x∈U (2.32)

其中μ_A( )x 是模糊集合A的歸屬函數(membership function)，μ_A( )x 代表論域U 中

元素x對模糊集合A的歸屬程度。通常歸屬函數的值是介於0 與 1 之間，三個常 見的歸屬函數μ_A( )x 、μ_B( )x 、以及μ_C( )x 如圖2.7，並定義如下： 1. Z 型歸屬函數： 0 0 0 1, if , ( ) , if , 0, if , a a x x A x x a x x a x x x x x x μ − − ⎧ _≤ ⎪ =_⎨ ≤ ⎪ _≥ ⎩ ≤ (2.33)

其中輸入為x 時的歸屬值(membership value)為₀ μ_A( ) 1x₀ = ，如圖 2.7(a)

所示。 2. 三角形歸屬函數： 0 0 0 0 0, if or , ( ) , if , , if , b b a a a b x x B x x b x x a x x x x x x x x x x x x x μ − − − − ⎧ _{≥ ≤} ⎪⎪ =_⎨ ≤ ≤ ⎪ _{≤ ≤} ⎪⎩ (2.34) 模糊化機構 模糊推論引擎 去模糊化機構 x 輸入

μ

( )x μ( )y 輸出 y 模糊規則庫

其中μB( ) 1x₀ = ，如圖 2.7(b)所示。 3. S 型歸屬函數： 0 0 0 0, if , ( ) , if , 1, if , b b b x x C x x b x x x x x x x x μ − − ⎧ _≤ ⎪ =_⎨ ≤ ⎪ _≥ ⎩ ≤ (2.35) 其中μC( ) 1x₀ = ，如圖 2.7(c)所示。 (a) (b) (c) 圖 2.7 歸屬函數。 (a) Z 型；(b) 三角形；(c) S 型。

2.2.2 模糊規則庫

模糊規則庫是由一組以 IF-THEN 形式的模糊規則所組成，這組模糊規則是 用以描述系統的輸入與輸出的關係，參考文獻[10]中對此有詳盡的說明。為了說 明模糊規則及模糊規則庫的運作，首先本論文需要定義語意式變數(linguistic variable)：( , , { , , , }, 1 2 k { , , , })1 2 ，其中 x U T T " T μ μ " μk x是變數的名稱；U 是 論域； 是語意式變數的語意值(linguistic value)，令 ，則 稱為 i T T x( )={T1, , , T2 " Tk} ( ) T x x的措詞集(term set)；μi是相對於Ti的歸屬函數。如果x是溫度，論域 定義於[0, 70]，則措詞集可以是 U T x( ) {= 低, 適中, 高}。 最常見的模糊規則型式有三種：語意式模糊規則、函數式模糊規則、以及 Tsukamoto 模糊規則，以下列出本論文使用的語意式模糊規則： x x x A μ μ_B μ_C 1 1 1 0 x x_a x_b x₀ x_a x_b x₀ 0 0 0

i : IF is , , AND is , THEN is , 1, 2, , , i i i R x A " y B z C i= " n (2.36) 其中x, , " y以及 是語意式變數，z Ai, , " Bi以及Ci是相對於x, , " y以及 的 語意值， z , , x " y以及 的論域分別是z U " V, , 以及W 。

2.2.3 模糊推論引擎

模糊推論引擎是模糊系統的核心，它可以藉由近似推論或模糊推論的進行得 到一推論出來的模糊資訊，用來模擬人類的思考決策[10]。以下藉由一個簡單的 例子說明模糊推論的過程： 輸入：x is A and y is B 模糊規則 1 R ： IF is AND is , THEN is x A₁ y B₁ z C ₁ 模糊規則 2 R ： IF is , AND is , THEN is x A₂ y B₂ z C₂ 1 2 z (2.37) 輸出： is z C 假設兩輸入的模糊集合皆為模糊單點(fuzzy singleton)，兩個模糊規則的啟動 強度(firing strength)可以分別表示為： 1 1 2 2 1 0 0 2 0 0 ( ) ( ) and ( ) ( ), A B A B x y x y α μ μ α μ μ = ∧ = ∧ (2.38)

根據Mamdani 所提出的最小值推論法(minimum implication rule)，最後推論出模

糊集合 C ，其歸屬函數為： 1 2 ( ) [ ( )] [ ( )], c z C z C μ = α ∧μ ∨ α ∧μ (2.39) 以上的∧及 在此分別代表取最小值運算及取最大值運算。以上模糊推論過程如 ∨ 圖2.8 所示。

2.2.4 去模糊化機構

去模糊化機構是將經過模糊推論之後產生的結論轉換為一明確數值的過程 [10]。採用不同的模糊規則，推論出來的結果型式會不同，語意式模糊規則經由 模糊推論引擎推論出來的結果是一模糊集合。常見的去模糊化的方法是中心面積 法(center of area defuzzifier, COA)以及最大平均法(mean of maximum defuzzifier, MOM)。本論文採用中心面積法，當論域為離散時，其明確輸出值由以下式子得 出： 1 1 ( ) , ( ) N C i i i COA N C i i z z z z μ μ = = ⋅ =

∑

∑

(2.40) 其中N代表輸出的量化數(quantization level)， 代表第 個量化值，以及z_i i μ_C( )z_i 代 表 屬於模糊集合 C 的歸屬值。 zi

2.3 二值化

影像二值化[12]是用灰度變換來研究灰階影像的一種常用的方法，即設定某 一閥值(Threshold)，用Threshold將灰階影像的數據分成兩部分:大於閥值的像素群 和小於閥值的像素群。例如:輸入灰階影像函數為f(x,y),輸出二值影像函數為 g(x,y), (2.41) 則通過求解閥值(Threshold) 從而把灰階影像 f(x,y)分成特徵物和背景兩個區域閥 值，是把影像和背景區分開的標尺選取適當的閥值就是既要盡可能保存影像資 訊，又要盡可能減少背景和雜訊的干擾。這是選擇閥值的原則，按照這樣一種思 維可以將現有的二值化方法大致分成三大類。

圖 2.8 一個模糊推論過程的例子。 模糊規則 R1 A1 B1 取最小值 C1

2.3.1 常見二值化方法

整體二值化法是指根據經驗或灰階影像的直方圖分佈，為整幅影像確定一個 閥值，閥值的確定一般分為兩種: (1) 人工設定閥值: 這種方案中先根據經驗或實驗設置一個固定的閥值，然後對每個像素按上述 式子進行二值化處理。 (2) 由灰階直方圖確定整體閥值: 利用原始影像灰階分佈的直方圖，能給出影像灰階值的概貌描述，設灰階值 取最小值 取最大值 模糊規則 R2 X X Y Y Z Z Z 1 A μ 2 A μ 1 B μ μC₁ C μ B μ _B 2 2 2 A2 C2 y0 x0 C μ

f 取值是0至255之間的整數，f=0為黑色，f=255為白色。p(fk)表示灰階值為k的概 率，nk表示灰階值為k的像素的個數，n為總像素的個數。則有通常以p(fk)為縱座 標，fk為橫座標的影像，為其灰階直方圖。灰階直方圖通常有兩個峰值且波谷越 深陡，二值化效果也越好，這是根據影像和背景的灰階值確定整體閥值的方法。 整體閥值方法一般只考慮到整體影像的平均灰階值，並未顧及到每個影像的 不同之處，所以其二值化在總體執行速度上較快，且演算法簡單易於理解，但因 為其對輸入影像量化，雜訊或不均勻光照等情況抵抗能力差。在一些有干擾的影 像上，會發生錯誤判斷，使整幅影像的二值化效果達不到後續作業的要求。所以 在應用上受到極大限制，比較典型的整體二值化演算法有:梯度均值法、微分直 方圖法等。 局部閥值二值化方法對於目標和背景比較清楚的影像，整體閥值化方法可以 取得較好結果。但是如果影像的背景不均勻或是目標灰階變化率比較大，整體閥 值方法一般就不再適用了。由像素(x,y)的灰階值f(x,y)和周圍點局部灰階特性來確 定像素(x,y)的閥值，稱作局部閥值二值化。局部閥值選取，一般將影像劃分為若 干子影像，根據每個子影像，確定相應的閥值，具體的閥值確定方法同整體閥值 法。局部閥值法一般用於識別干擾比較嚴重品質較差的影像，較整體閥值方法有 更廣泛的應用。但也存在缺點和問題，如實現速度慢以及容易出現偽影現象，即 在背景受雜訊干擾等。比較典型的局部二值化演算法，有多閥值的梯度強度法基 於紋理影像的方法最大方差法等。 動態閥值二值化方法應用局部閥值法後，從影像局部看來目標特徵物與背景 是可分的，但是無法得到一個適用於整幅影像的整體閥值。因此提出了動態的局 部閥值化演算法，也稱:適應性閥值化演算法。動態閥值的選擇，不僅取決於影 像閥值以及其區域影像的灰階值，並且與該影像座標位置有關。動態是指根據每 個影像及其區域影像的灰階值情況動態地計算，分割所需的閥值動態閥值二值化 能夠從品質較差的影像，甚至單峰直方圖。但因為動態閥值化方法常常需要對影 像中每個像素點都計算，閥值即對整幅影像求出一個閥值面(通常是曲面)，計算

量很大，運算速度一般比較慢。由於具有比較費時和某些失真的缺點，這在一定 程度上阻礙其發展。比較典型的動態閥值二值化方法，有疊代法等。

2.3.2

Otsu二值化方法

Otsu(1979)所提出的方法[11]，主要用來二值化，用統計的方法來對其影像 之像素分佈來做運算，求取最佳閥值，將影像切割變成黑與白，將其背景變成黑 色(灰階值=0)，而要取之範圍圖形為前景則為白色(灰階值=255)，方便作其他處 理。 Otsu的主要做法是將影像的像素值分為兩群C1、C2為一群，計算兩群內變 異數(variance)之和為最小，或兩群間變異數之間的變異數為最大，滿足其中一個 條件即可成立。其算式表示如下: C1和C2變異數之和為: (2.42) C1和C2間變異數: (2.43) Otsu優點為可自動判別二值化閥值，不需要人為判斷，而其缺點為需要較多運算 時間，且切割閥值易受背景影響。 圖 2.9 像素分佈曲線，T*為最佳切割閥值。

(a) (b) 圖 2.10 二值化之結果 (a)為原始圖，(b)為經過Otsu之後的影像。

2.4 白光干涉原理

白光干涉原理[1][2]是利用白光同調性短不易產生干涉的特性，透過頻率與 振幅相近的光波，可以形成如圖 2.11(a)、(b)所示的低同調性白光干涉波包，相 較於單頻光，白光干涉有雜訊少的優點，在求取三維表面資訊上，白光干涉利用 兩道相同特性之光波在零光程差時條紋對比最明顯之特性，來判定零光程差的發 生位置，藉此取得待測物體的三維表面形貌變化。 再進一步說明，在利用白光干涉測量表面三維形貌[3]-[5]的過程中，對於被 測表面上某一點來說，為了定位其零光程差位置，必須採用某種掃描方式改變參 考鏡或者被測表面的位置，以此來獲得該點光強變化的離散數據，然後依據白光 干涉的典型特徵來判別並提取最佳干涉位置。因此稱這種方法為掃描白光干涉測 量法。下圖 2.11 (a)、(b)為白光干涉波包形成示意圖 (a)

(b) 圖 2.11 (a)各波長同調示意圖，(b)白光干涉波包。 圖 2.12 為白光干涉系統量測物體表面的示意圖，圖中表示物體表面起伏將影響 相機影像中每一像素點干涉波包的發生高度，依循此高度變化，求取干涉零光程 差位置，即可決定出該像素點之待測物體高度，進而求出待測物的整體表面輪廓。 圖 2.12 白光干涉示意圖

第三章 系統流程說明

因待測物體種類繁多，表面條件的情況各異，白光干涉三維檢測系統在實際 檢測上，可能因物體表面某些區域反射率低、表面吸光或是表面斜率太大，導致 物鏡無法正確收到反射光，因而在垂直掃描過程中無法產生干涉，將導致輪廓計 算錯誤情形發生。本論文提出利用白光干涉區域紋理的特性，並配合模糊系統， 減少雜訊造成不符合常理的表面輪廓。由於白光干涉在平面的影像會有規律性的 紋理，所以思考到利用紋理分析，又因為每張不同高度的圖有些略為不同的差 異，故本論文欲利用模糊理論，將這些差異以不同程度表示，並加以推論像素所 屬之高度；又因白光干涉在垂直方向在每點像素都會有不同的灰階值表現，利用 此項特性，結合平面紋理的分析，再利用模糊系統加以推測出高度，建立出更加 符合物體表面的輪廓。本章節分成3.1節系統流程概述、3.2節系統校正、3.3節平 面方向高度估測系統、3.4節垂直方向高度估測系統、3.5節模糊待測物高度系統， 並分別說明各部份的流程。

3.1 系統流程概述

圖3.1 為系統的架構，整個系統的流程可以分成四個部份。第一個部份為系 統校正，第二部份是平面高度估測系統，藉由從輸入影像中與背景，搭配區域紋 理與模糊推論系統，本論文可以得到估測的高度。第三部分是垂直方向高度估測 系統，本論文同樣利用簡單的多值化配合模糊推論系統，得到估測的高度。用模 糊理論的原因在於無法估測高度的部分，可藉由模糊理論來推算較有可能的高度 值。第四部份則是模糊待測物高度系統，它接受水準方向估測系統以及垂直方向 估測系統所估測出來的資訊，交由模糊推論系統推論出適當的高度值。而平面高 度估測系統與垂直高度估測系統的差異在於，平面高度估測系統有區域性的判 斷，對於無法判斷高度之像素，能獲得較精準的高度值；而垂直高度系統則擁有 較快的估測速度，在用模糊理論結合兩者，可有較精確的高度值。

圖3.1 系統架構圖。

3.2 系統校正

白光干涉系統為確保量測的準確性品質，必須進行各項系統校正，主要的校 正項目有相機正交、垂直量測校正(高度校正)以及水準解析度校正。 (1) 相機正交: 目的是使相機之影像橫縱軸方向與移動平臺的X、Y 軸移動方向一致； 若無法使方向一致，在大面積量測時，將難以將各FOV(field of view)的影像 資訊正確結合在一起。 (2) 水準解析度校正: 目的是要求得影像上每個像素點所代表的實際物理大小，衡量依據是以 已知實際物理長度的line pair 標準片配合相機取像運算，計算出對應的像素 點投射在物體表面的大小，作為三維表面量測的水準方向資訊依據。 (3) 垂直量測校正(高度校正): 使用階高標準片來進行高度校正的動作，使系統準確性可以追朔至

NIST 標準，以確保三維表面量測高度方向的準確性。 白光干涉量測系統使用顯微干涉物鏡，由於景深較短因此常造成使用者量測 時的對焦不便，此外，由於使用垂直掃描技術，故垂直掃描範圍必須包含影像中 待測物體的表面起伏範圍，若是待測物體表面傾斜，表面法線方向與光軸存在一 傾角如圖 3.2(b)，則掃描範圍必須相對加大以涵蓋物體表面的干涉波包，如此一 來，掃描範圍與掃描時間將相對增加，進而影響整體的量測速度。 (a) (b) 圖 3.2 待測物體的傾角導致掃描範圍加大之示意圖， (a)待測物體調平後的垂直掃描範圖，(b)待測物體傾斜時的垂直掃描範圍。

3.3 平面高度估測系統

由於白光干涉在平面的影像會有規律性的紋理，所以思考到利用紋理分析， 又因為每張不同高度的圖有些略為不同的差異，故本論文欲利用模糊理論，將這 些差異以不同程度表示，並加以推論像素所屬之高度。3.4.1 節會先說明系統所 需要的資料讀取方法與影像前處理。3.3.2 節會介紹特徵抽取的方法。3.3.3 節模 糊白光干涉程度估測高度的方式。圖3.3 為水準方向估測高度系統流程圖。

圖 3.3 平面估測高度系統流程圖。

3.3.1 資料讀取與影像前處理

本論文先說明如何把拿到的資料轉變成圖片。由於所使用的資料是屬於列 數據(row data)，必須先經過處理才能轉變成圖片。 A1 A2 A3 … A17 … Ai-1 Ai 圖 3.4 列數據資料示意圖。 圖 3.4 A1到 A16皆不屬於圖片的資料，A17開始才是圖片的資料，一直到 Ai， 其中 i=640*480*圖片張數加上十六。並且把這一維矩陣轉成一系列 640*480 的圖 片資料。 再來介紹所需使用到的影像前處理。因為本來的圖片是彩色圖片，但由於顏 色的關係，容易讓人誤以為是灰階圖片。本論文將對輸入影像的目標區域抽取紋 理特徵，而使用灰階共生矩陣抽取紋理特徵的條件就是輸入影像需為灰階影像， 所以本論文首先必須要將相機擷取到的彩色影像轉為灰階影像。將彩色輸入影像

I 轉為灰階影像 Ig 的一個簡單方法是將彩色影像的 R、G 還有 B 值平均，如下式 所示： ), , ( 3 1 ) , ( 3 1 ) , ( 3 1 ) , (u v I u v I u v I u v Ig = _r + _g + _b (3.1)

其中 Ir(u, v)、Ig(u, v)以及 Ib(u, v)分別為輸入彩色影像座標(u, v)的 R、G 以及 B 值。

圖3.5 (a)、(b)顯示了一個將彩色影像轉為灰階的例子。 本論文影像前處理的部分，包括Otsu 多值化、邊緣偵測、形態學。本論文 將會先進行多值化。在此先說明Otsu 多值化。一張灰階影像經由基本 Otsu 方法 計算影像類別間的變異數而取出一個閥值，以閥值當作指標做二值化，但由於影 像拍照過程中，由於會有不同的白光干涉情形，所以單單使用二值化效果不盡理 想。因此，在本論文中，以Otsu 做為基礎，將影像做出多值化的實驗，以獲得 較佳的效果。 本論文首先使用Otsu 得到一個閥值，將會分出兩群 C1、C2，再分別對兩群 C1、C2 做處理，使用 Otsu 做處理，將 C1 分成兩群:C1a、C1b，將 C2 分成兩群 C2a、C2b。即可得到四群。流程如下頁圖 3.6 所示，如有需要，也可將圖片做成 八群，示意圖如圖 3.7 所示。 做完多值化的步驟將使其原始圖灰階差異更明顯，對於邊緣偵測的效果較佳。而 會使用到邊緣偵測的原因在於: (1) 在邊緣區域內的平面高度，通常高度差距並不會相差太多，有助於判斷高 度。 (2) 本論文將以邊緣形成的區域，作為大型遮罩，對於金屬形成的高峰雜訊檢 測，可以省下運算時間。 邊緣是兩個區域有明顯的灰階差異時所產生的。導數運算一般是利用空間濾 波器去實現，空間域濾波是考慮頻率域濾波的方法－將頻率域的遮罩經迴旋積分

(a) (b) 圖 3.5 將彩色影像轉為灰階的例子(a)為原始彩色圖片，(b)彩色影 像轉成灰階影像的例子。 轉化成空間域的遮罩，而遮罩本身又稱為空間濾波器。 邊緣偵測中最常使用來求導數的方法是梯度運算，一個函數 f x y ，在 ( , )( , ) x y 的地方梯度定義如下：

圖 3.6 Otsu 分成多值化流程圖。 圖 3.7 以 Otsu 方法分群示意圖。 , f x x f y y g f g ∂ ∂ ∂ ∂ ⎡ ⎤ ⎡ ⎤ ∇ =_{⎢ ⎥= ⎢ ⎥} ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ (3.2) f ∇ 的向量大小為： 2 2 1/ 2 [ _{x y} f g g ∇ = + & & ] , (3.3)

在實際應用上，向量的大小近似為絕對值的和： | _x| | _y| f g g ∇ = + & & , (3.4) 本論文採用的是Sobel 空間濾波器來進行邊緣偵測。 接著本論文將使用形態學的侵蝕(erosion)及膨脹(dilation)兩種運算，目的是 將其觀察到的形狀做為一個大型的遮罩(mask)，其用途是在能縮短運算時間，減 少不必要的運算量。 形態學有許多各式各樣的運算可以用來處理物體的外形及結構。這些運算是 使用在二值化影像。侵蝕(erosion)及膨脹(dilation)是兩種最基本的運算，斷開 (opening)及閉合(closing)運算是侵蝕及膨脹這兩種運算的延伸。 首先介紹一些基本定義，設 A 和 B 是 Z2中的兩個集合，它們的分量分別為 a=(a1,a2)以及 b=(b1, b2)，則 A 平移 x=(x1, x2)，用(A)x表示之，定義為 ( )A _x ={ |c c= +a x a, },∈A (3.6) B 的反射，用 ˆB表示之，定義為 ˆ { | , }, B= x x= −b b∈B (3.6) A 的補集是 { | }, A= x x∉A (3.7) A 和 B 的差集表示為 A-B，定義為 { | , } . A B A B A B − = ∈ ∉ = ∩ x x x (3.8) 假設一影像的集合為 A ，且有一結構元素的集合為 B，則 A 被 B 侵蝕記為 A B，定義為 A B={ | ( )x B _x ⊆A} . (3.9) 下圖3.8 是一個侵蝕的例子，圖 3.8(a)中灰色部分是影像的集合 A，圖 3.8(b)中灰 色部分是結構元素的集合 B，圖 3.8(c)中灰色部份是侵蝕後的集合。

(a) (b) (c) 圖3.8 侵蝕運算。 (a) 侵蝕前影像；(b) 結構元素；(c) 侵蝕後影像。 假設一影像的集合為 A，且有一結構元素的集合為 B，則 A 被 B 膨脹記為 A⊕ ，定義為 B A⊕ =B { | ( )x Bˆ _x∩ ≠ ΦA }, (3.10) 圖3.9 是一個膨脹的例子，圖 3.9(a)中灰色部分是影像的集合 A，圖 3.9(b)中灰色 部分是結構元素的集合 B，圖 3.9(c)中灰色部份是膨脹後的集合。 (a) (b) (c) 圖3.9 膨脹運算。 (a) 膨脹前影像；(b) 結構元素；(c) 膨脹後影像。 影像的斷開運算是由侵蝕運算及膨脹運算所組成。斷開運算可以定義成： ( A BD = A ₎B ⊕ (3.11) B, 其中 A 是影像的集合，B 是結構元素，它代表的意思為影像先經過侵蝕後再膨脹。 斷開運算可以用來消除物體突出的地方及雜訊。 閉合運算剛好與斷開運算相反，它可以定義成：

(

)

A B• = A⊕ B _{, (3.12)} B 其中 A 是影像的集合，B 是結構元素，它代表的意思為影像先經過膨脹後再侵蝕。 閉合運算可以用來消除影像中的空洞及填滿空隙。 利用膨脹運算可以延展影像的邊界；侵蝕運算可以將邊界收縮；斷開運算可

以平滑輪廓，將狹長帶截斷，並消除孤立的雜訊點；閉合運算可以平滑輪廓，將 狹窄的斷開處接合，以及填滿影像中的小洞。如此把這些形態學的運算加以應 用，就可得到符合邊緣形狀的大型遮罩(mask)。

3.3.2 特徵抽取

系統需要抽取兩個特徵以供判別白光干涉的有無，一個是灰階像素，以 NP 表示；另一個則是與背景的紋理差異，以 Diff 表示，相關說明如下。 要辨識場景中待測物上的白光干涉有無，最直觀的想法就是比較與並未受到 白光干涉影像中背景物件的多少，本論文可以將前景與背景分離開來，由於在做 實驗時，一開始接收到的圖片，並不會受到白光的影響，所以一開始的背景，本 論文使用第一張的圖片來當作本實驗的背景，並且不需要加入額外的步驟來移除 不需要的背景；得到前景影像 Ip 後，本論文可以對它計算正規化像素總數 NP： , ( , ) ( , ), 1, if ( , ) 1, ( , ) 0, if ( , ) 0, u v NP c u v ng u v Ip u v c u v Ip u v = ⋅ = ⎧ = ⎨ ₌ ⎩

∑

(3.13) 其中 ng(u, v)為影像座標點(u, v)的正規化增益。對每張輸入影像抽取特徵 NP 可 以得到前景像素與前景物件之間的關係，使得比較不同影像前景多寡的工作變得 單純，若 NP 較大則代表白光干涉影響較大；相反地，若 NP 較小則代表白光干 涉影響較小 本論文很容易注意到，有受到白光干涉的區域，有著明顯黑白相間的規律， 這樣的發現給了本論文抽取灰階影像目標區域紋理特性當作特徵的想法。抽取紋 理特徵的工具是利用2.1.2 節所介紹的灰階共生矩陣；為了不失一般性，位置運 算元 R 定義為「0°，45°，90°及 135°且為中心像素旁邊的第一個像素」；抽取的 特徵包括對比度 Cts、相關性 Cor、能量 Eng、一致性 Hom 以及熵 Etp。對灰階 輸入影像以及灰階背景影像抽取特徵可分別得到四組具有五個分量的特徵向

量，每一組向量代表一個方向的特徵抽取結果，特徵向量中的每一個分量代表一 個紋理特徵的計算量度。若將輸入影像 I 的 0°方向所抽取之特徵向量以 I0表示， 其分量之一的對比度以 ICts0表示，相關性以 ICor0表示，則依此類推，與輸入灰 階影像 I 有關的四組特徵向量可以下式表示：

[

]

[

]

[

]

[

]

0 0 0 0 0 0 45 45 45 45 45 45 90 90 90 90 90 90 135 135 135 135 135 135

,

,

,

,

T T T T

ICts

ICor

IEng

IHom

IEpt

ICts

ICor

IEng

IHom

IEpt

ICts

ICor

IEng

IHom

IEpt

ICts

ICor

IEng

IHom

IEpt

=

=

=

=

I

I

I

I

(3.14) 同樣地，與輸入灰階影像 B 有關的四組特徵向量可以下式表示：

[

]

[

]

[

]

[

]

0 0 0 0 0 0 45 45 45 45 45 45 90 90 90 90 90 90 135 135 135 135 135 135

,

,

,

,

T T T T

BCts

BCor

BEng

BHom

BEpt

BCts

BCor

BEng

BHom

BEpt

BCts

BCor

BEng

BHom

BEpt

BCts

BCor

BEng

BHom

BEpt

=

=

=

=

B

B

B

B

(3.15) 這麼多的特徵向量在使用上並不方便，所以本論文利用式子(3.16)來將它們簡化：

(

) (

) (

) (

)

_, 4 _ 2 135 135 2 90 90 2 45 45 2 0 0 Bf If Bf If Bf If Bf If std f = − + − + − + − (3.16) 式子(3.17)的意義為計算所求的某個特徵分量 f 在四個給定的方向上，輸入影像 相對於背景影像的標準差，其中 f 依序以 Cts、Cor、Eng、Hom 以及 Etp 代入則 可以得到 Cts_std、Cor_ std、Eng_ std、Hom_ std 以及 Etp_ std，將這五個特徵 分量之標準差合併起來可以得到新的特徵向量 F：

[

_ _ _ _ _

]

T

Cts std Cor std Eng std Hom std Ept std = F , (3.17) 假設若以灰階背景影像所求得的紋理特徵為基準點，則特徵向量 F 就代表了目 前輸入影像的紋理特徵偏離了這個基準點的量度。 本論文雖然已經將特徵從四組二十個簡化為一組五個，但是目前若要使用特 徵向量 F 則仍然不太恰當，原因是本論文所抽取的特徵們其所對應的值域各不

相同，若是直接使用，則可能會被其中某個值域範圍較大的特徵分量所主宰，因 而失去其他特徵的價值；這樣的問題可以藉由給予特徵適當的權重來改善，相關 內容已於2.1.3 中討論過。在本論文裡，本論文選取影像序列中的十張連續影像， 計算它們個別的特徵向量 F，再利用這些資訊與 2.1.3 節中所討論的方法求得每 一個分量的權重；選擇的十張連續影像以靜態影像為宜。隨著選取影像序列的不 同，計算而得的權重係數也會跟著不同，但是應該都會呈現固定的大小關係。 式子(3.18)是在式子(2.22)的限制下，計算出的權重係數矩陣 W1： 1 0.002 0 0 0 0 0 0.0104 0 0 0 , 0 0 0.8666 0 0 0 0 0 0.1218 0 0 0 0 0 0.001 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ W (3.18) 經過 W1映射後，特徵空間的集合內部距離從10-4的數量級縮小到10-8的數量級。 式子(3.19)則是在式子(2.28)的限制下計算出的權重係數矩陣 W2： 2 0.1366 0 0 0 0 0 0.9333 0 0 0 , 0 0 8.5246 0 0 0 0 0 3.1965 0 0 0 0 0 0.2879 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ W (3.19) 經過 W2映射後，特徵空間的集合內部距離從10-4的數量級縮小到10-5的數量級。 從 W1與 W2本論文可以看出，能量以及像素之間的一致性是最重要的兩個特徵， 尤其是能量；其他三個特徵的重要性相對起來則是低得多。 由於經過 W1映射的特徵空間其集合內部距離遠小於經過 W2映射的特徵空 間之集合內部距離，因此，本論文選擇 W1作為這個場景的權重矩陣 W，將輸入 影像抽取出的特徵向量 F 經過 W 的映射後，各個分量便是同等重要；取其第一 範數(one norm)，便可以將特徵向量 F 化為一個純量，得到紋理特徵 Diff：

1,

Diff = WF (3.20)

3.3.3 模糊平面高度估測系統

首先，本論文從影像序列中挑選一張白光干涉較為明顯的影像，接著對它進

行特徵抽取，將得到的影像像素 NP 以 NPmax表示；紋理特徵 Diff 以 Diffmax表示，

分別將這兩個參數當作特徵抽取時的上界，因此本論文可以對每張輸入影像計算

NP 與 NPmax的比值 NPratio，以及 Diff 與 Diffmax的比值 Diffratio：

, , max max Diff Diff Diff NP NP NP ratio ratio = = (3.21)

將對輸入影像抽取的特徵轉化為 NPratio以及 Diffratio，便可以將這兩個參數送入模

糊白光干涉程度估測系統來估測高度。 本論文要進行估測高度，會以不同尺度的紋理特徵圖進行估測。所謂不同尺 度是只利用不同大小的遮罩(mask)來產生不同的紋理特徵圖。依序由大型遮罩到 小型遮罩來進行估測。 模糊白光干涉程度估測系統並不去真正算出白光出現的條紋數目等微觀尺 度量度，而只是判斷屬於白光干涉的程度，將屬於白光干涉的高低程度正規化為 [0, 1]之間的數，越接近 0 則表示屬於白光干涉程度越少，對於在本論文的應用 上，則表示此區域越偏離當時量測的高度位置，越接近1 則代表屬於白光干涉程 度越高，表示此區域越靠近當時量測的高度位置。模糊白光干涉程度估測系統有

兩個輸入參數，分別為 NPratio以及 Diffratio，它們的值域都是[0,1]；系統輸出只有

一個，為屬於白光干涉程度 IVdegree，值域為[-0.2, 1.2]，這樣的設定是為了在去模

糊化的時候，輸出的值可以充分落在0 與 1 之間。若輸出大於 1，則將之視為 1；

若輸出小於0，則將之視為 0。NPratio有三個措詞集，分別為多(many)、中(median)

以及少(few)；Diffratio 也有三個措詞集，分別為大(large)、中(median)以及小

(small)；IVdegree則有五個措詞集，分別為最高(highest)、較高(higher)、中(median)、

模糊推論系統的架構已在 2.2 節中介紹過，本論文使用的推論方法為 Mamdani 最小值推論法，模糊規則的形式為語意式模糊規則，去模糊化的方法為 面積中心法，模糊白光干涉程度估測系統的模糊規則共有九條，詳列在表3.1 內， 輸入與輸出之間的關係則可以從圖 3.11 中的曲面看出。這九條模糊規則的意義 是：當影像中的白光干涉的區域越多，而且灰階輸入影像與灰階背景影像在目標 區域內的紋理差異越大，則推論出的屬於白光干涉程度就越大。 (a)

(b)

(c)

圖 3.10 模糊平面高度估測系統的歸屬函數。 (a) NPratio的歸屬函數；(b) Diffratio的

本論文模糊估測系統除了可以估測屬於白光干涉程度高低，亦有可以間接把 有汙點的雜訊濾除的好處，同樣也可以把屬於白光干涉程度化為[0,1]之間的數， 越接近0 表示屬於白光干涉影響程度越低；越接近 1 則表示屬於白光干涉影響程 度越高。

3.4 垂直方向高度估測系統

不同於平面方向高度估測系統，垂直方向高度估測系統，是以單一一個像素 來做判斷。由於輸入的每一張影像都是以垂直拍照而下，在白光干涉的地方會產 生跟背景不同的灰階值，尤其作完多值化之後，有無受到白光干涉，可以 表 3.1 模糊平面估測系統的模糊規則。

few median many

Small smallest smaller median Median smaller median higher

Large median higher highest

NPratio

圖 3.11 NPratio、Diffratio以及 IVdegree之間的關係。 流程圖。在影像前處理的部分，在前一節3.3 節已說明過，3.4 節所使用到 的影像前處理更加簡單，僅使用多值化的部分。會單使用灰階值判斷的原因，是 因為在每張影像中之間，灰階是最為直觀的，同時也是可以不經運算直接得到的 數據，由於要用白光干涉測量，往往所需的影像都是上百張以上，在加上每張影 像都是640*480 個像素，能盡量減少運算，對於系統運算時間上有一定的幫助。 單一像素在每張圖的灰階變化，當出現變化的時候，便是可能成為白光干涉之處。 由於每張圖都是以0.1μm 的垂直距離所拍攝，利用此已知條件，配合著模糊推論 系統，可以推斷出所屬高度。同點像素在不同影像的灰階變化示意圖如圖3.13。

圖 3.12 垂直方向高度估測系統流程圖。

接著，本論文要進行所高度的估測。首先取出每張影像同一位置像素的灰階 值，算出所有灰階之平均值 M，接著將所有灰階值減去平均 M 可得差距 D，