基於電腦視覺之LED探針線上自動化量測系統平台

全文

(1)國立臺灣師範大學電機工程學系碩士論文指導教授：蘇崇彥博士基於電腦視覺之 LED 探針線上自動化量測系統平台 Computer Vision based Automated Online Measuring System Platform for LED Probes. 研究生：柳英浩撰. 中華民國 105 年 6 月.

(2) 基於電腦視覺之 LED 探針線上自動化量測系統平台. 學生：柳英浩. 指導教授：蘇崇彥. 國立臺灣師範大學電機工程學系碩士班. 摘. 要. 在近年來自動化技術越來越成熟，可結合於各領域之中，使我們生活更加便利，尤其 LED 的使用更是逐年增加。為了對 LED 的品質好壞做篩選，需要透過 LED 探針進行特性量測，但目前探針大部分都由人工研磨方式生產及檢測，以至於精密度和品質參差不齊。有鑑於此，在本論文中我們提出一套用於 LED 探針的影像量測技術，將此技術結合電腦視覺與單軸步進馬達移動平台，實現出一套 LED 探針線上自動化量測系統平台。並運用影像處理與自動化量測兩者技術來模擬工廠對 LED 探針的自動化量測與分析。. 由於工廠的環境複雜，其中包含雜訊、灰塵等，這些因素會對探針量測的精準度造成影響。所以我們提出多區段平均次像素方法，以降低環境因素的干擾。並提出有效的方法來消除探針上的反光點，且對於圓弧影像部分利用 ROI 方式取出。藉由上述影像處理方法能有助於改善自動化量測系統的穩定性與準確度。. 關鍵字 : LED 探針、電腦視覺、多區段平均次像素方法、自動化量測系統平台. i.

(3) Computer Vision based Automated Online Measuring System Platform for LED Probes. Student：Liu, Ying-Hao. Advisor：Dr. Su, Chung-Yen. Institute of Electrical Engineering National Taiwan Normal University Abstract. In recent years, automation technology is reaching into its maturity stage, and could be combined with various fields. Especially the use of LEDs is growing steadily within each year, which made our everyday life more convenient. In order to differentiate the quality of LEDs, LED probes are needed for measuring its characteristics. But to date, most probes are produced and tested artificially, which might lead to impreciseness of probes and are of variable quality. In view of this, we propose an image measuring technique using on LED probes with combination of computer vision and uniaxial stepper motor mobile platform. Two techniques are used in this thesis: image processing and automatic measuring, which are for the simulation of automatic measuring and analyzing of LED probes in factories. Finally, an automatic measuring platform for LED probes system is implemented. Due to the complicated environment in factories, including noise, dust, etc., these factors will undoubtedly cause certain effect on measurement accuracy of probes. Thus, we first proposed the various segmentation averaging sub-pixels (VSAS) method, to reduce disturbance caused by potential environmental factors. Second, we proposed an ii.

(4) efficient method to diminish reflection points on probe. Last, we extracted the base of probe by using ROI method. By using the above mentioned image processing methods, we are able to greatly improve the accuracy and stability of the automatic measuring system.. Keywords: LED probe, computer vision, various segmentation averaging sub-pixels, automatic measuring system platform. iii.

(5) 目. 摘. 錄. 要 ......................................................................................................................... i. Abstract ........................................................................................................................... ii 目. 錄 ....................................................................................................................... iv. 圖目錄 ....................................................................................................................... vi 表目錄 .........................................................................................................................x 第一章緒論 ............................................................................................................ - 1 1.1. 研究背景 ........................................................................................................... - 1 -. 1.2. 研究動機 ........................................................................................................... - 2 -. 1.3. 研究目的 ........................................................................................................... - 3 -. 1.4. 論文架構 ........................................................................................................... - 3 -. 第二章文獻探討 .................................................................................................... - 4 2.1. 自動化量測技術介紹 ....................................................................................... - 4 2.1.1 自動化量測相關文獻 ................................................................................. - 5 -. 2.2. 次像素邊緣偵測方法概要 ............................................................................... - 8 2.2.1 動量基礎法(Moment-based method)[11] ................................................... - 9 2.2.2 部分區域效應法(Partial area effect method)[12] ..................................... - 11 2.2.3 重建法(Reconstruction method)[13]......................................................... - 15 -. 2.3. 不規則邊緣以最佳直線模式偵測方法介紹[14] .......................................... - 18 -. 第三章基於電腦視覺之 LED 探針自動化量測系統架構 ................................ - 20 3.1. 硬體架構 ......................................................................................................... - 20 3.1.1 個人電腦 ................................................................................................... - 21 3.1.2 高速彩色攝影機 ....................................................................................... - 22 3.1.3 顯微鏡固定基座 ....................................................................................... - 23 3.1.4 亮度控制器 ............................................................................................... - 23 iv.

(6) 3.1.5 單軸步進馬達移動平台 ........................................................................... - 24 3.1.6 單軸步進馬達控制器 ............................................................................... - 25 3.1.7 探針基座設計 ........................................................................................... - 26 3.2. 影像處理流程架構 ......................................................................................... - 27 3.2.1 影像前處理 ............................................................................................... - 28 3.2.2 像素等級邊緣偵測 ................................................................................... - 29 3.2.3 物件分群 ................................................................................................... - 35 3.2.4 次像素等級邊緣偵測 ............................................................................... - 36 3.2.5 多區段平均次像素方法 ........................................................................... - 37 3.2.6 角度與半徑計算 ....................................................................................... - 41 -. 3.3. 自動化量測系統平台 ..................................................................................... - 43 3.3.1 使用者介面設計 ....................................................................................... - 43 3.3.2 自動化量測之操作程序 ........................................................................... - 48 3.3.3 步進馬達驅動設計 ................................................................................... - 49 3.3.4 自動化量測流程架構 ............................................................................... - 51 -. 第四章實驗結果與數據分析 .............................................................................. - 52 4.1. 規格量測 ......................................................................................................... - 52 -. 4.2. 靜態量測分析 ................................................................................................. - 55 -. 4.3. 動態量測分析 ................................................................................................. - 60 -. 第五章結論與未來展望 ...................................................................................... - 65 參考文獻 ............................................................................................................ - 66 附錄自. 一 .............................................................................................................. - 69 傳 .................................................................................................................. - 75 -. 學術成就 ............................................................................................................ - 76 -. v.

(7) 圖目錄. 圖 2-1 閉迴路控制系統架構圖[18] ........................................................................ - 4 圖 2-2 (a)直角端銑刀；(b)球型端銑刀；(c)圓鼻端銑刀 ...................................... - 5 圖 2-3 直角端銑刀幾何外形圖[19] ........................................................................ - 5 圖 2-4 離、餘隙角位置特徵示意圖[19] ................................................................ - 6 圖 2-5 自動偵測離、餘隙角位置之流程圖[19] .................................................... - 6 圖 2-6 ATOS 光學量測儀[15] .................................................................................. - 7 圖 2-7 3D 受測物[15] ............................................................................................... - 7 圖 2-8 3D 點資料之破孔[15] ................................................................................... - 7 圖 2-9 影像邊緣示意圖 ........................................................................................... - 8 圖 2-10 影像邊緣區域放大圖 ................................................................................. - 9 圖 2-11 ZOM 邊緣模型原圖 .................................................................................... - 9 圖 2-12 ZOM 模型旋轉-𝜃° ....................................................................................... - 9 圖 2-13 光二極體示意圖 ....................................................................................... - 11 圖 2-14 感光元件取樣前 ....................................................................................... - 12 圖 2-15 感光元件取樣後 ....................................................................................... - 12 圖 2-16 3×9 直向遮罩示意圖................................................................................. - 13 圖 2-17 9×3 橫向遮罩示意圖................................................................................. - 13 圖 2-18 次像素位置示意圖 ................................................................................... - 15 圖 2-19 次像素邊緣重建偵測方法示意圖[12] .................................................... - 16 圖 2-20 曲線配適示意圖 ....................................................................................... - 16 圖 2-21 光學邊緣影像[14] .................................................................................... - 18 圖 2-22 ROI 光學影像邊緣[14] ............................................................................. - 18 圖 2-23 原始影像[14] ............................................................................................ - 19 vi.

(8) 圖 2-24 二值化影像邊緣[14] ................................................................................ - 19 圖 2-25 平均分段[14] ............................................................................................ - 19 圖 2-26 第 n 個分段[14] ........................................................................................ - 19 圖 3-1 硬體架構圖 ................................................................................................. - 20 圖 3-2 個人電腦 ..................................................................................................... - 21 圖 3-3 高速彩色攝影機[20] .................................................................................. - 22 圖 3-4 焦距長示意圖 ............................................................................................. - 22 圖 3-5 顯微鏡固定基座側面 ................................................................................. - 23 圖 3-6 顯微鏡固定基座正面 ................................................................................. - 23 圖 3-7 LED 單調調光器 ......................................................................................... - 23 圖 3-8 單軸步進馬達移動平台[21] ...................................................................... - 24 圖 3-9 單軸步進馬達控制器[22] .......................................................................... - 25 圖 3-10 60×60×3 mm 壓克力塊 ............................................................................. - 26 圖 3-11 10×60×3 mm 壓克力塊 ............................................................................. - 26 圖 3-12 10×4×3 mm 壓克力塊 ............................................................................... - 26 圖 3-13 探針基座示意圖 ....................................................................................... - 26 圖 3-14 探針基座 ................................................................................................... - 26 圖 3-15. 影像處理流程圖 ..................................................................................... - 27 -. 圖 3-16 原始彩色影像 ........................................................................................... - 28 圖 3-17 灰階影像 ................................................................................................... - 28 圖 3-18 像素等級邊緣偵測流程圖 ....................................................................... - 29 圖 3-19 探針邊緣區域放大圖 ............................................................................... - 30 圖 3-20 邊緣區域梯度變化量 ............................................................................... - 30 圖 3-21 X 方向邊緣影像 ........................................................................................ - 31 圖 3-22 設定反光點區域圖 ................................................................................... - 31 圖 3-23 刪除反光點流程圖 ................................................................................... - 32 vii.

(9) 圖 3-24 刪除反光點前 ........................................................................................... - 33 圖 3-25 刪除反光點後 ........................................................................................... - 33 圖 3-26 ROI 影像擷取 ............................................................................................ - 33 圖 3-27 底部邊緣從 Y 方向重建 .......................................................................... - 34 圖 3-28 ROI 影像重建前 ........................................................................................ - 34 圖 3-29 ROI 影像重建後 ........................................................................................ - 34 圖 3-30 完整邊緣影像圖 ....................................................................................... - 34 圖 3-31 邊緣梯度分群示意圖 ............................................................................... - 35 圖 3-32 物件分群示意圖 ....................................................................................... - 35 圖 3-33 重建法示意圖 ........................................................................................... - 36 圖 3-34 右側邊緣重建前 ....................................................................................... - 36 圖 3-35 右側邊緣重建後 ....................................................................................... - 36 圖 3-36 底部圓弧重建前 ....................................................................................... - 36 圖 3-37 底部圓弧重建後 ....................................................................................... - 36 圖 3-38 探針原始影像 ........................................................................................... - 37 圖 3-39 邊緣區域放大 ........................................................................................... - 37 圖 3-40 次像素邊緣 ............................................................................................... - 37 圖 3-41 不同分段長度次像素邊緣 ....................................................................... - 38 圖 3-42 極端值的次像素點示意圖 ....................................................................... - 38 圖 3-43 多區段平均次像素法流程圖 ................................................................... - 39 圖 3-44 區段內次像素點示意圖 ........................................................................... - 40 圖 3-45 曲線配適示意圖 ....................................................................................... - 41 圖 3-46 探針右側邊緣次像素點實驗圖 ............................................................... - 42 圖 3-47 使用者介面 ............................................................................................... - 43 圖 3-48 靜態處理區域 ........................................................................................... - 44 圖 3-49 量測操作區域 ........................................................................................... - 44 viii.

(10) 圖 3-50 開始拍攝模式 ........................................................................................... - 45 圖 3-51 裝置設定 ................................................................................................... - 45 圖 3-52 偵測方法選擇 ........................................................................................... - 46 圖 3-53 單軸步進馬達控制器區 ........................................................................... - 46 圖 3-54 目前狀態與量測結果顯示區域 ............................................................... - 47 圖 3-55 自動化量測之操作程序圖 ....................................................................... - 48 圖 3-56 中線校正圖 ............................................................................................... - 50 圖 3-57 自動化量測流程 ....................................................................................... - 51 圖 4-1 IC Measure 操作介面 .................................................................................. - 52 圖 4-2 校正尺寸 ..................................................................................................... - 53 圖 4-3 角度量測 ..................................................................................................... - 53 圖 4-4 角度量測邊緣放大圖 ................................................................................. - 54 圖 4-5 圓弧半徑量測 ............................................................................................. - 54 圖 4-6 圓弧量測邊緣放大圖 ................................................................................. - 55 圖 4-7 每張影像平均執行時間之圓餅圖(毫秒) .................................................. - 56 圖 4-8 40 支探針底部圓弧重建前、後半徑誤差比較圖 ..................................... - 58 圖 4-9 不同區段長度的角度誤差折線圖 ............................................................. - 59 圖 4-10 動態量測平均執行時間之圓餅圖(毫秒) ................................................ - 60 圖 4-11 時間性對角度量測之影響 ....................................................................... - 61 圖 4-12 時間性對未使用 ROI 半徑量測之影響 .................................................. - 61 圖 4-13 時間性對有使用 ROI 半徑量測之影響 .................................................. - 62 圖 4-14 未使用 ROI 底部圓弧邊緣點 .................................................................. - 62 圖 4-15 有使用 ROI 底部圓弧邊緣點 .................................................................. - 62 -. ix.

(11) 表目錄. 表 2-1 各文獻中不同次像素邊緣偵測方法優缺點比較 ..................................... - 17 表 3-1 攝影機規格 ................................................................................................. - 22 表 3-2 單軸步進馬達移動平台規格 ..................................................................... - 24 表 3-3 常用指令表 ................................................................................................. - 25 表 4-1 靜態量測平均執行時間比較表 ................................................................. - 56 表 4-2 靜態量測角度與半徑平均誤差比較表 ..................................................... - 56 表 4-3 探針底部圓弧重建前、後的半徑誤差比較表 ......................................... - 58 表 4-4 ROI 與底部邊緣圓弧重建平均執行時間 .................................................. - 58 表 4-5 不同區段長度的角度誤差比較 ................................................................. - 59 表 4-6 使用 VSAS 方法之平均角度誤差比較表 ................................................ - 59 表 4-7 靜態與動態量測平均執行時間比較 ......................................................... - 60 表 4-8 動態量測之時間性測試結果 ..................................................................... - 61 表 4-9 動態量測角度與半徑平均誤差比較表 ..................................................... - 63 表 4-10 動態量測成功率 ....................................................................................... - 64 表 4-11 實際量測之效能比較表 ........................................................................... - 64 -. x.

(12) 第一章緒論. 1.1 研究背景近年來，隨著科技產業的蓬勃發展，人類的生活變得更加便利，工作效率也大幅提升。而自動化技術(Automation technology) [1]的影響甚鉅，自動化技術是結合多個領域的一門綜合性技術，其中又以控制理論和計算機技術所占比例較多。自動化技術從十七世紀開始發展至今，已經是一門相當成熟的技術，在生活中隨處可見，與我們生活起居密不可分。除了有助於提升人們生活上之便利性 (Convenience)，在工業技術方面也是逐漸朝向自動化邁進，不但能減少人力的成本(Cost)，又可以提升生產力及品質(quality)的穩定性。. LED(Light-emitting diode)是個產量相當大的電子零件，其優點是在於使用壽命長、耗電量低、體積小、無汞汙染等，逐漸取代傳統燈泡。環保節能省電是目前及未來人們努力的方向，所以人們對於 LED 需求逐年增加。LED 在生產過後需要透過 LED 探針(Probe)進行各項數據檢測以確認 LED 符合標準之後，才會出貨販售。由於 LED 探針主要材料為碳化鎢，其硬度較高，不易研磨成形，所以工廠會聘請大批勞工，以人工研磨的方式來生產。然而探針有兩個重要參數，一個是探針尖端部分的雙邊所夾的角度(Angle)，另一個是探針尖端部分的圓弧直徑 (Diameter)介於 15-30 微米，針尖會製成圓弧狀，是為了避免探針刺破 LED 晶粒。藉由人工的方式研磨加工製造，除了要花費龐大的工資，且效率不佳，精密度與品質也參差不齊，在工業 4.0 的世代中，要擁有競爭力，勢必要做出改變。. -1-.

(13) 1.2 研究動機在德國推動工業 4.0 此一概念是整合虛擬實體系統，而台灣推動的則是生產力 4.0 [2] ，乃結合工業 4.0 及美國提出的先進製造夥伴關係 (Advanced manufacturing partnership)。產業自動化(Industrial automation)是達成工業 4.0 的主要驅動力之一，將資通訊技術、機械、產品與服務整合，以提高生產力與達成永續發展。在於生產力方面，世界面臨人口老化以及少子化趨勢愈來越嚴重，最終將導致勞動人口不足。對於生產力方面，勢必會造成不容忽視的影響。此時，自動化技術就扮演重要的角色，已經逐漸拓展到各個角落，包含居家自動化[3]、工業自動化系統雲端計算[4]、無線元件自動化生產[5]、家庭安全自動化入侵偵測[6] 等。人類扮演的角色逐漸在轉變，現在與未來都慢慢朝向自動化、智慧化邁進。人類把智慧賦予給機器，讓機器幫忙我們做事。在工業方面，不必再花費大量人力與時間，而是透過機器來幫我們監督與執行，比起人工製造，不但可以省下時間與成本，更可以提升產品的精密度與生產力。. 在上述的研究背景中，提到 LED 在目前及未來之需求量有逐漸增加的趨勢， LED 探針需求量也相對增加。為了能大量且快速、高精密的生產，自動化技術是不可或缺的關鍵。對於工廠而言，講求的是效率的提升，以提高產量。人工眼力來對 LED 探針進行檢測是否有符合研磨規格，在精密度方面一定有所限制，人工製造最終勢必會被工廠之自動化技術所取代。若能夠運用電腦視覺及影像處理技術進行量測，精密度相對會提高。自動化更能將人力資源做更有效率的分配，自動化量測由機器去執行，如此才能提高工廠的生產效率。而工廠環境因素複雜，對微米(Micrometer)等級的探針作量測，必會造成量測誤差(Error)上升，這部分也是我們必須改善的問題。. -2-.

(14) 1.3 研究目的此研究乃利用高速攝影機來對 LED 探針進行影像拍攝，再將探針畫面做及時(Real time)的影像處理及分析。為了提高量測的精準度，像素等級(Pixel level)的邊緣檢測已經不能滿足我們的需求，所以我們採用次像素等級(Sub-pixel level)來對影像邊緣做更精確的偵測。而在包含雜訊或灰塵的環境因素影響下，偵測的邊緣會顯示出不均勻或無法偵測之情況，若要運用在精密的量測上，這將是必須考量的問題。為了能即時顯示出檢測結果，執行時間也是必須考量與分析的重點。. 本論文主要是以 Chen[7]影像處理流程為基礎架構，並結合次像素邊緣偵測技術(Sub-pixel edge detection)，來提高量測準確度。由於使用高斯濾波器(Guassian filter)[8][9]相當費時，在即時影像處理考量上並不理想所以未採用。在環境因素的干擾下，我們提出多區段平均次像素方法，以增強影像邊緣的強健性。設計單軸步進馬達來實現出自動化量測移動平台，結合影像處理完成及時自動化量測系統。. 1.4 論文架構本論文主要分成五個章節。第一章緒論中介紹研究背景、動機及目的；第二章文獻探討中將介紹自動化量測技術、次像素邊緣偵測方法概要，其中包含以動量為基礎法(Moment-based)[10][11]、部分區域效應法(Partial area effect)[12]、重建法(Reconstruction)[13]，不規則邊緣以最佳直線模式偵測方法[14]做處理；在第三章研究方法中會詳細介紹本論文的影像處理流程架構及自動化量測系統平台設計及應用；第四章為實驗結果與數據分析；最後第五章為本論文的結論與未來展望。. -3-.

(15) 第二章文獻探討. 2.1 自動化量測技術介紹現代自動化技術是將機電、控制、資訊等技術做高度整合，不但可以節省人力資源、替代人員於危險環境中執行工作、進行精密的工作或輔助操作，讓人們不管在工作或日常生活中，都更加安全與便捷。而目前自動化量測技術應用廣泛，其中包含 3D 光學量測[15]、車輛速度及時自動化量測系統[16]、自動化量測機器人[17]等。自動化設備根據量測目標的不同，而有不同的設計，但整體系統組成可以分成控制器、感測器、受控體、致動器等四類，而典型的閉迴路控制系統如圖 2-1。透過人機介面去下達控制命令，在控制器接收到命令會結合感測器回饋的量測值得到誤差，將誤差去做 PID 控制，而致動器是機構產生動力的來源，常見的致動器如線性馬達、步進馬達、感應馬達、油壓缸、氣壓缸等。受控體就是指要被控制的對象，例如移動平台、機械手臂等。. 圖 2-1 閉迴路控制系統架構圖[18]. -4-.

(16) 2.1.1自動化量測相關文獻 (1) 端銑刀自動化量測之研究工業發展日新月異，零件刀削依然是傳統工業的重要技術，而刀具的品質扮演重要的腳色，而端銑刀是眾多銑刀中使用最頻繁的一種，[19]作者提出一套以機器視覺為基礎之端銑刀自動的尺寸量測系統。硬體設備是由攝影機、背光源、及三軸定位平台所構成。端銑刀種類又可區分為三種，直角端銑刀、球型端銑刀以及圓鼻端銑刀，如圖 2-2 [19]，每一種端銑刀外型皆不相同。此篇作者是以直角端銑刀進行量測，包含外徑、軸向離隙角、軸向餘隙角、螺旋角，如圖 2-3 所示。. (a). (b). (c). 圖 2-2 (a)直角端銑刀；(b)球型端銑刀；(c)圓鼻端銑刀. 圖 2-3 直角端銑刀幾何外形圖[19] -5-.

(17) 為了校正刀具位置擺放所造成的偏差，因此在量測時須使刀具自動旋轉至量測位置上。而在觀察刀具的幾何尺寸時發現在刀尖與刀口有部分斷層，如圖 2-4，再利用此特徵判斷刀具之刀尖是否已轉到影像中間位置，作者採取兩座標 Y 軸數值相差 20 的 X 軸座標進行量測位置特徵之判斷，此兩點設定為 X0 及 X20。. 圖 2-4 離、餘隙角位置特徵示意圖[19]. 圖 2-5 為自動偵測離、餘隙角位置之流程圖，首先將運算次數 K 設為 0，再來擷取影像作二值化後，記錄影像中離、餘隙角的每一個邊界點座標，將兩座標點 X0 與 X20 相減，若小於 0，則順時鐘轉動 1 度;若小於門檻值 24，則逆時針轉動 1 度，若皆不符合以上條件，則進行角度量測，由於直角端銑刀總共有四個刀刃，必須再重複進行量測。. 圖 2-5 自動偵測離、餘隙角位置之流程圖[19] -6-.

(18) (1) 3D 光學量測之自動化定位系統本篇文獻作者應用 ATOS(Advanced Topometric Sensor)機型。運用光學量測儀進行多種物件之量測與分析，如圖 2-6 所示。同時，結合自動化技術設計出五軸量測定位平台與視窗化操作軟體，以自動程序定位量測法來改良徒手量測之不便，可大幅提升 3D 量測之效能。在進行 ATOS 量測操作者須由徒手調整受測物的各個掃描量測角，如圖 2-7。以累積受測物之完整表面的 3D 點資料。針對局部未有受測點資料，會有破孔現象，如圖 2-8，需透過手動方式來補綴剩餘的破孔及定位點破孔，此程序步驟及技巧，皆會影響量測效能。有鑑於此，本篇作者提出自動化量測系統結合 3D 技術，來提高量測效能。. 圖 2-6 ATOS 光學量測儀[15]. 圖 2-7 3D 受測物[15]. 圖 2-8 3D 點資料之破孔[15] -7-.

(19) 2.2 次像素邊緣偵測方法概要隨著工業科技的進步，對於精密度更加要求。例如晶片體積趨勢比以往更小、更薄，對於晶片的精密度檢測要求也是逐漸增加，無論是物體的切割，或是晶片的檢測，像素(Pixel)單位已經不能滿足需求。而目前相機所拍攝的數位影像都是以像素為最小基本單位，為了還原影像最真實的邊緣，可以透過次像素邊緣偵測方法，來得到更貼近真實邊緣的影像資訊。利用數學的方式運算可以將像素切割成更小的單位，表達更精確的位置，亦稱作次像素(Sub-pixel)。若以數學方式來呈現，像素單位是以整數來表示，而次像素可以用小數點來表示。當影像解析度(Resolution)愈高時，可以擁有較多的像素點來呈現出物體影像，物體影像愈能貼近真實物體清晰的樣貌，反之解析度愈低，精準度也愈低，物體影像會愈模糊，若用於精密檢測上，誤差會更加放大。而解決方法可以透過硬體技術的提升而改善，但所耗費的成本太高，另一個解決方法就是透過次像素偵測技術，來提高影像檢測的精準度。圖 2-9 為實際邊緣區域示意圖，圖 2-10 為圖 2-9 紅色外框邊緣放大圖，而透過攝影機所拍攝到的影像邊緣會呈現灰階現象，透過次像素偵測方法，我們可以得到貼近真實邊緣位置，呈現於藍色虛線所標示處。. 圖 2-9 影像邊緣示意圖 -8-.

(20) 圖 2-10 影像邊緣區域放大圖 2.2.1動量基礎法(Moment-based method)[11] Moment-based 的方式是建立一個圓形的模型，如圖 2-11。其中有四個描述參數：k 為物體與背景的灰階值落差的量；h 為背景灰階值；l 為圓心到物件邊緣的垂直距離；𝜃為 l 垂直距離與 x 軸所夾的角度。Zernike moment 的影像𝑓′(𝑥, 𝑦)定義為式子(2-1)，p 表示為階數(Order)，q 表示為重複次數(Repetition)，因 Zernike moment 在單位圓的範圍內具有旋轉不變量(Rotation invariance)的特性，在𝑓(𝑥, 𝑦) ′ 旋轉一個𝜃角度後，得到影像𝑓′(𝑥, 𝑦)，即圖 2-12，其 Zernike moment 為𝑍𝑝𝑞 ，與. 影像旋轉前的 𝑍𝑝𝑞 具有(2-2)式的關係，代表同一張影像旋轉前與旋轉後的 Zernike moment 只有相位角的改變，而量值卻不變，具有旋轉不變量特性。. 圖 2-12 ZOM 模型旋轉-𝜃°. 圖 2-11 ZOM 邊緣模型原圖. -9-.

(21) 圖 2-12 為旋轉−𝜃角度得影像模型，使 l 垂直邊平行於 y 軸，得到(2-3)式的關關係。而經由[10]中數學推導後，最後可以得到 ZOM 的模型參數，旋轉角度 𝜃(2-4)式、垂直距離 l (2-5)式、灰階值落差 k (2-6)式。. 𝑍𝑝𝑞 =. 𝑝+1 𝜋. ∗ ( 𝑥, 𝑦)𝑑𝑥𝑑𝑦 ∬𝑥2 +𝑦 2≤1 𝑓 (𝑥, 𝑦)𝑉𝑝𝑞. ′ 𝑍𝑝𝑞 = 𝑍𝑝𝑞 𝑒 𝑖𝜃. (2-2). ∬𝑥2 +𝑦 2≤1 𝑓 ′(𝑥, 𝑦)𝑦𝑑𝑦𝑑𝑥 = 0. 𝜃 = ta𝑛−1 (. 𝐼𝑚(𝑍11 ) 𝑅𝑒(𝑍11 ). ). ′ 𝑙 = 𝑍20 /𝑍11. 𝑘 = ℎ2 − ℎ1 =. (2-1). (2-3). (2-4). (2-5). ′ ) (3𝑍11. 2√(1−𝑙 2 )3. (2-6). 得到上述參數後，最後利用原始座標點加上𝑙 × 𝑒 𝑖𝜃 可以得到次像素座標的邊緣值。雖然此方法可以得到次像素位置，但需求條件多，像是遮罩大小的選擇。Zernike moment次像素偵測是使用步階的邊緣模型，若應用於邊緣呈現斜坡狀的情況下，則會偵測出錯誤的次像素位置。此方法在數學的計算複雜度方面高，相對的也需要花費不少的執行時間，若要應用於及時量測系統，則會降低執行效率，故本論文不採用此方法。. - 10 -.

(22) 2.2.2部分區域效應法(Partial area effect method)[12] 部分區域效應法(Partial area effect method)是將實際物件影像投影到感光元件上，將感光元件上的各個像素(pixel)所接受到的能量強度，從取樣前的亮度積分方程式與取樣後的累加亮度方程式，找出其對應關係。每個像素都是由光二極體所組成，其中所取得的電量都與光的強度成正比，而像素取樣後的量化值𝐹𝑖,𝑗 如(27)式所示，其中Sk代表光二極體上的面積比，其中k代表亮度值。圖 2-13定義每個光二極體的長寬為1單位長，而光二極體介於物體邊緣時，通常將光二極體分成兩區，分別為亮度為A的區域以及亮度為B的區域，將(2-7)式簡化成(2-8)式，面積比分別為SA與SB。. 𝐹𝑖,𝑗 = ⌊0.5 + ∑255 𝑘=0 𝑘 × 𝑆𝑘 ⌋. (2-7). 𝐹𝑖,𝑗 = ⌊0.5 + 𝐴 × 𝑆𝐴 + 𝐵 × 𝑆𝐵 ⌋. (2-8). 圖 2-13 光二極體示意圖. 為了求得次像素的位置，單一像素的資訊無法讓我們計算出次像素的位置所在，還需要透過周圍像素資訊，將上述的觀念套用至周圍的像素上。當有一個物體置於感光元件上方，經由光線投影至感光元件時，可得如圖 2-14。. - 11 -.

(23) 圖 2-14 感光元件取樣前. 圖 2-15 感光元件取樣後. 經取樣後如圖 2-15，發現取樣後的邊緣式呈現灰階分布，與取樣前的邊緣有所差異。然而在一般的影像感測器都會受到熱雜訊的影響，溫度越高雜訊越大，這些都會對𝐹𝑖,𝑗 造成影響，所以通常會先對影像做高斯濾波處理，來降低熱雜訊影響。為了求得次像素位置，需要有取樣前區域 A、B 之亮度。邊緣方向是由左上到右下，如圖 2-15，則左下角與右上角區域比較不會取到邊緣的亮度；若邊緣方向是由左下到右上，採同樣方式會導致我們取到邊緣處的亮度，根據(2-8)式，邊緣的亮度是由兩種亮度分別乘上各自所占面積，為了針對不同的邊緣方向，會先計算出 x 方向與 y 方向變化量，利用 Sobel 梯度運算子來求得 dxi, j、dyi, j，依據 29、2-10 式。根據 2-11 式來定義邊緣方向，若 m = 1 代表邊緣是左下到右上，m = -1 代表邊緣是左上到右下。. −1 𝑑𝑥𝑖,𝑗 = 𝐹𝑖,𝑗 ∗ [−2 −1. 0 0 0. 1 2] 1. −1 −2 −1 𝑑𝑦𝑖,𝑗 = 𝐹𝑖,𝑗 ∗ [ 0 0 0] 1 2 1. - 12 -. (2-9). (2-10).

(24) 𝑚={. 1, 𝑑𝑥𝑖,𝑗 × 𝑑𝑦𝑖,𝑗 > 0 −1, 𝑑𝑥𝑖,𝑗 × 𝑑𝑦𝑖,𝑗 < 0. (2-11). 根據 x 方向與 y 方向梯度變化量取絕對值來比較，即|𝑑𝑥𝑖,𝑗 |與|𝑑𝑦𝑖,𝑗 |，來決定相對應的遮罩方向。若|𝑑𝑥𝑖,𝑗 | < |𝑑𝑦𝑖,𝑗 |，此時採用3 × 9直向之遮罩，如圖 2-16，若 |𝑑𝑥𝑖,𝑗 | > |𝑑𝑦𝑖,𝑗 |，此時採用9 × 3橫向之遮罩(圖 2-17)，此方式就可以避免取到邊緣處的像素之亮度。假設通過邊緣點的方程式以二次式描述，如(2-12)式。. 𝑦 = 𝑎 + 𝑏𝑥 + 𝑐𝑥 2. 圖 2-16 3×9 直向遮罩示意圖. 圖 2-17 9×3 橫向遮罩示意圖 - 13 -. (2-12).

(25) 以直向遮罩為例，利用(2-13)、(2-14)、(2-15)、(2-16)、(2-17)式，以計算個別區域亮度 SL、SM、SR、A、B。. 3+𝑚. 𝑆𝐿 = ∑. 𝑛=−3+𝑚. 3. 𝑆𝑀 = ∑. 𝐹𝑖−1,𝑗+𝑛. (2-13). 𝐹𝑖,𝑗+𝑛. (2-14). 𝑛=−3. 3−𝑚. 𝑆𝑅 = ∑. 𝑛=−2−𝑚. 𝐴=. 𝐵=. 𝐹𝑖+1,𝑗+𝑛. (2-15). 𝐹𝑖,𝑗+4+𝐹𝑖+𝑚,𝑗+4+𝐹𝑖+𝑚,𝑗+3. (2-16). 3. 𝐹𝑖,𝑗−4 +𝐹𝑖−𝑚,𝑗−4 +𝐹𝑖−𝑚,𝑗−3. (2-17). 3. 在計算出區域亮度 SL、SM、SR、A、B 後，可以求出二次方程式 a、b、c 係數值，如(2-18)、(2-19)、(2-20)式。得出係數值後，原始邊緣點座標 P(x,y)的 y 座標減去 a 後，最後可求出次像素位置 Psub(x, y-a)，如圖 2-18 所示。. 𝑐=. 𝑎=. 𝑆𝑅 +𝑆𝐿 +2𝑆𝑀. 2𝑆𝑀 −7(𝐴+𝐵) 2(𝐴−𝐵). (2-18). 2(𝐴−𝐵). −. 𝑏=𝑚+. 1+24𝑎01 +48𝑎11 12. 𝑆𝑅 −𝑆𝐿 2(𝐴−𝐵). - 14 -. ×𝑐. (2-19). (2-20).

(26) 圖 2-18 次像素位置示意圖. 2.2.3重建法(Reconstruction method)[13] 重建法(Reconstruction method)主要是透過影像亮度函式來建立一個邊緣模型，利用此邊緣模型來決定次像素邊緣位置。此方法是將灰階影像資訊的邊緣做一階微分(First derivative)或二階微分(Second derivative)，若透過一階微分可以得到各個像素的梯度變化量，如圖 2-19。再利用曲線配適(Curve-fitting)法可在一群點當中找到最貼近每個點的連續曲線方程式，如圖 2-20。將此曲線配適的觀念套用於像素點的梯度變化也可以得到曲線方程式，而此方程式的最高點即為次像素位置，也就是採用二階微分得到曲線方程式為零的解，其為次像素邊緣位置。根據邊緣的情況會選擇用一階微分或二階微分來求得次像素位置。然而在大部分的情況下，若在規模較小且粗糙的鄰近邊緣，範圍約於 3~5 個像素之間，會選擇用二階微分來求得次像素位置。也有其他少部分的學者利用小波轉換 (Wavelet transform)來取代一階微分，以減化計算。. - 15 -.

(27) 圖 2-19 次像素邊緣重建偵測方法示意圖[13]. 圖 2-20 曲線配適示意圖 - 16 -.

(28) 表 2-1 各文獻中不同次像素邊緣偵測方法優缺點比較演算法. 優點. 缺點. 在步階邊緣模型可以偵測在斜坡狀邊緣模型無法偵出次像素位置。動量基礎法[11]. 測出正確的次像素邊緣點，且計算複雜度高。. 在低雜訊環境下，透過二在高雜訊環境下，需透過部分區域效應法[12]. 次多項式能精準偵測出邊疊代方式來得到精準次像緣次像素位置。. 素位置，相對費時。. 建立模型標準，可以計算需找尋適合的門檻值來篩複雜度，配合適當的門檻選邊緣，依照不同邊緣情重建法[13] 值可以得出次像素邊緣位形，選擇一階或二階微分置。. 來建立模型。. - 17 -.

(29) 2.3 不規則邊緣以最佳直線模式偵測方法介紹[14] 在高精密度的影像量測世代中，已成為新興高科技產業技術的主要潮流，一般平滑的物件邊緣，透過高精密度的光學儀器成像後，邊緣都是非常不規則 (Irregular)且不均勻分布，如圖 2-21、圖 2-22。若要運用在高精密度與量測方面，會與實際值有一大段差距，而[14]作者群提出不規則邊緣以最佳直線模式偵測法，來找尋最佳邊緣。. 圖 2-21 光學邊緣影像[14]. 圖 2-22 ROI 光學影像邊緣[14]. 首先將灰階影像進行二值化，如圖 2-23、圖 2-24，然後將影像邊緣做平均分段，如圖 2-25，再根據(2-18)、(2-19)式來計算每分段邊緣的平均座標，如圖 2-26。. Nn. xn . x i 1. n ,i. (2-18). Nn. Nn. yn . y i 1. n ,i. Nn. - 18 -. (2-19).

(30) 圖 2-23 原始影像[14]. 圖 2-24 二值化影像邊緣[14]. 圖 2-25 平均分段[14]. 圖 2-26 第 n 個分段[14]. 其中𝑥 n,i 與𝑦n,i 分別代表第 n 個分段邊緣中第 i 個像素之 x 與 y 座標，而 Nn 是表示第 n 個分段邊緣中的總像素數目。最後，再將每分段邊緣的平均座標，採用最小平方估計法(Ordinary Least Square Estimation, OLSE)偵測出最接近的邊緣的直線方程式，如(2-20)式。若分段的邊緣值出現與平均座標值差異太大的點稱為歧異點，定義適當的門檻值來剔除奇異點，來增加直線的正確性。. y'  ax'b. - 19 -. (2-20).

(31) 第三章基於電腦視覺之 LED 探針自動化量測系統架構. 3.1 硬體架構本節介紹硬體架構包含七個部分，分別為個人電腦、高速彩色攝影機、顯微鏡固定基座、亮度控制器、單軸步進馬達移動平台、單軸步進馬達控制器、探針基座。彩色高速攝影機使用 USB3.0 訊號線與電腦連接，並架設至顯微鏡固定基座，負責將彩色影像資訊提供給個人電腦做影像處理及分析，並搭配亮度控制器來調節光源亮度；單軸步進馬達控制器使用 RS-232 訊號線接至個人電腦，負責接收軟體程式所下的指令，將動作指令解析為執行命令；單軸步進馬達控制器使用 D15RP 訊號線接至單軸步進馬達移動平台，根據執行命令來移動步進馬達裝置平台；探針基座使用透明壓克力材料，經由雷射切割後組合探針擺放基座。其組成關係如圖 3-1 所示。. 圖 3-1 硬體架構圖. - 20 -.

(32) 茲將硬體架構之各主要組成裝置列示如下： a：探針基座 b：單軸步進馬達移動平台 c：高速彩色攝影機 d：顯微鏡固定基座 e：吸震墊 PC：個人電腦 SC：步進馬達控制器 LC：光源亮度控制器. 3.1.1個人電腦本論文使用華碩型號 MD560 的個人套裝電腦配備為 32 位元作業系統 Windows7 企業版，記憶體大小 4096MB，處理器為 Intel Core(3.1GHz) i5-3450，如圖 3-2。. 圖 3-2 個人電腦. - 21 -.

(33) 3.1.2高速彩色攝影機我們使用兆鎂新的高速彩色攝影機，如圖 3-3，搭配六段同軸變焦高解析鏡頭，垂直架設於顯微鏡固定基座上，幀速率設定為 13.21(FPS)。透過 USB3.0 訊號線連接至電腦，將彩色影像資訊傳送至電腦。鏡頭到探針基座之焦距長為 7 公分，如圖 3-4 所示。其攝影機規格如表 3-1。. 圖 3-3 高速彩色攝影機[20]. 圖 3-4 焦距長示意圖. 表 3-1 攝影機規格廠牌. The Imaging Source 兆鎂新. 型號. DFK23U618. 解析度. 水平：640 pixels, 垂直：480 pixels. 幀速率. 最高 120 FPS. 感光度. 0.05 lx. 介面. USB3.0. - 22 -.

(34) 3.1.3顯微鏡固定基座我們利用顯微鏡基座來架設高速彩色攝影機，如圖 3-5、圖 3-6 所示。其基座為訂製規格，a 處為垂直高度旋鈕，外圈是粗調控制，而內圈是細調控制，b 處為水平距離旋鈕，外圈是前後移動調整，內圈是左右移動調整。. 圖 3-5 顯微鏡固定基座側面. 圖 3-6 顯微鏡固定基座正面. 3.1.4亮度控制器圖 3-7 為 LED 單調調光器，亮度控制為 60，接至倍率鏡下方，為藍色光源。. 圖 3-7 LED 單調調光器 - 23 -.

(35) 3.1.5單軸步進馬達移動平台為了模擬工廠自動化量測，我們使用單軸步進馬達移動平台(圖 3-8)來當作工廠的傳輸帶。將移動平台置於顯微鏡量測基座上，利用 D15RP 訊號線連接至步進馬達控制器，接收馬達解析後的指令以移動平台，表 3-2 為單軸步進馬達移動平台之規格。. 圖 3-8 單軸步進馬達移動平台[21]. 表 3-2 單軸步進馬達移動平台規格廠牌. SIGMAKOKI. 型號. SGSP20-35(X). 平台大小. 水平：60 mm, 垂直：60 mm Full：2μm/pulse. 解析度 Half：1μm/pulse(預設) 最高速度. 25 mm/sec. 移動總長度. 35mm. 訊號線. D15RP(length:2m). - 24 -.

(36) 3.1.6單軸步進馬達控制器若要使步進馬達移動移動平台動作，必須搭配馬達控制器(圖 3-9)來傳送動作指令，電腦與步進馬達控制器的連接是以 RS-232 傳輸線進行指令傳送與狀態回覆，鮑率設定為 9600(位元/秒)。表 3-3 為常用之指令表。. 圖 3-9 單軸步進馬達控制器[22]. 表 3-3 常用指令表指令動作. 指令文字代號. 位置初始化. H:. 設定相對移動距離之脈波數. M:. 設定絕對移動距離之脈波數. A:. 開始動作. G:. 停止動作. L:E. 速度設定. D:. 檢查狀態. Q:. - 25 -.

(37) 3.1.7探針基座設計為了能讓 LED 探針能平穩地擺放，我們採用透明壓克力材料為基座，此基座由三種大小壓克力塊組合而成，圖 3-10 為最下層壓克力塊，其面積大小與移動平台面積大小一致；圖 3-11 為第二層壓克力塊，其作用是為了讓探針後端能有物體依靠便於排列；圖 3-12 為間隔壓克力塊，能讓探針貼齊靠攏，避免平台移動時探針產生晃動。最後前端的綠色模型，是為了方便探針擺放以及區隔探針位置。圖 3-13 為模擬探針基座示意圖模型，圖 3-14 為實際組合完成之探針基座。. 圖 3-10 60×60×3 mm 壓克力塊. 圖 3-11 10×60×3 mm 壓克力塊. 圖 3-12 10×4×3 mm 壓克力塊. 圖 3-13 探針基座示意圖. 圖 3-14 探針基座 - 26 -.

(38) 3.2 影像處理流程架構在本章節我們將介紹探針影像處理流程架構，以 Chen[7]架構為基礎，流程圖如圖 3-15。在像素等級邊緣偵測中提出有效的方式刪除反光點，並利用 ROI 方式取出探針底部圓弧影像進行邊緣重建。在物件分群中利用 ROI 區域來定義圓弧範圍，以提升動態量測穩定性及降低半徑誤差百分比。我們提出多區段平均次像素法以降低環境因素干擾，以下呈現之實驗圖皆採用第 28 支探針為樣本。程式開始. 影像前處理. 像素等級邊緣偵測. 物件分群. 次像素等級邊緣偵測. 多區段平均次像素法. 角度與半徑計算. 輸出角度與半徑. 程式結束圖 3-15. 影像處理流程圖 - 27 -.

(39) 3.2.1影像前處理首先，為了將高速彩色攝影機擷取到之探針彩色影像資訊做後續的邊緣檢測流程，我們先將彩色影像(圖 3-16)轉為灰階影像(圖 3-17)。根據(3-1)式得到𝐹𝑖,𝑗 灰階影像，其中 i 和 j 分別代表像素的位置，值域範圍從 0 至 255，0 代表最暗； 255 代表最亮，總共有 256 個灰階值。. 𝐹𝑖,𝑗 = 0.299 × 𝑅𝑒𝑑 + 0.587 × 𝐺𝑟𝑒𝑒𝑛 + 0.114 × 𝐵𝑙𝑢𝑒. 圖 3-16 原始彩色影像. 圖 3-17 灰階影像. - 28 -. (3-1).

(40) 3.2.2像素等級邊緣偵測圖 3-18 為像素等級邊緣偵測流程圖，在得到灰階影像後，我們會先做 X 方向的邊緣偵測，由於探針與背景邊緣交接處的亮度會有落差，所以我們利用 X 方向與 Y 方向的 Scharr 運算元各別對𝐹𝑖,𝑗 灰階影像做卷積，得到 X 方向與 Y 方向的梯度變化量𝐺𝑥𝑖,𝑗 、𝐺𝑦𝑖,𝑗 ，如(3-2)、(3-3)式。. 灰階影像. 以 X 方向檢測初步邊緣. 刪除反光點. ROI 探針底部影像以 Y 方向重建底部邊緣完整邊緣影像圖 3-18 像素等級邊緣偵測流程圖. 𝐺𝑥𝑖,𝑗. −3 = 𝐹𝑖,𝑗 ∗ [−10 −3. 0 0 0. 𝐺𝑦𝑖,𝑗. −3 = 𝐹𝑖,𝑗 ∗ [ 0 3. −10 0 10. - 29 -. 3 10] 3. −3 0] 3. (3-2). (3-3).

(41) 根據(3-4)式，將 X 方向與 Y 方向的梯度變化量取絕對值後相加，可以得到每個像素的梯度變化量𝐺𝑖,𝑗。於圖 3-19 的探針右側邊緣區域灰階影像放大圖上可以明顯觀察到亮度的變化。而我們先設第一道梯度變化量的門檻值 TH 為 255，將梯度變化量大於 255 的像素點挑選出來。一旦找到大於 TH 的像素點，會以此點為基準，往後找 10 個像素點的梯度變化量，若其中有大於基準點的梯度變化量，就再依此像素點往後找 10 個像素點，若其中都沒有大於基準點，則此基準點的像素為我們認定的影像邊緣，如圖 3-20。 𝐺𝑖,𝑗 = |𝐺𝑥𝑖,𝑗 | + |𝐺𝑦𝑖,𝑗 |. 圖 3-19 探針邊緣區域放大圖. 圖 3-20 邊緣區域梯度變化量 - 30 -. (3-4).

(42) 圖 3-21 為計算過後的初步邊緣影像，其中可以觀察紅色虛線所框的區域為反光點，為了後續計算，必須解決此問題。因此，我們提出一套有效的刪除反光點流程，如圖 3-23。首先，將初步計算探針中線位置，根據(3-5)式，將所有 xi 座標相加取平均後得到𝐿𝑚𝑖𝑑，運算式中的 N 代表邊緣點的總數目。再來反光點區域設定為初步中線左右各 30 個像素的範圍，如(3-6)、(3-7)式、圖 3-22。. 𝐿𝑚𝑖𝑑 =. ∑𝑁−1 𝑖=0 𝑥𝑖 𝑁. (3-5). 𝐿𝑙𝑒𝑓𝑡 = 𝐿𝑚𝑖𝑑 – 30. (3-6). 𝐿𝑟𝑖𝑔ℎ𝑡 = 𝐿𝑚𝑖𝑑 + 30. (3-7). 圖 3-21 X 方向邊緣影像. 圖 3-22 設定反光點區域圖. - 31 -.

(43) 在反光點區域中，會篩選出 y 座標最大的邊緣點，且 Y 方向比 X 方向的梯度變化量大於 3 倍，符合以上兩條件就能找到探針底部附近的邊緣點 Pa，其餘都將視為反光點來刪除。根據中線𝐿𝑚𝑖𝑑 以及底部邊緣點 Pa，我們可以定義出底部中線基準點 Pb。. 圖 3-23 刪除反光點流程圖. - 32 -.

(44) 圖 3-24 為刪除反光點前，圖 3-25 為刪除反光點後，可以明顯看出反光點都被刪除，但是探針底部邊緣還需要重建。所以會針對探針底部做 ROI 處理。. 圖 3-24 刪除反光點前. 圖 3-25 刪除反光點後. 根據刪除反光點流程最後可以得到底部中線基準點 Pb，以此基準座標點來決定 ROI 起點座標 Pc，如圖 3-26。依照探針量測規格，我們定義 Pc 如(3-8)式，從起點座標 Pc 框選出影像大小長 210 像素、寬 63 像素。. 𝑃𝑐 =𝑃𝑏 (Lmid -100, yt - 40). 圖 3-26 ROI 影像擷取 - 33 -. (3-8).

(45) 得到 ROI 探針底部影像後，就可以進行底部邊緣從 Y 方向重建(圖 3-27)，方法如同上述 X 方向邊緣偵測，先設定梯度變化量門檻 255，再以每 10 個像素的定區間方式，找尋區間中梯度變化量最大的像素點，即為邊緣點。圖 3-28 為邊緣重建前，圖 3-29 為邊緣重建後。最後即可從一張彩色原始影像偵測出邊緣完整且乾淨的邊緣影像，如圖 3-30。. 圖 3-27 底部邊緣從 Y 方向重建. 圖 3-28 ROI 影像重建前. 圖 3-29 ROI 影像重建後. 圖 3-30 完整邊緣影像圖 - 34 -.

(46) 3.2.3物件分群[7] 為了計算角度與半徑，必須將探針邊緣影像區分直線與圓弧部分，直線又再分左側邊緣與右側邊緣，並假設探針角度製造規格為 14°，如圖 3-31。再利用邊緣點 x 座標加總後平均後，可以獲得 xavg 即中線位置，如(3-9)式，其中 N 代表像素點總數。依此就可將探針分左半部與右半部，我們轉換邊緣點的梯度變化量為角度𝜃，如(3-10)式。當|𝜃|小於 7°時，屬於直線部分，而|𝜃|大於 30°時且在 ROI 區域範圍內，則屬於圓弧部分，|𝜃|角度介於 7°至 30°之間為不需要的部分。圖 3-32 為分群示意圖。. 𝑥𝑎𝑣𝑔 =. ∑𝑁−1 𝑖=0 𝑥𝑖. 𝜃 = tan−1. 圖 3-31 邊緣梯度分群示意圖. (3-9). 𝑁. 𝐺𝑦𝑖,𝑗. (3-10). 𝐺𝑥𝑖,𝑗. 圖 3-32 物件分群示意圖. - 35 -.

(47) 3.2.4次像素等級邊緣偵測在次像素偵測是使用重建法(Reconstruction method)[12]，圖 3-33。將分群後的左側、右側、底部邊緣點，利用重建法來求得次像素邊緣影像。從圖 3-34、圖 3-35、圖 3-36、圖 3-37 中，可以明顯看出重建後之右側邊緣較為平坦，而底部圓弧部分較為圓滑，相較於重建前的毛躁邊緣有所改善。. 圖 3-33 重建法示意圖. 圖 3-34 右側邊緣重建前. 圖 3-35 右側邊緣重建後. 圖 3-36 底部圓弧重建前. 圖 3-37 底部圓弧重建後 - 36 -.

(48) 3.2.5多區段平均次像素方法此小節將介紹多區段平均次像素方法(Various Segmentation and the Averaging of Sub-pixels，VSAS)，運用此方法以降低環境因素的干擾，使角度量測精確度上升。本小節實驗圖是採用一般彩色數位相機所拍攝之照片。由圖 3-38 彩色原始影像可以觀察到邊緣有受到灰塵或雜訊的干擾。圖 3-39 為原始影像所框選出來的紅色區塊之邊緣，經由次像素重建可以得到結果如圖 3-40。可以觀察到次像素邊緣在重建時，因環境因素干擾，導致有些次像素點遺失或是有偏移現象，此現象會造成邊緣直線偵測的斜率誤差增加，最後影響量測的精準度。在文獻[14]所提出的不規則邊緣之最佳直線偵測概念下，我們提出多區段平均次像素方法降低環境因素干擾，以提升量測精確度。多區段平均次像素方法的概念是將影像邊緣做多個分段，將每一個分段內的次像素邊緣點座標加總後取平均，得到平均次像素點。. 圖 3-38 探針原始影像. 圖 3-39 邊緣區域放大. - 37 -. 圖 3-40 次像素邊緣.

(49) 依據(3-11)與(3-12)式，可以計算出每個區段內的平均次像素點 Avg(𝑥 n,𝑦n)，其中 K 代表目前區段內次像素邊緣的總個數，n 代表目前在第幾個區段。區段長度 (lsection)分別以每 30、60、90 個像素做研究探討，分段示意圖如圖 3-41。在進行平均分段時需要考慮極端座標點的出現(圖 3-42)，也就是不在邊緣附近，導致在做分段平均時，平均次像素座標點會產生嚴重的偏差。. 𝑥n =. 𝑦n =. ∑. ∑. 𝐾−1 𝑖=0 𝐾. 𝐾−1 𝑖=0 𝐾. 𝑥𝑖. 𝑦𝑖. 圖 3-41 不同分段長度次像素邊緣. 圖 3-42 極端值的次像素點示意圖 - 38 -. (3-11). (3-12).

(50) 為了確保最後得到的平均次像素座標值不受極端座標點的影響，我們利用標準差(Standard deviation)來定義門檻值，如(3-13)式。每支探針影像都會各別計算左側及右側邊緣的標準差，其中 K 代表左側或右側次像素邊緣座標點的總個數， m 為單側邊緣 x 座標值加總之平均值。圖 3-43 為多區段平均次像素法流程圖。 2 ∑𝐾−1 𝑖=0 (𝑥i −𝑚). 𝜎n = √. (3-13). 𝐾. 動態調整區段位置 sp0(x0, y0). 初始化 K = 0, Sx =0, Sy = 0. 目前次像素座標 sp(xn, yn). 𝑦𝑛 < 𝑇ℎ𝑛. 否. 動態調整區段位置 sp(xn, yn). 是 𝑑1 = |𝑥𝑛 − 𝑥𝑛−1 |. 𝑑2 = |𝑥𝑛 − 𝑥𝑛−2 |. 否. 𝑥ҧ = 𝑆𝑥 /𝐾 𝑦ത = 𝑆𝑦 /𝐾. 𝑑1 < 𝜎𝑛 是. 否. 𝑑2 < 𝜎𝑛 是. 𝑆𝑥 = 𝑆𝑥 + 𝑥𝑛 𝑆𝑦 = 𝑆𝑦 + 𝑦𝑛 𝐾 =𝐾+1. 𝑆𝑥 = 𝑆𝑥 − 𝑥𝑛−1 + 𝑥𝑛 𝑆𝑦 = 𝑆𝑦 − 𝑦𝑛−1 + 𝑦𝑛. 圖 3-43 多區段平均次像素法流程圖 - 39 -.

(51) 圖 3-44 為探針右側次像素邊緣區段放大圖，以下敘述以圖 3-44 為例。右側邊緣標準差𝜎n經計算為 22 個像素，分群過後的次像素點分別存放於一維陣列中，所以次像素點的存取順序由圖片來看，是由上至下。首先，讀取第一個像素點 sp0 做一次動態區段位置調整，以決定目前次像素座標點是位於哪個區段內，並且設定門檻值 Thn，如(3-14)式，yn 為目前次像素點 y 座標值，lsection 為區段長度。K 用來計數區段內的次像素總個數，Sx、Sy 為區段內次像素座標值之總和。在每個區段開始計算前都會做初始化歸零動作。假設目前存取到次像素點 B，會判斷是否有超出目前區段範圍，也就是依 Thn 做判斷，而次像素點 B 還是位於區段內，接著會計算它與上一個次像素座標點 spn-1 的水平差距，就是與次像素點 A 的距離 d1，兩者的 x 座標相減後得到 21 個像素長度，發現 d1 小於標準差𝜎𝑛 ，此時就將次像素點 B 的座標值加入 Sx 與 Sy，並將計數器 K 累加次數。下一個存取為次像素點 C，同樣地會計算與次像素點 B 水平距離，計算得出為 23 個像素長度，判斷 d1 未小於標準差𝜎𝑛 ，此時將做二次距離檢測，來計算目前次像素點 spn 與前一個次像素點 spn-2 的水平距離 d2，也就是次像素點 C 與次像素點 A 的水平距離，計算得出 d2 距離長為 2 個像素，判斷 d2 是小於標準差𝜎𝑛 ，代表次像素點 B 是遠離邊緣的偏差點。所以會將次像素點 C 的座標點加入 Sx 與 Sy，並將偏差次像素點 B 的座標值從 Sx 與 Sy 減去。以此流程依序檢測，直到次像素點超出區段內，則會重新做動態區段位置調整，之後將 Sx 與 Sy 除以次像素總個數 K，最後可得到前一個區段內的平均次像素座標點 Avg(𝑥 n,𝑦n)。 𝑇ℎ𝑛 = (. 𝑦𝑛 𝑙𝑠𝑒𝑐𝑡𝑖𝑜𝑛. + 1) × 𝑙𝑠𝑒𝑐𝑡𝑖𝑜𝑛. 圖 3-44 區段內次像素點示意圖 - 40 -. (3-14).

(52) 3.2.6角度與半徑計算此小節是參考文獻[7]對於探針角度及半徑的計算方式。呈 3.2.5 小節所敘，在獲得探針左右兩側邊緣的平均次像素點後，利用曲線配適方法來得到直線方程式 (3-15)式，如圖 3-45。圓的方程式為(3-16)式，其中(h, k)為圓心的座標，r 為半徑。為了淘汰邊緣雜訊點，根據(3-17)式來計算邊緣點與直線方程式的垂直距離 d，若超過兩倍𝜎標準差就剔除。為了得到更佳的直線方程式，[7]作者提出疊代(Iteration) 的方式與曲線配適做結合。在計算兩側的直線方程式時，第一次先用曲線配適得到第一次直線斜率 m1，剔除兩倍標準差以外的點後，利用剩餘的點再做一次曲線配適，得到第二次直線方程式斜率 m2。中止條件有兩個，第一個條件為計算與前一次的斜率變化量，若變化量小於 0.05 就停止做疊代，而第二個條件則是限制疊代次數最多五次。. 𝑦 = 𝑚𝑥 + 𝑏. (3-15). (𝑥 − ℎ)2 + (𝑦 − 𝑘)2 = 𝑟 2. (3-16). 𝑚𝑥+𝑏−𝑦. 𝑑 = | √𝑎2. +𝑏2. |. 圖 3-45 曲線配適示意圖 - 41 -. (3-17).

(53) 在圓弧量測部分，Chen[7]採用之方式是將分群後的底部圓弧次像素點先做一次曲線配適，得到初步的圓方程式。因探針底部似一個半圓，所以邊緣點不會位於過圓心之水平線以上及半徑之外，將其以外之邊緣點剔除。之後剩餘邊緣點再進行疊代運算，此處之疊代中止條件有兩個，第一個條件為所有邊緣點皆必須位於圓心下方，第二個條件為疊代次數限最多五次。在 3.2.3 小節提及的物件分群我們有用 ROI 的區域範圍當底部圓弧的分群條件，因此不必再透過疊代方式來剔除偏差點，也節省疊代所花費之時間。最後將左右兩側的直線方程式及圓方程式來求得探針的規格。在角度部分，將兩個斜率 m1、m2 利用餘弦定理(Cosine theorem)，如(3-18)式，可以求出探針角度𝜃。透過圓方程式可求出圓心點座標(h, k)，根據(319)式即可求出半徑𝑟。 𝜃 = cos −1 (|. 𝑚1 ×𝑚2 +1 √𝑚1 2 +1×√𝑚2 2 +1. |). (3-18). 𝑟 = √(𝑥 − ℎ)2 + (𝑦 − ℎ)2. (3-19). 圖 3-46 為探針樣本右側邊緣的實驗圖，圖(a)為原始影像與偵測出直線斜率結果，圖(b)為圖(a)紅色框之放大圖，圖(c)是執行平均次像素法前(以每 30 個像素長度做為一區間)，圖(d)為平均次像素後各區間內的座標點，圖(e)做完疊代的曲線配適之平均次像素點，圖(f)為最後求得直線之斜率。. (a). (b). (c). (d). 圖 3-46 探針右側邊緣次像素點實驗圖 - 42 -. (e). (f).

(54) 3.3 自動化量測系統平台在本章節會介紹如何設計自動化量測系統平台，其中包括使用者介面設計，讓任何使用者能輕鬆上手，無須任何複雜參數設定。再來說明自動化量測之操作程序與手動操作的流程比較。在 3.3.3 小節將說明步進馬達的驅動設計，如何利用指令來控制步進馬達。為了方便觀察及量測，利用中線校正使探針移至視窗中央。最後介紹自動化量測流程架構設計。. 3.3.1使用者介面設計圖 3-47 為使用者操作介面，軟體建立環境為 Visual Studio Express 2013，軟體語法為 C#，圖形化介面利用 Windows Form 設計工具。在使用者介面中，主要區分為三大區域，分別是設定區域、量測操作區域、以及顯示區域，以下將進行詳細介紹。. 圖 3-47 使用者介面 - 43 -.

(55) 首先，在視窗左上角為靜態處理(Static process)區域，如圖 3-48。裡面包含三個功能按鍵(Functional button)，分別為儲存影像(Save photo)、讀取影像(Read photos)、結束程式(Exit)。若想對當下影像進行靜態分析研究，可利用 Save photo 按鍵來擷取影像資訊，儲存檔案格式為.bmp 檔。Read photos 按鍵的功能是可以讀取多張探針影像來做量測分析，輸出格式為 Excel 逗點分隔值檔案 (.csv)。最後用結束本應用程式功能按鍵(Exit)退出。. 圖 3-48 靜態處理區域. 在視窗左側中間區塊欄位為量測操作區域，如圖 3-49，其中又區分為三個小區域，包含攝影機功能(Camera functions)、偵測方法選擇(Method selection)、單軸步進馬達控制器(One-axis stage controller)。在攝影機功能中包含三個功能按鍵，分別為開始攝影(Start live)、裝置設定(Device settings)、與屬性(Properties)。當按下開始攝影按鍵會將攝影機畫面顯示於介面右側的 Live view 視窗中，同時開始按鍵中的文字會變更為 Stop live，如圖 3-50。再次按下 Stop live 按鍵，則會停止攝影機拍攝。. 圖 3-49 量測操作區域 - 44 -.

(56) 圖 3-50 開始拍攝模式圖 3-51 為裝置設定視窗(Device settings)，基本預設模式如圖中所示，主要是選擇攝影機型號，錄影格式為 RGB32 (1920×1080 HD)，幀速率(FPS)設定為 13.2。屬性(Properties)為細部參數設定，包含白平衡、曝光率、影像增強等，而起始內容為預設模式。. 圖 3-51 裝置設定 - 45 -.

(57) 在偵測方法選擇(Method selection)區域中(圖 3-52)，M1 為本篇論文影像演算偵測方法，邊緣偵測用 Scharr 運算元，次像素邊緣偵測採用重建法(Reconstruction method)。M2 為[7]作者群所提出的方法，利用 Canny 做邊緣偵測，並結合疊代的曲線配適進行影像偵測。M3 與 M4 都是利用 Canny 邊緣偵測搭配部分區域效應法(Partial area effect)對探針影像作處理，M3 方法適用於邊緣寬度較窄的情況，而探針邊緣灰階漸層範圍較寬，所以 M4 省略邊緣點之梯度值要為鄰近一個像素的最大值的判斷條件，以避免邊緣點被捨去而造成誤率上升。利用 Checkbox 物件來勾選欲執行的偵測方法，預設勾選 M1，也可勾選 Select all 以執行全部方法。. 圖 3-52 偵測方法選擇. 在單軸步進馬達控制器介面中(圖 3-53)，有設計以下功能，包括向左移動 (Left)、向右移動(Right)、指定探針樣本位置(Go)、中線校正(Center correction)、初始化位置 (Initialize location) 、手動量測 (Manual detection) 、自動量測 (Auto detection)。. 圖 3-53 單軸步進馬達控制器區 - 46 -.

(58) 左移動(Left)與向右移動(Right)為控制步進馬達移動平台方向，移動平台解析度為 1μm/pulse，探針尖端之間距約為 5mm。經研究測試後，將移動距離設為 5520 個脈波較為適當，可以確保每一支偵測到的探針皆完整呈現於畫面中。為了方便探針的觀察，可利用指定探針樣本位置按鈕(Go)，在上方空白 Textbox 物件中輸入探針位置。中線校正(Center correction)可使探針移至畫面中央位置，在量測操作可選擇手動量測(Manual detection)與自動量測(Auto detection)，而右方 Sample(N)可輸入自動量測探針之數目，預設為 3 支探針，使用者僅能在自動量測時可按下中斷量測(Stop)按鈕，而在其餘時間不能執行中斷按鈕。. 圖 3-54 為顯示目前探針狀態的區域與呈現量測結果的視窗，說明項目包含目前探針位置(Current sample)與此次的執行時間(Execution time)，其時間單位為毫秒。下方為探針量測數據視窗(Results)，依據勾選的方法顯示探針量測的角度 (Angle)及半徑(Radius)。使用者介面右方為即時影像視窗(Live view)與影像擷取視窗(Captured view)，當每次量測探針時，會將影像即時顯示於擷取視窗中，以方便觀察或用於存檔紀錄。清除畫面(Clear window)可將量測數據視窗與擷取視窗清除。. 圖 3-54 目前狀態與量測結果顯示區域. - 47 -.

(59) 3.3.2自動化量測之操作程序. 圖 3-55 自動化量測之操作程序圖 - 48 -.

(60) 3.3.3步進馬達驅動設計為了能驅動步進馬達移動平台，必須先建立電腦與步進馬達控制器傳輸架構，透過 RS-232 訊號線傳送與接收彼此的訊息。首先，設定好選用哪一個 COM port，資料緩衝區大小為 4K(Byte)，而鮑率(Baud rate)設定為 9600(位元/秒)。鮑率在通訊協定上是很重要的參數，如果傳送端的傳送資料速度與接收端的接收資料速度不一樣，則無法接收到正確的資料。接著要設定步進馬達的速度，步進馬達速度一般皆以 PPS(Pulse per second)當作單位，設定速度指令如(3-20)式。指令中的 1 代表軸的操作名稱。而速度區分為三種，第一種為最低速度 S、第二種為最高速度 F、第三種為加減速斜率 R。在一般情況是以最低速度執行，只有特定條件下才會使用最高轉速，而加減速斜率單位為時間(ms)，表示從啟動速度加速到目標速度之時間，設的時間越短表示加速越快、加減速時間越短，則完成定位行程的時間也越短。. D: 1S500F2000R100. (3-20). 在單軸步進馬達控制器區中，左移動(Left)與向右移動(Right)功能按鍵，其指令設定為(3-21)、(3-22)式，指令 M 代表移動相對位置的距離，加號(+)代表往正方向移動，也就是平台往左移動；加號(-)代表往負方向移動，也就是平台往右移動，P 則是代表 Parameter，目的是為了讓步進馬達控制器知道後方數值為脈波數 (Pulse)。若要讓移動平台復原至初始位置，則需下達(3-23)式的指令。 M: 1 + P5520. (3-21). M: 1 − P5520. (3-22). H: 1. (3-23). - 49 -.

(61) 為了方便觀察與量測探針，設計中線校正(Center correction)按鍵功能，如圖 3-56。在按下中線校正按鈕的同時，會擷取當下探針影像來進行邊緣檢測，利用邊緣 x 座標點加總後平均，得到中線 xavg。影像寬度為 1920 個像素，而當 x 座標軸為 960 像素時會位於中線位置 lmid。根據(3-24)式可以求出步進馬達真實的移動距離，利用探針中線 xavg 與中線位置 lmid 兩者相減後取絕對值，再將鏡頭倍率與畫面解析度轉換後，得到每個像素(pixel)的實際長寬為 0.244(𝜇𝑚)。步進馬達解析度為1𝜇𝑚/𝑝𝑢𝑙𝑠𝑒，dcorrection 表示為脈波數，接下來判斷探針位於中線 lmid 左方或是右方。若探針中線 xavg 大於中線位置 lmid，就將步進馬達往左方移動 dcorrection 的距離；反之步進馬達往右方移動 dcorrection 的距離，如(3-25)式。. 𝑑𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑖𝑜𝑛 = |𝑥𝑎𝑣𝑔 − 𝑙𝑚𝑖𝑑 | × 0.244 (𝜇𝑚). M={. 1 + P𝑑𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑖𝑜𝑛 , 𝑥𝑎𝑣𝑔 > 𝑙𝑚𝑖𝑑 1 − P𝑑𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑖𝑜𝑛 , 𝑥𝑎𝑣𝑔 < 𝑙𝑚𝑖𝑑. 圖 3-56 中線校正圖. - 50 -. (3-24). (3-25).

(62) 3.3.4自動化量測流程架構在自動化量測必須將軟體與硬體做協調搭配，由於程式的執行速度相當快，且由於受限於高解度，造成畫面幀速率低。當步進馬達移動到定點時，探針影像不一定能夠同時到達定位，若依據步進馬達控制器的狀態來判斷是否達定點的條件，影像則會擷取到扭曲的畫面而無法進行量測。所以我們設計一套自動化量測流程(圖 3-57)，利用 CPU 系統時間的時間差，來確保步進馬達移動完畢，再進行相關的影像量測。開始 i=1 選擇量測方法(M1~M4) 設定量測數量N ( 0 < N < 6) 否. iN 是. 中線自動校正. 等待2秒鐘. 探針影像量測. 等待2秒鐘. 移動至下一支探針位置. 等待3秒鐘. 圖 3-57 自動化量測流程 - 51 -.

(63) 第四章實驗結果與數據分析. 4.1 規格量測本節將介紹探針的規格量測。為了能更精密地量測探針的邊緣影像，透過掃描式電子顯微鏡（Scanning electron microscope，SEM）對探針進行拍攝。40 支探針樣本 SEM 於附錄一。我們利用 IC Measure 螢幕測量及影像擷取軟體[24]來對探針進行規格量測，操作介面如圖 4-1。為了讓每支探針的量測標準能夠有一致性，在 SEM 的探針影像載入後，第一次必須先利用此軟體的校正功能(Calibration) 做校正程序，單位長定義為 100 微米，如圖 4-2。以下說明都以第 17 支探針樣本呈現。. 圖 4-1 IC Measure 操作介面. - 52 -.

(64) 圖 4-2 校正尺寸. 當校正完成比例單位後，利用工具列的 Angle 功能進行探針角度的量測，如圖 4-3。先將上、下邊緣點(A、B)固定後，再調整角度座標點(C)，以將角度量測器直線切齊探針邊緣，調整完成後如圖 4-4 所示。. 圖 4-3 角度量測 - 53 -.

(65) 圖 4-4 角度量測邊緣放大圖接下來對探針的圓弧部分進行量測，如圖 4-5。在 3.2.2 小節有利用 ROI 定義圓弧影像大小，寬為 63 個像素，範圍從圓弧底部座標點往上 40 個像素到往下 23 個座標點，將 40 個像素單位透過比例轉換(3-23)式，得到真實距離 9.77 微米。從探針圓弧底部量取 9.77 微米之距離點做垂直線，此垂直線會切於探針圓弧邊緣兩端，最後利用工具列的 Circle 功能以切齊圓弧邊緣點進行量測，如圖 4-6。40 支探針角度及半徑規格請參閱附錄表 1。. 圖 4-5 圓弧半徑量測 - 54 -.

(66) 圖 4-6 圓弧量測邊緣放大圖. 4.2 靜態量測分析透過彩色高速攝影機對進行拍攝，樣本圖於附錄一。圖 4-7 為每張樣本執行 1000 次的平均執行時間圓餅圖，其中比例佔據最大的為邊緣等級像素偵測，原因是偵測範圍為整張探針影像，相當花費時間；而利用重建法對邊緣做次像素邊緣偵測占整體百分比 2.09%；物件分群則是占了 0.96%；VSAS 演算法與角度計算佔整體百分比 0.06%，分別佔其中的 0.05%和 0.01%，可以發現 VSAS 演算法並不花費時間。表 4-1 為本論文與其他相關文獻平均執行時間之比較表，其中[7]花費時間最少，是因為此方法只單純利用 Canny 做邊緣偵測及疊代的曲線配適，並未使用到次像素邊緣偵測方法；而[12]與[23]花費時間都較久，因為兩者都有利用高斯低通濾波器來對影像做處理，每張影像需多花費約 180 毫秒，而本論文所使用之總體時間約為 100.15 毫秒。. - 55 -.