報告題名：
運用影像處理技術於滑鼠 LED 圖形投影清晰檢測之研究
Use of image processing technology to detect clear projection in the mouse LED graphics作者：林廣柏、張文瑋、黃駿偉 系級：機械與電腦輔助工程學系 四丙 學號：D0176673、D0166029、D0135400 開課老師：楊世宏 課程名稱：專題製作 開課系所：機械與電腦輔助工程學系
中文摘要
具 LED 圖型投影之電競滑鼠已逐漸受到電競選手喜愛，然而此種滑鼠於生產過 程中具有影像清晰度瑕疵問題，此問題在於瑕疵滑鼠容易形成光點模糊之現象， 傳統檢測方法大多利用肉眼檢測投影之影像，但此方法耗時、效率不佳，對檢測 人員視力健康影響甚大，為了提升產品的品質及銷售量，同時為了減少成本的支 出與檢測人員的職業傷害，利用機器視覺對影像進行清晰度檢測已成為現今產業 界的主流處理方法，此方法能快速、精確的進行自動化檢測，可用於取代效果不 彰的傳統肉眼檢測。目前最先進之清晰度檢測之方法大多應用於自動對焦技術， 主要判斷整張影像是否模糊或清晰，然而目前較少研究檢測 LED 圖型投影之清 晰度，有鑑於此，本計畫將設計新的清晰度檢測方式，首先針對擷取之影像進行 影像前處理，萃取出目標檢測區域，接著利用影像比較的方法來檢測影像的清晰 度，並使用一般米粒檢測中擷取單一米粒的技術來計算光點個數，接著針對影像 兩側之光點分析其差異，可檢測此滑鼠之 LED 圖型投影是否清晰，在實驗過程 中，本計畫將蒐集清晰與模糊之 LED 圖型投影之影像，用以驗證此方法可行性。關鍵字：
滑鼠、清晰度檢測、圖形投影檢測Abstract
The mouse with has LED projector gradually been competing gaming player favorite, But this mouse has a defect that is LED projection clarity flaws. Most traditional methods of projection images with the naked eye to detect, but this method is time-consuming, poor efficiency, impact on the visual health quality assurance Inspector great. In order to improve product quality and sales,The LED projection clarity flaws detection by program,so that detection process is fast and accurate.
目 次
中文摘要
... 1Abstract
...2
目次
...3
研究動機與問題
...4
文獻回顧與探討
...5
研究方法及步驟
...6
結論
...10
參考文獻
...11
研究動機與研究問題
於現今科技發達的社會裡，電腦的周邊產品「滑鼠」其類型及造型越來越多 樣化，隨著業界發展，現今具 LED 圖型投影之滑鼠已成為電競滑鼠之主流，然 而，具 LED 圖型投影之滑鼠於生產過程仍有清晰度瑕疵，為檢測其瑕疵，本研 究以羅技所生產的 G302 電競滑鼠為例(圖 1)，利用機器視覺檢測其 LED 燈光投 影是否清晰且符合所需之標準，進而提升產品的品質及銷售量。 G302 遊戲滑鼠是一隻外型左右對稱的滑鼠，於後半部擁有背光圖騰設計， 下半部兩端都有網狀格紋的設計，可使得滑鼠內部的 LED 燈光自內部經網狀格 紋投射出來，形成左右對稱的燈光造型，從而帶來炫麗的效果。但是，其背光區 塊與網格部分極可能於製造過程因不可預期的因素而產生瑕疵，為了確定瑕疵的 有無，於是便對其燈光投影的影像進行影像清晰度的分析及檢測，並以檢測後所 得之資料確定此滑鼠是否為良品。 所謂影像清晰度是指影像中的物體能夠看得清楚的程度，這部分最大的變因 取自於擷取影像時使用的自動對焦技術，透過調整物體與鏡頭間的距離會大大影 響擷取的影像的清晰度，經由調整焦距，能夠減少不必要的外在雜訊，進而得到 我們所需的初步影像，以便進行後續的檢測及處理。在影像的檢測中，必須使用 肉眼對影像進行辨識，雖然能進行一定程度的檢測，但經過長時間的檢測往往會 造成眼睛的疲勞而出現誤差，不僅費時、效率不佳，且人事成本也會提高，對於 業者來說是不願見到的情況，於是機器視覺檢測取代肉眼檢測就成為現今產業界 的檢測產品的主要方法，透過機器視覺可以更快速且精確地進行自動化光學檢 測，透過檢測後得出的數據，可以清楚地了解此款滑鼠所投射出來的光點是否為 左右對稱且清晰，並對於光點的分布進行檢測可以了解此滑鼠在生產過程中是否 產生瑕疵，以此來取代效果不彰的傳統肉眼檢測，進而減少成本的支出並提升產 品的品質。 整體來看，機器視覺檢測雖然對於影像的處理速度及精確度上有了極大的改 善，但是最大的問題是對於投影之光點的擷取，這部分多少還是會受到檢測者的 主觀意識影響而有所差異，如何找出能讓大眾都能接受的結果，全仰賴平常的經 驗累積以及影像處理上的精確度，因為沒辦法像專業的檢測人員那般累積大量經 驗，故只好不斷對影像進行多次的檢測及分析，藉此找到最接近理想形式的影像。(a) (b) 圖 1(a)滑鼠正面圖，(b)為滑鼠側邊圖
文獻回顧與探討
清晰度演算法主要透過數學運算定義出清晰度指標，Nayar、Watanabe 和 Noguchi[1]提出利用計算影像的傅立葉轉換(FastFourier Transform, FFT)，分析 其轉換結果，可得知清晰影像傅立葉頻譜能量總和高於模糊影像。Zheng、Sakai 和 Abe[2]提出計算影像物體邊緣二側的對比度與其差值，若對比之差值較高， 表示擷取的影像較為清晰。Widjaja 和 Jutamulia[3]提出利用小波轉換(Wavelet Transform)的方法以達增強影像邊緣的特性。Gregory[4]提出利用透鏡的調變傳 遞函數(Modulation Transfer Function, MTF)作為判斷透鏡成像品質的好壞的依 據。Kesseler 和 Fischer[5]說明在自動對焦系統裡，最基本且重要的部份是距離 與清晰度的判定方法，藉由影像清晰程度回授控制馬達移動位置，以達最佳的對 焦品質。吳文言等人[6]將影像進行灰階處理後，計算相鄰兩列的總像素和差異 值作為清晰度的指標。S.H.JIN 等人[7]使用自適應閥值演算法來評估各像素與鄰 近像素值的差別，並用一個適合的遮罩，經相鄰像素的灰度值產生一閥值，用於 各個像素上，使系統成功自動對焦。目前國內外已有眾多學者採用機器視覺檢測瑕疵，Leta and Feliciano [8] 提 出影像相減法，使用影像比較的方法，比較參考電路板影像與測試電路板影像， 即可顯示瑕疵處。王定一等人[9]提出印刷電路板瑕疵檢測與分析之研究，著重 於瑕疵辨識技術，主要改良影像相減法，此法可改善影像邊界雜訊及檢測寬放問 題，且在消除影像邊界雜訊時，也能維持瑕疵的完整性避免誤判。彭光裕[10] 利用影像處理之相關係數法，解決印刷電路板組裝過程中元件的缺件、歪斜、極 性反、錫膏造成的短路等現象，找出電路板元件的瑕疵。楊榮華[11]提出了利用 標準影像與待測影像使用共變異矩陣(Covariance matrix)來描述兩張灰階影像之 相對應關係資訊，在標準灰階影像與檢測灰階影像之相同位置上，建立灰階值對 應分佈之 2D 圖，這樣的方式可提供影像對影像之直接比對處理，除了提供有
效的參考係數外，還能展現出瑕疵區域。李秉鴻[12]首先將影像作直方圖處理提 高影像的對比，經 Sobel 運算後，可以突顯出來瑕疵部分的邊緣，再將影像二值 化把影像分割，就可以將影像瑕疵的部分作連接區塊標記，把 AR 玻璃瑕疵的部 分標示出來。饒忻、曾健維、許世麟[13]主要針對 IC 印字部份建構出一套瑕疵 檢測系統，將待測影像經過二值化、影像旋轉、影像切割以及影像細線化等前置 處理，接著進行字元搜尋、特徵值擷取、特徵值比對或影像比對，最後檢測出常 見的七項 IC 印字瑕疵。 本研究目的在於研究 LED 圖型投影之光點，與米粒檢測中擷取單一米粒進 行計算和分析之方法相似，Sakai 等人[14]利用影像處理技術分析米的形狀及尺 寸，針對四種不同品種的米進行分類作業。影像處理步驟包括擷取影像、二值化、 平滑化、標記、輪廓追蹤及補洞運算。萬一怒[15]利用影像處理對糙米品質進行 檢測與分級，影像經過 RGB 分離、灰階統計分析、影像強化、去除雜訊等處理， 在進行幾何尺寸計算前，必須應用影像分割技術先將重疊之米粒予以分開，利用 間隙追蹤法確定米粒的範圍後，再進行幾何特徵之量測，最後應用決策邊界計算 決定分類值。進行米粒檢測與分類時，需要將影像中的米粒個別擷取出來，本研 究預計使用上述影像處理方法進行光點擷取與計算。 相關研究顯示，新一代的電子產品將大量使用 LED 增加產品外觀之燈光效 果，近年來機器視覺已經廣泛地運用在產品檢測上[16、17、18]，目前國內對 LED 圖型投影清晰度檢測之研究不多，而傳統的 LED 圖型投影檢測方法是人工 以肉眼的方式檢測產品，不但耗時、成本高、檢驗結果不穩定，因此本研究針對 LED 圖型投影檢測研發快速、正確穩定之瑕疵檢測程式。
研究方法及步驟
本計畫之目的在於對有 LED 圖型投影之產品之清晰度檢測之應用，主要利 用網路攝影機拍攝產品之 LED 投射時之影像，產品圖如圖 4、圖 2 所示，圖 4 和圖 3 之左側方向 LED 圖型投影之清晰度有明顯之差異，不合格的圖型投影會 呈現出黏著在一起的情況發生，而合格的圖型投影所呈現的各個點並不會黏著在 一起，主要利用對該影像進行處理及分析，來判斷是否為合格的產品。大 致 相 等 差異過大 判斷為良品 結束 判斷為不良品 影像前處理 對影像兩側之光點個數進行計算 判斷兩側光點數量差異? 開始 擷取影像 圖 4 為不合格之產品 圖 5 為合格之產品 本研究設計之方法流程如 圖 6 所示，首先載入影像，之後將影像進行影像前處理，此時會將內 部大多不要之資訊刪除，保留本計畫所需要之投影光點以便進行之後的計算。接 著會對保留在兩側之光點，各個進行面積計算，之後再進行左右的光點數對比來 判斷產品是否為良品，以下將介紹本計畫所使用之分析方法。
圖 6 流程圖 4.1 影像前處理
首先將影像從 RGB 色彩空間轉換成 HSV 色彩空間[19]，式 1 為 RGB 轉換 為 HSV 之計算方法，並取 V(明度)之影像，如圖 7 所示，因為本計畫主要探討 為產品之投射光影之形狀，故取明度圖來分析，之後對該明度圖 X、Y 方向分別 經過 X 方向 Sobel 和 Y 方向 Sobel，式 2 為所用之 Sobel 矩陣[20、21、22]，矩 陣進行濾波、圖像斷開、圖像閉合及形態學圖像處理成二值化圖[23、24]，以擷 取 LED 投影之光點，並去除會干擾到檢測過程之光影及雜訊，其結果如圖 7 所 示，接著用元素標記法將每個像素結合成各個光點進行面積的計算並依大小降冪 排列，用所得之面積排列順序來取得面積刪減之適當閥值，將面積過大之區塊刪 減，其結果如圖 7 所示，因為面積過大表示該檢測產品的投影瑕疵，導致光點 無法正常散開而黏著在一塊。最後在將圖型已中心軸為中心分為左右兩測，如圖 9(a)、(b)、(c)所示，並將兩側光點再用元素標記法進行一次光點個數計算並左右 比較光點個數差異量即可判斷產品是否為良品。 圖 7 為 HSV 影像圖之 V 圖 圖 8 為經影像前處理後之二值化圖
圖 9(a)為去除過大面積之結果圖，(b)為切割後左圖型，(c)為切割後右圖型。 (1) (2) 4.2 二值化 影像通常分為有意義的目標物和無意義的背景圖像，首先針對輸入的影像， 定義某個像素為臨界值，大於此臨界值則輸出影像，其像素設定為 255，小於此 臨界值則輸出影像像素設定為 0，此即是影像二值化處理，而所定義的臨界值又 可稱之為閥值，其數學公式如(3) 為二值化計算公式， 為輸入影像， 輸出影像[25]。 (3) 4.3 X、Y 方向濾波 為了保留光點之邊緣本計畫採用濾波運行方法，如錯誤! 找不到參照來源。 顯示一個範例，將 5 號位置及周圍的八個內之數值乘上所使用之過濾遮罩矩陣， 之後再全部加總存放於 5 號位置內。而所使用之 Sobel 矩陣其目的為凸顯高低頻 之邊緣，其高低頻在二值化影像中指黑和白，藉此可以消除 LED 圖型投影時之 光影，並保留光點。
1 2 3 4 5 6 7 8 9 圖 8 影像範例矩陣 4.4 利用標記法計算面積及光點個數 標記法可分為四連通與八連通[26]，四連通是指，假若有一個像素和其之 上、下、左或右的像素連接著的話則視為連結在一起的像素，藉此可將圖 4 中的 各個光點之面積及數量分別計算出來。而八連通則指，有一個像素和其之上、下、 左、右、左上角、左下角、右上角或右下角的像素連接著的話則視為連結在一起 的像素，在本計畫中因為處理後的影像之光點各個粒粒分明，所以採用八連通來 進行計算，以達到精算各個光點之面積及數量。 4.5 判斷是否清晰之方法 藉由影像處理後之影像可以明顯看出，不良品滑鼠的左、右側光點個數有明 顯之差異，藉由此差異可以判斷是否為良品，先計算出左右兩側之光點個數，假 定左、右側光點之個數差異為六個光點以上則判斷為不良品，因為若為不良品， 則可能有區塊在前處理時因為光點黏著在一起，而被判定為面積過大將該區塊刪 除，且因為投影不明顯也會被判定融入在光影裡，而不被視為光點。
結論
本計畫預期完成一套清晰度檢測演算法與程式，此研究計畫以清晰度檢測 LED 圖型投影來做為目標，期許能用機器視覺檢測幫助產線滑鼠檢測問題，取 代人工。目前計畫利用影像分析，清晰度檢測和邊緣檢測使用，進行影像處理， 清除不要的資訊並且經過計算後達到提高檢測平均性之效果。 藉由邊緣檢測，來進行 LED 圖型投影檢測，所擬出的方法具有下列的優點：參考文獻
[1] S. K. Nayar, M. Watanabe and M. Noguchi, “Real-Time Focus Range Sensor,” Fifth International Conference on Computer Vision, vol. 18, pp. 995-1001, Jun. 1995.
[2] J. Y. Zheng, T. Sakai and N. Abe, “Guiding Robot Motion Using Zooming and Focusing,” Proceedings of the 1996 IEEE/RSJ International Conference on Intelligent Robots and Systems, vol. 3, pp. 1076-1082, Nov. 1996.
[3] J. Widjaja and S. Jutamulia, “Wavelet Transform-Based Autofocus Camera Systems,” Proceedings of the IEEE Asia-Pacific Conference on Circuits and Systems, pp. 49-51, Nov. 1998.
[4] H. S. Gregory, “Practical Computer-Aided Lens Design,” 1st, edition, Willmann-Bell, Virginia, Oct. 1998.
[5] W. Kesseler and J. Fischer, “Analytical Model of AutofocusSystems with CCD Camera,” Proceedings of the International Society of Optical Engineering, In ternational Confer ence on Sensors, Camera Systems for Scientific, Industrial and Digital Photography Applications, vol. 3965, pp. 396-380, May 2000.
[6] 吳文言、施冠州、蔡依靜、蘇嘉麟，“影像對焦品質評估”中華民國品質學
會第 40 屆年會高雄市分會第 30 屆年會暨第 10 界全國品質管理研討會論 文集，高雄，2004，第 82-90 頁。
[7] S. H. Jin, J. U. Cho, J. W. Jeon, “FPGA based Passive Auto Focus System using Adaptive Thresholding”, SICE-ICASE, 2006. International Joint Conference, pp. 2290-2295.
[8] F. R. Leta, F.Feliciano, “Computational System to Detect Defects inMounted and Bare PCB Based on Connectivity and Image Correlation”Systems, Signals and Image Processing , pp. 331-334, 2008.
[9] 王定一，印刷電路板製程瑕疵檢測與分析之研究，中原大學工業工程學 系，碩士論文，2000。 [10] 彭光裕，應用電腦視覺技術於表面黏著元件印刷電路板之自動檢測新系統 設計及開發，交通大學工業工程與管理研究所，碩士論文，1996。 [11] 楊榮華，應用灰階共變異矩陣之多重指標於瑕疵檢測，元智大學工業工程 學系，碩士論文，2002。
[12] 李秉鴻，機器學習於自動光學檢測之應用，義守大學資訊工程學系碩士 班，碩士論文，2009。
[13] H. Rau, J. W. Tzeng , and S. L. Hsu，“A Study of Defect Inspectionof IC Printed Mark”，Journal of the Chinese Institute of Industrial Engineers, Vol. 20, No. 4, pp. 327-336, 2003.
[14] Sakai, N., S. Yonekawa and A. Matsuzaki, Two-dimensional Image Analysis of the Shape of Rice and its Application to Separating Varieties, Journal of Food Engineering 27, pp. 397-407, 1996. [15] 萬一怒，糙米品質自動檢測分級系統 (一)檢測系統之研製，農業機械學刊 7(1),第 59-73 頁,1998. [16] 黎晃銘，有機發光二極體表面瑕疵檢測系統開發，台灣科技大學高分子工 程研究所，碩士論文，2009。 [17] 張晴晴，側照式 SMD-LED 瑕疵自動光學檢測系統，交通大學工業工程與 管理學系，碩士論文，2010。 [18] 林于舜，使用影像運算及 LVQ 類神經網路於影像自動對焦與 LCD 玻璃基 板瑕疵檢測，明新科技大學精密機電工程研究所，碩士論文，2009。 [19] 陳佳威，以 SVM 分類器為基礎之人臉辨識系統，南台科技大學資訊工程 系，碩士論文，2010。 [20] 張式琦，機器視覺系統運用於圖案比對與尺寸量測之研究，勤益科技大學 機械工程系，碩士論文，2009。 [21] 卓家祺，利用輪廓錨點選擇及適應性臨界值區間鏈結之強健且快速物件區 分方法，嘉義大學資訊工程學系，碩士論文，2010。
[22] R. C. Gonzalez, and R. E. Woods, “Digital Image Processing, Second Edition,” Prentice Hall,2002.
[23] R. C. Gonzalez, and R. E. Woods, “Digital Image Processing, Addition Wesley Publishing Company,”Inc. Reading, Massachusetts,1992.
