以輕量化卷積神經網路為核心之自動抄錶系統

全文

(1)國立臺灣師範大學科技與工程學院電機工程研究所碩士論文. 以輕量化卷積神經網路為核心之自動抄錶系統 An Automatic Meter Reading System based on Lightweight Convolutional Neural Network. 郭冠毅 Kuo, Kuan-Yi 指導教授：林政宏博士 Advisor: Cheng-Hung Lin, Ph.D. 中華民國 109 年 7 月 July 2020.

(2) 誌. 謝. 碩士生涯首要感謝國立台灣師範大學給予我優良的環境、師資與資源，讓我在專業知識與實務操作上獲益良多，也謝謝我的指導教授林政宏主任在我人生低潮時幫助我重新找回學習的熱忱，並謝謝主任這些年來的細心指導，讓我在學習路途上收穫滿滿。另一方面也要感謝林永鑫學長、謝政宏學長在研究方面給我許多方向與建議，讓我能順利解決實驗上遭遇的困難，此外，林承憲學長也不吝於分享他在實務上的經驗，協助我釐清很多觀念。其次還有實驗室的其他伙伴亦信、振豪、李穎、易穎與學弟妹們幫忙分擔實驗室的大小事，同時也在研究上給我不同的看法與見解，也期盼大家在往後的日子繼續相互討論、切磋，使 AIoT Lab 不斷茁壯。最後感謝家人、朋友、女朋友多年來的支持與鼓勵，使我在求學路上充滿能量，謝謝大家！郭冠毅 2020.07.01. i.

(3) 以輕量化卷積神經網路為核心之自動抄錶系統學生:郭冠毅. 指導教授:林政宏博士. 國立臺灣師範大學電機工程學系碩士班. 摘. 要. 隨著物聯網技術的蓬勃發展，政府逐漸淘汰了傳統電錶，開始了智能電錶的時代。然而，更換智能電錶的價格昂貴且面臨通訊不良等問題，導致智能電錶佈建緩慢，我們的想法是開發一種低成本的解決方案，該解決方案使用帶有攝影鏡頭的邊緣設備自動辨識傳統電錶，然後將辨識的值上傳到雲端。過去已有研究通過傳統的圖像分割方法自動讀取錶盤，但是由於傳統的電錶大多設置在遮蔽性高、光線昏暗、灰塵多的環境中，因此對於不清晰的電錶圖像，傳統方法難以獲得良好的辨識結果。在本文中，我們提出了一種基於輕量化卷積神經網路的自動讀錶器並實現在邊緣設備上，為了減輕佈建難度和提高錶盤辨識的準確率，我們所提出的錶盤讀取器具有自動調整傾斜錶盤圖像的能力。實驗結果顯示，相較於其他相關方法，所提出的輕量化卷積神經網路在分割錯誤，誤報和運行時間方面取得了顯著改善。關鍵字:自動錶盤辨識，卷積神經網路，物聯網，電錶，邊緣運算. ii.

(4) An automatic meter reading system based on lightweight convolutional neural network student：Kuan-Yi Kuo. Advisors：Dr. Cheng-Hung Lin. Department of Electrical Engineering National Taiwan Normal University. ABSTRACT. With the vigorous development of the Internet of Things technology, the government has gradually phased out the traditional meter and began the era of smart meters. However, the replacement of smart meters is expensive and the yield is too low, which has led to the slow deployment of smart meters. Our idea is to develop a low-cost alternative solution that uses an edge device with a camera to automatically identify traditional electric dial meters, and then uploads the identified value to cloud servers. In the past, there have been studies to automatically read dial meters through traditional image segmentation methods. However, because traditional electric meters are mostly set in an environment with high concealment, dim light, and dirt, it is difficult for traditional methods to obtain good identification results for unclear meter images. In this thesis, we propose a cost-effective automatic dial meter reader with a lightweight convolutional neural network on edge devices. In order to easily deploy and improve the accuracy of dial meter recognition, the proposed meter reader has the ability to automatically adjust tilt meter images. Experimental results show that the proposed lightweight convolutional neural network achieves significant improvements in segmentation errors, false positives, and elapsed time compared with the relative approaches. Keywords—automatic meter recognition, convolution neural networks, Internet of Things, electric dial meter, edge computing. iii.

(5) 目. 錄. 謝辭 ........................................................................................................................................................i 中文摘要 .......................................................................................................................................ii 英文摘要 .....................................................................................................................................iii 目錄 ............................................................................................................................................iv 表目錄 ......................................................................................................................................vi 圖目錄 .....................................................................................................................................vii 第一章緒論 .........................................................................................................................................1 1.1 研究動機與背景 .......................................................................................................1 1.2 研究目的 ....................................................................................................................2 1.3 研究方法概述 ............................................................................................................3 1.4 研究貢獻 ....................................................................................................................4 1.5 論文架構 ....................................................................................................................4 第二章文獻探討 .........................................................................................................................7 2.1 閱錶規則 ....................................................................................................................7 2.2 錶盤定位 …………....................................................................................................8 2.2.1 圖像相減 .................................…................................................................8 2.2.2 尺度不變特徵轉換 SIFT .............................................................................8 2.2.3 ORB .....…......................................................................................................9 2.3 讀值計算 ..................................................................................................................13 2.4 圖像視覺發展 ...........................................................................................................14 第三章研究方法 .......................................................................................................................15 3.1 錶盤偵測 ..................................................................................................................15 3.2 使用幾何圖像變換進行傾斜校正 ..........................................................................16 3.3 錶盤辨識 ..................................................................................................................18 3.4 系統配置 ..................................................................................................................20 第四章實驗結果 ..............................................................................................................................21 4.1 實驗環境與裝置簡介 ..............................................................................................21 4.2 訓練 ………...............................................................................................................21 4.3 測試 ...........................................................................................................................22 第五章結論與未來展望 ...........................................................................................................25 5.1 結論 ........................................................................................................................25 5.2 未來展望 ................................................................................................................25 參考文獻 .....................................................................................................................................26. iv.

(6) 自傳 ...........................................................................................................................................28. v.

(7) 表目錄. 表 4-1 兩種標註方法的準確率比較 .......................................................................................22 表 4-2 與相關研究的比較 .......................................................................................................24. vi.

(8) 圖目錄. 圖 1-1 圖 1-2 圖 1-3 圖 1-4 圖 1-5. 國內傳統指針式電錶與智慧型電錶 ...................................................................................1 具鏡面反射，灰塵和昏暗環境的電錶 ..........................................................................2 自動抄錶系統流程圖 ......................................................................................................3 霍夫變換所確定的電錶錶盤 ..........................................................................................3 圖像仿射變換 ..................................................................................................................4. 圖 2-1 圖 2-2 圖 2-3 圖 2-4 圖 2-5 圖 2-6 圖 2-7. 傳統電錶讀值示意圖 ......................................................................................................7 圖像相減 ..........................................................................................................................8 尺度不變特徵轉換分割圖像中錶盤的位置 ..................................................................9 像素與其鄰近像素示意圖 ............................................................................................10 五種隨機選對點的方法 ................................................................................................11 ORB 圖像匹配示意.......................................................................................................13 偵測二值化指針 ............................................................................................................13. 圖 3-1 圖 3-2 圖 3-3 圖 3-4 圖 3-5 圖 3-6 圖 3-7 圖 3-8. 提出的自動讀錶器的流程 ............................................................................................15 錶盤偵測的過程 ............................................................................................................16 對錶盤邊上產生標記點 ................................................................................................17 仿射校正後的電錶錶盤 ................................................................................................17 仿射變換後正確分割錶盤 ............................................................................................18 用於辨識錶盤數值的輕量化卷積神經網路 ................................................................18 兩種標註方法 ................................................................................................................19 紅外夜視鏡頭與 LCD1602 ............................................................................................20. 圖 4-1 指針式電錶的錶盤數據集 ............................................................................................22 圖 4-2 兩種標註方法的累積誤 ................................................................................................23. vii.

(9) 第一章. 緒論. 1.1 研究動機與背景過去，傳統式電錶由於其耐用性高、結構簡單、維護成本低等優點，已被廣泛應用於大型變電站、工廠、公寓等地方，如圖1-1(a)所示，由於傳統式電錶不具備任何通訊功能，至目前為止都還是以人工抄錶為主，這不僅耗時還增加人事成本。. 隨著物聯網(IoT)和人工智能(AI)技術的快速發展，將AI和IoT技術結合成為AIoT，以實現智能家居、智能產業和智能城市。如圖1-1(b)所示，近年來智慧電錶由於能夠遠端記錄和監視功耗而開始取代傳統電錶，智慧電錶不僅可以降低人事成本，還具備了遠端控制功耗的能力，與傳統電錶相比，智慧電錶更符合當前智能城市的趨勢。. 但是，儘管政府加快了智慧電錶的佈建，它仍然面臨許多問題，包括更換智慧電錶的成本昂貴，進而導致替換進度緩慢。. (a). (b) 圖 1-1 (a)傳統電錶，(b)智慧電錶. 1.

(10) 1.2 研究目的過去許多研究[1-8] [10] [12]已經提出使用自動抄錶器辨識傳統電錶上的錶盤值的方法，這些方法首先對圖像中的五個錶盤進行分割，然後在分割的錶盤上找到指針的位置以辨識錶盤數值。但是，傳統的電錶通常佈建在昏暗的環境中，這會使拍攝的圖像模糊並且難以辨識，如圖 1-2 所示。. 近期，由於卷積神經網路(CNN)具有很強的辨識模糊圖像的能力，卷積神經網路[9]已被廣泛用於圖像識別，強大的卷積神經網路可以輕鬆辨識模糊圖像中的錶盤數值。然而，強大的神經網路難以在缺乏計算資源的邊緣設備上有效地執行辨識功能，我們在這裡面臨的挑戰是在性能和準確率之間進行權衡。. 圖 1-2 具鏡面反射，灰塵和昏暗環境的電錶. 2.

(11) 1.3 研究方法概述本論文所提出的自動抄錶系統分為三個部分，包括錶盤偵測，傾斜校正和錶盤識別，如圖 1-3 所示。. 輸入影像錶盤辨識偵測錶盤輸出辨識結果. 傾斜校正圖 1-3 自動抄錶系統流程圖. 第一個錶盤偵測的部份，錶盤的形狀為圓形因此我們選用霍夫變換透過相機抓取錶盤，此外，我們設定限制條件濾除畫面中多餘的圓圈。這個階段會將錶盤的圓心輸出至下個階段，如圖 1-4 所示。. 圖 1-4 紅色圓圈為確定的電錶錶盤 3.

(12) 第二個部分錶盤校正，將最左邊與最右邊錶盤的圓心相連成一直線，透過反正切三角函數與直線斜率即可求出傾斜角度，將圖像的中心點用為仿射變換的旋轉中心，以校正傾斜圖像，如圖 1-5 所示，有助於我們在後續辨識錶盤數值時獲得更準確的結果。. 圖 1-5 (左)校正前與(右)校正後. 第三個部分，分割每個錶盤送入事先訓練的輕量化卷積神經網路辨識錶盤數值，最後將辨識出的錶盤數值上傳到雲端以監視用電狀況。. 1.4 研究貢獻在本文中，我們提出了一種基於輕量化卷積神經網路的自動讀錶器。為了減輕佈建難度並提高後續錶盤辨識的準確率，我們所提出的自動讀錶器具有自動調整傾斜錶盤圖像的能力，此外本研究所提出的輕量化卷積神經網路可以在不清晰的環境中提高錶盤辨識的準確率，並且可以實現在邊緣設備(如 Raspberry Pi)上。. 1.5 論文架構本論文分為五章節: 第一章緒論：分別介紹傳統電錶與智慧電錶的優劣，提出如何改善現今智慧電錶所面臨. 的困難，闡述本論文的研究方法與研究貢獻。第二章文獻探討：針對與本論文之相關研究文獻做介紹。. 4.

(13) 第三章研究方法：本系統分為三部分，分別說明錶盤偵測、傾斜校正、錶盤辨識之研究方. 法。第四章實驗結果：說明實驗裝置、實驗過程，將實驗結果與過去文獻做比較。第五章結論與未來展望：對此論文的研究方法與實驗結果做總結，並提出改善空間。. 5.

(14) 6.

(15) 第二章. 文獻探討. 過去大多數方法[2-8] [10] [12]先分割圖像中的五個錶盤，然後在分割後的轉盤上找到指針的位置，藉由指針的旋轉角度能計算出錶盤的數值，以實現自動讀取錶盤的功能。本章節探討過去自動讀錶器的相關研究，說明幾種自動閱讀電錶的方法。. 2.1 閱錶規則如圖 2-1 所示，傳統的電錶有五個錶盤，它們有兩個方向，順時針和逆時針，第一個（最左邊）是順時針方向，第二個是逆時針方向，第三個是順時針方向，第四個是逆時針方向，最後一個（最右邊）是順時針方向，每個錶盤都有一個指針，指針的讀數為 0-9。. 圖 2-1 讀值為 39990 的傳統電錶的示意圖. 抄錶的方向是從左到右，無論指針是順時針還是逆時針，當指針落在兩個數字之間時，指針所代表的值為較小的數字，當指針落在數字上時，我們必須檢查其右邊的錶盤數字，如果其右錶盤的指針介於 9 到 0 之間，則該值必須遞減 1。如圖 2-1 中的錶盤數值為 39990。. 7.

(16) 2.2 錶盤定位過去圖像定位研究提出許多研究方法，除較為單純的圖像相減分割感興趣區域(ROI) 外，還有利用參考圖像與待測圖像做特徵點的匹配，解決過去圖像定位在複雜環境中效果不佳的問題，各別介紹如下：(一)圖像相減、(二) 尺度不變特徵轉換(SIFT) 、(三) ORB(Oriented FAST and Rotated BRIEF)。. 2.2.1 圖像相減圖像相減或稱為像素相減是指一個像素減去另一個像素的過程，該應用大部分基於以下兩種原因：調整圖像不均勻的部分（例如圖像上部分區域有陰影）或偵測兩圖像之間的變化。變化偵測可用於判斷圖像中是否有移動的物體[19]，過去常應用於天文攝影領域以協助搜索行星的運動軌跡。過去自動抄錶系統研究中也使用圖像相減[7] [20-26]的方式來查找指針，給定一張未含有指針的錶盤圖像當作參考圖像，並將待測錶盤減去參考錶盤則能分割出指針的位置，如圖 2-2 所示。. (a). (b). (c). 圖 2-2 (a)參考錶盤，(b)待測錶盤，(c)經圖像相減的指針輪廓. 2.2.2 尺度不變特徵轉換 SIFT 尺度不變特徵轉換(SIFT)[28]由 David Lowe 於 1999 年所提出，為一種計算機視覺用來偵測與描述圖像特徵的演算法。該算法具備旋轉、尺度不變性，並能在多噪點圖像中保持一定程度的辨識穩定性，為過去主流的圖像分割方法。過去研. 8.

(17) 究使用尺度不變特徵轉換(SIFT)[6][27]來匹配圖像中錶盤的特徵點，如圖 2-3 所示，利用參考圖像中的特徵點與目標圖像進行暴力匹配，我們能分割圖像中五顆錶盤的位置，然後對五顆錶盤進行分割。. 圖 2-3 尺度不變特徵轉換（SIFT）分割圖像中錶盤的位置. 2.2.3 ORB Oriented FAST and Rotated BRIEF(ORB)[29]為一種加速特徵點提取與描述的電腦視覺演算法，ORB 由 Ethan Rublee、Vincent Rabaud 等人於 2011 年所發表，該演算法是由 Features from Accelerated Segment Test(FAST) 與 Binary Robust Independent Elementary Features(BRIEF)兩種技術改進而來的。. FAST[30][31]計算每一像素與其鄰近像素的像素差是否超過設定的閥值，若部分超過閥值則當作後選角點，反之，不認定為像素角點。如圖 2-4 所示，以 p 為像素中心計算其上下左右像素（像素 1、像素 9、像素 13、像素 5）的像素差，至少三個以上的像素差超過設定的閥值則認定他為候選角點。候選角點再計算周圍 16 個像素點（像素 1 至像素 16）的像素差，至少九個以上的像素差超過設定的閥值則認定他為角點。如一區域內有多個角點，我們對此區域進行非極大值抑制[32]，計算區域內所有角點的得分，得分計算方式是相加角點與鄰域 16 個像素點（像素 1 至像素 16）的像素差絕對值，保留得分最高的角點作為最終 FAST 特徵點。 9.

(18) 圖 2-4 像素與其鄰近像素之比較. FAST Keypoint Orientation 為 FAST 演算法的改良，因 ORB 特徵點具有旋轉不變性，故為 FAST 特徵點增加方向性。首先使用 moment 法確定特徵點的方向， moment 以數學式表示為：(I(x,y)為圖像灰度表示式，r 為特徵點區域的半徑) 𝑚!" = # 𝑥 ! 𝑦 " 𝐼(𝑥, 𝑦) #,%∈'. 特徵點區域的質心以數學式表示為： 𝐶#% = ,. 𝑚)* 𝑚*) , 𝑚** 𝑚**. 將特徵點到質心的方向視為一向量，以數學式表示為： 𝑚*) 𝑚*) 𝑚 𝜃 = 𝑎𝑟𝑐𝑡𝑎𝑛 4 𝑚** 5 = 𝑎𝑟𝑐𝑡𝑎𝑛( ) )* 𝑚)* 𝑚** BRIEF[33]演算法在特徵點附近劃分一正方形區域，用高斯模糊對區域去噪。在區域中選定一對點 a, b 比較其像素值的大小，如 a 點像素大於 b 點則產生結果 1，反之，產生結果 0，重複步驟選定對點。如圖 2-5 所示，過去選對點的方式按照機率分布方式大致分為五種：. 10.

(19) l. G I：均勻分佈. l. G II：符合(0,. l. G III：a 符合(0,. l. G IV：在極坐標下的離散位置作隨機採樣. l. G V：把 a 固定為(0, 0)，b 為均勻分佈. ) +,. S + )的高斯分布 ). S + )的高斯分布，而 b 符合(0, +,. ) )**. S + )的高斯分布. 圖 2-5 五種隨機選對點的方法. 根據以上步驟，我們可以得到二進制編碼的字串用以代表每個特徵點，採用漢明距離進行匹配，距離越小相似度越高。. 為改進 BRIEF 的旋轉不變性，將區域內對點進行旋轉後再做二進制編碼，以 S 表示對點構成的 2*n 矩陣： 𝑆 = 8. 𝑎). ⋯. 𝑎-. 𝑏). ⋯. 𝑏-. ;. 旋轉矩陣𝑅. 為：(𝜃為特徵點與質心形成的向量與 X 軸的夾角) 𝑐𝑜𝑠𝜃 𝑅. = = 𝑠𝑖𝑛𝜃 旋轉後的矩陣為：. 11. −𝑠𝑖𝑛𝜃 B 𝑐𝑜𝑠𝜃.

(20) 𝑆. = 𝑅. 𝑆 上述方法稱作 Steered BRIEF，雖然改善了 BRIEF 的旋轉不變性，然而區分能力卻降低，使得匹配效果卻不如 BRIEF 演算法。為解決上述問題，ORB 採用 Rotated BRIEF 方法在圖像上建立約 30 萬個特徵點，以特徵點為中心取 31*31 的區域作為父窗口，父窗口存在(31 − 5 + 1)+ 個子窗口，從中隨機挑選 2 個非重複區域大小為 5*5 的子窗口計算其灰度均值，重複挑選𝐶+/+0 次則得到長度𝐶+/+0 的二進制編碼串，所有特徵點可構成 30 萬*𝐶+/+0 的矩陣。過去實驗可歸納當矩陣中每一行向量的二進制編碼均值越接近 0.5，特徵匹配的區分能力越顯著，因此我們從𝐶+/+0 中挑選出 256 個二進制編碼串作為最終結果，篩選步驟如下： 1. 對矩陣中的每一行取均值，並根據均值與 0.5 之間的差由小到大重新排序。 2. 取排序後的矩陣中的第一行放到新矩陣中。 3. 取排序後的矩陣中的下一行對新矩陣的所有行向量進行相似比較，如相似係數小於設定閥值，則將排序後的矩陣中的下一行放到新矩陣中，反之捨棄。 4. 重複上述步驟，直至新矩陣中存在 256 個行向量，如比較結束後新矩陣中的行向量數依舊不滿 256 個，則增加閥值重新進行相似比較直至新矩陣中存在 256 個行向量。最終獲得一高區分能力的隨機對點矩陣。. 過去 ORB [8]也用於匹配錶盤，如圖 2-6 所示，設置閾值以分割指針後使用角度計算錶盤數值。上述方法可以在一般環境中獲得高度準確的結果，但是，來自外部環境的干擾（例如不均勻的光線或骯髒的錶面）會導致指針和數字模糊，從而大大降低了辨識的準確率。. 12.

(21) 圖 2-6 ORB 圖像匹配示意. 2.3 讀值計算錶盤讀值計算多分為幾種方法，而大多數方法皆為圖像二值化後在分割的指針上找尋特徵。過去計算錶盤數值的方法有將錶盤的中心與指針的中心連接以形成一條線，然後通過從坐標軸計算角度來計算錶盤數值。亦有從分割後的錶盤找尋指針的尖端和質心，最後通過計算指針與坐標軸之間的角度來計算錶盤數值。而在[2-5]中，使用霍夫變換偵測指針，然後獲取旋轉角度以找到該值，如圖 2-7 所示。. (a). (b). 圖 2-7 （a）圖像二值化，（b）霍夫變換偵測指針，灰線為指針的延伸線. 13.

(22) 2.4 圖像視覺發展最幾年，在計算機視覺領域中卷積神經網路(CNN)已成為用於物件辨識的主流，自從 AlexNet [9]在 2012 年 ImageNet 競賽中獲得冠軍以後，卷積神經網路便開始引起人們的廣泛關注並蓬勃發展。基於卷積神經網路擴展了許多強大的圖像辨識網路，例如 VGGNet [13] 和 ResNet [14]。與傳統的特徵提取方法不同，卷積神經網路使用大量訓練資料來訓練神經網路以自動提取圖像特徵，與傳統的特徵提取方法相比，卷積神經網路大大提高了目標辨識的準確率。. 14.

(23) 第三章. 研究方法. 本節中將介紹一種輕量化卷積神經網路具經濟效益的自動讀錶器，用於辨識指針式電錶並應用於邊緣裝置上。我們並沒有針對指針做辨識，相反的，我們使用卷積神經網路直接從整個錶盤中提取特徵，與過去相比，我們通過卷積神經網路自動提取特徵，以提高模糊圖像辨識的準確率，所提出的方法包含三個階段，包括錶盤偵測，傾斜校正和錶盤辨識，如圖 3-1 所示。. 錶盤偵測. 傾斜校正. 錶盤辨識圖 3-1 本文提出的自動讀錶器的流程. 3.1 錶盤偵測所提出的指針式電錶讀錶器的第一階段是偵測電錶上的五顆錶盤。我們首先捕獲指針式電錶的圖像，將捕獲的 RGB 圖像轉換為灰度圖像，並使用高斯模糊消除噪聲，然後使用霍夫變換[11]偵測錶盤。. 為了使用霍夫變換搜索可能的錶盤，我們限制了欲搜索圓圈的最小和最大半徑，另外，我們指定圓心之間的最短距離是最小半徑的兩倍，以濾除重疊的圓，當滿足要求時，我們. 15.

(24) 對該圓上的所有像素進行投票，並在霍夫空間的矩陣中記錄每個像素的投票數，當通過霍夫變換搜索的圓數量超過五個時，我們選擇投票數最高、第二高的候選圓，並將兩個圓的中心連接成一條直線，然後我們計算出每個圓心和直線之間的最短距離，以濾除太遠的圓，最後我們得到相互緊密的五個錶盤，如圖 3-2 所示。. 圖 3-2 白色圓圈是在累積器中具有最高和第二高票數的候選圓圈，紅色圓圈是最後確定的五個錶盤，綠色圓圈是經過過濾的錶盤。. 3.2 使用幾何圖像變換進行傾斜校正如果獲得的五個錶盤不在水平面上，則第二階段將執行傾斜校正。在獲得五個錶盤的中心和半徑之後，我們計算連接最左邊和最右邊錶盤中心的直線斜率，然後使用反正切函數查找直線和水平軸之間的角度，最後，我們記錄每個圓心向著夾角移動半徑距離的坐標點，如圖 3-3 所示。我們將圖像的中心點用作仿射變換[12]的旋轉中心校正傾斜圖像，以使五個錶盤在水平面上，如圖 3-4 所示。傾斜校正圖像有助於我們在下一階段辨識錶盤讀值時獲得更準確的結果。. 16.

(25) 圖 3-3 紅色圓點表示每個錶盤的中心點，藍色圓點表示每個錶盤的中心點朝著夾角移動半徑距離的坐標點。. 圖 3-4 仿射校正後的電錶錶盤. 進行傾斜校正後，我們在電錶圖像中分割了五個錶盤，然後通過卷積神經網路辨識這些錶盤的值。由於仿射變換後的電錶圖像使我們無法使用原始半徑分割錶盤，因此我們可以使用先前記錄的藍點坐標重新計算錶盤半徑以正確分割錶盤，如圖 3-5 所示。. 17.

(26) 圖 3-5 仿射變換後正確分割錶盤. 3.3 錶盤辨識高精度的卷積神經網路模型，例如 VGG16 [13]、ResNet50 [14]、Inception[16]、 Densenet[17]、Xception[18]，由於其大量的參數和計算量而不適用於邊緣設備，考慮到錶盤的特性相對簡單，辨識工作必須在邊緣設備上進行，我們提出了一種基於 LeNet [15]的輕量化卷積神經網路，它由四個卷積層，四個池化層，兩個完全連接層以及輸出層，如圖 3-6 所示。. 圖 3-6 用於辨識錶盤數值的輕量化卷積神經網路. 在圖 3-6 中，卷積神經網路將原始錶盤圖像壓縮至 64*64*3 的大小，在第一層卷積層設定 8 個大小為 5*5 的濾波器(kernel map)對每個像素做卷積運算，第一層卷積層輸出 8 張 18.

(27) 大小為 64*64 的特徵圖(feature map)，隨後通過大小為 2x2 的濾波器(pooled feature map) 進行最大池化法(max pooling)，將特徵圖做最大化降維計算，目的是將圖片資料量減少並保留重要資訊，重複 4 次上述的步驟，而每進行一次卷積層時，濾波器數量以倍數增加。. 以本實驗當作例子，通過全連接層前要先轉成一維陣列，因此將卷積運算和池化運算後得到的特徵圖扁平化後輸出至全連接層，1024(4*4*64)個神經元則作為全連接層的輸入端，通過隱藏層的 32 個神經元後，最終輸出層由兩個神經元組成，這兩個神經元分別負責輸出錶盤數值和指針方向。. 我們分配兩個神經元分別輸出錶盤數值和指針方向的原因描述如下，我們收集了錶盤圖像作為輸入，以訓練卷積神經網路進行迴歸預測。最初，我們以從 0 到 9.9 的數字順序標註錶盤，如圖 3-7（a）所示，這些數字分為 10 個相等的部分，精確到小數點後一位。我們發現了一個問題，其中指針為 9.9 時的圖像與指針為 0.0 時的圖像非常相似，但是它們表示的值卻非常不同，以數字順序標註圖像將在相似圖像上產生不連續的值，從而導致收斂性差和錯誤率更高。為了解決上述問題，我們給指針賦予與其水平映射方向相同的值，如圖 3-7（b）所示。. (a). (b). 圖 3-7 （a）在相似圖像上產生不連續值的初始標記方法，（b）修改後的標記方法這就是為什麼我們需要兩個神經元分別在最終輸出層中輸出錶盤數值和指針方向的原因。指針方向表示指針在錶盤的左半部分或右半部分，另外，正如我們前面提到的，錶盤有兩個方向，順時針和逆時針。第一個（最左邊）是順時針方向，第二個是逆時針方向，. 19.

(28) 第三個是順時針方向，第四個是逆時針方向，最後一個（最右邊）是順時針方向。因此，在通過神經網路獲得指針的值和方向之後，我們仍然需要知道錶盤的位置以獲得最終的正確值。. 3.4 系統配置在硬體設備方面，過去相關文獻提出將行動電話[10]用作邊緣設備，價格實在太昂貴了，考慮到成本，我們選擇了 Raspberry Pi 3B 作為邊緣設備。由於電錶通常放置在黑暗的地方，因此我們選擇了具有紅外夜視功能的攝影鏡頭模組，如圖 3-8（a）所示，該模組具有 500 萬像素和自動對焦功能。另外，為了檢查佈建是否正常，我們在 Raspberry Pi 上安裝了一個 LCD 模組，如圖 3-8（b）所示。如果安裝正確且程序正常執行，則 LCD 會顯示辨識結果，否則錶盤數值將無法正常顯示。. （a）. （b）. 圖 3-8 （a）具有紅外夜視功能的攝影鏡頭模組，（b）LCD1602. 20.

(29) 第四章實驗結果. 4.1 實驗環境與裝置簡介提出的輕量化卷積神經網路由配備 Intel®Core™ i7-4790 CPU 和 NVIDIA®GeForce®GTX Titan X GPU 的伺服器進行訓練。我們使用 Raspberry Pi 3B 作為邊緣設備，它具有 ARM Cortex-A53 CPU，包含以 1.2 GHz 運行的 4 個內核和 1 GB 內存。. 4.2 訓練我們總共收集了 2089 張大小不等的 RGB 圖像，平均大小約為 400 * 400 個像素，其中 30％是訓練和驗證樣本，其餘 70％被用作測試樣本，圖 4-1 顯示了一些訓練數據樣本。在訓練階段，我們隨機給出不同的亮度值，並自動在較小範圍內生成水平和垂直偏移圖像，以增加訓練樣本。我們將數據集劃分為 2：1：7 的比例進行訓練、驗證和測試，其中我們使用更多的測試數據來證明所提出的卷積神經網路可以適應許多不同的環境。. 21.

(30) 圖 4-1 指針式電錶的錶盤數據集. 4.3 測試表 4-1 比較了這兩種標註方法的準確率，其中 EMCNNv1 表示數字順序標註方法，而 EMCNNv2 表示水平映射標註方法。第一列顯示公差範圍，第二列和第三列分別顯示 EMCNNv1 和 EMCNNv2 在不同公差範圍內的精度。結果表明，在 0〜0.2 的公差範圍內，水平映射標註方法的精度比順序標註方法的精度高 12.8％。. 表 4-1 兩種標註方法的準確率比較 EMCNNv1 (數字順序標註方法). EMCNNv2 (水平映射標註方法). 準確率. 準確率. 0~0.2. 75.4%. 88.2%. 0~0.4. 92.5%. 97.67%. 0~0.6. 95.54%. 98.41%. 0~0.8. 97.02%. 98.74%. 公差範圍. 22.

(31) 圖 4-2 兩種標註方法的累積誤差. 另外，我們測試了另外 343 張錶盤圖像作為測試數據，並根據以下指標將結果與[6]進行了比較，這些指標包括不良分割的數量，誤報的數量和經過的時間。錯誤分割的數量表示無法找到五個錶盤的圖像總數，而誤報的數量表示具有錯誤預測的錶盤總數，而經過的時間是完成整個過程所花費的時間。. 我們選擇[6]作為比較對象，因為[6]像我們一樣辨識了指針錶盤。在[6]中，自動讀取錶盤的過程分為兩個步驟，第一步是在圖像中搜索錶盤的位置，第二步是在錶盤中分割指針。在[6]中，使用 HARRIS / Brief 和 SIFT 查找五個錶盤的區域，前者使用 Harris Corner 在參考圖像中找到角點，然後使用 Binary Robust Independent Elementary Features（BRIEF）來匹配參考圖像和捕獲圖像的角點以找到錶盤的區域，後者使用尺度不變特徵轉換（SIFT）查找參考圖像的特徵點，並對捕獲的圖像執行暴力匹配，以找到與錶盤匹配的區域。通過上述方法獲得錶盤區域後，將該區域劃分為五個相等的部分，以獲得五個錶盤。最後，對於每個錶盤，作者找到了指針的質心和尖端，並使用質心和尖端的連線相對於 x 軸的角度獲得了錶盤讀數。表 4-2 顯示了與[6]的比較結果。[6]中的實驗是在配備 Intel®Core™ i5，時脈為 2.4 GHz，運行 Arch-Linux 的 4Gb RAM 的筆記型電腦上進行的，而我們的實驗是在 Raspberry Pi 3B. 23.

(32) 上進行的。實驗結果表明，與[6]相比，所提出的輕量化卷積神經網路在分割錯誤，誤報和經過時間方面有顯著改善。. 表 4-2 與相關研究的比較. Total of meter images. HARRIS/BRIEF[6]. SIFT/SIFT[6]. Our EMCNNv2. 141. 141. Bad segmentations. 48% ()2)). 22% ()2)). 343 ++ 6.41% (323). False positives (dials). 12% ((/2∗,)). 11% (())*∗,)). 1.05% ((3+)∗,)). Elapsed time (sec) per image. 9.58. 3.81. 2.83. 1/. 3). 23. 1). 24. )/.

(33) 第五章結論與未來展望. 5.1 結論在本文中，我們提出了一種使用輕量化卷積神經網路且具經濟效益的自動讀錶器。為了輕鬆安裝並提高後續錶盤辨識的準確率，提出的錶盤讀錶器具有自動調整傾斜錶盤圖像的能力。我們提出的輕量化卷積神經網路可以在不清晰的環境中提高錶盤辨識的準確率，並且可以在邊緣設備（如 Raspberry Pi）上實現。與相關方法相比，我們提出的自動讀錶器在準確率和速度上都有了很大的提高。. 5.2 未來展望針對實驗方法與結果，整理出以下心得作為改善方向：現今研究已發展出許多基於卷積神經網路的 One Stage 目標分割方法，改用 One Stage 目標分割方法配合 Squeezenet、Mobilenet、Shufflenet 等，藉由新穎的目標分割技術能應用在錶盤偵測上，希望能以維持準確率與效能的情況下，獲得更好的錶盤偵測泛化性。. 25.

(34) 參考文獻. [1]. D. Shu, S. Ma, and C. Jing, "Study of the Automatic Reading of Watt Meter Based on Image Processing Technology," 2007 2nd IEEE Conference on Industrial Electronics and Applications, Harbin, China, pp. 2214-2217, 2007.. [2]. J. Han, E. Li, B. Tao, and M. Lv, "Reading recognition method of analog measuring instruments based on improved hough transform," IEEE 2011 10th International Conference on Electronic Measurement & Instruments, Chengdu, China, pp. 337-340, 2011.. [3]. J. Chi, L. Liu, J. Liu, Z. Jiang, and G. Zhang, "Machine Vision Based Automatic Detection Method of Indicating Values of a Pointer Gauge," Mathematical Problems in Engineering, vol. 2015, pp. 19, 2015.. [4]. K. Cheng, Y. Zhang, H. Zhang, and J. Huang, "Research on Image Processing Technology Based on Analog Head Reading," 2019 Chinese Control And Decision Conference (CCDC), Nanchang, China, pp. 2265-2269, 2019.. [5]. H. Lai, Q. Kang, L. Pan, and C. Cui, "A Novel Scale Recognition Method for Pointer Meters Adapted to Different Types and Shapes," 2019 IEEE 15th International Conference on Automation Science and Engineering (CASE), Vancouver, BC, Canada, pp. 374-379, 2019.. [6]. R. Ocampo-Vega, G. Sanchez-Ante, L. E. Falcón-Morales, and H. Sossa, "Image Processing for Automatic Reading of ElectroMechanical Utility Meters," 2013 12th Mexican International Conference on Artificial Intelligence, Mexico City, pp. 164-170, 2013.. [7]. M. Souare, F. Merat, and C. Papachristou, "Efficient way of reading rotary dial utility meter using image processing," ASEE 2014 Zone I Conference, Bridgpeort, CT, USA, April 3-5, 2014.. [8]. Z. Yang, W. Niu, X. Peng, Y. Gao, Y. Qiao, and Y. Dai, "An image-based intelligent system for pointer instrument reading," 2014 4th IEEE International Conference on Information Science and Technology, Shenzhen, China, pp. 780-783, 2014.. [9]. A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," Advances in neural information processing systems, pp. 1097-1105, 2012.. [10] Y. Tang, C. Ten, C. Wang, and G. Parker, "Extraction of Energy Information From Analog Meters Using Image Processing," in IEEE Transactions on Smart Grid, vol. 6, no. 4, pp. 2032-2040, July 2015. [11] R. O. Duda and P. E. Hart, "Use of the Hough transformation to detect lines and curves in picture," Commun. ACM, vol. 15, pp. 1115, 1972. [12] C. Zheng, S. Wang, Y. Zhang, P. Zhang, and Y. Zhao, "A robust and automatic recognition system of analog instruments in power system by using computer vision," Measurement, vol. 92, pp. 413-420, 2016. [13] K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," In ICLR, 2015. [14] K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," arXiv preprint arXiv:1512.03385, 2015. 2, 5, 6. [15] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-Based Learning Applied to Document Recognition," Proc. IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998. [16] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going deeper with convolutions," CoRR, abs/1409.4842, 2014. [17] G. Huang, Z. Liu, K. Q. Weinberger, and L. Maaten, "Densely connected convolutional networks," In CVPR, 2017. [18] F. Chollet, "Xception: Deep learning with depthwise separable convolutions," In CVPR, 2017.. 26.

(35) [19] S. M. Desa and Q. A. Salih, "Image subtraction for real time moving object extraction," Proceedings. International Conference on Computer Graphics, Imaging and Visualization(CGIV), Penang, Malaysia, pp. 41-45, 2004. [20] H. Feng and J. Zhao, "Application Research of Computer Vision in the Auto-Calibration of Dial Gauges," 2008 International Conference on Computer Science and Software Engineering, Hubei, pp. 845-848, 2008. [21] J. Lee, S. Lim, J. Kim, B. Kim and D. Lee, "Moving object detection using background subtraction and motion depth detection in depth image sequences," The 18th IEEE International Symposium on Consumer Electronics (ISCE 2014), JeJu Island, pp. 1-2, 2014. [22] O. E. Harrouss, D. Moujahid and H. Tairi, "Motion detection based on the combining of the background subtraction and spatial color information," 2015 Intelligent Systems and Computer Vision (ISCV), Fez, pp. 1-4, 2015. [23] A. S. Mohan and R. Resmi, "Video image processing for moving object detection and segmentation using background subtraction," 2014 First International Conference on Computational Systems and Communications (ICCSC), Trivandrum, pp. 288-292, 2014. [24] E. Komagal, A. Vinodhini, Archana and Bricilla, "Real time Background Subtraction techniques for detection of moving objects in video surveillance system," 2012 International Conference on Computing, Communication and Applications, Dindigul, Tamilnadu, pp. 1-5, 2012. [25] P. Gujrathi, R. A. Priya and P. Malathi, "Detecting Moving Object Using Background Subtraction Algorithm in FPGA," 2014 Fourth International Conference on Advances in Computing and Communications, Cochin, pp. 117-120, 2014. [26] L. Cao and Y. Jiang, "An Effective Background Reconstruction Method for Video Objects Detection," 2012 Third International Conference on Networking and Distributed Computing, Hangzhou, pp. 161-165, 2012. [27] X. Mai, W. Li, Y. Huang and Y. Yang, "An Automatic Meter Reading Method Based on One-dimensional Measuring Curve Mapping," 2018 IEEE International Conference of Intelligent Robotic and Control Engineering (IRCE), Lanzhou, pp. 69-73, 2018. [28] D. G. Lowe. Distinctive image features from scale-invariant keypoints. IJCV, 60(2):91-110, 2004. [29] E. Rublee, V. Rabaud, K. Konolige, G. Bradski, "ORB: An efficient alternative to SIFT or SURF", Proc. IEEE Int. Conf. Comput. Vis., pp. 2564-2571, 2011. [30] E. Rosten, T. Drummond, "Fusing Points and Lines for High Performance Tracking", Proc. 10th IEEE Int'l Conf. Computer Vision, vol. 2, pp. 1508-1515, 2005. [31] E. Rosten, T. Drummond, "Machine learning for high-speed corner detection", Proc. 9th European Conference on Computer Vision (ECCV'06), May 2006. [32] A. Neubeck, L. Van Gool, "Efficient Non-Maximum Suppression", Proc. 18th Int'l Conf. Pattern Recognition, 2006. [33] M. Calonder, V. Lepetit, C. Strecha, and P. Fua. Brief: Binary robust independent elementary features. In In European Conference on Computer Vision, 2010. 1, 2, 3, 5. 27.

(36) 自. 傳. 郭冠毅，1994 年出生於臺北市。 l. 台北市南湖國小. l. 台北市立明湖國中. l. 臺北市立內湖高工. l. 私立亞東技術學院電機工程系. l. 國立臺灣師範大學電機工程學系研究所. 學 l. 術. 成. 就. Cheng-Hung Lin and Kuan-Yi Kuo, "A Cost-Effective Automatic Dial Meter Reader Using a Lightweight Convolutional Neural Network", in Proc. of IEEE International Conference on Human System Interaction (IEEE HSI 2020), Tokyo, Japan, 6-8 June, 2020.. 28.

(37)