動態多標的車牌辨識系統之研究

(1)

元智大學

資訊研究所

碩士論文

動態多標的車牌辨識系統之研究

Motion Based Multiple Vehicle License Plate Recognition

研究生：魏銪志指導教授：李錫捷

中華民國八十九年六月

(2)

動態多標的車牌辨識系統之研究

Motion Based Multiple Vehicle License Plate Recognition

研究生：魏銪志 Student：Yu-Chih Wei

指導教授：李錫捷 Advisor：Dr. His-Chieh Lee

元智大學資訊研究所資訊管理組

碩士論文

A Thesis

Submitted to Institute of Information Yuan-Ze University

In Partial Fulfillment of the Requirements For The Degree of

Master In Informatics

June 2000

Chung-Li, Taiwan, Republic of China

中華民國八十九年六月

(3)

(4)

(5)

博碩士論文電子檔案上網授權書

(提供授權人裝釘於紙本論文書名頁之次頁用)

本授權書所授權之論文為授權人在元智大學（學院）資訊研究系所資訊管理組八十八學年度第二學期取得碩士學位論文。

論文題目：動態多標的車牌辨識系統之研究

指導教授：李錫捷博士

茲同意將授權人擁有著作權之上列論文全文（含摘要），非專屬、無償授權國家圖書館及授權人畢業學校之圖書館，不限地域、時間與次數，以微縮、光碟或其他各種數位化方式將上列論文重製，並得將數位化之上列論文以上載網路方式，提供讀者基於個人非營利性質之線上檢索、閱覽，或並下載、列印。

□ 讀者基於非營利性質之線上檢索、閱覽或下載、列印上開論文，應依著作權法相關規定辦理。

授權人

姓名：（請簽名並蓋章）

中華民國八十九年六月二十九日 ˇ

(6)

授權書

(博碩士論文)

本授權書所授權之論文為本人在元智大學(學院) 資訊研究系所資訊管理組八十八學年度第二學期取得碩士學位之論文。

論文名稱：動態多標的車牌辨識系統之研究

□同意 □不同意

本人具有著作財產權之論文全文資料，授予行政院國家科學委員會科學技術資料中心、國家圖書館及本人畢業學校圖書館，得不限地域、時間與次數以微縮、光碟或數位化等各種方式重製後散布發行或上載網路。

本論文為本人向經濟部智慧財產局申請專利的附件之一，請將全文

資料延後兩年後再公開。（請註明文號：）

□同意 □不同意

本人具有著作財產權之論文全文資料，授予教育部指定送繳之圖書館及本人畢業學校圖書館，為學術研究之目的以各種方法重製，或為上述目的再授權他人以各種方法重製，不限地域與時間，惟每人以一份為限。

上述授權內容均無須訂立讓與及授權契約書。依本授權之發行權為非專屬性發行權利。依本授權所為之收錄、重製、發行及學術研發利用均為無償。上述同意與不同意之欄位若未鉤選，本人同意視同授權。

指導教授姓名：李錫捷博士

研究生簽名：學號： 874763

（親筆正楷）（務必填寫）

日期：民國 89 年 6 月 29 日

──────────────────────────────────

1.本授權書請以黑筆撰寫並影印裝訂於書名頁之次頁。

2.授權第一項者，請再交論文一本予畢業學校承辦人員或逕寄 106-36 台北市和平東路二段 106 號 1702 室國科會科學技術資料中心王淑貞。(本授權書諮詢電話:02-27377746)

3.本授權書於民國 85 年 4 月 10 日送請內政部著作權委員會(現為經濟部智慧財產局修正定稿)。

4.本案依據教育部國家圖書館 85.4.19 台(85)圖編字第 712 號函辦理。

ˇ

(7)

動態多標的車牌辨識系統之研究

學生：魏銪志指導教授：李錫捷

元智大學資訊研究所資訊管理組

摘要

目前在車牌辨識系統的應用上，大多在高速公路、收費停車場以及社區大樓停車場的應用等，當環境控制得當時，其辨識率達到九成以上，

但大多仍受限於環境及天候因素，至今仍無法達到百分之百的辨識率。

本研究所希望能夠希望能夠協助警調單位於贓車查緝或道路可疑車輛的過濾，與一般車牌辨識系統的不同處為所擷取的影像背景複雜度較高，且可能同時擷取到一部以上的車輛，因此需要在處理時，過濾更多的無用影像物件，保留有用的車牌影像供後續牌照辨識之用。

針對多目標判定、反向判定及車輀屬性各階段皆有九成以上的辨識率，在車號辨識率方面，在單目標與多目標影像亦有 91.77%與 88.58%的辨識率。

關鍵字：汽車牌照自動辨識、樣型識別、光學字元閱讀、類神經網路

(8)

Motion-based Multiple Targets Vehicle License Plate Recognition

Graduate Student：Yu-Chih Wei Advisor：His-Chieh Lee and

Graduate of Information Yuan-Ze University

Abstract

License plate recognition systems may be deployed in a variety of applications such as, highway toll systems, traffic control systems, or parking lot management systems. Due to the volatile work environments, it is not practical for a system to claim 100% recognition rate. However, under the circumstances where the environment is controlled to a certain degree, it is not uncommon for the vehicle license plate recognition rate to reach the level of 90s.

Most commonly available license plate recognition systems recognize only static pictures. In this study, a motion-based multiple targets vehicle license plate recognition prototype is proposed. Multiple-frames of pictures are used for recognition. As a result, the time for preprocessing stages is critical and developing time-efficient algorithms become more important. This prototype is designed mainly for specific car-search that should be helpful for many organizations such as police departments or highway patrol departments.

In this study, a real time hybrid approach is proposed for motion-based multiple targets vehicle license plate recognition. A system prototype will be built which can be used independently or cooperating with current vehicle identification system in identifying a vehicle. The prototype consists of four major modules, including the module for image processing, the module for license plate region identification, the module for character extraction, and the module for pattern recognition called SimNet.

Keyword: Vehicle License Plate Recognition, Pattern Recognition, Neural Networks, Vehicle Identification Number, Computer Vision, SimNet

(9)

誌謝

研究所的兩年，充實、忙碌、短暫的兩年，一晃眼就過了。這段期間我學到很多研究或實務上的專業知識，也習得了許多待人處事的道理，使我得以從容的面對各種艱難與挑戰。

首先我要感謝我的指導教授李錫捷老師，在我的研究遇到困難時，

老師適時的指導，使我得以順利解決所遇到的難題。在影像處理部份的問題，非常感謝陳淑媛老師在影像處理課程中的指導，充實我在影像處理領域的專業知識。另外曾守正老師與盧以詮老師的撥冗賜教，並給予我許多寶貴的意見，使論文得以順利完成。

能成為計算式智慧實驗室的一員，心裡感到十分的幸運。同學與學弟妹們相處十分融洽，與超煒與顯正兩年的共同學習，從討論中讓我得到許多寶貴的知識。在研究上，更是感謝仲崇實學長提供我很多系統實作上的指導，讓我得以順利完成系統。

最後，感謝我的家人與朋友的支持，讓我於求學期間得以無後顧之憂。謹將本篇論給獻給各位曾經支持我的人，因為你們的支持，使我得以順利完成此論文。

(10)

圖目錄

圖 1：即時視覺系統於車輛偵測與追蹤架構... 11

圖 2：H. A. Hegt 等人的研究架構 ... 16

圖 3：BAM 網路架構... 17

圖 4：系統架構圖 ... 21

圖 5：Sobel 運算元 ... 24

圖 6：(a) 原圖 (b) 結構元件 (c) Dilation 後 (d) Erosion 後 ... 25

圖 7：線所劃過的部份灰階轉換次數為 18 ... 27

圖 8：車牌二值化後影像 (a).自用小客車 (b) 營業大客車... 29

圖 9：反向錯誤的情況 (a)車牌角度過大 (b)車牌標示錯誤 ... 30

圖 10：車牌屬性判定 (a)二值化影像 (b)車牌彩色影像 ... 31

圖 11：(a) 4-connectivity (b) 8-connectivity 的確認區域 ... 33

圖 12：Hough Transform (a) 空間中的直線 (b) ρ,θ 參數... 34

圖 13：(a)進行高度調整前 (b)進行高度調整後... 36

圖 14：(a)寬度調整即進行正規化的 (b)經寬度調整再正規化 .. 37

圖 15：SimNet 辨識流程 ... 50

圖 16：字元影像，以「2」為例... 51

圖 17：SimNet 字元學習學習系統... 51

表目錄

表格 1：Margrit Betke 等人研究結果之平均運算時間... 12

表格 2：現有車輛牌照色彩配置[13]... 14

表格 3：研究設備列表... 43

表格 4：單車輛影像辨識率統計表... 45

表格 5：多車輛影像辨識率統計表... 46

表格 6：SimNet 字元訓練 12x24 數字 ... 47

表格 7：SimNet 字元訓練 16x16 數字 ... 47

表格 8：SimNet 字元訓練 12x24 英文字... 48

表格 9：SimNet 字元訓練 16x16 英文字... 49

表格 10：640x480 車輛號碼辨識率統計表 ... 50

表格 11：1280x1024 車輛號碼辨識率統計表... 50

(13)

第一章緒論

1.1 研究背景

現今工商發達的社會裏，車輛仍是最常被使用的交通工具之一，廣為大家所使用的主要原因為其便捷性。為了追求便捷，許多人紛紛以汽車代步，但在車輛使用頻繁的情況下，衍生出了相當多的交通問題，諸如：超速、肇事逃逸、闖紅燈以及汽車竊盜等情形。在上述的問題發生之後，要分辨肇事或欲追蹤車輛最快速且方便的方法為利用車牌號碼唯一的特性。其他諸如車輛的特徵如顏色、車型等雖都不是唯一的特性，

但卻也能協助縮小侯選子集的大小，可有效輔助車輛識別之用。

車輛牌照，就像是每個人的身份証一樣，在每部車輛上的牌照都必須是唯一的，且一定不能有重覆的情形發生，如果有重覆的情形，必須作更正，通常如有重覆的情形，則可能為典型的 A/B 車，即一般所謂的南北車。如發現這類情形警察單位必須加以偵緝或調查。

與一般傳統的車輛辨識系統不同的是，自動車牌辨識系統所依據的不是傳統的 RF、微波、或紅外線等技術。主要利用待測物的實際現場影像，傳統的技術必須先將唯一編號儲存於應答器之中，當待測物通過設置於定點的讀取設備擷取應答器的訊號，以確認待辨認車輛的身份。這類的技術通常最常應用於自動扣款系統，而最具代表性的應用為高速公路無人收費系統，在台灣的實地應用為北二高的電子收費系統，如此將簡化使用者的付費方式，更可有效增加車流量。

(14)

利用應答器作為自動車輛辨識，可能由於高速通行造成辨識失敗，

因此一般為了解決這類的問題都再加裝一套監視系統，以擷取超過速限或未安裝應答器之車輛影像。而辨識這些車輛之身份，主要利用人眼進行判讀車號的工作，利用人眼辨識可謂相當可靠，可以解決大多數模糊不清影像車號的判讀問題，但由於人眼辨識的效率受限於人的處理速度，且工作時間愈長，容易因為眼睛的疲累，使得辨識效率愈差，無法有效提升辨識速率。因此傳統的自動車輛辨識系統仍有許多無法克服的問題如：

Ø 應答器可靠度。

Ø 應答器容易被盜拷。

Ø 不同系統間的整合。

Ø 後處理的效率問題。

目前在市面上有了許多的車牌辨識系統的產品[1][2][3][4]，其主要應用的場所大多在高速公路、收費停車場以及社區大樓停車場等。雖然辨識率大多可達九成以上，然而由於受限於車牌辨識系統的一些瓶頸，諸如辨識率與速度，透過這些因素的影響，一直無法受到廣泛的運用。

直到最近幾年，由於相關辨識法則的改進，使辨識能力大大提升，

及相關軟硬體升級速度飛快，使得 PC-based 的自動車牌辨識系統可以更快速的將車牌號碼辨識出並且完整的結合原有停車管理系統或公路車輛監控系統。因此近幾年來運用漸漸廣泛，可以在臺北市許多的大型停車場及重要路段上看到它們的蹤跡，這充份的表示此一科技以漸臻至成熟階段。

利用車牌辨識系統的搭配可以產生許多的衍生應用，諸如：

Ø 交通流量偵測與規劃

(15)

Ø 失竊車輛查緝

Ø 停車收費點的通行安全與控制 Ø 違規執法的加強

以上應用皆對社會具有相當程度的貢獻，可有效的節省許多的人力、物力及財力的浪費。

1.2 研究動機

1.2.1 傳統車輛查緝方式耗費人力

近年來台灣地區汽車成長快速[5]，同時造成了許多的交通問題，較為大家所關心的為交通事故與車輛竊盜等問題。警政單位也投入了相當大的心血在交通事故的預防與竊盜車輛的尋找等，但成效有限。以交通事故為例，目前為防止上述問題的做法有下列幾種：

Ø 於重要路段架設交通號誌。

Ø 設立自動超速或闖紅燈照像。

Ø 警車巡邏。

在自動超速與闖紅燈照像設備廣泛引用之前，主要依靠警力的巡邏，由於受限於警力的不足，使得成效往往不彰。直到自動超速或闖紅燈照像設備的引進，以其精密的照像設備，可將違規車輛透過高速照像機將影像快照下來，再定期將違規車輛資料透過郵寄方式寄出。透過這種新方式，可以有效節省警力的浪費，但在照片寄發給用戶前，查出每部違規車輛的車牌號碼與地址仍是一個十分浪費人力的工作。

另外在贓車的查緝上，警政單位可透過架設於重要路段的攝影機與

(16)

警車巡邏尋找等方式進行，但由於在道路上往來的車輛相當多並且車速也相當快，以人力幾乎無法在那麼短暫的時間內，將車號正確判讀並且找出是否為失竊車輛，因此需要投注相當多的人力在巡查上。雖然目前雖然都有配備查詢系統以供查詢失竊車輛之用，但仍然需要警員目視車牌號碼後再輸入查詢，使用上仍然不是很有效率。

1.2.2 現階段車牌辨識系統的瓶頸

目前不管是市面上可以看到的或是學術上關於車牌辨識系統的研究，大多是針對靜態的目標物，且通常僅針對影像中的單一車輛。雖然目前也有許多高速道路或贓車查緝系統的應用，但是在應用上仍如前述問題一般，無法同時針對同一影像中的多部車輛，同時也無法動態對一張張的影像進行比對。

在這些車牌辨識系統中，從觸發的機制來看，大多不外微波、壓力管、雷射、紅外線及感應線圈等，甚至有些系統還需要經人為手動的觸發系統進行辨識工作，在一般停車場的使用上以感應線圈為主，同時感應線圈也適用於高速公路的超速偵測照像或付費系統。在目前的應用上仍以感應線圈觸發為主，以要原因為低成本，準確性高[6]。但仍有許多方面的應用為利用傳統的感應線圈等技術是無法處理的，如果能夠單純藉由影像處理技術來進行車輛偵測的工作，由於其彈性較大，可適用於多種不用的應用類型上，但截至目前為止，這種應用方式較常被用於蒐集與分析交通流量上[7][8]

國內在車牌辨識的應用尚停留在停車場與車牌辨識系統的整合上 [9][10][11]，目前仍較少討論到道路偵測照像或贓車查緝的問題，主要的原因為前述的系統很容易在影像中有一個以上的目標物同時出現，以現

(17)

有的車牌辨識系統進行辨識的工作大多只能針對照片中較可能為車輛的影像區塊進行處理，容易造成作業不完全，而遺漏其他可疑的贓車。

然而在國內犯案(搶劫、綁架、竊盜)，贓車都成為主要的犯罪工具之一，只要能有效過濾贓車，一定能有效的降低犯罪率與提高破案率。雖然在李添貴[1]的研究中，提出了利用自動車牌辨識的方式在高速公路收費站查緝贓車，但國內至目前仍少有可架設於警用偵緝車輛上的系統，

因此如何設計一套可以辨識動態車輛又可適應於不同環境的自動車牌辨識系統，為本研究希望解決的問題。

1.3 研究目的

過去雖然有許多關於車牌辨識系統的相關研究，並且都得到豐碩的成果，大多的系統皆號稱可達到 90%以上[11][12]的準確度，其成果可謂相當豐碩，但仍然有不少研究限制。其中最大的問題在於無法同時對影像中的多車輛狀況進行辨識，同時在影像取得角度及影像取得的環境要求如背景複雜度、車輛位置等仍然受到許多限制[13]。本研究的主要目的有三，分別為：

Ø 自動偵測並擷取車輛影像

透過影像處理的技術，自動偵測出畫面上是否出現待辨識車輛，透過初步快速的掃描過濾所攝入的影像資料，當偵測到待測車輛時能夠快速的將影像擷取出，以提供後續處理。

但在實地的環境中，往往存在許多無法完全控制的變數諸如天候、

照明等，這些因素都可能造成車輛的偵測動作失敗或誤判，為解決這些無法控制的變數，我們利用了一些影像處理技術先將畫面不確定的變數

(18)

值降低，再進行自動偵測的動作。

Ø 對影像中多車輛進行辨識

透過 CCD 擷取到的影像資料可能包含有一個以上的目標物需進行辨識的工作，利用垂直與水平邊緣偵測的技術，以車牌位置為準，將車輛的大略外緣切割出來，再進行車牌辨識的工作。

由於各型車輛的外觀不盡相同，不容易透過固定的參數值完整標示出目標物的外型，因此在標示車輛外型時必須具有彈性，儘量以將全車影像取出為原則。

Ø 對複雜背景及雜訊具適應性

在實際的道路應用車牌辨識系統，經常容易在所拍攝場景中有許多類似車牌形狀與其灰階轉換距離的物體出現，這些可能為車輛上的裝飾物、標誌，或為道路兩旁的交通號誌或廣告等。如果有誤判的情形，會造成淬取時間的增加，或是導致後續辨識車牌號碼失敗。由於誤判將導致系統辨識時間過久，因此研究如何更適應複雜背景及雜訊，以有效減少系統資源浪費亦為本研究的目的之一。

1.4 研究範圍與限制

1.4.1 研究範圍

汽車失竊一直是各國極待解決的問題之一，警力不足使汽車失竊問題無法改善，雖然警車巡邏為警察同仁每天的工作之一，但由於資訊提供及查詢的不方便，常容易遺漏可疑車輛，使歹徒有機可乘，利用其所竊來的車輛進行非法的行為。為了有效輔助警察單位能夠利用警車巡邏時有效過濾可疑車輛為本研究所嘗試達成的理想。

(19)

由於本研究主要針對動態與多目標的車牌辨識，因此於本研究中將僅討論動態處理，與多目標的識別為主，其他靜態的應用則較少提及。

另外受限於系統處理速度的問題，本研究僅針對單一電腦，單一攝影機的情形進行討論，對於多部攝影機及平行處理的研究則不是本研究的重點。

1.4.2 研究限制

本研究的目的在於建立一適應力高、準確度高且適用於合理角度的偏斜處理上的系統，但本系統依然存在著一些困難點，這些問題可能造成系統在執行時產生例外的情形，使系統無法順利辨識影像中的車牌號碼。

動態取像造成模糊

由於車輛取像為動態的方式，且受到攝影機與影像擷取卡的影響，可能造成影像取像的交錯模糊，而造成系統辨識失敗。

與牌照外型相似之影像

由於車牌未懸掛或影像中並沒有車輛影像，且於影像中有類似車輛牌照影像之物件出現，可能導致系統誤判，並且作出錯誤的字元粹取步驟，以致使辨識系統完全無法發揮功能。

車牌污損、形變、及裝飾

車輛牌照污損的現象，將使得自動辨識系統於車牌定位與字元粹取步驟發生困難，而無法正確取出車牌字元資訊。

取像角度過大

取像角度過大，會造成字體嚴重偏斜，且同時因為車牌字元為「凸

(20)

起」的特性而造成與其他元件的連接，導致無法妥善標示與取出字元。

強光或影像對比過小

強光或對比過小，將可能使得利用現行的二值化效果不彰，導致車牌無法正確的定位，甚至會造成牌照字元粹取時出現嚴重的標示錯誤。

牌照影像過小

牌照的大小若不足以清楚表達文字，辨識系統便無法從中判讀正確的資料。

1.5 章節組織

本論文共分為五章，各章簡述如下：

壹. 緒論：緒論主要介紹本研究的研究背景與動機等。

貳. 文獻探討：探討先前論文所運用的方法與技術。

參. 研究架構與方法：陳述針對研究目標的研究架構與研究方法。

肆. 研究結果：這個部份將討論發開發出的雛型系統的執行成效，並與其他系統比較定位與辨識的準確度。

伍. 結論與建議：根據研究所得到的結果，闡述本研究對理論與實務應用上的貢獻，並提出未來後續研究的建議。

(21)

第二章文獻探討

2.1 車輛偵測

2.1.1 車輛偵測技術

車輛偵測的技術有很多種，一般在國內較為常見的是利用環路線圈偵測器、超音波偵測器及紅外線偵測器等方式[6] [7]，其中以前者於國內的應用最廣，不管在一般公路、省道或國道都可以見到。然而使用此類的外部設備驅動影像擷取，可能有兩個缺點：1.將偵測器放置到適當的位置可能有些許的困難；2.所擷取到的影像可能只是部份物體的影像。

除了上述幾種車輛偵測方式外，另有以影像處理技術來進行車輛偵測[14]，

主要應用於取得交通參數，車流之影像經由攝影機取得後，再透過傳輸系統將影像傳輸至控制電腦，利用影像處理的技術，可在整張影像中設定多個虛擬偵測器，每個個別虛擬偵測器皆能利用影像辨識方法決定車輛的出現與否，來判斷定點之車流量，之後再透過車流公式換算出其他的交通參數。

以影像處理模擬偵測器在交通控制系統之應用發展，在過去由於受限於處理器的速度，始終無法達成線上即時快速反應。但由於其具有自動化的潛力，對於各類交通控制系統，均能夠提供確實有效的評估結果。但其仍有一些阻礙問題需要解決：

1. 由於是以影像顏色變化與否來判斷車輛是否出現，是故天候變化、行人、動物、下雨、飄雪等因素皆可能造成誤判。

2. 交流堵塞時的暫停造成誤判。

3. 車輛顏色與道路頻色相似可能造成偵測失敗。

4. 由於彩色攝影機照度不足，導致夜間攝影失效。

(22)

5. 運算速度、精確率等問題。

2.1.2 動態車輛偵測

在動態車輛偵測技術的應用上，主要利用在車輛自動巡航(Intelligent Cruise Control)的用途上[15]，與一般傳統影像處理的車輛偵測方式的不同點在於，動態車輛偵測技術通常用於偵測設備也為移動的狀態，其所偵測影像背景亦經常改變，使得車輛偵測的工作更為困難。

動態車輛偵測的技術應用在即時系統上主要是希望能夠協助車輛駕駛員即時反應危險的狀況，此類視覺系統不但要快，而且需要保証在一定的時間內即時反應出狀況。其中在動態的像機中，移動的不只是影像中的目標物件，所有相關的物件、環境也都會跟著改變。

2.1.3 M. Betke 等人的研究

在 Margrit Betke, Esin Haritaoglu, Larry S. Davis[16]等人主要研究即時多車輛偵測與追蹤，此研究所發展出來的視覺系統可以即時辨識與追蹤灰階影像。此系統與一般研究不同之處為大多數的相關研究多瞄準於

「虛擬即時」，而此一研究利用一即時作業系統『Maruti』發展出來的即時辨識追蹤系統。

2.1.3.1 即時車輛偵測系統的三大元件

此視覺系統包含了以下三個部份：

車輛偵測器：負責識別影像中可能的車輛。

程式協調者：程式協調者負責建立追蹤程式以利處理每一部可能的

(23)

車輛並提供追蹤者這些可能車輛的大小和位置等相關資訊。

追蹤者：追蹤者負責分析歷史追蹤記錄先前的影像並且判定這些影像是否為車輛影像。

此系統在車輛識別的技術上，主要可分為以下兩個部份，1.辨識過往的車輛。2.辨識遠方的車輛。茲將分述於下：

2.1.3.2 辨識過往的車輛

當其他的車輛經過架設有攝影機的車輛時，通常佔了一個很大的影像畫面，並且會在很少的畫面數中造成巨大的亮度改變，我們可以利用這些事實來偵測並識別過往的車輛。

θ

>

− ₋

∑

^x^,^y∈^R^I^j⁽^x^,^y⁾ ^I^j ^k⁽^x^,^y⁾ ^{方程式 1}

2.1.3.3 辨識遠方的車輛

在遠方車輛的偵測上，通常在辨識較遠距離的車輛時為一個長方形的物件，而車輛的識別則利用尋找物件中水平與垂直邊界邊長比例為 7:5 的長方形物件。為了即時處理的考量，在辨識的演算法中包含了兩個程

圖 1：即時視覺系統於車輛偵測與追蹤架構[16]

(24)

式，一為粗糙尋找，而另一為細緻尋找。細緻尋找僅侷限於小範圍的區域影像，而粗糙尋找為對整個影像進行掃描，並進一步判斷是否需要進行細緻尋找。

2.1.3.4 研究結果

此研究最後採取實証研究法，由攝影機拍攝美國與德國高速公路影像近 3000 張，處理每張畫面影像平均花費 98 毫秒，大致上可以達到 10.2 畫面/每秒的速度。

影像區域方法時間

Edges 88 毫秒完整影像(每十個畫面)

Horizontal lines 35 毫秒 Differencing 1.2 毫秒 Passing cars 19 毫秒 Template match 105 毫秒視窗(window)

Tracking cars 2-35 毫秒

2.2 影像二值化

在進行影像處理時，由於彩色影像有著相當多的不同資訊，為了有效降低影像的資訊量與圖形所代表的複雜度，通常習慣上會將所要處理的影像進行二值化的動作，在車牌識別的過程中，由於目前現行於台灣的車牌號碼的字元基本上具有單一顏色的特性，因此如果想要將車牌上的字元與車牌分開，最簡單的是利用二值化的方法即可達成將字元與車牌分離的動作[11]，除此之外採用二值化亦可增加執行時的效率與節省記憶體的浪費[12]。

但由於受到擷取影像時，環境與攝影角度及亮度的關係車牌，使得表格 1：Margrit Betke 等人研究結果之平均運算時間[16]

(25)

字元與車牌的色階差異，不再如實際亮度對比的明顯，因此必須要有能夠適應不同環境狀況的特性。在[11][12][13]都證明了一般的簡單通用二值化[17]與一般的最佳化的二值化[17]並不足以應付一般程度的亮度變化與亮度對比不足的情況，並且都以 Otsu[18]的二值化方法為主，且 Otsu 的二值化方法在許多文獻中的評價都不錯。

之後陸續有許多改良二值化方法提出[19][20]，這些理論大多都為 Otsu 的二值化方法的改良，其基底都以其二值化法為主，另外輔以一些 histogram 的處理，以達成較佳的二值化效果，但需要多一個處理 histogram 的時間。

2.3 牌照屬性判定

在分離字元與車牌時，還存在一個問題，就是牌照屬確的確認，因為在牌照屬性未確認的情形下，分離不同類型的牌照，可能導致車牌號碼取出失敗，此一現象主要導因於不正常的二值化程式，影像二值化的結果的反向與否，完全視車輛的種類而定。就台灣地區的車輛牌照依其所屬的用途、類型，而有不同的顏色組合。

避免錯誤的影像反向處理，可以在真正取出字元之前，針對牌照所在的區域以色彩的分佈預估其特性[21]，但此方法極可能受到車體或其他外界物件色彩的干擾而導致不正確的結果。在[13]中也利用類似方法建構出識別規則。

(26)

車輛屬性車牌底色車號字元顏色車牌碼數

自用小汽車白黑 6

計程車白紅 5

公共汽車綠白 5

遊覽車紅白 5

自用大貨車白綠 5

營業大貨車綠白 5

營業交通車黃黑 5

自用大客車白綠 5

軍用車輛綠白 4, 6

2.4 二值化反向判定

如同前節所述，車牌的底色與號碼色因車輛應用的範圍不同而有著不同的組合，主要為了方便辨別。利用二值化演算法之後可以將這些車牌屬性的組合簡化成二種情形：一為車號部份為黑色而車牌底色為白色，這類組合有自用小客車、計程車、自用大貨車、自用大客車、營業交通車等；另一種情形則相反其車號部份為白色而車牌底色變為黑色，

這類組合的有公共汽車、遊覽車、營業用大貨車及軍用車輛。由於第一種情形會使得標示車號區域發生錯誤的情形，因此一定要先判別是否需要反向，才能進行標示與辨識的工作。

在[21]中，提出一演算法作為車號區反向與否的判斷處理，其過程如下：

1. 計算水平黑點連1 至 5。於續介度

2. 計算水平白點連1 至 5。於續介度

表格 2：現有車輛牌照色彩配置[13]

(27)

3. 計算垂直黑點介於 1 至 5。連續度

4. 計算垂直白點連1 至 5。於續介度

5. 找出最大分佈量。

6. 判別最大分佈位置灰階是黑色或白色。

7. 進行切割步驟。

若結果為黑色，則進行切割步驟，如為白色，則將白色區改為黑色，

再進行切割步驟。

[13]中也有提出一套反向判定的標準，透過字元辨識後所得到的 Matching Degree 後，再利用適當的門檻值作為判斷的依據，當所得到的 Matching Degree 總和超過門檻值時，代表做的反向方法正確，並不需要再加以任何反向處理；相反的，如果低於門檻值，則有兩種可能的情形出現：1.反向錯誤，使得字元標示與辨識發生問題。2.在車牌定位時即發生錯誤，亦即作任何的反向處理也發揮不了任何功效。如果單純為反向失敗，再經過一次的反向處理即可得到較好的結果，但如果車牌定位時即發生錯誤的情形，再做一次反向處理在理論上也不會有機會可以讓所得到的值突破所設定的門檻值。

2.5 自動車牌辨識

2.5.1 J.A.G Nijhuis 等人的研究成果

在 J.A.G. Nijhuis, M.H. ter Brugge, K.A. Helmholt 等人的研究中[1]，

針對荷蘭汽車牌照的規則設定一套 CLPR-System，即汽車牌照識別系統。

其所輸入的影像為 386x314 的 8bits 彩色影像，在前處理的步驟與其

(28)

他系統同樣在作對比增強與雜訊濾除的動作。在車牌的找尋上，主要利用荷蘭牌照的黃底黑字為主，找尋車牌的演算法為一 Fuzzy c-means clustering 演算法，利用此演算法將圖形區別為牌照區域與非牌照區域。

在字元辨識的部份，此一研究採用 discrete-time cellular neural networks(DTCNN’s)取出其 24 個特徵值作為輸入層，15 個神經元作為隱藏層，36 個輸出神經元，最後再透過文法檢查校正所得到的結果，以減低錯誤率。此 CLPR-system 已測試了 10,000 張不同的影像，達到辨識率 98.51%，錯誤率 0.02%與拒絕率 1.47%。

2.5.2 H. A. Hegt 等人的研究成果

H.A. Hegt, R. J. L. Haye, N.

A. Khan 等人的研究中，主要著重在車牌的分割，與字元的擷取以及最後辨識完牌照號碼後，進行文法檢查的工作。

該研究中所使用的像機具有高速快門，並透過畫面擷取器 (Frame grabber)，取出 439x510 的影像。該像機主要拍攝車輛的後方影像，此拍攝方式有以下幾個優點：

Ø 由車輛的背面拍攝，所受強光的影響，不若由車

圖 2：H. A. Hegt 等人的研究架構

(29)

前拍攝為大。

Ø 大卡車多在車前有許多標誌，容易影響車牌的定位。

Ø 與車前取像相較，可避免駕駛人的迴避拍攝動作，這些動作由車後取像，所受的影像較低。

Ø 通常車輛後方的車牌較車輛前方的車牌乾淨。

通常取出來的車牌影像呈現為一長方形，但由於拍攝角度與車輛偏斜等因素，都可能導致形狀的扭曲，透過雙線性修正的處理，轉換為 180x40 的影像。字元的分割部份，仍然應用投影將車牌字元切割出來，

得到最後的字元結果後，再利用荷蘭車牌號碼的特性，進行車號的文法校正的工作，以修正 8/B, 1/J, O/D 等相近字元辨識錯誤的問題。

利用此研究所開發的系統主要由實地拍攝的錄影帶上取出 1000 張影像，其中 13%的影像被去除，只有 0.4%的被錯誤的分類。

2.5.3 M. M. M. Fahmy 的研究成果

在 M. M. M. Fahmy 的研究中，主要針對車牌字元的辨識的部份研究，將焦點置於對使用 BAM(Bidirectional associative memories)類神經網路於牌照讀取上的探索。

由於類神經網路對於錯誤、變形的輸入樣本，具有相當的容錯與修正能力，同樣的利用 BAM 所建構出來的網路也具有此一特性。利用這種特性來辨識實地攝

影所取得的車輛牌照影像，可得圖 3：BAM 網路架構

(30)

到相當令人滿意的成果，然而 BAM 網路有兩個問題，一為對記憶體的需求，一為樣本數如增加，辨識成功率也就隨之下降，在此其主要利用了多重的 BAM matrix 來解決容量不足的問題。

另外由於神經網路在進行辨識的動作之前必須先進行正規化的動作，因此在本文獻中將之先正規化為 16x16 大小的字元後再輸入至 BAM 網路中，進行分類的動作。

2.5.4 林欣平與莊志鴻的研究成果

在林欣平的研究中[11]，主要利用類似於光學字元辨識法中，字元粹取的技術。而莊志鴻主要負責車牌字元辨識的工作。

在大多數的車牌辨識系統的研究中，大多都先從搜尋車牌大略位置，再透過校正車牌的歪斜，最後再粹取出字元物件作辨識。而此研究中，則直接搜尋字元物件並作辨識，此種做法，特別能有效的粹取出因拍攝角度而造成的歪斜車牌字元，只要同屬相連的物件，都可能被當成可能的字元物件候選人，再透過一分割判斷法則，以選出最有可能是車牌的字元物件，較不容易受車牌本身的歪斜所影響。

當所搜到的車牌字元物件不足 6 個時，必須進行車牌字元補償。此一步驟主要針對只抓取到四個或五個車牌字元的狀況再作一些抓字的加強，即假設先前的相關位置所搜尋到的字元即使為四個或五個，仍將之視為車牌，則可能的車牌字元可能在左右兩邊，利用推算相關位置，將該可能區域框出再由字元辨識所得之分數比較，以決定那個區域為可能的字元所在。該研究從大樓停車場測試現場所拍攝下來的 238 輛汽車中，

成功粹取出車牌字元的比率為 93.7%，若不考慮加框車牌，成功率甚至可

(31)

以達到 95.5%。

在後段車牌字元辨識的部份主要利用 AWMMS(Adaptive Weighted Mask Matching System)作為圖像比對的方式在一般車輛影像 200 張得到 93%的辨識率而計程車與機車圖像主要取得 140 張影像結果有 93.2%的辨識率。

2.5.5 仲崇實的研究成果

在仲崇實的研究中[13]，主要利用了大量 Morphology 處理，主要為了將雜訊濾除與切割出輛牌照的概略所在位置，同時也利用了 Hough Transform 來作為車牌號碼偏斜的偵測與校正。

在車牌定位的程式中，主要利用了灰階轉換計算與 Morphology，在 Morphology 主要利用了 Closing 與 Opening 運算配合運作，清理一些過於零星的獨立圖元。而更利用灰階轉換技術的特徵規則，消除多餘的資訊。

接下來便接著評估區域內被保留下來的圖元密度，並找出最大值所在，

再利用 Morphology 進行 Region Growing 真正的切割出車輛牌照的概略所在位置。

在車牌字元的過濾與處理上，利用 Connected Components Labeling 與 Hough Transform 找出與過濾元件，所取出來的車牌字元作正規化的動作，取出 16x16 的字形再進行字元辨識的工作。

最後該研究以 417 張影像作為車驗樣本，其中包括了晴天、陰雨、

白晝、黃昏以及黑夜等天候，系統牌照正確率約在 93%，而字元辨識的正確率為 97%。

(32)

第三章研究架構

3.1 研究架構

本研究之系統主要的輸入為攝影機所擷取之連續影像，在連續影像的取像上，為了可攜性、成本、以及未來趨勢的考量，利用了力竑科技所推出的 USB 界面 LifeTV 以及 CCD 作為取像的工具。傳統的影像擷取卡雖然可以獲得較佳的效果與解析度，但由於本研究雛形主要希望能夠使系統更具可攜性，因此選擇目前一般筆記型電腦也配有的 USB 界面作為輸入的界面。

另外，系統也可直接透過傳統的 CCD 與影像擷取卡或 IEEE1394 界面的 CCD 直接進行取像的動作，基本上只需要符合 VFW(Video For Window)的標準即可正常的在本研究的系統上正常運作。除此之外，靜態影像亦可直接輸入供系統讀取辨識。

在發展工具的選擇上，主要選擇具備跨平台能力的 Java 語言作為系統開發之用，在影像擷取上原本對 Java 來說並不具備此能力，主因為影像擷取設備大多需處理較低階硬體控制，主要受到作業系統與驅動程式的影響。直到 1999 年 9 月，Sun 與 IBM 推出 Java Media Framework 2.0 之後解決此一問題。

Java 語言在執行的效能上，由於先編譯為 byte code，較其他語言直接編譯為機械碼明顯的遜色許多，Sun 正努力改善 Java 執行效率不彰的缺陷，未來 Java 語言將以其跨平台特性、全物件導向、及多緒多工的架

(33)

構的觀念躍居為主流。

前置處理

確認影像中含有車牌

汽車牌照影像

車牌字元切割

車牌字元正規化

SimNet字元辨識由CCD擷取影像

車輛確認模組影像擷取模組

字元擷取與正規化模組

車輛資料庫內進行近似字串對辨識出的字元與其

Matching Degree

Matching Degree大於門檻值的影像將繼續處理

牌照定位

牌照定位模組

可能的車輛影像比對結果

與其Matching Degree 車牌字元影像

3.2 影像擷取與交錯去除

利用 Java Media Framework 對攝影機影像連續擷取，取像大小為 640x480 24bits color 的彩色影像，但在攝影機方面一般所使用的多為 2:1 交錯式掃描，這類型的攝影機主要將所有的水平掃描線，依它們所在列的位置，分為奇數區與偶數區，以每 1/72 秒交替的掃描奇數區與偶數區構成整個畫面。可以想見在拍攝運動中的車輛時，很容易造成運動中的物體錯開的情形。

為了解決交錯現象，大多以採用插捕法，也就是以單或偶數區畫面為主，並利用來捕捉偶數或單數區各點的顏色資訊，但由於本研究主要

圖 4：系統架構圖

(34)

針對動態影像進行處理，作插補動作會浪費 CPU 時間，因此為了能夠快速的處理交錯問題，直接利用奇數區或偶數的影像作處理，可有效加快處理速度。

3.3 前處理與車牌位置判斷

在此一階段的主要使命，為將找出車輛牌照之概略位置，以便後續的各個處理程序順利完成，在影像擷取階段所得到的影像雖然包含車輛的影像，但仍然有許多不屬於車輛之影像，這些為許多辨識過程中所不需要的額外資訊，由於這些圖形為辨識不需要的部份，必須將之過濾，

以凸顯出我們要的真正目標。

由於擷取之影像可能包含有各種類型的雜訊，這些來源可能有灰塵、失真、

訊號干擾等，對於雜訊的抑制亦同時為辨識過程中相當重要的過程。為了有效的抑制雜訊，系統主要使用了高頻濾波器來減少雜訊對系統的影響程度，經過濾波處理後，將會得到較為平滑的影像。

在所得到的影像中，以車輛牌照區域內所造成的區域明暗對比最為強烈，在系統裏運用此一特性，可將牌照區域概略性的切割出來，而所用到的技術包括有 Edge Detection, Morphology 等，這些都是用於找出具明顯對比的區域。

在完成 Edge Detection 之後，為了凸顯真正的牌照區域，必須再進行一次過濾處理，在此運用了 Morphology 與影像灰階轉換計算，其中 Morphology 以 Closing 與 Opening 運算配合運作，可清理一些過零星獨立的像素；而灰階轉換計算則針對影像的灰階轉換特徵規則，消除多餘的資訊。

3.3.1 平滑濾波器

(35)

對影像中的像素進行積分運算，可以達到平滑的效果，藉以將雜訊除去，稱為平滑化濾波器(Smooth Filter)，一般常見的平滑化濾波器包括了線性平滑濾波器、非線性平滑濾波器以及高斯(Gaussian)平滑濾波器等。

線性平滑濾波器是一利用取得處理像素及其周邊之權重值相乘總和後，加以平均來當作該像素的階層值；而相對的，非線性平滑濾波器則使用了其中的最大值、最小值或中位數等。而高斯平滑濾波器則屬於線性濾波器的一種，與一般線性平滑濾波器不同之處在於利用了高斯函數來決定週邊像素的權重。

3.3.2 邊緣偵測

邊緣偵測主要的目的在找出物體與背景的分界，也是兩個重疊物體的區隔，偵測邊緣多半是利用影像中鄰近像素上的灰階值上的差距來決定，若灰階值落差很大則為邊緣，反之則否。如果邊緣正確的找出來，

則與物件有關的特性也就可以藉著這個過程取出，如位置、區域、形狀等。當牽涉到對於圖形中的物件進行指定以及分類時，邊緣偵測便是基本的工具。當然在找出影像的邊緣時，會遭遇到一些問題，一為因資料以數位形式存在，在很多的情況下，邊緣並不會剛好只有一點，可能由數點所構成，真正的邊緣則在這些點之中。一為雜訊問題，因雜訊本身有其隨機的特質，無法預測[13]。

一般常見的邊緣偵測方式，可用的相當多種，導數濾波器(Derivative filter)是較常被使用的方法，其可用來銳化灰階變化，諸如 Sobel、Laplace、

Roberts、Prewitt 等運算元[17]都是有名的方法，這些運算元主要的差別大多在於其運算元及其偵測方向數的不同，一般在動態影像的邊緣偵測上，為了求辨識速度能夠達到即時辨識，因此大多採用 Sobel 運算元，主要利用水平與垂直兩種方向來作為邊緣偵測，較其他運算元具有簡單且

(36)

快速的特性，因此較常被利用來作為邊緣偵測的方式。

Sobel 運算元，主要利用下圖左邊及右邊的圖，將影像中各點以中心點為主的 3x3 視窗乘上權重，之後再取其絕對值相加，成為邊緣影像的像素之灰階值

-1 0 1 -1 2 1

-2 0 2 0 0 0

-1 0 1 1 2 1

2

1 H

H

M = + 方程式 2

3.3.3 形態學

Morphology[22][23]，針對影像的外型結構進行分析以及描述而得名，Morphology 這個字最早用語言學以及生物學中，現已被應用在許多方面。影像由像素所構成，而這些像素又可歸納為一組組的二維結構，

也就是形狀，我們可以對這些像素使用一些數學運算，來加強這些結構的某些特性，以達到辨認或計數的目的，最基本的形態學運算，包括了 Erosion 與 Dilation。Erosion 利用所給予的 Pattern 將影像中某些像素加以刪除；而 Dilation 則恰好相反，可依照影像中像素的分配，填入所給予的圖樣。

在進行運算之前首先須定義一個結構元件(structuring element)，不同的結構元件對影像作運算，便可得到不同的結果，之後便可就得到的結果做分析，所以在做形態學運算以前，必須設計一組適當的結構元件，

圖 5：Sobel 運算元

H₁ H₂

(37)

再配合適當的運算元，以求得所需的結果。

利用 Erosion 和 Dilation 可以衍生出另外兩種常用的運算 Opening 以及 Closing。Opening 可去除一些小面積的高頻雜訊，將影像結構外型變得較平滑，透過 Opening 的運作可以將圖形中細微連接的部份有效的分開，而 Closing 則可填補一些小的空洞，透過 Opening 與 Closing 的合併使用，可以有效抑制二值化影像中的雜訊[17]。

Dilation：

{ }

^b

B b

X B

b and X x b x p p

B

X ⊕ = ∈ε² : = + , ∈ ∈ = Υ∈ 方程式 3

Erosion：XΘ

{ }

^b

B b

X B

b every for X b p p

B ₋

= ∈

∈

∈ +

∈

= ε² : Ι 方程式 4

Opening：X οB(X ΘB)⊕B 方程式 5 Closing：X •B(X ⊕B)ΘB 方程式 6

3.3.4 二值化

二值化指的是將灰階影像轉換成二值影像的工作，所有低於臨界值 [18]的像素都設定為黑色，而大於臨界值的像素都被定為白色，常見於文字、圖樣的辨識前處理，具有相當的重要性。它最主要的功能是區分出影像中的物件以及背景，以獲取物件影像資訊。

圖 6：(a) 原圖 (b) 結構元件 (c) Dilation 後 (d) Erosion 後

(a) (b) (c) (d)

(38)

N p_i = nⁱ

原始的牌照影像灰階分佈，大致以雙峰的分佈狀態，只要適當的選取一個可以分離兩個區間的臨界值，便可以使得字體與背景分離。就牌照辨識工作而言，正確的將字體由牌照上分割出來，與後續的字元辨識工作成敗具有關鍵性的影響，因此在二值化技術的選擇上，應慬慎挑選。

在本研究採用的二值化技術為 Otsu[18]的二值化方法，此方在 1979 年時提出，其主要的方法為找出一個門檻值，能使得各群集變異數的加權總和為最小，其作法如下：。

假設我們的影像中有 1~L 的灰階度，影像總合點數 N=n1+n2+...+nL其灰階度的機率 pi為：

如果要將影分成兩個群集 C0與 C1，C0代表灰階度 1~k 的群集，C1代表灰階度 k+1~L 的群集，則各群集產生的機率為 w0與 w1。

其中，各群集的平均值(mean)為：

各群集變異數為：

群集變異數的加權總和為：

( )

^k

w p w

k

i i =

=

∑

0 =1

( )

^k

w p

w

L

k i

i = −

=

∑

+

=

1

1 1

( ) ( )

^k

w k w

k ip

i

i µ

µ =

∑

=

=1 0 0

( )

^k

( )

w k w

ip _T

L

k i

i

−

= −

=

∑

+

= ₁ ₁ 1

1

µ µ µ

( )

1 0

2 0 2

0 w

i pⁱ

k

∑

i

=

−

= µ

σ

( )

1 2

1 1 2

1 w

i pⁱ

L

k

i

∑

+

=

−

= µ

σ

方程式 7

方程式 8 方程式 9

方程式 10 方程式 11

方程式 12

方程式 13

(39)

找到令群集變異數的加權總和最小的 k 值。而這個 k 值就是門檻值。

Otsu 方法較固定門檻值與平均值二值化效果為佳，除此之外也有非常多的方法可以再進一步改善兩值化的效果[19][20][24]，但卻都以 Otsu 所提出的方法作為基礎。

3.3.5 灰階轉換計算與距離

經過邊緣偵測與二值化後所得的影像中，包含了較為明顯的輪廓，

除了車輛牌照文字所產生的以外，也會有許多不被需要的部份存在。其來源可能包括了保險桿、車體色彩條紋、車燈、當然也有可能是地面的標線等，而這些線條由於形狀與結構較為單純，故我們可以利用一些簡單的灰階轉換次數或轉換距離計算，將不符合標準的影像過濾掉。

灰階轉換，指的是像素由黑變白或由白變黑，而灰階轉換次數，則是轉換次數的總和[12][21]。就六位數長度的自用小客車牌照號碼來說，

最少的灰階轉換次數是十二。透過水平方向以及垂直方向上灰階轉換次數或轉換距離的計算，可以清除某些不需要的線段。

其實計算灰階轉換次數相當簡單，由於我們已將影像進行邊緣偵測及二值化了，所以我們只需要計算每條縱向與橫向掃瞄線的黑白相間的點數即可。

在經由上述數個程序的處理之後便接著評估區域內被保留下的像素密度，並且找出最大值所在，在利用形態學進行領域成長

圖 7：線所劃過的部份灰階轉換次數為 18

(40)

的步驟，真正的切割出車輛牌照的概略所在位置。

3.3.6 多目標判定

在一般的情況之下，車牌辨識系統大多都只針對單一車輛進行辨識，但是若在影像中，同時有兩輛以上的車輛時，大多數的辨識系統都只會針對較可能的目標進行辨識。然而在實際場合的應用上，我們沒有辨法限制影像中只能有一個目標物的出現，主要原因為這些地區通常都是開放式的環境，諸如：超速偵測照像、贓車查緝系統等。

由於車輛的外型變化很大，且顏色與色彩紋路分佈又各異，因此透過車型或車色等偵測方式，系統相當容易造成誤判。然而在車輛所具備的特徵當中，以車牌的一致性較高，利用車牌的高對比特性，我們可以儘可能找出多個車牌區域，而這些區域也都是只是候選區域，可以透過以下幾個過濾規則來將範圍縮小：

u 由於車輛的度，車牌位應不會相鄰。置

u 一張影像中包含有三個以上的車牌在實際應用上較不可能，如果有也將因車牌過小而無法辨識。

u 透過適當的門檻值過濾。

u 在同一個環境下，亮度差距不會太大。

經由上述的幾個規則過濾後，將剩下來的區域輸入至辨識系統中進行辨識的工作，車牌辨識系統辨識所得到的 Matching Degree 與所設定的門檻值相較，如果其 Total Matching Degree 突破門檻值，則將該區域視為車牌，相反的如果沒有的話則將該區域去除。

(41)

3.3.7 二值化結果反向處理

由 2.3 節的資料可知，車牌號碼與底色有多種組合，但利用了 3.3.4 節的二值化處理之後，則僅會有二種不同的情況發生，一為號碼色為黑色，但底色為白色；另一種正好相反。如果要正確的號碼標示出，則必須先判定車號與車牌底色的分佈資訊，才能正確的決定進行反向與否。

由下圖可以看出車牌號碼字形與車牌的灰階點數分佈，車牌底色所佔的比例往往較號碼字的點數分佈來得多，因此我們可以透過將所標示出來的車牌進行簡單的統計，分佈量大的部份為底色，如果底色為白，

則必須將車牌二值化影像進行反向處理的工作。

本研究中採用[21]所提出的反向演算法，並予以適當的修正，以加快其處理時間，作法如下：

1. 首先將車牌影像正規化為 68x30 的影像。

2. 計算水平黑點或白1 至 3 之間。點介度於連續

3. 計算垂直黑點或白1 至 3 之間。點介度於連續

4. 找出最大分佈量，判斷是否需要進行反向處理。

5. 進行連通標示。

雖然直接進行水平或垂直方向的黑點或白點運算，也可得到相當好圖 8：車牌二值化後影像 (a).自用小客車 (b) 營業大客車

(a) (b)

(42)

的結果，但對於高度偏斜、或車牌區域標示錯誤的車牌則容易判斷錯誤；

而在[21]中所提的方法則容易受到拍攝距離的遠近而有可能發生誤判的機會，因此適當的正規化程序是十分必要的，運用上述的演算法，俱備有較高的容錯能力。

在[13]中，雖然也有相當可靠的車牌反向方法，但由於透過 Matching Degrees 與所設定的門檻值，必須等到字元辨識出來才會有 MDs 值的出現因此必須耗費較多的時間，在本研究中，為了加快識別時的速度，因此透過簡單的影像反向演算法來作為反向的依據是必要的，雖然仍可能有誤判的情形，但仍可以利用 MDs 門檻值作為反向的第二個選擇，效能將可更為快速，且準確度更高。

3.3.8 車牌屬性判定

利用上節的方法已可判斷車牌是否需要進行反向處理，並且進行反向的動作，亦即我們已將車牌資訊正規化為車牌底色為黑色，車牌號碼為白色的情形，然而這些資訊為經過二值化處理的影像，僅代表兩種意義。

如欲取得正確的車牌屬性值的作法如下：

圖 9：反向錯誤的情況 (a)車牌角度過大 (b)車牌標示錯誤

(43)

1. 取得經二值化且己進行反向處理的車牌圖形。

2. 取得原始之影像圖像，並切割出車牌圖像。

3. 進行比對，二值化車牌為白色則為車號，取出相對於原始影像點像之像素，進行統計。而相反的黑色為車牌，亦取出處理。

4. 取得車牌號碼與車牌底色的最大分佈。

5. 再依據表格 2 中的車牌屬性資料進行分類的工作。

利用上述步驟可以得到五類的結果：

1. 自用小汽車－白底黑字。

2. 計程車－計程車。

3. 公共汽車、軍用車輛、營業大貨車－綠底白字。

4. 遊覽車－紅底白字。

5. 自用大貨車、自用大客車－白底綠字。

3.4 車牌字元粹取

在這個階段的兩個主要工作，分別是由車牌影像中切割出各個可能的元件，以及對可能的旋轉與偏斜進行校正。由於牌照位置透過前面幾節的處理程序中已經取得，故對於本階段，只需直接由原始影像中，針

圖 10：車牌屬性判定 (a)二值化影像 (b)車牌彩色影像

(a) (b)

(44)

對該區域進行二值化，若是門檻值的取得的較適當的話，物件邊緣將明顯分開，可獲得較為良好的元件分割結果。然而，其產出的結果也許不是只包含了所需要的車牌文字，如發照地、牌照燈或與車牌相連的車體部份。為了要辨別真正的字體元件以及其他所不需要的東西，本系統使用了連通元件標示[25]找出元件及 Hough Transform 進行過濾。

3.4.1 連通元件標示

在數位影像中，每個像素都與其他的像素相鄰，如以方形格子來表達時，則在每個像素四周，都有一些共享邊界的其他像素，稱為 4-neighbor 或是 8-neighbor。在機器視覺的應用中，從影像裡找尋各個連通元件是很常見的問題，這些於連通元件中，由點所構成的區域，往往代表了物件。

則藉由找尋這些連通元件，便可以取得物件本身的特性，而元件標示演算法則是達成此一目的的手段。

在此，以 8-neighborhood Connected Components Labeling 演算法[17]，

將所有的可能元件都標示出來，同時也可以對於一些面積過小或長寬比不符合的元件，進行初步的過濾工作，以期將後續需處理的元件數量降低。

Connected Components Labeling 的演算法為 2-pass 的方法，詳細步驟描述如下：

First pass：對整個影像逐行給一組非零的像素R( ji, )一組新的非零的值 v，而值 v 的選擇乃依照其鄰近點像素的值而定，並依據以下原則。

1. 如果其鄰近點都是背影點(其值為零)，則^R^{( j}ⁱ^, ⁾必須給定一組新的

(45)

標示號碼。

2. 如果只有一個鄰點有非零值(即不是背景)，則^R^{( j}ⁱ^, ⁾給定與此鄰點的相同的值。

3. 如果有一個以上的鄰點有非零值，則^R^{( j}ⁱ^, ⁾可任意給定其中之一的鄰點值即可，同時如果鄰點間有一個以上的值皆為不同，則發生了 label collision，必須將這一組設定成相同值，方法為將這組值放入 equivalence table 中。

Second pass: 在 first pass 所有的區域像素都已被標示完畢，但有些區 塊可能被標示為不同的標示值(因為發生 label collision)。因此必須要再掃描整張影像並且依據 equivalence table 中的資訊將像素中的值重新標示為 equivalence table 中的最小值。

f(i-1,j) F(i-1,j-1) f(i-1,j) f(i-1,j+1)

f(i,j-1)

f(i,j)

f(i,j-1)

f(i,j)

在標示完影像之後，除了可以得到可能的字元元件外，還可以同時

蒐集該物件的位置、度、高度與密度等

資料，而這些資訊都可以提供

往後物件特性的過濾之用。

3.4.2 Hough Transform

經過 Connected Component Labeling 演算法將所有通過初步過濾的元圖 11：(a) 4-connectivity (b) 8-connectivity 的確認區域

(a) (b)

(46)

件標示出來，但在許多時候，無法判定那些元件是車輛牌照號碼，在無法確認那個元件才是所需的目標元件，只能借助牌照本身所具有的特性進行判別。在正常的情況下，車輛牌照上字體的排列，都將呈現一直線。

因此，運用 Hough Transform 對於所標示出來的連通元件的位置進行檢驗，以挑選出正確位於同一直線的元件。

利用 Hough Transform 來偵測元件的狀態，在一般的 OCR 運用上十分普遍[26]，除了偵測元件是否在同一直線之外，Hough Transform 也可得到該直線的斜率，同時在車牌辨識上，也常被利用來取得車輛或車牌的偏斜角度[27][28]，因在本研究中利用 Hough Transform 來偵測物件與取得傾斜角度。

θ θ

ρ=xcos +ysin 方程式 15

θ

1

θ

2

ρ

1

ρ

2

θ

ρ θ

2

ρ

2

θ

1

ρ

1

x y

如上圖所示，ρ代表由原點到線段的垂直距離，而θ 則是該線條的角度，Hough Transform 的演算法如下：

1. 宣告一塊適當的空間作為 Hough Space 2. 初始 Hough Space 中的值

圖 12：Hough Transform (a) 空間中的直線 (b) ρ,θ 參數

(a) (b)

(47)

3. 利用^ρ⁼ ^x^cos^θ⁺^y^sin^θ對影像中的每一點進行轉換，並在 Hough Space 的相對索引位置加一。

4. 找出 Hough Space 中值較大的，即可能為所欲尋找的直線。

3.4.3 刪除非車號特性之物件

在利用連通元件標示法所標示出來的元件，由於同時也可以順便取

得其度、高度度及面積等資訊，且由於連通元件標示法有可能標密、

示到許多非車號的元件，因此可以設定適當的臨界值，刪除一些明顯不可能為車號的元件[11]。

過濾元件的條件式如下：

度太

： width> width_threshold

高度太高：height>height_ threshold_max 高度太低：height<height_ threshold_min 字體太瘦：width/height<ratio_threshold_min 字體太扁：width/height>ratio_threshold_max 密度太大：density>density_ threshold_max 密度太小：density<density_ threshold_min 面積太大：area>area_ threshold_max 面積太小：area<area_ threshold_min

其中我們利用[11]實驗所得的結果取作為門檻值參考的標準，但是由於客觀環境可能不同，因此可以依據不同的場景，不同的車牌大小視狀況而對這些參數值給予適當的修正。

(48)

3.4.4 元件高度及寬度調整

在所標示到的元件資料當中，因為受到各類型的雜訊及螺絲孔的影像，使得所標示到的元件高度產生不一致的現象，但由於在車牌影像中，

具有一明顯的特性：即所有的車號字元的高度皆為一致。因此如果車號字元元件高度發生不一致的情形，應必須將符合的字元予以調整至適當的高度，以避免往後正規化後的字元導入 SimNet 訓練或辨識時發生錯誤的情形。

車牌號碼字元雖然在高度上，具有一致性，但在字元寬度上就沒有那麼的一致了，但仍有其規律性存在，唯獨在字元「I」與「1」[11]時特別例外，當車牌上如果出現些字的時候，很容易在判斷密度、面積、以及寬度時，因為所得到的結果低於所設定的門檻值而使得這些字元遭到被刪除的命運，如果這些字元在車號之中，甚至於可能影響未來因距離過濾，造成連鎖效應，使得相鄰的字元因距離過遠而遭到刪除。如果幸運的不被刪除，在接下來的字元正規化時，也可能因其長寬比的特性，

使得正規化後所得到的結果不佳，造成往後辨識上的困難。

因此必須將這些特性不佳的物件屬件作適度的調整，也就是對於具有「1」、「I」等字元特性的物件，將這些物件中的寬度以及其他相關屬性作調整，只要符合我們所設定的長寬比，我們都對它做寬度擴展的動作。

圖 13：(a)進行高度調整前 (b)進行高度調整後

(a) (b)

動態多標的車牌辨識系統之研究

元 智 大 學

資訊研究所

碩 士 論 文

動態多標的車牌辨識系統之研究

Motion Based Multiple Vehicle License Plate Recognition

研 究 生： 魏 銪 志 指導教授： 李 錫 捷

中 華 民 國 八 十 九 年 六 月

動 態 多 標 的 車 牌 辨 識 系 統 之 研 究

Motion Based Multiple Vehicle License Plate Recognition

博碩士論文電子檔案上網授權書

授權書

動態多標的車牌辨識系統之研究

摘 要

Motion-based Multiple Targets Vehicle License Plate Recognition

誌謝

目錄

圖目錄

表目錄

第一章 緒論

1.1 研究背景

1.2 研究動機

1.2.1 傳統車輛查緝方式耗費人力

1.2.2 現階段車牌辨識系統的瓶頸

1.3 研究目的

Ø 自動偵測並擷取車輛影像

Ø 對影像中多車輛進行辨識

Ø 對複雜背景及雜訊具適應性

1.4 研究範圍與限制

1.4.1 研究範圍

1.4.2 研究限制

1.5 章節組織

第二章 文獻探討

2.1 車輛偵測

2.1.1 車輛偵測技術

2.1.2 動態車輛偵測

2.1.3 M. Betke 等人的研究

2.1.3.1 即時車輛偵測系統的三大元件

2.1.3.2 辨識過往的車輛

∑

2.1.3.3 辨識遠方的車輛

2.1.3.4 研究結果

2.2 影像二值化

2.3 牌照屬性判定

2.4 二值化反向判定

2.5 自動車牌辨識

2.5.1 J.A.G Nijhuis 等人的研究成果

2.5.2 H. A. Hegt 等人的研究成果

2.5.3 M. M. M. Fahmy 的研究成果

2.5.4 林欣平與莊志鴻的研究成果

2.5.5 仲崇實的研究成果

第三章 研究架構

3.1 研究架構

3.2 影像擷取與交錯去除

3.3 前處理與車牌位置判斷

3.3.1 平滑濾波器

3.3.2 邊緣偵測

3.3.3 形態學

{ }

{ }

3.3.4 二值化

( )

∑

( )

∑

( ) ( )

∑

( )

( )

∑

( )

∑

( )

∑

3.3.5 灰階轉換計算與距離

3.3.6 多目標判定

3.3.7 二值化結果反向處理

3.3.8 車牌屬性判定

3.4 車牌字元粹取

3.4.1 連通元件標示

元智大學

碩士論文

研究生：魏銪志指導教授：李錫捷

中華民國八十九年六月

動態多標的車牌辨識系統之研究

摘要

第一章緒論

第二章文獻探討

第三章研究架構