參賽者：蘇彥彰(U9821137)
指 導 教 師 ：張呈源 老師
停車場車牌辨識管理系統
國立聯合大學電資學院
金腦獎參賽作品
I
目錄
目錄 ... I 圖目錄 ... II 第 1 章 緒論 ... 1 1.1 前言 ... 1 1.2 應用範圍 ... 1 1.3 研究動機 ... 2 第 2 章 文獻探討 ... 3 2.1 影像模式 ... 3 2.1.1 RGB ... 3 2.1.2 灰階（Gray scale） ... 4 2.2 影像處理 ... 4 2.2.1 灰階化 ... 4 2.2.2 對比度調整 ... 5 2.2.3 二值化 ... 5 2.2.4 連接成分標籤 ... 6 2.2.5 相似度比較 ... 7 2.2.6 圖像擴張 ... 8 2.2.7 填充圖像區域和孔洞 ... 9 2.3 開發工具 ... 9 2.3.1 MATLAB ... 9 第 3 章 研究流程及內容 ... 11 3.1 車牌擷取 ... 11 3.2 字元辨識 ... 14 3.3 結果分析 ... 18 第 4 章 辨識管理系統實作 ... 24 4.1 系統介面與系統流程圖 ... 24 第 5 章 結論與建議 ... 27 5.1 結論 ... 27 5.2 建議 ... 27 參考文獻 ... 28II
圖目錄
圖 2-1 光的三原色 ... 3 圖 2-2 灰階量化表 ... 4 圖 2-3 左圖為原影像，右圖為處理後影像 ... 5 圖 2-4 左圖為處理前影像，右圖為處理後影像 ... 5 圖 2-5 左圖為處理前影像，右圖為經過二值化處理的影像 . 6 圖 2-6 用於分量標識的範例影像 ... 7 圖 2-7 經過分量標識後的結果，用顏色代表各區域內數值 . 7 圖 2-8 左圖為處理前影像，右圖為經過圖像擴張處理後的影 像 ... 8 圖 2-9 左圖為處理前影像，右圖為經過填充處理後的影像 . 9 圖 3-1 車牌影像的處理以及擷取過程 ... 11 圖 3-2 比對資料庫 ... 14 圖 3-3 正面拍攝以及俯角拍攝 ... 15 圖 3-4 上圖為正面影像擷取結果，下圖為俯角影像擷取結果 ... 15 圖 3-5 俯角拍攝影像辨識結果 ... 15 圖 3-6 經過圖像擴張處理後的擷取字元 ... 16 圖 3-7 經過圖像擴張處理後變式的結果 ... 16 圖 3-8 俯角 20 度辨識結果 ... 17 圖 3-9 俯角 45 度辨識結果 ... 17 圖 3-10 俯角 60 度辨識結果 ... 17 圖 3-11 理想的系統架設圖 ... 18 圖 3-12 車牌 281-GMR ... 19 圖 3-13 車牌 281-GMR 辨識結果 ... 19 圖 3-14 車牌 591-DME ... 20 圖 3-15 車牌 591-DME 辨識結果 ... 20 圖 3-16 車牌 183-CSJ ... 21 圖 3-17 車牌 183-CSJ 辨識結果 ... 21 圖 3-18 車牌 PP3-899... 22 圖 3-19 車牌 PP3-899 辨識結果 ... 22 圖 3-20 車牌 991-DKN ... 23 圖 3-21 車牌 991-DKN 辨識結果 ... 23 圖 4-1 系統流程圖 ... 25 圖 4-2 停車場車牌辨識管理系統 ... 25 圖 4-3 車輛防竊上鎖系統 ... 26 圖 4-4 平面停車場的模擬介面圖 ... 26III
表目錄
表 3.1 實驗結果 ... 12 表 3.2 實驗結果 ... 13
1
第1章 緒論
1.1 前言
儘管減少二氧化碳排放量已是全球趨勢，但根據交通部最新統計， 過去十年間國內機車數量持續以百分之四點六的幅度成長，平均每人 擁有機車數和每公里道路機車數均高居亞洲第一位，其中屏東縣和彰 化縣更是機車大戶，平均每個家庭擁有兩點四輛。因此對於機車的管 理已成為政府的重要課題。 車牌號碼就像身分證一樣，號牌上的登記號碼由指定的政府單位 負責發配，執法相關單位（如警察、海關人員等）可以通過這個號碼 追蹤到有關車輛的擁有者、登記年份、登記地區、罰單紀錄和其他的 相關資料，偽造登記號碼或刪改有關資料是屬於犯罪的行為。 而車牌辨識系統之研究早已行之有年，主要目的為將影像中的車 牌區域截取出來，再依照擷取範圍進行字元辨識。藉由辨識出的車牌 與遍佈於各個路口的監視器，能節省許多人力和資源。1.2 應用範圍
目前車輛進入停車場的計時計費方式，已由傳統人工的方式，進 化到利用取票機與讀票機的方式。但是這些系統都還是需要一些步驟 來處理停車費扣繳的問題，例如駕駛必須停車、取票（或刷卡）、等 柵欄打開等三個步驟，才能進入或離開停車場。在使用車牌辨識系統 的狀況下，車輛進入停車場時，駕駛不再需要降低速度，只需在一定 速度的範圍內，進入停車場，系統便會自動記錄進出停車場的車輛， 收費的方面列入每年要繳的牌照稅，這樣能節省進出的時間，更能節 省資源(票根)。再者，自動辨識車牌系統還有其他更多的應用，例如2 贓車查緝、違規取締等。利用本系統可以減輕很多警察的負擔，更可 以加快資料的傳輸。
1.3研究動機
現在的汽車工業方展非常之發達，每個家庭至少有一輛汽車，但 大量的車子也帶來許多社會問題，如交通違規，車輛失竊及利用車輛 協助犯罪等，以往這些問題都需要很多人力去解決。過去的警察都是 從拍下來的照片再藉由眼睛去判別車牌的號碼，這雖然準確率很高， 但卻需要人力去做判讀車牌的工作，非常耗費人力及時間，加上案件 數非常多，沒有辦法很快速的判斷出車牌號碼。現今的影像擷取辨識 技術與以往相比已經達到蠻成熟的階段，因此車牌的自動辨識是一個 值得探討的問題。 自動車牌辨識，就是完全不靠人力去做車牌判讀的工作。不過要 讓電腦獨自完成自動辨識的動作，所以希望能藉由這次的專題研究， 做出模擬車牌辨識的部分，之後再進一步完成自動化的辨識系統。3
第2章 文獻探討
影像處理，是對影像進行分析、加工、和處理，使其滿足視覺以 及其他要求的技術。影像處理是信號處理在圖像域上的一個應用。目 前大多數的影像是以數字形式存儲，因而影像處理很多情況下指數字 圖像處理。此外，基於光學理論的處理方法依然佔有重要的地位。2.1 影像模式
2.1.1 RGB
人類的視覺系統一般來說，會將色彩分為不同份量的紅、綠、藍 混合起來的結果，如圖2-1，紅、綠、藍稱為三原色，將任二原色混 合後得到的是第二次色。 圖 2-1 光的三原色 這三個顏色稱為光的三原色(RGB)，就是紅(red)，綠(green)，藍 (blue)。RGB顏色模型的主要目的是在電子系統中檢測，表示和顯示 影像，比如電視和電腦，但是在傳統攝影中也有應用。因為這三種顏 色的光線混合幾乎可以表示出所有的顏色，因此電腦裡頭就用RGB 三個數值的大小來標示顏色，每個顏色用8bit來記錄，可以有0~255，4 共256種亮度的變化，三種顏色總夠就有一千六百多萬種，這也是我 們常聽到的24 bit全彩[1]。
2.1.2 灰階（Gray scale）
圖 2-2 灰階量化表 用於顯示的灰階影像通常用每個像素8 bits的來記錄，這樣可以有 256 種灰階，如圖2-2所看到的，值越高亮度越高。這種方式能夠避 免失真，並且非常易於編程。在醫學圖像與遙感圖像這些技術應用中 經常採用更多的級數，利用每個 10 或 12 bits的傳感器精度，並且 避免計算時的近似誤差。在這樣的應用領域流行使用 16 bits即 65536 種顏色[2]。2.2 影像處理
2.2.1 灰階化
彩色影像的灰階化可以降低往後運算的複雜度處理的前後差別 如圖2-3，而且也不會影響機車車牌特徵的擷取。主要因為白底黑字、 黑白交替次數頻率、長寬比例…等特徵，與色彩因素無關，故採用灰 階化後的影像進行特徵的擷取。 從彩色影像轉換成灰階影像的過程稱為灰階化，通過形成的 R ， G，和B分量的加權總和： B G R 0.5870 0.1140 2989 . 0 (式 2.1)5 圖 2-3 左圖為原影像，右圖為處理後影像
2.2.2 對比度調整
高對比度的地區往往有一個強烈的視覺衝擊。這是因為全球的高 對比度意味著更好地從隔離的主題背景，圖2-4為對比圖調整前後的 比對。如果原圖像f(x,y)的灰度範圍是[m,M]，我們希望能對圖像的灰 度範圍進行線性的調整，調整後的圖像g(x,y)的灰度範圍是[n,N]，轉 換公式如式2.2。
f
x
y
m
n
m
M
n
N
y
x
g
,
,
(式2.2) 圖 2-4 左圖為處理前影像，右圖為處理後影像2.2.3 二值化
灰階影像所需要的影像處理時間較長，但是成效不一定較好（相 較於二值化影像）。因此，大部分實用的機械視覺都是以二值化影像 為主，灰階影像為輔，經過二值化處理的影像如圖2-5。 二值化的動作是利用個別影像元素處理(Pixel-by-pixel operation)， 把一張灰階影像變成一張「只有黑、白」二值的圖。假定原來的灰階6 影像為 F，其中任何一個像素 f(i, j)的亮度值都是介於[0, 255]。此外 再假定二值化的過程用的界限值(threshold)為T，且二值化以後的影像 為b(i,j)。則二值化轉換公式如下。
otherwise
T
j
i
f
if
j
i
b
,
0
1
,
(式2.3) 圖 2-5 左圖為處理前影像，右圖為經過二值化處理的影像2.2.4 連接成分標籤
連接分量標識（或者連接分量分析，斑點提取，區域標記，或者 區域提取）是圖論，在那裡連接的組件的子集的獨特標記的基於在一 個給定的啟發式算法的應用。連接成分標示不被混淆與分割。 連接元件標記是用來在計算機視覺檢測在二進制數字圖像的連 接區域，雖然也可以處理更高維的彩色圖像和數據[3]，[4]。當集成 到一個圖像識別系統或人機交互接口，連接的組件標記可以操作上的 各種信息[5]，[6]。一滴提取一般是從一個閾值化步驟得到的二進制 圖像上執行。 構建一個圖的頂點和連接邊，從相關的輸入數據。比較啟發式的 頂點包含的信息，而邊表示連接的“鄰居”。算法遍歷圖，根據他們 的鄰居的連通性和相對值標記的頂點[7]。標籤用法以及範例如下，圖 2-6為處理的影像，白色區塊為需要標籤的物件，圖2-7為標籤後的效7 果，標籤的編號以及區域用顏色表示。 圖 2-6 用於分量標識的範例影像 圖 2-7 經過分量標識後的結果，用顏色代表各區域內數值
2.2.5 相似度比較
影像 A 經過處理後變成影像 B，常見的處理包含：壓縮後解壓 縮、放大後再縮小、旋轉後再轉回來如果 A 與 B 一模一樣的話，就 代表這些影像處理是個好方法可是大部份的情況下，A 與 B 是不太 一樣，因此我們常常需要比較兩者間的差異，最常用的方法就是「均 方差」MSE (Mean Square Error)，計算相似度的方法如下。8
M N MN M N MN M N MN MN B B A A B B A A r 2 2 (式2.4) A為影像A所有像素值總和平均。B為影像B所有像素值總和平均 r 相似度程度(其值為0~1)。2.2.6 圖像擴張
為了讓影像的特徵性增加，把圖像擴張是個不錯的處理方式，如 圖2-9為擴張前後的比較圖，雖然擴張後，以肉眼來看雖然覺得變形 了，但是從辨識字元的角度來看，每個字元間的差異度變大，也比較 容易去分辨以及辨識。 A由B進行二進制擴張，被定義為[8]： AB
B
z
B
A
A
z (式2.5) 圖 2-8 左圖為處理前影像，右圖為經過圖像擴張處理後的影像9
2.2.7填充圖像區域和孔洞
imfill 是 matlab 影像處理工具的一個處理函式，imfill的演算法 使用了一種基於形態重建[9]處理效果如圖2-10，從左邊的圖我們可以 看到圖上的圓形物件內，都有我不需要提取的黑色物體，但是經過填 充處理後，能把這些黑色物件消除。此方式能幫助車牌擷取時，把其 它不需要的影像去除，增加擷取車牌位置成功率。 圖 2-9 左圖為處理前影像，右圖為經過填充處理後的影像
2.3開發工具
2.3.1 MATLAB
MATLAB是MATrix LABoratory的縮寫，是一款由美國The MathWorks公司出品的商業數學軟體。MATLAB是一種用於演算法開 發、資料視覺化、資料分析以及數值計算的高階技術計算語言和互動 式環境。除了矩陣運算、繪製函式/資料影像等常用功能外，MATLAB 還可以用來建立使用者介面及與呼叫其它語言（包括C，C++和 FORTRAN）編寫的程式[10]。10 儘管MATLAB主要用於數值運算，但利用為數眾多的附加工具箱 （Toolbox）它也適合不同領域的應用，例如控制系統設計與分析、 影像處理、訊號處理與通訊、金融建模和分析等。另外還有一個配套 軟體包Simulink，提供了一個視覺化開發環境，常用於系統類比、動 態/嵌入式系統開發等方面。 MATLAB特色: 1.運算功能強大。 2.工具箱裡有影像處理函式，便於做影像處理。 3.與octave(免費軟體)比較，處理速度快上很。 4.可以製作簡易的人機介面，作為操作面板。
11
第3章 研究流程及內容
3.1 車牌擷取
將輸入的影像進行灰階化、對比度調整、二值化，並經由連接成 分標籤找出最大的區塊，便可擷取出車牌，處理過程如圖3-1。 圖 3-1 車牌影像的處理以及擷取過程 下列表3.1至表3.2，為對50台機車樣本中其中10台的擷取結果。編 號5以及7的影像會擷取失敗的原因是因為背景物體亮度比較高，所以 二值化後白色區塊比車牌還要大，導致擷取錯誤，所以在二值化處理 過程前把影像的對比度調高，增加車牌的部分與背景的差異，這樣就 能解決擷取錯誤的問題。12 影像 編號 影像 擷取結果
1
2
3
4
5
表 3.1 實驗結果13
6
7
8
9
10
表 3.2 實驗結果14
3.2 字元辨識
圖3-2為辨識字元所使用的資料庫影像，為了提高辨識率， 用來比對的資料庫裡去除了英文字母『I』和『O』，以及數字『4』， 因為交通部發布的新版的號碼，上面將會多了一個英文字母，避 免和『1』跟『0』混淆，因此不會有『I』 跟『O』的英文字， 顧及民眾忌諱，新車牌也看不到『4』的數字，不僅如此，厚度 也比舊牌薄了一半跟50元硬幣差不多，上面還多了4個浮水印及 反光效果降低偽造的機會[11]。 圖 3-2 比對資料庫15 解決相似字元導自誤判的因素後，接下來要解決由於攝影機擷取 影像是俯角的關係，相較於正面擷取出的字元，在辨識上有些字元會 產生誤差，下圖3-3是車牌正面拍攝以及俯角拍攝的比較。 圖 3-3 正面拍攝以及俯角拍攝 從圖3-3看來，可以很清出的看出是『003-JFH』，但是擷取出的字 元如下圖3-4，辨識結果如下，圖3-5為辨識結果，由於俯角的關係自 體稍稍變形導致『0』被辨識成『8』。 圖 3-4 上圖為正面影像擷取結果，下圖為俯角影像擷取結果 圖 3-5 俯角拍攝影像辨識結果
16 為了解決字體變形而影響辨識結果，我們把擷取出的字元進行圖 像擴張的處理，增加各個字元的特徵，提高與資料庫比對的相似度， 進行處理後如下圖3-6。 圖 3-6 經過圖像擴張處理後的擷取字元 辨識結果如下圖3-7，第二個字元有改善辨識結果從「8」變回「0」， 但是第一個字元還是辨識失敗。 圖 3-7 經過圖像擴張處理後變式的結果
17 所以用圖像擴張的處理解決此問題，經測試的結果俯角最大 至45度內都能正常的辨識如圖3-9，超過就會影響辨識，如圖3-10 為60的俯角的辨識結果。 圖 3-8 俯角 20 度辨識結果 圖 3-9 俯角 45 度辨識結果 圖 3-10 俯角 60 度辨識結果
18
3.3 結果分析
測試的50個樣本是在聯合大學第二停車場以及宿舍附近隨機選 取，辨識的成功與否與攝影機的俯角、背景光線的改變、天氣的影響、 車牌的完整性都有很大關係。 1.攝影機的俯角: 因為字元比對的關係，俯角拍攝的關係會導致字體變形，俯角越 大變形程度越大，50個樣本內都是用手機相機去拍攝的，都有刻意對 準車牌拍攝，所以在樣本內沒有此問題，但是理想的系統架設如下圖 3-11。 圖 3-11 理想的系統架設圖 2. 背景光線的改變: 這個因素會影響影像的車牌的擷取成功與否，如果背景太亮，導 致車牌的特徵(白色)下降，像是表3.1及3.2的實驗結果中編號5和7，擷 取失敗的原因都是因為背景太亮，導致擷取出來的物件都是背景。 3. 天氣的影響: 因為背景的亮度，會受到天氣的影響進而影響到車牌的擷取，所 以辨識的成功與否，此因素也是需要列入考量的。19 4. 車牌的完整性 此因素最為直接影響字元辨識的原因，如果車牌有字元毀損將會 導致系統辨識錯誤。 考慮以上因素後，扣除背景太亮的影像以及車牌不完整的樣本， 下面為從50個樣本中取出5個扣除影響因素的辨識結果。成功辨識的 車牌有圖3-12、圖3-14、圖3-16、圖3-18，圖3-20則是辨識失敗，錯誤 的是把『D』辨識為『0』這可能是圖像擴張的處理，擴張的大小太 多造成，所以要再多測試樣本，找一個比較穩定的擴張數值，解決此 問題。 圖 3-12 車牌 281-GMR 圖 3-13 車牌 281-GMR 辨識結果
20 圖 3-14 車牌 591-DME
21 圖 3-16 車牌 183-CSJ
22 圖 3-18 車牌 PP3-899
23 圖 3-20 車牌 991-DKN
24
第4章 辨識管理系統實作
4.1系統介面與系統流程圖
圖4-1為系統流程圖，如果判定擷取失敗後，辨識結果裡會顯是 擷取失敗，所以要再從新擷取Webcam的影像，擷取成功後進行字元 辨識，辨識成功後會直接顯示出車牌號碼，如果辨識錯誤，要回到擷 取影像的步驟，從新擷取車牌，並再次執行辨識。辨識成功後會輸出 資料讓使用者判斷是否為自己的車牌號碼以及正確性，錯誤的話會回 到一開始的擷取及辨識，確定無誤的話進行停車資訊輸入或者計算繳 費金額，並且開啟出口或入口閘門。 圖4-2為用Matlab人機介面製作的停車場車牌辨識管理系統，包含 出入口的攝影機影像、使用者使用面板，以及顯示剩餘車位以及停車 資訊查詢。 圖4-3為車輛管理資訊中的防竊上鎖系統，其功能是讓把車輛停 在停車場中的使用者，以自訂密碼方式，將車輛於辨識系統上鎖，因 為如果以車牌辨識來入場以及收費，如果非原車主也可以把車輛開出 停車場，會增加被竊風險，用這個自訂密碼方式讓該車輛只能由上鎖 的車主開離停車場，以增加車輛保管的保障，且這個上鎖只有在車輛 進場10分鐘內設定，以防有心人士隊不想上鎖的車主造成不便。 圖4-4為平面停車場的模擬介面圖，模擬停車狀況，如果該停車 場能在每個車位設置感測裝置，就能顯示剩餘的車位位置，這樣能便 於使用者更快找到停車的地方，停車場車牌辨識管理系統中入場面板 在進場確認後，會提供最近的停車為，以供參考。25 圖 4-1 系統流程圖
26 圖 4-3 車輛防竊上鎖系統
27
第5章 結論與建議
5.1 結論
最剛開始只有單張機車 (相片)的影像的處理以及辨識，有一定的 辨識成功率後開始著手動態(WEBCAM)的影像擷取以及辨識，因為從 靜態影像的處理已經有基本概念，所以在加入網路攝影機擷取的功能， 花很少的時間就完成了，但相對的要去考慮環境因素元，進一步到提 升辨識的正確率，我非常頻繁的回頭去修改之前的程式碼，也不斷地 想，在什麼情況會出現bug，怎麼修復，或怎樣寫會更好等等，有了 辨識出來的車牌號碼後開始著手對於停車場的應用，完成基本的功能 後，開始往能讓停車場更方便的方向去想，增加了加強停車保障的上 鎖系統，以及能提供最近的車位作參考導引系統。5.2 建議
對於目前這個專題來說的優點在於，程式碼部分也只使用簡單的 概念進行實作，並沒有用到太困難的程式技巧。缺點的部分在於，擷 取車牌的部分可能需要再多花些心思去設計，這樣才能在有環境因素 下也能正常擷取以及執行辨識，還有希望能在其它平台下去作開發， 因為MATLAB的人機介面只是個簡易的開發工具，所以功能上比較不 足，以上這些缺點都是我們未來可以改進的地方，而且此專題目前能 夠辨識的車牌，只有車牌完整度高，沒有髒污遮蔽，才可以成功辨識， 而且如果為白色的汽車，在車牌定位也較常出錯，其車牌擷取錯誤的 原因為那錯誤的地方也有和車牌特徵相同的地方，希望在未來可以藉 由其他的車牌特徵，例如長寬比、車牌的變異數等特徵，來減少其錯 誤率。也希望此系統能夠以硬體方面做結合，達到的真正自動化系 統。28
參考文獻
[1] Cowlishaw, M. F.. Fundamental requirements for picture presentation . Proc. Society for Information Display.1985, 26 (2): 101–107.
[2] 維 基 百 科
(http://zh.wikipedia.org/wiki/%E7%81%B0%E5%BA%A6%E5%9B%BE
%E5%83%8F)
[3] H. Samet and M. Tamminen (1988). "Efficient Component Labeling of Images of Arbitrary Dimension Represented by Linear Bintrees". IEEE Transactions on Pattern Analysis and Machine Intelligence (TIEEE Trans. Pattern Anal. Mach. Intell.) 10: 579
[4] Michael B. Dillencourt and Hannan Samet and Markku Tamminen (1992).
[5] Weijie Chen, Maryellen L. Giger and Ulrich Bick (2006). "A Fuzzy C-Means (FCM)-Based Approach for Computerized Segmentation of Breast Lesions in Dynamic Contrast-Enhanced MR Images". Academic radiology (Academic Radiology) 13 (1): 63–72.
[6] Kesheng Wu, Wendy Koegler, Jacqueline Chen and Arie Shoshani (2003).
[7] R. Fisher, S. Perkins, A. Walker and E. Wolfart (2003).
[8] Gonzalez, R. C., R. E. Woods, and S. L. Eddins, Digital Image Processing Using MATLAB, Gatesmark Publishing, 2009.
[9] Soille, P., Morphological Image Analysis: Principles and Applications, Springer-Verlag, 1999, pp. 173-174.
[10] MATLAB R2009a web interface
