車牌辨識技術探討與文獻回顧

車牌辨識主要分為兩個步驟，分別為車牌定位以及字元辨識，其中車牌定位 是車牌辨識過程中，極為重要之步驟，其定位成果的好壞，將會影響後續的文字 辨識。本章節之文獻探討，將分別討論車牌定位與文字辨識。

1.2.1 車牌定位的文獻回顧[Dua04][Guo08][Qin06][Yan05][Zha06][Vio04]

以目前常見的車牌定位技術而言，大部份的研究方法都是建立於車牌的形

狀及特徵，並在影像中尋找這些特性的所在位置，再進一步分析是否為車牌，其 作法可以分為兩大類：

(a)尋找車牌區塊的邊界：正常的情況而言，車牌的形狀具有平行四邊形性

質，根據此特性，研究[Dua04][Guo08]利用一些影像處理技術，尋找物體的邊界，

並由其判斷該物體是否為一平行四邊形。普遍的作法是先將影像進行 edge

detection(邊緣偵測)，再利用 Hough transform(簡稱 HT)計算這些 edge 所構成的直 線方程式，再得知每條線的方程式後，即可計算影像中，是否有兩條平行線所構 成的區域，並將此區域作為車牌的候選區塊，其可再透過後續的文字辨識，進一

步分析是否為車牌。然而這個作法仍然有一些問題必須改進，其一，計算 HT 的 過程會減少系統的執行效能，因為 HT 會將每一種可能的直線方程式都計算過一 次，再找出最適當的一條線，在這過程中，勢會花掉不少時間在進行計算；其二，

對於車牌與車體本身顏色近似的情況下(如白色車體與白色車牌)，intensity 的差 異不大，edge detection 不易找到車牌外框線，更何況是要再利用 HT 找出平行 線的位置，因此，針對上述的狀況來說，車牌的外觀特徵並不是很適合定位車牌 的條件。

(b)尋找車牌上的特徵點(feature point)：對於各種不同類型的車輛(汽車、機 車、以及重型機車)，除了有各種不同顏色的車牌外，其車牌內的字元數也不相 同，分別有 4 個字與 6 個字兩種(可能為數字或英文字母)，而文字顏色又隨車輛 類型有所不同，而根據這些外觀性質，第二種類型的定位方法，其主要是設計影 像處理之技術，在影像中尋找某一類的車牌特性(例如文字與底牌因顏色所產生 之 color edge)，並以此作為特徵點，再以特徵點集中之區域，作為車牌的候選區 塊。而可選用的特徵點種類繁多，以研究[Qin06]為例，由實驗結果發現，車牌 內的文字會產生許多的 corner(所謂的 corner 是指 edge 發生轉折，或是 edge 與 edge 之間有相交之處，常見的 corner 有 L、Y，以及 X 這三種類型)，而且這些 corner 會密集分佈在車牌的區域內，因此，此方法主要是先對輸入的影像進 corner detection，再找出一些 corner 較集中區域，並進行分析，以判斷是否為車牌。由 於此方法只是找出 corner 密集之處，不需要精確的找出每一個 corner，因此可利

用簡單的 corner detection，快速偵測影像中的 corner 分佈，以提高系統的執行效 能，但其缺點是某些特定的文字(如 0 和 O)，不易找到較強的 corner，若這些文 字頻繁出現在車牌內，其將會造成定位結果失敗。除了可選用 corner 之外，研究 [Yan05]選用 vertical edge 作為特徵點，作法與前述方法類似，但其可改善研究 [Qin06]的缺點。

除了上述的特徵點之外，haar-like 亦是另一種可選用的特徵，其主要是利用 haar-like 的遮罩(mask)，尋找這一類的特徵點，如圖 1.2 所示，不同形狀的遮罩 就代表不同的特徵點，以圖 1.2(a)為例，其在尋找影像中的某一點，其周圍像素 點的分佈，如同遮罩所顯示，即中間區域的像素值會比左右兩邊的像素值低，如 圖 1.3 紅色方框所標示。而要利用 haar-like 尋找車牌時，必須根據車牌的樣式，

決定適當的遮罩。而考慮到影像中，車牌的大小不全然相同的問題，研究

[Zha06][Vio04]將每一種類型的遮罩，以各種不同的大小，反覆計算影像中的特 徵點，以圖 1.2(a)為利，其可用遮罩大小為 3×3、6×6、以及 9×9 進行計算，最後 在利用 Adaboost 分類器，決定這些特徵點是否為車牌之特徵。此作法雖然可達 到較佳的定位成果，但是其要花較多的時間在進行前處理，其包含收集大量的訓

(a) (b) (c) 圖 1.2、不同類型的 Haar-like 遮罩

練樣本(training sample)，以及分類器的訓練過程，其分類結果的好壞，取決訓練 樣本的數量，因此，針對車牌種類繁多的情況下，此方法較不適用於車牌定位。

綜合比較上述的方法，再考慮要能在即時系統上運作，利用 corner 或是 edge 的特徵，是個不錯的方法，但是考慮會有例外狀況，如找不到 corner 的文字，本 研 究 認 為 可 以 再 加 入 色 彩 的 資 訊 ， 並 把 Corner detection 改 為 Color edge

detection(彩色邊緣偵測)，再用 Morphology 方法找出 Color edge 比較集中的地 方，分析是否為車牌。詳細的運作流程將在後續介紹。

1.2.2 字元辨識的文獻回顧[Gao07][Bro05] [Kim00] [Tan05][Jun05][Lu08]

當車牌辨識系統定位到車牌區塊後，會再對其進行字元辨識的步驟，以辨

識其上之車牌文字。假設系統已成功定位車牌的區塊，可用於字元辨識的方法有 下列幾種：

(a)分類器(classifiers)分類法：在研究[Gao07][Bro05]，其將類神經網路應用

在文字辨識，主要的作法先收集大量的車牌影像，並以手動的方式，取出車牌中 的 文 字 影 像 作 為 訓 練 樣 本 ， 並 用 其 訓 練 分 類 器 或 類 神 經 網 路 系 統 (Neural

network)。當分類器經由大量的訓練樣本訓練候，即可用其進行辨識文字辨識。

以研究[Gao07]為例，其使用 backpropagation(BP)類神經網路系統，不但辨識率 可高達 97.3%，且其又有較佳的執行速度。然而，此作法的缺點是需要收集大量 的訓練樣本，以及耗費時間在訓練過程，此外，其辨識率的好壞也取決於訓練樣 本的數量。另外，此作法最大的問題，在其無法應用各種類型的車牌(如不同的

字型)，一旦車牌種類變更，必須重新收集訓練樣本，並重新訓練系統，較不適 應用在車牌種類眾多的情況。除了使用 BP 類神經網路之外，類似的作法有研究

[Kim00]，其使用 support vector machine(SVM)作為分類的方法。

(b)樣版比對法(template match)：此作法主要先是建立一組標準的字元圖

庫，並以其作為樣版(template)，並將欲辨識的字元與每一個樣版進行比對，差 異度最小的樣版，即為辨識結果。以研究[Tan05]為例，其在辨識字元之前，會 將欲辨識的字元圖像，縮放至與樣版等大的影像尺寸，並以點對點的方式，逐一 比對兩張影像之間的差異度，並選出差異度較小的樣版，作為辨識結果。但是考 慮到車牌影像有歪斜的狀況，或是雜訊影響，可能會有多個樣版與辨識圖像的比 對結果近似，因此，必須利用 distance transform 的方法再進行比對，以差異度最 小的樣版，作為最後的辨識結果。類似的作法有研究 [Jun05][Lu08]，其均使用

template match，辨識車牌文字。雖然 template match 不需要搜集大量的訓練樣本，

以及耗費時間在訓練過程，但是，其不適合應用於字元歪斜的情況，另外，若車 牌號碼的字型變更時，亦必須重新更換其樣版字庫，否則會影響其比對之結果。

綜合比較上述之方法，再考慮台灣之車牌種類繁多，但是車牌字型均相同的 情況下，樣版比對法是比較適合應用在本研究之系統，其不需要收集大量的訓練 樣本，亦可同時應用在機車與汽車車牌，另外，由於樣版比對法不適合處理文字 歪斜的情況，因此在進行字元辨識之前，需進行傾斜校正(skewness correction)的 步驟，以提高辨識之成功率。