自動贓車偵測系統

全文

(1)國立臺灣師範大學資訊工程研究所碩士論文. 指導教授：陳世旺. 博士. 自動贓車偵測系統 Automatic Stolen Vehicle Detection System. 研究生：陳志成中華民國. 撰. 九十八年七月.

(2) 摘要近幾年來，層出不窮的車輛失竊案件，已為民眾所擔憂之問題。針對車輛失竊問題，警方雖有其處理方法，但效果與執行效率均不佳。為了改善警方之偵辦效率，本研究利用電腦視覺技術，提出自動贓車偵測系統，其結合車牌辨識軟體、攝影機、GPS 接收器，以及網路設備，其利用攝影機擷取車牌影像，再透過車牌辨識軟體，自動辨識其中之車牌號碼，改善警方目前以人為輸入車牌號碼的方式，減少操作的過失，並結合現有網路系統，提供即時更新的能力。本研究所提出之車牌辨識系統可分為車牌定位系統與文字辨識系統。在車牌定位系統方面，本研究利用 total variation decomposition，改善影像之光影變化問題，並利用 color edge detection 與 morphology operation，在影像內尋找可能為車牌之區塊 (candidate)，並根據 aspect ratio，去除不可能為車牌之區塊。在文字辨識系統方面，其將車牌定位之結果，進行文字分割處理，並透過 skewness correction，改善文字區塊的變形現象。在文字辨識時，先根據文字區塊之拓樸性質，對其進行初步分類，減少文字比對的次數，並利 Chamfer distance，計算文字區塊與標準字元之相似程度，並以相似成度較高者，作為辨識結果。由實驗結果知，即使在光影變化的環境，本研究之定位系統仍可定位車牌之位置，而針對歪斜之車牌，透過 skewness correction 之處理，可提升文字辨識系統的正確性。. 關鍵字：車牌辨識、total variation、skewness correction.

(3) Abstract In this thesis, an automatic stolen vehicle detection system is proposed. This system is composed of a PC-based host computer, a color CCD camera, a GPS device, and a communication unit. A license plate recognition (LPR) program and a database of stolen license numbers have been installed in the computer. The CCD camera captures images as the input data to the LPR program. Once an input license number is recognized as belonging to a stolen vehicle through comparing with those pre-stored in the database, the license number, GPS information, and image of the vehicle are immediately transmitted to a control center through the communication unit. The license plate recognition program plays an important role in the proposed system, which consists of two modules: the license plate location and the license number identification modules. In the license plate location module, the total variation method is first applied to the input image for normalizing its illumination. Thereafter, a color edge detector looks for in the resultant images particular edges that may be related to license plates. Morphology operations are then applied to the edge image, which highlight the image areas that may contain license plates. Only the areas whose aspect ratios agree with that of license plates are preserved. In the license number identification module, for each license plate candidate, character segmentation is performed, followed by a skewness correction process, which normalizes the shapes of segmented characters. In the final step, characters are recognized to accomplish the license number identification. A series of outdoor experiments have been conducted to demonstrate the feasibility of the proposed system. Key word: license plate recognition、total variation method、skewness correction.

(4) 誌. 謝. 歷經兩年多的研究生涯終於告一段落，能夠順利完成這一份學業，這都要感謝許多人的幫助。首先，要感謝的是指導教授陳世旺老師，每週不辭辛苦，指導我在研究上的問題，並給予我問題解決之方向。另外，在我生病時也會打電話關心身體狀況。再來是感謝實驗室中的博士班學長：允中學長、祥利學長，以及俊明學長，特別是要感謝允中學長，再我剛進入研究所之時，指導我在研究時，所面臨的一些困難，也教導我在遇到問題時，該如何去解決。另外，也必須感謝祥利學長，幫忙製作手持裝置之電路系統，使我能順利完手持裝置之雛型。另外，也要感謝已畢業的安均學長，除了帶領我熟悉師大的環境外，也很熱心指導我研究方面的問題。此外,也要感謝實驗室幾位同學：亭凱、宗儒、士祺，以及士翔，尤其是亭凱，為了完成研究系統之雛型，帶我跑遍好幾個地方，另外是婉雅、竹煖、彥儀，以及之凡，在口試時候，幫了我不少忙，特別是之凡，經常與我一同討論研究、運動，以及休閒娛樂。最後，要感謝我的母親，感謝他一個人獨力工作，讓我在求學的過程，不曾因為經濟壓力，而中斷學習，也感謝她時常給與我關心和支持，讓我順利完成我的學業。.

(5) 目錄圖目錄.......................................................................................................................... iii 表目錄...........................................................................................................................vi 第一章緒論..................................................................................................................1 1.1 研究動機與目的..............................................................................................1 1.2 車牌辨識技術探討與文獻回顧......................................................................5 第二章系統架構與流程............................................................................................10 2.1 硬體結構........................................................................................................11 2.2 系統流程........................................................................................................15 第三章、車牌定位系統..............................................................................................17 3.1 影像前置處理................................................................................................17 3.2 Total variation decomposition........................................................................19 3.3 彩色邊緣偵測與形態學操作.......................................................................25 3.4 車牌定位.......................................................................................................27 第四章文字辨識系統................................................................................................29 4.1 文字分割........................................................................................................29 4.2 傾斜校正.......................................................................................................32 4.2.1 Rotation correction......................................................................................34 4.2.2 Pan correction .............................................................................................35. i.

(6) 4.3 文字初步分類...............................................................................................40 4.4 文字辨識.......................................................................................................44 4.5 文字再確認....................................................................................................48 五、實驗成果..............................................................................................................51 5.1 手持裝置.......................................................................................................51 5.2 車牌定位之實驗成果...................................................................................53 5.2 文字辨識之實驗成果...................................................................................58 5.3 討論...............................................................................................................62 第六章結論與未來展望............................................................................................66 6.1 結論................................................................................................................66 6.2 未來展望........................................................................................................67 附錄 A、標準字元之細線化結果..............................................................................68 參考文獻......................................................................................................................70. ii.

(7) 圖目錄圖 1.1、警用行動電腦..................................................................................................3 圖 1.2、不同類型的 Haar-like 遮罩 ...........................................................................7 圖 2.1、系統架構示意圖............................................................................................10 圖 2.2、硬體架構示意圖............................................................................................11 圖 2.3、攝影機與人眼視線誤差之示意圖................................................................14 圖 2.4、系統流程圖....................................................................................................16 圖 3.1、車牌定位流程................................................................................................18 圖 3.2、Total variation decomposition........................................................................22 圖 3.3、彩色邊緣的篩選結果....................................................................................26 圖 3.4、十字形的結構單位........................................................................................27 圖 3.5、車牌的候選區塊............................................................................................27 圖 3.6、車牌定位之結果............................................................................................28 圖 4.1、文字辨識流程圖............................................................................................29 圖 4.2、車牌影像之二值化處理................................................................................30 圖 4.3、黑底白字車牌之二值化處理........................................................................31 圖 4.4、4-connect 遮罩[Yan07]..................................................................................31 圖 4.5、去除雜訊與填補之結果................................................................................31 圖 4.6、文字分割之結果............................................................................................32 iii.

(8) 圖 4.7、車牌之傾斜狀況............................................................................................33 圖 4.8、Image warping 示意圖 ..................................................................................33 圖 4.9、Rotation 之校正過程.....................................................................................35 圖 4.10、攝影機成像示意圖......................................................................................36 圖 4.11、車牌前後傾斜示意圖..................................................................................37 圖 4.12、旋轉校正示意圖..........................................................................................38 圖 4.13、Pan 之修正示意圖.......................................................................................39 圖 4.14、可包含所有文字區塊之最小四邊形..........................................................40 圖 4.15、節點的類型..................................................................................................41 圖 4.16、字元 A 之節點性質.....................................................................................42 圖 4.17、細線化處理..................................................................................................42 圖 4.18、各種距離轉換的計算結果..........................................................................44 圖 4.19、chamfer mask ...............................................................................................45 圖 4.20、字元 A 之 Chamfer distance 影像...............................................................46 圖 4.21、選取相似字元之細部特徵..........................................................................49 圖 5.1、手持裝置........................................................................................................52 圖 5.2、手持裝置之操作示意圖................................................................................52 圖 5.3、車牌定位流程與其結果................................................................................53 圖 5.4、車牌定位結果之一(理想環境).....................................................................55. iv.

(9) 圖 5.5、車牌定位結果之二(光影變化的環境).........................................................56 圖 5.6、車牌定位結果之三(多個車牌的環境).........................................................57 圖 5.7、文字辨識之範例............................................................................................58 圖 5.8、skewness correction .......................................................................................59 圖 5.9、文字區塊之細線化處理結果........................................................................59 圖 5.10、文字辨識結果之一(理想車牌影像)...........................................................59 圖 5.11、文字辨識結果之二(傾斜車牌影像) ...........................................................60 圖 5.12、車牌辨識系統的完整運作結果..................................................................61 圖 5.13、無法分割文字之範例(一)...........................................................................63 圖 5.14、無法分割文字之範例(二)...........................................................................63 圖 5.15、複雜背景造成定位失敗..............................................................................64 圖 5.16、文字分割之失敗範例..................................................................................64 圖 5.17、標準車牌之樣版..........................................................................................65 圖 5.18、文字再分割示意圖......................................................................................65. v.

(10) 表目錄表 1.1、歷年汽機車失竊統計......................................................................................1 表 2.1 GPGGA 之訊號格式與說明............................................................................12 表 2.2、圖 2.3 之各項參數說明.................................................................................15 表 3.1、台灣的車牌類型............................................................................................26 表 4.1、標準文字之拓樸性質....................................................................................43 表 4.2、chamfer distance 之演算法 ...........................................................................45 表 4.3、文字辨識範例(一).........................................................................................46 表 4.4、文字辨識範例(二).........................................................................................47 表 4.5、文字辨識範例(三).........................................................................................48 表 5.1、車牌辨識之實驗成果....................................................................................62. vi.

(11) 第一章緒論. 1.1 研究動機與目的隨著台灣的經濟水準提升後，民眾的消費能力也跟著提升，汽機車的銷售量也是逐年增加。而在購買汽機車的同時，車輛失竊問題也一直困擾許多民眾，根據內政部警政署的統計資料顯示(如表 1.1)，每年失竊的汽機車，皆超過 10 萬輛，且還不包含未申報之案件，其中以機車失竊佔最大多數。而針對這些失竊案件，警方目前查緝贓車的方式有 2 種，其一是在路口設置閘道臨檢，針對過往車輛進行盤檢，此方法能偵查的贓車數量有限，而且抽查的方式為隨機取樣，仍會有一些漏網之魚，再加上受限於地區與人力資源的限制，無法進行大規模的搜查，但對於即時或重大刑事的申報案件，此方法有較佳的查緝效果；第二種方法是利用手持的電腦裝置，針對停放在路邊的車輛，逐一輸入其車牌號，並與資料庫的贓車車牌號碼進行比對，此方法可以有效應用在搜查靜態不移動的車輛，缺點是耗表 1.1、歷年汽機車失竊統計年分. 機車失竊數. 汽車失竊數. 88. 185,933. 40,323. 89. 195,357. 47,750. 90. 191,739. 51,377. 91. 191,290. 48,925. 92. 182,233. 47,776. 93. 166,457. 50,169. 94. 130,661. 48,992. 95. 166,045. 33,739. 1.

(12) 費時間在輸入車牌號碼，而且在此過程中，又容易因為人為的過失，導致輸入錯誤而造成誤判，而且又浪費警方人力在搜查的過程，無法提供有效率的贓車搜查。除了耗費人力的贓車搜查方式外，尚還有一些技術可以用來輔助查緝贓車或防止汽機車竊盜，作法包含： (a) GPS 定位結合無線電波發射器：此作法是利用 GPS 的裝置，取得車輛的所在位置，再透過無線電波的發射器，不斷的發送電波訊號，當車子失竊後，警方可以根據車子所送出來的訊號，找到車子的所在地。但其使用上仍有一些限制，在車子處於在地下室，或是多障蔽的環境時，會影響衛星訊號的接收，以及無線電波的發射，造成訊號中斷，無法順利掌握贓車位置，再加上發射器的內嵌電源有限，一旦其電力耗盡，將無法追蹤車輛位置。雖然此作法輔助效果不是很理想，但其可在失竊的第一時間內，預測及追蹤贓車的行進方向，警方亦可以即時圍捕竊賊、尋回失竊車輛。 (b)RFID 晶片車牌：此作法是將 RFID 的晶片，嵌入在汽機車的車牌上，晶片中含有車牌號碼及可公開的資料，透過 RFID 的讀取機，即使在行進中的車輛，也可以得知其車牌號碼。目前馬來西亞已著手晶片車牌的開發，預計幾年內將可正式上路，此作法不但有百分之百的辨識率，即使被竊賊惡意拔除車牌，RFID 也會損毀失效，若路口或是收費站的讀取機，無法讀取該車的晶片資料，或是車牌號碼被認定為贓車資料，系統會立即通知警方，有助於追蹤查詢。由此作法必須更換車輛之車牌，並且安裝 RFID 之讀取器在重要路口(如收費站)，勢必會消. 2.

(13) 耗大量的資金在建制系統，另外，還要考慮民眾更換車牌的過渡期間，系統會無法正常運作。雖然 RFID 可以提供多樣化的加值服務(如電子消費或 ETC)，但是其缺也會衍生許多安全性之問題，例如：竊取 RFID 訊號，並加以破解取得個人資料之駭客行為。也因此，在使用 RFID 時，必須有良好的加密機制，以維護個人的人身資料安全。 (c)應用電腦視覺技術的車牌辨識系統：此作法是利用攝影機來擷取影像，並解析影像中的車牌及車牌號碼，並比對資料庫中的資料，判斷該車輛是否為已報案的贓車。其缺點在受限於環境因素，車牌的辨識率無法達成百分之百，亦有可能造成誤判的情況。雖然，沒有如同 RFID 的辨識率，但是其建制成本卻比 RFID 低廉許多，再加上此作法不需要加裝額外的設備在車輛上，不僅實作簡單，也不須要擔心裝置被破壞。目前警方所使用的行動電腦如圖 1.1 所示，主要是提供員警用來查詢是否為. (a)、正面. (b)、背面圖 1.1、警用行動電腦. 3.

(14) 失竊贓車、通緝犯，以及失蹤人口。目前該系統只能提供離線查詢的功能，在輸入車牌號碼或身分證號碼，系統會依據查詢項目回傳結果。近年來，國內的車輛失竊案件，一直居高不下，若是無法提供一個有效率的查緝方式，勢必會增加員警的工作量。雖然目前所使用的行動電腦具有查詢失竊贓車的功能，但是在使用上仍有些缺點： (a)手動輸入車牌號碼，不但浪費人力，又長時間操作，必然造成員警身心疲勞，容易導致操作錯誤。 (b)警方基地台內的資料，為每日在固定時間才會更新，而目前的行動電腦不具備有線上更新的能力，因此，員警在巡邏前，必須事先由警政署下載資料，而在執行勤務時並無法掌握最新的即時資訊。 (c)目前的系統以 LCD 作為顯示器，無法顯示影像資訊，再加上該行動電腦的數據傳輸能力只有 1200bps，也無法滿足影像龐大資料傳輸的需求。為了改善上述的缺點，並讓贓車的查緝更有效率，能即時追蹤道路上的車輛，又可以快速偵察停車場中的靜態車輛，本研究提出一個以電腦視覺技術為基礎的自動贓車偵測系統(Automatic Stolen Vehicle Detecting System)，簡稱為 ASVDS，除了利用攝影機擷取影像，並利用車牌辨識系統辨識車牌號碼之外，再利用現有的無線通訊系統，提供即時、且高容量的傳輸系統，不但可以立即回傳贓車的發現地或是圖片相關資訊，亦可即時更新贓車資訊，以維持資料庫的準確性，增加 ASVDS 的實用性。此系統不僅可以裝置在重要道路口或是國道收費. 4.

(15) 站，針對過往車輛，逐一檢查是否為贓車，亦可針對前述的問題，將系統應用在手持式電腦裝置，取代人為輸入車牌號碼的過程，減少操作的過失，再配合增加定位與通訊系統，提供額外的資訊以輔助警方追查贓車下落，有效提升贓車的破案率。. 1.2 車牌辨識技術探討與文獻回顧車牌辨識主要分為兩個步驟，分別為車牌定位以及字元辨識，其中車牌定位是車牌辨識過程中，極為重要之步驟，其定位成果的好壞，將會影響後續的文字辨識。本章節之文獻探討，將分別討論車牌定位與文字辨識。. 1.2.1 車牌定位的文獻回顧[Dua04][Guo08][Qin06][Yan05][Zha06][Vio04] 以目前常見的車牌定位技術而言，大部份的研究方法都是建立於車牌的形狀及特徵，並在影像中尋找這些特性的所在位置，再進一步分析是否為車牌，其作法可以分為兩大類： (a)尋找車牌區塊的邊界：正常的情況而言，車牌的形狀具有平行四邊形性質，根據此特性，研究[Dua04][Guo08]利用一些影像處理技術，尋找物體的邊界，並由其判斷該物體是否為一平行四邊形。普遍的作法是先將影像進行 edge detection(邊緣偵測)，再利用 Hough transform(簡稱 HT)計算這些 edge 所構成的直線方程式，再得知每條線的方程式後，即可計算影像中，是否有兩條平行線所構成的區域，並將此區域作為車牌的候選區塊，其可再透過後續的文字辨識，進一 5.

(16) 步分析是否為車牌。然而這個作法仍然有一些問題必須改進，其一，計算 HT 的過程會減少系統的執行效能，因為 HT 會將每一種可能的直線方程式都計算過一次，再找出最適當的一條線，在這過程中，勢會花掉不少時間在進行計算；其二，對於車牌與車體本身顏色近似的情況下(如白色車體與白色車牌)，intensity 的差異不大，edge detection 不易找到車牌外框線，更何況是要再利用 HT 找出平行線的位置，因此，針對上述的狀況來說，車牌的外觀特徵並不是很適合定位車牌的條件。 (b)尋找車牌上的特徵點(feature point)：對於各種不同類型的車輛(汽車、機車、以及重型機車)，除了有各種不同顏色的車牌外，其車牌內的字元數也不相同，分別有 4 個字與 6 個字兩種(可能為數字或英文字母)，而文字顏色又隨車輛類型有所不同，而根據這些外觀性質，第二種類型的定位方法，其主要是設計影像處理之技術，在影像中尋找某一類的車牌特性(例如文字與底牌因顏色所產生之 color edge)，並以此作為特徵點，再以特徵點集中之區域，作為車牌的候選區塊。而可選用的特徵點種類繁多，以研究[Qin06]為例，由實驗結果發現，車牌內的文字會產生許多的 corner(所謂的 corner 是指 edge 發生轉折，或是 edge 與 edge 之間有相交之處，常見的 corner 有 L、Y，以及 X 這三種類型)，而且這些 corner 會密集分佈在車牌的區域內，因此，此方法主要是先對輸入的影像進 corner detection，再找出一些 corner 較集中區域，並進行分析，以判斷是否為車牌。由於此方法只是找出 corner 密集之處，不需要精確的找出每一個 corner，因此可利. 6.

(17) 用簡單的 corner detection，快速偵測影像中的 corner 分佈，以提高系統的執行效能，但其缺點是某些特定的文字(如 0 和 O)，不易找到較強的 corner，若這些文字頻繁出現在車牌內，其將會造成定位結果失敗。除了可選用 corner 之外，研究 [Yan05]選用 vertical edge 作為特徵點，作法與前述方法類似，但其可改善研究 [Qin06]的缺點。除了上述的特徵點之外，haar-like 亦是另一種可選用的特徵，其主要是利用 haar-like 的遮罩(mask)，尋找這一類的特徵點，如圖 1.2 所示，不同形狀的遮罩就代表不同的特徵點，以圖 1.2(a)為例，其在尋找影像中的某一點，其周圍像素點的分佈，如同遮罩所顯示，即中間區域的像素值會比左右兩邊的像素值低，如圖 1.3 紅色方框所標示。而要利用 haar-like 尋找車牌時，必須根據車牌的樣式，決定適當的遮罩。而考慮到影像中，車牌的大小不全然相同的問題，研究 [Zha06][Vio04]將每一種類型的遮罩，以各種不同的大小，反覆計算影像中的特徵點，以圖 1.2(a)為利，其可用遮罩大小為 3×3、6×6、以及 9×9 進行計算，最後在利用 Adaboost 分類器，決定這些特徵點是否為車牌之特徵。此作法雖然可達到較佳的定位成果，但是其要花較多的時間在進行前處理，其包含收集大量的訓. (a). (b) 圖 1.2、不同類型的 Haar-like 遮罩. 7. (c).

(18) 練樣本(training sample)，以及分類器的訓練過程，其分類結果的好壞，取決訓練樣本的數量，因此，針對車牌種類繁多的情況下，此方法較不適用於車牌定位。綜合比較上述的方法，再考慮要能在即時系統上運作，利用 corner 或是 edge 的特徵，是個不錯的方法，但是考慮會有例外狀況，如找不到 corner 的文字，本研究認為可以再加入色彩的資訊，並把 Corner detection 改為 Color edge detection(彩色邊緣偵測)，再用 Morphology 方法找出 Color edge 比較集中的地方，分析是否為車牌。詳細的運作流程將在後續介紹。. 1.2.2 字元辨識的文獻回顧[Gao07][Bro05] [Kim00] [Tan05][Jun05][Lu08] 當車牌辨識系統定位到車牌區塊後，會再對其進行字元辨識的步驟，以辨識其上之車牌文字。假設系統已成功定位車牌的區塊，可用於字元辨識的方法有下列幾種： (a)分類器(classifiers)分類法：在研究[Gao07][Bro05]，其將類神經網路應用在文字辨識，主要的作法先收集大量的車牌影像，並以手動的方式，取出車牌中的文字影像作為訓練樣本，並用其訓練分類器或類神經網路系統 (Neural network)。當分類器經由大量的訓練樣本訓練候，即可用其進行辨識文字辨識。以研究[Gao07]為例，其使用 backpropagation(BP)類神經網路系統，不但辨識率可高達 97.3%，且其又有較佳的執行速度。然而，此作法的缺點是需要收集大量的訓練樣本，以及耗費時間在訓練過程，此外，其辨識率的好壞也取決於訓練樣本的數量。另外，此作法最大的問題，在其無法應用各種類型的車牌(如不同的 8.

(19) 字型)，一旦車牌種類變更，必須重新收集訓練樣本，並重新訓練系統，較不適應用在車牌種類眾多的情況。除了使用 BP 類神經網路之外，類似的作法有研究 [Kim00]，其使用 support vector machine(SVM)作為分類的方法。 (b)樣版比對法(template match)：此作法主要先是建立一組標準的字元圖庫，並以其作為樣版(template)，並將欲辨識的字元與每一個樣版進行比對，差異度最小的樣版，即為辨識結果。以研究[Tan05]為例，其在辨識字元之前，會將欲辨識的字元圖像，縮放至與樣版等大的影像尺寸，並以點對點的方式，逐一比對兩張影像之間的差異度，並選出差異度較小的樣版，作為辨識結果。但是考慮到車牌影像有歪斜的狀況，或是雜訊影響，可能會有多個樣版與辨識圖像的比對結果近似，因此，必須利用 distance transform 的方法再進行比對，以差異度最小的樣版，作為最後的辨識結果。類似的作法有研究 [Jun05][Lu08]，其均使用 template match，辨識車牌文字。雖然 template match 不需要搜集大量的訓練樣本，以及耗費時間在訓練過程，但是，其不適合應用於字元歪斜的情況，另外，若車牌號碼的字型變更時，亦必須重新更換其樣版字庫，否則會影響其比對之結果。綜合比較上述之方法，再考慮台灣之車牌種類繁多，但是車牌字型均相同的情況下，樣版比對法是比較適合應用在本研究之系統，其不需要收集大量的訓練樣本，亦可同時應用在機車與汽車車牌，另外，由於樣版比對法不適合處理文字歪斜的情況，因此在進行字元辨識之前，需進行傾斜校正(skewness correction)的步驟，以提高辨識之成功率。. 9.

(20) 第二章系統架構與流程. 本研究提出的 ASVDS 是結合車牌辨識系統、無線傳輸系統以及衛星定位系統，以提供員警有效的贓車查緝系統。圖 2.1 為本研究所提出的構想，使用者 (例如警員)以贓車偵測系統上的攝影機擷取車牌影像，辨識其中的車牌號碼，並將辨識的車牌號碼與贓車資料庫進行比對，若是比對結果為贓車的車牌號碼，系統會將車牌號碼顯示於 LCD 銀幕，發出警訊提醒使用者注意，並等待使用者以目視確認辨識結果是否為正確，如果確認為贓車，系統會利用 GPS 定位贓車位置，並且透過通訊設備，將位置、車牌號碼與車輛的影像資訊傳送回控制中心，而負責偵辦贓車竊盜案件的員警，即可利用這些資訊，配合地圖導航系統. 圖 2.1、系統架構示意圖. 10.

(21) (navigation System)，找到贓車的所在位置。員警可以前往守候竊車者或去通知拖吊車進行拖吊。由於攝影機不斷輸入影像，影像中沒有車牌，或者車牌辨識結果非贓車，系統會回到取像步驟，重覆上述的流程。. 2.1 硬體結構為了便利使用者使用攝影機擷取車牌影像，本研究的硬體結構設計如圖 2.2 所顯示，其主要分成兩個部分，分別為行動電腦與手持裝置。行動電腦具備全球衛星定位系統 Global Positioning System (GPS) 的接收器與通訊設備；手持裝置是一由中央處理單元(CPU)、銀幕(LCD)、按鈕(Confirm 與 Continue)、攝影機. 圖 2.2、硬體架構示意圖. 11.

(22) (Camera)、攝影機補助燈(Supplementary light)、指示器(LED)與蜂鳴器(Buzzer)、以及準星(Veiwfinder)所組成，其各元件的功能分別如下所敘述： (a)全球衛星定位系統 GPS：GPS 接收器是用來接收衛星訊號，以取得贓車的所在位置。GPS 可取得的訊號主要為 GPGGA、GPRMC、GPGSA、GPGSV… 等等，其中只要利用 GPGGA 的訊號，即可定位贓車所在座標的經緯度，其訊號格式如表 2.1 所示(依欄位順序排列，每個欄位是以逗點作為間隔)，只需要使用編號 2-7 的資料，即可定位贓車的位置，並記錄時間，將這些定位資訊，透過通訊設備(如無線網路系統)，傳回遠端的資料庫，警方的查緝小組可根據這些資料，進行搜尋或是拖吊贓車的動作。表 2.1 GPGGA 之訊號格式與說明編號. 欄位內容. 備註. 1. $GPGGA. 訊號的起始識別字. 2. 定位標準時間. 格式：時時分分秒秒.秒秒秒（hhmmss.sss）. 3. 緯度. 格式：度度分分.分分分分（ddmm.mmmm）. 4. 緯度區分. 北半球為 N，南半球為 S. 5. 經度. 格式：度度分分.分分分分. 6. 經度區分. 東半球為 E，西半球為 W. 7. 定位代號. 0 代表衛星尚未定位，1 代表已定位. 8. 使用中的衛星顆數. 數值範圍 00~12. 9. 水平精度度. 數值範圍 0.5 至 99.9. 10. 海拔高度. 數值範圍-9999.9 至 99999.9 米. 11. 海拔高度之單位. M 表示單位米. 12. 大地水準面之高度. 數值範圍-999.9 至 9999.9 米. 13. 大地水準面之高度單位. M 表示單位米. 14. 資料更新時間. 前一次偏差修正(DGPS)至目前之時間. 15. 參考基地台代號. DGPS 所用之基地台代號. 16. 檢查位元. 驗證資料的正確性. 12.

(23) (b)中央處理單元 CPU：用以控制整個系統的運作；此元件是利用 RS232 的傳輸方式，來接收或是發送控制訊號到各元件；所連接的元件分別為銀幕 LCD、按鈕 Confirm 與 Continue、以及指示器 LED 與蜂鳴器 Buzzer。 (c) LCD 銀幕：顯示車牌號碼辨識的結果。 (d)按鈕 Confirm、按鈕 Continue：用以作為使用者的操作按鈕，當系統發現到贓車時，系統的 LCD 銀幕會顯示該車的車牌辨識結果，又蜂鳴器與指示燈同時提醒使用者的注意，使用者在以目視確認，車牌號碼辨識的結果為正確後，按下 Confirm 按鈕，系統於是進行 GPS 的定位；當確認的結果不正確時，Continue 按鈕會使系統再回到取像的步驟。 (e)攝影機 Camera：此元件是利用 USB 連接行動電腦，負責擷取車牌影像，提供系統進行車牌辨識。 (f)攝影機補助燈 Supplementary light：主要是用來提供夜晚燈光不足或是增加亮度用。 (g)指示器 Indicator：指示器是由發光二極體 LED 與蜂鳴器 Buzzer 所組成。當系統辨識結果為失竊贓車時，會利用 LED 的閃爍，以及 Buzzer 的鳴叫，用以提示使用者再對系統辨識的車牌號碼，再進行確認。 (h)準星 Veiwfinder：由於使用者無法從手持裝置得知攝影機的拍攝畫面，因此必須透過準星的幫助，攝影機在拍攝時，能夠對準車牌的位置。由圖 2.3 所示(各項參數說明如表 2.2)，人眼透過準星觀看車牌的視線，與攝影機拍攝車牌. 13.

(24) 的視線不同，兩者視覺所見範圍會有些微差異。為了減少兩者之間的差異，攝影機與人眼視線之交點，必需交匯至車牌的中心位置，使車牌影像能呈現在兩者的視覺中心，因此，準星高度必須拿捏恰當，才能達成此目的。如圖 2.3 所示，假設準星與攝影機中心之距離為 v，由平面幾何相似三角形定理中，△ACE 與△AGF 可推得(2.1). h2 − h1 d1 d = ⇒ x = 2 (h2 − h1 ) x d2 d1. (2.1). 再由△ADC 與△ABG 可推得 d v d1 = ⇒ v = 1 y y d2 d2. (2.2). 由圖中得知 y = h3 − h1 − x = h3 − h1 −. d2 d d − d2 (h2 − h1 ) = h3 − 2 h2 − ( 1 )h1 d1 d1 d1. 圖 2.3、攝影機與人眼視線誤差之示意圖 14. (2.3).

(25) 表 2.2、圖 2.3 之各項參數說明 Parameters. Descript. A. License plate position. B. Eye position. C. Camera center. D. Viewfinder center. d1. Distance between camera and license plate. d2. Distance between human and license plate. h1. Height between ground and license plate. h2. Height between ground and camera center. h3. Height between ground and eye position. v. Distance between Viwefinder center and camera center. θ1 θ2. The angle between camera center and horizontal The angle between eye position and horizontal. 最後將公式(2.3)代入(2.2) v=. d − d2 d d − d2 d d1 (h3 − 2 h2 − ( 1 )h1 ) = 1 h3 − h2 − ( 1 )h1 d2 d2 d1 d1 d2. (2.4). 在上述的公式(2.4)中，各參數皆可由實際環境測量，決定其適當的數值，如攝影機與車牌之間的距離 d1、手持攝影機的高度 h2…等等。最後將各參數代入公式. (2.4)，即可計算準星的高度。. 2.2 系統流程本研究所設計的系統運作流程如圖 2.4 所示，攝影機擷取影像(Image input) 後，車牌定位系統 (License plate localization) 會先偵測影像中是否有車牌存在. (License plate found) ，若是有偵測到車牌，車牌辨識系統 (License plate identification) 會再辨識其車牌號碼 (License number) ，並查詢資料庫 (Query 15.

(26) database)是否為贓車的車牌號碼(Stolen vehicle)，如果查詢結果為贓車車牌，偵測系統會利用指示器提示使用注意，並等待使用者確認(User confirm)辨識結果是否為實際的車牌號碼，若是辨識結果正確，系統會利用 GPS 定位贓車的所在位置(GPS position)，最後將贓車的影像、車牌號碼，以及地理位置傳送回控制中心。在上述過程中若是沒有找到贓車，或是影像中沒有車牌，或者使用者確認辨識結果不相符，系統便會回到取像步驟，重新擷取影像，並重覆上述的流程。. 圖 2.4、系統流程圖 16.

(27) 第三章、車牌定位系統. 本研究所提出的車牌定位系統，是先利用 edge detection 找出影像中的 edge，再利用影像原有的色彩資訊，保留特定顏色所構成的 color edge(如黑色與白色所構成的 edge)，並以其作為特徵點，再利用 morphology 的技術，找出特徵點集中之處，最後在分析這些區域是否符合車牌的形狀。整個系統運作流程如圖 3.1 所示，詳細的作法會在後續一一介紹。. 3.1 影像前置處理在諸多的色彩模型中，最常使用的為 RGB 的色彩模型，大部的影像擷取設備，皆以其作為影像的輸出格式。由於本研究需要尋找某些特定顏色的 edge，而 RGB 色彩模型並無法明確指出顏色的類別，因此，需轉換影像的色彩模型。在眾多的色彩模型中，HSI 模型是不錯的選擇，它將色彩的資訊存放在 Hue(色相)的頻道(channel)，在比對色彩時，只需要比對 Hue 的成份，即可判斷該像素點之顏色，即使光照不足的狀況下，雖然該點會呈現暗淡的顏色，但是其 Hue 之數值仍維持不變，不會影響系統對顏色類別之判斷，因此，在系統進行車牌定位的流程之前，本研究會先將 RGB 轉為 HSI 的影像格式，以利於後續的色彩比對。. 17.

(28) 圖 3.1、車牌定位流程. 18.

(29) 3.2 Total variation decomposition 由於本研究的車牌定位方法是先找出 color edge 集中之處，再將其作為車牌的候選區塊，透過後續的辨識過程，可驗證其是否為車牌。首先，對影像進行. edge detection，再利用色彩比對，篩選欲保留的 color edge。 Sobel 跟 Canny 的 edge detection 是目前較常使用的方法，雖然這兩種方法各有所長，但是針對光影變化的環境，受到陰影或強光源的干擾，會影響 edge detection 的結果，因此不適合用於光影變化的環境。針對光影變化問題，有些研究 [Bel96] 提出. illumination cone method、[Bas00] spherical harmonic-based representation，或是 [Sha01] quotient image-based approach 等方法來改善。雖然上述的這些方法可以解決光影的問題，但是其效果與執行效率都不盡理想。為了改善前述的問題，本研究嘗試應用 total variation decomposition，改善環境中的光影變化。根據 Reflectance model [Son99]，影像 I 可以定義成反射係數 R 與入射光 L 的乘積，即 I＝RL。由於反射係數是決定於物體表面材質，其不受光影變化影響，由[Sto72]的研究成果，經過對數轉換(log transform)的影像，可以再藉由高通濾波器(high-pass filter)，去除 L 並保留 R 的成份，藉由反射係數 R 不受光影影響的特性，可將其作為特徵影像，以利於後續的處理步驟。然而，此方法並不適用於自然光的環境，在這情況下，物體邊緣處會產生光暈現象(halo)，並不適合應用在處理本研究之車牌影像，因此，為了解決此問題，研究[Per90]改用 discontinuity. preserving filtering 方法解決光暈現象，雖然此方法可以有效的改善光影問題，但 19.

(30) 是其需要設定許多參數，這些參數必須經過長時間的實驗或是經驗法則，才能決定參數的數值，一旦改變了實驗環境，就必須耗費龐大的工夫，重新調整參數。考慮在自然環境的狀況下，物體表面所散發幅射(radiation)的光量，會受到環境中，由各個方向所接收的光源(irradiation)影響，因此，在計算幅射光的強度時，除了考慮光源的強度外，還需考慮光的入射角度，以及物體表面材質的反射係數，才能決定輻射的光量，舉例來說，受到表面材質的影響(如鏡面、光滑金屬面)，光源入射至物體表面後，大部份的光源會朝某一方向反射，其會造成該方向的幅射光特別強烈。然而在自然環境中，大部份的物體表面並非光滑材質，在計算物體表面幅射光量時，可假設其為 Lambertian surface，其不論入射光的方向為何，皆不影響幅射光的方向，即假定每一個方向的幅射光量均相等，因此，計算幅射光量 I 時，只需要考慮光源的強度 A、物體表面的反射率 ρ ，以及入射光與物體表面之法向量所構成的夾角角度θ(foreshortening)，計算公式可定義為. I = Aρ cos θ 。而在自然環境的狀況下，物體表面會受到來自各方向的光源，因此，必須各別計算其對物體表面所造成的幅射光量，以求得整體的幅射量。. [Che 06]在計算幅射光量時，只考慮物體表面所接收的總能量，並根據 Reflectance model 與 Lambertian model 的理論，提出其影像模型，如公式(3.1)所示： I ( x, y ) = ρ ( x, y ) S ( x, y ). (3.1). I(x, y)代表點座標(x, y)的影像強度值(intensity)， ρ 為反射率，S 為該點所接收的總入射光量。該研究提出，物體本身(region)與其邊緣處(boundary)有不同程度的. 20.

(31) 反射率，假設影像可以被分解成 region 與 boundary 兩張影像，其兩者的反射率分別定義成 ρ r 與 ρb ，對每一點的反射率 ρ ，可以表示成 ρ r 與 ρb 的乘積，因此，公式(1)可改寫如下：. I = ρ ⋅ S = ( ρ / ρ r ) ⋅ ( S ρ r ) = ρb ⋅ ( S ρ r ). (3.2). 而要計算 ρ r 與 ρb 的數值，必須利用影像分解模型(image decomposition model)分解其原始影像。在眾多分解技術中，Total Variation model(TV)可用於將影像分解成 region 與 boundary，即將對數影像 f 分解成 texture (v) 與 cartoon (u) 2 部份，如圖 3.2 所示，其三者關係可定義成：. f ( x, y ) = u ( x, y ) + v ( x, y ). (3.3). 其中 f 代表原始影像 I 經過 log transform 的結果，即 f＝log(I)， u 代表影像較平滑的區域 (region) ，v 通常表示物體邊緣或是骨幹結構之處 (boundary) ，而根據. [Che06]的實驗結果，texture 與 cartoon 的部份，與公式(3.2)比較，其具有下列關係式：. u ≈ log( S ρ r ). v ≈ log( ρb ). (4). 由其關係式瞭解，v 的成份近似 boundary 的反射率，又反射率只受物體表面性質影響，其不受光影變化所影響，可作為特徵影像。而對於 m×n 的影像而言，由公式(3.3)瞭解，其會有 m×n 組 f、u 和 v 的關係式，共有 m×n×3 個變數，故無法直接利用代數求解，因此，根據. 21.

(32) (a)、輸入影像. (b)、texture. (c)、cartoon. 圖 3.2、Total variation decomposition. ROF(Rudin-Osher-Fatemi)模型[Rud92]，要計算影像中 u 的成份，可利用下公式求解：. min ∫ ∇u dxdy u. (3.5). 並且要滿足. ∫f. dxdy = ∫ u dxdy. ∫ ( f − u). 2. dxdy = σ 2. 22. (3.6) (3.7).

(33) ∇ 代表 gradient operation ∇u = ⎡⎣Gx. ⎡d G y ⎤⎦ = ⎢ u ⎣ dx T. d ⎤ u dy ⎥⎦. T. 在上述的公式中， ∫ ∇u 表示將影像中 u 的差異量總合，(f－u)即為影像 v 的成份，公式(3.7)採用 L2 norm 方式計算變異數 σ 。而對於(3.5)(3.6)(3.7)求極值之問題，[Rud92]利用 Lagrange multipliers 的方法，求其最佳的解集合，其將公式(3.6) 與(3.7)作為條件限制，並假設 σ 趨近於零，因此，公式改寫如下：. min ∫ ∇u + λ ∫ ( f − u ) 2 u. (3.8). λ 即為 Lagrange 的乘數，用來乘以其條件限制，可將其視為對該條件限制的權重值，在計算最佳的解集合時，該條件限制的乘數值越高，其對計算結果的影響也越大。在公式(3.6)的條件限制中，經代數運算結果，會使其等式為零，因此，在改寫公式(3.8)時，可忽略該條件限制。而對於公式(3.7)的條件限制，研究[Che06]. [Cha04]以 L1 norm(即 f − u = σ )取代 L2 norm，如公式(3.9)： min ∫ ∇u + λ ∫ f − u u. (3.9). 其 u 的計算結果較接近真實情況，但是其計算過程較 L2 複雜，而且計算結果易受雜訊(noise)影響，因此，本研究使用 TV-L2 model 計算. u 數值。假設 uλ 為(3.9)之最佳解，可用於計算 uλ 方法有 2 種，分別是(a) Second-order cone programming(SOCP) 與 (b) Partial differential equations(PDE)。SOCP 在計算 uλ 的過程中，其可以花較短的時間收斂、求得最佳的解集合，但是其會耗 23.

(34) 費大量的記憶體空間，容易導致記憶體不足，只適合應用在尺寸較小的影像；PDE 會耗費較多的時間計算最佳的解集合，但是其不需要大量的記憶體空間，適合應用在各種尺寸的影像，因此，本研究是採用 PDE 的方法，計算公式(3.9)之最佳解。而當公式(3.9)有最小值，其必須滿足 Euler-Lagrange difference equation，如下公式所示：. uy ux ∂ ∂ ( )+ ( ) + λ ( f − u) = 0 ∂x u x + u y ∂y u x + u y u x 定義為. (3.10). ∂ ∂ u ， u y 為 u 。要解公式(3.10)，可利用 artificial time step 的方法 ∂x ∂y. [Cha04] [Rud92]，即類似 gradient descent 的方法，反覆(iterative)計算以求其最佳解，gradient descent 公式如下. u n +1 = u n + δ t ⋅ u. (3.11). δ t 為時間間隔(time step)，u n 代表第 n 次的預估值，u 為第 n 次的變動量，令(3.10) 左半邊的式子為 u ，代入(3.11)並整理後可得下列公式： n. uy u xn ∂ u n +1 − u n ∂ )+ ( ) + λ( f − un ) = ( ∂x u xn + u yn ∂y u xn + u yn δt. (3.12). 再利用 forward-backward difference 計算(4)，以 forward difference 計算 u x 與 u y ，即 u x = ui +1, j − ui , j 、 u y = ui , j +1 − ui , j ， (i, j ) 代表的座標位置，而最外層的採用. backward. difference. 的方式計算，即. ∂ ∂ 與 ∂x ∂y. ∂ A = −( Ai −1, j − Ai , j ) 、 ∂x. ∂ A = −( Ai , j −1 − Ai , j ) 。將 forward 或 backward difference 以 D + 或 D − 表示，公式 ∂y (3.13)可改寫成下：. 24.

(35) uin, +j 1 − uin, j. δt. ⎛ ⎞ Dx+ uin, j ⎜ ⎟ =D ⎜ ( Dx+ uin, j ) 2 + ( Dy+ uin, j ) 2 ⎟ ⎝ ⎠ ⎛ Dy+ uin, j −⎜ + Dy ⎜ ( Dx+ uin, j ) 2 + ( Dy+ uin, j ) 2 ⎝ − x. ⎞ ⎟ + λ ( f − uin, j ) ⎟ ⎠. (3.13). 本研究以對數影像 f 作為初始值 ui , j ，代入公式(3.13)，經過多次的反覆計算後， 0. 即可求得最佳解 uλ ，在代入公式(3.3)，即可計算 v 之數值。本研究將 TV 分解技術運用在車牌影像上，在光影變化的環境中，即使是未知光源的位置或是光的入射角度，TV 亦可正常運作，其可將影像分解成 u 和 v。除此之外，從多次的實驗結果發現，TV 所分解的結果當中，Texture 影像 v 會保存車牌與文字的輪廓，可作為 edge 影像，而且其不受光影變化影響，與其它 edge. detection 的相較結果，TV 提供一個不受光影影響的 Edge 影像，因此可以有效的輔助在自動化的車牌辨識。. 3.3 彩色邊緣偵測與形態學操作以台灣的車牌而言，車牌的種類大至可分為 5 種，如表 3.1 所示。從觀察的結果，車牌的底色與文字的顏色有強烈對比關係，其由強烈對比色所構成的. Edge，共可歸類為 4 種，分別是：黑白、紅白、綠白以及黃黑，當本研究利用 TV 取得 Edge 影像後，會配合原始影像的色彩資訊(hue)，進行顏色的篩選，只保留由上述顏色交接所產生的 Edge。以圖 3.2(c)為例，系統將 TV 的 cartoon 影像作為 Edge 影像，經過色彩邊緣篩選步驟，結果如圖 3.3 所示，可以去除大部. 25.

(36) 表 3.1、台灣的車牌類型車牌底色. 文字顏色. 白色. 黑色. 綠色. 白色. 紅色. 白色. 白色. 紅色. 黃色. 黑色. 圖例. 圖 3.3、彩色邊緣的篩選結果. 份的雜訊，並保留與車牌字元相關的 Edge，因此，可將篩選後的結果作為特徵點，再利用形態學(morphology)的方法，找出特徵點集中的區域。而要找出特徵點集中之區域，可利用形態學中的 opening 與 closing，並配合適當的結構單位(如圖 3.4 為十字型結構單位)，反覆進行上述兩種操作，即可去除零散的特徵點或雜訊點，而特徵點集中之區域，會將其特徵點連結成一區塊。以圖 3.3 為例，本研究使用十字型結構單位(如圖 3.4)，反覆進行 closing 與 opening. 26.

(37) 圖 3.4、十字形的結構單位. 圖 3.5、車牌的候選區塊. 之操作，即可消除雜訊，並將特點集中之區域形成一區塊，如圖 3.5 所示，其可作為車牌之候選區塊(candidate)。. 3.4 車牌定位經過形態學的操作後，特徵點集中處，會形成一個車牌的候選區塊，但是影像中可能會有多個車牌存在，因此，經過前述的處理步驟後，其將會產生多個車牌的候選區塊，為了計算候選區塊的數量，本研究採用 connected component 演算法，除了可計算區塊的數量，亦可利用其計算各區塊之位置，以及面積大小。當系統取得各區塊的外觀性質後，再依車牌的性質條件，決定是否保留該區塊，例如該區塊的面積不可過大或過小、長寬比例必須符合車牌的外觀。最後被保留的區塊，即可作為車牌定位的初步結果，後續可以再藉由文字辨識的過程，再次確認該區塊是否為車牌。以圖 3.2(a)為例，經過前述之處理步驟後，車牌定位之結果如圖 3.6 所示，透過 TV 的輔助，影像中的強光源(highlight)亦不影響定位之結果。. 27.

(38) 圖 3.6、車牌定位之結果. 28.

(39) 第四章文字辨識系統. 當系統完成車牌定位後，文字辨識系統會先根據其定位結果，擷取局部之車牌影像(License plate candidate)，再對其進行文字分割(Character segmentation)，萃取其中之文字區塊，並對其進行傾斜校正(Skewness correction)，再於文字區塊中，辨識所含之車牌文字(Character recognition)，最後輸出其辨識結果，並比對贓車資料庫，確認其是否為失竊中的贓車。整個運作流程如圖 4.1 所示，後續會在詳細介紹。. 4.1 文字分割在進行文字辨識之前，必須先對車牌影像進行前處理與文字分割，擷取其中之文字區塊。在前處理的部分，本研究採用 Otsu[Ots79]所提出之二值化演算法，將車牌影像做二值化處理，該演算法之優點是不須手動調整門檻，其可根據. 圖 4.1、文字辨識流程圖. 29.

(40) (a) 原始影像. (b) 二值化結果. 圖 4.2、車牌影像之二值化處理. 影像之內容，自動決定適當的門檻值(threshold)，如圖 4.2 所示，圖(a)為原始車牌影像，圖(b)為二值化的結果。藉由二值化的處理，可將車牌與文字分離，有助於文字分割之處理。另外，針對白底黑字或黃底黑字，如圖 4.3(a)所示，經過二值化處理後，其會使文字為黑色、底牌為白色，如圖(b)所示，其結果與 4.2(b) 正好相反，因此，必須再進行反白處理(complement)，使其文字為白色、底牌為黑色，其結果如圖 4.3(c)所示，如此，在進行文字分割時，才能抓取文字區塊之影像。取得二值化的車牌影像後，會再利用 Yang[Yan07]之方法，去除非影像中的雜訊或是填補文字中的小空洞，其方法是利用 4-connect 遮罩(如圖 4.4 所示)，對二值化影像進行遮罩運算，並代入下列判斷式：. s=. 1. 1. ∑ ∑ I ( x + a, y + b) w( x + a, y + b). a =−1 b =−1. ⎧ 1 if s ≥ 3 I ′( x, y ) = ⎨ ⎩ 0 else. (4.1). 其中 I 代表二值化影像(影像像素值只有 0 跟 1)，w 為遮罩內的數值，s 為遮罩運算的之結果，I ′ 為處理後的結果。根據該研究所提出之方法，當 s 的值大於 3 時，則將 I ′ 設為 1，其他則設為 0。以圖 4.3(c)之結果為例，經過上述的處理程序，其結果如圖 4.5 所示。 30.

(41) (a) 原始影像. (b) 二值化結果. (c) 反白處理結果. 圖 4.3、黑底白字車牌之二值化處理. 圖 4.4、4-connect 遮罩[Yan07]. 圖 4.5、去除雜訊與填補之結果. 當前處理完成後，隨即會再對其處理結果，進行文字分割，而目前常用於分割文字的方法為投影法(projection)，其作法是對影像中每一行或每一列投影，即統計每一行或每一列的像素點個數，並將每一行的投影結果，繪製成長條圖(稱垂直投影影像)，同理，對每一列的結果，繪製水平投影影像，最後，由投影影像的波谷位置，分割每一個文字區塊。此作法的雖然可以快速分割文字區塊，但是對於車牌歪斜或旋轉的情況，投影法無法有效分割其中之文字(不易找到波谷位置)。針對上述問題，本研究採用 connected components 演算法，標示影像中的連通區塊，並計算每一區塊的面積以及長寬，去除面積過小，或是長寬比與文字外形較不符之區塊，而被保留之區塊，可將其視為文字區塊(candidate)。此作法不僅可解決前述之問題，亦可有效分割車牌影像中的文字，以圖 4.2 與圖 4.3 為例，其文字分割結果如圖 4.6 所示(紅色方框所標示)。雖然此作法可以有分割歪. 31.

(42) (a) 車牌 VFD-100. (b) 車牌 IXA-703 圖 4.6、文字分割之結果. 斜車牌中的文字，但是對於文字區塊連結的情況(如文字與文字之間有污漬或貼紙…等等)，會將兩個文字視為同一個文字區塊，造成文字辨識過程無法辨識其內容。針對此問題，可在文字辨識完成後，利用已辨識成功的文字區塊，配合車牌的固有特性(如文字與文字的間距、前三個號碼必須是英文字母與數字混合… 等等)，重新分割未能辨識成功之區塊，以重新辨識其內容。. 4.2 傾斜校正由於使用者手持攝影機拍攝車牌影像，在拍攝過程中，可能因不同的拍攝，造成其影像產生歪斜或扭曲現象(skewness)，而根據其歪斜的情況，本研究所定義之 skewness 有下列三種： (a) rotation：如圖 4.7(a)所示，車牌在影像中會有某些角度的旋轉，但是本身形狀無任何的改變。其校正方法如 4.2.1 所描述 (b) pan：如圖 4.7(b)所示，其由車牌前後傾斜所造成，車牌影像會呈現左長右短(或左短右長)之變形現象。其校正方法如 4.2.2 所描述 (c) tilt：如圖 4.7(c)所示，因車牌上下傾斜，造成影像上長下短(或上短下長)。. 32.

(43) (a) rotation. (b) pan. (c) tilt. 圖 4.7、車牌之傾斜狀況. 因無法由文字區塊之外形，判斷 tilt 的傾斜情況，本研究目前未處理 tilt 之問題，但是，經由前述的兩個校正步驟後，可大幅改善文字區塊的變形現象，因此，可忽略 tilt 之變形問題。由於 skewness 會造成車牌文字變形，降低文字辨識的成功率，因此，為了提升文字的辨識率，必須先將車牌影像進行傾斜校正(skewness correction)，以改善文字的變形現象，才能有助於後續的處理步驟。而針對 skewness 之問題，Wen. [Wen01] 是利用 image warping 校正其車牌影影像，其作法是先利用 hough transformation 尋找車牌的邊框，並利用其邊框線尋找車牌的四個角落點，再利用其四點與 image warping 之方法，修正車牌外形(如圖 4.8 所示)，使其呈現方正. 圖 4.8、Image warping 示意圖. 33.

(44) 的四方形。此作法之缺點如同文獻探討 1.2 節所描述，當車牌顏色與車體顏色近似時，不易找到車牌之邊框線與四個角落點，無法利用 image warping 校正. skewness。而根據實驗的觀察結果，車牌文字與車牌本身有強烈對比色彩，即使車體與車牌顏色近似，本研究之系統仍可擷取其中之文字區塊，因此，根據其可以穩定擷取之特性，本研究會先分割車牌之文字區塊，並由文字外形，分析其傾斜之狀況，再套用對應的影像處理方法，以改善文字歪斜與變形的情況、解決 skewness 之問題。. 4.2.1 Rotation correction 針對 rotation 的問題，本研究是採用 Sarfraz [Sar07]的方法，利用 Principal. Component Analysis(PCA)計算文字區塊的旋轉角度，再利用影像旋轉之公式，修正 Rotation 的問題，其作法是先利用 dilation 的操作，使每個二值化的文字區塊結合為一區塊，使其外觀呈現橢圓狀，稱其為 blob，如圖 4.9(b)所示，再利用下列公式，計算橢圓的中心位置(xc, yc)： m. x ⋅ I ′( x, y ) y =1 I ′( x, y ). (4.2). y ⋅ I ′( x, y ) I ′( x, y ). (4.3). n. xc = ∑∑ x =1 m. n. yc = ∑∑ x =1 y =1. I'為二值化的文字區塊影像，以圖 4.9(b)為例，中心位置的計算結果如圖中的紅色圓圈所示。再利用 PCA 的方法，尋找一個適當的最小橢圓，使其能包含整個 34.

(45) (a) 二值化的字元影像. (b) dilatio 的操作結果. (c) 旋轉校正之結果. 圖 4.9、Rotation 之校正過程. blob，並計算橢圓的長軸與水平線夾角 θ r ，整個計算公式如下所列： m. n. a = ∑∑ ( x − xc ) ⋅ I ′( x, y ). (4.4). x =1 y =1 m. n. b = ∑∑ ( x − xc ) ⋅ ( y − yc ) ⋅ I ′( x, y ). (4.5). x =1 y =1 m. n. c = ∑∑ ( y − yc ) ⋅ I ′( x, y ). (4.6). b a−c. (4.7). x =1 y =1. tan θ r =. 利用此簡化公式，即可快速計算 θ r 。最後，再利用影像旋轉之技術，對車牌影像旋轉 θ r 的角度，即可修正 rotation 之問題。以圖 4.9(a)為例，旋轉校正後的結果，如圖 4.9(c)所示。. 4.2.2 Pan correction 當 rotation 問題校正完成後，車牌影像可能還會有其他的傾斜問題，必須在進一步修正之。若假設影像中只有 pan 之問題，攝影機與車牌之間的成像關係，如圖 4.10 所示，其中 O 代表攝影機的中心，F 為影像成像平面。由於 Pan 是車牌前後傾斜所造成，因此，可假設 z1 = z4、z2 = z3，由攝影機成像定理：. f x′ y ′ = = z x y. 35. (4.8).

(46) 圖 4.10、攝影機成像示意圖. (x', y')為空間座標(x, y, z)在影像平上之投影點。假設 f = 1，公式(4.8)可代換如下 x′ =. x z. (4.9). y′ =. y z. (4.10). 由圖 4.10 所示，a′d ′ 與 b′c′ 長度分別為 y1′ − y4′ 與 y2′ − y3′ ，代入公式(4.9)與(4.10)，可將其改寫如下： a′d ′ = y1′ − y4′ =. b′c′ = y2′ − y3′ =. y1 y4 y y y −y − = 1− 4 = 1 4 z1 z4 z1 z1 z1. (4.11). y y − y3 y2 y3 y − = 2− 3 = 2 z 2 z3 z2 z 2 z2. (4.12). 已知 ad = bc ，因此， y1 − y4 = y2 − y3 ，再將(4.11)除以(4.12)，即可求得 z1 與 z2 之比值 Sz：. 36.

(47) Sz =. a′d ′ y1′ − y4′ (y − y )/ z z = = 1 4 1 = 2 z1 ( y2 − y3 ) / z2 b′c′ y2′ − y3′. (4.13). 若假設 z1 < z2 時，令其車牌前後傾斜角度為 θ p，如圖 4.11 所示，其中 ae = x1 − x2 、. be = z1 − z2 ，由三角定理知：. θ p = tan −1 (. z1 − z2 ) x1 − x2. (4.14). 已知 z1 與 z2 之比值為 Sz，可令 z1 = z2 S z ，又由公式(4.9)的代換結果，可得 x1 = z1 x1′ 且 x2 = z2 x2′ ，公式(4.14)可改寫如下，即可求得傾斜角度 θ p ：. θ p = tan −1 (. z1 − z2 z S −z S −1 ) = tan −1 ( 2 z 2 ) = tan −1 ( z ) z1 x1′ − z2 x2′ z2 S z x1′ − z2 x2′ S z x1′ − x2′. (4.15). 由公式(4.15)的計算結果，再以 ad 為旋轉軸，將車牌旋轉 θ p 角度，如圖 4.12 所示，a 與 d 點之座標不改變，但 c 與 d 點會分別對應到新座標點 bˆ 與 cˆ 。以 b 點. 圖 4.11、車牌前後傾斜示意圖. 37.

(48) 圖 4.12、旋轉校正示意圖. 為例，代入旋轉公式，對 ad 旋轉 θ 角度後，其與新座標點 bˆ 之對應關係如下： ⎧ xˆ2 = ( x2 − x1 ) cos θ − ( z2 − z1 ) sin θ + x1 ⎪ ⎨ yˆ 2 = y2 ⎪ zˆ = ( x − x ) sin θ + ( z − z ) cos θ + z = z 2 1 2 1 1 1 ⎩ 2. (4.16). 由於其以 ad 為旋轉軸，因此 y 的座標不改變，故 yˆ 2 = y2 ，又經座標旋轉後， bˆ ˆ xˆ , yˆ , zˆ ) 在影像平面上的投影點與 a 會在相同 z 平面( z = z1 )，故 zˆ2 = z1。假設 b( 2 2 2. 為 bˆ ′( xˆ2′ , yˆ 2′ , zˆ2′ ) ，根據影像成像公式(4.8)，以及公式(4.16)，兩點之間的對應關係如下. 1 x1 ⎧ ′ xˆ2 1 ⎪ xˆ2 = z = z ( x2 − x1 ) cos θ p − z ( z2 − z1 ) sin θ p + z ⎪ 1 1 1 1 ⎨ ⎪ yˆ ′ = yˆ 2 = y2 ⎪⎩ 2 z1 z1. (4.17). 又由公式(4.9)(4.10)知， x1 = z1 x1′ 、 x2 = z2 x2′ 、 y2 = z2 y2′ ，公式(4.17)可整理如下：. z2 z2 ⎧ ′ ⎪ xˆ2 = ( z x2′ − x1′) cos θ p − ( z − 1) sin θ p + x1′ ⎪ 1 1 ⎨ ⎪ yˆ ′ = z2 y′ ⎪⎩ 2 z1 2. (4.18). 公式(4.13)已求得 z1 與 z2 之比值為 Sz，再將其代入(4.18)，公式可改寫如下： 38.

(49) ⎧ xˆ2′ = ( S z x2′ − x1′) cos θ p − ( S z − 1) sin θ p + x1′ ⎨ ⎩ yˆ 2′ = S z y2′. (4.19). ˆ xˆ3 , yˆ3 , zˆ3 ) 在影像平面上的投影點 cˆ ′( xˆ3′ , yˆ3′ , zˆ3′ ) ，其值如下：同理， c( ⎧ xˆ3′ = ( S z x3′ − x1′) cos θ p − ( S z − 1) sin θ p + x1′ ⎨ ⎩ yˆ3′ = S z y3′. (4.20). 最後，再利用 image warping，將 b′ 對應到 bˆ ′ 、 c′ 對應到 cˆ ′ ，如圖 4.13 所示，即可修正 pan 之問題。在先前的描述中已提到，當車體與車牌顏色近似時，不易找到車牌的四個角落點，因此，針對此問題，本研究作法是利用文字分割結果，尋找一個最四邊形，其可包含所有文字區塊，如圖 4.14 所示，以矩形的四個角落點作為 a'、b'、c'、. d'，再計算 ad 與 bc 之長度，以長度較長之線段為轉軸，短線段的兩端點，則根據公式(4.19)(4.20)，計算新的對應點座標，最後，再利用 image warping，即可校正 Pan 的問題。. 圖 4.13、Pan 之修正示意圖. 39.

(50) 圖 4.14、可包含所有文字區塊之最小四邊形. 4.3 文字初步分類當系統完成文字區塊的傾斜校正後，會再辨識其內容，取得其車牌文字。目前台灣的機車車牌，可由車牌文字的數量分成二類，分別為 4 個字(汽缸量 550 c.c. 以上)與 6 個字(汽缸量未達 550 c.c.)，其內容皆由 10 個阿拉伯數字，以及 26 個英文字母組成，若將數字 0 與字母 O 視為同一個字元，總共有 35 個車牌文字。以六個字的車牌為例，經由文字分割，其至少會有 6 個文字區塊，若直接將每一個文字區塊與 35 個標準車牌文字進行樣版比對，至少需要比對 6×35 = 210 次，此種作法的比對次數較多，故效能不佳亦不適用於即時系統(real-time system)。因此，為了增進系統效能、減少字元的比對次數，本研究會依文字區塊的拓樸性質(topology)，對其進行初步分類，選取拓性質近似之字元，再進行字元辨識。由實驗的觀察結果，35 個車牌文字中，可以用來分類的拓樸性質主要有下列兩種： (a) Hole：依照文字的結構外觀，每一個文字至多會有 2 個 hole，或者是沒有 hole，而根據 hole 的數量，可將文字分成 3 類，分別為 0 個、1 個或是 2 個。以數字 0 為例，其 Hole 的數量為 1 個，數字 8 或字母 B 則有 2 個 hole，而數字 40.

(51) 1 或 2 則沒有 hole。 (b) Node：節點依其類型可分為端點(end-point)、T 型節點以及 X 型節點，如圖 4.15 所表示，黑色方塊代表圖型的像素點。本研究利用 3×3 的視窗大小，檢查文字區塊是否有上述的三種節點(只考慮形狀，不考慮方向)，並統計其數量，以字母 A 為例，其有 2 個端點，以及 2 個 T 型節點(如圖 4.16 所示)。在計算文字的拓樸性質之前，本研究利用 Zhang[Zha84]的方法，對 35 個標準的車牌文字圖庫(文字無傾斜、雜訊或是污漬)，進行細線化處理，以字母 A 為例，其細線化的結果如圖 4.17 所示(其餘文字的細線化結果，請參考附件 A)，當圖形經過細線化處理後，其影像中的線條皆只有一個像素點的寬度，有助於計算文字的拓樸性質，其餘各文字的拓樸性質如表 4.1 所示。由於標準字元的影像尺寸為 32×. 32，對於欲辨識之文字區塊，本研究會先將其縮放成 32×32 的影像，再用相同方法，對其細線化處理，並計算 hole 與 node 的數量，再參考表 4.1，選出拓樸性質接近的文字，以進行後序的文字辨識。藉由拓樸性質的初步分類，在辨識的時候，不僅可過濾差異度較大的文字，亦可同時減少文字比對的次數，增加系統的執行效能。. (a) 端點. (b) T 型節點圖 4.15、節點的類型. 41. (C) X 型節點.

(52) 圖 4.16、字元 A 之節點性質. (a) 標準文字圖庫. (b) 細線化之結果. 圖 4.17、細線化處理. 42.

(53) 表 4.1、標準文字之拓樸性質 character 0 1 2 3 4 5 6 7 8 9 A B C D E F G H I J K L M J K L M N O P Q R S T U V W X Y Z. holes 1 0 0 0 1 0 1 0 2 1 1 2 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 2 1 0 0 0 0 0 0 0 0. 端點 0 2 2 3 2 2 1 3 0 1 2 0 2 0 3 3 2 4 4 2 4 2 5 2 4 2 5 4 0 1 1 2 2 3 2 2 4 4 3 4. 43. T 型節點 0 0 0 1 0 0 1 1 2 1 2 2 0 0 1 1 0 2 2 0 2 0 3 0 2 0 3 2 0 1 3 2 0 1 0 0 2 2 1 2. X 型節點 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.

(54) 4.4 文字辨識當文字區塊經由細線化演算法初步分類後，其只需要再比對與其拓樸近似之標準字元，以確認文字內容。本研究使用距離轉換(distance transformation)作為文字辨識之方法，其可計算每一個文字區塊與標準字元的相似程度，並以相似度最高之字元作為辨識結果。距離轉換的計算方式繁多，例如 Euclidean 、. Manhattan、Chessboard 以及 Chamfer…等等(如圖 4.18 所示)，以顏色明暗代與中心點之距離，顏色越黑，其與中心點之距離越遠。在這幾種計算方法中，Euclidean 為較常使用之方法，其計算之精確度也較高，然而其牽涉平方以及開根號之運算，其計算量以及時間複雜度也較高，較不適合應用在本研究之系統；而. Manhattan、Chessboard 的計算速度較快，但其精確度較差，易影響相似成度的計算結果。考慮計算的精確度與時間複雜度問題，在各種計算方法中，Chamfer distance 具有快速運算的優點，而且其精確度也近似 Euclidean distance，因此，本研究以. Chamfer distance 作為距離轉換之計算方法。而為了快速計算 Chamfer distance 影. (a) Euclidean. (b) Manhattan. (c) Chessboard. 圖 4.18、各種距離轉換的計算結果. 44. (d) Chamfer.

(55) 像，本研究採用[Fou03]所提出之演算法，其將 Chamfer mask 分解成 forward 與. backward mask，如圖 4.19 所示，其中 c1 與 c2 可由使用者自行定義，利用 forward mask 並以影像的左上角為起點，由左而右、由上而下，進行遮罩運算，再以影像的右下角為起點，使用 backward mask，由右而左、由下而上，進行遮罩運算，如此，即可快速計算 Chamfer distance 影像，其演算法如表 4.2 所示。以字母 A 為例，將 Chamfer distance 應用在其細線化的結果，產生之 Chamfer distance map 如圖 4.20 所示。本研究將 Chamfer distance 應用在標準字元的二值化細線影像，因此，在文字辨識時，欲辨識之文字區塊，亦會先進行細線化處理，再將其影像與各標準字. (a) forward mask. (b) backward mask 圖 4.19、chamfer mask. 表 4.2、chamfer distance 之演算法 1 IM ← input image array 2. w ← width of input image. 3 h ← height of input image 4 for i ← 1 to h. /* Forward */. do for j ← 1 to w do IM[i][j] ← min( IM[i][j], IM[i-1][j] + c1, IM[i][j-1] + c1, IM[i-1][j-1] + c2, IM[i-1][j+1] + c2 ) 5. for i ← 1 to h. /* Backward */. do for j ← 1 to w do IM[i][j] ← min( IM[i][j], IM[i+1][j] + c1, IM[i][j+1] + c1, IM[i+1][j+1] + c2, IM[i+1][j-1] + c2 ). 45.

(56) 圖 4.20、字元 A 之 Chamfer distance 影像元的 Chamfer distance 影像，以點對點的方式，相乘並加總，即如下公式所示： m. n. x =1. y. S = ∑∑ I B ( x, y ) I C ( x, y ). (4.21). IB 為文字區塊的細線化影像，IC 為標準字元的 Chamfer distance 影像，x、y 為影像的座標，S 代表文字區塊與標準字元的相似程度，其數值越小，代表相似程度越高(完全相似為零)；反之，則相似程度越低，如表 4.3 所示，根據公式(4.21) 的計算結果，標準字元 E 與文字 E 的計算結果為零(完全相似)，與文字 H 與 X 的計算值分別為 9 跟 6(差異程度大)。由於先前已將文字區塊進行初步分類，在計算相似程度時，只需要計算拓樸性質近似之標準字元，減少比對次數，並以計表 4.3、文字辨識範例(一) 標準字元影像. Chamfer distance map(IC). 文字區塊影像(IB). 相似程度值. 0. 9. 6. 46.

(57) 算最小值作為辨識結果。由於某些文字外形的具重疊性，在計算相似程度時，會有多個相同或近似之最小值產生，如表 4.4 所示，以標準字型 E 為例，透過公式(4.21)，其與標準字元 E 或是 F 的計算結果皆為零，類似的情況有 L 跟 E、C 跟 G…等等。為了解決上述之問題，本研究採用雙向比對的方式，先以標準字元的 Chamfer distance 影像作為 IC，欲辨識之文字區塊的細線化影像作為 IB，代入公式(4.21)，令其計算結果為 S1，再將 Chamfer distance 演算法應用在欲辨識之文字區塊，以其 Chamfer. distance 影像作為 IC，並將標準字元之細線化影像作為 IB，再代入公式(4.21)，其計算結果為 S2，最後，在 S1 與 S2 之中，選出最大值作為計算結果 S，即可解決前述之問題。以表 4.4 為例，欲辨識之文字區塊為 F 時，其與標準文字 E 的相似程度值 S1 = 0，但是採用前述的雙向比對法，將 Chamfer distance 套用在文字區表 4.4、文字辨識範例(二) 標準字元影像. Chamfer distance map. 文字區塊影像. 相似程度值. 0. 0. 0. 47.

(58) 塊 F，再根據公式(4.21)，計算其與標準文字 E 的相似程度值，如表 4.5 所示，相似程度值為 S2 = 6，再以最大值 S2 作為計算結果 S，同理，文字區塊 F 與標準文字 F 的比對值 S 仍為零，藉此雙向比對的方式，其不僅可以解決文字外形重疊之問題，亦不會影響最後的辨識結果，以前述情況為例，最後的辨識結果，仍然為文字 F。. 4.5 文字再確認由實驗的觀察結果，數字 0 與字母 D，以及數字 8 與字母 B，其文字外型近似，在文字辨識的過程，即使利用雙向比對的方式，也難以區分，因此，當文字辨識之結果為上述的兩組字元時，必須藉由其細部特徵，以區分其文字內容為何。為了解決上述兩組字元相似之問題，本研究將其標準字元影像分割成 16 個. 4×4 的區塊影像，再由相似字的外形，以及觀察之結果，選出差異性最大的區塊，作為特徵區塊，如圖 4.21 所示，紅色方框標記處，即為差異度較大的特徵區塊，表 4.5、文字辨識範例(三) 文字區塊影像. Chamfer distance map. 標準字元影像. 相似程度值. 6. 0. 48.