車輛分類與計數系統

全文

(1)國立臺灣師範大學資訊工程研究所碩士論文. 指導教授：梁祐銘. 博士. 陳世旺. 博士. 車輛分類與計數系統 Vehicle Classification and Counting. 研究生：陳俊宇中華民國. 一零三. 年. 撰六. 月.

(2) 摘要隨著科技的進步及攝影器材的普及，視訊監控已成為我們生活中最重要的安全監控工具之一，而車種分類與計數更在智慧型交通安全監控系統中扮演著重要的角色，其目的是希望能改善交通壅塞與安全的問題。本研究發展一個以電腦視覺為基礎的即時車種分類及車輛計數系統。在系統運作的過程中，主要可以分為兩個大步驟，第一大步驟為車輛的擷取，第二大步驟為車輛分類與計數。在車輛的擷取的部份，首先對輸入的影片建立 Time-Spatial Images(TSI)，並利用 Support Vector Machine(SVM) 與 HSV Based on Deterministic Non-Model Based Approach 來分類陰影與非陰影，將 TSI 圖中的陰影部份去除後，再透過簡單的 morphology 處理擷取 Region of Interest(ROI)即為車輛在 TSI 圖的區域。在車輛分類與計數的部份，我們使用 ROI 累計曲線法和 Fuzzy Constraints Satisfaction Propagation(FCSP)演算法來處理遮蔽的問題，利用 Fuzzy 的觀念進行各種車種模糊比對，從有遮掩情形的 ROI 區域中分離出獨立的車輛，並進行車輛的分類與計數。實驗的結果顯示所提技術可以在無特殊輔助硬體的環境下，能有效且即時地執行車種分類與計數，並證明了此方法具可行性的。關鍵字：累計曲線法、Time-Spatial Imag、SVM 陰影去除、模糊限.

(3) 制滿足技術、遮蔽處理。.

(4) Abstract Vehicle classification and counting play an important role in the intelligent transportation system, as they may serve to improve traffic congestion and safety problems. Therefore, this study has developed a real-time and computer-based visual vehicle classification and counting system. This will involve establishing Time-Spatial Images (TSI) from input video, removing the shadow portions in TSI through the use of Support Vector Machine (SVM) and Deterministic Non-Model Based Approach, capturing the Region of Interest (ROI) through a simple morphology process, and finally using the ROI accumulative curve method and Fuzzy Constraints Satisfaction Propagation (FCSP) to process occlusion problems and perform vehicle classification and counting. The experimental results have shown that the proposed method is feasible.. Keywords : Accumulated Curve、Time-Spatial Imag、SVM Shadow Removal、Fuzzy Constraints Satisfaction Propagation、occlusion.

(5) 致謝首先非常感謝陳世旺老師和梁祐銘老師的指導，教導我許多有關電腦視覺和影像處理方面的知識，在我的論文研究上不遺餘力的指引我方向，也教導我許多做研究的方法和技巧，更重要是教會我做任何事情應該有的態度，督促自己不讓自己偷懶，特別感謝梁祐銘老師每個禮拜都來學校和我討論論文，並在每個周末抽空用網路電話指導我，解決我研究上的問題，打擾到老師和家人團聚的時間真是深感抱歉，同時也感謝交大吳炳飛老師在百忙之中撥空指導審核論文，在許多老師的幫忙才能順利完成這本論文，在這過程中讓我學習到許多寶貴的經驗，真的很謝謝老師們。接著感謝學長姐們，尤其是許之凡學長和呂佳儒學姊在我剛進研究所時，因為英文不好常常看不懂論文，學長姊都不厭其煩的一句一句解釋給我聽，教我如何讀論文讓我漸漸能夠靠自己看懂論文，還有羅安鈞學長、王俊明學長在我們 meeting 時，都會提出很多很好的意見教會我許多不會的東西，讓我研究可以一直有突破，也感謝大一時胡碩宸學長、石翊辰學長、林育誠學長，在各方面給予我想法及建議，讓我與研究室的文化能夠融為一體。當然也要感謝同學廖軒嘉和劉貞佑，一起苦過這兩年多，一起被罵一起開心一起難過，那些都是最好的回憶，同時感謝學弟妹昆賢、.

(6) 冠宇、淳雅、宇珊，雖然我這個學長只會吵你們帶你們墮落，但是我需要什麼幫忙時，你們還是大力相助，感謝你們幫我讓我能順利畢業。最後，也是最重要的家人和苡萱，你們總是在我背後給我最大的關心和支持，不管遇到什麼困難都會陪我一起面對，還有許許多多曾經幫助我過我鼓勵過我的朋友和同學，都非常的感謝大家，祝所有人都可以事事順心、幸福美滿。.

(7) 目錄第一章緒論…………………………………………..…………………1 1.1 研究動機與目的………...……………………………………1 1.2 國內外相關研究………...……..……………………………2 1.2.1 前景物偵測……………………………………………4 1.2.2 車輛分類與計數………………………………………6 1.3 論文架構…………………………...…………………………7 第二章系統架構……………………………..…………………………8 2.1 系統設置……………………………………...………………8 2.2 系統運作…………………………………….………………10 2.2.1 車輛的擷取…………………...………………………11 2.2.2 車輛分類與計數…………………...…………………13 第三章車輛的擷取……………………………………………………14 3.1 TSI 圖的建立……………………………..…………………14 3.2 陰影去除…………………….………………………………15 3.2.1 支持向量機(Support vector machine，SVM)…....16 3.2.2 SVM 的特徵擷取…………………...……………….…19 3.2.3 Deterministic Non-Model Based Approach………22 3.3 ROI 的偵測…………………………………...………………24 3.4 ROI 速度的修正…………………………………...…………28 第四章車輛分類與計數………………………………………………31 4.1 FCSP 的概念………………………………….………………31 4.1.1 Flexible constraints 的模糊表示法………...……31 4.1.2 FCSP 運算……………………………………..………32 4.1.3 FCSP 的演算法………………………..………………33 4.2 遮蔽偵測與處理……………………………………….……35 4.2.1 ROI 累計曲線和樣板曲線的建立……………………35 4.2.2 車輛遮掩的偵測…………………...…………………36 4.2.3 車輛遮蔽處理……………………………………...…41 第五章實驗結果………………………………………………………45 5.1 實驗一(強光)……………………………………….………45 5.2 實驗二(普通光)……………………………….……………48 5.3 實驗三(昏暗光)………………………….…………………52 5.4 實驗四(雨天)………………………………….……………55 5.5 實驗五(夜間)……………………………….………………58 第六章結論與未來方向………………………………………………62 參考文獻………………………………………………..………………63. i.

(8) 圖表目錄第一章緒論表 1.1 台灣地區機動車輛登記數………………...………………1 第二章系統架構圖 2.1 系統設置狀況：側視圖………………………………….....8 圖 2.2 系統設置狀況：俯視圖……………………………..………9 圖 2.3 道路監測影像………………………………………………9 圖 2.4 車輛分類與計數系統架構圖……………………………..10 圖 2.5 Time-Spatial Image…………………………………..…12 圖 2.6 Region of Interest…………………………………….…12 圖 2.7 建立累計曲線樣板…………………………………….… 13 第三章車輛的擷取圖 3.1 under-segmentation……………...……………………….....8 圖 3.2 TSI 圖……………...………………………..........................15 圖 3.3 SVM 分群示意圖……………...……………………..............16 圖 3.4 SVM 說明圖…………………...……………………..............17 圖 3.5 有些資料無法分類….……...……………………..............19 圖 3.6 藍色部分為陰影處….………..……………….…..............22 圖 3.7 陰影的部分補上背景值…...……...………………............22 圖 3.8 參數範圍小的結果…………...………………...................23 圖 3.9 參數範圍大的結果….…...…...………………...................23 圖 3.10 合併後的結果….……...………………............................23 圖 3.11 Sobel 邊緣化結果圖….……...………………...................25 圖 3.12 膨脹示意圖…...……...……………………......................26 圖 3.13 侵蝕示意圖….……...……………………..…..................27 圖 3.14 (a)原始 TSI 圖(b)經由形態學處理後的結果..................27 圖 3.15 速度對前景物長度的影響………………………............28 圖 3.16 ROI 位移估計圖….………......……………..…..................29 圖 3.17 （a）兩輛車輛速度不同且發生遮蔽時的示意圖，（b）若前圖發生遮蔽，則在 TSI 影像中形成的影像之示意圖….…..........30 圖 3.18 ROI 長度修正的實驗結果….………......…………............30 第四章車輛分類與計數圖 4.1 Q (ci ) . 1 , i  1,..., h 的圖形，cQi 為圖形 y 軸的最高 1  p(ci  cQi ). 點，我們令該點對應歸屬函數之值為 1………................................38 圖 4.2 模糊數=200 時， p 對圖形的影響……………..................39 圖 4.3 ( D ,0.5)的歸屬函數圖形，( D ,0.5)表示 p =0.5，令 ii.

(9) D = 255，且 D 為模糊數....................................................................39 圖 4.4 高斯分佈機率圖….………..…………….…......................41 圖 4.5 特殊情況下會不只一個突起，此時我們會視每個突起為單獨的累計曲線來處理….………..……………..….…......................41 圖 4.6 遮掩的部分會發生重複消除的現象，並紀錄下減去樣板曲線的位置............................................................................................42 圖 4.7 AND 運算之結果及加回累計曲線的示意圖…...…………..43 圖 4.8 部分實驗的結果，左右分為三排，分別為：前景物、去除陰影後的前景物、及 occlusion 處理的結果，最右邊一排不同顏色代表處理….……………………………………………………...44 第五章實驗結果圖 5.1 強光下車流順暢的交通影像…………….………..……...45 圖 5.2 實驗一影片中某片段時間中建構出來之 TSI 圖…….......46 表 5.1 實驗一之實驗結果…………………………………………47 圖 5.3 由圖 5.2 中擷取誤判的部分………………………………47 圖 5.4 普通光下車流偏多的交通影像……………………………48 圖 5.5 實驗二影片中某片段時間中建構出來之 TSI 圖…….……49 表 5.2 實驗二之實驗結果…………………………………………50 圖 5.6 由圖 5.5 中擷取誤判的部份………………………….……50 圖 5.7 車輛遮蔽無法處理的問題…………………………………51 圖 5.8 昏暗光中車流量少的交通影像……………………………52 圖 5.9 實驗三影片中某片段時間中建構出來之 TSI 圖…….....…53 表 5.3 實驗三之實驗結果…………………………………………54 圖 5.10 光線昏暗造成的問題……………………………..………54 圖 5.11 雨天的交通影像…………………………..…..…………..55 圖 5.12 實驗四影片中某片段時間中建構出來之 TSI 圖…….......56 表 5.4 實驗四之實驗結果………………….…………...…………57 圖 5.13 雨天造成水花濺起的問題………………….....…...……..57 圖 5.14 夜間的交通影像…………………………..…..…………..58 圖 5.15 實驗五影片中某片段時間中建構出來之 TSI 圖…….......59 表 5.5 實驗五之實驗結果…………………………………………60 圖 5.16 夜間車燈造成的影響………………………..…..………..60 圖 5.17 Accuracy……………………………………..…..………..61 圖 5.18 Recall………………………………………..…..………..61. iii.

(10) 第一章. 緒論. 1.1、研究動機與目的近年來由於經濟快速發展，國民生活越來越便利，現今社會上幾乎每個家庭都擁有一部以上的汽機車。根據調查，截至二零一三年，全台機車量高達一千五百萬輛，小客車量也高達五百九十萬輛，所有車種(包括大貨車、大客車、小貨車、小客車、特種車、機車等)加起來的量更是高達兩千一百多萬輛，如表 1.1 所示，如此龐大的汽機車數量將導致交通壅塞情形與交通事故越來越嚴重，因此要如何改善交通壅塞與交通事故的問題愈來愈受到重視，智慧型交通系統因而形成一個重要的研究議題。智慧型交通系統應用了先進的電子、控制、通信、資訊與感測等技術，提供交通即時資訊，並結合交通管理的理論與實務，更有效地改善交通壅塞與交通安全的問題，增進交通運輸系統的安全與效率。電腦視覺技術近年來也常被應用在智慧型交通系統[2]，最主要是因為智慧型交通系統運作的好壞有賴於正確的即時交通資訊的取得，運用電腦視覺技術使得系統為可移動式且安裝容易，並且能即時分析交通上的任何狀況。. 表 1.1 台灣地區機動車輛登記數[1]. 1.

(11) 智慧型交通系統包括了相當多的研究內容，其中車種分類與車輛計數更是重要的研究工作之一。車種分類對於道路的設計與管理、道路的預算編列、速限及大型車輛政策的決策、交通安全政策的制定、運輸系統的管控、及交通事故發生率的分析等，都可提供重要的資訊供參考；又對於像是道路依車種收取通行費、公車及機車專用道的違規偵測(禁行其他車輛) 、高架道路以及鄉鎮街道禁行大卡車等違規事項，亦可藉由車種分類系統來達到自動化取締及收費的目的。而車輛計數則對道路使用的效益、道路損耗的估計、空氣品質的管控、道路維修時間的選擇、交通控制系統的設計、乃至自動化交通號誌的切換、道路調撥、及高速公路閘道管制等，均扮演著重要的角色。因此本研究目的在於發展一個以電腦視覺及影像處理為基礎的即時車種分類及車輛計數系統，不管拍攝的環境是處於白天或夜晚、晴天或雨天都可以有效且正確地進行車種的分類與車輛的計數。. 1.2、國內外相關研究目前應用於車輛計數與分類的方式大約可分為：人工計數與分類、以車軸數量偵測為主的分類計數器、以車輛長度量測為主的分類計數器、還有以雷射雷達、感應線圈、及微波雷達等設備為主的分類計數器。上述設備有些價格非常昂貴（如：微波雷達、雷射雷達偵測器）、有些安裝不易（如安裝感應線圈必須挖掘路面施工等）、有的則有範圍應用的限制（例如：車軸計數器無法應用在多線道上使用）等缺點。而以人工方式進行計數與分類有兩個主要的缺點：第一，無法同時處理數量眾多的資訊，例如車流量龐大時，無法有效地計數，若再加上車種分類則更是左支右拙；第二，無法全天候做統計。因此近年來以電腦視覺技術為基礎之分類計數器愈來愈受重視[3-5]，其優點有:第一，能夠同時收集多樣化的交通事件，例如道路壅塞狀態偵測及交通違規事件偵測等；第二，價格與安裝的困難度較其 2.

(12) 他類型便宜且簡單；第三，系統的使用方式容易上手，操作人員不需做特別的額外訓練。綜合以上，以電腦視覺為基礎之分類計數系統不但比現有的特殊硬體感應器提供更寬廣的應用範圍與更合宜的價格外，也較人工的紀錄方式能處理更龐大的車流量與提供全年無休的分類與計數功能，適合各種交通監控方面的應用。在 2011年 Liu等人[3] ，提出了運用虛擬偵測線結合車輛輪廓來即時偵測交通流量，此論文利用車輛通過虛擬偵測線來建立車輛輪廓，其中包含了時間和空間的訊息，運用攝影機的視角將車輛輪廓配置到可變的幾何模型中。首先推導每個車體車輛頂點的數目，再使用輪廓敘述的模型來判定車輛因遮蔽產生的消失點和車體輪廓的方向性，然後分配到一個能夠進行分析輪廓的模型中，每台遮蔽車輛從該遮蔽車輛模型去解決，車輛數也將被清楚計算。此篇論文提出的方法可以達到即時計數車輛，很適合用在車流量管控的應用上，但是它無法去作車種分類的處理。 Unzueta等人在2012年提出了運用多線索的背景相減法來加強車輛分類和計數的準確度[4]，這篇論文使用了多線索細分的策略來處理交通影像中移動及靜止的車輛，首先運用亮度和色度差異的組合來訓練背景，為了改善深色車輛的分割、陰影、和車燈反射等問題，作者增加梯度差異當作額外的特徵。然後結合了簡單的線性 2-DKalmanfilter和利用 MarkovChainMonteCarlo(MCMC)來估算3-D複雜度值，並進一步進行分割和跟蹤。雖然此篇論文提出的方法將有效地對車輛分類和計數，但如果運用在出現大量車輛遮蔽的情形將產生高的失誤率。在 2012年 Mithun等人[5]提出了運用 Time-SpatialImages(簡稱 TSI)進行車輛的分類與計數，作者在影像中設置多條不同位置的虛擬偵測線，針對每條虛擬偵測線在每一幀取得像素依序排成一張 TSI。在由多條偵測線上取得多張 TSI 後，可運用偵測線之間的差異來處理車輛遮蔽和靜止的問題，進而提高偵測的準確度，接著擷取形狀和紋理等特徵並利用 KNN分類器來作車種的分類。然而此方法需要儲存大量的 TSI去做比對來處理一些計數面臨的問題(例如:遮蔽) ，進行 3.

(13) 車輛分類時還要再回到原影像取得車輛特徵進行分類，需要耗費相當龐大的儲存空間，此外應用於相當壅擠的交通狀況準確度也略低。因此一般基於電腦視覺為基礎之車輛分類與計數系統，主要包含以下二項主要工作：第一為前景物的擷取，主要目的是運用輸入影像將可能是車輛的部分取出，其中包含兩大步驟，其一為陰影去除，因為陰影的部份對道路交通影像的分析影響很大，所以去除陰影可以提升系統的準確性及效能，其二為形態學處理，輸入影像經由形態學處理讓車輛的輪廓與位置能更精確地被擷取出；第二為車輛的分類與計數，首先需先判斷車輛是否有互相遮蔽或相連，假使有則須加以分離，再判斷出數量和種類。以下二小節依序對上述二個主要工作作相關文獻的探討。. 1.2.1、前景物偵測從輸入影像中擷取出可能是車輛的部分也就是移動物的偵測，一般而言大致上可以分為四種方法：光流法 ( optical flow ) [6]、影像相減法 ( frame differencing)[7]、背景相減法 (backgrou ndsubtraction)[8]以及2D/3D 模型檢測法 (2D/3Dmodel-baseddetection)[9]。光流法能有效地偵測出移動物體，將計算連續影像相似的區域結合起來嘗試找出可能為車輛的部份，再加入其它特徵如顏色、線條、及紋理等來增加偵測的可靠度。此方法的優點在於適合用非固定型的攝影機，如車載型攝影機；而主要的缺點是計算量較大且無法應用在移動速度較快之情況。影像相減法是將連續影像彼此做相減，再由其影像間的差異值計算出影像中的前景物，此方法對影像的明亮度較不敏感，因此較不受氣候和光線的影響、而計算也相當簡單。由於運作主要是基於影像間的差異，當影像中的前景物移動速度過於緩慢時便無法偵測出前景物，因此該方法較適合在交通順暢的環境。背景相減法是建立一個可靠的背景模型，建立方法有許多種，像是統計法 [10] 、與漸進法[11]等，然後再藉由輸入影像與背景影像相減，可以取出影像中 4.

(14) 的前景物；此方法具有運算快速的優點，但也面臨如何取得完美的背景影像、如何隨環境的改變進行背景影像的更新、以及在前景物與背景差異很小時如何處理前景物破碎的問題。最後是 2D/3D模型檢測法是先建立車輛的模型，假如模型為 3D模型，則先依拍攝角度與環境間的關係將 3D模型轉為 2D模型，藉由比對的方式在影像中找出車子，在影像中找到車子的同時即可知道其車種類別，也可輕易解決車輛遮蔽的情況。但此方法有許多種模型必須去比對，也只適用於固定的觀測角度，相對的速度比較於其他方法就顯得較慢。本研究提出一種運用 TSI影像透過簡單的型態學處理擷取前景物，減少了大量的運算，因此在處理速度上相當快速有利於即時應用系統。前景物的陰影對於後續分析與辨識將會有很大的影響，因此利用上述方法得到可能的前景物後，必須再將陰影部分去除。陰影大致可以分為靜態與動態兩種，靜態的陰影是指在環境中一些固定物體所造成的，如：建築物、站牌、電線桿或是路邊停放的車輛，此種陰影短時間內不會產生太大的變化；而動態的陰影是指在移動中的物體所造成的陰影，它會隨著移動中的物體而改變位置和形狀，動態的陰影經常降低電腦視覺辨識系統的準確度。有些研究使用亮度來評估陰影的部分[12][13] ，這類方法是先將目標物取出，然後去評估目標物的位置和方向，取得一些陰影的候選點去計算，運用邊緣的特性找出目標物的形狀，而作者又將陰影分為投射陰影(castshadows)和自身陰影(selfshadows)兩種，再運用質地的特性將投射陰影刪除，以達到去除陰影的效果。Gamba等人[14]用陰影模型的方式來去除陰影，他們將陰影強度的分佈建立成陰影的模型，比對目標像素是否與陰影模型類似，再除去陰影的部分，此種方法的準確度在於模型建立及分類演算法之優劣。在[15]中，作者提出 HMM-basedsegmentation進行陰影的去除，先利用 Baum-Welchalgorithm建立背景、前景、及陰影的隱藏式馬可夫模型，在分辨陰影時將目標物分割成不重複的區塊，將每個區塊使用 forwardalgorithm 來判斷其屬於背景、前景、及陰影模型的機率，然後得到屬於陰影模型機率最高 5.

(15) 的區塊，將它視為陰影並移除。本研究利用現行分類法中最常見的 SupportVectorMachine(SVM)[16]進行陰影與非陰影的分類，首先必須針對各種環境收集陰影與非陰影兩大區塊類別進行訓練，並利用 DeterministicNon-ModelBasedApproach[17]來補強 SVM 的分類，如此本系統便可運用在各種不同情況下，例如:白天或晚上，此方法具有計算快及準確度高的優點。. 1.2.2、車輛分類與計數在陰影移除後，剩下的部分即為車子，然而車子有可能為一輛或是多輛車互相遮蔽(occlusion)，因此必須解決車輛遮蔽的問題。對於處理車輛遮蔽的方法，有人提出局部邊緣圖像投影的技術[18]來分開遮蔽車輛，運用 Sobel濾波器來產生水平和垂直的邊緣圖像，垂直邊緣投影到水平軸，在互相遮蔽車輛的邊緣會有最大的投影值，因為車輛基本上是固定形狀，根據它的長寬比便可將遮蔽車輛分開。另外有人提出使用車體幾何模型來比對車輛[19] ，不但可以解決遮掩的問題，還可將不完整的車形回復。還有運用車輛的形狀在輪廓上擷取特徵點來算出遮蔽車輛的數目[20] ，以一個矩形區域作為車輛的模板，取矩形四個角為特徵點將特徵點連接並依方向將其編號並排序合併，使每部車輛可以透過每四個相鄰特徵點的組合來分離遮蔽的車輛。最後還有 [21]提出運用車輛引擎蓋牌照和前擋風玻璃周圍的特徵來計算車輛數，運用車輛外觀的 sketch、texture、flatness和 colorconsistency等特徵，並透過 hybridimagetemplate(HIT)來建立引擎蓋和玻璃兩個部份的模板，再去進行車輛檢測匹配的動作。本研究提出使用 ROI累計曲線法和模糊限制滿足技術(fuzzyconstraints satisfactionpropagation)來處理遮蔽的問題，當有車輛通過偵測線時，曲線會慢慢突起，藉由分析突起部份的曲線（curve）與成長過程，可以分別找出不同種類車輛，同時也能解決遮蔽的問題，而且計算簡單快速。 6.

(16) 1.3、論文架構本論文架構安排如下：第二章節為系統架構，第三章節和第四章節將提出的方法分為兩個部分來詳述，分別為前景物偵測及車輛分類與計數，第五章為實驗結果，第六章為結論及未來工作。. 7.

(17) 第二章. 系統架構. 本章節主要描述系統之架構，首先介紹系統設置的方式，接著再說明系統運作的方法。. 2.1、系統設置本系統的架設方式如圖 2.1和 2.2所示，攝影機固定架設於道路中央正上方 (如天橋上)，觀測軸的旋轉角度為 0度(亦即 rollangle=0)，並朝向道路方向拍攝，其俯角 (tiltangle)θ 以及攝影機架設高度 H必須事先量測得知。攝影機觀測方向(viewingdirection)在俯視圖的投影是與路面上之道路標線平行，車輛的行進方向可以是遠離或接近攝影機，所拍攝到的影像如圖 2.3所示。. 圖 2.1系統設置狀況：側視圖. 8.

(18) 圖 2.2 系統設置狀況：俯視圖. 圖 2.3 道路監測影像. 9.

(19) 2.2、系統運作圖 2.4顯示本系統運作的流程圖，其中包括兩大步驟：第一大步驟，車輛的擷取(VehicleExtraction)包含 Time-SpatialImage的建立、陰影去除、ROI 的偵測、以及 ROI 速度的修正；第二大步驟，車輛分類與計數 (Vehicle ClassificationandCounting)。以下針對這兩部份做簡單概述，詳細內容將在第三章到第四章做描述。. 圖 2.4 車輛分類與計數系統架構圖。. 10.

(20) 2.2.1、車輛的擷取在車輛的擷取部份，本研究提出運用 TSI圖透過陰影去除和簡單的型態學 (morphology)處理來擷取車輛，此法不但可以避免運用背景和輸入影像的差異來偵測車輛可能遭遇的問題，而且計算速度也大大提升。首先使用影像中一條虛擬偵測線(Virtualdetectionline)將每一張輸入影像的偵測線堆積形成 TSI影像，如圖 2.5示。由於取出的 TSI圖中可能包含有車輛及其陰影，陰影部份必須先移除，才能增加後續分類與計數的準確度。在此，我們利用 SVM與 DeterministicNon-ModelBa sedApproach進行陰影與非陰影的分類，SVM的方法為事先將 TSI影像切割成小區塊，然後先收集各區塊並將區塊分類為陰影和非陰影兩大類，每個區塊運用離散小波轉換取得特徵值，接著再利用 SVM演算法針對上述訓練資料建立陰影與非陰影分類器，來去除陰影的部份，由於 SVM無法正確對陰影邊緣進行分類，因此利用 DeterministicNon-Model BasedApproach進行修正。此方法可運用在各種不同情況下，例如:白天或晚上，並且具有計算快及準確度高的優點。接著利用邊緣特徵作形態學(morphology) 處理找出可能為車子的區塊，稱為 RegionofInterest(ROI)，如圖 2.6所示。有關 TSI影像的形成與比直接在影像序列中分析車輛的優點和陰影去除的方法將在下章節作更詳細的說明。. 11.

(21) 圖 2.5 Time-SpatialImage。. 圖 2.6 RegionofInterest。 12.

(22) 2.2.2、車輛分類與計數我們自 TSI影像中取出已去除背景及陰影的 ROI後，接著便要進行車輛的分類與計數。然而由於 ROI中可能為一輛車或是多輛車互相遮蔽(mutualocclusion) 而成，因此本研究提出使用 ROI 累計曲線 (accumulated curve )和 Fuzzy ConstraintsSatisfactionPropagation(FCSP)的技術來處理遮蔽的問題。首先我們針對各種不同車種收集大量的 ROI區塊，接著針對各車種建立累計曲線樣板，如圖 2.7所示。輸入的 ROI區塊用同樣的方式隨時間逐步建立累計曲線，利用 FCS的投影技術進行與樣板的比對，如此不但可以進行車輛分類外，也可以解決遮蔽問題。最後便可針對車輛分類的結果進行數量的統計。詳細的方法內容將在第四章作說明。. 圖 2.7 建立累計曲線樣板。. 13.

(23) 第三章. 車輛的擷取. 車輛擷取的目的是希望在 TSI圖中決定出與車輛相關的區塊，我們稱此區塊為 ROI ，有關 TSI圖的形成將在本章做詳細的說明。在過去的研究中對於攝影機所得到影像進行車輛的偵測[22] ，常常使用背景影像和輸入影像之間的差異作比較（backgrounddifferencing），此種方法有以下的缺點：第一是取出的前景物通常有破碎或空洞等不完整的現象，稱之為 under-segmentation，如圖 3.1所示；第二是為了彌補 under-segmentation的問題，系統需要耗費額外的時間與資源來處理。本研究提出運用 TSI圖透過簡單的型態學處理來擷取車輛，此法不但可以避免運用 backgrounddifferencing來偵測車輛可能遭遇的問題，而且計算速度也可大大提升。以下我們詳細介紹過程中較重要的步驟，包括 T SI圖的建立、陰影去除、ROI 的偵測、以及 ROI速度的修正。. 圖 3.1under-segmentation. 3.1、TSI圖的建立首先我們在輸入的影像中選取其中的一條特定線，稱之為虛擬偵測線 (VirtualDetectionLine，簡稱 VDL），我們只要檢查此 VDL並將每一張輸入影像的 VDL上的像素依序堆疊起來，便形成所謂的 TSI圖，如圖 3.2所示。當 VDL 上有物體經過時，在我們堆疊的 TSI圖上將形成像是車輛外觀的線條和顏色，於 14.

(24) 是我們便可在 TSI影像中藉由邊緣的特性來擷取出我們所需的 ROI。. 圖 3.2TSI圖. 3.2、陰影去除在使用影像的偵測線堆疊出 TSI圖後，其中有些部份會存在著陰影，我們必須先將陰影的部分移除以增加後續辨識的準確率。本文使用現行分類法中最常見的 Supportvectormachine(SVM)[16]進行陰影與非陰影的分類來從事陰影的偵測與去除，並利用 DeterministicNon-ModelBasedApproach[17]來補強 SVM 的分類結果。此方法為事先將 TSI圖切割成區塊，並將區塊運用離散小波轉換取得特徵向量，然後必需先收集各區塊將區塊分類為陰影和非陰影兩大類，經由 SVM演算法建成模型經訓練得到最佳參數後，便可運用在各種情況下，由於 SVM 所用的特徵主要區分陰影與前景物邊緣特性的差異，因此 SVM無法對陰影邊緣進行正確的分類，所以我們將再利用 DeterministicNon-ModelBasedApproach 15.

(25) 進行修正。以下我們先來介紹 SVM的理論，接著再說明 SVM-based的陰影去除方法和 DeterministicNon-ModelBasedApproach補強去除的方法。. 3.2.1、支持向量機(Supportvectormachine，SVM) SupportVectorMachines(支持向量機，以下都以 SVM稱呼)[16]是一種分類(Classification)演算法，是一種新的方法根據統計學習理論提出的機器學習。 SVM在處理小樣本、非線性以及高維度識別的問題中展現出許多特有的優勢並且已應用於三維目標識別、手寫體識別、文本圖像分類、人臉識別等常見的問題中，判斷結果比已有的學習方法，擁有更良好的學習能力。經由有限的樣本訓練得到的決策規則對獨立的測試集仍能夠得到較小的誤差。 SVM的概念如下:假設在 R d 空間中有一群資料，希望可以找出空間中的一條 Hyper-plan，這條 Hyper-plan可以將資料切分成兩群(如:群組 1、群組 2)。而屬於群組 1 的資料均位於 Hyper-plan 的同側，而群組 2 的資料均位於 Hyper-plan的另一側，如下圖 3.3：. 圖 3.3SVM分群示意圖[16]. 比較 3.3圖之左圖和右圖，可以發現左圖的 Hyper-plan(虛線)，其兩條線平行且與相切於兩組資料點的 Hyper-plan(實線)之間距離較近，而右圖實線和 16.

(26) 虛線之間的距離較遠。由於希望可以找到一條 Hyper-plan將兩群資料點分的最遠，因此所找出的 Hyper-plan是右圖的比較好。因此將問題簡述如下：假設 Training Data Set為:. { xi , yi } , i = 1,2,..., n ， xi Î Rd , yi Î{1, -1}. (3-1). 利用 TrainingDataset找出一條 Hyper-planH的最佳解，將未知的 x i 準確的分類。 SVM理論說明如圖 3.4所示，圖中的實線為 Hyper-plan。H1與 H2被稱為 Support Hyper-plans，而目的是運用 SVM 找出最佳的 Classification Hyper-plan使兩條 Support Hyper-plans之間有最大的距離。. 圖 3.4SVM說明圖[16]. ClassificationHyper-plan(實線)可被定義為 wT x + b = 0 ，因此 Support Hyper-plan(H1、H2)可被寫為：. H1: wT x + b + d = 0 H 2 : wT x + b - d = 0. (3-2). 17.

(27) 而 d 亦即等於實線到虛線的距離，若將它假設為 1，則 3-2式可被重寫為：. H 1: wT x + b = 1 H 2 : wT x + b = -1. (3-3). 而 H1到原點的距離為： |1 - b | / || w || ；H2到原點的距離為： | -1 - b | / || w || ；因此 H1與 H2之間的距離為：. 2 。利用以上的等式，對於在 R d 的空間來說，資 || w ||. 料點必須滿足： ( wT xi ) + b ³ 1 ， if yi = 1 ( wT xi ) + b £ -1 ， if yi = -1. (3-4). 3-4式可被改寫為 yi (( wT xi ) + b) ³ 1 ，因為同時希望兩個 SupportHyper-plans 之間距離為最大，因此希望. || w || 2 的值為最大化，亦即最小化的值。 || w || 2. 最後可以得到以下的結果：. max. 2 wT w ® min || w || 2. 1 min wT w s.t., yi (( wT xi ) + b) ³ 1 , i=1, ×××,n w,b 2. (3-5). 若已知以上的限制式，雖然我們可以利用 QuadraticProgramming和 KKT Conditions(Karush-Kuhn-Tucker)來解，詳細解法參考[16]。最後回到運用 SVM目的就是將資料進行分群運用資料中的特性，因此找出一個函式 f ( x) ，運用這個函式來決定某筆資料的類別。將資料訓練後的到最佳函數 f ( x)，代入一筆未知的資料進入函數 f ( x)，即可將該筆資料進行準確的分類。由[16]推導得知 f ( x) 的決定取決於 w、b，因此可以將 f ( x) 寫成如下：. yi = f ( x) = wT x + b = åai yi xiT x + b. (3-6). 18.

(28) 也可以將上式改寫成如下：. -b = å a i yi x j T xi - yi. (3-7). i. 因此訓練的過程中在 SupportHyper-plan上的點被稱為 SupportVectors，然後去決定這些點的 w以及 b的值，求出最後的分類函式。由上兩式(3-6)和(3-7) 得知，必須在 a i >0的限制下，該資料對於 w 以及 b 的值才會有決定性的影響。綜合上述的推導，都是在較為理想的情狀下做分類，能夠將資料完全分成兩群。在實際的情況下，不是所有問題都如此的單純，有時候也會遇到無法將資料分類的問題。如圖 3.5所示:可以看到有一點黑點在下方，它應該要屬於黑色的分群，但是運用已知的 Hyper-plan(實線)無法做到有效的分類，面對這樣的問題，SVM通常會在解問題時會多加入一項考慮誤差的變數，如下圖的即 x 為誤差值。. 圖 3.5有些資料無法分類[16]. 3.2.2、SVM的特徵擷取上一小節介紹了 SVM的概念和作法，運用 SVM來從事陰影的偵測與去除前， 19.

(29) 需要先收集樣本資料然後訓練出一個最佳的函式。在訓練前我們自 TSI圖中選取分別屬於陰影及非陰影的部分，將之轉換成由特徵值組成的樣本資料後，找出最佳函式形成 SVM陰影分類器。先來定義影像區塊與特徵值組成樣本資料的方式[26] 。運用簡單的方式就是將 TSI圖的 intensity值所組成的向量當作特徵值樣本資料，給予一個影像區塊. B 大小為 4´ 4 個像素，此區塊的 intensity值組成如下圖：. 令 X = X 1 X 2 ... X 16 = abcdefghij klmnop 為作特徵值樣本資料；由實驗結果顯示假如僅使用 intensity值所訓練出來的 SV M陰影分類器很難分辨暗色系的車輛與陰影之間的差別，因此為了改善問題並增加辨識的準確率，採用由 intensity值及高頻小波係數（highfrequencywaveletcoefficients）所組成的向量特徵值作為樣本資料；採用高頻小波係數來分辨陰影，主要的原因是車輛影像中陰影的部分擁有較多的細節，因此高頻小波係數之值在車輛的區塊較大，而在陰影的影像區塊的高頻小波係數之值較小，因此運用此特徵值有利於增加辨識的可靠度。令一長度為 n 之序列 S. S ((ik) ). ì (k ) ï ai =í ï ai( k ) = ai( k -1) î. 其中 n ( k ) =. ai( k ). n 2 k -1. = a10 a20 ...an0 ，定義 Harr小波轉換為: 1£ i £. n (k ) 2 k -1. n(k ) + 1 £ i £ n, k ³ 2 2 k -1. (3-8). ， k £ log 2 n ，. ì a 2( ki--11) + a 2( ki -1) ï ï = í ( k -1) 2 ( k -1) ï a 2 j -1 - a 2 j ïî 2. 1£ i £. n (k ) 2k. n (k ) n (k ) n (k ) + 1 £ i £ , j = i 2k 2 k -1 2k. S (0) = S 20. (3-9).

(30) S (k ) 為 S 的第 k 階小波轉換。給予一個影像區塊 B 大小為 4´ 4 個像素， B 為. 令 B' 為 B 經 Harr小波轉換的結果:. 我們令 X = X 1 X 2 ... X 7 = m1, m 2, m 3, m 4, h1, h 2, h3 為此影像區塊所對應的特徵值樣本資料，其中 m1 = m4 =. c+d +g+h i+ j+m+n a+b+e+ f ， m2 = ， m3 = ， 4 4 4. c'+ d '+ g '+ h' i '+ j '+m'+n' k '+l '+o'+ p' k +l +o+ p ，h1 = ，h 2 = ，h3 = 。h1 、 4 4 4 4. L、LH、及 HH頻帶之平均值。 h 2 、及 h3 分別代表 B' 中 H 將 ROI分割成多個區塊後，其中每個區塊可能為陰影、非陰影兩類，運用台大林智仁教授開發的 LIBSVM[23] ，照著制定的輸入格式進行訓練找出特定函式，由實驗測試取得一組最佳參數得到最高的準確率。過程如下:首先，我們以人工的方式自 TSI圖中取出 100個分別屬於陰影及非陰影 4´ 4 區塊（總共 200個區塊），運用 libsvm訓練出 SVM模組，再將輸入的 TSI圖以 4x4的區塊每一個點分別去辦別是否為陰影，陰影的部分我們將補上背景值，而背景值取得方法為:由於 TSI圖是由一條偵測線取得每一幀的像素形成一張圖，紀錄偵測線上每一點的 RGB值，並找出每一點最常出現的 RGB值，此 RGB值就當作背景補入陰影部分。圖 3.6顯示 SVM分類的結果，藍色區域即為陰影部分，而圖 3.7則顯示將找出來的 RGB值當作背景補入陰影處後的結果。. 21.

(31) 圖 3.6藍色部分為陰影處. 圖 3.7陰影的部分補上背景值. 3.2.3、DeterministicNon-ModelBasedApproach 在使用 SVM去除陰影後，由圖 3. 7可看出在陰影邊緣的部分仍無法被去除，主要是擷取特徵的遮罩為 4x4 ，並是利用車子與陰影間邊緣特性的差異當作特徵值，因此對於陰影邊緣的部分我們再使用一個簡單的 DeterministicNon-Model BasedApproach[17]來處理，這種陰影移除的方法主要是觀察陰影在影像上的特性，根據觀察的結果，陰影滿足底下的式子：. ì if a £ I Vj ( x , y ) / BV ( x, y ) £ b ï1 Ù | I Sj ( x, y ) - B S ( x, y ) |£ t S ï SPj ( x, y ) = í Ù | I Hj ( x, y ) - B H ( x, y ) |£ t H , ï ïî0 otherwise.. (3-10). 其中 I Hj ( x, y) 、 I Sj ( x, y ) 及 I Vj ( x, y) 指的是第 j 張影像(x,y)點顏色的色調(hue) 、飽和度 (saturation)及亮度值(value) ，而 B H ( x, y )、 B S ( x, y ) 及 BV ( x, y ) 是指背景圖(x,y) 點上的色調、飽和度及亮度值，另外四個門檻值 a 、 b 、 t s 及 t H 是根據當時日光強度來決定的，我們將 a 、 b 、 t s 及 t H 分別設定為 0.2、0.4、0.2及 0.4，這些參數值是透過實驗觀察來決定的，而(3-10)式的意義在於陰影的亮度值比背景圖同位置的亮度值還低，其比例介於 a 與 b 之間，而且陰影的飽和度大致上 22.

(32) 比背景圖上的值還要低，色調也跟背景圖同位置的值差不多，將原來影像中屬於物體的點，把 SPj ( x, y ) = 1 的點去除掉，則陰影就能夠移除。然而一般的作法，會先設定好幾組日光強度(例如強烈日光強度、中等日光強度及低日光強度)下的參數值，系統自動地偵測出當時的日光強度，參數值便能彈性的調整成最適當的值。下圖 3.8和圖 3.9可以看出由於參數的調整改變判斷為陰影部分，參數範圍小它將只抓出陰影邊緣的部分，參數範圍越大判斷出陰影的部分將漸漸向車輛靠近，如果將參數範圍設定太過於大的話，它將有可能吃掉車子的部分造成抓出的車輛有些部分被判斷成陰影而效果不佳，由於此方法只是是輔助 SVM無法將陰影邊緣偵測去除的問題，所以不需要將參數範圍設定太大，因此搭配上 SVM只需要一組範圍小的參數即能得到很好的效果，也可適用於各種情況之中。最後圖 3.10 為兩種方法結合的結果。. 圖 3.8參數範圍小的結果. 圖 3.9參數範圍大的結果. 圖 3.10合併後的結果. 23.

(33) 3.3、ROI的偵測在將 TSI圖上的陰影部分去除後，接著再將 TSI圖進行灰階化的動作，灰階影像是從一張彩色影像轉換而來，彩色圖則是由紅綠藍(即為 RGB)三原色所組成。三種色光以不同強度的組合可以呈現所有的顏色，在 RGB色彩模型中，完全飽合的光線組合成白色(100%的紅、100%綠和 100%藍) ，白色的補色即為黑色(0%的紅、 0%綠和 0%藍) ，在影像處理中為了瞭解影像亮度的特性，經常先將影像進行灰階化處理，其轉換公式如下: GRAY = 0.299*R + 0.587 * G + 0.114* B. (3-11). 經由轉換後的灰階圖就可以讓我們更容易去分析。圖像最基本的特徵是邊緣，我們必須從 TSI圖中將所有車輛的部分找出，就必須找出車輛在 TSI圖中顯示的邊緣，因此我們運用現在最盛行的邊緣偵測法： Sobel邊緣偵測，其結果如圖 3.11所示。其技術上主要是以離散型的差分算子，用來運算圖像亮度函數的梯度的近似值，此演算法具體的實現相當簡單，處理速度也相當快速。 Sobel算子計算過程如下: 假設作用圖為 I ，首先將圖兩個方向分別利用 X水平方向和 Y垂直方向的遮罩(masks)求出各點的梯度值 Gx和 Gy，水平變化為將 I與一個如下 3X3的遮罩進行卷積，計算方式如下: æ -1 0 +1 ö ç ÷ Gx = ç -2 0 +2 ÷ * I ç -1 0 +1 ÷ è ø. (3-12). 垂直變化則將 I與一個如下 3X3的遮罩進行卷積，計算方式如下: æ -1 -2 -1 ö ç ÷ Gy = ç 0 0 0 ÷ * I ç +1 +2 +1 ÷ è ø. (3-13). 在圖像的每一點，結合以上兩個結果利用下式求出各點的近似梯度值： 24.

(34) G = Gx 2 + G y 2. (3-14). 利用上面的運算便能將圖中的邊緣偵測出來。. 圖 3.11Sobel邊緣化結果圖在邊緣化 TSI圖後，接著再利用型態學(morphology)[24]的中通濾波器和膨脹(dilation)與侵蝕(erosion)來處理邊緣化後的影像。中通濾波器的遮罩排序運算是一種非線性的濾波方式，其主要利用邏輯比較的運算，找出在遮罩裡所有像素灰階值大小的排序情形，中通濾波運算主要是利用在遮罩裡所有像素灰階值大小排序在中間的灰階值，再將此值對應入新影像中所對應的像素中，此法不但可以濾掉影像中突出的高頻雜訊部份，對於影像的邊緣，又能夠給予適當的保持，而不致於像低通濾波器一樣把影像的邊緣也破壞掉了，而對於低頻的部份，則產生適度的壓抑的效果。中通濾波表面上看起來只管比大小即可，似乎不需太大量的運算，然而仔細去推敲，當一個 3×3遮罩移動時，每次只更換三個像素內容，如果我們設法保留前面六個像素灰階值的大小順序結果，將加入的像素灰階值以插入排序的方式加入，可以節省不少的計算時間。而膨脹與侵蝕的運算可以去除雜訊以及達到連接破碎前景物的功能，其主要是用二值化影像的膨脹(dilation)與侵蝕(erosion)的組合達到消除雜訊的目的，所以會將經過中通濾波器的 TSI圖進行二值化後再進行膨脹與侵蝕。以下介紹這兩種型態學方法: 25.

(35) 膨脹定義如下：考慮在空間中的兩個集合 A集合和 B集合，當 A集合被 B 集合膨脹時，可以用 A⊕B表示(圖 3.12)，A為輸入影像，B為結構元素，皆為二質化影像，當輸入像素及其周圍像素相對於結構元素為 1的像素值有一個以上為 255時，則將輸入像素的值設為 255 。主要作用是把破碎(斷裂)的影像連接在一起，同時也會把內部空缺的部分填滿，換句話說將白色區域擴展及互相連接。運算結果會使影像看起來擴大，所以此運算稱為膨脹運算。公式如下:. D ( A, B ) = A Å B = U ( A + b). (3-15). bÎB. 圖 3.12膨脹示意圖. 侵蝕的定義如下：考慮在空間中的兩個集合 A集合和 B集合，當 A集合被 B 集合侵蝕，可表示為 A⊝B(圖 3.13)。A為輸入影像，B為結構元素，皆為二質化影像，當輸入像素及其周圍像素相對於結構元素為 1的像素值皆為 255 ，則將輸入像素的值設為 255 。主要作用是把細小的影像去除，同時會把內部的區塊以黑色的部分填補，換句話說原本白色區域不斷的往內縮，使圖案更分明。運算結果 26.

(36) 會使影像看起來收縮，所以此運算稱為侵蝕。公式如下:. E ( A, B) = AQ(- B) = I ( A - b). (3-16). bÎB. 圖 3.13侵蝕示意圖因此原圖 3.14(a)經由上述過程便可得到如圖 3.14(b)之結果。. 圖 3.14(a)原始 TSI圖(b)經由形態學處理後的結果圖 27.

(37) 3.4、ROI速度的修正上述使用型態學所取出的 ROI其垂直方向的距離，稱為長度，這和車輛通過 VDL的時間成正相關，因此也會與車輛的在圖上的長度及車輛移動的速度相關。如果車輛移動速度較快時，ROI的長度會較短，反之 ROI的長度會較長，如圖 3.15 所示，而當車輛完全停止在偵測線上時，ROI的長度會不斷成長。. 移動較快的物體. 移動較慢的物體. 原圖. 擷取後圖 3.15速度對前景物長度的影響. 由於我們將利用 ROI來從事車輛的分類與計數，因此上述 ROI的長度會受車速的影響，我們必須將此部份加以修正。首先我們知道速率的計算方式如下： v=. d t. (3-17). v 為車輛移動的速率， d 為移動的距離， t 為移動所花的時間。由於攝影機每秒拍攝 29幀（速度為攝影機每秒拍攝影像 29張影像），因此可藉由輸入影像的張數來估計車子通過的時間，至於車輛移動的距離，我們可以透過 ROI的位移來估計（圖 3.16），但是此方法在有多個 ROI時會遭遇到兩個問題：第一為對應問題，第二為遮蔽問題，這些均會影響位移計算的正確性。為了解決這些問題，本文在第四章提出使用累計曲線結合 Fuzzyconstraintssatisfaction（FCS）來處理 28.

(38) 遮蔽問題。. 圖 3.16ROI位移估計圖. 使用車輛通過偵測線時間來估測車輛速度的方式說明如下：如圖 3.16中，我們紀錄車輛通過第一條偵測線的時間 t1 (圖 3.16左) ，當車輛通過第兩條偵測線時的時間為 t 2 (圖 3.16右)，他們之間的差 t2 - t1 即代表該車輛在兩條偵測線間移動的時間，而兩條偵測線的距離為其移動的距離，將上述值代入 3-17式，我們便可以求得此車輛移動的速度:. v=. d t2 - t1. （3-18）. 當多輛車發生遮蔽時，他們都會屬於同一 ROI ，不同速度的車輛發生遮蔽時會被認為是同一個 ROI ，假如只計算單一 ROI的話，將會造成車速的誤判（如圖 3.17），此時運用 3-18式來計算車輛的移動速度的話將會發生誤差，為了解決此問題，我們利用累計曲線突起部分中的每一點去計算速度： vi =. d ，l £ i £ r t2i - t1i. （3-19）. 其中 l 是 ROI最左邊的點，r 是最右邊的點，因此我們計算了車輛輪廓上每個點的移動速度。. 29.

(39) (a). (b). 圖 3.17（a）兩輛車輛速度不同且發生遮蔽時的示意圖，（b）若前圖發生遮蔽，則在 TSI影像中形成的影像之示意圖。. 運用每一個點的移動得到車輛的移動情形後，此資訊可以用來修正 ROI的長度。當車輛有移動時，我們所得的各點速率，利用下面公式逐點修正，結果如圖 3.18所示。 hi = v i ´ t i，l £ i £ r. （3-20）. 移動較快的物體. 移動較慢的物體. 原圖. 擷取後. 速度修正後. 圖 3.18ROI長度修正的實驗結果 30.

(40) 第四章. 車輛分類與計數. 使用前面章節所介紹的方法，我們可以自 TSI圖擷中取出已去除陰影的 ROI ，然而每一 ROI中可能包含一輛車或是多輛車互相遮蔽。本文提出使用累計曲線並運用 FuzzyconstraintssatisfactionProbl ems（FCSP）演算法[25]來處理車輛遮掩的問題，藉由遮蔽的處理過程同時解決了車種的分類與計數的問題，此法計算速度相當的快。首先，我們將介紹 FCSP演算法[25][26]，接著再說明如何利用它進行遮蔽的偵測與處理。. 4.1、FCSP的概念假設 w 為測量值，並定義範圍 R，若 w 落在 R 的範圍內，則我們稱 w 滿足 R。因此上述的 R 為明確的範圍，也就是只要不在其範圍內，即使非常接近，也是違反限制的，但是所有的測量值都有可能存在不確定性，因此有了所謂的 flexible constraints。 Flexibleconstraints可分為 softconstraints及 priority constraints，softconstraints為假使無法完全滿足所有的限制條件，則可以放寬部份的限制條件；而 priorityconstraints則認為限制都是有優先順序，因此具有高優先順序的限制必需先滿足，之後再滿足較低優先順序的限制。 FCSP便是使用模糊的觀念來處理這樣的 flexibleconstraints。假設有一組限制為 C = {c1 , c2 ,..., cn } ， C 中有包含 m 個變數 X = {x1 ,..., xm } ，FCSP嘗試找出一組 X 值可以滿足 C ；此外，若有一組測試值與一組限制條件，FCSP也可以用來決定這組測試值滿足該組限制條件的程度。以下我們先說明 flexible constraints 的模糊表示法，然後定義 FCSP的相關運算，最後再說明 FCSP演算法。. 4.1.1、Flexibleconstraints的模糊表示法在一般明確限制的表示法中，假設 C 為一個明確限制，其中包含 k 個變數 31.

(41) X = {x1 ,..., xk }；C 可以被表示為一個明確關係 R 定義在 U 1 ´L ´ U k ，其中U j 為變數 x j （ j = 1,..., k ）的範圍。假設有一個 softconstraints為 S ，其中包含 k 個變數；假設 U = { u1 , u2 ,..., un } ，其中 ui = {u i1 , u i 2 ,..., u ik } 為一組 k 個變數的可能值。S 對於每一個 ui 都有著不同程度的 preference值；假如 preference 值符合 total order，則 S 可以用模糊關係 R 來描述它，其中 membership functionm R ( ui ) 表示 S 對 ui preference的程度。當 m R ( ui ) > m R ( u j ) ，表示. S 對 ui 的喜好程度高於 u j ；若 m R ( ui ) = 0 ，表示 ui 完全不滿足 S 的限制；而. m R ( ui ) = 1 則表示 ui 完全滿足 S 的限制。假設 $ ui , m R ( ui ) = 1，則我們稱 R 為一種 normalized的模糊關係。在 priorityconstraints中，我們用一個介於(0,1)範圍的 a c 來描述一個明確限制 C 的優先順序，如果 a c = 1，則 C 是必要的限制；若 a c = 0 ，則 C 是完全沒有重要性。因為 a c 代表 C 的必要性，相反的1 - a c 則表示違反 C 的可能性。當一個明確限制結合其優先順序值時， (C ,a c ) 可被視為一種 soft constraints，令 S 為此 softconstraints，其對應的模糊關係為 R ，於是： if (u1 ,..., u k ) satisfies C ì 1 î1 - a C if (u1 ,..., u k ) violates C. m S (u1 ,..., u k ) = í. (4-1). 若 C 本身已是一個 softconstraints，則其所對應的模糊關係為：. m S (u1 ,..., u k ) = max[1 - a C , m R (u1 ,..., u k )]. (4-2). 4.1.2、FCSP運算以下我們介紹兩個有關模糊關係的運算：Conjunctive combination及 projection。 32.

(42) 首先介紹 projection，令 X = {x1 ,..., xn } ，而 W = {x w1 ,..., xwk } 及. Y = {x y1 ,..., x yh } 為 X 的兩個子集，且W Í Y 。若模糊關係為 T 限制 Y 的可能值，令 R = (T ). ¯W. 為 T 投射在 W 上的模糊關係， R 限制了 W 的可能值， R 的歸屬函. 數值 m R 定義為:. m R (u w1 ,..., u wk ) = sup {( u. y 1 ,..., u yh. )|( u y 1 ,..., u yh ) ¯W = ( u w1 ,..., u wk )}. m T (u y1 ,..., u yh ) ，而其中. (u y1 ,..., u yh ) ¯W 表示 Y 的可能值 (u y1 ,...,u yh ) 投射到 W 。接下來介紹 Conjunctivecombination Ä ，令 R 和 S 為兩種模糊關係分別定義在兩個變數集合 X 與 Y ，且 W = X È Y 。我們定義 T = R Ä S ， T 的歸屬函數值 m T 定義為:. m T (u w1 ,..., u wk ) = min[m R ((u w1 ,..., u wk ) ¯ X ), m S ((u w1 ,..., u wk ) ¯Y )]。上式估測 W 的可能值 (u w1 ,..., u wk ) ，其同時滿足關係 R 及 S 的程度值。. 4.1.3、FCSP的演算法 FCSP的演算法主要建立在上述的兩種運算中。假設我們有一個問題 P 包含. m 個模糊關係， P = {R1 ,..., Rm } ，其中有 n 個變數 X = {x1 ,..., xn } 。令. r = R 1 ÄL Ä Rm 為一種模糊關係，其合成了 R1 ,..., Rm ；而 m r (u1 ,...,un ) 表示 (u1 ,..., u n ) 滿足 P 的程度，因此 P 的最佳解，將是一組 (u1 ,..., u n ) 使得. m r (u1 ,...,un ) 為最大。定義 r 的高度 Height ( r ) 為 P 中所有關係對某一 X 的可能值 (u1 ,..., u n ) 達成一致的程度，意思為:. Cons( P) = Height( r ) = sup{( u ,...,u )ÎU ´LU } m r (u1 ,..., u n ) 1. n. 1. n. (4-3). 假設 Cons( P) < 1，則 P 中有部分條件是沒有完全滿足的。當判斷是否有解 33.

(43) 時，我們可以先計算 Cons( P) = Height ( r ) 是否不為 0 。而想要尋找最佳解時，我們希望決定一組 (u1 ,..., un ) 使得 m r (u1,..., un ) = Cons( P) 。最後我們可以藉由計算 r. ¯{ xi }. 令. 來尋找所有變數 xi 的可能值。. Aj 表示 " x j ÎU j " ， U j 為 x j 可能的範圍，假設限制為 Ri ，若. A j Í ([ Ri Ä (Ä l =1,..., k ,l ¹ j Al )]. ¯{ x j }. ) ，則我們稱 x j 與 Ri 一致。對每一個變數 x j ，若. 有任一限制 Ri 均為一致的話，則我們稱此 FCSP問題為 arcconsistent ；正式的定義為： "x j , "Ri Î{R1 ,..., Rm }. A j Í [ Ri Ä (Ä l =1,..., k ,l ¹ j Al )]. s.t. x j ÎV ( Ri ) = {x1 ,..., xk }. ¯{ x j }. (4-4). 假設有一組限制 C 無論經過任何的推導，都不能獲得新的限制的話，則我們稱此組限制為明確的；若一組限制為不明確，那麼問題的解將不易獲得。但若是問題為弧線一致，則問題將可以被轉換成明確問題，如此一來即可簡化尋找此問題之解集合。以下演算法稱為 F-AC3 ，此演算法利用弧線一致的概念，來計算解集合對 FCSP問題的滿足度，F-AC3演算法如下： F - A C 3{ R 1 , ..., R m } 1) Q : = { ( R i , x j ) R i Î { R 1 , ..., R m } a nd. xj. restricte d. by. Ri}. 2 ) W h ile Q ¹ j , d o 2 .1 C h o o se a n d. rem o ve. a. p a ir. ( Ri , x j ). 2 .2 C o m p ute th e restrictio n in du ce d. on. from xj. Q. via. R i : A 'j. = ( Ri Ä (Ä. x l s . t . x l ÎV ( R i ). Al ) ). ¯{ x j }. h eig h t ( A 'j ) = 0, s to p / * C on s ( P ) = 0 : c o ntra d iction * /. 2 .3 If E lse if. A j ¹ A 'j , u p d a te. Aj :. A j := A 'j. p ro p a g a te th e n ew. re stric tio n o n. For. a ll. Rk. r ela tin g. For. a ll. xl. re stricted. xj. 34. by. to. xj. o th er. to. all th e n eigh b o rs :. v ar ia b les ,. R k , xl ¹ x j , a d d. ( R lk , x j ) to Q.

(44) F-AC3演算法步驟說明如下：一開始先將問題中所有的限制與變數做組合，再來依序從 Q 中取出一個元素 ( R j , xi ) ，接著計算 xi 在受到 R j 的限制下， xi 所對 R j 的最大滿足程度的可能值，將其計算結果儲存於 A j 。接下來測試 A j 的是否 '. '. 為0 （也就是測試 A j 是否違反問題），假如是 0停止計算，不是 0則將令 A j = A j ， '. '. 並將所有與 x j 相關的限制 Rk ，其中有關的 xl （ l ¹ j ），將 ( Rk , xl ) 配對全部加入 Q 中，上述過程一直重複到將 Q 中所有的元素都考慮過。. 4.2、遮蔽偵測與處理了解了 FCSP的基本觀念與相關的演算法之後，本節我們將會說明如何將其應用於車輛遮蔽的偵測及遮蔽處理上。FCSP演算法一般可以用來判斷兩個曲線之間的相似程度，因此我們將車輛的 ROI轉換成累計曲線，再利用 FCSP的概念進行曲線的比對，進而解決車輛遮蔽、分類及計數的問題。以下小節分別介紹： ROI累計曲線和樣板曲線的建立、車輛遮蔽的偵測、及車輛遮蔽的處理。. 4.2.1、ROI累計曲線和樣板曲線的建立首先先決定如何建立 ROI累計曲線[26] ，當給予一個 ROI來定義一維陣列 C ，其中長度為 ROI的最大寬度，初始時此陣列中的值均設為零；若 ROI有 k 列，則由上至下分析每一列中的像素，假如像素 x 屬於車輛的部分，就在陣列中所對應到的像素位置上加 1，其數學公式如下： ìC ( x ) + 1 C ( x) = í î C ( x). if if. Ii ( x) > 0 Ii ( x) = 0. (4-5). 其中 I i 代表 ROI第 i 列上的 TSI圖的像素值。若將陣列 C 中的值表示為曲線，其中水平軸對應陣列的元素中的寬度，而垂直軸對應元素中的值，稱此曲線 C(x) 為 ROI累計曲線。而樣板曲線代表一種車輛特定形成的累計曲線所應該相似的標準；我們定義 35.

(45) 一個樣板曲線由一組曲線所組成，其中每一個元素代表成長至某一個特定高度時的樣板曲線，也就是說若一個樣板曲線 T 由 H 個曲線組成，則 T = {c1 , c2 ,..., ch ,..., c H } ，其中 ch 表示成長到高度為 h 時的樣板曲線。再來說明樣. 板曲線的建立方式：首先我們收集 n 個同一類車種所形成的 ROI，然後依照 4-5 式替每一個 ROI建立其對應 ROI的累計曲線，在建立的過程中，我們同時紀錄了曲線全部的累計過程 Ci ， i = 1,..., n ， Ci 表示第 i 個取樣的 ROI，令 C i = {ci1 , ci 2 ,..., cih ,..., ciH } ，其中 cih 表示 Ci 成長至高度 h 時的累計曲線， H 為 Ci 的. 最大高度，我們令對應車種的樣板曲線 T = {c1 , c2 ,..., c H } ，其中 n. ci ( x ) =. åc j =1. ji. n. ( x) , "x. (4-6). 因為 n 個取樣的 ROI之最大高度可能有所差異，所以 Ci 的最大高度可能不同，因此在計算 ci ( x ) 時，若無對應的 c ji ( x) ，則略過其計算。在我們的實驗中，我們分別替小型車、中型車、及大型車建立其對應的樣板曲線 TS 、 TM 、及 TL 。. 4.2.2、車輛遮掩的偵測我們將車輛區分為三類：第一類為小型車（機車和腳踏車）、第二類為中型車（包含汽車、小貨車、休旅車、以及箱型車）、及第三類為大型車（像是巴士、與大型卡車），然後為它們分別建立樣板曲線。對於輸入的 ROI ，在建立累計曲線的同時，我們將隨時與三種樣板曲線作比較，若 ROI累計曲線與其中一種樣板曲線近似，我們認為此 ROI含有樣板曲線所對應的車種，並立即從 ROI曲線上將相似樣板曲線的部分刪除。若 ROI曲線不久後即停止成長，表示此 ROI只有含一輛車；相反的，若曲線繼續成長，則 ROI 中即有遮蔽的情形發生，此時 ROI曲線有些部分需要恢復，這是因為先前在刪除 ROI曲線時，將遮蔽的部分也一併移刪除，我們必須將此部份回復。回復的辦法為將樣板曲線與繼續成長的 ROI曲線作一個 AND的運算，其結果即為需要回復的 36.

(46) 曲線部分，我們將結果與 ROI曲線結合，即可完成回復的動作。如此我們重複上述的方法比對、刪除、及回復，就可以將有遮蔽情形的車輛分開，同時也可以分類車輛及計算車輛數。在一般的比對方法中，比對結果常常只有兩種情況“是”或“不是”，然而由於相同車種其車型也不盡相同，加上經過形態學處理常會造成一些小誤差，因此我們採用 FCSP的技術作為 ROI累計曲線與樣板曲線相似程度的比對方法，計算出的相似值從完全不相似的 0到完全相同的 1。其完整的計算方法說明如下：若輸入的 ROI形成累計曲線 C ，令 C = {c1 , c2 ,..., ch ,..., cH } ， c h 為累計 h 次的累計曲線， c h 的最大高度為 H ch （ H ch = max ch ( x ), "x ），最大寬度為 Wch ；已知小型車、中型車、及大型車的樣板曲線分別為 TS、TM 、及 TL，TQ = {cQ1 , cQ 2 ,..., cQh ,..., cQH } ，. Q = {S , M , L} ，其中 cQh 為累計 h 次的樣板曲線，我們令 cQh 的最大高度與最大寬度分別為 HcQh 、及 WcQh ，我們可以定義一組限制:. A1 : H cQh = H% ， A2 : WcQh = W% ，. A3 : a = A% ， A4 : b = B% ， A5 : d = D% ，. R1: a = b ， R2 : d = h. (4-7). w. 其中 HcQh 為樣板曲線的最大高度， WcQh 為樣板曲線的最大寬度， a 為樣板曲線的面積， b 為累計曲線的面積， d 為樣板曲線的寬高比，令 H = HcQh 、 W = WcQh 、. 37.

(47) A = å cQh ( x) ， Q = {S , M , L} ， B = å ch ( x) ，及 D = H "x. "x. W. ，接下來說明 H 、 W 、. A 、 B 、及 D 組合成兩組限制 R1 和 R 2 的歸屬函數的表示法，若 K 為一模糊數，去算出 x 的相似程度，令. mK ( x) =. 1 1 + p( x - K ). (4-8). 其中 m K ( x ) 表示 K 的歸屬函數， m K ( x ) 為類似鐘型的曲線圖形，如圖 4.1所示，. p 表示函數曲線上升率及下降率的參數， x = K 時此歸屬函數之值為最大（ m K ( x) = 1 ）， x 離 K 越遠時會使 m K ( x ) 之值越小， p 對 m K ( x ) 的影響如圖 4.2 所示，這代表若 p 的值越小則歸屬函數 m K ( x ) 的容忍度會被加大，反之 p 的值越大就則表示歸屬函數 m K ( x ) 的容忍度則會下降，我們利用此函數來表示 R1 和 R 2 之歸屬函數，因為 m K ( x ) 是由 K 和 p 來控制值的範圍，因此我們可以用 ( K , p) 來表示模糊數 K 的歸屬函數（例如可用 ( K , 0.5) 來表示 K 的歸屬函數，其值的範圍如圖 4.3所示）；在從事車輛遮蔽的偵測時，我們將從實驗過程中取得 p 值盡量越大越好，其目的是希望當累計曲線 C 與某一種特定樣板曲線 TQ 非常近似時，就能判定 C 為 TQ 所對應的車種。. 圖 4.1 mK ( x) =. 1 的圖形， K 為圖形 1 + p( x - K ). 點對應歸屬函數之值為 1[25]. 38. y 軸的最高點，我們令該.

(48) 圖 4.2模糊數 K =200時， p 對圖形的影響 [25]. 圖 4.3(K ,0.5)的歸屬函數圖形，(K ,0.5)表示 p =0.5 ，令 K =255 ，且 K 為模糊數 [25] 令 PQi =min( maQi (bci ) , mdQi (d ci ) ) , "i=1...h，Q = {S , M , L}，bci :表示 ci 的面積， d ci :表示 ci 的長寬比， ci 表示累計 i 次的累積曲線， m aQi ( x) 為以面積為限制的歸屬. 函數， aQi :表示 Qi 的面積， m dQi ( x) 為以寬高比為限制的歸屬函數， dQi :表示 Qi 的長寬比，因此 PQi 為模糊限制滿足的問題（FCSP）， PQi 表示高度為 i 的累計曲線 ci 與樣板曲線 cQi 的相似程度，利用 F-AC3演算法，我們可以計算出 ROI累計曲線 ci 滿足問題 PQi 的相似程度 min( maQi (bci ) , m dQi (d ci ) ) ，令 h. sum = å min( maQi (bci ) , mdQi (dci ) ). (4-9). i =1. 39.

(49) 其中 h 表示累計曲線 C 目前累計的最大高度， sum 表示各高度的累計曲線與該高度的樣板曲線的相似程度之總合，但由於我將取得的 ROI經過了形態學處理在外觀上會有些誤差，所以在每一種樣板上每個高度都會給予一個權重值 aQi ，我們分別套用三組高斯分佈至 ( PQ1 , PQ 2 ,..., PQh ,..., PQH ) ， Q = {S , M , L} 中， H 為樣板曲線的最大高度，如圖 4.4所示。就能將 4-9公式改成:. sum¢ =. h. åa i =1. Qi. (min( maQi (bci ) , mdQi (dci ) )). (4-10). 若 sum ¢ 超過一個預先設定的 threshold s ，我們認為 C 為 TQ 所對應的車種。當認定 C 為 TQ 所對應的車種後，我們先將該類車種的數量累加，之後再將 ROI累計曲線減去對應該車種的樣板曲線 TQ ，若 TQ = {cQ1 , cQ 2 ,..., cQh ,..., cQH } ，ROI累計曲線減去樣板曲線的方式為 ci = ci - cQh. (4-11). 若 ROI的累計曲線不久後隨即停止成長，表示 ROI中只包含有一輛車，我們即可將該車種分類並計數，反之若累計曲線繼續成長，我們則進入遮蔽的處理步驟。此外，ROI累計曲線在建立的過程中可能會不只產生一個突起，如圖 4.5所示，在這種狀況中，累計曲線會形成一個以上的突起，此時我們視每一個突起為獨立的累計曲線，同樣使用上述方式來處理。. 40.

(50) 圖 4.4高斯分佈機率圖. 圖 4.5特殊情況下會不只一個突起，此時我們會視每個突起為單獨的累計曲線來處理。. 4.2.3、車輛遮蔽處理車輛遮蔽的處理主要分為兩個步驟：第一為判斷 ROI累計曲線屬於何種車種並將 ROI累記曲線減去對應車種的樣板曲線；第二為填補重複刪除的部分。遮蔽處理的過程如下：首先，我們使用前一節的方法來判斷 ROI累計曲線為何種車種，但此時我們會逐漸減小 p 之值（即放鬆歸屬函數的容忍度），嘗試找到與 ROI累 41.

(51) 計曲線最相似的車種，接下來依前面公式將累計曲線減去對應到的車種樣板曲線，並將該類車種的數量累加。由於在減去樣板曲線的 ROI累計曲線中，會發生遮蔽的部分會被重複刪除，如圖 4.6所示，因此我們必須填補這塊被重複刪除的部分，填補的方式如下：在減去樣板曲線後，我們記錄減去的部分所在的位置，減去樣板曲線後 ROI累計曲線的外觀，如圖 4.6右下方的累計曲線形狀，假設此時 ROI 累計曲線之高度為 R，我們等待 ROI累計曲線繼續成長，直至高度為 2R時，我們將剛剛減去的樣板曲線放置於被減去時所在的位置，並和目前的 ROI累計曲線作 AND運算，AND運算的定義如下: fill (C ) = TQ Ù ci = min(TQ , ci ). (4-12). 運算結果如圖 4.7所示， TQ 為對應到的車種樣板曲線， ci 為繼續累積到高度 2R 的累計曲線，AND運算後所得的 fill (C ) 即為被重複減去的部分，將被減去的部份加回 ROI累計曲線後，即可填補被重複刪除的部分。之後重複上述兩項的動作，直至曲線停止成長，其結果如圖 4.8所示。. 圖 4.6遮掩的部分會發生重複消除的現象，並紀錄下減去樣板曲線的位置. 42.

(52) 圖 4.7AND運算之結果及加回累計曲線的示意圖. 43.

(53) 圖 4.8部分實驗的結果，左右分為三排，分別為：前景物、去除陰影後的前景物、及 occlusion處理的結果，最右邊一排不同顏色代表處理. 44.