行政院國家科學委員會專題研究計畫 期中進度報告
以電腦影像為基礎的汽車駕駛之智慧型安全警示系統(2/3)
計畫類別： 個別型計畫 計畫編號： NSC91-2212-E-002-052-執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立臺灣大學資訊工程學系暨研究所 計畫主持人： 傅立成 共同主持人： 李蔡彥 計畫參與人員： 吳兆麟,蔣宗哲,張順發,王維丞,陳琮仁,陳立民 報告類型： 精簡報告 處理方式： 本計畫可公開查詢中
華
民
國 92 年 5 月 27 日
一、 中文摘要
智慧型傳輸系統（Intelligent Transportation System）主要的目的在廣泛運用通訊、 電子、電腦等技術來增進交通傳輸的便利性與舒適性。而其中一項重要的應用， 即為汽車駕駛安全輔助系統，透過現今的電腦技術偵測出道路上危險的路況，包 含行人、腳踏車等障礙物，並適時的對駕駛員提出警告，以降低交通意外的發生。 在此計畫中，我們採用電腦立體視覺的技術，估算出道路上可能障礙物的距離及 位置，並利用障礙物外觀及其幾何關上的資訊，做進一步的影像處理及驗證。最 後，我們可準確的計算出障礙物在空間中相對於駕駛的位置，並決定是否要對駕 駛員發生警示的訊號。 關鍵詞：智慧型傳輸系統、駕駛安全輔助系統、電腦立體視覺、外觀幾何關係、 影像處理及驗證。 Abstr act
Intelligent Transportation System, ITS, is an application that integrates advanced communication, electronics, and computer technology to enhance the convenience, comfort, and safety of the transportation.
One important application of the ITS is safe vehicle driving system. In this project, we adapt the stereovision technique to estimate the position of obstacles in the image. Then, the appearance and geometry properties of obstacles are taken to verify the existence of the obstacle. Our system can accurately calculate the 3D position of obstacles and automatically warn the driver if dangerous situations occur.
Keywor ds: ITS, stereo, geometry, appearance, 3D position.
二、 計畫緣由與目的
在現今汽車產業中，隨著電腦技術的發展及硬體設施成本的降低，使得原本只能 運用於專業領域的智慧型安全系統( Intelligent Safety System )，得以運用於一般 道路車輛。而智慧型汽車安全系統也是智慧型傳輸系統( Intelligent Transportation System，簡稱為 ITS )中重要的核心之一 [1,2,3]，目的在保障駕駛員或路上行人 及其車輛的行車安全，以降低交通事故的發生率。
在智慧型汽車安全系統上，用於道路障礙物辨識的感測器( Sensor )種類很多，其 中包含聲波感測( Acoustic )、公厘波雷達( Millimeter-wave Radar )、雷射雷達 ( Laser Radar )、紅外線感測器（Infra-Red）及以電腦視覺影像分析(Computer Vision )為基礎的感測器，如 CCD( Charge-Coupled Device )攝影機 [4]。 以電腦視覺影像分析為基礎的障礙物偵測裝置，其所使用的偵測設備主要有 CCD ( Charge-Coupled Device )。其辨識原理是利用影像處理的方法來分析道路
上的交通情況，主要的優點包含裝置體積小及檟格便宜。另一方面，透過 CCD 相機所擷取到的影像，內容非常豐富如駕駛員所見一般，這使得電腦影像對道路 上障礙物的分析可更具彈性與多樣性。但天候的變化會影響到影像資訊的擷取效 果，經由影像處理的程序，這種因天候變化所造成辨識上的不定性可以降至最 低。因此，在此次計畫中，我們以電腦視覺 [5,6]作為智慧型安全系統的基礎， 並經由其他裝置的整合，以達到完全掌控路況的功能。 綜言之，我們計畫建構一個以立體電腦視覺為基礎之智慧型汽車駕駛安全警示系 統 [7]，藉以協助駕駛員在一些可能發生危險的情況下能提供適當的警訊，進而 減少因人為疏失而引起的交通意外事故。除此之外，智慧型汽車系統的設計尚須 達到即時偵測（Rea-Time Detection） 、可靠（Reliable）及能夠適用於不同天候 氣象的變化( Robustness )。 三、 研究成果與討論 在研究成果方面，第二年的成果，主要根據第一年所實驗的成果，將其實做於車 輛之上，考慮感測器及一些配備的擺設問題，並且研究及分析真實情況所會遇到 的問題，進而改進先前已發展的方法。因為一般道路上的外在環境變化非常大， 如下雨、起霧、陽光反射、白天至傍晚的亮度變化及物體陰影等問題。本期研究 將會針對各種環境下作實驗。 行人偵測 行人偵測包含下列兩個步驟：首先偵測出行人可能出現的區域，然後確認是 否真的為行人。而對於偵測行人可能出現的區域，一般的作法是偵測物體運動 （motion）或光學的流動（optical flow）。但這些方法通常只適用於相機的架設 位置是固定式的。 在我們的系統中，我們採用立體視覺的來解決這個問題。我們使用結構化的分類 方法（classification method）解決影像對應（correspondence）的問題。接著對兩 張影像產生一個 disparity histogram，進而求得可能的障礙物（obstacle）位置。 然而在計算結構化分類時，兩張擷取影像的亮度的不同會影響到對應的結果，因 此我們利用 Mahalanobis Distance 來對兩張影像做 normalization，如下所示：
σ µ − = ( ) ) (i I i g (3.1) 其中 I(i)是點 i 的亮度值，µ和σ是灰階影像的平均值和標準差。 在特徵點（feature）的選取上，我們選擇垂直的邊（vertical edge）作為我們的特 徵，所以結構化分類只針對這些垂直邊，而非針對影像上每一點，如此加快系統 的執行速度。而整個偵測可能區域的流程可分為下列幾個步驟。
步驟一：利用適合於兩張影像的垂直邊，產生垂直對應圖（vertical edge map），
步驟二：由於行人所在處，其 disparity 的值會高於一般值，利用 disparity 統計圖， 搜尋 disparity 統計圖的高峰處，可以找出行人可能的位置。 步驟三：根據步驟二所標示出那些的區域，利用 window 搜尋可能的區域。而 window 的大小是根據導出的 disparity 值和行人的比例去估計的，我們 可以計算出這些可能包含行人的區域。 接下來將可能為行人的位置與所收集的影像資料庫作樣板比對，藉此確認是否有 行人的存在，我們採用 M-HD （M-estimation Hausdorff Distance）作為 distance metric。M-HD 定義如下： > ≤ = τ τ τ ρ x x x x , , ) ( A set of points of number the denotes )) , ( ( 1 ) , ( A A a A HD M N B a D N B A h
∑
∈ − = ρ 為降低複雜的背景引起的錯誤偵測，我們取行人的步伐也就是下半身的部分來作 比對，如下圖所示。為了減少樣板比對的次數，我們先利用 Genetic K-Means Algorithm [10]將影像資 料庫作分類。我們只需將輸入影像與各 cluster 的中心作樣板比對即可，若 distance 低於 cluster 的半徑即可確認此為一行人。 車輛偵測 接著我們將探討關於車輛辨識的方法與成果。許多的車輛辨識的研究都根據車輛 的形狀來判斷。在我們的系統當中，我們使用了車輛底部的陰影和車輛的垂直邊 來偵測車輛的位置，而且利用車輛的對稱性來作確認。
車輛的陰影即為車輛的 sign pattern，此概念是由 Mori 在 1994 年所提出 [9]，車 輛陰影的亮度比起一般地面的亮度低，因此我們簡單的利用一個 mask 即可將車 輛陰影擷取出來，如下圖所示。
-1
1 2 1 -2 -1
(a) (b)
接下來為偵測車輛的垂直邊，我們利用 Vertical Edge Mask 計算影像的垂直邊的 gradient，然後統計垂直投影的量，如下圖。 Position u Gradient Projection Value 由上圖可以發現車輛的位置在統計圖上會產生一個 peak，我們只需擷取出 peak 的位置就知道是否有車輛的存在。 車輛搜尋的步驟首先估計車子在影像中的高度，定義出一統計的範圍，然後根據 統計圖搜尋出 peak 的位置來取得車輛的垂直邊。 取得垂直邊後可以利用此垂直邊的寬度來估計可能車輛在影像中的位置，定義出 一搜尋範圍來尋找車輛陰影的位置，如下圖。若此過程成功的搜尋則此區域為一 車輛的 candidate。 Width Searching Range 對稱性是確認車輛的重要性質。在此次計畫中，我們定義一個 window，window 的大小會根據車輛的比例調整。經過灰階測試和水平邊對稱計算，我們可以過濾 掉一些不是車輛的區域。而對稱性的公式定義如下：
W H h w W G h w W G Symmetry level Grey H h W w × + − − =∑∑=1 = 2 / 1 ) , 2 / ( ) , 2 / (
其中，G(x,y) 為點(x,y)的灰階值，H 和 W 表示 window 的高度和寬度。
四、 計畫成果自評 在這次計畫中，我們利用影像立體視覺的技術，針對了道路行駛最可能的障礙 物，行人與車輛的，提出了一套有效的辨識方式。另一方面，我們將系統實際安 裝於車上，經由 DV 及 PC Camera 拍攝道實際道路的影像，進行系統的測試與驗 證。截至目前，我們所設計的系統，皆已符合計畫預定進度。 在我們系統中，對於行人的辨識，我們結合了以行人外觀與樣本比對的技術與方 法，發展出一套新的有效偵測辨識方式，而車輛辨識，目前的技術已經可以適用 於各種不同的天候狀況，甚至於在隧道內也可以正常運作。此外，我們的理論將 會於 9 月初投稿於國際會議及/或期刊上。 五、 參考文獻
http://www.ertico.com/International public/private partnership for Intelligent Transportation System in Europe.
http://www.itsa.org/Intelligent Transportation System America.
http://www.iijnet.or.jp/vertis/Vehicle, Road and Traffic Intelligence Society
I. Masaki, “Machine-vision systems for intelligent transportation systems,” IEEE Intelligent Systems, Vol. 13 6, Nov.-Dec. 1998, pp. 24 -31.
Huang, S.-S. and L.-C. Fu, “Multiple-View Based 3D Partially Occluded Object Recognition and Localization using Geometric Hypothesis,”Department of Computer Science and Information Engineering, National Taiwan University, Master Paper.
Guo, C.-C. and L.-C. Fu, “Object Tracking with Zooming Mechanism,” Department of Computer Science and Information Engineering, National Taiwan University, Master Paper.
Liu, C.-Y. and L.-C. Fu, “Computer Vision Based Movable Obstacle Detection and Recognition for Vehicle Driving,” Department of Computer Science and Information Engineering, National Taiwan University, Master Paper.
Liang Zhao and Chuck Thorpe, “Stereo- and Neural Network-Based Pedestrian Detection,” Intelligent Transportation Systems, IEEE Transactions on , Vol. 1, Sept.
2000, pp. 148 –154.
H. Mori, N. M. Charkari, and T. Matsushita, “On-line vehicle and pedestrian detections based on sign pattern,” Industrial Electronics, IEEE Transactions on, Vol.
41 4, Aug. 1994, pp. 384-391.
K. Krishna and M. N. Murty, “Genetic K-Means Algorithm,” IEEE Transactions on Systems, Man and Cybernetics, Vol. 29, pp. 433-439, June 1999.
