Real‐time Vision‐based Nighttime Driver Assistance System

(1)

應用電腦視覺技術的嵌入式夜間駕駛輔助系統

Real‐time Vision‐based Nighttime Driver

Assistance System

陳彥霖1, *、江川彥2、林敬竣1、林信佑1、陳庚延1 1_{國立台北科技大學資訊工程學系} 2_{亞洲大學資訊工程學系} * Email: [email protected] 摘要本論文之目的在於發展一套嵌入式夜間駕駛輔助系統及其所需之相關技術模組，藉由架設於汽車擋風玻璃後之視訊擷取裝置，即時獲取前方路況以及車輛影像，並且以一系列電腦視覺技術加以分析處理，以提供對於夜間行車輔助所需的車輛偵測、辨識、前方路況分析與判斷、事件偵測與警示等各項技術模組，並整合實現於一套以ARM-Linux 為基礎之嵌入式系統平台上。在系統實現上，首先將各項需求進行模組化，分為：夜間光源物件影像切割模組、光源物件之標定與分類模組、車輛車燈物件辨識與標定模組、車輛空間距離及位置與相對運動分析判定模組，最後將整合各項模組並實現於一套嵌入式系統平台上，實作一套應用電腦視覺技術的嵌入式夜間駕駛輔助系統，這套系統的主要功能與特點有，(1) 利用影像切割與物件分析技術，有效的偵測與追蹤前車與來車。(2) 可適用於具有複雜光源環境的夜間市區道路進行車輛偵測。(3) 軟體系統模組化設計，達到往後擴充功能的便利性與加強功能的擴充性。整合實現於嵌入式系統平台上，達到低成本、高效能的夜間駕駛輔助系統。 關鍵詞 車輛偵測、夜間駕駛、駕駛輔助、電腦視覺、嵌入式軟體 英文摘要：

This paper presents an embedded system for detecting and tracking vehicles in front of a camera-assisted car during nighttime driving. The proposed method identifies vehicles based on detecting and locating vehicle headlights and taillights by using the techniques of image segmentation and pattern analysis. First, to effectively extract bright objects of interest, a fast bright-object segmentation process based on automatic multilevel histogram thresholding is applied on the nighttime road-scene images. This automatic multilevel thresholding approach can provide robustness and adaptability for the detection system to be operated well under various illumination conditions at night. The extracted bright objects are processed by a spatial clustering and tracking procedure by locating and analyzing the spatial and temporal features of vehicle light patterns, and estimating the distance between the detected vehicles and the camera-assisted car. Experimental results demonstrate the feasibility and effectiveness of our developed method for detecting vehicles at night.

Keywords: Vehicle detection, nighttime driving,

driver assistance, autonomous vehicles, Embedded System

(2)

一、研究動機及目的

由於高科技汽車用電子化駕駛輔助系統的發展，許多先進國家研究組織與各大車廠皆積極尋求如何將此類先進的技術，以發展高度整合之系統安裝應用在新一代車輛上，協助汽車駕駛能夠更有效率的感知、解析、紀錄車輛周遭之交通狀況之資訊，以提高行駛的安全性。在國外的車輛偵測輔助駕駛的相關研究中，美國卡內基美濃大學所發展的RALPH 駕駛輔助系統[1][2]，結合了微波雷達與電腦視覺系統，其使用微波雷達偵測車輛前方所有可能阻礙車輛行駛的靜態及動態物體，再使用CCD 視覺系統所獲得之視覺資訊，以樣板比對的方式，先偵測來定義出車輛前方曲率以及車輛橫向偏移量，再驗證分類雷達所偵測得之移動物體為前方車輛或其他靜態障礙物，以輔助價使得之前方路況。義大利的 ARGO 計畫[3]-[8]，使用的是雙鏡頭立體視覺的技術，他們整合了車道偵測以及障礙物偵測技術，其在白天天候狀況理想的情況下良好的運行，其同時並輔以硬體設計作為運算輔助，以增強系統的即時處理能力。而美國柏克萊加州大學的PATH 計畫所發展的自動駕駛車輛[6]-[9]，除了整合車道偵測技術以供自動駕駛車輛控制橫向及縱向操作之外，其所發展之以特徵點為基礎(Feature-based) 的前方車輛與障礙物偵測技術，可以在照明狀態良好且車燈炫光受到抑制的夜間道路環境下，亦能獲得與白天偵測大致接近之效果；然而，在照明狀況較差之道路環境下，車燈（尤其是車頭燈）所發出之炫光，造成影像中構成車輛的像素統計特性完全被打亂的狀況下，該技術即無法正確獲得其假設之具車輛特性的像素點，因而造成無法正確偵測前方車輛障礙物之結果。在這些研究中，大多是對於車輛等道路上之障礙物所具有的特定特徵，藉由在視覺系統所獲得之前方路況影像，從中搜尋具有此類特徵的物體，從中辨識其是否具有車輛之特徵。而針對車輛所展現的各種特徵，如車體在前方視野呈現的型態、對稱性、或其所圍繞的方形區域投影特徵，所設計的各種樣版比對方式[10]-[12]，亦可獲得在針對不同特性下的道路環境之較佳效果。雖然上述研究所應用之車輛視覺特徵，於白天明亮車道環境下進行車輛障礙物偵測相當有效；然而，由於在多數夜間道路的陰暗照明環境下，上述這些在白天相當明顯的車輛特徵大多無法如預期般的呈現，因此上述的相關車輛障礙物偵測方法多無法在夜間車道環境下順利運行。在夜間的陰暗車道環境下，以電腦視覺角度而言，由於照明的不足與視線的受限，車輛的可視特徵，僅有其上發出光源之車頭燈與車尾燈。然而，夜間道路環境裡，非車燈之燈源亦相當的多，如路燈、號誌燈、路面上的反射版等，這些非車輛車燈的光源物件大大的增加了辨識車燈的困難。因此從所擷取的影像序列中的大量環境光源物體中，正確的分辨與標定出車燈物件是相當關鍵的。美國 Gentex 公司所發展的一系列夜間車頭燈控制技術[13]-[15]，這些技術在車前設置了光感應器陣列系統，將夜間行車時，將車輛前方可視區域，加以成像感測並加以量化成為亮度值(Light Level)陣列，繼之以使用數個事先決定之門檻值，將高於一定門檻值之亮度值像素，加以擷取標記，接著再使用另一門檻值，來分辨是否為前方車輛車燈之燈光，亦或為車燈燈光反射炫光，或其他非車燈燈光之環境光源。然而，此類技術多僅能判別前方有來車靠近或同車道行駛之前車，無法更進一步精確的判斷標定各前車與來車之相對位置與車輛數目，以獲得更為明確的前方交通狀況資訊。此外，由於該技術為使用預先設定之固定門檻值，其無法針對不同的夜間照明狀況，適應性的調整門檻值選取，以致當應用於具不同之照明狀況之

(3)

路況環境下，無法保持完全一致之效能。有鑑於此，本論文提出了一套針對夜間行車駕駛輔助(Driver Assistance) 與即時監控的智慧型高速夜間車輛偵測與辨識車輛自動化駕駛 (Autonomous Vehicle)系統。該系統透過一個安裝於車窗擋風玻璃後之 CCD 影像擷取裝置，結合電腦視覺處理技術，以實現夜間車輛偵測、相對位置與距離判定、車輛標定與追蹤，並以此輔助駕駛獲得前方之交通狀況資訊[16]-[19]。這套夜間車輛偵測與辨識系統，透過裝設在擋風玻璃後方的CCD 視訊擷取系統，獲取前方道路環境之即時影像，應用電腦視覺與影像處理處理模組分析、偵測、標定、追蹤、與判別交通狀況。因此，本論文所開發之夜間駕駛輔助系統包含以下之處理模組之開發： ■ 明亮物件影像切割程序。 ■ 光源物件之空間標定與分類聚合與分析。 ■ 車輛車燈物件標定與辨識位。 ■ 車輛空間距離、位置與相對運動分析判定。基於上述之研究項目，發展了一套可自動對於各種不同夜間照明狀況，以適應性統計分析模型，對於視覺系統擷取之影像，施以最佳化的明亮光源物件切割與萃取程序；接下來，將所獲得之二值化明亮物件平面之像素，進行光源物件分類標定處理，這個物件分類標定程序，先使用連通物件分析，以將各個夜間的光源物體之間之關連特性進行進一步的歸類與聚合，將具有同質關連特性之光源物件聚合並標定成各個有意義的群組；接著，則從這些光源物件群組中，使用一個以型態分析方法，判斷其是否具有車輛車燈之特徵，並從中辨識出為來車之車頭燈或為前車之車尾燈，以確實判斷並標定車輛的所在與行進方向。再以一套透視模型(Perspective Model)為基礎的真實空間距離與位置估測技術，獲得在前方路況中所出現各車輛與本身車輛之距離與空間位置，以輔助駕駛正確判斷車輛前方道路之交通狀況。

二、應用電腦視覺技術的嵌入式夜間駕駛

安全輔助系統 (VIDASS System)

本論文所發展之應用電腦視覺技術的嵌入式夜間駕駛安全輔助系統 (Real-time Vision-based Intelligent Driver Assistance and Surveillance System, VIDASS) 對於前方路況與車輛影像的分析處理，主要將透過我們所發展之夜間光源物件影像切割 (Bright ObjectSegmentation, BOS)、光源物件之標定與分類(Spatial Analysis and Clustering of Potential Vehicle-Light Components, SACPV)、車輛車燈物件辨識與標定 (Rule-Based Vehicle Identification and Location, VIL) 、車輛空間距離及位置與相對運動分析判定(Vehicle Related Distance, Position and Motion Analysis, VDPMA)四項子系統進行分析、偵測、標定、追蹤等處理，取得初步道路路況以及車輛移動等資訊，以利駕駛人能夠即時做出正確判斷。這套系統最終將結合車用嵌入式即時視覺系統 (In-vehicle Embedded Vision-based Driver Assistance System, EVDAS)子系統，以完成一個完全獨立運作的低成本高效能嵌入式即時夜間駕駛輔助系統，其主要系統架構圖如圖1 所示。

圖1 、VIDASS 系統架構圖

(4)

組分別為：

一、Bright Object Segmentation (BOS) Subsystem, 夜間光源物件影像切割子系統

二、Spatial Analysis and Clustering of Potential Vehicle-Light Components (SACPV) Subsystem, 光源物件之標定與分類子系統

三、 Rule-Based Vehicle Identification and Location Subsystem(VIL) Subsystem, 車輛車燈物件辨識與標定子系統

四、Vehicle Related Distance Position and Motion Analysis(VDPMA) Subsystem, 車輛空間距離及位置與相對運動分析判定子系統

五、In-vehicle Embedded Vision-based Driver Assistance(EVDAS) Subsystem 車用嵌入式即時視覺子系統

三、VIDASS System 子系統功能

3.1 、 Bright Object Segmentation (BOS) Subsystem, 夜間光源物件影像切割子系統 由於夜間的車輛在影像上的特性，以具有光源之物件特徵最為明顯，車輛一般會擁有成對之頭燈，在夜間的正面道路連續影像拍攝中，這些燈光的移動尤其明顯，因此我們針對此車燈特性加以擷取分析。因此，本子系統(如圖 2 所示)主要目的在於擷取影像後，依照影像進行適應性臨界值分析[20]，找出最佳明亮光源物件，並進行影像之明亮光源切割，並將結果傳送給予SACPV 子系統使用。依功能可細分為兩個模組： 1.適應性臨界值分析模組 將視訊擷取裝置所擷取之影像，以適應性統計分析模型加以分析，找出該影像之最佳明亮光源之臨界值。 2.夜間光源物件切割模組 在找出最佳明亮光源之臨界值，將影像進行明亮光源物件之切割，可清楚了解明亮光源物件之位置並將切割後之影像給予其他子系統使用。圖2 、BOS 子系統架構圖在 BOS 子系統中，我們將應用統計分類判定的概念於影像切割技術上，首先我們將實現適應性臨界值分析模組，這個模組將針對影像中多個物件分離判定準則，並以此快速分析選取多個門檻值，將影像中之所有特性相近之同質物件，應用夜間光源切割模組加以切割，以利於後續對於不同特性之物件之分析。而在夜間的道路影像而言，明亮物件是我們主要切割分析之目標。接下來，我們針對圖 3 之道路實景影像執行光源物件影像切割為例，說明本切割技術之處理過程與結果，可以看出在典型夜間道路的環境下，所會出現的明亮光源物件，包含了車燈、車燈投射於道路上所造成的反光、路燈、霓虹燈等。其像素之統計分析圖如圖 4 所示，經過執行上述之影像切割程序後，獲得三個最佳切割門檻值，以將這些像素分成四個像素群，其中最明亮的像素群，位於統計圖之最右邊者，即為夜間車道環境中發光源物件所組成者。

(5)

圖3 、夜間車道灰階化影像明亮物件區域圖4 、車道實景範例原圖之統計曲線圖圖 5 為使用本自動切割演算法後，偵測出該實景共有四個同質物件，並將之以代表色取代之影像，其中白色者為發光源物件。圖 6 則是後續將繼續處理之二值化明亮物件平面，下一階段之分析處理將針對此明亮物件平面進行分析，以正確的取得車燈物件。圖5 、經自動切割演算法後影像圖6 、二值化後之明亮物件平面

3.2、Spatial Analysis and Clustering of Potential Vehicle-Light Components (SACPV) Subsystem,

光源物件之標定與分類子系統 本子系統(如圖 7 所示)主要目的在於，根據所切割出之明亮物件，進行影像物件的標籤化處理，將相同標籤之光源物件的像素區域進行聚合，歸類為同一物件。在標籤化物件後，進行車燈特徵之比對，將相同之物件進行聚合為同一車燈物件。在功能細分上，將有下列兩個模組： 1.連通物件標定模組 將影像進行快速的連通物件分析標定程序，將構成各個光源物件之像素區域，加以聚合並標示為同一物件，以將各個夜間的明亮光源物體之間之關聯特性進行進一步的歸類與聚合。 2.車燈物件分類與聚合模組 將各個物件進行汽車車燈特徵的比對動作，將具有相同特性之光源物件，進行聚合為同一汽車車燈物件，並傳送給予其他子系統使用。圖7 、SACPV 子系統架構圖

(6)

當路況影像先行經過 BOS 子系統進行光源影像區塊切割處理之後，我們將應用光源物件之標定與分類SACPV 子系統從這些可能光源區塊中，加以標定並分析出可能之汽車車燈光源位置。首先，我們將應用連通物件標定模組[20] 對由BOS 子系統所提供之高亮度區塊二值化影像進行影像物件及標籤化之處理，使用快速的連通物件分析標定程序，將構成各個光源物件的像素區域，加以聚合並標示為同一物件，以將各個夜間的明亮光源物體之間之關連特性進行進一步的歸類與聚合。在標定出每個光源連通區塊之後，車燈物件分類與聚合模組[22][23] 會開始進行汽車車燈特徵比對動作，從所有高亮度影像區塊中，加以篩選並標定出可能汽車光源位置。由於先前明亮物件擷取程序所獲得之光源物件平面中，非車燈物件之光源物體，如路燈、紅綠燈、霓虹燈等，他們通常位於前方視線所及較高之處。為了事先加以濾除這些非車燈之光源物件，以能有效的針對本實驗車前方視野所出現之車輛進行分析處理，我們首先設定了一條「虛擬地平線(Virtual Horizon)」，以及一個由地平線遠方的消失點延伸至本實驗車正前方的「前車偵測區域(Region of Interest of Preceding Vehicles)」,如圖 8 所示。這條虛擬地平線大致與延伸至遠方地平線相合，並經過影像平面的中心點，而在此線以下的光源物件，若位於馬路上者，多確實為構成車體之車燈物件，而其中座落於在前車偵測區域所構成的三角區域裡之車燈物件，則其應為出現於本車前方之前行車輛，而在其右側者，則可能為對向來車，或者另一同向車道之前行車輛。經過這樣初步的區域式歸類，可以大幅的增加系統處理效率與偵測精確度。圖8 、對於可能為車輛車燈之明亮物件的偵測處理區域接下來，為了要判別所偵測之車輛之可能運動方向，需要先辨別所偵測擷取之光源物件是為前方來車之車頭燈，或為同向前車之車尾燈，如此可判定前方車輛的運動方向之資訊。由於相較於車頭燈的較多的顏色變化、大小、與型態，車尾燈則擁有較為明顯之分別特徵，即他們大多是成對的紅色燈光之特性，我們可由此特性來區別判斷之。然而，由於在較近距離的跟車情況下，前車的車尾燈在CCD 擷取的數位影像的顯像上，常呈現"光暈"(Corona-Like) 的現象，這是因為影像中車燈物件的中心部分像素的 R、G、B 色彩強度值(Intensities)，非常接近飽和(接近 255 之最大值)，因此造成僅有在車尾燈物件周圍的像素呈現較為明顯的紅色，其即可作為分別車尾燈的判斷特徵。在取得所有光亮物件的連通分量區塊之特性資訊後，接下來就是使用一個物件聚合程序，將所獲得的成對具有相似特性之明亮物件加以聚合，以從中找出車燈物件。此程序將搜尋所有區塊，利用數個判定法則，對兩兩連通物件區塊判斷，判斷是否具有符合車燈的特性排列，如車燈必定水平對齊排列且大小相仿，若符合，便把二個連通物件區塊歸類為一組。 ■ 二個相鄰明亮物件的水平距離必須在一個合理的範圍內（如圖9 所示）：

(7)

( , ) h i j D C C i C C_j ( , ) h i j D C C i C C_j 圖9 、明亮物件水平聚合條件 ■ 二個相鄰明亮物件的垂直投影重疊比例必須符合以下條件，以此判定二個明亮物件是否具有水平對齊特性（如圖10 所示）： i C C_j ( , ) v i j D C C i C_i C_j C_i C CC_j_j ( , ) v i j D C C 圖10 、明亮物件垂直投影重疊聚合判斷 ■ 二個相鄰明亮物件的高度必須要相仿（如圖 11 所示）： i C C_j ( )i H C H C( )j i Ci C_j Ci C CC_j_j ( )i H C H C( )j 圖11 、明亮物件高度比例聚合判斷 ■ 若是複合車燈，我們則可以用明亮物件的上下疊合特性加以判斷並聚合（如圖12 所示）： i C j C i C j C 圖12 、明亮物件疊合判斷若一對明亮物件符合以上條件，便依序將物件區塊合併成一個區塊構成群組，代表其為一組具有相似特性的光源物件群組。觀察圖13 之聚合結果，可以看到左側的對向來車之車頭燈被歸類為同一群組，而右邊之同車道前車則被聚合成為另一個明亮物件群組。圖13 、車燈物件聚合程序示意圖

3.3 、 Rule-Based Vehicle Identification and Location Subsystem(VIL) Subsystem, 車輛車

燈物件辨識與標定子系統 本子系統(如圖 14 所示)之主要目的在於針對汽車車燈物件進行更進一步之確認，是否完全符合汽車車燈之特徵。完成再次比對後，進行辨識車燈之種類，為車輛頭燈或是後尾燈。在功能上，將細分為下列兩模組： 1.車輛物件辨識模組 將 SACPV 子系統所聚合出之車輛車燈物件，更進一步辨識是否完全符合車輛車燈之特徵，如為車輛車燈之特徵則進行更進一步的種類判別與標定，進行分類。 2.車輛車燈種類判別標定模組 在車輛車燈物件特徵再次確認完成之後，將進行車輛車燈種類的判別與標定，將車輛車燈物件細分為：車輛頭燈以及車輛後尾燈。並將分類後之資料給予其他子系統使用。圖14 、VIL 子系統架構圖

(8)

當我們取得影像中可能車輛光源區塊後，車輛車燈物件辨識與標定 VIL 子系統將透過車輛車燈物件辨別、以及車輛車燈種類判別標定兩模組加以判斷及再次確認該光源區塊是否完全符合汽車車燈之特徵，藉由車燈物件分類與聚合模組所獲得的可能前車車尾燈群組與來車車頭燈群組，從中並辨識出這些群組具備車輛車燈之特性，確實是屬車輛頭燈或後尾燈，並以此區分出每輛偵測車輛之可能運行方向，以供後續車輛空間距離、位置與相對運動分析判定子系統加以分析處理。 ■ 該物件群組外觀應構成長方體形狀，由於車燈是在車子的前方二側，其所構成之車體正面投影形狀應會呈現為一長方形狀態，我們便利用其寬高比，便能夠判斷是否此物件是否具有此特性。

(

_k

) (

_k

)

2.0 W CG H CG ≥ (1) ■ 該群組所構成的可能車燈物件應呈現成對且對稱數量之特性，由於車燈的形體為成對的，因此其構成群組之車燈物件總數則應符合以下法則：

(

)

2 ≤ N_cc CG_k ≤ 4 (2) ■ 綜合以上二個判定法則，對於可能為車輛車燈之物件群組，其構成之可能車燈物件，亦必須呈現合理的對齊特性，即其構成群組之車燈物件總數必須成一合理比例於該群組之形體特徵，因此可使用以下之判定法則：

(

)

( ) ( ) 0.4 2.0 ( ) ( ) k k cc k k k W CG W CG N CG H CG H CG ⎛ ⎞ ⎛ ⎞ ⋅_⎜ _⎟ ≤ ≤ ⋅_⎜ _⎟ ⎝ ⎠ ⎝ ⎠₍₃₎ 經過以上(1)-(3)式的準則加以判定後，可以將一段夜間行車之影像中，可同時將出現在前方所有車輛的車尾燈群組與對向來車之車頭燈群組加以辨別標定出。(如圖 15 所示) Virtual Horizon Virtual Horizon 圖15 、車頭燈與車尾燈的辨識

3.4 、 Vehicle Related Distance Position and Motion Analysis(VDPMA) Subsystem, 車輛空

間距離及位置與相對運動分析判定子系統 本子系統(如圖 16 所示)之主要目的在於將視訊擷取裝置所擷取之影像，進行二維數位影像空間轉換為真實三維空間模式，以此三維空間模式計算與前方車輛之距離以及更進一步推算車輛相對速度等資料。在功能細分上，將可分為下列四個模組： 1.三維空間模型模組 將透過視訊擷取裝置所擷取的影像進行二維空間轉換為三維空間模式，並以此為基礎加以計算在真實場景中所對應之實際數值（如影像中某一像素在真實場景中所表示之距離與位置）。 2.前方車輛距離偵測模組 對於拍攝之路況影像中汽車影像區塊所佔用之像素面積寬度對應於時間的變化，以立體視覺原理轉換為實際場景中之真實車輛寬度，並以此加以推算前車與本車之間的相對距離。 3.車輛橫向距離偵測模組 透過三維空間模型可以及所得之真實車輛寬度，即可進行在畫面中汽車之橫向距離計算。

(9)

4.車輛相對速度偵測模組 經由汽車影像區塊所佔用之像素面積，進行相對的速度偵測計算，可獲得本身車輛與前方偵測目標車輛於車道上之相對速度。圖16 、VDPMA 子系統架構圖待取得影像中完整車輛位置之後，便能進行一系列的車輛真實位置以及位移資訊計算。首先，VDPMA 子系統將應用三維空間模型將視覺系統所擷取的二維數位影像空間轉換為真實三維空間模式，並以此為基礎加以計算在真實場景中所對應之實際數值（如影像中某一像素在真實場景中所代表之距離與位置）。如此，我們即可運用前方車輛相對距離估測模組[22]，對拍攝之路況影像中汽車影像區塊所佔用之像素面積寬度對應於時間的變化，以立體視覺原理轉換為實際場景中之真實車輛寬度，並以此加以推算前車與本車之間的相對距離。接下來，本子系統也將透過車輛水平相對位置估算模組、以及車輛相對速度偵測模組[23]，計算出每部車輛之物理運動特性以及駕駛者所需資訊。對於視覺系統所擷取的各個由車燈物件群組所代表的車輛位置，VDPMA 子系統將根據其大致車體在影像上的 y 座標高度位置，並擬應用一個以透視成像(perspective imaging)模型為基礎的距離估算法則[24]，以獲取估算其對應於虛擬真實世界之座標系之景深距離 Z-Distance，CCD 成像原理之示意如圖 17 所示。其中由CCD 攝影機所拍攝影像對應於虛擬真實世界座標系統的原點，座落於透過鏡頭所成像的中心點位置。而該虛擬真實世界座標系統之X 座標與Y 座標系，平行對應於 CCD 攝影機所擷取成像之影像之 x 與 y-座標系，而景深距離 Z 座標系則垂直於X 座標與 Y 座標系所構成之平面。當道路上的一輛車輛位於離本身車輛前方Z 公尺距離時，其位置亦將對應投射於成像於 CCD 攝影機所拍攝影像之 y-座標系上。因此，我們可以應用一個以透視成像特性為基礎的距離估測模型，以將於t 時間所偵測標定的目標車輛位於影像中 y-座標之位置，轉換運算為該車輛在t 時間距離本車的景深距離 Z-Distance。 Z1 Z2 0 y2 y2 H H H 圖17 、CCD 攝影機立體成像示意圖其中參數 k 為一轉換係數，用於將像素(Pixels) 單位對應於釐米(Millimeters)之轉換，以將 CCD 所獲得之影像平面座標系，轉換對應於CCD 鏡頭上成像之焦距；而參數H 則為 CCD 攝影機裝測位置離地面之高度，參數f 則為 CCD 鏡頭之焦距。而偵測目標車輛的實際車體寬度 W，亦可以經由透視成像原理以上述景深距離 Z-Distance 值加以轉換計算。讓該偵測目標車輛於t 時間出現於影像中之像素寬度表示為w t( )_，則其經由透視成像原理與在該時間之景深距離 ( ) Z t _{之對應關係，可估測獲得該目標車輛之實際} 車體寬度W。目標車輛的影像像素寬度

( )

r

( )

l

( )

w t =x t −x t ，x tl

( )

與x tr

( )

分別為影像中前方偵測目標車輛左側邊緣（左側車燈邊緣）與右側邊緣（右側車燈邊緣）於t 時間所在之像素座標位置。因此，在某時段Δ = −t t1 t0時，本身車輛

(10)

與前方偵測目標車輛之相對運動速度 v 可經由推導運算獲得。因此，欲計算本身車輛與前方目標偵測車輛之間之相對速度v，可經由某一時間點t0偵測得之景深距離Z t

( )

0 ，與前方目標車輛之寬度 w 之變化率w t

( ) ( ) ( )

0 −w t1 w t1 之乘積關係以獲得之。經由透視原理運算，我們亦可以從影像中前方偵測目標車輛左側邊緣與右側邊緣之像素座標位置x tl

( )

與x tr

( )

（如圖18 所示）與景深距離Z t

( )

之對應關係，加以推導運算出其與本身車輛於車道上之實際相對橫向位置(relative lateral positions) X tl

( )

與Xr

( )

t 。圖18 、車體水平位置座標示意圖透過上述，我們可以獲得本身車輛與前方偵測目標車輛於車道上的距離、相對速度、與相對橫向位置等資訊，如此可以輔助駕駛得知本身車輛前方車輛的相對位置與運動資訊，以採取正確的應對操作，以避免夜間行車的意外發生。

3.5、In-vehicle Embedded Vision-based Driver Assistance(EVDAS) Subsystem 車用嵌入式即 時視覺子系統 本子系統(如圖 19 所示)在於，整合各項子系統與模組，以一個Stand-Alone 的嵌入式系統加以整合，能夠更方便的操作且獨立運作在車輛上。主要功能可細分為下列四個主要功能：圖19 、EVDAS 子系統架構圖 1.嵌入式作業系統模組 在嵌入式作業系統模組，移植了 Embedded Linux 於嵌入式系統上，並透過 Embedded Linux 進行整個硬體之控制。 2.週邊硬體驅動裝置模組 週邊硬體驅動包含 Touch Panel 硬體裝置以及嵌入式系統平台之相關硬體裝置驅動。 3.視訊影像擷取模組 透過該模組進行視訊影像擷取以便進行夜間駕駛輔助偵測。 4.圖形化人機介面模組 透過圖形化人機介面以便讓使用者可以快速了解本系統以及操作方式。

四、實驗結果

在系統偵測率實驗中，所使用的測試影像共有7,656 張，一共出現 25 輛車。如表 1 所示，將分析所提出的方法與 Huang et al’s contrast-based 方法[25]比較。

(11)

表1、本論文所提之方法與 Huang et al’s contrast-based 方法比較

Test sequence Our approach Huang et al’s method Test sequence 1 98.66% 80.73% Test sequence 2 97.81% 81.13% Test sequence 3 97.66% 65.79% Test sequence 4 95.17% 61.86% Test sequence 5 96.58% 62.35% 總共影像張數 7,656 總共出現車輛 25 將上述之各項子系統進行整合並實現於一個Stand-Alone 的嵌入式系統平台，首先所實現的嵌入式系統平台為了圖20 所示。嵌入式開發平台規格為： CPU: PXA270 (520 MHz) SDRAM: 64Ｍ Frame Size: 320*240

Processing Frame: 10 frame/sec

當啟動系統時將出現本系統所發展之人機介面圖，如圖21 所示，在介面圖上，左側按鈕分別為啟動系統與暫停系統，供使用者選擇是否需要啟動輔助系統，右側訊息欄分別為車前車與本車的距離以及當與前車過於接近時所提示使用者之警示訊息欄。當使用者按下啟動系統之後，系統將開始擷取影像並進行分析，如圖22 所示為同時抓取車前車與來車之範例。在經分析後，影像中紅色框代表抓取之車前車輛，綠色框代表來車車輛，當抓取到紅色框時候，將計算本車與車前車之距離，並顯示於距離訊息欄。若與本車過於接近將在警示訊息欄顯示警告。圖23 為單一車前車之範例。圖20 、本系統之嵌入式系統平台圖21 、本系統操作介面圖圖22 、本系統實際運作圖(a) 圖23 、本系統實際運作圖(b)

(12)

五、誌謝

本研究由行政院國家科學委員會研究計畫經費所補助，計畫編號為： NSC98-2220-E-027-010。

六、參考文獻

[1] D. Pomerleau, “RALPH: Rapidly adapting lateral position handling,” in Proc. IEEE Intelligent Vehicle Symp., pp. 506–511, 1995.

[2] D. Langer and T. Jochem, “Fusing Radar and Vision for Detecting, Classifying and Avoiding Roadway Obstacles,” in Proc. IEEE Intelligent Vehicle Symp., pp. 333 - 338, 1996.

[3] M. Bertozzi, A. Broggi, and A. Fascioli, “Vision-based intelligent vehicles: State of the art and perspectives,” Robot. Automat. Syst., vol. 32, pp. 1–16, 2000.

[4] Broggi and S. Bert, “Vision-based road detection in automotive systems: A real-time expectation-driven approach,” J. Artif. Intell. Res., vol. 3, pp. 325–348, 1995.

[5] Broggi, M. Bertozzi, A. Fascioli, and G. Conte, Automatic Vehicle Guidance: The Experience of the ARGO Autonomous Vehicle. Singapore: World Scientific, 1999.

[6] C. J. Taylor, J. Malik, and J. Weber , "A Real-Time Approach to Stereopsis and Lane-Finding", in Proc. 1996 IEEE Intelligent Vehicles Symposium, pp. 207–213, 1996.

[7] P. McLauchlan, and J. Malik , "Vision for longitudinal vehicle control", in Proc. 1997 IEEE Intelligent Transportation Systems, pp. 918-923, 1997.

[8] Broggi, M. Bertozzi, A. Fascioli, C.G.L. Bianco, A. Piazzi, “Visual perception of obstacles and vehicles for platooning”, IEEE Trans. Intell. Transport. Syst., vol. 1, pp. 164-176, 2000.

[9] J. Malik, C. J. Taylor, P. McLauchlan, and J. Kosecka, " Development of Binocular Stereopsis for Vehicle Lateral Control, Longitudinal Control and Obstacle Detection", PATH MOU-257 Final Report, Univ. of Cal at Berkeley, Sep. 1997.

[10] S. Nedevschi, R. Danescu, D. Frentiu, T. Marita, F. Oniga, C. Pocol, R. Schmidt, T. Graf, “High accuracy stereo vision for far distance obstacle detection”, in Proc. IEEE Intell. Vehicle Symp., pp. 292-297, 2004. [11] U. Franke, and S. Heinrich, “A study on recognition of

road lane and movement of vehicles using vision system”, in Proc. SICE Annual Conference, Japan, pp. 38-41, 2001.

[12] M. Betke, E. Haritaoglu, and L. S. Davis, “Real-time multiple vehicle detection and tracking from a moving vehicle”, Mach. Vision Appl., vol. 12, pp. 69-83, 2000.

[13] J. S. Stam, J. H. Bechtel, and J. K. Roberts, “Control system to automatically dim vehicle head lamps”, U.S. Patent No. 5,837,994, 1998.

[14] J. S. Stam, "Headlamp control to prevent glare", U.S. Patent No. 6,861,809, 2005.

[15] J. S. Stam, M. W. Pierce, H. C. Ockerse, "Image processing system to control vehicle headlamps or other vehicle equipment", U.S. Patent No. 6,868,322, 2005.

[16] Masaki (Ed.), “Vision-based Vehicle Guidance”, New York: Springer-Verlag, 1992.

[17] M. Maurer, R. Behringer, S. Furst, F. Thomarek, and E.D. Dickmanns, “A compact vision system for road vehicle guidance”, in Proc. 13th Int’l Conf. Pattern Recognition, vol. 3, pp. 313-317, 1996.

[18] M. Bertozzi and A. Broggi, “Vision-based vehicle guidance”, IEEE Comput., vol. 30, pp. 49-55, 1997. [19] Broggi, M. Bertozzi, A. Fascioli, G. Conte, “Automatic

Vehicle Guidance: The Experience of the ARGO Autonomous Vehicle”, Singapore: World Scientific, 1999.

[20] B.-F. Wu, Y.-L. Chen, and C.-C. Chiu, “A discriminant analysis based recursive automatic thresholding approach for image segmentation,” IEICE Trans. Info. Systems, vol. E88-D, no.7, pp.1716-1723, 2005.

[21] K. Suzuki, I. Horiba, and N. Sugie, “Linear-time connected-component labeling based on sequential local operations”, Computer Vision & Image Understand., vol. 89, pp. 1-23, 2003.

[22] Y.-L. Chen, Y.-H. Chen, C.-J. Chen, and B.-F. Wu, “Nighttime Vehicle Detection for Driver Assistance and Autonomous Vehicles”, in Proc. of 18th IAPR Int’l Conf. on Pattern Recognit. (ICPR 2006), Hong Kung, 2006.

[23] Y.-L. Chen, B.-F. Wu, C.-T. Lin, C.-J. Fan, and C.-M. Hsieh, “Real-time Vision-based Vehicle Detection and Tracking on a Moving Vehicle for Nighttime Driver Assistance”, accepted and to appear in International Journal of Robotics and Automation, Vol. 24, No. 2, pp. 89 - 102, 2009.

[24] G. P. Stein, O. Mano and A. Shashua, “Vision-based ACC with a single camera: bounds on range and range rate accuracy”, in Proc. IEEE Intell. Vehicle Symp., pp. 120-125, 2003.

[25] K. Huang, L. Wang, T. Tan, and S. Maybank, “A real-time object detecting and tracking system for outdoor night surveillance”, Pattern Recognit., vol. 41, pp.432-444, 2008.