以智慧型視覺為基礎之快速公路車輛防擦撞資訊警示系統

國 立 交 通 大 學

電機與控制工程學系

碩 士 論 文

以智慧型視覺為基礎之快速公路車輛防擦撞

資訊警示系統

Intelligent Vision Based Vehicle Side Collision

Warning System on Highway

研 究 生：梅庭瑋

指導教授：林進燈 博士

以智慧型視覺為基礎之快速公路車輛防擦撞資訊警示系統

INTELLIGENT VISION BASED VEHICLE SIDE

COLLISION WARNING SYSTEM ON HIGHWAY

研 究 生：梅庭瑋 Student：

Ting-Wei Mei

指導教授：林進燈 博士

Advisor：Dr. Chin-Teng Lin

國立交通大學

電機與控制工程學系

碩士論文

A Thesis

Submitted to Department of Electrical and Control Engineering

College of Engineering and Computer Science

National Chiao Tung University

in Partial Fulfillment of the Requirements

for the Degree of Master

in

Electrical and Control Engineering

July 2006

Hsinchu, Taiwan, Republic of China

以智慧型視覺為基礎之快速公路車輛防擦撞

資訊警示系統

學生：梅庭瑋

指導教授：林進燈 博士

國立交通大學電機與控制工程研究所

Chinese Abstract

中文摘要

近年來，由於車輛數目的快速成長而帶來愈來愈嚴重的交通問題，因此，世 界各地皆投入了龐大的人力及物力在智慧型運輸系統( ITS )的研究上；而智慧型 運輸系統最主要的研究目的就是為了發展更先進的科技來改善及提昇交通運輸 系統的安全和效率。 智慧型運輸系統所涵蓋的範圍很廣泛，而先進車輛的控制和安全系統 ( AVCSS )是其中非常重要的一個環節；先進車輛控制和安全系統發展的主要目 的，就是在避免駕駛者避免於駕駛時分心而導致車禍的發生。為了達到這個目 的，車輛本身就必須具備智慧型感測的能力，因此，在先進車輛控制和安全系統 的研究中，研究人員通常利用了各種的感測器來實現感測的功能。 通常駕駛者要變換車道時，常利用的是以車側後視鏡中的影像資訊做為判斷 的依據，但由於駕駛者自身的疏忽和車側視覺死角區域的存在，側撞及擦撞是最 容易發生的車禍類型之一，為了要避免這類型的意外發生，我們便想要發展出一 套能自動偵測車側視覺死角區域是否有車輛存在的系統；在此系統中，我們利用 攝影機做為偵測用的感測器，首先，會利用攝影機中的資訊去尋找路面邊線的特 徵，以此定義出車側視覺死角的偵測範圍，之後便是對偵測範圍判斷是否有其它 車輛存在的可能性和可能的位置，找出位置後，便利用演算法判斷出車輛與雜訊 ( 如：影子、道路間隙…等 )，若系統偵測出有其它車輛的存在，系統便會發出 警示以提示駕駛者注意車側視覺死角區域。

INTELLIGENT VISION BASED VEHICLE SIDE

COLLISION WARNING SYSTEM ON

HIGHWAY

Student: Ting-Wei Mei

Advisor: Dr. Chin-Teng Lin

Department of Electrical and Control Engineering

National Chiao Tung University

English Abstract

Abstract

In recent years, Intelligent Transportation System ( ITS ) has been researched all over the world. Because of the high growth of popularization of vehicles, ITS has become an important scope research and industrial development in order to apply advanced technologies to improve the efficiency and safety of the transportation system.

ITS consists of a lot of sections, and AVCSS (Advanced Vehicle Control and Safety System) is a part of these sections. The purpose of this system is to assist to prevent the traffic accidents resulted from the negligence of drivers. In order to achieve this goal, researchers make use many kinds of sensors.

Rearview mirror is usually used to assist the driver to determine if it is safe for lane-change maneuvers. But side collision accident might still happen because of the existence of the blind spot and the negligence of the driver. In order to prevent the occurrence of side collision accident resulted from the above situation, we develop a algorithm to detect objects at a moving vehicle. In our system, we use the camera as the sensor to detect if there is any other vehicle in the blind spot. At first, we make use of the feature of road to define the region of interesting (ROI ). Then, we find the area where other vehicles may exist in ROI. Furthermore, our algorithm will judge that the object is a vehicle or a noise (such as: shadow, gap, etc). Finally, if our system detects other vehicles in the ROI, the system will give some alarm to warn the driver that lane-changing is not allowed.

致 謝

本論文的完成，首先要感謝指導教授林進燈博士這兩年來的悉心指 導，讓我學習到許多寶貴的知識，在學業及研究方法上也受益良多。另外 也要感謝口試委員們的的建議與指教，使得本論文更為完整。 其次，感謝資訊媒體實驗室的學長蒲鶴章博士的指導，學姊Linda、同 學有德、家昇、弘義、力碩及宗哲的相互砥礪；及所有學長、同學和學弟 們在研究過程及生活上所給予的協助及鼓勵。 感謝我母親對我的教育及栽培，並給予我精神和物質上的一切支援， 讓我能安心地致力於學業。 謹以本論文獻給我的家人及所有關心我的師長與朋友們。

Chinese Acknowledgements

目錄

中文摘要 ...ii 英文摘要 ... iii 中文誌謝 ...iv 目錄...v 表目錄 ...vii 圖目錄 ... viii 1 第一章 緒論 ...1 1.1 研究動機...1 1.2 研究目的...3 1.3 論文架構...4 2 第二章 相關研究 ...5 2.1 道路線偵測...6 2.2 車輛偵測...6 3 第三章 車側視覺死角定義 ...8 3.1 車側視覺死角所造成的問題...8 3.2 造成車側視覺死角的原因...9 3.2.1 人類視覺的限制...9 3.2.2 車側後照鏡的限制...10 3.3 系統中車側視覺死角的定義...12 3.3.1 道路線偵測及追蹤模組流程...13 3.3.2 彩色空間轉換...14 3.3.3 中位數濾波器...15 3.3.4 天候狀態決定...15 3.3.5 道路線參考點...21 3.3.6 Hough Transform...24 3.3.7 道路線追蹤...25 4 第四章 車側視覺死角中的車輛偵測 ...26 4.1 車輛偵測模組流程...26 4.2 影像前處理...27

4.3 分離出偵測區域中的物體...31

4.3.1 Lane Based Transform ...31

4.3.2 修補斷邊...33 4.3.3 Connected Component...33 4.3.4 尺寸濾波器與障礙物列表...34 4.4 確認物體...35 4.4.1 物體的寬度確認...36 4.4.2 物體的定位...36 4.4.3 物體的高度確認...38 4.4.4 物體的存在時間確認...38 4.5 追蹤偵測區域中的物體存在性...39 5 第五章 實驗結果 ...40 5.1 實驗設備及設計...40 5.2 道路線偵測及追蹤之結果...41 　 道路線偵測結果...41 　 道路線追蹤結果...43 5.3 車輛偵測及追蹤的結果...46 　 車輛偵測的結果...46 　 車輛追蹤的結果...49 5.4 系統的處理時間...54 6 第六章 結論與未來展望 ...55 6.1 結論...55 6.2 未來展望...56 參考文獻 ...57

表目錄

Table 1.1 : 過去四年內，台灣的車禍數目及傷亡人數...1 Table 1.2 : 在台灣車禍發生最主要的 5 個原因 2004(1 月 ~ 6 月)...1 Table 1.3 : 國道公路事故類型分析(車對車)...2 Table 2.1 : 不同的障礙物偵測方法的比較...6 Table 3.1 : 視野與環境速度變化的關係表...9 Table 3.2 : 自車側後視鏡中可見的視野...11

圖目錄

圖. 2-1 : 系統架構 ...5 圖. 3-1 : 可視區域和視覺死角區域示意圖 ...8 圖. 3-2 : 駕駛者視野示意圖 ...10 圖. 3-3 : 車側後照鏡成像原理示意圖 ...10 圖. 3-4 : 駕駛者視野及後照鏡成像視野的關係圖 ...11 圖. 3-5 : 系統偵測區域 ROI 示意圖 ...12 圖. 3-6 : 道路線偵測及追蹤模組流程圖 ...13 圖. 3-7 : RGB 轉至 YCbCr 的結果 ...14 圖. 3-8 : 直方圖等化法的結果 ...16 圖. 3-9 : 夜間車側影像灰階分佈示意圖 ...17 圖. 3-10 : 調整部分灰階的直方圖等化法結果 ...18 圖. 3-11 : 1-D 的平均數為０標準差為１的 Gaussian 分佈函數 ...19 圖. 3-12 : 標準差增加對於 Gaussian 分佈函數的影響 ...19

圖. 3-13 : Standard Deviation 為１的 2-D Gaussian 函數 ...20

圖. 3-14 : Standard Deviation 為１的 Gaussian Filter 遮罩...20

圖. 3-15 : 未經過 Gaussian 濾波和經過 Gaussian 濾波後的結果比較...21 圖. 3-16 : 針對-45°方向的 Sobel 遮罩 ...22 圖. 3-17 : 以不同的 Sobel 遮罩搜尋道路邊線 ...22 圖. 3-18 : 找尋偵測道路線的參考點的過程 ...23 圖. 3-19 : X-Y 座標與 r-θ 參數關係圖 ...24 圖. 4-1 : 車輛偵測模組流程圖 ...26 圖. 4-2 : 前處理流程圖 ...27

圖. 4-3 : 各種測邊的遮罩 (a)Roberts mask (b)Prewitt mask (c)Sobel mask ...29

圖. 4-4 : 檢測斜邊的 Sobel 遮罩...30

圖. 4-5 : 利用 Sobel 遮罩找出來的邊緣資訊...30

圖. 4-6 : 分離物體流程圖 ...31

圖. 4-7 : Lane Based Transform 示意圖...32

圖. 4-8 : 經過 Lane Based Transform 後的類俯視圖...32

圖. 4-9 : 8-連通 Connected Component 範例...34

圖. 4-10 : 經過 Connected Component 和 Size Filter 的結果...35

圖. 4-11 : 物體確認流程圖 ...35

圖. 4-12 : 標記物寬度示意圖 ...36

圖. 4-13 : 尋找標記物在類俯視圖中的座標示意圖 ...37

圖. 4-14 : 尋找標記物在類俯視圖中的座標示意圖(Passing Car) ...37

圖. 5-1 : 實驗設計 ...40 圖. 5-2 : 晴天道路線偵測結果 ...41 圖. 5-3 : 陰天道路線偵測結果 ...42 圖. 5-4 : 雨天道路線偵測結果 ...42 圖. 5-5 : 夜間道路線偵測結果 ...42 圖. 5-6 : 在光源過亮時道路線偵測結果 ...43 圖. 5-7 : 道路線偵測在日常狀態下的結果 ...44 圖. 5-8 : 道路線偵測在夜間狀態下的結果 ...45 圖. 5-9 : 道路線偵測在雨天狀態下的結果 ...45 圖. 5-10 : 在較遠處被偵測到的物體 ...46 圖. 5-11 : 在中程處被偵測到的物體 ...46 圖. 5-12 : 在近處被偵測到的物體 ...47 圖. 5-13 : 夜間時，在近處被偵測到的物體 ...47 圖. 5-14 : 雨天時，在近處被偵測到的物體 ...48 圖. 5-15 : 白天時，追蹤後方來車進入至離開 ROI 的結果 ...49 圖. 5-16 : 白天時，追蹤前方來車進入至離開 ROI 的結果 ...50 圖. 5-17 : 白天時，安全島的影響 ...50 圖. 5-18 : 道路間隙或建築物陰影的影響 ...51 圖. 5-19 : 路面文字或道路線的影響 ...52 圖. 5-20 : 夜間，車輛追蹤的結果 ...52 圖. 5-21 : 夜間，車輛行駛在內側車道的結果 ...53 圖. 5-22 : 雨天中，車輛追蹤的結果 ...53

1

第一章

緒論

1.1 研究動機

近年來隨著車輛的增加，交通問題是變得日趨嚴重。根據美國國家交通安全 管理局的統計資料 [1]顯示，在美國，每年的車禍就造成了超過 4 萬人死亡、3 百萬人受傷及一千三百億美金的損失；在台灣，根據交通部的資料 [2]也指出 了，在過去的四年之內，每年至少有八萬多件的車禍發生，並且仍有逐年增加的 趨勢，而且每一年中，更有超過2500 人在車禍中喪生；可參照 Table 1.1。而其 中，車禍發生的主要理由更可自Table 1.1 觀察得之。 Table 1.1 : 過去四年內，台灣的車禍數目及傷亡人數

Year

2002 2003 2004 2005

(Jan.~June) 總車禍件數

_{86,529 120,223 137,221 72,665}

總傷亡人數

_{2725 2572 2502 1395}

Table 1.2 : 在台灣車禍發生最主要的 5 個原因 2004(1 月 ~ 6 月) 理由 駕駛者的 疏忽 酒後駕車 超速 未依規定 行車 未保持安 全間距 件數

_{253 226 136 117 107}

百分比

_{18.1 %}

_{16.2 %}

_{9.7 %}

_{8.4 %}

_{7.7 %}

根據上表所顯示的資訊，我們可以明顯地發現大部分車禍發生的原因，主要 是由於駕駛者本身的分神、不注意車況所造成的後果。因此，為了能夠儘量避免 像這種由於駕駛者本身的疏忽所造成車禍的發生，能使行車更加安全的智慧型車 輛發展，就變成一項十分迫切及重要的研究。

先 進 安 全 車 輛 控 制 和 安 全 系 統(AVCSS) 是 屬 於 智 慧 型 運 輸 系 統 ITS (Intelligent Transportation System)中的一個部分，由國道高速公路局 [3]的相關資

料可知，關於 ASV 的相關研究的主要目的是利用先進科技於車輛及道路設施 上，協助駕駛對車輛之控制，以減少事故及增進行車安全。主要包括防撞警示及 控制、駕駛輔助、自動橫向/縱向控制，遠期如自動駕駛、自動公路系統等。對 於ASV 而言，為了能夠達到車輛能夠自動偵測危險的這個目的，因此將感測技 術加以應用在車輛上的系統是不可或缺的；一般而言，感測器可依其感測的方法 分為主動式的感測器，以及被動式的感測器，而主動式的感測器，如：雷達，通 常來說最主要的問題就是在於要是感測器接收到複數以上的反射和本身解析度 不夠高的關係，因此很容易出現許多錯誤的警示。 雖然，LRF ( Laser Range Finders )具有較高的解析度，並且可以在濃霧、大雨…等許多不良的環境當中依 舊能正常且有效率地執行感測的動作，但就成本的考量上而言，LRF 的價格實在 是太過於昂貴以致於不能夠拿來當作實際上的應用。而像 CCD 或是 CMOS Sensor 這類是屬於被動式的感測器，就實際在車輛系統上的應用而言，是比主動 式的感測器要具有經濟效益，並且由於人類在獲取外界資訊時大多數是藉由視覺 系統獲得，因此利用CCD 和 CMOS Sensor 對於人類而言，也意味著可以獲取到 較多的資訊。 Table 1.3 : 國道公路事故類型分析(車對車)

Year

對撞 對向

擦撞

同向

擦撞

追撞 倒車

撞

路口

交撞

側撞 其他

2001 1.6% 1.3% 28.6% 59.7%

-

- 2.9% 6%

2002 1.7% 0.2% 28% 62.4% 0.4%

0.4%

3% 3.7%

2003 2.3% 0.8% 27.8% 60.7% 0.5%

0.6%

3.7% 3.6%

再更進一步分析交通事故的特性之後，我們可以發現在目前的交通事故中以 車輛肇事占了大部份的比率，根據表Table 1.3，我們可以知道以發生在國道高速 公路上的交通事故而言，在車與車的事故 [4]中側撞和擦撞皆為車禍主要的原因 之一，而有相當多方面的研究是關於追撞預防系統方面的研究，但很少有研究是 針對擦撞預防系統的研究。並且，駕駛者在切換車道時，雖然可利用車側後視鏡 來獲取自力車輛側後方的資訊，但由於車側視覺死角區域的存在，而造成駕駛者 並無法獲得足夠的資訊來做安全正確的決定，Bowles [5]曾提出必需能讓駕駛者 在車輛側後方延伸 45°以上的視角才能克服視覺死角所造成的問題；而 Recarte 和 Nunes [6]也說明了當駕駛者集中注意力在駕駛車輛行進時，駕駛者本身的視 野會縮小，因此，造成了視覺死角區域的增加，由於以上兩點原因，駕駛者為了 能獲取足夠的車側後方的資訊，通常需要藉由轉頭去確認車側後方的視覺死角區 域，這不但造成了駕駛者無法集中注意力在車前的狀況因而導致其它類型的車禍 的發生，如：追撞…等等，也造成了駕駛者在心理上的負擔；基於以上種種的理

由，因此，我們想要發展出一套能夠自動偵測車側視覺死角區域是否有來車的系 統，並且以此來做為輔助駕駛者安全的切換車道。 在本研究中，我們利用裝置在車輛上的CCD Camera 做為我們偵測來車的感 測器；我們的系統主要包含著兩個模組，第一個模組是用來偵測並確認隔壁車道 的範圍，以作為第二個模組中的偵測範圍；而系統的第二個模組，則是在用在偵 測由第一個模組所定義出的車側後方的視覺死角範圍當中是否有其它車輛的存 在。

1.2 研究目的

總結前言，我們可以發現車禍肇事的原因大多數起因皆是由於駕駛者的分 心所致；而再進一步地分門別類後更可以發現到車禍肇事的種類又以側撞及擦 撞占了最大的比例；而導致側撞或擦撞發生的主要原因通常是由於車側後方的 視覺死角區域所致，駕駛者可能為了確認車側後方是否有其它來車因而分神無 法去注意車前的行車狀況，而導致了其它類型的車禍意外事故的發生。 對於要如何解決車側視覺死角的研究，有的方法是利用曲率面鏡來取代一 般在傳統上車側後視鏡所使用的平面鏡，此方法雖然可以達到更大的視角範 圍，但若是所使用的面鏡曲率愈大可視的視野愈大的同時，確也造成了影像變 形也隨之愈嚴重的問題；也有的研究是利用雷達之類的主動式感測器，但卻會 有對於複數以上的物體的反射，而有解析度不夠高的問題，於是我們是利用 CCD Camera 取代一般雷達作為感測裝置以發展車側視覺死角警示系統，以影 像處理、電腦視覺的技術為基楚來發展出防側撞的警示系統；能讓駕駛者在切 換車道時，能透過車側視覺死角警示系統的輔助，以達到更安全行車的目的， 並且能夠大幅減少側撞意外事故的發生。以改善車側視覺死角所造成及衍生出 來的問題。 而在系統效能方面，由於是以電腦視覺為基礎的原故，為了能達到真正實 用上的目的，因此，我們希望即使是在沒有充足光源的夜晚、視線不清的大雨 天或是其它天候不佳的情形當中，我們的系統依舊能正常的運行。

1.3 論文架構

本篇論文總共分為六個章節。第一章是本文的緒論，主要在闡述研究的動 機、背景以及目的。第二章則是在介紹相關研究及研究的系統架構。第三章是在 討論造成車側視覺死角的原由和如何去定義出我們所要偵測的車側視覺死角區 域。第四章是利用我們在第三章的方法定義出所要偵測的視覺死角區域之後，要 怎樣利用影像去找出在此區域中的其它車輛的方法。第五章是目前實際的實驗結 果和討論；而最後一章，第六章則是本研究的結論和未來的展望。

2

第二章

相關研究

關於電腦視覺在智慧型運輸系統( ITS )的應用研究上，大多集中在車前或車 後的影像上；Bertozzi 和 Broggi [7]所提出的 GOLD (Generic Obstacle and Lane Detection) 系統就利用了連續影像的資訊透過硬體及軟體的架構來實現車前道 路線和幾何障礙物偵測，而 M. Beauvais 和 S. Lakshmanan [8]的 CLARK (Combined Likelihood Adding Radar Knowledge) 則利用了影像結合雷達資訊的 技術來尋找車道線和車前障礙物；W. Enkelmann [9]則提出了以影像為基礎的駕 駛者輔助系統。除了以上提到的相關研究之外，由M. Bertozzi、A. Broggi、M. Cellario、A. Fascioli、P. Lombardi 和 M. Porta 所搜集的資料 [10]搜集出許多車用 電腦視覺方面的研究及遭遇的問題。 在我們的系統中，如圖. 2-1 主要包含了兩個主要的模組：1. 道路線偵測模 組，2. 車輛偵測模組；道路線偵測模組的主要用義是在於利用道路線偵測找出 隔壁車道的區域範圍，作為我們車側視覺死角區域的偵測範圍；而車輛偵測模組 是系統的主要部分，主要用途是在於偵測車側後方的視覺死角區域當中，是否有 來車的存在。 圖. 2-1 : 系統架構

2.1 道路線偵測

在道路線的偵測方面的研究，在 GOLD [7]系統中，系統利用 Camera Calibration 投影出路面的類俯視圖後，再自此平面上找出路面標線的位置，並利 用路面的對比度及寬度去找出道路線。Y. U. Yim 和 S. Y. Oh [11]利用道路線的開 始點、方向及飽和度這三個特徵並給定的初始道路線向量後，再經過 Hough Transform 來找出最有可能的道路線，而 Y. Wang、 E. K. Teoh 和 D. Shen [12]利 用B-Snake 的方法去建構一個道路線模型來偵測及追蹤道路線，此方法的優點在 於並不需要Camera 的相關資訊去作 Camera Calibration；但缺點在於偵測的速度 太慢，因此需利用B-Snake 的方法來作道路線的追蹤。Q. Li、N. Zheng 和 H. Cheng 的Springrobot [13]系統中以 Adaptive Randomized Hough Transform 為基礎來偵測 車道線並改善Hough Transform 速度太慢的缺點。 在車側後方的道路線偵測，我們的系統中暫不考慮彎道的情形，這是由於我 們的系統中所需定義出的是一個矩形的範圍以作為在下一個模組中 Lane-based Transform 中的必要資訊，和上述的自動車系統中的道路線偵測的目的並不相同。

2.2 車輛偵測

而在以電腦視覺應用在障礙物偵測方面，大部份的應用研究皆是以車前和車 後的車輛偵測為主。在資料 [10]中有提到，一般說來障礙物偵測可以分為三種： 1. 利用單張影像分析、2. 利用光流法偵測、3. 利用連續影像來偵測。其主要的 比較如表Table 1.1。 Table 2.1 : 不同的障礙物偵測方法的比較 方法 特點 結論 單張影像 分析 1. 演算簡單 2. 處理速度快 3. 不需考慮車輛的移動 1. 喪失對場景的深度資訊 2. 當物體不符合障礙物模型時，就無 法成功偵測障礙物 光流偵測 1. 偵測為針對幾何物體 2. 考量到自身的移動和偵測 物體的相對移動 1. 計算複雜 2. 對 Camera Calibration 的結果敏感 3. 在 障 礙 物 和 車 輛 本 身 皆 在 低 速 時，就無法成功偵測障礙物 連續影像 1. 偵測為針對幾何物體 2. 3-D 影像的重建 1. 計算複雜 2. 對 Camera Calibration 的結果敏感

在車前或車後方的障礙物偵測的研究方面，A. Giachrtti、M. Camppani,和 V. Torre [14]利用車前連續影像的光流偵測來偵測出車前的障礙物；M. Betke、E. Haritaoglu 和 L. S. Davis [15]利用影像相減找出邊緣資訊後，利用車輛的對稱性 等特徵來偵測車前車輛；Z. Sun、G.. Bebis 和 R. Miller [16]利用 Gabor Filter 來改 善車輛偵測時，背景陰影所造成的問題。Marinus B. van Leeuwen 和 Frans C.A. Groen [17]以路面陰影和連續影像的「熵」來偵測影像中可能為車輛的位置，再 以車輛特徵去確認偵測到的物體是否為車輛，以此來偵測不同距離的車輛；P. H. Batavia、D.A. Pomerleau 和 C. E. Thorpe [18]則是利用連續影像的光流偵測法來偵 測車後方的來車。

在車側後方視覺死角區域影像的應用研究上，A. Techmer [19]、[20]、[21] 利用Lane-based Transform 將偵測區域投影至類俯視圖上，利用輪廓的移動來區 別車輛障礙物和陰影或是其它雜訊的不同；而M. Krips、J. Velten、A. Kummert 和A. Teuner [22]在利用路面陰影和連續影像的熵來偵測出來自車輛側後方的遠 方來車後，以adaptive template matching ( AdTM) 的方法來追蹤來車以適應車輛 在不同的距離下的不同樣版；另外，M. Rüder、W. Enkelmann 和 R. Garnitz [9]、 [23]則是結合雷達及影像的資訊來做為偵測車側後方的障礙物的系統。

3

第三章

車側視覺死角定義

在這一章中，我們將會探討所謂的行車時駕駛者的車側視覺死角 ( Blind Spots ) 會導致什麼樣的問題或情況發生？所要說明的是是什麼樣的原因，造成 了駕駛者的車側視覺死角的產生。而在本章的最後一小節，我們將會介紹在我們 的系統之中，我們是如何去定義及畫定出我們系統中駕駛者的車側視覺死角的區 域範圍。

3.1 車側視覺死角所造成的問題

當駕駛者在行車時想要切換車道的時候，通常是利用車側的後照鏡來判斷車 側的區域是否有其它的車輛的存在；然而由於種種的原因而造成了車側視覺死角 區域的存在，由於車側視覺死角的關係及限制，駕駛者通常並不能夠自車側後照 鏡當中獲得足夠的正確資訊來做正確安全的決定，因此，大部分的車禍就是因為 這樣的原因而發生。根據交通部道安委員會的資料 [24]，如圖. 3-1，顯示了一般 而言，車側視覺死角的區域，及車側後照鏡所能反射出的區域。 圖. 3-1 : 可視區域和視覺死角區域示意圖

根據上圖所顯示的資訊，我們可以瞭解到駕駛者為何無法藉由車側的後照 鏡來正確判斷當時是否真的有其餘的車輛在自身隔壁的車道行駛，如果駕駛者在 不確定車旁是否有其它的來車就想要切換車道的話，可能會導致有車禍之類的危 險情況發生；因此，駕駛者為了能看清並確認車側是否真的有其它的來車，所以 駕駛者必須轉頭調整自己的視野去確認所要切換的車道的情況，這對於駕駛者來 說，此時就無法集中注意力在前方的車況，並且也很容易造成並增加駕駛者心理 上的負擔。

3.2 造成車側視覺死角的原因

一般而言，造成駕駛者車側視覺死角的存在的理由有兩個，第一個是由於人 類本身視覺的特性及視野的限制；而第二個理由，就是由於車輛在設計時，駕駛 者和車側後照鏡的距離及車側後照鏡本身的成像原理所造成的結果。在本節，我 們將探討造成駕駛者的車側視覺死角產生的這個理由，及一般而言為了克服及解 決這樣的問題，所採取的對策及方法。

3.2.1 人類視覺的限制

人在處在動態的環境中時和處在一個較靜態的情況下時，視野的大小會隨著 所在環境中速度的變化而會有著極大的差異；一般而言，當人處在一個較靜態的 場景當中時，人的單眼視覺大約在 160°左右的視野大小，而雙眼視覺最大可以 達到180°左右的視野大小；Flannagan [25]提出一般正常人的視野大小約在 180° 上下，若在加上身體和頭部的轉動的話，人類的視野甚至可以達到 320°的視野 大小，由資料 [26]可知，正常人的雙眼視覺在靜止的狀態下只有 70°是能真正看 清楚的視野。然而，若是人今天是處在一個動態的環境底下，例如是身在一輛行 進中的車輛之中，此時，人的視野會由於視覺上隧道效應的關係，而會產生很大 的變化。在表 Table 3.1 之中，所顯示出的就是人處在動態的環境下，速度和視 野大小之間的關係及變化。而在圖. 3-2 中，我們所要表示的就是人在動態的環境 下和在靜態的環境底下，視野大小的差異及變化。 Table 3.1 : 視野與環境速度變化的關係表

Speed (km / hr)

40 km / hr

70 km / hr

100 km / hr

Field of View

( degrees)

100° 65° 40°

由圖. 3-2 所顯示的資訊，我們可以知道當車輛在高速行進時，駕駛者的視野 是非常狹窄的，因此，當駕駛者開車在高速公路上以時速 100km/hr 上下的速度 行駛時，如果這時駕駛者單靠視線的餘光來判斷隔壁車道是否有其它的車輛就以 此作為切換車道線的依據，此時就很容易造成危險的情況發生。 1006540 Field of view in motionless state 100.0° 65.0° 40.0°

The field of view in

the speed of 100 km/hr The field of view in the speed of 70 km/hr

The field of view in the speed of 40 km/hr 圖. 3-2 : 駕駛者視野示意圖

3.2.2 車側後照鏡的限制

一般的車側後照鏡都是使用平面鏡，因此，一般的車側後照鏡的成像原理也 是遵守著普通的平面鏡「入射角等於反射角」的定律。如圖. 3-3，所顯示的即是 一般的平面鏡的成像原理，由圖，我們可以知道θr = θi，設 θr = θi = θ，於是此 時平面鏡所能照射出的影像視野大約是在2*θ。 圖. 3-3 : 車側後照鏡成像原理示意圖

圖. 3-4 所代表的是車側後照鏡和人類視野之間的關係，由圖我們可以知道當 車輛在高速行駛時，駕駛者由於受限於視野大小的原故，駕駛者必須轉動自己的 身體或頭才能夠看到車側後照鏡中的資訊；但是這樣的動作會造成駕駛者無法集 中注意力注意車前的車況，因此而導致車禍的發生。而就資料 [27]中提出一般 的車輛所用的後照鏡所能照映出的平均視野大小正如表 Table 3.2 所表示出來的 數據。 norma l Verti cal distance 圖. 3-4 : 駕駛者視野及後照鏡成像視野的關係圖 Table 3.2 : 自車側後視鏡中可見的視野

The type of mirror

Right Side Mirror

Left Side Mirror

Field of View

( degrees)

42° 33°

為了能夠減少車側視覺死角的區域範圍，通常有兩種比較常見的方法來增加 後照鏡能映照出的視野範圍，第一種方式是增加駕駛者和車側後照鏡的距離，但 是這種方法能得到的效果有限，是因為車輛本身的車體是固定的，所以駕駛者和 車側後照鏡間能夠調整的距離是相當有限的；而第二種方法，就是以各式各樣的 曲率面鏡，包含雙曲率面鏡或是變曲率面鏡來取代傳統的平面鏡，但是利用曲率 面鏡來取代傳統的平面鏡卻也會產生另一個問題，那就是曲率面鏡中所照映出來 的影像將會變形，隨著面鏡的曲率增加而相對應的變形也就愈嚴重，若是影像變 形得過度嚴重的話，駕駛者也就沒有辦法利用車側後照鏡來判斷後方來車和自己 本身的距離。 於是為了克服這些問題，於是我們想要開發一個專門用來輔助駕駛者來判斷 車側視覺死角中是否存在來車的系統；我們選擇利用CCD Camera 做為所使用的

感測器，不斷地針對隔壁車道的視覺死角區域作偵測；並且，利用所發展的演算 法使系統能自動地判斷在隔避車道的視覺死角區域是否有其它的車輛的存在，若 經系統偵測的結果，發現此偵測區域中有其他物體的存在後，系統會警示駕駛 者，提醒駕駛者注意車側的視覺死角區域，以避免危險情況的發生。

3.3 系統中車側視覺死角的定義

在我們的系統的一開始，我們必須先能夠定義出我們所要偵測的車側視覺死 角區域，在這裡我們是針對隔壁車道當成偵測的對象，為了要能夠定義出所要偵 測的範圍，因此我們要先利用道路線的偵測，來確定出所要偵測的車道；而所要 偵測的距離，為了適用在高速及快速道路之下，考慮到駕駛者的反應時間，所以 偵測的距離設定約為在２０公尺。而在本小節主要介紹的就是系統在偵測車道線 的流程及方法，由Volvo 的資料可知所要偵測的區域範圍的示意圖就如同圖. 3-5。 圖. 3-5 : 系統偵測區域 ROI 示意圖

3.3.1 道路線偵測及追蹤模組流程

圖. 3-6 所表示的是我們初始化系統 ROI ( Region of Interesting ) 及追蹤道路 線以調整ROI 的流程圖。而之中的每一個區塊的細節將在之後的各小節中說明。

3.3.2 彩色空間轉換

由於原始的色彩空間是在RGB 彩色空間，而在系統中尋找道路線的過程中 所需要的確是一個灰階的影像，因此在尋找道路線的過程中，一開始先要將原始 的彩色RGB 影像依公式(3.1)轉換至 YCbCr 的色彩空間；Y 指的是亮度資訊，即 是一般所謂的灰階資訊，而Cb 和 Cr 分別代表著彩度（紅色）和彩度（藍色）， 而YCbCr 最常使用的地方是在數位影像的標準格式，這是由於 R、G、B 在影像 中的關連性相當高，通常會造成影像編碼上重覆出現，再加上人的視覺特性本來 就是對於亮度會較對於彩度敏感，因此為了減少資料量，通常會利用保留亮度資 訊均降低彩度的資訊以達成資料壓縮的目的，在此我們將亮度資訊即灰階資訊抽 取出來使用。 ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ + ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ ⋅ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ − − − = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 128 128 16 081 . 0 419 . 0 500 . 0 499 . 0 331 . 0 168 . 0 114 . 0 587 . 0 299 . 0 C Y B G R Cr b (3.1) 其轉換的結果如圖. 3-7，(a)所代表的是原始影像，(b)則是亮度 Y 的資訊； 而(c)、(d)是代表 Cb 和 Cr 的影像。 圖. 3-7 : RGB 轉至 YCbCr 的結果

3.3.3 中位數濾波器

在影像進入後，會先進過一個中位數濾波器，來移除影像在擷取時所不預期 得到的影像雜訊。而中位數濾波器是利用相鄰像素中位數作為像素值，如同(3.2) 所示：

)}

,

(

{

)

,

(

xy S t) (s,

I

s

t

median

y

x

f

=

_{∈ (3.2)}

I

11

I

12

I

13

I

21

I

22

I

23

I

31

I

32

I

33 上面是一個3X3 的遮罩，3X3 的遮罩中的９個像素而言，中心 I22的值即是 所要決定的像素值，在決定 I22時，我們會先參考以其為中心的相鄰相素值，取 此九個值的中位數作為 I22 的值。中位數濾波器是屬於排序統計型濾波器的一 種，對於某些隨機雜訊提供了不錯的抑制功能，對於用在脈衝雜訊濾波上是特別 地有用，與均值濾波器比較起來均值濾波器容易產生較嚴重的模糊化問題，而中 位數濾波器則是利用統計及排序的方法，因此不容易造成影像模糊的問題。

3.3.4 天候狀態決定

在偵測路面道路線時，常常會因為當時的時間或天候狀況而會造成路面邊線 是否清晰可見，在此我們將狀況分為三種情形：「正常的日間」、「夜間」和「亮 度過亮的日間」，如此分類的主要理由是由於夜間和亮度過高的日間會有對比度 過低的問題，因此，我們需要去針對這兩種情形之下的亮度去作調整。 日間和夜間的分類主要是利用整張影像的亮度分佈來做區別；日間是分為正 常狀況或是亮度過高的情況，判斷的依據則是利用統計路面的亮度分佈情形來做 判別的依據，如：(3.3)及(3.4)。

⎪⎩

⎪

⎨

⎧

≥

∈ ∈

Daytime

else

Night

w

image of region Level Gray Low y x I

，

，

A

A

1 ) _ _ ( y) (x, ) _ _ ) , ( ( (3.3)

⎪⎩

⎪

⎨

⎧

_≥

∈ ∈

Normal

else

Bright

w

road of region Level Gray Heigh y x I

，

，

A

A

1 ) _ _ ( y) (x, ) _ _ ) , ( ( (3.4)

y 亮度調整

藉由將影像的狀況分為「正常」、「夜間」及「過亮」後，我們將針對道路 線不清晰的夜間和過亮的情形分別作亮度的調整。我們利用變化的直方圖等化 法來對此兩種狀況作影像的強化。直方圖等化法是將原影像中所有像素的灰階 值加以平均並分配到各個像素點，如此可增強影像的對比，得到較清晰的影像。 y 日間過亮的情形：我們所使用的是一般的直方圖等化法，其過程為先統計 各像素的灰階值，找出影像中各灰階值分佈的的特性之後，按線性比例重 新分配；例如：在灰階值rk ∈[0,L−1]的影像中的直方圖為h(rk)=nk，且 k=0,1,2,…,L-1，若總像素為 n 的話，則每一個灰階值在影像中出現的機率 為：P(r_k)=n /_k n，而新的灰階

∑

∑

= = = = = k j j k j j r k k n n r P r T 0 0 ) ( ) ( S ，但S_k∈[0,1]， k S 為一正交化的結果，再將S 展開至 k [0,L−1]的範圍上，便可得到所要求 的新灰階值。在一般的使用上，L =256，灰階分佈是自 0~255。 其結果如圖. 3-8：(a)為原圖，(b)為原圖中灰階的分佈情形，(c)為處理過後 的影 像，(d)則為處理過後的影像的灰階值的分佈情形。 圖. 3-8 : 直方圖等化法的結果

y 夜間道路的狀況：夜間影像強化的部分和日間過亮情況不一樣的地方是在 於，我們所調整的灰階分佈不再是 0~255，而是 15~128；這可由夜間的影 像特性來解釋，如圖. 3-9：(a)為夜間有光源其灰階的分佈情形，(b)、(c)則 為低光源或無光源的灰階分佈情形，其中左圖為原圖、中間的直方圖為原 圖的整體灰階分佈、右圖則為整體灰階分佈介於灰階值在 0~128 的情形。 由圖，我們可以發現在夜間的灰階值大部分皆集中在灰階值在15~128 的區 域，因此，我們為了不過度放大低灰階的雜訊，所以我們選擇重新分配 15~128 中的灰階值，而在此灰階區域之外的灰階值皆維持原來的值不變。 圖. 3-9 : 夜間車側影像灰階分佈示意圖 其結果如圖. 3-10：(a)為原圖，(b)為原圖中灰階的分佈情形，(c)為處理過後 的影像，(d)則為處理過後的影像的灰階的分佈情形。

(a) (b) (c) (d) 圖. 3-10 : 調整部分灰階的直方圖等化法結果

y Gaussian 濾波器

為了解決在伴隨影像強化後，雜訊放大的情形，所以我們再利用Gaussian 濾波器 [28]、[29]來移除被過度放大的雜訊。Gaussian 濾波器是屬於低通濾波 器的一種，Gaussian Filter 的濾波方式和中位數(median)濾波器的差異較大而是 較 近 似 於 均 值 濾 波 器 ；Gaussian 濾波器和均值濾波器之間主要差異性是 Gaussian 濾波器的主要在於 Gaussian 濾波器的模糊方式是利用 Gaussian 函數的 分佈方式當成運算的核心。1-D 的平均數為０的 Gaussian 分佈函數如同下式 (3.5)。 ) deviation standard ( exp 2 1 ) G(x, 2 2 2 _{， 為標準差} π

σ

σ

σ

σ x − = (3.5) 圖. 3-11 為 1-D 的平均數為０但標準差為１的 Gaussian 分佈函數的示意圖，而圖. 3-12 則表示在標準差增加時，Gaussian 分佈會有如何的影響。由圖可以知道隨著 標準差愈大時，Gaussian 分佈函數就愈趨近於平滑的分佈。

圖. 3-11 : 1-D 的平均數為０標準差為１的 Gaussian 分佈函數 圖. 3-12 : 標準差增加對於 Gaussian 分佈函數的影響 由於影像是一個 2-D 的座標系統，所以我們所要利用的是 2-D 的 Gaussian 濾波器，其分佈函數如(3.6)，其 Gaussian 函數分佈圖如圖. 3-13。 2 2 2 2 2

exp

2

1

y)

G(x,

σ

σ

y x + −

=

π

(3.6)

圖. 3-13 : Standard Deviation 為１的 2-D Gaussian 函數 而在數位影像當中，原本在濾波過程中所需要使用的迴旋積分(convolution)的步 驟，可以利用遮罩取代，因此我們利用一個 5X5 的遮罩來實現平均值為０、標 準差為１的2-D Gaussian 分佈函數，如圖. 3-14。

273

1

圖. 3-14 : Standard Deviation 為１的 Gaussian Filter 遮罩

圖. 3-15 為未經過 Gaussian 濾波和經過 Gaussian 濾波後的結果；(a)為未經過 Gaussian 濾波的梯度向量及二值化的結果，(b) 為經過 Gaussian 濾波的梯度向量 及二值化的結果。可發現若未經過Gaussian 濾波將會出現非常嚴重的雜訊干擾。

圖. 3-15 : 未經過Gaussian 濾波和經過 Gaussian 濾波後的結果比較

3.3.5 道路線參考點

為了能定義出系統中隔壁車道的位置，我們必須能先找到屬於隔壁車道的道 路線，因此我們必須先找道路線的參考點，以定出道路線的位置，此一小節就是 在記敘我們找出道路線參考點的方法。

y Sobel 遮罩及邊緣二值化

在此，我們利用來找邊界的Sobel 遮罩並非是利用一般的 Sobel 水平及垂直 偵測方向的遮罩，考量到取像的角度和道路線方向的問題，我們所使用的是-45° 方向的 Sobel 遮罩如圖. 3-16 所示，以-45°線為主軸，來觀察路面影像的梯度向 量。而關於梯度向量等等的介紹，將在第四章中的4.2.4 節中，會有另外的介紹。

圖. 3-16 : 針對-45°方向的 Sobel 遮罩 在二值化的過程中，由於我們的目的是找出道路線，因此我們將針對路面 去作統計的動作，從影像中的每一行去尋找做二值化的臨界值，如(3.8)。 | j) f(i, | Deviation Standard * 5 . 1 | j) f(i, | Mean ) j ( ) image of width , (0 i ) image of width , (0 i ∇ + ∇ = ∈ ∈ Threshold (3.8) 圖. 3-17 為使用不同的 Sobel 遮罩所找出來的邊線；(a)為原圖，(b)為對(a) 的方框內使用垂直偵測，(c)為使用水平偵測，(d)為沿-45°線所作的偵測。由此 三圖比較後，我們可以發現最適合用於道路線偵測的遮罩並非水平或是垂直的 遮罩，由於取像的角度關係，造成水平方向會遺失掉許多資訊，而垂直方向確 意外地找到了路面的雜訊點，因此由此可以發現最適宜用來偵測車側道路線的 遮罩應為-45°偵測方向的遮罩。 (a) (a) (b) (c) (d) 圖. 3-17 : 以不同的 Sobel 遮罩搜尋道路邊線

y 亮度二值化

我們在尋找道路線的過程中除了利用影像的梯度資訊 (即邊界資訊) 外， 也使用道路影像每一行中依(3.9)找其平均值做為其二值化的臨界值，以去除在 梯度資訊中可能出現的雜點。 others , ) , ( Mean 200 ) , ( Mean , Deviation Standard ) , ( Mean ) ( image) of width (o, i image) of width (o, i image) of width (o, i image) of width (o, i ⎪⎩ ⎪ ⎨ ⎧ + ≥ = ∈ ∈ ∈ ∈ j i I j i I I(i,j) j i I j Threshold (3.9)

y 選取道路線參考點

將梯度二值化後和原始二值化後的影像取邏輯「AND」運算，其目的是為 了去除影像亮度二值化和影像邊緣二值化中的部分雜訊，得到後的影像經過細 線化的處理，所得到的點即為作為道路線搜尋的參考點。如圖. 3-18(a)為原始 影像，(b)為(a)中方框中梯度二值化和影像二值化取邏輯運算「AND」後所得 到的結果，(c)為(b)細線化後的結果。 圖. 3-18 : 找尋偵測道路線的參考點的過程

3.3.6 Hough Transform

找出道路線參考點後，我們利用 Hough Transform 的原理將道路線找出， Hough Transform 是將原始 X-Y 座標空間轉換至 r-θ 參數座標空間，即是所謂的 法距-法角空間，如圖. 3-19，所代表的就是 Hough Transform 中線段的 X-Y 座標 與r-θ 參數的關係，平面上 A、B 二點形成一線，且線的法距為 r、法角為 θ，共 線的兩點必滿足(3.10)依照(3.11)可檢測 C、D 與 A、B 形成的線段間的距離。以 此圖而言將A(x₁,y₁)、B (x₂,y₂)代入(3.10)：

θ

θ

θ

θ

y

sin

x

cos

y

sin

cos

x

r

=

₁

⋅

+

₁

⋅

=

₂

⋅

+

₂

⋅

(3.10) 以(3.10)找出 A、B 形成的線段的法距 r 及法角 θ 後，再將 C、D 代入(3.11)檢測 C、D 是否與 A、B 共線，若代入的結果距離d<threshold，即可視此點與A、B

共線。

)

sin

y

cos

x

(

⋅

θ

+

⋅

θ

−

= r

d

(3.11) r

(

x3, 3

)

C y

(

x1, 1

)

A y

(

x2, 2

)

B y

(

x4, 4

)

D y d 圖. 3-19 :X-Y 座標與 r-θ 參數關係圖

在道路線的找尋上，我們依據Hough Transform 的原則去對每個參考點作共 線的測試，之前所找出的參考點對任二點形成的線段投票，在形成的線段上必需 獲得一定以上的票數，才會認為此線段存在。在Hough Transform 中，原本 θ 的 範圍在0°~180°，在此，由於影像取像角度的原故及為了減少計算量，我們便將 θ 的範圍限定在 0°~75°。

3.3.7 道路線追蹤

依照之前找出來的道路線的法距及法角資訊，依照(3.12)重新搜尋，將找出 的新的道路線資訊作為新的法線及法角資訊，以此來不斷地更新道路線資訊，以 達到Lane Tracking 的目的。

⎩

⎨

⎧

Δ

+

=

Δ

+

=

⋅

+

⋅

=

θ

θ

；θ

θ

θ

'

'

sin

cos

' ' '

r

r

r

y

x

r

(3.12)

4

第四章

車側視覺死角中的車輛偵測

在第四章當中，我們所要介紹的是在我們系統中偵測物體及辨認物體為車輛 的方法。在第一小節中，我們所要介紹的是車輛偵測模組的概略流程圖；而在接 下來的各小節中，我們將會詳細介紹各個流程所使用的方法。

4.1 車輛偵測模組流程

圖. 4-1 : 車輛偵測模組流程圖

車輛偵測模組的概略流程圖如圖. 4-1。偵測的模組主要可以分為四個子模 組；第一個部分是屬於系統的前處理，其主要的目的是在於為了讓系統在分離出 移動物體時，能夠更容易找出物體的特徵。第二個子模組的主要目的是在於將可 能為車輛的位置分離並標定出。而第三個子模組則是用以確認所找出的物體是否 為車輛。而最後就是追蹤物體直到物體離開偵測區域的子模組。

4.2 影像前處理

在這一小節當中，我們所要描述的是車輛偵測模組的前處理的部分；前處理 的流程圖可以參見圖. 4-2。而此子模組存在的主要目的是為了之後的子模組能更 容易地找出可能為車輛所在位置的特徵。

圖. 4-2 : 前處理流程圖

y 色彩空間轉換

如同第三章中的3.3.2 節，將影像自 RGB 色彩空間轉換至 YCbCr 色彩空間 中，並取亮度即灰階影像作為所要處理的對象。

y 平均值平滑濾波器

均值濾波器是一種低通濾波器，也是一般最常見、簡單的平滑濾波器；令S_xy 代表中心點為(x,y)且大小為m×n的矩形子影像的座標集合，則濾波後的影像 ) , ( yx f 為所定義的區域S 中原始影像_xy I( ts, )的平均值，如(4.1)；例如：一 3X3 的遮罩，如下所示，其中心像素I22的值可由和臨近像素的平均值而得。

∑

∈ ⋅ = xy S t s t s I n m y x f ) , ( ) , ( 1 ) , ( (4.1)

I

11

I

12

I

13

I

21

I

22

I

23

I

31

I

32

I

33

y 區別日、夜間狀態

分別日間和夜間的方法如同第三章 3.3.4 節所提，而處理的過程也如同 3.3.4.1 和 3.3.4.2 節中所使用的處理方法來處理夜間模式的狀況。

y 梯度向量偵測及其二值化

在此有別於第三章3.3.5 節中所使用的遮罩，我們在此用的是一般的水平及 垂直偵測的Sobel 遮罩。影像f( yx, )在座標點上(x,y)的梯度向量被定義如(4.2)

⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ∂ ∂∂ ∂ = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = ∇ y f x f G G f y x (4.2) 梯度向量是指影像 f( yx, )在(x,y)座標上改變率的向量，因此梯度向量的強度定義 如(4.3)，常用作影像中邊緣的檢測。 2 1 2 2 ₎ ( ) ( f G_x G_y mag f = ∇ = + ∇ (4.3) 故用在數位影像的實現中，可利用遮罩來實現，如圖. 4-3 代表著利用 2X2 及 3X3 實現的遮罩。(a) 為 Roberts (b) 為 Prewitt (c)為 Sobel，2X2 與 3X3 的遮罩，最大 的不同在於 2X2 的遮罩並不存在明確的遮罩中心，因此在影像處理中較不會使 用2X2 的遮罩，而 Prewitt 和 Sobel 最大的不同，在於 Sobel 有對中心係數加權， 使中心點具有更大的代表性。 -1 0 0 1 x G Gy 0 -1 1 0 -1 -1 -1 0 0 0 1 1 1 x G -1 0 1 -1 0 1 -1 0 1 y G -1 -2 -1 0 0 0 1 2 1 x G -1 0 1 -2 0 2 -1 0 1 y G (a) (b) (c)

一般說來，為了簡化計算量，在邊緣的檢測上，通常將∇f ≈ G_x + G_y 來取 代原來梯度向量強度∇f = Gx2 +Gy2 的運算。 圖. 4-4(a)為延-45°方向的 Sobel 遮罩(b)為延 45°方向的遮罩，此二種遮罩的 主要目的在於檢測影像在斜向的不連續性梯度向量。 圖. 4-4 : 檢測斜邊的 Sobel 遮罩 而在梯度影像的二值化的過程中，對於臨界值的決定，我們會先統計影像中 各點的梯度向量強度，取約在梯度強度分佈當中90%的數值當成其二值化的臨界 值。其結果如圖. 4-5(a)為原始影像，(b)為利用一般水平及垂直偵測的 Sobel 遮罩 找出來的梯度向量強度。(c)為(b)二值化的結果。 (b) (a) (c) 圖. 4-5 : 利用 Sobel 遮罩找出來的邊緣資訊

4.3 分離出偵測區域中的物體

這一個子模組的用途是在於針對路面的範圍作偵測，找出路面中可能為車輛 所在的區域；而此部分的流程圖就如同圖. 4-6，在此部分找出可能的位置後，再 從下一個子模組中去辨認找出的物體是否為車輛。

圖. 4-6 : 分離物體流程圖

4.3.1 Lane Based Transform

由於我們是針對路面來做物體的偵測，因此我們將所選定路面範圍經過 Lane Based Transform [21]轉換至一個矩形的區域；而被偵測的道路面在經過轉換 後所得到的結果是如同類俯視圖一般的結果。

Lane Based Transform 主要的目的是在代替 Camera Calibration 的過程，在轉 換的過程中，並不需要事先取得相機的各種參數，取而代之，所需要用到的則是 在第三章中所找出來的偵測區域的左邊線及右邊線的參數。

Lane Based Transform 的示意圖如圖. 4-7。我們將自 Camera 得到的影像表示 在X-Y 平面，而經過轉換後所得到的影像則是表示在 U-V 平面，左邊線及右邊 線的方程式可表示成f_l(t)=[f_lx(t),f_ly(t)]T及f_r(t)=[f_rx(t),f_ry(t)]T，而t∈[0,1]，所以

上 邊 線 可 表 示 成 ( ') ( (1) (1)) ' (1) l l r u t f f t f f = − ⋅ + ， 則 下 邊 線 可 表 示 為 ) 0 ( )) 0 ( ) 0 ( ( ) ( ' ' l l r lo t f f t f f = − ⋅ + ，而t'∈[0,1]，且 V v t = 、 U u t'= 。

圖. 4-7 : Lane Based Transform 示意圖 在此，Lane Based Transform 可表示為(4.4)式。

⎪

⎩

⎪

⎨

⎧

+

⋅

−

=

+

⋅

−

=

)

(

))

(

)

(

(

)

,

(

)

(

))

(

)

(

(

)

,

(

V

v

f

U

u

V

v

f

V

v

f

v

u

y

V

v

f

U

u

V

v

f

V

v

f

v

u

x

ly ly ry lx lx rx (4.4) 其結果如圖. 4-8；(a)為轉換前所測出的邊界，(b)則是(a)中所偵測的道路區域所 得到的結果。

4.3.2 修補斷邊

由於之後的步驟會用到Connected Component 來將屬於同一物體的邊緣歸類 為同一類，因此，我們必須考慮到補斷邊的問題。在系統中，經過轉換後的類俯 視圖，會再經過一次的膨脹和侵蝕來克服這個問題。 膨脹的目的是在於重新連接破碎的斷邊，設A 和 B 為空間 Z²中的二個子集 合，且B 為結構元素，A 藉由 B 膨脹定義為(4.5)，且 B 對於其原點的反射並平 移此反射z 單位。

{

z B _z ∩A ⊆ A

}

= ⊕B |[( ) ] A (4.5) 在此，我們使用的結構元素B 如下：

1

1 1

1 1

1

1 1 1

但在經過膨脹後，有部分不必要的雜點也會隨之放大，因此，我們使得到的 影像再經過一次侵蝕來改善這個問題。設A 和 B 為空間 Z²中的二個子集合，且 B 為結構元素，A 被 B 侵蝕定義為(4.6)。

( )

{

z B A

}

B AΘ = | _z ⊂ (4.6) 在此，我們使用的結構元素B 如下：

1

1 1

1 1

1

1 1 1

4.3.3 Connected Component

為了要分離出偵測區域中的物體，我們利用了Connected Component [30]、 [31]來將相連在一起的邊緣給予相同的標籤，以達成我們所希望的目的，其結果 如圖. 4-9；(a)中的黑點為邊緣點，而(b)為使用 8-鄰接 Connected Component 所得 到的結果。

圖. 4-9 : 8-連通 Connected Component 範例

一般而言，Connected Component 的連通性有 4、8、6、10、18 及 26 鄰接， 而 4 及 8 鄰接通常是用在 2-D 平面影像的測試，其它的連通性主要是用在 3-D 立體影像的應用。在我們的演算過程中，我們所使用的是 8 鄰接的 Connected Component，這是因為 8 鄰接的 Connected Component 較 4 鄰接的 Connected Component 由於多了四個斜線方向的檢測，所以比 4 鄰接更具像素間連通的代表 性，也更常應用在平面影像連通性的檢測當中。

4.3.4 尺寸濾波器與障礙物列表

在經過Connected Component 之後，會將道路面中的影像中出現的邊線根據 連通性作切割，並給定切割出的邊線屬於各自的標記，此時我們會將得到的標記 物先經過一個Size Filter 的檢測，檢測所得到的標記物各自的邊線點的總數，若 標記物的邊線點的總數不滿足一定的臨界值大小時，我們會認為此時所找出的標 記物是一個標記物是屬於路面上的一個雜點，就會將此標記物刪除，並取消它的 標記。 在經過Size Filter 後，我們會得到一個標記物的清單，並將各個標記物再重 新 繪 製 到 路 面 的 偵 測 區 域 上 。 圖. 4-10 為路面範圍的影像經過 Connected Component 和 Size Filter 的結果；而標記物的清單會記錄下目前道路範圍之中共 有幾個標記物。

分別屬於不同

的label

⎩ ⎨ ⎧ Δ + = Δ + = ⋅ + ⋅ = θ θ ；θ θ θ ' ' sin cos ' ' ' r r r y x r

圖. 4-10 : 經過 Connected Component 和 Size Filter 的結果

4.4 確認物體

再經由上一個子模組分離出在路面的類俯視圖中可能為車輛所在的位置 後，就需要從所找出的物體的特徵去判別此物體是否為車輛的可能性，而在此小 節中的子模組，其主要的目的就是去確認物體是否為具有立體特性的車輛；而此 子模組的主要的系統流程如圖. 4-11。 圖. 4-11 : 物體確認流程圖

4.4.1 物體的寬度確認

在此子模組的一開始，會先去確認自上一個模組中所找出的標記物，是否在 類俯視圖中具有一定的寬度，而其主要的判別方式為利用標記物在類俯視圖中的 投影，找出標記物的左端點和右端點，而二端點之間便是標記物的寬度。如圖. 4-13 所示。 圖. 4-12 : 標記物寬度示意圖 在找出標記物在類俯視圖中所具有的平面的寬度後，由於車輛在平面上一定 會有著超過一定大小的寬度，因此，標記物必須在類俯視圖中超過一定的臨界 值，我們才會認定標記物可能為一部車輛，而非其它的雜訊。

4.4.2 物體的定位

在認定物體在類俯視圖中具有一定大小的寬度後，接下來為了判斷抽取出物 體的原始影像，以利用在物體原始影像中的特徵來判定所偵測到的物體是否為車 輛，因此，我們必須先自俯視圖中找出物體在類俯視圖中的位置，再根據(4.4) 式中的轉換公式，將原始的物體抽離出來。 如圖. 4-13，其中(a)為原圖，(b)為(a)中紅色區域的類俯視圖；首先，我們須 先自類俯視圖中找出(u₁,v₁)，再找出(u₁,v₂)和(u₂,v₁)，並框畫出物體在類俯視 圖中的位置；在找v₁的過程我們自標記物的最底層開始掃描；直至找到v₁可以滿 足(4.)為止， (u₁,v₂)則是在類俯視圖中自(u₁,v₁)垂直延伸至標記物在u=u₁時的 端點，而(u₂,v₁)則是自(u₁,v₁)水平延伸出至標記物在v=v₁時的右端點；若當v₁

不滿足(4.7)式時，則以標記物的最底層為v₁，則取標記物最右方作為u₂，如圖. 4-14，其中(a)為原圖，(b)為(a)中紅色區域的類俯視圖。 object of length v length( ₁)≥0.4⋅ _ _ (4.7) 1 v v= 1 u u= 2 v v= 2 u u= 圖. 4-13 : 尋找標記物在類俯視圖中的座標示意圖 u v 1 v v= (a) (b) length(v) 2 v v= 1 u u= u=u2 length of object 圖. 4-14 : 尋找標記物在類俯視圖中的座標示意圖(Passing Car)

4.4.3 物體的高度確認

在找出物體在道路平面的位置之後，我們利用(4.4)式將物體在 U-V 平面的 座標位置對應回原始影像 X-Y 平面中的位置將物切離出，利用邊緣的連續性可 以得到物體高度和長度的總和，且由之前所找出的類俯視圖物體的上底和下底可 以找出車輛在平面上的長度，將二項相減來判別找出的物體是否具有高度的資 訊，如圖. 4-15；若具有高度的資訊，則表示在類俯視圖中所找出的標記物並非 為一個平面的雜訊，例如：影子或是路面的間隙。 圖. 4-15 : 高度判別示意圖

4.4.4 物體的存在時間確認

由於車輛在進入偵測區後，並不會瞬間就離開偵測的區域，因此，物體存在 於受偵測區域的時間也是一個很重要的特徵，在此，我們會設定出現在偵測區域 內的物體必須一定的連續時間內都必須要符合寬度及高度的特性測試，系統才會 承認偵測到的標記物為車輛。

4.5 追蹤偵測區域中的物體存在性

由於Camera 架設的角度和我們的偵測區域所針對的是車側區域的關係，在 如此的條件下，偵測區域並不會同時出現太多的車輛，因此，我們並不會追蹤某 一特定的物體，我們的追蹤是針對道路平面的類俯視圖中是否有物體的存在，一 旦確認具有立體特性的車輛存在於所偵測的區域之內後，我們便不再判別類俯視 圖中的物體是否具有立體特性，而是追蹤被偵測的區域是否有物體的存在直到物 體離開偵測的路面區域範圍為止。

5

第五章

實驗結果

5.1 實驗設備及設計

我們的系統目前是建構在 Windows 視窗環境下運作，所使用的介面是以 Borland C++ Builder 6.0 作為開發的工具，而開發的平台所用的處理器是 Intel Pentium M 1.6GHz，搭載 1GB DDR 333 的記憶體。取像所用的 Camera 則是使用 Sony 的 CCD Camera。

架設的環境如圖. 5-1。而目前測試過的環境是以國道一、二號及近新竹科學 園區的東西向快速道路為主。

5.2 道路線偵測及追蹤之結果

在這一個小節當中，將會展示在各種情形下所做的道路線偵測及追蹤的結 果，並分別討論各個結果。由於我們做道路線偵測的主要原因並非是為了要做非 常精確的偵測，只是為了確定一個大概的路面偵測區域，因此，我們在道路線的 偵測及追蹤並不適用於彎路的道路線偵測和追蹤。

y 道路線偵測結果

此節所要討論的是系統中道路線偵測的實驗結果；圖. 5-2 為一般正常白天 中，道路線偵測的結果；(a)為原始影像及測線的結果，(b)為找出來的參考點。 可發現利用Hough Transform 即使要找的道路線為虛線，依舊可以正常地找到我 們所要的道路線。圖. 5-3 為陰天時，道路線偵測的結果；(a)為原始影像及測線 的結果，(b)為找出來的參考點。圖. 5-4 為雨天時，道路線偵測的結果；(a)為原 始影像及測線的結果，(b)為找出來的參考點。由實驗結果，我們可以知道，利 用Hough Transform 可以適用在道路線為虛線或是實線的狀況下，而在右側邊線 為何較容易偵測到離車身較遠的邊線，這是由於偵測右側邊線起始範圍設定的原 因。 圖. 5-2 : 晴天道路線偵測結果

圖. 5-3 : 陰天道路線偵測結果 圖. 5-4 : 雨天道路線偵測結果 圖. 5-5 為夜間時，道路線偵測的結果；(a)為原始影像及測線的結果，(b)為 找出來的參考點。圖. 5-6 為光源過亮而造成路面亮度對比太低時的結果；(a)為 原始影像及測線的結果，(b)為找出來的參考點。 圖. 5-5 : 夜間道路線偵測結果

圖. 5-6 : 在光源過亮時道路線偵測結果 比較以上的結果，我們可以發現在光源過亮或夜晚的情況之下，系統依然可 以偵測出道路線的方向及存在。

y 道路線追蹤結果

在找出初始的道路線範圍之後，我們即利用道路線追蹤的方式來改變我們偵 測區域的位置，以下為道路線追蹤的結果。圖. 5-7 為白晝時，道路線追蹤的結果； 由其中# frame 3980 可以知道，由於我們追蹤的對象是較靠近自身的道路線，因 此，當車側有車輛經過而造成較遠處的道路線被遮蔽並不會對系統在偵測及追蹤 道路線產生影響；而在# frame 6880 時，雖然出現沒有道路線的情況，但是，系 統會以舊的道路線位置作為新的道路線位置。

# frame 0 # frame 200 # frame 600

# frame 1000 # frame 2500 # frame 3000

# frame 3980 # frame 4500 # frame 5100

# frame 6040 # frame 6880 # frame 7040 圖. 5-7 : 道路線偵測在日常狀態下的結果 圖. 5-8 為夜間時，道路線追蹤的結果；其中可以從# frame720 發現到由於車 頭燈光的影響而造成了系統在線偵測和追蹤上的誤判，但是在# frame 740 中就立 刻修正回正確的道路線位置。圖. 5-9 為雨天的狀況下，道路線追蹤的結果；在# frame 110 至# frame 330 中，駕駛者切換了車道線，造成了偵測範圍改變的情況， 由於車道線位置與原始的車道線位置相差太大，所以會重新偵測車道線的位置， 因此在# frame 360 又調整回正確的偵測範圍。

# frame 140 # frame 180 # frame 290

# frame 390 # frame 720 # frame 740 圖. 5-8 : 道路線偵測在夜間狀態下的結果

5.3 車輛偵測及追蹤的結果

在這一小節中，將要展現的在利用道路線偵測所定義出的偵測範圍(ROI) 後，針對ROI 中作車輛偵測的結果，若偵測到在 ROI 中有車輛的存在，系統將 會警示駕駛者注意車側的車道，有來車的存在。

y 車輛偵測的結果

圖. 5-10~圖. 5-12 中，所展示的是在白天的場景之下，車輛偵測的實驗結果， (a)是原始影像；(b)是偵測出的物體在類俯視圖之中的位置，紅線所標定的部份 即為物體的所在；(c)是偵測出的物體。 圖. 5-10 : 在較遠處被偵測到的物體 圖. 5-11 : 在中程處被偵測到的物體

圖. 5-12 : 在近處被偵測到的物體 圖. 5-13 中，所展示的是在夜晚的場景之下，車輛偵測的實驗結果，(a)是原 始影像；(b)是偵測出的物體在類俯視圖之中的位置，紅線所標定的部份即為物 體的所在；(c)是偵測出的物體。可由圖發現即使在光源微弱的環境下，我們的 系統依舊可以找出車輛的存在。 圖. 5-13 : 夜間時，在近處被偵測到的物體

圖. 5-14 中，所展示的是在雨天的場景之下，車輛偵測的實驗結果，(a)是原 始影像；(b)是偵測出的物體在水平鏡像中的類俯視圖之中的位置，紅線所標定 的部份即為物體的所在；(c)是偵測出的物體的水平鏡像。由圖可以發現，由於 我們有別於其它抓路面陰影的方法，因此，即使是在不存在路面陰影的豪大雨天 中，依舊不會影響到車輛的偵測。 圖. 5-14 : 雨天時，在近處被偵測到的物體

y 車輛追蹤的結果

在系統中，當有來車進入車側視覺死角的偵測區域 ( ROI ) 時，在偵測物體 為車輛後，系統會持續追蹤ROI 內的標記物，直至標記物離開 ROI。圖. 5-15 每 一個frame 左圖所表示的為原始輸入影像，右圖表示的則是 ROI 中的類俯視圖， 在圖中 # frame 52 偵測到有車輛的進入，系統便持續追蹤物體的平面位置，並顯 示警示紅線；直到 # frame 236 中，物體完全離開 ROI 為止。圖圖. 5-16 所表示 的為在白天時，前方來車自進入ROI 時，系統開始追蹤至離開 ROI 為止的情形。 # frame 52 # frame 95 # frame 10 # frame 172 # frame 201 # frame 209 # frame 236 # frame 187 圖. 5-15 : 白天時，追蹤後方來車進入至離開 ROI 的結果

# frame 929 # frame 931 # frame 990 # frame 1014 # frame 1136 # frame 960 圖. 5-16 : 白天時，追蹤前方來車進入至離開 ROI 的結果 # frame 162 # frame 118 # frame 247 # frame 422 # frame 424 # frame 430 圖. 5-17 : 白天時，安全島的影響

圖. 5-17 為在白天時，車輛緊貼內側車道的情形；由於安全島或牆在由原始 影像轉至類俯視圖時，所形成的影像是較類似平面的情況，並不會像車輛般具有 立體高度的資訊，因此，在緊貼內側車道行駛時，並不會造成有車輛被偵測到的 錯誤警示。由圖中的 # frame 118 可發現水溝蓋雖會造成類俯視圖上出現具有一 定寬度的標記物，但由於在高度偵測會發現此標記物是屬於平面的影像，因此並 不會造成錯誤的警示；在 # frame 422 至 # frame 424 中，水溝蓋上的安全島出 現斷層，因此造成錯誤的判斷；但由於此標記物存在於偵測區域中的時間太短， 因此不會在系統中造成錯誤的警示。 圖所表示的為道路間隙或建築物陰影所造成的影響。雖然間隙或陰影在投影 的類俯視圖上具有一定的寬度，但在3-D 高度的判斷後，可判斷其為平面而非立 體的物體，因此，並不會造成偵測的誤判。 圖. 5-18 : 道路間隙或建築物陰影的影響

圖. 5-19 表示是路面文字或是道路線的影響；每 frame 中的二張影像，左圖 代表著原始的影像，而右圖所代表的是原始影像的水平鏡像的路面在偵測區域內 的類俯視圖；這一類干擾通常因為寬度遠小於車輛的寬度，因此對車輛的偵測並 不會造成干擾。 圖. 5-19 : 路面文字或道路線的影響 圖. 5-20 為系統在夜間中車輛追蹤的結果，車輛一開始就存在偵測區域內， 至 # frame 16 時，車輛被偵測到並開始追蹤，一直到 # frame 242 車輛開偵測區 域後，到 # frame 250 時，系統解除警示。 圖. 5-20 : 夜間，車輛追蹤的結果

圖. 5-21 為在夜間時，車輛行駛在內側車道時的情況；由於防撞杆在偵測區 域中的影像較類似平面的影像，因此在高度判別時，會判斷影像中的標記物並不 具有立體的高度特性，因此不會被判斷為車輛。 # frame 19 # frame 54 # frame 116 # frame 403 圖. 5-21 : 夜間，車輛行駛在內側車道的結果 圖. 5-22 為大雨天中，車輛追蹤的結果。而各個 frame 中的類俯視圖為原始 影像的水平鏡像的類俯視圖。可發現雨天中視線不佳的情形雖會造成車輛偵測的 困難，但系統依舊可以偵測出車輛的存在。 圖. 5-22 : 雨天中，車輛追蹤的結果