高速公路上車道標線偵測與前車碰撞警告系統

全文

(1)國立台灣師範大學資訊工程研究所碩士論文. 指導教授：方瓊瑤博士. 高速公路上車道標線偵測與前車碰撞警告系統 A front vehicle collision warning system using lane detection technique on highways. 研究生：梁瑞宏撰中華民國一百零一年七月.

(2) 摘要. 本論文之主要目的在發展道路標線偵測與前車碰撞警告系統。因為駕駛者在駕駛時容易被前方車輛或左右車輛無預警的行為影響，導致應變不及而發生危險，因此各車廠陸續開發出許多駕駛安全輔助系統，以保護駕駛者的安全。高速公路上道路標線偵測與前車碰撞警告系統中在駕駛安全輔助系統中扮演一個非常重要的角色。道路標線偵測可以協助系統判斷本車車輛異常跨車道的行為，並監控車輛前方的安全範圍。前車碰撞警告可以在左右車道車輛突然跨入本車車道或是本車前方車輛離本車太近時進行警告避免車禍發生。本研究將行車紀錄器裝置在車輛的擋風玻璃上，拍攝前方車輛與標線，再輸入系統進行分析。本系統依功能可分為兩個子系統，道路標線偵測子系統與前方車輛偵測子系統。道路標線偵測子系統利用 Sobel 邊緣偵測技術及 Hough transform 線段偵測技術來擷取車道標線。前方車輛偵測子系統，在日間時利用 Otsu’s method 尋找適合之門檻值擷取出陰影特徵，並利用水平邊緣偵測車輛水平特徵，同時採用此兩項特徵進行影像中車輛定位；另外，在夜間或雨天時則使用 YCrCb 色彩空間的 Cr component 及 HSI 的 Hue component 擷取煞車燈顏色特徵，並透過煞車燈的對稱性進行車輛定位。實驗結果顯示，本系統具高度的穩定性及可用性。雖然在隧道中前方車輛偵測的正確率較低，但在下雨天或是夜間視線極度不良時仍能正常運作。未來希望能發展成嵌入式系統裝置在各車輛上實際上路使用。. 關鍵字：大津法、車道標線偵測、車輛偵測. I.

(3) Abstract. The main purpose of this thesis is to develop a front-vehicle collision warning system. Drivers are easy to affect by the unexpected behaviors of neighboring vehicles and sometimes cause traffic accidents. Therefore, many driving assistance systems have been developed by car companies to protect drivers. The lane marking detection and front-vehicle detection system on the highway is one of the driving assistance systems. The lane marking detection system can detect abnormal lane change behaviors of the host vehicle, and monitor the road region in front of the host vehicle for safety. The front-vehicle collision warning system can warn the drivers when they are in dangerous traffic situations, for example, “the left-side or right-side vehicles suddenly enter to the host lane” or “the front vehicle is too close to the host vehicle.” In this study a recorder is set on front windshield to obtain the input sequences. The proposed system can be divided into two sub-systems, one is the lane marking detection sub-system and the other is the front-vehicle detection sub-system. The lane marking detection sub-system uses Sobel edge detection and Hough transform technique to extract the lane marking. The front vehicle detection sub-system can process two different situations, the daytime and the nighttime or raining day. This system uses Otsu’s method to find the suitable threshold to extract the vehicle’s shadow, and uses a horizontal edge detection to detect vehicle’s horizontal features in daytime. Combine these two features, the system can verify the locations of front vehicles. On the other hand, the system uses Cr component of YCrCb color model and Hue component of HSI color model to extract II.

(4) the light features in nighttime or raining. Moreover, the system uses the property of the symmetry of brake lights to verify the location of front vehicles. The experimental results show that the proposed system has great stability and usability. Although the front-vehicle detection system obtains lower correct rate in the tunnel, it still works when raining or extreme bad sight in nighttime. Finally, we hope the proposed system can be embedded into driving assistance systems installed in every vehicle in the future.. Index terms—Otsu’s method, lane detection, vehicle detection. III.

(5) 誌謝. 感謝方瓊瑤老師的指導與教學，讓剛踏入研究所還懵懵懂懂的我有了好的開始。在這裡讓我學會如何獨立進行研究及寫作能力，在我徬徨時給我方向並且持續地教導我。感謝陳世旺老師的教學，讓當初對影像處理還不熟悉的我漸漸了解到有趣的地方。並感謝梁祐銘老師撥冗時間批改論文並參加口試。感謝一起研究的夥伴俊麟，當我課業或研究碰到困難時，總是放下手邊的事情幫助我解決問題。感謝學姊智婷與律嘉在我剛進入研究所的時候指導我課業，並告訴我研究上的建議。感謝學弟侑廷，在我壓力繁重的時候，不辭辛勞地幫忙買中餐，讓我沒有後顧之憂的做研究。感謝學弟瑋鴻在我碰到困難時，能夠提出獨到見解，幫助我解決問題。感謝學妹欣紘及學弟們在碩二忙碌的研究生活中帶來輕鬆快樂的生活，並且幫助我準備口試前之事務，讓處在壓力下的我備感窩心。感謝我的家人及親戚不論時間早晚或是天氣好壞，特地幫我去錄製影像，讓我能夠有足夠的數據進行研究，並且支持我完成兩年碩士生活。將此論文獻給幫助我陪伴我的所有人，謝謝你們的支持與陪伴。. IV.

(6) 目錄. 摘要. I. ABSTRACT. II. 誌謝. IV. 目錄. V. 圖目錄. VII. 表目錄. X. 第一章緒論. 1. 第一節各式駕駛安全輔助系統. 1. 第二節研究動機與困難. 9. 第二章文獻探討. 14. 第一節車道標線偵測技術. 15. 第二節車輛偵測技術. 17. 第三節系統流程. 20. 第三章道路標線偵測系統. 25. 第一節邊緣擷取. 25. 第二節線段擷取. 26. 第三節道路標線偵測. 28. 第四節超車車道位置判斷. 33. 第四章道路標線偵測結果. 35. 第一節實驗範例. 37. 第二節實驗結果. 44. 第三節偵測錯誤原因. 49 V.

(7) 第五章車輛偵測系統. 50. 第一節 Otsu’s method. 50. 第二節日間車輛偵測範圍. 52. 第三節日間車輛偵測. 53. 第四節夜間或雨天車輛偵測. 57. 第五節車輛距離計算. 60. 第六章車輛偵測結果. 62. 第一節實驗範例. 64. 第二節實驗結果. 71. 第三節偵測錯誤原因. 77. 第七章結論與未來工作. 78. 第一節結論. 78. 第二節未來工作. 78. 參考文獻. 81. VI.

(8) 圖目錄. 圖 1-1：車道偏離警示系統. 3. 圖 1-2：夜視輔助系統. 4. 圖 1-3：駐車輔助系統. 5. 圖 1-4：環景影像顯示系統. 6. 圖 1-5：碰撞警示系統警示影像. 7. 圖 1-6：行人偵測系統螢幕畫面. 7. 圖 1-7：盲點偵測系統示意圖與配備位置. 8. 圖 1-8：駕駛注意力輔助系統. 9. 圖 1-9：不同光線之輸入影像範例. 10. 圖 1-10：雨天環境下輸入影像範例. 11. 圖 1-11：高架橋遮蔽之輸入影像範例. 11. 圖 1-12：行駛隧道中之輸入影像範例. 12. 圖 1-13：不同比例之輸入影像範例. 12. 圖 1-14：日間車輛之輸入影像範例. 12. 圖 1-15：夜間車輛輸入影像範例. 13. 圖 2-1：影像中相鄰灰階相減取絕對值後之值的分布. 16. 圖 2-2：水平線段剖析圖及軌跡圖. 18. 圖 2-3：顏色轉換. 19. 圖 2-4：系統流程圖. 20. 圖 2-5：邊緣擷取範例. 21. 圖 2-6：Otsu’s method 範例. 22. 圖 2-7：車輛煞車燈偵測結果(1). 23 VII.

(9) 圖 2-8：車輛煞車燈偵測結果(2). 24. 圖 3-1：Sobel 邊緣影像圖. 26. 圖 3-2：xy 平面及 ab 平面中所對應出的線段[Gon07]. 27. 圖 3-3：xy 平面與  平面中所對應的弦式波曲線[Gon07]. 27. 圖 3-4：道路標線偵測流程圖. 28. 圖 3-4：道路標線偵測範例(1). 29. 圖 3-5：道路標線偵測範例(2). 30. 圖 3-6：道路標線偵測範例(3). 30. 圖 3-7：道路標線偵測範例(4). 31. 圖 3-8：道路標線偵測範例(5). 31. 圖 3-9：道路標線偵測範例(6). 32. 圖 3-10：道路標線偵測範例(7). 32. 圖 3-11：道路標線偵測範例(8). 32. 圖 3-12：本車車道位置判斷範例. 34. 圖 4-1：道路標線輸入影像(1). 37. 圖 4-2：道路標線偵測結果(1). 37. 圖 4-3：道路標線輸入影像(2). 38. 圖 4-4：道路標線偵測結果(2). 38. 圖 4-5：道路標線輸入影像(3). 39. 圖 4-6：道路標線偵測結果(3). 39. 圖 4-7：道路標線輸入影像(4). 40. 圖 4-8：道路標線偵測結果(4). 40. 圖 4-9：道路標線輸入影像(5). 41. 圖 4-10：道路標線偵測結果(5). 41. 圖 4-11：道路標線輸入影像(6). 42. 圖 4-12：道路標線偵測結果(6). 42 VIII.

(10) 圖 4-13：道路標線輸入影像(7). 43. 圖 4-14：道路標線偵測結果(7). 43. 圖 5-1：Otsu’s method 的範例. 50. 圖 5-2：車輛陰影偵測範例. 52. 圖 5-3：日間車輛偵測範圍圖. 52. 圖 5-4：車輛偵測區域示意圖範例. 53. 圖 5-5：日間車輛偵測流程圖. 53. 圖 5-6：水平邊緣特徵範例. 54. 圖 5-7：車輛水平邊緣特徵範例. 55. 圖 5-8：車輛陰影特徵範例. 56. 圖 5-9：日間車輛偵測系統範例. 57. 圖 5-10：煞車燈車輛偵測流程圖. 57. 圖 5-11：煞車燈影像範例. 58. 圖 5-12：煞車燈偵測範例(1). 59. 圖 5-13：煞車燈偵測範例(2). 60. 圖 5-14：距離推算函數折線圖. 61. 圖 6-1：車輛偵測結果範例. 62. 圖 6-1：影像範例 1 車輛偵測結果. 64. 圖 6-2：影像範例 2 車輛偵測結果. 65. 圖 6-3：影像範例 3 車輛偵測結果. 66. 圖 6-4：影像範例 4 車輛偵測結果. 67. 圖 6-5：影像範例 5 車輛偵測結果. 68. 圖 6-6：影像範例 6 車輛偵測結果. 69. 圖 6-7：影像範例 7 車輛偵測結果. 70. 圖 7-1：影像廣角範例. 79. 圖 7-2：行車紀錄器影響範例. 79 IX.

(11) 表目錄. 表 1：各車廠安全輔助系統(1). 2. 表 2：各車廠安全輔助系統(2). 2. 表 3：早上標線偵測結果. 44. 表 4：中午標線偵測結果. 45. 表 5：下午標線偵測結果(1). 45. 表 6：下午標線偵測結果(2). 46. 表 7：傍晚標線偵測結果. 47. 表 8：下雨標線偵測結果. 47. 表 9：隧道標線偵測結果. 48. 表 10：晚上標線偵測結果. 48. 表 11：標線偵測結果. 49. 表 12：白天車輛偵測結果. 71. 表 13：中午車輛偵測結果. 72. 表 14：下午車輛偵測結果(1). 72. 表 15：下午車輛偵測結果(2). 72. 表 16：傍晚車輛偵測結果. 74. 表 17：雨天車輛偵測結果. 74. 表 18：隧道車輛偵測結果. 75. 表 19：夜間車輛偵測結果. 75. 表 20：低 LUX 環境車輛偵測結果. 76. 表 21：車輛偵測結果. 77. X.

(12) 第一章. 緒論. 在時代的改變下，各車廠間競爭的不再只是車輛的速度有多快，而是開發車輛的駕駛輔助系統，利用駕駛輔助系統來幫助駕駛者注意車輛周遭的環境變化，讓每位駕駛都能夠輕鬆且安全的駕駛車輛。而大部分的駕駛輔助系統有車道偏離警示系統、前方碰撞警示系統、煞車輔助系統、夜視輔助系統、環景攝影機、前方行人偵測系統、駐車輔助系統、盲點偵測系統[Dia08, Zhu06]及駕駛注意力輔助系統等，透過世界各地的開發人員研究的各種駕駛輔助系統所做的實驗，皆能夠成功地提醒駕駛者危險，並且立即提醒駕駛者，主動或是被動的啟動輔助系統，讓事件發生的危險降至最低或避免發生。西元 1994 年在法國舉辦了第一屆 ITS(Intelligent Transportation System)世界大會，世界各國研究者開始專注於駕駛輔助系統。而車道偏離警示系統最初於西元 2000 年在歐洲由 Iteris 替 Mercedes Actros 商務車開發[Wik12]，最初在轎車上使用此系統的車廠為 Infiniti，2008 年 Infiniti 更配備預防車道偏離系統(LDP)。防鎖死煞車系統(ABS)於西元 1929 年由法國飛行員所開發，直到 1978 年才開始普遍運用在汽車上[Cha12]。近年來研究者發現注意駕駛者的身體狀況也是一個重要課題，因此在西元 2009 年 Mercedes Benz 率先在國內搭載駕駛注意力輔助系統。以往碰撞警示系統僅能偵測道路上之其他車輛，而 Volvo 於西元 2010 年將自動煞車系統與行人偵測系統整合進碰撞警示系統，當系統偵測到車輛或是行人將自動煞車防止碰撞。由上述資料顯示，各車廠已趨向積極開發駕駛安全輔助系統。. 第一節各式駕駛安全輔助系統各車廠所開發的駕駛安全輔助系統其目的都是希望能夠讓駕駛者安全舒適的駕駛車輛。以下簡短介紹現今車輛所配備的各式駕駛輔助系統。本文列舉的車 1.

(13) 輛包含進口車款及國產車款，其中 Audi、BMW、Benz、Infiniti、Lexus、Porsche 以及 Volvo 為進口車款，而 Honda、Nissan、Ford、Luxgen、Toyota 以及 Mitsubishi 則為國產車款。表 1 與表 2 顯示各型車輛頂級車款與各式安全輔助系統之間的關係，若某型車輛配備某一安全輔助系統，則相關欄位以“Ｏ”符號表示。例如表 1 中 Nissan Teana 頂級車款配有駐車輔助系統、自動束緊式安全帶及煞車輔助系統。表 2 中 Honda Accord 與 Mitsubishi Lancer 頂級車款皆配備駐車輔助系統、自動束緊式安全帶及煞車輔助系統。以下將分別介紹各車廠開發之安全輔助系統。表 1：各車廠安全輔助系統(1). 駐車輔助系統車道偏離警示系統夜視系統行人偵測系統自動束緊式安全帶. Audi A8L. BMW 大五系列. BENZ S. Porsche Panamera. Toyota Camry. Nissan Teana. Luxgen. ＯＯＯＯＯ. ＯＯＯＯＯ. ＯＯ. Ｏ. Ｏ. ＯＯＯ. Ｏ. Ｏ. Ｏ. Ｏ. ＯＯＯ. ＯＯＯ. ＯＯＯＯＯＯＯ. Ｏ. ＯＯ. Ｏ. Ｏ. Ｏ. Ｏ. 駕駛注意力輔助系統煞車輔助系統碰撞預防系統盲點偵測系統. Ｏ. 表 2：各車廠安全輔助系統(2). 駐車輔助系統車道偏離警示系統夜視系統行人偵測系統. Lexus LS. Infiniti M. Volvo S60. Honda Accord. Ford Mondeo. Mitsubishi Lancer. Ｏ ※ ※ ＯＯ. ＯＯ. ＯＯ. Ｏ. Ｏ. Ｏ. Ｏ. Ｏ. Ｏ. Ｏ. Ｏ自動束緊式安全帶ＯＯＯ駕駛注意力輔助系統Ｏ煞車輔助系統ＯＯＯＯ碰撞預防系統ＯＯＯ盲點偵測系統ＯＯ ※：國外販售車款有此配備，台灣販售車款無此配備 1. Ｏ. 車道偏離警示系統車道偏離警示系統能夠防止駕駛者的恍神而偏離車道，或提醒駕駛者在 2.

(14) 未打方向燈的情況下變換車道，防止意外的發生。由表 1 及表 2 可知，進口車輛幾乎都配備了此系統，而國產車輛唯一有此配備的車款為 Luxgen，圖 1-1 顯示各品牌車道偏離警示系統介面。圖 1-1(a)中呈現 Audi 車道偏離警示系統示意圖[Aud11]，透過前置攝影機及方向盤角度感知器建立一條虛擬車道，若車輛偏離卻未打方向燈則將輕微震動方向盤警告駕駛。圖 1-1(b)則顯示 Benz 主動式路線維持系統[Aut11] 系統畫面，車輛若偏離車道中心，則系統會震動方向盤提醒駕駛，並在螢幕上顯示出車輛軌跡。圖 1-1(c)中之 BMW 車道偏離警示系統[Bmw11]會監控車道與車輛相對位置，若駕駛者未打方向燈則系統將震動方向盤發出警告訊號。圖 1-1(d)中之 Luxgen 行車偏移偵測警示系統[Lux11]於本車車輛輪胎接近車道線或變換車道未打方向燈時會以蜂鳴聲及警示字樣提醒駕駛。. (a). (b). (c). (d). 圖 1-1：車道偏離警示系統 (a)Audi 系統示意圖[Aud11]；(b)Benz 系統畫面[Aut11]；(c)BMW 系統畫面[Bmw11]；(d)Luxgen 系統畫面[Lux11]。 2. 煞車輔助系統煞車輔助系統的起源為防鎖死機制(anti-lock brake system 以下稱 ABS)，在發生緊急情況時，正常人會很用力的踩下煞車踏板，當輪胎與地面的摩擦力超過最大靜摩擦力時輪胎就會打滑，降低煞車效果，此時 ABS 會啟動。系統會在輪胎鎖死而造成打滑的瞬間啟動釋放煞車，當車輪恢復轉動後再繼續施壓，進而達到最佳煞車效果，且保有控制車輛方向的能力。目前發展的煞車輔助系統(brake assist system 以下簡稱 BAS)。當系統偵 3.

(15) 測煞車踏板以極快的速度踩下時，會認定緊急情況發生而需要緊急煞車，BAS 會對煞車系統加壓而達到最大的煞車力道。 3. 夜視輔助系統在西元 2000 年美國 Cadillac 公司的 DeVille 車款配備第一台夜視輔助系統[Ncc11]，而在 2005 年 BMW 和 Benz 也把夜視輔助系統裝在車輛上。Benz 更在 2011 年採用新的夜視輔助系統，此系統增加了行人偵測功能，在車輛前方偵測到行人時即時警告駕駛。由於在夜間環境下，車輛頭燈照射之路面亮度不足以致於視線不良，易造成行車上的危險。圖 1-2 顯示出各車廠的夜視輔助系統。. (a). (b). (c). (d) 圖 1-2：夜視輔助系統 (a)Audi 系統示意圖及警告畫面[Aud11]；(b)BENZ 系統畫面[Aut11]；(c)BMW 系統畫面與警示[Bmw11]；(d)Luxgen 系統畫面[Lux11]。圖 1-2(a)中之 Audi 夜視輔助系統[Aud11]幫助駕駛在黑暗中，看清交通標誌、彎道、車輛及障礙物等，並搭配紅外線熱感應式攝影機辨識前方具有熱原之物體，如行人或動物。圖 1-2(b)呈現出 Benz 夜視輔助系統[Aut11]系統畫面，利用紅外線攝影機拍攝前方道路狀況，將黑白影像顯示在儀表板螢幕上。圖 1-2(c)的 BMW 夜視系統[Bmw11]透過紅外線攝影機識別車輛前方物體，行人或自行車騎士皆可識別，並顯示於螢幕或抬頭顯示器上，警告駕駛者。圖 1-2(d)中為 Luxgen 高感光夜視輔助系統[Lux11]顯示畫面，藉由高感度 CCD 鏡頭拍攝車輛前方畫面，此鏡頭僅需 0.1Lux 的亮度即可感測並顯像於螢幕上。 4.

(16) 4. 駐車輔助系統駐車輔助系統最一開始是使用雷達來偵測車後的障礙物，後來車廠開發出倒車影像系統，及自動駐車系統來取代。雷達偵測系統會在駕駛者車輛尾端靠近後方車輛或障礙物時，發出警示聲音提醒駕駛者。倒車影像系統則將車後的影像顯示在螢幕上，並把停車的路線顯示出來，協助駕駛者倒車。圖 1-3 顯示出倒車影像系統介面。圖 1-3(a)為 Audi 駐車輔助系統示意圖[Aud11]，該系統以超音波感應器量與周圍障礙物之距離，或藉由後方攝影機拍攝彩色影像，計算出參考線條及導引線條顯示在螢幕上。圖 1-3(b)呈現 Porsche 停車測距輔助系統[Por11] 之系統畫面，該系統搭配四具車尾感應裝置，會在出現障礙物時發出聲音訊號警告駕駛者。搭配使用後視攝影機擷取影像，將導引標線與影像重疊，並根據方向盤方位估算行進路線。. (a). (b). 圖 1-3：駐車輔助系統 (a)Audi 系統示意圖[Aud11]；(b)Porsche 系統畫面[Por11]。有些車廠利用多顆攝影機取得 360 度環景影像，將車輛周圍影像顯示在螢幕上，提供駕駛者停車空間是否充足及狹窄道路四周的空間資訊，降低意外事故的發生。圖 1-4 為環景影像顯示系統介面圖。圖 1-4(a)中 BMW 的環景顯示系統[Bmw11]利用五組攝影機，將車輛周圍影像顯示於螢幕上，並透過紅、黃、綠及不同長度警示音來表示與車輛間的遠近。圖 1-4(b)呈現出 Luxgen 的 360 度環景影像系統[Lux11]之系統畫面，該系統採用四組攝影機，藉由攝影機擷取四個方位的影像整合，將結果輸出於螢幕上。. 5.

(17) (a). (b). 圖 1-4：環景影像顯示系統 (a)BMW 系統畫面[Bmw11]；(b) Luxgen 系統畫面[Lux11]。目前更有車廠開發出自動停車系統，如 Audi、BMW、Benz、Lexus 和 Ford 旗下的 Lincoln MKT 以及 Toyota 等車廠的某些車款都配有自動駐車系統，協助駕駛者停車[You11]。 Benz 的自動停車系統在時速低於 35 公里時會自動啟動系統，偵測車輛周圍是否有停車位，當駕駛確認要停車後，駕駛只需要控制油門及煞車即可將車輛停妥。而 BMW 的自動停車系統最為特別，因為該系統能夠在駕駛者下車的情況下讓車輛自動停入車庫，對於停車範圍狹小或是新手的駕駛很方便。 5. 碰撞警示系統碰撞警示系統在駕駛因疲勞或恍神而未注意周遭環境，可能與前方車輛或周圍車輛距離過近發生碰撞造成危險時警示駕駛者。此系統不僅能夠偵測與前車距離判斷是否會發生碰撞，甚至能在發生危險時，提前將安全帶預先拉緊，並把頭枕靠近頭部減少頸椎受傷的可能性。有些車廠會在此配備中加上行人偵測系統，像是 Volvo、BMW、BENZ、Audi 和 Lexus，防止車輛撞上行人。圖 1-5 顯示不同車廠碰撞警示系統警示影像。圖 1-5(a)為 Volvo 開發的 CWFAB(collision warning with full auto brake)系統[Car11]之警示影像。該系統利用感應器與攝影機偵測前方障礙物，當本車與前方車輛或行人距離太近時系統會警告駕駛者，若上述二者持續接近且駕駛並無煞車動作，則系統將介入自動煞車。圖 1-5(b)為 BMW 碰撞警示系統 [Uca11]警示影像，若該系統透過雷達感測出可能發生本車追撞前車的情況， 6.

(18) 則將以警示燈號顯示於擋風鏡或儀表板上，並自動輕微煞車。若本車與前車更為接近時除了視覺警示外還會加入聲音警告，當駕駛仍無反應時，系統將介入自動煞車，以期將車速降低避免碰撞。. (a). (b). 圖 1-5：碰撞警示系統警示影像 (a) Volvo 碰撞警示系統警示影像[Car11]；(b) BMW 系統碰撞警示影像 [Uca11]。圖 1-6 顯示不同車廠行人偵測系統螢幕畫面。圖 1-6(a)呈現 Volvo 的 CWFAB[Car11]系統畫面，該系統利用攝影機偵測行人後，再利用雷達判斷距離。圖 1-6(b)為 Benz 行人偵測系統[Mer11]之系統畫面，該系統利用紅外線攝影機拍攝車輛前方，顯示於螢幕上，若判斷前方有行人或動物，則在螢幕上將其框起以提醒駕駛。. (a). (b) 圖 1-6：行人偵測系統螢幕畫面 (a)Volvo 行人偵測系統畫面[Car11]；(b)Benz 行人偵測系統畫面[Mer11]。 6. 盲點偵測系統盲點偵測系統能協助駕駛者偵測視覺死角是否有車輛出現，當駕駛者變換車道時會警示駕駛或防止駕駛者進行變換車道。警示的方式包含聲音警示或視覺警示。在視覺警示時系統會在車輛出現同方向的後照鏡上亮出警示燈。圖 1-7 顯示盲點偵測系統示意圖與其配備位置。圖 1-7(a)為 Porsche 的變換車道輔助系統[Por11]示意圖，該系統利用雷達. 7.

(19) 感應器監控車輛後方及盲點區域。假使車輛出現在盲點區域且快速接近，系統會將視覺警示訊號顯示於後視鏡上。圖 1-7(b)為 Volvo 盲點偵測系統[Blo11] 攝影機設置圖。Volvo 將攝影機裝置在後視鏡下方，取得車側後方影像，一旦有超過機車體積以上物體進入盲點，且相對時速介於 20 至 70km/h，則於車內 A 柱上顯示警告燈光。圖 1-7(c)顯示 Infiniti 盲點偵測系統[Mob11]警示圖，當該系統在盲點區域偵測出車輛時，A 柱下方將亮起警示燈提醒駕駛。在警示燈亮起情況下，若駕駛變換車道，系統會介入自動將車輛維持於原車道。圖 1-7(d)為 Audi 盲點警示系統[Uca11]警示圖，該系統判斷出盲點兩側區域有車輛時，將亮起後視鏡上的警示燈，圖中紅圈處標示警示燈之位置。. (a). (b). (c) (d) 圖 1-7：盲點偵測系統示意圖與配備位置 (a)Porsche 盲點偵測系統示意圖[Por11]；(b)Volvo 盲點偵測系統攝影機 [Blo11]；(c) Infiniti 盲點偵測系統警示圖[Mob11]；(d)Audi 盲點偵測系統警示圖[Uca11]。 7. 駕駛注意力輔助系統駕駛注意力輔助系統可偵測駕駛者當前精神狀況，若系統偵測出駕駛者注意力降低或行車習慣與平常相異，會在車輛儀表板上顯示訊息，提醒駕駛者休息。若駕駛注意力不集中或體力不繼時持續駕駛，不管對自己或對道路上的其他駕駛皆是危險的，因此駕駛注意力輔助系統的開發有其必要。圖 1-8 顯示該類系統警示畫面。圖 1-8(a)呈現 Volvo 的 DAC(driver alert control)駕駛控制輔助警示系統 8.

(20) [Vol11]之警示畫面，該系統透過攝影機監控前方道路及方向盤的動態，並與平時駕駛習慣進行比較，若偵測出駕駛發生睏倦或分心，則系統會利用聲音警示及視覺警示提醒駕駛者。圖 1-8(b)顯示 Benz 駕駛注意力輔助系統[Mer11] 之警示畫面，該系統藉由數具感知器分析駕駛行為與睏倦跡象，一旦判斷出駕駛有上述跡象，便會立即發出警示。. (a). (b) 圖 1-8：駕駛注意力輔助系統 (a)Volvo 的系統警示畫面[Vol11]；(b)Benz 的系統警示畫面[Mer11]。研究者開發這些駕駛安全輔助系統目的在於減少駕駛者駕駛負擔，在危險發生時適時提醒駕駛者。舉例來說，假使今日某駕駛開車上路前往目的地途中，需要從四米巷道轉往省道，此時環景影像顯示系統可以協助本車車輛順利通過四米巷道。而行人偵測系統則可以幫助駕駛注意路上隨意行走的行人或寵物。當該駕駛從省道轉往高速公路行駛時，若駕駛未打方向燈且車輛偏向車道標線，此時車道偏離警示系統將發揮作用警示駕駛。若駕駛發現該情況而打方向燈進行車道變換，卻未注意到車側後方盲點區域有其他車輛，則盲點偵測系統將自動介入並將車輛維持在原車道行駛。若前方車輛車速驟減使得本車與前方車輛距離急速接近，碰撞警示系統會發出警示聲提醒駕駛。此時若因受到突發事件影響，駕駛大力踩下剎車踏板，藉由煞車輔助系統可在急煞的狀態下避免輪胎鎖死，使本車能夠順利化解可能發生的危險。最後當本車抵達目的地後，駐車輔助系統可協助駕駛者順利停妥車輛。由上述的例子可以看出，駕駛安全輔助系統可協助駕駛安全順利的抵達目的地。. 第二節研究動機與困難本論文所提出之高速公路上道路標線偵測與前車碰撞警告系統，包含道路標 9.

(21) 線偵測系統及前車碰撞警告系統。其中前車碰撞警告系統又可分成前方車輛偵測子系統及碰撞警告子系統。藉由第一章第一節的表 1 及表 2 可以輕易地看出並非所有車廠的車輛皆配有各式的駕駛安全輔助系統。其中，車道偏離警示系統與碰撞警示系統對本車安全來說相對重要。駕駛者在駕駛時會因為被前方車輛或左右車輛無預警的行為影響，導致應變不及而發生危險。若本車車輛具有車道偏離警示系統，就可以判斷本車是否變換車道。若本車配備碰撞警示系統，即可提供駕駛前方車輛與本車距離及位置資訊，預防前方車輛異常駕駛行為，避免前方車輛與本車距離過近而發生車禍。目前各車廠的車道偏離警示系統與碰撞警告系統皆為分開的兩種不同系統，且有些車廠之車輛並未同時配備此兩項駕駛安全輔助系統。因此本研究將此兩系統做整合，並利用車道標線與車輛偵測之結果計算出前方車輛與本車距離，判斷本車目前狀況是否安全。而目前各車廠所使用之道路標線與前方車輛偵測的配備皆不同，本系統期望能夠在不同行車紀錄器及不同車輛上穩定運行。圖 1-9 至 1-12 的影像長寬比例為 16：9。. (a). (b). (c). (d) 圖 1-9：不同光線之輸入影像範例 10.

(22) 在道路標線偵測上會因為光線的影響及標線的新舊與否，如圖 1-9 顯示四張不同光線所拍攝出的影像差異，由圖可看出色度與亮度皆明顯不同，其中圖 1-9(a) 拍攝時間為中午路面顏色較淺。圖 1-9(b)則為下午時段本車位於最左車道上。圖 1-9(c)的拍攝時間為早上 9 點 20 分左右，左右路面顏色有深淺差異。圖 1-9(d)於傍晚拍攝之畫面路面顏色偏暗。在雨天環境下，雨刷的使用會使拍攝影像中間有移動式的黑影如圖 1-10。圖 1-10(a)(b)的差別在於天空的亮度不同。. (a). (b) 圖 1-10：雨天環境下輸入影像範例. 當車輛行駛穿過高架橋會造成標線受到遮蔽以致亮度不一致如圖 1-11。圖 1-11(a)顯示出車輛前方有高架橋，圖 1-11(b)為車輛將要進入高架橋下道路標線受到高架橋陰影所遮蔽，造成道路標線顏色有所差異。. (a). (b) 圖 1-11：高架橋遮蔽之輸入影像範例. 圖 1-12 顯示出行駛於隧道中亮度不同之情況。圖 1-12(a)的道路標線較為明顯。圖 1-12(b)的道路標線因為隧道內光線不夠明亮，所以較為不清晰。. 11.

(23) (a). (b) 圖 1-12：行駛隧道中之輸入影像範例. 圖 1-13 顯示另一台行車紀錄器所拍攝之影像，其影像長寬比例為 4：3。圖 1-13(a)顯示出車輛欲穿過高架橋之影像。圖 1-13(b)則顯示出無遮蔽之影像。. (a). (b) 圖 1-13：不同比例之輸入影像範例. 由上述之各項例子得知影像顏色會受到氣候與周圍環境影像，造成道路標線無法輕易的利用顏色來進行偵測。. (a). (b) (c) 圖 1-14：日間車輛之輸入影像範例 (a)白天水泥車輸入影像；(a)中午休旅車與房車輸入影像；(b)下午箱型車與遊覽車輸入影像。而在日間車輛偵測上，在不同的氣候狀況及道路顏色條件下找尋車輛陰影灰階值是困難的，因為每個影片的平均 intensity 值皆不同，增加選擇陰影門檻值的難度，圖 1-14 顯示不同時刻在高速公路上行車紀錄器所拍攝不同車輛的影像。圖. 12.

(24) 1-14(a)之右車道上顯示出白天情況下水泥車的車輛，圖 1-14(b)則為中午時刻休旅車及普通房車之車輛，圖 1-14(c)隻左右車道上分別顯示出下午的遊覽車和廂型車之車輛。在夜間車輛偵測時，日間的車輛特徵在夜間並不明顯，在全黑無路燈的情況下車輛毫無陰影，因此無法使用相同特徵對應全天候的車輛偵測。因此我們使用車輛尾部之煞車燈當作夜間車輛特徵，圖 1-15 說明不同情況下夜間車輛影像。圖 1-15(a)顯示出光線充足但下雨之煞車燈影像。圖 1-15(b)影像亮度降低且煞車燈雖被雨刷所遮蔽但仍隱約可見的影像，由圖中可觀察知因下雨水花飛濺以至於車輛下方無陰影。圖 1-15(c)則顯示出無路燈且完全無光線之煞車燈影像。由圖 1-15 所列舉出的例子可得知，夜間或下雨時車輛下方沒有陰影特徵。. (a). (b) (c) 圖 1-15：夜間車輛輸入影像範例 (a)光線充足且使用雨刷的輸入影像；(b)光線不充足且受雨刷遮蔽的輸入影像；(c)完全無光線的輸入影像。接下來第二章會探討駕駛安全輔助系統的技術與方法的相關文獻；第三章介紹車道偵測系統；第四章則說明車道標線偵測結果；第五章則介紹車輛偵測系統；第六章說明車輛偵測結果；第七章為結論及未來工作。. 13.

(25) 第二章文獻探討. 在現今的社會中，藉由新聞播報或是網路描述，惡意逼車或危險駕駛發生情況層出不窮，駕駛者的道德素養與數年之前相比差了很多，進而影響駕駛者的駕駛行為與安全。危險駕駛行為有以下幾種： 1. 前車車輛遇到未知事故，造成車速驟減，與本車距離大幅拉近。 2. 左右兩車道之車輛未打方向燈切入本車車道，影響本車的駕駛行為與安全。 3. 前方車輛蛇行，使本車駕駛無法預測前方車輛動向，影響本車駕駛。 4. 左右兩車道之車輛未保持安全距離而進入本車車道，影響本車駕駛。當駕駛的車速越快，人類的視覺範圍和視認距離會越小而視力也會下降。在 [旅行 12]說明時速與視野、視距和視力的相對關係。在時速 40Km/H 左右視角約為 100 度；時速 70Km/H 視角約為 65 度，視力 1.2 的駕駛此時視力將會降低到 0.7；當時速達到 100Km/H 時視角只有 40 度。當時速 60Km/H 的時候視認距離為 240 公尺；當時速達到 80Km/H 視認距離降低到 160 公尺；因此時速提高 1/3 視認距離將減少 1/3。由於人體物理本質的影響而無法清楚的確認周遭環境，所以透過車輛偵測系統防止駕駛者在高速行駛狀態下，本車車輛與前方車輛太過靠近而發生危險。本論文所提出之高速公路上道路標線偵測與前車碰撞警告系統，包含道路標線偵測系統[Bro10, Che06, Chi05, Lee09, Liu11, Meu09, Wan05, Yim04, Zhe08, Zho10]及前車碰撞警告系統。其中前車碰撞警告系統又可分成前方車輛偵測子系統[Ayt10, Cha08, Wan05, Zhe08] 及碰撞警告子系統[Geh07]。由上面的分類可知，車道標線偵測及前方車輛偵測的技術會影響道路標線偵測與前車碰撞警告系統的準確率。近年來有越來越多研究者開發各種車道標線偵 14.

(26) 測及前方車輛偵測技術供參考，以下將分別探討其相關文獻。. 第一節車道標線偵測技術在台灣一般道路標線的顏色主要為白色、黃色及紅色，而在高速公路上則只有白色與黃色兩種，因此顏色可做為道路標線偵測的主要特徵。另外，道路標線的顏色與道路顏色本身具有強烈對比性，因此道路標線邊緣亦可作為道路標線偵測時的主要特徵。顏色與邊緣兩特徵可相輔相成，在一般正常狀況下利用顏色特徵即可擷取出道路標線，但當路面本身的顏色受光線影響而與道路標線顏色相近時，就可以利用邊緣偵測的輔助來找出道路標線。 Khaalifa 等研究者[Kha09]使用攝影機擷取車輛前方影像，並將輸入之影像轉為灰階影像後使用 FHD(Finlayson-Hordley-Drew)演算法過濾道路上的雜訊。再利用 Canny filter 過濾出道路標線邊緣特徵，最後利用這些特徵透過 Hough transform 找出近似之雙曲線即為道路標線。 Chiu 和 Lin[Chi05]觀察得知影像中道路顏色在不同天氣狀況下會呈現出不同的灰階值。晴天時車輛下方之路面灰階值之範圍為[80,130]，非車輛下方之路面灰階值範圍為[130,170]，而雨天的範圍則落於[70,120]之間。因為一般路面以灰色居多，因此影像中路面上 pixel 的 RGB 值兩兩差距皆會小於一門檻值，且該門檻值會依據時間的不同而改變。由於道路標線顏色與路面的顏色有明顯的差異，因此可以藉由上述方法分離出路面與非路面部分(包含道路標線)。此時，該系統有可能會把白色標線以及遠方較暗標線誤判成路面，所以還需要定義一門檻值𝑡ℎ來擷取這兩種標線。該系統首先定義一個 ROI(region of interest) 區域，假設該區域的顏色接近灰色，統計區域中之 pixels 其各灰階值之個數，數量最多的灰階值設定為𝑖max。假設𝑛(𝑖𝑡 )為灰階值𝑖𝑡 的總數。在𝑖1 ∈[𝑖max ,255]範圍中，第一個滿足 𝑛(𝑖1 ) > 20 且 𝑛(𝑖1 + 1) ≤ 20 條件的灰階值則令為 𝑡ℎ1 。而介於 𝑖2 ∈[𝑖max ,255]中，𝑖2 由 255 往𝑖max 方向依序檢查，最後一個滿足𝑛(𝑖2 ) >20 且 𝑛(𝑖2 + 1) ≤20 條件的灰階值則令為𝑡ℎ2 ，如下列式子所描述： 15.

(27) th1  min i1 , n(i1 )  20 and n(i1  1)  20 i1. th2  max i2 , n(i2 )  20 and n(i2  1)  20 i2. th12  th22 T1  2 此時若影像中 pixels 的灰階值超過𝑇1 則為道路標線，反之則視為路面。若影像中某一 pixel 所在的標線橫向寬度小於 30 pixels 且垂直方向的標線連續，則此 pixel 屬於道路標線的一部分。最後取道路標線中線位置並利用 Hough transform 可找出近似二次函數的曲線，即為道路標線。 Sun 等研究者[Sun06-1]使用 FCM(Fuzzy c-Means clustering)演算法計算出圖 2-1 中高和低兩門檻值。圖 2-1 顯示每一列相鄰兩灰階值相減取絕對值後的結果，利用 FCM 找出高低兩個門檻值𝐼1 及𝐼2 。再從影像中找出每一列第一個大於𝐼2 的灰階值計做𝑇2 並記錄其飽和度。若每一列超過 80 個 pixel 的灰階值大於𝑇2，則以𝑇2 與其飽和度當做門檻值，否則僅以𝑇2 做為門檻值。最終利用道路標線長寬比過濾出最後偵測結果。. 圖 2-1：影像中相鄰灰階相減取絕對值後之值的分布[Sun06-1] Lin 等研究者[Lin10]使用 Gaussian filter 去除影像中的雜訊，接著使用 NLMS(non-local maximum suppression)將邊緣特徵較弱的部分過濾掉。利用具有方向性的 edge-gap closing 之 extended edge-linking 演算法將上述邊緣影像從底部進行掃描。若邊緣點不連續，以 edge link 方向增加新節點，最後得到一張候選標線邊緣影像。接著利用實際道路標線的間距與邊緣影像進行比對，若邊緣影像上 16.

(28) 之邊緣點不符合實際道路標線間距比例，則判定該邊緣點為雜訊並將此點刪除，否則保留該邊緣點，以此結果為道路標線候選區域。以 YUV color space 掃描道路標線候選區以黃色、藍色及白色所佔比例來確認是否為標線，將結果利用 Hough transform 技術找出合適直線。 Gonzalez 和 Ozguner[Gon00]偵測影像底部高度為 5 個 pixels。寬度為影像寬度的 band，並計算 band 中道路灰階值分布的最大值gmax 及最小值gmin。若影像中某一 pixel 灰階值超過gmax 則為道路標線，低於gmin 則為障礙物。令𝑆為標線面積， 𝑦𝑝 為 pixel p 之 y 座標位置，𝑦𝑝𝑝 為消逝點的 y 座標位置，則. Sw . S y p  y pp. 他們利用道路標線與垂直線的夾角、𝑆𝑤 和標線寬度做為 decision tree 的判斷條件，而 decision tree 的 leaves 中存的是自信值。使某一 pixel 的自信值夠高，則其屬於道路標線的可能性高；若自信值不夠高時，該 pixel 必須在正確的標線位置才認定屬於道路標線；若其自信值為負時，則該 pixel 一定不屬於道路標線。最後依舊利用二次函數來近似標線。. 第二節車輛偵測技術車輛的尾部具有多種特徵，如直角 corner、垂直邊緣、水平邊緣、車輛下方陰影及左右對稱性。直角 corner 由車體尾部及保險桿兩端構成；垂直邊緣主要來自車體兩側的線條；水平邊緣則由保險桿上下的水平線條組成；而車輛下方陰影則由太陽光照射到車輛，車身投影至道路上而產生；左右對稱性則導因於車輛原本的設計。在車輛偵測時會受到天氣或障礙物影響而增加其困難性，因此在偵測時可同時使用多種特徵來進行，以提升系統的穩定性。 Huang[Hua10]利用固定攝影機來找出前景影像。該方法可去除前景影像中陰影部分找出前景輪廓。另外，利用搭配影像中 gradient 矩陣的 eigenvalues 做為特徵，找出特徵區域。系統聯集輪廓區域及特徵區域，便可框出車輛位置。 17.

(29) Jazayeri 等研究者[Jaz11]使用 corner、水平邊緣及灰階峰值當作特徵。Jazayeri 認為 corner 特徵在車輛上保有相當的穩定性，車輛的車頂、後車窗、後保險桿及陰影具有水平邊緣特徵，在白天系統容易辨識。當光線亮度不足時，該研究利用灰階峰值找出車尾燈。令𝑤(𝑥, 𝑦)為(𝑥, 𝑦)位置之 pixel 屬於車輛的可能權重值，若該位置之 pixel 座標(𝑥, 𝑦)在時間 t 時具有水平邊緣特徵，則𝐿(𝑥, 𝑦, 𝑡)為 1 否則為 0。利用下方方程式 ℎ/2. 𝑇𝑙 (𝑥, 𝑡) = ∑ 𝑤(𝑥, 𝑦)𝐿(𝑥, 𝑦, 𝑡) 𝑦=−ℎ/2. 可畫出圖 2-2(a)，即水平線段剖析圖。該圖中每一行表示一張影像的水平邊緣的垂直投影結果，越亮的地方代表水平邊緣特徵越強烈。利用圖 2-2(a)中心點位置畫出車輛軌跡如圖 2-2(b)，最後再利用軌跡進行追蹤。. (a). (b). 圖 2-2：水平線段剖析圖及軌跡圖 (a)水平線段剖析圖；(b)車輛軌跡圖。 Tsai 等研究者[Tsa07]使用顏色當作偵測車輛的特徵之一，Tsai 提出一種彩色轉換模組，在該模組的協助下，系統即使在不同的天氣及亮度條件下依然能夠辨別出車輛。該研究首先將 RGB color space 做轉換，經統計，屬於車輛的 pixels 其 R、G、B components 的值之位置在圖 2-3 中以綠色的點表示，令𝐺𝑝 為 pixel p 的 G component 之 intensity 值，𝐵𝑝 為 p 的 B component 之 intensity 值，𝑍𝑝 為 p 的灰階值，轉換公式如下：. up . 2Z p  G p  B p Zp.  Z p  G p Z p  B p  and v p  Max ,  Z p   Z p 18.

(30) 轉換後屬於車輛的 pixels 其𝑢𝑝 和𝑣𝑝 的值落點如圖 2-3 藍色區塊所示。由圖 2-3 中可觀察知藍色區域範圍較綠色區域範圍集中，因此更適合用來偵測車輛。最後以此範圍為依據找出符合之車輛位置。. 圖 2-3：顏色轉換[Tsa 07] Chen 等研究者[Che07]利用 GMM(Gaussian Mixture Model)找出 corner 特徵和邊緣特徵，並以此兩特徵重疊後特徵值最大的位置，視為車輛左下角 corner 位置。在影像中僅有一車輛的前提下，將邊緣特徵垂直投射並在垂直投射的結果中找出兩峰值，分別為車輛左右兩邊。由於車輛的高寬比例固定，因此可藉由已知車輛的寬度計算出車輛高度。他們認為即使車輛會因為距離的遠近而影響大小，高寬比依舊保持不變，所以可推算出前方車輛與本車距離。 Sun 等研究者[Sun06-2]認為後車窗、車牌和保險桿能夠偵測出水平或垂直特徵，但是結果會受氣候條件不同而改變。為了解決此問題 Sun 等人將影片降維來做分析，儘管降維會損失眾多垂直和水平資訊，但重要的資訊仍會保留。將降維影像進行水平邊緣和垂直邊緣偵測，分別製作長條圖，尋找長條圖中較大值並進行標示，利用長寬比找出可能為車輛之候選位置。接著利用 PCA 找出影像中的 eigen-features、Gabor feature 及 Harr wavelets，確認其候選位置車輛是否正確。 Cheng 和 Chen[Che11]以陰影、對稱性和垂直邊緣來做為車輛偵測特徵。利用 pixels 的灰階值尋找車輛下方陰影，以陰影做為車輛底部邊緣。由於單純偵測垂直邊緣會被雜訊干擾導致失敗，因此加入邊緣擷取、pixel 的灰階值及 pixel 的 saturation 的訊息找出影像中合適的對稱軸。以對稱軸為中心找尋其左右垂直邊緣特徵，將結果累加畫出長條圖，長條圖左半邊與右半邊之最大值即為車輛邊緣。該研究利用頭燈或尾燈來偵測夜間車輛位置，將亮的區域顯示出二元圖，刪除不 19.

(31) 連續之亮度區域。利用亮度區域的水平距離、垂直距離、長寬比，找出一對符合條件的亮度區域，即為車輛位置。 Kim 等研究者[Kim05]使用影像技術與聲納設備偵測前方車輛。首先尋找道路標線消逝點畫出消逝線，利用消逝線上方影像的灰階值來判定白天或晚上。在白天環境下，將消逝線下方影像執行 histogram equalization，使道路與其他物體間的顏色差距更明顯，以期能擷取出車輛陰影部分。接著在陰影部分進行垂直邊緣掃描累加，判斷是否具有對稱性。當與前車距離低於 3 公尺，因為車輛佔據大部分影像，不容易偵測其車輛特徵，此系統將使用聲納偵測前方車輛。若與前車距離介於 3 公尺至 10 公尺則聲納設備與影像特徵皆會採用。在夜間環境下，利用影像中較亮的區域，如頭燈、尾燈、煞車燈和反射的光線，進行車輛特徵偵測。利用成對的亮度區域過濾掉雜訊區域。藉由亮度區域面積大小區分成大中小三類，分別判斷頭燈(大)、反射光線及尾燈(中)和煞車燈(小)。. 第三節系統流程本研究系統包含兩個子系統，分別為道路標線偵測子系統及車輛偵測子系統。本系統主要目的在偵測前方車輛所在位置、左右車道車輛是否進入本車前方車道，或是前方車輛接近本車。本系統流程圖如圖 2-4 所示，系統首先輸入影像進行道路標線偵測及前方車輛偵測，再利用道路標線與前方車輛之偵測結果計算出與前方車輛的距離。. Sequence input Lane detection Vehicle detection Vehicle distance estimation 圖 2-4：系統流程圖本系統依功能可分為兩個子系統，道路標線偵測子系統與前方車輛偵測子系 20.

(32) 統。道路標線偵測子系統利用 Sobel 邊緣偵測技術及 Hough transform 線段偵測技術來擷取車道標線。前方車輛偵測子系統，在日間時利用 Otsu’s method 尋找合適之門檻值擷取出陰影特徵，並利用水平邊緣偵測車輛水平特徵，同時採用此兩項特徵進行影像中車輛定位；另外，在夜間時則使用 YCrCb 色彩空間的 Cr component 及 HSI 的 Hue component 擷取煞車燈顏色特徵，並透過煞車燈的對稱性進行車輛定位。由第一章第二節得知道路標線可能會受到天氣及標線新舊差異所影響，造成道路標線偵測無法單純以顏色作為特徵進行擷取，因此本研究使用邊緣擷取找出道路標線的邊緣。邊緣偵測常用的方法有 Canny 邊緣偵測與 Sobel 邊緣偵測，我們使用 Sobel 邊緣擷取技術找尋道路標線邊緣，不使用 Canny 邊緣偵測的原因在於後者擷取出的邊緣特徵與前者相比弱了一點，如圖 2-5 所示。之後，再利用 Hough transform 將邊緣特徵點進行線段偵測，透過線段之斜率與位置找出符合道路標線線段。圖 2-5(a)為輸入之灰階影像，圖 2-5(b)(c)分別顯示出 Canny 邊緣擷取結果和 Sobel 邊緣擷取結果，藉由(b)(c)兩張影像可以觀察得知，Sobel 邊緣偵測出的特徵遠比 Canny 邊緣偵測的結果強烈。. (a). (b) (c) 圖 2-5：邊緣擷取範例 (a)灰階影像；(b)Canny 邊緣擷取結果；(c)Sobel 邊緣擷取結果。前面曾經說過在車輛偵測方面，分成日間及夜間兩種偵測方式。日間時，在日光照射下，車體底部區域會因為光線受到車體遮蔽而造成路面上 pixels 的 intensity 值低於未遮蔽區域。即使天空雲層過厚阻擋陽光照射，車體底部路面區域依然保有較未遮蔽區域低的 intensity 值。而車輛尾部的保險桿及後車窗甚至是 21.

(33) 車輛陰影的邊緣都能藉由邊緣偵測擷取出水平邊緣特徵，因此本研究將使用陰影及水平邊緣作為車輛特徵進行偵測。在偵測出車輛之後，系統利用指數函數 (exponential function)預測前方車輛距離，並在本車與前方車輛距離低於 10 公尺時警示駕駛。. (a). (b). (c). (d). (e). (f). (g). (h) 圖 2-6：Otsu’s method 範例 (a)(b)(e)(f)輸入影像；(c)(d)(g)(h)分別為利用 Otsu’s method 二元化後之結果。在不同的亮度條件下找尋影像中的陰影是很困難的。而 Otsu’s method 能夠找 22.

(34) 尋影像中找尋合適之門檻值。因此本研究使用 Otsu’s method 找尋影像中陰影區域來擷取陰影如圖 2-6 所示為利用 Otsu’s method 找陰影的範例。圖 2-6(a)為中午時段拍攝的影像，影像中包含房車及工程車，利用 Otsu’s method 二元化結果如圖(c) 紅圈處為車輛陰影部分；圖 2-6(e)(f)為另外兩例，時段為上午 9 點 20 多分，影像中分別包含房車、廂型車與水泥車，二元化結果如圖 2-6(g)及(h)；圖 2-6(b)則為下午接近 5 點時大貨車之影像，二元化影像如圖 2-6(d)所示。. (a). (b). (c). (d). 圖 2-7：車輛煞車燈偵測結果(1) (a)輸入影像；(b)影像中偏紅色 pixels；(c)Normalized R 二元化後之結果；(d)Cr 二元化之結果。在夜間與雨中時，影像中煞車燈是顯而易見的，如圖 2-7(a)所示。因此車輛尾部的煞車燈是個重要的特徵。而煞車燈為左右成對出現，本系統利用成對煞車燈之位置偵測車輛位置。由於天空的亮度不足，使得陰影無法成為偵測車輛的良好特徵。但是在光線不足的前提下，所有的駕駛都會開啟大燈或小燈，此時，車後的煞車燈將會同時啟動。因此本系統使用 YCrCb 的 Cr component 以及 HSI 的 Hue component 找尋車輛尾部之煞車燈。不使用 RGB 中偏紅色的 pixels 及 Normailzed R 的原因為此兩特徵在影像中所佔比例面積太大會造成誤判將路面及. 23.

(35) 其他障礙物一起偵測出來，如圖 2-7 所示。圖 2-7(a)為輸入影像，圖 2-7(b)及(c) 分別為影像中偏紅色區域和 Normalized R 的二元影像結果。圖 2-7 (d)為 Cr component 二元化後之影像。紅圈處為煞車燈部分。夜間偵測又區分兩種情況，其一為亮度還足夠偵測道路標線如圖 2-7 所示。另一情況輸入為影像全黑無法偵測出道路標線，如圖 2-8(a)示，本系統期望仍能在此狀況下穩定運行。圖 2-8(a)影像中只有紅色煞車燈而無其他光害也看步道道路標線，此時車輛偵測仍可利用煞車燈的特徵來進行，(b)為 Cr component 二元化後之影像。可明顯看出煞車燈的部分。由上述說明可得知 Cr component 比 Normalized R 更適合偵測煞車燈。. (a). (b) 圖 2-8：車輛煞車燈偵測結果(2) (a)輸入影像；(b)Cr 二元化之結果。. 24.

(36) 第三章道路標線偵測系統. 第一節邊緣擷取邊緣擷取原理在於找出影像中相鄰兩 pixels 的灰階值具有強烈差距的地方。邊緣擷取方法眾多，有 Sobel operator、Canny filter、Prewitt operator 及 Roberts operator 等。Sobel operator 利用影像中 pixel 的 x 方向與 y 方向 intensity 差值，找出物體邊緣。方法為利用水平和垂直兩遮罩，在遮罩的各個位置給予不同權重值，和影像中的 intensity 值進行 convolution，遮罩如下所示：.  1  2  1 Gx   0 0 0   1 2 1 . ；.  255 f ( x, y )     Gx  G y.   1 0 1 G y   2 0 2   1 0 1 if G x  G y  255 otherwise. 上式中 G x 為水平遮罩而 G y 為垂直遮罩。如果某一 pixel 及其上下兩點之左右兩邊的 pixels intensity 值無差異，則 G x 為 0。反之可以藉由上述判斷式求出 f ( x, y) 之值，算出邊緣強度。因此用 G x 可以找出影像中垂直邊緣，同理 G y 可以找出水平邊緣。圖 3-1 的 sobel 邊緣影像圖所示。圖 3-1(a)顯示灰階原始影像。圖 3-1(b)為使用 G x 遮罩找出之垂直邊緣。圖 3-1(c)則為使用 G y 遮罩所找出之水平邊緣。圖 3-1(d)顯示同時使用 G x 及 G y 兩遮罩之邊緣結果。. 25.

(37) (a). (b). (c). (d). 圖 3-1：Sobel 邊緣影像圖 (a)原始影像灰階圖；(b)垂直邊緣擷取結果；(c)水平邊緣擷取結果；(d)垂直水平兩邊緣擷取結果。. 第二節線段擷取在 xy 平面上一點座標 ( x, y ) ，會有無限多條直線 y  ax  b 通過該座標，其中 a, b  R ，如圖 3-2。圖 3-2(a)顯示出 xy 平面上兩點 ( xi , yi ) 及 ( x j , y j ) 所構成的一條直線。將此方程式改寫成 b  ax  y ，給定一座標 ( xi , yi ) 則在 ab 平面上將對應出一條直線。xy 平面上另一座標 ( x j , y j ) 也會在 ab 平面上產生出一條相對應的直線，除非此兩直線平行，否則兩直線必相交於一點，以 (a' , b' ) 表示。此時 a ' 跟 b' 分別為 ( xi , yi ) 及 ( x j , y j ) 所構成之直線斜率與截距，如圖 3-2(b)。圖中的兩條直線分別為 ( xi , yi ) 和 ( x j , y j ) 在 ab 平面中所構成的直線，其兩直線交點為 (a' , b' ) ，找尋 ab 平面上交點各個數最多之座標 (a' , b' ) ，即可在 xy 平面上找出一條直線。. 26.

(38) (a) (b) 圖 3-2：xy 平面及 ab 平面中所對應出的線段[Gon07] (a)xy 平面；(b) ab 平面。上述方法困難點在於 a 趨近於無限大時(即直線為鉛直線)，為了計算出 ab 平面上的交點個數，其累加矩陣將會因為 a 和 b 的關係而趨近於無限大，造成計算上的困難。因此將上述式子改為.   x cos( )  y sin( ) 把邊緣影像中的特徵點 ( x, y ) 代入上方之方程式中，可以在  空間上畫出一條曲線。圖 3-3(a)表示出  與  在 xy 平面上的幾何意義。將所有特徵點代入方程式後計算  平面上所有的曲線交點個數，找出交點個數最多的  和  帶回原方程式中，即可找出一條直線。圖 3-3(b)中的兩條曲線分別為 ( xi , yi ) 與 ( x j , y j ) 在 xy 平面上中的一特定點。. (a) (b) 圖 3-3：xy 平面與  平面中所對應的弦式波曲線[Gon07] (a)xy 平面中  的幾何意義；(b)  平面中的弦式波曲線。 Hough transform 即為利用上述概念尋找直線的方法。將 xy 平面中所有特徵點座標帶入方程式中，找尋  空間中交點各數最多之點，即為平面中最明顯之直線。由於轉回 xy 平面時找出之直線並無端點，因此本系統利用此方法在影像中 27.

(39) 找出符合條件之左右道路標線之直線後，將直線截成線段，其中一端點定於兩直線相交之消逝點座標另一端點定在影像最底部，以描述道路標線。. 第三節道路標線偵測本研究之道路標線偵測流程圖如圖 3-4 所示。連續影像輸入後，系統首先將進行邊緣偵測。為了防止影像中其他物體的邊緣影響偵測結果，因此只對影像下半部四分之一道路標線的可能出現區域進行邊緣偵測找出邊緣影像。再使用邊緣影像利用 Hough transform 技術找出所有線段，接著判斷這些線段的斜率與座標位置決定符合道路標線之線段。. Sequence input. Edge detection. Line candidate detection. NO. Do lines belong to lane marking ? YES Lane verification 圖 3-4：道路標線偵測流程圖. 對於本車車輛來說，本車前方道路左右標線斜率範圍分別為[－0.9,－0.5]及 [0.5,0.77]之線段。本系統一開始藉由上述斜率範圍進行道路標線的線段斜率判斷，當左右兩線段斜率皆符合道路標線斜率後即確認車道標線，並開始進行車道標線追蹤。追蹤條件為目前影像中的左標線斜率與上一張影像的左標線斜率差距取絕對值，必須小於上一張左標線斜率的 0.2 倍與 0.1 的最大值。令 mt 為當前標 28.

(40) 線斜率， mt 1 為上一張標線斜率，判斷式如下：. mt  mt 1  max( 0.2  mt 1 ,0.1) 由於純粹以斜率條件來判斷有可能將雜訊線段誤認為車道標線(如：斜率一樣但座標相差很遠)，因此本系統將線段所在位置也納入判斷條件。當某一線段斜率符合條件後，系統會檢查目前車道標線線段的兩端點與上一張影像中車道標線線段的兩端點是否接近。若兩者位置差距過大則該線段視為雜訊，否則更改當前車道左標線斜率及車道標線線段兩端點座標。假使左標線斜率持續一段時間皆未更新，或左標線斜率與上一張的斜率差距過大，系統將判定本車變換車道，此時，系統將所有結果歸零，重新偵測。右標線斜率的確認方式同上。圖 3-4 至圖 3-11 顯示不同情況道路標線偵測系統結果圖。下列範例中圖 3-4 至圖 3-7 影像長寬比例皆為 4：3。圖 3-4(a)拍攝時間為下午天氣晴朗，車輛位於中央車道所以左右道路標線皆為虛線，從圖中可看出此時影像中道路標線明顯清晰未受任何條件影響。圖 3-4(b)之偵測結果說明本系統能在正常狀況下找出正確的道路標線。以下影像中左標線以淺藍色表示右標線以綠線表示。. (a). (b) 圖 3-4：道路標線偵測範例(1) (a)原始影像；(b)道路標線偵測結果。. 由圖 3-5(a)可得知影像拍攝時間為下午天氣晴朗，左右道路標線皆為虛線代表本車位於中間車道上，且前方道路標線被高架橋所遮蔽，標線因受高架橋之陰影所影響而深淺不一。圖 3-5(b)顯示本系統在此種情形下依然能正確的偵測出道 29.

(41) 路標線。. (a). (b) 圖 3-5：道路標線偵測範例(2) (a)原始影像；(b)道路標線偵測結果。. 由圖 3-6(a)圖中時間標示可之影像拍攝時間為凌晨且天空陰暗，左道路標線為短虛線右道路標線為實線，因此本車行駛在最右側車道上。雖然受天候影響標線有些模糊不清，但圖 3-6(b)結果仍顯示出在此種情形下系統可正確偵測出道路標線。. (a). (b) 圖 3-6：道路標線偵測範例(3) (a)原始影像；(b)道路標線偵測結果。. 圖 3-7(a)可由影像中時間標記得知時間為早上 6 點 58 分天空陰暗且標線模糊，左右兩側上方有高架橋，左道路標線為實線右道路標線為虛線，由此得知本車位於最左側車道上。圖 3-7(b)顯示出此種情形下系統可正確的偵測道路標線。. 30.

(42) (a). (b) 圖 3-7：道路標線偵測範例(4) (a)原始影像；(b)道路標線偵測結果。. 圖 3-8 至 3-11 影像來自不同的行車紀錄器長寬比例與前述範例不同為 16：9，由圖 3-8(a)的時間標記得知拍攝時間為早上且天氣晴朗，影像中顏色鮮明，本路段為四線道本車位於右二車道，因此左右標線皆為虛線，道路標線也未受任何物件影響。圖 3-8(b)顯示出本系統在正常狀況下道路標線偵測結果。. (a). (b) 圖 3-8：道路標線偵測範例(5) (a)原始影像；(b)道路標線偵測結果。. 圖 3-9(a)的拍攝時間為中午且天氣晴朗，左右道路標線皆為虛線，因此本車位於中央車道上。由圖中可看出道路標線與路面顏色不僅非常接近，且前方道路標線被高架橋所遮蔽顯得較為黯淡。由圖 3-9(b)道路標線偵測結果可得知本系統在此狀況下依然能夠準確偵測。. 31.

(43) (a). (b) 圖 3-9：道路標線偵測範例(6) (a)原始影像；(b)道路標線偵測結果。. 圖 3-10(a)中可知拍攝時間為早上此時車輛行駛於隧道中，整體光線偏紅，左道路標線為實線右道路標線為雙實線，可得知車輛位在隧道內的左側車道。圖 3-10(b)顯示出系統在隧道中亦可穩定偵測出道路標線。. (a). (b) 圖 3-10：道路標線偵測範例(7) (a)原始影像；(b)道路標線偵測結果。. 圖 3-11(a)的影像長寬比例為 16：9 由影像中可得知拍攝時間為晚上且下著雨使得駕駛需使用雨刷，左道路標線為實線右道路標線為虛線故本車未於最左側車道。圖 3-11(b)顯示出即使雨刷左右擺動本系統能夠準確地偵測出道路標線。. (a). (b) 圖 3-11：道路標線偵測範例(8) (a)原始影像；(b)道路標線偵測結果。 32.

(44) 由圖 3-4 到 3-11 可以看出本系統不僅在正常環境下能正確偵測出道路標線，還能夠在天氣陰暗、下雨且影像中有雨刷、隧道中、道路標線與路面顏色相近時、甚至使用不同的行車紀錄器使得影像長寬比列與色調不同，本系統依然能夠非常穩定的偵測出道路標線。. 第四節超車車道位置判斷本研究在此將最左側車道定義為超車車道。假使本車位於超車車道時，系統會將護欄或其他障礙物會被誤判為前方車輛，所以為了避免此類型的誤判加以適當的處理，本系統在道路標線偵測時，將同時進行車道位置判定。由於道路標線在影像中屬於淺色部分，因此使用二元化的方式可將影像中大部分的道路標線擷取出來。本研究之擷取方法為將彩色影像轉為灰階影像並做 histogram equalization 後，以道路標線消逝點高度為界，計算消逝點下方 pixels 的 intensity 平均值，若平均值大於 100 表示影像整體亮度高則將二元化的門檻值設為 150 反之代表影像整體亮度低，將二元化之門檻值降為 90。如圖 3-12 所示。圖 3-12(a)為原始影像，將該影像灰階化後並做 histogram equalization(圖 3-12(b))再用上述方法做二元化後可得圖 3-12(c)的影像。利用圖 3-12(c)之影像可進行車輛位置判斷。以先前所偵測之車道標線左右各 10 個 pixels 範圍為界，偵測圖 3-10(c)中車道標線對應該位置之界內 pixel 是否為白色，若是則進行標記。同一水平界中若標記超過一個 pixel 則以一個計算。從消逝點所在之水平線偵測至影像底部的最後一行，計算左車道標線及右車道標線所佔比例差距，若左車道標線減去右車道標線之比例差距大於 0.4，則判定左車道標線為實線右車道標線為虛線，藉此可判斷出當前本車位於最左側車道。由圖 3-12(c)中可以輕易看出上圖左右兩車道標線皆為虛線，因此左右兩車道標線所佔的比例差距將不會差距太多，此例分別為 0.47 與 0.38；而下圖則顯示出左右車道標線分別為實線及虛線，藉由左右兩車道標線所佔比例差距(左車道標線所佔比例為 0.76 右車道標線所佔比例為 0.23)得知本車車輛位置位於超車車道。 33.

(45) (a). (b) (c) 圖 3-12：本車車道位置判斷範例 (a)原始影像；(b)histogram equalization 後之影像；(c)二元化後之影像。. 34.

(46) 第四章道路標線偵測結果. 本章將顯示出不同時間、不同行車紀錄器裝置在不同車輛上道路標線偵測結果。駕駛車輛分別為 Ford Festiva、Mitsubishi Colt Plus、Nissan QRV、Nissan Blue Bird 和 Honda Fit，行車紀錄器則使用 Guardian ADR36 以及攔截者 F-1 分別拍攝 16：9 與 4；3 長寬比的影像。使用 39 個影片共計 108 分鐘 24 秒，以每秒 20 張影像進行偵測，以下將列舉七個範例部分影像，每張影像間隔約 1 至 2 秒之間：影像範例1.. 駕駛車輛為 Mitsubishi Colt Plus，使用 Guardian ADR36 拍攝 16：9 影像時間為早上九點多天氣晴朗，前方標線未受車輛或陰影影響。影像長度為三分五十九秒共 4799 張影像。. 影像範例2.. 駕駛車輛為 Ford Festiva，使用 Guardian ADR36 拍攝 16：9 影像時間為中午一點左右天氣晴朗，道路左右有高架橋，左方有車輛超車。影像長度為一分八秒共 1371 張影像。. 影像範例3.. 駕駛車輛為 Nissan QRV，使用 Guardian ADR36 拍攝 16：9 影像時間為下午四點四十二分無太陽，前擋風玻璃上方有反射的陰影，車輛右方有卡車。影像長度為兩分十秒共 2615 張影像。. 影像範例4.. 駕駛車輛為 Nissan Blue Bird，使用攔截者 F-1 拍攝 4：3 影像時間為下午兩點五十九分天氣晴朗，連續經過多個高架橋，車輛右方有拖板車經過。影像長度為五分二十秒共 4649 張影像. 影像範例5.. 駕駛車輛為 Mitsubishi Colt Plus，使用 Guardian ADR36 拍攝 16：9 影像時間為早上九點三十八分天氣晴朗，前方及右方車輛多，車輛駛入隧道。影像長度為一分六秒共 1335 張影像. 影像範例6.. 駕駛車輛為 Ford Festiva，使用 Guardian ADR36 拍攝 16：9 影像於傍晚時段天氣陰天且下雨並使用雨刷，前方標線受到下雨影響。影 35.

(47) 像長度為四分五秒共 4902 張影像。影像範例7.. 駕駛車輛為 Nissan Blue Bird，使用攔截者 F-1 拍攝 4：3 影像於下午時段天氣晴朗，本車車輛進行左換車道。影像長度為五分二十秒共 4649 張影像。. 36.

(48) 第一節實驗範例影像範例 1. 圖 4-1：道路標線輸入影像(1). 圖 4-2：道路標線偵測結果(1). 37.

(49) 影像範例 2. 圖 4-3：道路標線輸入影像(2). 圖 4-4：道路標線偵測結果(2). 38.






(55) 第二節實驗結果本研究將道路標線偵測系統分成三種準確度，分別為標線完全準確、標線部分準確以及錯誤。而在部分準確的情況下還是能夠辨別出標線屬於本車車道標線。最後將個別計算 precision 和 recall。表 3 至表 9 分別顯示出不同時間道路標線偵測結果，表 10 則為表 3 至表 9 的加總結果。表 3：早上標線偵測結果左標線總 frame 數. 4799. 3202. 1374. 1962. 3318. 4314. 準確. 部分準確. 右標線錯誤. 準確. 部分準確. 偵測到 frame 數. 偵測到 frame 數. recall. recall. 錯誤. 3985. 419. 395. 4117. 388. 394. 83.1%. 8.7%. 8.2%. 85.9%. 8%. 6.1%. 2480. 552. 170. 1638. 1060. 504. 77.5%. 17.2%. 5.3%. 51.2%. 33.1%. 15.7%. 1284. 5. 85. 1204. 70. 100. 93.4%. 0.4%. 6.2%. 87.6%. 5.1%. 7.3%. 1697. 152. 113. 1870. 10. 82. 86.5%. 7.7%. 5.8%. 95.3%. 0.5%. 4.2%. 3318. 0. 0. 2838. 480. 0. 100%. 0%. 0%. 85.5%. 14.5%. 0%. 4247. 67. 0. 4022. 292. 0. 98.4%. 1.6%. 0%. 93.2%. 6.8%. 0%. 44. precision. recall. 92.8%. 100%. 89.5%. 97%. 93.3%. 99.7%. 95%. 100%. 100%. 99.9%. 100%. 99.9%.

(56) 表 4：中午標線偵測結果左標線總 frame 數. 3587. 1371. 2493. 3282. 準確. 部分準確. 右標線錯誤. 準確. 部分準確. 偵測到 frame 數. 偵測到 frame 數. recall. recall. 錯誤. 3507. 80. 0. 3557. 10. 20. 97.8%. 2.2%. 0%. 99.2%. 0.3%. 0.6%. 1287. 84. 0. 1303. 68. 0. 93.9%. 6.1%. 0%. 95%. 5%. 0%. 2473. 20. 0. 2233. 260. 0. 99.2%. 0.8%. 0%. 89.6%. 10.4%. 0%. 3157. 0. 125. 3132. 150. 0. 96.2%. 0%. 3.8%. 95.4%. 4.6%. 0%. precision. recall. 99.7%. 98.5%. 100%. 99.6%. 100%. 99.9%. 98.1%. 100%. precision. recall. 98.5%. 100%. 95.8%. 99.9%. 92.2%. 99.6%. 97.9%. 99.9%. 100%. 99.9%. 表 5：下午標線偵測結果(1) 左標線總 frame 數. 4649. 2471. 2107. 2615. 800. 準確. 部分準確. 右標線錯誤. 準確. 部分準確. 偵測到 frame 數. 偵測到 frame 數. recall. recall. 錯誤. 4304. 267. 78. 4023. 562. 64. 92.6%. 5.7%. 1.7%. 86.5%. 12.1%. 1.4%. 2227. 182. 62. 2136. 190. 145. 90.1%. 7.4%. 2.5%. 86.4%. 7.7%. 5.9%. 1201. 783. 123. 1851. 52. 204. 57%. 37.2%. 5.8%. 87.8%. 2.5%. 9.7%. 2207. 330. 78. 2375. 210. 30. 84.4%. 12.6%. 3%. 90.8%. 8%. 1.1%. 656. 144. 0. 670. 130. 0. 82%. 18%. 0%. 83.8%. 16.2%. 0%. 45.

(57) 表 6：下午標線偵測結果(2) 左標線總 frame 數. 4019. 3602. 1712. 3075. 3422. 3482. 1801. 3681. 3592. 準確. 部分準確. 右標線錯誤. 準確. 部分準確. 偵測到 frame 數. 偵測到 frame 數. recall. recall. 錯誤. 3999. 20. 0. 3873. 146. 0. 99.5%. 0.5%. 0%. 96.4%. 3.6%. 0%. 3299. 253. 50. 3314. 159. 129. 91.6%. 7%. 1.4%. 92%. 4.4%. 3.6%. 1629. 30. 53. 1614. 45. 53. 95.2%. 1.8%. 3.1%. 94.3%. 2.6%. 3.1%. 2812. 90. 173. 2785. 87. 203. 91.4%. 2.9%. 5.6%. 90.6%. 2.8%. 6.6%. 3241. 47. 134. 3063. 190. 163. 94.7%. 1.4%. 3.9%. 89.7%. 5.6%. 4.8%. 3227. 46. 209. 3147. 78. 257. 92.7%. 1.3%. 6%. 90.4%. 2.2%. 7.4%. 1634. 167. 0. 1801. 0. 0. 90.7%. 9.3%. 0%. 100%. 0%. 0%. 3508. 45. 128. 3186. 305. 190. 95.4%. 1.2%. 3.4%. 86.5%. 8.3%. 5.2%. 3245. 138. 209. 3020. 225. 347. 90.3%. 3.8%. 3.5%. 84.1%. 6.3%. 5.2%. 46. precision. recall. 100%. 99.7%. 97.5%. 100%. 96.9%. 100%. 93.9%. 99.7%. 95.7%. 100%. 93.3%. 100%. 100%. 100%. 95.7%. 99.8%. 92.3%. 99.9%.

(58) 表 7：傍晚標線偵測結果左標線總 frame 數. 4114. 4539. 3722. 1718. 1967. 4018. 4062. 準確. 右標線. 部分準確. 錯誤. 準確. 部分準確. 偵測到 frame 數. 偵測到 frame 數. recall. recall. 錯誤. 3753. 315. 46. 3538. 466. 110. 91.2%. 7.7%. 1.1%. 86%. 11.3%. 2.7%. 4464. 75. 0. 4409. 130. 0. 98.3%. 1.7%. 0%. 97.1%. 2.9%. 0%. 3398. 129. 195. 3375. 289. 58. 91.3%. 3.5%. 5.2%. 90.7%. 7.8%. 1.6%. 1494. 210. 14. 1180. 523. 15. 87%. 12.2%. 0.8%. 68.7%. 30.4%. 0.9%. 1897. 0. 70. 1847. 30. 90. 96.4%. 0%. 3.6%. 93.9%. 1.5%. 4.6%. 3677. 219. 124. 3601. 291. 126. 91.5%. 5.4%. 3.1%. 89.6%. 7.2%. 3.1%. 3335. 727. 0. 3781. 218. 63. 82.1%. 17.9%. 0%. 93.1%. 5.4%. 1.6%. precision. recall. 98.1%. 99.9%. 100%. 100%. 96.6%. 100%. 99.2%. 100%. 95.9%. 99.1%. 96.9%. 100%. 99.2%. 100%. precision. recall. 100%. 99.9%. 表 8：下雨標線偵測結果左標線總 frame 數. 4888. 準確. 部分準確. 右標線錯誤. 準確. 部分準確. 偵測到 frame 數. 偵測到 frame 數. recall. recall. 錯誤. 4693. 195. 0. 4479. 409. 0. 96%. 4%. 0%. 91.6%. 8.4%. 0%. 47.

(59) 表 9：隧道標線偵測結果左標線總 frame 數. 5288. 1335. 1477. 準確. 部分準確. 右標線錯誤. 準確. 部分準確. 偵測到 frame 數. 偵測到 frame 數. recall. recall. 錯誤. 5178. 110. 0. 3578. 1710. 0. 98%. 2%. 0%. 67.7%. 32.3%. 0%. 1335. 0. 0. 1285. 50. 0. 100%. 0%. 0%. 96.3%. 3.7%. 0%. 1347. 130. 0. 1437. 40. 0. 91.2%. 8.8%. 0%. 97.3%. 2.7%. 0%. precision. recall. 100%. 93.7%. 100%. 99.7%. 100%. 99.8%. precision. recall. 94.9%. 100%. 100%. 100%. 100%. 100%. 92.6%. 99.9%. 表 10：晚上標線偵測結果左標線總 frame 數. 4198. 1302. 3242. 1839. 準確. 部分準確. 右標線錯誤. 準確. 部分準確. 偵測到 frame 數. 偵測到 frame 數. recall. recall. 錯誤. 3832. 160. 206. 3334. 646. 218. 91.3%. 3.8%. 4.9%. 79.4%. 15.4%. 5.2%. 1302. 0. 0. 1287. 15. 0. 100%. 0%. 0%. 98.8%. 1.2%. 0%. 3242. 0. 0. 2915. 327. 0. 100%. 0%. 0%. 89.9%. 10.1%. 0%. 1645. 74. 120. 1416. 271. 152. 89.5%. 4%. 6.5%. 77%. 14.7%. 8.3%. 48.

(60) 表 11：標線偵測結果左標線總 frame 數. 準確. 109216. 部分準確. 右標線錯誤. 準確. 部分準確. 偵測到 frame 數. 偵測到 frame 數. recall. recall. 6263. 2960. 104240. 10582. 錯誤. 5.2%. 2.5%. 88%. 8.9%. recall. 97.2%. 99%. 3617. 119653 92.3%. precision. 3.1%. 第三節偵測錯誤原因由上面所列舉出的各表可看出，標線偵測錯誤的原因不只單純變換車道時才會發生。有時當本車駕駛位於超車車道，且左方分隔島為水泥牆時則車道標線可能會判斷錯誤；當左右兩方車輛為大型客運，因車體底部具有強烈的邊緣特徵，此時也可能造成偵測錯誤；或是路面不平整導致駕駛車輛造成劇烈震動，造成偵測錯誤。. 49.

(61) 第五章車輛偵測系統. 本系統在車輛偵測上可以分成兩大部份，日間光線充足下的偵測及夜間及雨天光線不足偵測。在日間偵測上我們使用陰影(Otsu’s method)以及水平邊緣(Sobel operator)做為車輛特徵。夜間或雨天時則使用煞車燈當作車輛特徵。由於日間光線充足情況下車輛下方的陰影及邊緣能夠被偵測出來，但是當光線不足的情況下，車輛陰影及邊緣將無法偵測，因此系統使用車輛尾部煞車燈做為另一特徵。以下將分別介紹日間以及夜間或下雨時車輛偵測方法。. 第一節. Otsu’s method. (a). (b) 圖 5-1：Otsu’s method 的範例 (a)Histogram equalization 後的灰階影像；(b)利用 Otsu’s method 找出影像中合適的門檻值。 Otsu’s method 於西元 1979 年由 Nobuyuki Otsu 所提出。Otsu’s method 能夠對每張影像灰階值進行統計，找出個別影像中合適的門檻值，將影像二元化以擷取出陰影的部分。此方法能夠依據影像不同的亮度動態的調整門檻值，藉由影像中灰階值的分布分別計算出各灰階值機率總和與 pixel 出現機率乘以其灰階值之總和(zeroth-and first-order cumulative moments)，找尋能將影像中之 pixel 二元化的門檻值。如圖 5-1 所示。圖 5-1(a)為輸入影像進行 histogram equalization 後的結果，對圖 5-1(a)中影像 pixel 值統計其灰階值個數可產生如圖 5-1(b)的折線圖，圖 5-1(b). 50.

(62) 中 x 軸為 pixels 的灰階值[0,255]，y 軸為各灰階值的 pixel 個數，紅線為 Otsu’s method 找尋出來的門檻值。 Otsu’s method 方法如下所述： 1. 假設影像 size 為 M  N ，其中 pixels 的灰階值具有 L 個 levels，即. 0, 1, 2, ..., L  1，分別計算各個灰階值的 pixel 個數的 relative frequency 做為各 level 的出現機率值 pi , i  0, 1, 2, ..., L  1。 2. 任選一 k 值， k  0, L  1，計算[0,k]範圍內的出現機率總和 P1 (k ) 。. P1 (k )  i  0 pi k. 3. 計算 m(k ) 。 m(k ) 為 k 值以下各個灰階值乘以其對應的出現機率總和。. m(k )  i  0 ipi k. 4. 計算 mG 。 mG 為整張影像中各灰階值乘以其對應出現機率的總和。 L 1. mG  i  0 ipi 5. 計算  B2 (k ) 。將上述各結果帶入下方式子求得  B2 (k ) 。.  B2 (k ). [mG P1 (k )  m(k )]2  P1 (k )[1  P1 (k )] . 6. 找出使  B2 (k ) 最大的 k，令為 k 並將其設為門檻值。. k *  arg max  B2 (k ) , k  0, L  1 k. 為了防止天空的亮度影響門檻值的決定，因此本系統利用影像下方 30%的區域使用 Otsu’s method 找出合適的門檻值，但二元化的對象為整張影像。圖 5-2(a) 為輸入 histogram equalization 影像，圖 5-2(b)顯示出使用 Otsu’s method 二元化後的結果，從圖中可以看出車輛下方處的陰影皆被擷取出來。. 51.

(63) (a). (b). 圖 5-2：車輛陰影偵測範例 (a)Histogram equalization 影像；(b)利用 Otsu’s method 二元化後的結果。. 第二節日間車輛偵測範圍本系統在日間車輛偵測時，將限制區域範圍以減少雜訊影響。其限制範圍根據第三章車道標線偵測結果來決定。本系統把已偵測出的左右標線分別往左右各外移 0.7 倍的車道寬度做為日間車輛偵測範圍，如圖 5-3 所示。圖 5-3 中已偵測出的左右道路標線分別為藍綠色和綠色，黃線為左標線外移的邊界，粉紅線則為右標線外移的邊界，黃線與粉紅線的線內區域即為偵測範圍。. 圖 5-3：日間車輛偵測範圍圖車輛偵測範圍又可區分為偵測區域和追蹤區域。當左右後方車輛欲超越本車時會從影像下方左右出現(圖 5-4 (b)紅色區域)，或是本車車速比前方車輛快，此時消逝點區域將出現車輛(圖 5-4 (b)藍色區域)，因此這三塊區域(即圖 5-4 (b)中之紅色與藍色區域)為車輛可能出現區域。限制範圍內之綠色區域則為追蹤區域，追蹤方法為利用前一張影像與本張影像偵測出車輛相對移動位置，來預測下一張影像車輛可能會出現的地方。目的在縮小偵測範圍增加偵測速度。利用圖 5-4 來說明。 52.