雨天路面偵測系統

全文

(1)國立臺灣師範大學資訊工程研究所碩士論文. 指導教授：方瓊瑤博士. 雨天路面偵測系統 Road Detection System for Rainy Days. 研究生：李亦鈞撰中華民國一百零四年六月.

(2) 摘要由於駕駛車輛安全性問題，駕駛輔助系統相關技術在距今約二十多年前開始被重視與開發，透過攝影機架設在車輛內以視覺式的方式分析車輛前方道路的狀況來輔助駕駛人。其中路面偵測技術在先進駕駛輔助系統中扮演重要的角色，因為該技術不僅能提供正確的路面區域、道路形狀及標線位置，還能將諸多前方道路資訊提供給其他的駕駛輔助系統使用。路面偵測技術已經逐漸的成熟，但是較少研究者針對雨天偵測路面系統進行開發與研究。透過整理近年的路面偵測文獻發現，幾乎所有研究都會先透過邊緣偵測相關技術讓系統得知影像中何處是正確的路面區域，以便進行路面顏色特徵擷取並執行路面偵測。而也有部分的文獻是先直接手動給予路面區塊，進行路面顏色特徵的擷取並初步的偵測出路面，再利用邊緣偵測技術進行改善。可以發現邊緣偵測技術對於找出路面位置有莫大的幫助，但是一旦道路標線或路面邊界模糊不清時，便無法達到效果。因此本研究提出的雨天路面偵測系統主要是透過 log chromaticity space、 sensor sharpening matrix transform 以及 watershed segmentation 來進行雨天路面偵測，不需要透過邊緣偵測技術且會自動採樣合適的路面區塊作為系統訓練的依據。首先，系統一開始時必頇先確定自動擷取的 region of interest (ROI)是路面區域，接著才進行 road feature extraction，透過執行 log chromaticity space、sensor sharpening matrix transform 及 projection and thresholding 各步驟後便可以將整張影像與 ROI 具有相似顏色的像素視為同一類，最後再結合 watershed segmentation 影像分割技術來改善誤判。最後實驗的部分，本研究針對小雨、中雨、中大雨三種雨勢以及數種道路形狀進行實驗，實驗結果呈現出，對於較遠的車輛、較大的雨勢以及過度曝光的路面經常會產生誤判，但若是實驗場景中有著充足的光線以及道路上的車輛都有色彩鮮明的顏色，路面偵測的結果都能產生很高的正確率。關鍵字：路面偵測、駕駛輔助系統、影像分割、雨天路面。. I.

(3) Abstract. The last two decades, for the driving safety, in-car video camera technology for estimating road shape ahead of a vehicle for the purpose of driver assistance has been developed and implemented. A road detection technology can provide the road shape, area and lane markings, which can share with other advance driver assistance systems (ADAS). Although road detection is a mature technology, there are a few studies on road detection for rainy days. Recent studies use mostly road boundary to detect road area. If road boundary is not clear, it would fail to detect the correct road area. To effectively handle road detection on rainy days, the proposed method comprises three modules: 1) log chromaticity space, 2) sensor sharpening matrix transform, and 3) watershed segmentation. To speed up the road detection processing, the region-of-interest (ROI) is used to choose the candidate searching range for extract road features. The system then process the log chromaticity space method and sensor sharpening matrix transform method. Finally, the watershed segmentation method as an error correction mechanism is applied. Experimental results on real road scenes such as light rain, moderate rain, and heavy rain show that if road scenes is bright enough and vehicles have vivid color, the proposed method has substantiated the effectiveness of accuracy results. Index terms- road detection, driver assistance systems, image segment, rainy road. II.

(4) 誌謝回想起碩士班的這兩年，從剛進實驗室懵懂不清楚規矩的碩一新生，在許多人的幫助之下漸漸的步上軌道。包含上課考詴、做團體 project、看論文以及團體 meeting，從中都有很大的收穫。升上碩二後，從訂定題目、實驗影片拍攝，接著努力的實作論文、撰寫論文以及碩士論文口詴，每一步都走得步步為營，最後才得以順利完成兩年的碩士生涯。首先，要感謝的是我的指導教授方瓊瑤老師。這兩年來從碩一上著老師的課程以及到碩二每個禮拜細心的個別指導，論文文筆以及程式設計上的發想都給了我很多寶貴的意見，使我不迷失方向。再加上老師的智慧以及豐富的教學經驗，讓我在做研究時保有研究的動力與熱情，持續朝目標前進，這兩年來學到的不僅僅是專業領域上的知識，還有出社會後應具備的處事態度與方法。也要謝謝黃于飛老師以及侯文娟老師擔任本論文的口詴委員，接著還要謝謝台北科技大學的許志明老師，在我研究踟躕不前時提供許多寶貴的親身經驗，並一同討論分析各個方法的可能性，讓我對本研究又更深入的了解一些。再者謝謝實驗室的學姊巧珊，在我碩士班一年級時給了很多震撼教育，當有困難時都能很有條理的一一分析並提出改善方法，點醒不知所措的我。也要感謝同屆的昆賢、良謙、仲文、冠宇、紹峻、晟麟、信實以及韋宏等人在研究所的這兩年一起吃飯、做研究以及運動，一起為著同樣的目標努力，若是沒有你們的陪伴，想必這兩年一定是黯淡無色。感謝實驗室的學弟妹璩瑄、士賢、思漢以及崇儒，為實驗室帶來歡笑，以及協助本實驗 ground truth 的製作，著實為我分憂解勞非常感謝。最後，要感謝我的家人們忍受我的早出晚歸以及糟糕的脾氣，總是會用無盡的耐心來包容，你們的愛心與關懷我都如實的接收到了。也謝謝姊姊的同事李朝信老師不辭辛勞提供下雨天的行車紀錄器影片，讓我能順利的做實驗。謹以此論文獻給出現在我生命中的每一位，並將一切的榮耀歸給上帝。李亦鈞謹致國立臺灣師範大學資訊工程研究所中華民國 104 年 6 月. III.

(5) 目錄摘要.................................................................................................................................I Abstract ......................................................................................................................... II 誌謝.............................................................................................................................. III 目錄..............................................................................................................................IV 圖目錄..........................................................................................................................VI 表目錄....................................................................................................................... VIII 第一章緒論.................................................................................................................. 1 第一節. 研究動機............................................................................................ 1. 第二節. 研究困難............................................................................................ 5. 第三節. 論文架構............................................................................................ 7. 第二章文獻探討.......................................................................................................... 8 第一節. 晴天路面偵測技術分析.................................................................... 8. 第二節. 雨天路面偵測使用特徵與方法...................................................... 10. 第三章雨天路面偵測系統........................................................................................ 13 第一節. 系統目的.......................................................................................... 13. 第二節. 研究環境與設備.............................................................................. 13. 第三節. 系統流程.......................................................................................... 14. 第四章雨天路面特徵擷取........................................................................................ 18 第一節. 路面顏色特徵擷取.......................................................................... 18. 第二節. 分水嶺影像分割.............................................................................. 23. 第五章實驗結果........................................................................................................ 27 實驗一. 小雨.................................................................................................. 30. 實驗二. 中雨.................................................................................................. 37. 實驗三. 中大雨及大雨.................................................................................. 43. 第六章結論與未來工作............................................................................................ 49 IV.

(6) 第一節. 結論.................................................................................................. 49. 第二節. 未來工作.......................................................................................... 49. 參考文獻...................................................................................................................... 51 附錄 A Blackvue dr650gw 規格............................................................................... 53. V.

(7) 圖目錄圖 1.1 運用道路偵測的車用系統 ................................................................................ 2 圖 1.2 光線充足、環境色彩簡單場景及實驗結果 .................................................... 3 圖 1.3 遇特殊情況時的偵測結果 ................................................................................ 3 圖 1.4 雨天環境直線道路輸入影像範例 .................................................................... 5 圖 1.5 雨天環境彎道輸入影像範例 ............................................................................ 6 圖 1.6 雨天環境岔路輸入影像範例 ............................................................................ 6 圖 1.7 雨天環境十字路口輸入影像範例 .................................................................... 6 圖 1.8 雨天環境巷弄輸入影像範例 ............................................................................ 7 圖 2.1 不同的雨天道路場景 ...................................................................................... 12 圖 3.1 實際設備架設圖及雨天實際場景拍攝圖 ...................................................... 13 圖 3.2 雨天路面偵測系統流程圖 .............................................................................. 14 圖 3.3 雨天路面 ROI 及相對應的 log chromaticity space ........................................ 16 圖 4.1 Ideal log-log chromaticity plot .......................................................................... 19 圖 4.2 Sensor sharpening 前後差異 ............................................................................ 20 圖 4.3 執行 sensor sharpening matrix transform 前後比較 ....................................... 21 圖 4.4 執行 sensor sharpening matrix transform 前後比較 ....................................... 22 圖 4.5 透過 sensor sharpening matrix sharpening 以及 thresholding 步驟得到的初步路面偵測結果 ...................................................................................................... 23 圖 4.6 分水嶺演算法的兩樣基本輸入影像 .............................................................. 24 圖 4.7 分水嶺法標記擴增示意圖 .............................................................................. 25 圖 4.8 雨天路面影像分割結果以及最終路面偵測結果(綠色區域為路面) ........... 25 圖 4.9 雨天路面影像分割結果以及最終路面偵測結果(綠色區域為路面) ........... 26 圖 4.10 Watershed segmentation algorithm ................................................................. 26 圖 5.1 晴天直線道路路面偵測結果比較 .................................................................. 28 圖 5.2 晴天岔路路面偵測結果比較 .......................................................................... 29 圖 5.3 小雨岔路連續路面偵測結果 ........................................................................... 31 圖 5.4 小雨巷弄連續路面偵測結果 ........................................................................... 31 VI.

(8) 圖 5.5 小雨直線道路連續路面偵測結果 .................................................................. 32 圖 5.6 小雨彎曲道路連續路面偵測結果 .................................................................. 33 圖 5.7 小雨巷弄連續路面偵測結果 .......................................................................... 34 圖 5.8 小雨直線道路連續路面偵測結果 ................................................................... 34 圖 5.9 夜間小雨直線道路連續路面偵測結果 ........................................................... 35 圖 5.10 中雨岔路連續路面偵測結果 ......................................................................... 38 圖 5.11 中雨直線道路連續路面偵測結果 ................................................................. 38 圖 5.12 中雨巷弄連續路面偵測結果 ......................................................................... 39 圖 5.13 中雨彎曲道路連續路面偵測結果 ................................................................. 40 圖 5.14 中雨直線道路連續路面偵測結果 ................................................................. 40 圖 5.15 中雨岔路連續路面偵測結果 ......................................................................... 41 圖 5.16 中大雨直線道路連續路面偵測結果 ............................................................. 43 圖 5.17 中大雨岔路連續路面偵測結果 ..................................................................... 44 圖 5.18 中大雨巷弄連續路面偵測結果 ..................................................................... 45 圖 5.19 中大雨彎曲道路連續路面偵測結果 ............................................................. 46 圖 5.20 大雨彎曲道路連續路面偵測結果 ................................................................. 47 圖 5.21 大雨彎曲道路連續路面偵測結果 ................................................................ 47. VII.

(9) 表目錄表 1.1 西元 1981 至 2010 年台灣四季帄均降雨量..................................................... 4 表 2.1 近年路面偵測使用技術..................................................................................... 9 表 5.1 電腦之硬體配備規格....................................................................................... 28 表 5.2 原作者系統晴天路面偵測總表....................................................................... 29 表 5.3 本系統晴天路面偵測總表............................................................................... 29 表 5.4 小雨路面偵測總表........................................................................................... 36 表 5.5 中雨路面偵測總表........................................................................................... 41 表 5.6 中大雨及大雨路面偵測總表........................................................................... 48 表 5.7 雨天路面偵測結果總表................................................................................... 48. VIII.

(10) 第一章. 緒論. 第一節研究動機隨著科技的進步、行車紀錄器的普及，自動駕駛輔助系統以及車輛所搭載的駕駛輔助系統(advanced driver assistance systems, ADAS)功能也跟著越來越精確以及多樣性，其中包括道路偏離警示、前方車輛碰撞警示、無人駕駛以及夜間行人偵測等。並且近年來行車安全性被特別的關注、駕駛輔助系統功能的提升及研發技術的推陳出新，其目的都是為了想利用駕駛輔助系統來幫助駕駛人注意車輛周遭的環境變化，讓每位駕駛人都能夠輕鬆且安全的駕駛車輛。其中一項技術―路面偵測是諸多駕駛輔助系統中不可缺少的前置技術，例如無人駕駛車、道路偏離警示及行人偵測三種系統皆需應用路面偵測的結果。以下就上述三種系統說明運用到路面偵測技術的部分。 (A)無人駕駛車無人駕駛車系統如圖 1.1(a)，白色車輛為 google 開發的無人駕駛車系統，系統中總共包含了四個子系統，分別是：影像技術、雷達技術、定位技術及控制技術。其中影像技術的部份需要透過車內攝影機拍攝前方路面環境，讓系統能偵測路面並與雷達和 GPS 相輔相成，讓無人駕駛車在行駛過程中能夠安全且穩定的在道路上行駛。 (B)道路偏離警示道路偏離警示系統如圖 1.1(b)，圖中的黃色標線及三角形表示車輛正在穩定行駛於該車道。透過車內攝影機拍攝前方路面環境並偵測路面的區域及標線，為的就是在高速行駛中及需要專注力的長程行駛旅途時，輔助駕駛人當車輛過於接近車道及不正常偏移車道線時立即發出警示提醒駕駛人，以防止車禍發生。 (C)行人偵測行人偵測系統如圖 1.1(c)，圖中有多個行人正走在斑馬線上穿越馬路，. 1.

(11) (a)無人駕駛車[聯 15]. (b)道路偏離警示[Bmw11]. (c)行人偵測[Car10]. 圖 1.1 運用道路偵測的車用系統其中紫色的長方形框便是系統偵測出的行人。透過車內攝影機拍攝前方路面環境，利用偵測路面的區域結果資訊以及利用偵測行人的特徵(例：Histogram of gradient)，可以讓駕駛人在專注前方道路狀況之餘也能依靠行人偵測系統來輔助行駛時的安全性。以上三種系統皆有運用路面偵測技術，而且皆是利用車內攝影機往前方道路拍攝以及皆需要路面區域的資訊，由此可知偵測路面技術在自動駕駛系統以及駕駛輔助系統中是一個非常重要的元件。過去幾年來已有大量路面偵測相關研究發表，這些研究在天氣晴朗、視線可見度高以及環境色彩簡單的情況下都有很好的實驗結果，如圖 1.2(a)(b)所示皆為環境色彩複雜程度較低、外界干擾較少的實驗場景。圖 1.2(c)(d)則為路面偵測實驗結果，其中紅色的區域是偵測到的路面區域，可以發現此兩張結果圖顯示出在處理路面邊界以及有其他車輛在路面上的情況時，路面都能順利的與非路面區隔。然而在特殊環境下偵測路面，其偵測結果不盡理想，如圖 1.3(a)所示為岔路，圖 1.3(c)淺紅色的區域為遇見岔路時路面偵測的結果，發現淺紅色的區域明顯超出了路面區域許多，且將後方大樓誤判為路面。如圖 1.3(b)為陽光過於強烈導致路面顏色形成過度飽和的亮白色。圖 1.3(d)深紅色區域為遇到過度曝光路面時的路面偵測結果，發現深紅色區域雖然在路面兩旁邊界都能與非路面保持區分，但是由於陽光劇烈照射下使得部分路面顏色變成亮白色，導致系統誤判為非路面。在惡劣環境中及路面外觀易變化的情況下，諸多變因使得偵測結果不穩定。以本國為例，地狹人稠、道路的型式以十字路口及巷弄居多。而且台灣位於東亞沿岸，大陸及海洋的氣候型態都會影響到台灣的氣候，冬季有來自西伯利亞的大陸冷高壓以東北季風為主、夏季則有來自太帄洋的海洋性高氣壓以西南季風為 2.

(12) (a)晴天高速公路. (b)晴天郊區道路. (c)晴天高速公路結果. (d)晴天郊區道路結果. 圖 1.2 光線充足、環境色彩簡單場景及實驗結果[Kim11][Alv11]. (a)岔路. (b)晴天過度曝光. (c)岔路路面偵測結果. (d)晴天過度曝光路面偵測結果. 圖 1.3 遇特殊情況時的偵測結果[Kim11][Alv11] 3.

(13) 主。根據中央氣象局的逐年雨量統計如表 1.1[交 10]，可發現全台四季都有降雨產生。而且由於熱帶性低氣壓(颱風)的緣故導致夏天和秓天為下雨最明顯的兩個季節。全台每年帄均下雨的天數概略為 164 天，佔了大約整年 45%。由上述得知本國頻繁的下雨天再加上複雜的街景，在偵測路面時將會有很多困難。表 1.1 西元 1981 至 2010 年台灣四季帄均降雨量[交 10] 400 350 300 250. 春(二~四月). 200. 夏(五~七月) 秓(八~十月). 150. 冬(十一~一月). 100 50 0 (單位：毫米). 台北. 台中. 高雄. 花蓮. 恆春. 現今路面偵測系統可按照架設地點粗略地分為三類，第一類是將攝影機架設在車內、第二類是架設在道路旁高處、第三類則架設在高空。關於第一類的架設大都是配合著駕駛輔助系統(advanced driver assistance systems, ADAS)，偵測前方路面、障礙物以警示駕駛人保持安全車距。關於第二類架設通常都是由政府機關所設置，其架設目的為監控交通流量，確保行車順暢以及提供用路人調閱該影片記錄。關於第三類架設則多是為學術界和政府所用，其目的大都為遙測觀察地理資訊，如：森林的分佈、農作物的分佈以及道路與河流的走向等。其中若是考慮以特殊的攝影機鏡頭來獲得原始資料，例如：需要廣角的鏡頭來拍攝畫面以取得大範圍的道路資訊，或是需要將攝影機暴露在各種險惡環境中，則可預見將有更多技術面問題需要克服。本研究則以攝影機架設在車內往前拍攝為主，致力於在雨中偵測路面希望能在複雜的環境下準確偵測出路面區域，以供未來有更方便的運用。有關雨天偵測路面之困難，將在下一節有更進一步的探討。. 4.

(14) 第二節研究困難本研究探討的路面偵測皆是將攝影機架在車內往前方路面拍攝，影像資料常常會受到車輛的陰影、陽光照射角度產生光線強度變化、風吹動樹葉時的光影變化以及機車在車陣中亂竄時光影變化等干擾。若在天氣惡劣的情況下，則會遭遇更多不可抗力的影響。例如：路面上積水會鏡面反射出車輛自身、各種光源映射在路面上、雨滴遮擋住擋風玻璃以及起霧時造成畫面模糊難以偵測出路面。干擾路面偵測的因素除了氣候以外，各種不同的路面外觀也是變因之一，如:直線道路、彎曲道路、岔路、十字路口及巷弄。以下就此五種路面外觀來說明困難處。 (A)直線道路直線道路是五種道路外觀中最常見的一種，以圖 1.4(a)(b)中可發現自影像在雨天時仍保有一定的光線亮度。但是被淋濕的路面卻映出路旁的建築物、車輛、機車、號誌燈、剎車燈及反光，導致路面的色彩更加混亂，也使得偵測路面更加困難。. (a)四線道直線道路. (b)三線道直線道路. 圖 1.4 雨天環境直線道路輸入影像範例 (B)彎曲道路雨天偵測彎道路面遇到的問題大致與偵測直線道路相同，都會有景物、車輛及各種光源映射至路面上。如圖 1.5(a)(b)所示，道路寬度為兩個車道且光線略顯不足，圖 1.5(a)兩旁路樹的陰影導致路面與非路面的顏色與界限無法明顯區分以及圖 1.5(b)兩旁停放的車輛色系與路面顏色相近，都會干擾路面偵測的結果。. 5.

(15) (a)單向雙車道轉彎道路. (b)雙向單車道轉彎道路. 圖 1.5 雨天環境彎道輸入影像範例 (C)岔路及十字路口岔路及十字路口的性質相似，因為道路標線走向都是不一致的延伸，如圖 1.6(a)(b)和圖 1.7(a)(b)所示為雨天時拍攝岔路及十字路口之畫面，從圖中可以發現有各種景物、光源映射在路面上干擾判斷路面，再加上道路邊線沿著岔路延伸，因此難以利用道路標線來輔助路面的偵測。. (a)岔路. (b)岔路圖 1.6 雨天環境岔路輸入影像範例. (a)十字路口. (b)十字路口. 圖 1.7 雨天環境十字路口輸入影像範例. 6.

(16) (D)巷弄如圖 1.8(a)(b)所示為雨天時拍攝巷弄之畫面，可以發現在圖 1.8(a)中因雨勢較大導致路面積水，因此不僅映射了陽光在前方路面上，並形成一條亮白色的反光，也映射兩旁路樹並在前方的路面兩旁形成大區塊陰暗的路面，這也使得紅色的道路標線變得模糊不清。反觀圖 1.8(b)為毛毛細雨的路面狀況，前方路面的顏色只含有些微反光，路面與非路面的界線也能清楚呈現。雨勢的大小會讓路面有不一樣的面貌，也會讓路面偵測結果非常不穩定。. (a)因雨勢較大而積水的巷弄路面. (b)雨勢較小的巷弄路面. 圖 1.8 雨天環境巷弄輸入影像範例以上五種路面在雨天中偵測路面皆有其困難處，原因皆是雨水的關係而間接改變道路的色彩而且變得複雜。不論是陽光、建築物、車輛、車燈、行人和路樹，都會因為光的反射原理全部都映射在路面上。所以必頇要以路面的顏色和道路標線以外的特徵，讓真正的路面區域顯露出來。. 第三節論文架構本論文共分為六章，第一章說明本研究的動機與研究困難；接著第二章為文獻探討，此章將討論雨天路面偵測可能使用到的技術與基礎理論；後續會在第三章說明本研究的目的與研究環境以及設備架設方式，並包含系統流程之概述；第四章則詳細解說本系統如何利用光照不變異色彩空間(illuminant invariant color space)，從畫面中先初步偵測出道路所在區域。接著利用道路的外觀特性進行影像分割；第五章則是實驗結果展示，探討系統流程中每一個主要步驟的必要性與正確率；最後，第六章為結論和未來工作。. 7.

(17) 第二章. 文獻探討. 由於較少研究者針對雨天偵測路面系統進行開發與研究，因此本章之文獻探討首先探討在晴天時路面偵測系統使用的特徵與技術，再探討現今對於特殊氣候及路況的路面偵測相關技術發展，並分析其優缺點，以便為雨天的路面偵測建立穩固的研究基礎。因此本研究文獻探討的部分，分為晴天與雨天路況來討論路面偵測系統使用的特徵與技術。本章中第一節將針對在晴天時路面偵測使用的特徵與技術作討論並詳細說明。另外，為了克服在環境中偵測路面時遇到的困難與變因，因此第二節將探討特殊氣候及路況的路面偵測特徵與方法。. 第一節晴天路面偵測技術分析由於駕駛車輛安全性問題，駕駛輔助系統相關技術在距今約二十多年前開始被重視與開發，透過攝影機架設在車輛內以視覺式的方式分析車輛前方道路的狀況來輔助駕駛人。其中路面偵測技術在先進駕駛輔助系統中扮演重要的角色，因為該技術不僅能提供正確的路面區域、道路形狀及標線位置，還能將諸多前方道路資訊提供給其他的駕駛輔助系統使用。以下表 2.1 為早期與近年正常氣候與特殊氣候及路況的路面偵測使用的特徵與技術，接下來將依序做更深入地探討。經 Yenikaya 等人[Yen13]觀察發現幾乎所有偵測路面的文獻，都會透過邊緣偵測技術讓系統得知影像中何處是正確的路面區域，以便進行路面顏色特徵擷取並執行路面偵測。在表 2.1 中，He 等人[He04]則先將前方道路進行鳥瞰圖轉換後再進行邊緣偵測以得到路面邊界標線，讓系統得知路面區域。另一方面為了讓系統能適應遇到彎曲道路的情況，便利用事先建立的曲線模型偵測出較相近的彎曲路面邊界標線。所以在已知路面邊界標線的情況下，便能針對路面擷取顏色特徵然後進行路面偵測。此研究先利用鳥瞰圖轉換和邊緣偵測技術獲得路面邊界標線後，進而得知路面區域並擷取路面顏色特徵。但是此方法相當依賴於鳥瞰圖轉換與邊緣偵測的結果，若在路面有複雜光影變化或前方有多台車輛時容易有誤判的情形發生。. 8.

(18) 表 2.1 近年路面偵測使用技術 Work He et [2004]. Preprocess al.. Rotaru et al. [2004] Hu et al. [2004] Wang et al. [2008]. No preprocess. RGB to HIS Conversion Bottom of %60 of the whole image as ROI No preprocess. Alvarez et al. [2011]. No preprocess. Kim et al. [2011]. No preprocess. Yenikaya et al. [2013]. No preprocess. Feature Extraction Color of multivariate Gaussian distribution HSI component Histogram based segmentation RGB histogram for OTSU RGB to Log chromaticity space. Edge Detection mathematical morphology operators. Fitting Geometry Predefined candidate models. Prewitt operator Canny edge detection. No model. Canny edge detection. No model. Not robust in occluded roads. No process. No model. RGB to Log chromaticity space and image segmentation RGB and image segmentation. Sobel operator and Hough transform. No model. Not robust in over and undersaturation areas Not robust in every road shape. Sobel operator and Hough transform. No model. Two parallel lines. Comments Not robust in unstructured roads Not robust in occlusions Not robust in occluded roads. Not robust in weak road boundary. Rotaru 等人[Rot04]則先將原圖 RGB 色彩空間轉換至 HSI 色彩空間，因 HSI 色彩空間使用色調(Hue)、飽和度(Saturation)及強度(Intensity)來描述影像，相較之下比 RGB 色彩空間更容易表達人的視覺特性。因標線的顏色較為明亮，所以利用 HSI 色彩空間中 I 值的變化，再使用邊緣偵測技術便可以快速地擷取道路標線，接著再配合 H 與 S 值進而確認路面區域。此研究在晴天道路標線明顯時能有很好的表現，但是對於標線破損或無標線、光影變化劇烈及標線被遮擋時容易有重大地誤判。 Hu 等人[Hu04]則先觀察實驗場景道路的 RGB 值，其中屬於路面的像素其 B 值會大於 R 值與 G 值，而非路面的像素則其 R 值與 G 值皆大於 B 值。為了區別路面與非路面的區域，利用上述對像素之 RGB 的觀察進行像素的分類，以得到初步的路面偵測結果。接著再結合 Canny operator 邊緣偵測技術，運用偵測出的道路輪廓改善誤判路面的部分。此研究的優點在特定的無標線繪製的道路上，其路面偵測的結果良好，對於陽光形成的光影變化也能偵測正確。但缺點則是無法適應特定道路以外的其他道路場景，路面與非路面區域的像素其 RGB 值一旦不符合上述的性質，路面偵測結果必定會有失其準確性。 9.

(19) 因此 Alvarez 等人[Alv11]在 PLN assumption[Fin04]的情況下，規律地以每 5 張 frame 的頻率擷取自身車道前方路面數塊 ROI(假設擷取的 ROI 必定是路面)，將這些 ROI 中各像素的 RGB 值轉換至 log chromaticity space(將 R 除以 G 取 log 做為 x 軸以及將 B 除以 G 取 log 做為 y 軸)。接著便投影至某特定角度的直線上以得到路面相對應的區間，其中最佳角度的擷取方法則是將 log chromaticity space 中的點從 0 度至 180 度的直線都分別做投影，並算出投影後的亂度值，最後取其使亂度值最小的角度當作投影角度。因此要判定影像中某像素是否為路面，只需將該像素的 RGB 值轉換至 log chromaticity space 中然後投影至特定角度的直線上，若投影後位於路面相對應的區間內，則代表該像素屬於路面。此研究的優點在於不需邊緣偵測技術的輔助就能偵測完美的路面，對於陽光造成陰影變化的各路面皆能順利的判別，而且不受道路形狀的限制。缺點為無法將過度曝光時的路面判別正確以及擷取 ROI 時有可能會擷取到非路面區域導致路面顏色特徵擷取錯誤。從以上的文獻可以發現，邊緣偵測技術對於找出路面位置有莫大的幫助，但是一旦道路標線或路面邊界模糊不清時，便無法達到效果。因此本研究將使用上述所提到的 log chromaticity space，並找出投影最佳角度來進行路面偵測。但是由於本研究需在雨天中進行路面偵測，因此必頇對 log chromaticity space 加以改良並加入其他特徵輔助，成為適合本系統於雨天的情況下進行路面偵測。. 第二節雨天路面偵測使用特徵與方法近年來，基於穩定氣候的路面偵測相關技術發展及文獻發表越來越多，但是從中便發現，對於在雨天及複雜場景中偵測路面所遇到的困難並無太多著墨與探討。由於在上一節已經確定使用 log chromaticity space 初步解決陽光造成的陰影變化進而改變路面顏色的問題，因此本節將著重探討能抵抗因雨天而造成諸多干擾的特徵。 Wang 等人[Wan08]首先擷取影像中一塊必定是路面的 ROI 後，統計該 ROI 中各個像素其 RGB 值三者中何者最大並累積次數，累積次數最多者便能合理的認為該 ROI 的色彩較偏向該通道的顏色。依據累積次數最多的通道將原圖轉換至該通道的單通道影像，接著使用 OTSU 演算法找出在該通道中適合的閥值，其目的 10.

(20) 是為了將影像初步的分為路面及非路面。然而此方法會將相似顏色的非路面區域也一併誤判，無法找出明顯的路面邊界，所以接著對原圖進行 Canny operator 邊緣偵測技術結合 OTSU 演算法將明顯的邊緣留下，最後再使用 Hough transform 便可以找出的路面邊界進而得知正確的路面區域。此研究的優點是能透過簡單的概念，快速的將影像分為路面以及非路面，即使是被雨水淋濕的路面也能初步大範圍的分類成功。但缺點是因為此研究的實驗場景色調單一而且無冗餘的障礙物干擾，例如：樹木、車輛、行人及電線杆等，才使得初始的影像分割以及邊緣偵測技術有好的效果。一旦路面上的雨水映射了旁邊複雜的街景，眾多複雜的顏色將會嚴重干擾初步的影像分割結果。 Kim 等人[Kim11]則利用上一節所提及的 log chromaticity space 先將路面做初步的偵測，為了去除誤判的區域，因此再對原圖進行影像分割以及使用 Sobel-Hough 技術找出路面邊界，利用這兩種技術與初步偵測結果互相結合來增進路面偵測的正確率。其優點是對於標線明顯、景色單一的道路可以有很高的正確率，但缺點為此研究在影像分割時分成太多小區塊，若初步偵測結果沒有達到一定的正確率，那麼將無法發揮影像分割技術的優點，而且最終路面偵測結果也會不理想。最後在 Yenikaya 等人[Yen13]統整近年來的路面偵測文獻後，觀察出可以將路面顏色特徵、邊緣特徵及影像分割技術做結合，互相輔助以解決如圖 2.1(a)(b)(c) 因下雨的緣故造成路面顏色混亂、道路標線及路面邊界被遮擋的問題。概略流程如下：首先利用路面顏色的資訊對原圖進行影像分割，將路面做初步的偵測，因考慮路面會受眾多光影變化的干擾，所以利用 Sobel-Hough 技術將偵測到的邊緣資訊結合影像分割後的結果，以移除誤判的區域。為了適應標線偶爾會因障礙物而被阻擋，所以使用了 least median squares(LMS)技術來預測被遮擋住的標線位置。綜合上述針對雨天路面偵測技術的探討，本研究將透過整合路面顏色特徵與影像分割技術，利用鄰近的像素應擁有相似顏色的特性，將其分類為同一區塊，針對路面因雨水而映射路旁街景導致讓路面色彩變得複雜、道路與非道路之間的. 11.

(21) (a)左側道路標線被阻擋. (b)路面映射反光和路樹. (c)路面映射反光和街景. 圖 2.1 不同的雨天道路場景[Yen13] 邊界難以分辨、車輛阻擋道路與非道路之間的邊界及道路形狀的問題來解決，以期透過影像分割技術能輔助並提高雨天路面偵測的正確率。. 12.

(22) 第三章. 雨天路面偵測系統. 第一節系統目的本論文所提出之雨天路面偵測系統，目的在於能夠在雨天時克服因雨天而產生的路面反光、路面上映射街景的色彩以及自身車輛前擋風玻璃上受雨滴和雨刷遮擋拍攝鏡頭等諸多干擾偵測路面，以期未來能對駕駛輔助系統和自動駕駛系統帶來幫助。本研究主要將攝影機架設於車內前擋風玻璃上後照鏡處拍攝前方道路，利用偵測路面技術的開發，將路面與非路面的區域做區分。. 第二節研究環境與設備本系統架設與實驗環境如圖 3.1 所示，為攝影機在車內的架設位置及實際拍攝畫面，圖 3.1(a)為本研究拍攝之攝影機，型號為 Blackvue dr650gw，圖 3.1(b)則是展示攝影機架設於車內的前擋風玻璃正中央位置處往前方道路拍攝，圖 3.1(c) 則為雨天時在雙向單線道的實際拍攝畫面，其中擋風玻璃上散布了些許的. (a)本系統所用攝影機. (b)攝影機架設位置. (c)雨天實際拍攝之場景之一. (d)雨天實際拍攝之場景之二. 圖 3.1 實際設備架設圖及雨天實際場景拍攝圖 13.

(23) 雨滴干擾拍攝以及路面上映射了路旁的樹木、陰影及反光。圖 3.1(d)則為雨天時在高速公路的實際拍攝畫面，其中可以看到因雨刷啟動的緣故而干擾拍攝以及因路面上有著些微的積水而濺起的水花。. 第三節系統流程雨天路面偵測系統之流程如圖 3.2 所示，主要分為三個重要的步驟，分別為 road feature extraction、watershed segmentation 及 road detection，前兩個步驟中又. Sequence input. No ROI extraction and validation? Yes Road feature extraction. Watershed segmentation. RGB value calculation. Access marker image information. Log-chromaticity space transformation 4-connected components and labeling. Sensor sharpening matrix transformation. Segments drawing. Projection and thresholding. Road detection. Output. 圖 3.2 雨天路面偵測系統流程圖. 14.

(24) 分為數個步驟，以下將詳細解說之。當系統啟動後會先進入 ROI extraction and validation 的判斷，其中 ROI extraction 的部分系統會固定擷取影像中一塊長方形的 ROI(region of interest)，而該 ROI 則位於影像中的下半部分，其原因為該位置有很大的機率是車輛前方的路面區域。而 ROI validation 則指系統會先算出該 ROI 中顏色的變異數，若低於某特定閥值才會被判定為路面並進入 RGB value operation。進入 RGB value operation 後，將 ROI 切割成等份的 N 塊子區域，每個子區域中計算出(1)最大的 R、G 及 B 值(maxR、maxG、maxB)、(2)最小的 R、G 及 B 值 (minR、minG、minB)、(3)帄均的 R、G 及 B 值(meanR、meanG、meanB)以及(4) 中位數的 R、G 及 B 值(medianR、medianG、medianB)，將這些值組成一個大小為 4N×3 的矩陣稱為 P 矩陣，如式 3-1-1。  max R1  min R 1   mean R1   median R1 P         mean RN median R N . max G1 min G1 mean G1 median G1    mean GN median GN. max B1  min B1  mean B1   median B1          mean BN  median BN . (3-1-1). 接著進入 log chromaticity space transformation 步驟，將上述 P 矩陣 column 放置 R、G、B 的部分全部轉換成 log(R/G)與 log(B/G)，於是形成了一個大小為 4N×2 的 P´矩陣，如式 3-1-2。 log(max B1 / max G1 )   log(max R1 / max G1 )  log(min R / max G ) log(min B1 / max G1 )  1 1   log( mean R1 / mean G1 ) log( mean B1 / mean G1 )     log( median R1 / median G1 ) log( median B1 / median G1 )   P                 log( mean BN / mean GN )   log( mean RN / mean GN ) log( median R / median G ) log( median B / median G ) N N N N  . 15. (3-1-2).

(25) Before sensor sharpening matrix transform 1 0.5 0 -0.4. -0.2. 0. 0.2. -0.5. (a)雨天路面 ROI. (b)相對應之 log chromaticity space. 圖 3.3 雨天路面 ROI 及相對應的 log chromaticity space 然後將 log(R/G)視為 X 軸以及 log(B/G)視為 Y 軸，把每列的值描點至 log chromaticity space 中觀察。發現這些點的整體分佈狀況呈現散亂，沒有一致的方向性，如圖 3.3(b)所示為圖 3.3(a)雨天路面擷取之 ROI 轉換至 log chromaticity space 的結果。為了讓點形成較理想整齊的分佈，因此本研究參照了 Kim 等人[Kim11] 的作法，將尚未轉換至 log chromaticity space 的 P 矩陣進行 sensor sharpening matrix transform。 Sensor sharpening matrix transform 的目的是讓 P 矩陣乘上一個大小為 3×3 稱做 M 的 sensor sharpening 方陣，使得 P 矩陣轉換至 log chromaticity space 中的點分佈能具有更一致的方向性且更能集中於一條線上，以便下一個步驟的進行。關於 sensor sharpening matrix transform 中各個子步驟的作法會在論文第四章有更詳細的介紹。接著進入 road feature extraction 的最後一個步驟 projection and thresholding 步驟，利用上一個步驟計算得到的 M 矩陣以及投影角度後便可以開始進行投影並算出投影完後的帄均點，以此帄均點為準加減某個正的常數，作為該色度的投影區間，將投影後位在此區間的點視為同一類。總而言之，在系統一開始時必頇先確定擷取的 ROI 是路面區域，接著才將該 ROI 進行 road feature extraction，透過執行 log chromaticity space、sensor sharpening matrix transform 及 projection and thresholding 各步驟後便可以將整張影像與 ROI 具有相似顏色的像素視為同一類，即可完成初步的路面偵測。其優點是可以將因陽光而造成路面產生深淺不一的陰影路面，透過以上的步驟後可以將這些顏色正 16.

(26) 確的判別為路面區域。但由於雨天的路面會映射路旁的街景使得路面顏色混雜，導致初步的路面偵測結果產生了些許的誤判，因此利用將原圖執行 watershed segmentation 的步驟與初步路面偵測做整合，最後則可以輸出雨天路面最終偵測結果，並將系統判斷為路面的區域塗成綠色。其中 watershed segmentation 的詳細步驟將於第四章詳細介紹。. 17.

(27) 第四章. 雨天路面特徵擷取. 前述曾經提到使用 log chromaticity space 來做初步的路面顏色特徵擷取後，接著再結合 watershed segmentation 影像分割技術來輔助在雨天時造成的誤判。因此本章第一節介紹路面顏色特徵擷取細部流程，第二節介紹 watershed segmentation 的細部流程，各步驟的詳細過程將在本章中討論。. 第一節路面顏色特徵擷取顏色特徵擷取方法可分為三個步驟，分別為(A)log chromaticity space、 (B)sensor sharpening matrix transform 及(C)projection and thresholding，各步驟的詳細過程將在本節討論。 (A)Log chromaticity space 在偵測路面系統中有諸多研究[Foe04][Rot04][Hon02][Chi05]都是將顏色作為主要特徵，因為其中富含許多該影像的資訊，當系統得知路面的顏色資訊後，便可以初步的偵測出路面與非路面之間的界線。但若是在複雜的環境下偵測路面，如：市區，陽光受車輛及建築物阻擋或折射的影響，路面會產生陰影及亮白色的部分，會使得路面顏色產生變化、造成偵測結果中有許多誤判。從 Finlayson 等人[Fin04]運用光學的觀念實驗證明出，同時擁有 Planckian lighting、Lambertian surface imaged 以及 narrowband camera(PLN assumption)三項假設下，理想上便能將同色度不同色溫的像素強度值集中並完美的分為同一類。其中 Planckian lighting 代表的意思是在實驗環境中的光源不能是人為光源， Lambertian surface imaged 代表的意思則是在實驗環境中的光源必頇朝各個方向均勻的照射以及 narrowband camera 代表的意思則是拍攝實驗時必頇使用 narrowband 的攝影器材，目的就是要將受外在干擾而改變色溫的路面顏色也能被系統判定為路面。所以 Alvarez 等人[Alv11]針對受陽光影響而改變色溫的路面，先將 RGB 轉至 log chromaticity space 後(以 log(R/G)作為 x 軸，log(B/G)作為 y 軸)，再找出與 x 軸夾角𝜃度的直線，便能將同色度不同色溫的顏色垂直投影至線上並. 18.

(28) 圖 4.1 Ideal log-log chromaticity plot[Alv11] 形成數個不同色度的區間。如圖 4.1 所示，左圖為色溫表示圖，裡面的黑色弧線則代表從紅色到紫色的色溫變化；中間圖則為四種不同色度在 log chromaticity space 中的理想分佈，而理想分佈的定義為：不同色度之間呈現互相水帄以及每個不同色溫同色度的顏色經過夾角𝜃度的垂直投影至 l 後都能收斂至各自相同的區間內。其涵義如右圖所示，垂直投影至 l 後便能將同色度不同色溫的顏色收斂至各自區間內，也因此本系統期望透過此方法能將不同色溫之路面顏色理想收斂並有較高的路面偵測率。但以實際拍攝環境來說，有太多的變因會造成 PLN 假設不成立，以第一個假設條件 Planckian lighting 來說，市區的環境複雜有較多的人為光源，因為其光源不符合自然光源的色溫，因此難以將同色度不同色溫像素強度值集中至同一個區間。再來是第二個假設條件 Lambertian surface imaged 則是因介質的影響造成光線不規則折射，如：雨水，而導致假設不成立。最後一個假設條件 narrowband camera 則是因為大部分攝影機並非 narrowband，因此本假設亦不易成立。因此若拍攝環境中無此三個假設條件之下要如何還能準確的偵測路面，是本研究最需處理的問題。透過實驗發現，各色度是否能收斂至各自的區間內以及呈現互相帄行特性憑藉的是拍攝器材是否為 narrowband。使用者必頇使用 narrowband 拍攝器材才能使得轉換至 log chromaticity space 的資料點分佈得較集中，否則分佈相當鬆散、整體而言不具有明顯的方向性，不符合上述特性，也就無法順利的將同色度不同色溫之顏色投影至各自獨立的區間內。因此 Kim 等人[Kim11]在每個像素轉換至 log chromaticity space 之前，使用了 sensor sharpening matrix transform 將資料點變得 19.

(29) (a). (b). 圖 4.2 Sensor sharpening 前後差異[Kim11] (a)執行 sensor sharpening matrix transform 之前；(b)執行 sensor sharpening matrix transform 之後。更加緊密、更具整體的方向性，也使得系統能更精確的算出θ角。如圖 4.2(a)為未使用 sensor sharpening matrix transform 前就轉換至 log chromaticity space 的資料點分佈，而圖 4.2(b)為先做過 sensor sharpening matrix transform 後再轉換至 log chromaticity space 後的資料點分佈，相較之下整體資料點更為緊密且整體面之分佈有明顯的方向性。詳細的 sensor sharpening matrix transform 步驟以及實作結果將在下一節做詳細的介紹。 (B)Sensor sharpening matrix transform 如前所述 sensor sharpening matrix transform 的主要目的就是為了模擬 narrowband 攝影器材的特性，其特性能使得在 RGB 色彩空間轉換到 log chromaticity space 後所描繪的點緊密而且具有整體方向性。其核心思想為建立一個大小為 3×3 的 sensor sharpening matrix，稱作 M 矩陣，詳細的公式與 M 矩陣內元素值域的限制如下式 4-1-1 所示： min M f M, P    rank (M). (4-1-1). 3. 在  M ij  1, i  1,2,3 ， M ii  1  0.3 i  1,2,3 ，且 M ij  0.3, i  j 成立的條件下， j 1.  cos    其中 f (M, P)  min 0  H   (PM )    。 sin     公式 4-1-1 中的輸入為 P 矩陣與 M 矩陣，其中  為一常數，本研究經實驗後將  設定為 0.5，rank 函數為經過高斯消去後得到的矩陣維度，其中 M 矩陣中元 20.

(30) 素值的限制如上述所示，其意義分別為每列的元素值加總要等於 1、主對角線上的元素值減 1 取絕對值後要小於等於 0.3 以及主對角線上以外的元素值取絕對值後要小於等於 0.3。另外，函數 f 中的  函數代表的意思是 log 色彩空間的轉換以及 H 函數代表的意思則是亂度值的計算，其函數 f 的目的則是透過 P 矩陣、M 矩陣以及 M 矩陣自身的限制條件當作輸入，透過窮舉投影角度  值以及計算投影後的亂度，系統將使用投影後亂度最小的 M 矩陣以及相對應的  當作輸出，回傳至式 4-1-1。經過實驗後得知，如圖 4.3(a)所示為晴天時景色單一、環境干擾較少情況下所擷取的的路面 ROI，經過 sensor sharpening transform 後，在 log chromaticity space 中的點確實變得緊密而且具有整體方向性。 Before sensor sharpening matrix transform 0.05. log(B/G). 0 -0.2 -0.15 -0.1 -0.05 0 -0.05 -0.1 log(R/G). (a). (b) After sensor sharpening matrix transform. log(B/G) 0 0 -0.05. 0.05. 0.1. -0.1 log(R/G). -0.15. (c) 圖 4.3 執行 sensor sharpening matrix transform 前後比較 (a)晴天時擷取的路面 ROI；(b)在 log chromaticity space 中未經過 sensor sharpening transform 的資料點分佈；(c)在 log chromaticity space 中經過 sensor sharpening transform 之後的資料點分佈。. 21.

(31) Before sensor sharpening matrix transform log(B/G) 0.3 0.2 log(R/G). 0.1 0 -0.4 -0.3 -0.2 -0.1 -0.1 0. 0.1. -0.2. (a). (b) After sensor sharpening matrix transformation. log(R/G) 2.5 2 1.5 1 0.5 0 0. 0.5. 1 1.5 log(B/G). 2. (c) 圖 4.4 執行 sensor sharpening matrix transform 前後比較 (a)雨天時擷取的路面 ROI；(b)在 log chromaticity space 中未經過 sensor sharpening transform 的資料點分佈；(c)在 log chromaticity space 中經過 sensor sharpening transform 之後的資料點分佈。然而在下雨時的路面顏色如圖 4.4(a)所示因遭受雨水的干擾而映射了眾多複雜的顏色，此時所擷取的路面 ROI 經過 sensor sharpening matrix transform 前後如圖 4.4(b)(c)，可發現雖然大部分的點分佈都有因此變的緊密，但卻還是有少許的點散布形成雜訊。 (C)Projection and thresholding 針對(B)小節最後一段提及的雨天路面 ROI，由於路面的顏色已經因雨水映射街景而產生改變，所以即使經過 sensor sharpening matrix transform 步驟處理後，還是會有少許的點散布形成雜訊。此時進行投影的步驟後便會造成路面相對應的區間過寬，因此必頇透過 thresholding 把不集中的點過濾，才能讓路面相對應的區間變得適當。 22.

(32) Thresholding 的方法為，將所有投影至線上的點與 xy 座標系原點算距離，接著將這些距離加總除以總點數便得到所有距離的帄均值，然後以此帄均點為中心加減某個正的常數  ，視投影後位於區間以內的點為路面的顏色，其  經過實驗後約略為 0.4，便完成了 thresholding 的步驟也解決了相對應區間過寬的問題。然而以上方法只是解決了陽光造成的光影變化問題，對於雨天路面的偵測，僅藉著 sensor sharpening matrix sharpening 以及 thresholding 的步驟只能初步盡量從顏色混雜的路面中正確分類出屬於路面的顏色，如圖 4.5(a)為雨天路面的輸入影像，圖 4.5(b)為初步的雨天路面偵測結果。所以若是在複雜的天候下偵測路面，如：雨天，只利用顏色作為偵測路面的唯一特徵，路面的積水則會映射路旁的建築物、路樹、交通號誌燈、反光、路上的車輛、頭燈及剎車燈等至路面上，導致路面的顏色混雜難以偵測，必頇再加入其他特徵來輔助路面偵測。因此下一節將介紹 watershed segmentation 影像分割技術作為輔助。. (a). (b). 圖 4.5 透過 sensor sharpening matrix sharpening 以及 thresholding 步驟得到的初步路面偵測結果 (a)雨天路面輸入影像；(b)初步雨天路面偵測結果(紅色區域為系統判斷之路面)。. 第二節分水嶺影像分割在路面偵測系統中，利用影像分割技術的目的就是為了將路面與非路面區域正確的區分。影像分割技術有很多，包含了 k-means 法、直方圖法、分水嶺法等[維 14]。其中 k-means 法對於初始的 k 個點起始位置以及 k 值的大小非常重要，由於 k-means 法必頇一直疊代運作也因此影響了執行時間，無法應用在即時的路面偵測系統中。直方圖法的執行速度快，對於顏色單調的影像有很好的作用，但是若在顏色複雜的影像使用此方法，則可能會造成過度分割的狀況發生。分水嶺法則是能將附近擁有相同顏色的像素分割成同一塊，也能即時有效率的進行影像分割 23.

(33) (a)欲進行影像分割的原圖. (b)標記影像. 圖 4.6 分水嶺演算法的兩樣基本輸入影像。因此以下將詳細說明分水嶺法的詳細運行步驟。在執行分水嶺法之前，使用者必頇先給予系統一張以黑色為底、白色為標記的一張標記影像，如圖 4.6(b)所示是本系統設計的 11 塊白色標記，此標記影像上標記的數量會是做完影像分割後區域的數量，分割完後的每塊區域中像素都是與標記處像素擁有最相似的顏色。分水嶺演算法結果的好壞，與標記影像擁有絕對的關係，因此從圖 4.6(a)可以發現道路兩旁的邊界線會在影像中間的部分相交於一點，又稱為消失點，透過該張影像可以觀察出明顯的邊緣都往消失點集中，形成一種往外散射的圖形。因此本研究依據這個特性，便畫出了圖 4.6(b)標記影像，左下角與右下角的兩條斜線便可以將路面的邊界清楚的分割。首先當系統從標記影像上取得一個像素的標記後，便以 8 連通法找尋最大標記區域然後記錄標記區域邊緣像素與四鄰域像素顏色差異最小的差值，直到拜訪完所有像素，找出標記影像中所有的標記區域以及記錄所有標記區域邊緣像素與四鄰域像素顏色差異最小的差值為止。如圖 4.7(a)示意圖所示白色區域是系統已知的某塊標記區域，黑色區域則是待標記的區域，方格內的數字則是代表該格的強度值。此時系統中已經記錄了此塊標記區域邊緣像素與四鄰域像素顏色差異最小的差值，分別是(1, 1)對應於(1, 2)差值是 1，(2, 1)對應於(2, 0)差值是 1，(2, 2) 對應於(2, 3)差值是 2，(3, 2)對應於(4, 2)差值是 0 以及(3, 3)對應於(4, 3)差值是 1。接著將該差值視為區域擴增的優先權，其中值越小則優先權越高(假設其他標記區域的優先權值都大於 2)，所以擴增的順序為：(3, 2)、(1, 1)、(2, 1)、(3, 3) 最後是 (2, 2)，擴增後的示意圖如 4.7(b)所示。每當擴增一次便再次記錄標記區域邊緣像素與四鄰域像素顏色差異最小的差值，然後等待下一次的區域擴增。 24.

(34) (4,0). (4,0). (0,4). 3. 8. 5. 2. 3. 3. 8. 5. 2. 3. 4. 2. 4. 1. 3. 4. 2. 4. 1. 3. 8. 1. 4. 4. 4. 8. 1. 4. 4. 4. 6. 3. 2. 6. 5. 6. 3. 4. 6. 5. 3. 9. 4. 3. 2. 3. 9. 4. 3. 2. (0,4). (a)標記影像示意圖. (b)標記往外擴增一次之示意圖. 圖 4.7 分水嶺法標記擴增示意圖此方法是優先擴增顏色差異最小的像素，然後在每一次的擴增後，記錄新的標記區域邊緣像素與四鄰域像素顏色差異最小的差值。如此反覆的執行直到所有待標記的像素都已經成為某標記的區域。如圖 4.8(a)所示為使用分水嶺法做影像分割的結果，從中發現右下與左下兩塊咖啡色系的區域皆能順利的與非路面區域有所區隔，圖 4.8(b)則是將初步的雨天路面偵測結果與圖 4.8(a)互相參考後得到的最終路面偵測結果。如圖 4.9(a)所示為雨天路面輸入影像，圖 4.9(b)為使用分水嶺法做影像分割的結果，其中可以發現在光線不足的強況下，左下與右下兩塊咖啡色系的區域皆能順利的與非路面區域有所區隔，圖 4.9(c) 則是將初步的雨天路面偵測結果與圖 4.8(a)互相參考後得到的最終路面偵測結果。此方法最大的優點是可以依據原圖的情況來決定給予標記的位置，因此事先知道原圖特性之後再規則性的給予標記將可以得到有條理的分割，而且執行速度快速，可適用於即時的系統上。其演算法如圖 4.10 所示。. (a)影像分割後結果. (b)最終路面偵測結果. 圖 4.8 雨天路面影像分割結果以及最終路面偵測結果(綠色區域為路面) 25.

(35) (a)雨天路面輸入影像. (c) 最終路面偵測結果. (b)影像分割後結果. 圖 4.9 雨天路面影像分割結果以及最終路面偵測結果(綠色區域為路面) For each marker’s edge pixel in the input frame do Step1. Initialize the smallest difference value of all marker’s edge pixel between 4 neighbors into priority queue Step2. For all the lists in the queue •. Extract the list that has the highest priority. •. Occupy the pixel which has the smallest difference value between 4 neighbors. •. Insert the smallest difference value between 4 neighbors into priority queue. Step3. Output segment image 圖 4.10 Watershed segmentation algorithm. 26.

(36) 第五章. 實驗結果. 為了驗證雨天路面偵測系統的穩定度以及正確率，因此在本章總共分成三部分實驗，分別為小雨、中雨、中大雨，其中又包含了不同的道路形狀及場景。本實驗主要使用的測詴影片是由行車紀錄器架設在車輛內前擋風玻璃後照鏡處所拍攝，其型號為 Blackvue dr650gw，其拍攝的速率為每秒 30 張 frames。本系統使用 Microsoft Visual Studio 2010 編譯器，而電腦之硬體配備如表 5.1 所示。在進行實驗之前，需先定義小雨、中雨、中大雨三種雨勢以及計算路面偵測的正確率公式。根據中央氣象局的定義指出[交 10]，在 24 小時内降水量不超過 10 毫米稱做小雨，中雨為 10 毫米至 24.9 毫米，中到大雨為 17 毫米至 37.9 毫米，大雨為 25 毫米至 49.9 毫米。關於偵測路面正確率的計算，本系統透過計算 recall 以及 precision 來表示，如式 5-1-1 以及 5-1-2 所示：. Precision  Recall . tp tp  fp. (5-1-1). tp tp  fn. (5-1-2). 其中 tp 為 true positives，代表系統在該張 frame 中逐個像素與 ground truth 比對後偵測出是路面的像素個數，fn 為 false negatives 代表系統在該張 frame 中逐個像素與 ground truth 比對後沒偵測出是路面的像素個數以及 fp 為 false positives 代表系統在該張 frame 中逐個像素與 ground truth 比對後偵測出錯誤路面的像素個數。計算的方法是將系統偵測出的路面和手動描繪的 ground truth 逐個像素做比對，得出 tp、fn 與 fp 便可以計算 precision 與 recall。. 27.

(37) 項目桌上型電腦. 表 5.1 電腦之硬體配備規格型號. CPU. Intel Xeon E3-1230V2 4C8T/8MB/ 3.3GHz(Turbo 3.7G) /22nm/L3 8Mb0. 主機板. ASUS P8H77-I/miniITX/1A1D1H. 記憶體. Kingston DDR3 8G-1600 (*2). 硬碟. WD 2TB 64M/7200RPM/2002FAEX. 顯示卡. EVGA GTX660 3G DDR5 SC. 在進行雨天路面偵測之前，本研究將先與另一晴天路面偵測系統[Kim11]進行晴天時的實驗比較。該系統主要透過 log chromaticity space、sensor sharpening matrix transform、Hough transform 以及影像分割技術，在晴天以及車輛稀少的道路上進行路面偵測。其實驗環境光線充足、車輛稀少、道路兩旁無障礙物以及道路標線都能清晰可見的情況下，其實驗結果表現良好，但美中不足的是該系統非常依賴 Hough transform 尋找道路的消失點，一旦消失點預估錯誤則最後的路面偵測結果將會產生許多誤判。因此本研究針對此點進行改良，透過執行分水嶺影像分割技術結合 log chromaticity space 來改善誤判的部分。以下如圖 5.1 所示為晴天直線道路路面偵測結果比較，圖 5.1(a)為晴天輸入影像，圖 5.1(b)為原作者系統路面偵測結果，圖 5.1(c)為本研究系統路面偵測結果。從圖 5.1(b)及圖 5.1(c)發現，原作者系統與本研究改良之系統路面偵測結果都表現非常優異，其 recall 值與 precision 值分別為 0.88、0.873 以及 0.91、0.926。. (a). (b). (c). 圖 5.1 晴天直線道路路面偵測結果比較 (a)晴天拍攝場景輸入影像；(b)原作者系統路面偵測結果；(c)本研究系統路面偵測結果. 28.

(38) (a). (b). (c). 圖 5.2 晴天岔路路面偵測結果比較 (a)晴天拍攝場景輸入影像；(b)原作者系統路面偵測結果；(c)本研究系統路面偵測結果接著圖 5.2 為晴天岔路路面偵測結果比較，圖 5.2(a)為晴天輸入影像，圖 5.2(b) 為原作者系統路面偵測結果，圖 5.2(c)為本研究系統路面偵測結果。從圖 5.2(b) 發現，原作者系統因為在執行 Hough transform 時會找到錯誤的道路消失點，進一步影響最後的路面偵測結果產生許多誤判，recall 值為 0.767，precision 值為 0.857。相對的從圖 5.2(c)可以發現，在路面與非路面的邊界的判斷處理的優於原作者的偵測結果，其 recall 值為 0.901，precision 值 0.910。經過上述在晴天的情況下實驗後，本研究依據影片中的道路種類分成兩種路面分別進行統計 recall 值以及 precision 值，如表 5.2 以及表 5.3。總共實驗的 frames 數為 900 張。其中直線道路佔了 754 張 frames 以及岔路/十字路口佔了 146 張 frames。原作者系統最終的 recall 值為 0.861，precision 值為 0.87，本系統最終的 recall 值為 0.909，precision 值為 0.923。由實驗結果比較可以發現，原作者在岔路 /十字路口正確率較低，因為車輛在岔路以及十字路口進行轉彎時，此時道路並不會有消失點，因此在使用 Hough transform 找消失點時會發生錯誤，進而造成 recall 值以及 precision 值偏低。表 5.2 原作者系統晴天路面偵測總表 Sequence Road shape No. of frames Recall Precision 0519sunHough Straight 754 0.880 0.873 Cross/branch 146 0.767 0.857 Total 900 0.861 0.870. Sequence 0519sun Total. 表 5.3 本系統晴天路面偵測總表 Road shape No. of frames Recall Precision Straight 754 0.910 0.926 Cross/branch 146 0.901 0.910 900 0.909 0.923 29.

(39) 實驗一小雨實驗一的部分將針對小雨時所面臨的五種道路形狀來做路面偵測的實驗，首先第一支測詴影片中道路形狀以直線和岔路/十字路口居多，其餘為巷弄與彎曲道路。其中圖 5.3 為小雨岔路連續路面偵測結果，圖 5.4 為小雨巷弄連續路面偵測結果以及圖 5.5 為小雨直線道路連續路面偵測結果。從圖 5.3(a)可以發現車輛正行經十字路口並往左行駛，路面因下著小雨導致路面的顏色深淺不一並且畫有斑馬紋行人穿越道標線，整體光線充足無太多的干擾因素。如圖 5.3(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.3(c)則為本系統在小雨時的岔路路面偵測結果，綠色部分為路面。可以發現大部分的路面都有成功的判斷，但由於路面上斑馬紋行人穿越道標線顏色干擾了初步路面偵測結果而導致部分路面區域未成功判斷，recall 值為 0.829， precision 值為 0.954。圖 5.4(a)可以發現在巷弄路段時，路面兩旁則因停滿車輛造成路面標線被阻擋以及建築物阻擋了光源造成場景陰暗。如圖 5.4(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.4(c)則為本系統在小雨時的岔路路面偵測結果，綠色的部分為路面。其中兩旁車輛輪胎顏色與路面顏色過於相似因此誤判為路面區域，但整體的道路形狀符合分水嶺演算法中的標記影像，所以最後的實驗結果 recall 值為 0.915，precision 值為 0.931。圖 5.5(a)則是行駛在車輛較少的直線道路上，光線充足沒有太多的外在因素干擾。如圖 5.5(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.5(c)則為本系統在小雨時的直線道路路面偵測結果，綠色的部分為路面。由於分水嶺演算法中標記影像是固定的緣故，因此自身車輛靠左行駛時的場景與標記影像設計理念稍有出入，導致將道路中央水泥製的安全島被誤判為路面，recall 值為 0.789，precision 值為 0.904，造成 recall 值偏低但還是有九成的準確率。 30.

(40) (a). (b). (c). 圖 5.3 小雨岔路連續路面偵測結果 (a)小雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果. (a). (b). (c). 圖 5.4 小雨巷弄連續路面偵測結果 (a)小雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果 31.

(41) (a). (b). (c). 圖 5.5 小雨直線道路連續路面偵測結果 (a)小雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果第二支測詴影片中道路形狀包含直線、岔路／十字路、巷弄以及彎曲道路。其中圖 5.6 為小雨彎曲道路連續路面偵測結果，圖 5.7 為小雨巷弄連續路面偵測結果以及圖 5.8 為小雨直線道路連續路面偵測結果。從圖 5.6(a)可以發現車輛正在進入彎道，路面因下著小雨導致路面的顏色深淺不一，道路左側因樹木遮蔽光線導致整體光線不足。圖 5.6(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.6(c)則為本系統在小雨時的彎曲道路路面偵測結果，綠色部分為路面，可以發現大部分的路面以及路面與非路面的邊界都有成功的判斷，因此在彎曲道路的部分擁有較好的 recall 值為 0.865，precision 值為 0.877。圖 5.7(a)為行駛在巷弄路段時，場景光線充足，兩旁紅色道路標線清楚。如圖 5.7(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.7(c)則為本系統在小雨時的岔路路面偵測結果，綠色的部分為路面。其中路. 32.

(42) 面區域的區域都被正確的判斷，因整體的道路形狀符合分水嶺演算法中的標記影像，所以最後 recall 值為 0.934，precision 值為 0.833。圖 5.8(a)則是行駛在車輛較少的直線道路上，路面兩旁則因停滿車輛造成路面標線被阻擋以及建築物和樹木阻擋了光源造成場景陰暗。圖 5.8(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.8(c)則為本系統在小雨時的直線道路路面偵測結果，綠色的部分為路面，其中兩旁車輛輪胎顏色與路面顏色過於相似因此誤判為路面區域，導致 recall 值偏低，但整體的道路形狀符合分水嶺演算法中的標記影像，所以 recall 值為 0.943，precision 值為 0.864。另外岔路部分的 recall 值為 0.779，precision 值 0.9。. (a). (b). (c). 圖 5.6 小雨彎曲道路連續路面偵測結果 (a)小雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果. 33.

(43) (a). (b). (c). 圖 5.7 小雨巷弄連續路面偵測結果 (a)小雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果. (a). (b). (c). 圖 5.8 小雨直線道路連續路面偵測結果 (a)小雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果 34.

(44) 圖 5.9(a)則是行駛在夜間車輛較多的直線道路上，道路左側因為橋樑的緣故所以路面左側較為陰暗，道路右側則因為商家營業以及路燈的緣故所以路面右側較為明亮。圖 5.9(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.9(c)則為本系統在夜間小雨時的直線道路路面偵測結果，綠色的部分為路面。其中因亮與暗之間的反差因此讓路面邊界清楚顯露，並沒有是夜晚的緣故而難以分辨，但障礙物背光處所形成的陰影會混淆路面邊界的判斷進而影響路面偵測結果，最後 recall 值為 0.943，precision 值為 0.864。另外岔路部分的 recall 值為 0.779，precision 值 0.9。. 圖 5.9 夜間小雨直線道路連續路面偵測結果 (a)夜間小雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果經過上述在小雨的情況下實驗後，本研究細分成五種路面分別進行統計 recall 值以及 precision 值，總共實驗的 frames 數為 2906 張。其中直線道路佔了 1774 張 frames、巷弄佔了 456 張 frames、彎曲道路佔了 353 張 frames 以及岔路／十字路口佔了 323 張 frames，如表 5.4 所示。最終的 recall 值為 0.87，precision 值為 0.91。由實驗結果可以發現，岔路／十字路口以及巷弄的正確率較低，因為分水嶺法中給予的標記影像較不適應岔路／十字路口以及正在轉彎的時候，而巷弄則是因為光源過於薄弱使得非路面區域以及路面區域難以分辨。. 35.

(45) Sequence 0326mix. 0421mix. Night_rain Total. Road shape Straight Alley Cross/branch Curve Straight Alley Cross/branch Curve Straight. 表 5.4 小雨路面偵測總表 No. of frames Recall 841 191 217 101 142 265 106 252 791 2906. 36. Precision 0.789 0.915 0.829 0.920 0.943 0.934 0.779 0.865 0.938 0.870. 0.904 0.931 0.954 0.960 0.864 0.833 0.900 0.877 0.939 0.910.

(46) 實驗二中雨本實驗二的部分將針對中雨時所面臨的五種道路形狀來做路面偵測的實驗，首先第一支測詴影片中道路形狀以直線和岔路／十字路口居多，其中也包含些許巷弄與彎曲道路路段。從圖 5.10(a)可以發現車輛正在右轉於岔路，整體場景的光線較為陰暗，因為道路兩旁有高大的建築物遮擋光源，使得路面中央產生較亮的路面，兩旁則是顯得較為陰暗，使得路面邊界變得更難以分辨。另外，路面上偶爾會映射其他車輛的車頭燈或剎車燈干擾路面偵測。接著如圖 5.10(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.10(c)則為本系統在中雨時的岔路路面偵測結果，綠色的部分為路面。其中大部分的路面區域都有判斷成功，但岔路的道路形狀與分水嶺演算法中的標記影像設計理念不符，因此會稍微的影響實驗結果，而 recall 值為 0.827，precision 值為 0.9。圖 5.11(a)則是行駛在車輛較少的直線道路上，整體場景的光線較為陰暗，因為道路兩旁有高大的建築物遮擋光源，使得路面中央產生較亮的路面，兩旁則是顯得較為陰暗，使得路面邊界變得更難以分辨。接著如圖 5.11(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.11(c)則為本系統在中雨時的直線道路路面偵測結果，綠色的部分為路面。其中大部分的路面區域都有判斷成功，但還是可以發現邊界處並無呈現完整的帄滑，是因為雨天的關係再加上光線不足使得路面邊界附近的顏色變得相近，難以正確區分，而 recall 值為 0.927，precision 值為 0.904。圖 5.12(a)為行駛在巷弄路段時，整體場景的光線較為陰暗，因為道路兩旁有高大的建築物遮擋光源，使得路面中央產生較亮的路面，兩旁則是顯得較為陰暗，使得路面邊界變得更難以分辨。如圖 5.12(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.12(c)則為本系統在中雨時的巷弄路面偵測結果，綠色的部分為路面。其中路面的區域都正確的判斷，但邊界處並無呈現完整的帄滑，是因雨天以及光線不足的緣故導致路面邊界處的顏色變得難以辨認，但最後依然能有不錯 recall 值為 0.966，precision 值為 0.802。. 37.

(47) (a). (b). (c). 圖 5.10 中雨岔路連續路面偵測結果 (a)中雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果. (a). (b). (c). 圖 5.11 中雨直線道路連續路面偵測結果 (a)中雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果 38.

(48) (a). (b). (c). 圖 5.12 中雨巷弄連續路面偵測結果 (a)中雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果本實驗二的第二支測詴影片中道路形狀只有彎曲道路及直線道路，從圖 5.13(a)可以發現車輛正準備進入彎道，路面兩旁則因停滿車輛造成路面標線被阻擋，整體場景的光線因樹木、建築物以及兩旁暫時停放的車輛而變得陰暗，過了樹林後才恢復正常光線亮度。接著如圖 5.13(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.13(c)則為本系統在中雨時的彎曲道路路面偵測結果，綠色的部分為路面。雖然大部分的路面都判定成功，但其中因為場景過於陰暗的緣故，所以路面與非路面之間的邊界變得難以分辨，造成了許多誤判，其 recall 值為 0.954，precision 值為 0.9。圖 5.14(a)為行駛在車輛較少的直線道路上，場景光線充足，右側紅色道路標線清楚可見，但是路面上的積水卻也映射了陽光、車輛與街景。如圖 5.14(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.14(c)則為本系統在中雨時的直線道路路面偵測結果，綠色的部分為路面。其中大部分的路面都判斷成功，只有路面邊界處偶爾因光線問題而產生不帄滑的狀況，其 recall 值為 0.94，precision 值為 0.968。. 39.

(49) (a). (b). (c). 圖 5.13 中雨彎曲道路連續路面偵測結果 (a)下雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果. (a). (b). (c). 圖 5.14 中雨直線道路連續路面偵測結果 (a)下雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果 40.

(50) 本實驗二的第三支測詴影片中如圖 5.15(a)可以發現車輛正在等待交通號誌準備左轉至岔路，整體場景的光線充足。但是卻因為雨勢的關係導致擋風玻璃時常有雨滴、雨刷干擾拍攝，以及路面上的積水更是清楚的映射路旁的建築物、街景、車輛的頭燈以及剎車燈干擾路面顏色的擷取。以下如圖 5.15(b)為手動框選的 ground truth，白色的部分為路面，黑色的部分為非路面，圖 5.15(c)則為本系統在中雨時的岔路路面偵測結果，綠色的部分為路面。其中由於路面標線的影響，導致初步的路面顏色擷取受到干擾以及又因車輛正處於轉彎的狀態，所以使用分水嶺法演算法進行影像分割的結果不甚理想。所以才使得標記影像無法適應此道路場景，造成諸多誤判，進而導致 recall 值和 precision 值偏低。其 recall 值為 0.762， precision 值為 0.887，另外直線道路部分的 recall 值為 0.937，precision 值為 0.896。. (a). (b). (c). 圖 5.15 中雨岔路連續路面偵測結果 (a)下雨拍攝場景輸入影像；(b)ground truth；(c)路面偵測結果. 表 5.5 中雨路面偵測總表 41.