一、 序論
1.1 研究背景與動機
近年來,隨著行車紀錄器由機械式轉為數位式以後,行車紀錄器的使用率逐年增加。
機械式行車紀錄器雖然操作上十分簡易,不過由於是以紙卡的方式做記錄,資料的可讀 性低,且儲存的資訊十分有限,使得行車紀錄器的應用面十分狹隘。自數位式行車紀錄 器出現後,資料的儲存方式從紙卡轉為儲存於記憶體設備中的數位資料,除了資料容易 儲存外,將資料以影像的方式儲存,提高了資料的可讀性。而且數位資料容易與外部設 備如全球衛星定位系統(Global Positioning System)、數位電子羅盤等資訊做整合,使得 行車記錄器可以取得的資訊也更加多樣化,應用範圍也因此變得更加廣泛。
由於數位式行車紀錄器是以影片的方式將行車路況記錄下來,從影片的聲音及影像 極為容易分辨道路肇事事故的事發經過與責任歸屬,因此許多駕駛人看準這點,而在車 上加裝了行車紀錄器,使得行車紀錄器更加的普及化。由於行車紀錄器的普及與資料廣 泛的應用層面,使得許多學者與企業對於研發行車紀錄器相關的應用系統十分的感興趣。
現今利用行車紀錄器影片去做出輔助駕駛人防範事故發生的系統相當地多,其系統總稱 為高級輔助駕駛系統(Advanced Driver Assistance Systems)。高級輔助駕駛系統是用來輔 助駕駛人進行汽車駕駛的系統,以人機互動的方式輔助駕駛人,增加車輛駕駛的安全性,
而常見的輔助駕駛系統有車道偏離警示系統、換車道輔助系統、防撞警示系統…等。
基於視覺的駕駛輔助系統,車道線偵測占有相當重要的地位,經由車道線的偵測,
可以了解車子在道路上的位置,使系統能夠確認駕駛人的狀況與周遭的環境。因此近二 十年以來,車道線偵測已成為相當重要的領域。以電腦視覺方式去偵測車道線位置的流 程大致上可化簡成輸入一部未知車道線位置的行車紀錄器影片,經車道線偵測系統處理 過後,會輸出一部已標示車道線位置的影片,如圖 1-1。依據使用者的要求,輸出的結 果也會有所不同,有些系統會標示目前行駛車道的左右車道線、而有的則會標示影像中 所有車道的車道線。另外有些系統則是會在偵測的過程中將線的種類做分類,以此來增 加偵測車道線的準確度,同時也會在輸出時提供線的種類資訊。
圖 1-1 簡化的車道線偵測流程。
車道線偵測系統
輸入 輸出
2
在車道線偵測系統中的困難點在於不同行車紀錄器產出品質不一的影片以及影片 內容的天氣與路況對影片的畫質影響,使得在偵測車道線的過程困難重重。在不同的行 車記錄器上,所得到的影片介面格式、畫面的解析度與拍攝角度也會有所不同。在圖 1-2(a) 中,介面格式中除了影片外,在畫面上左上角附加了全球衛星定位系統導航的地圖,以 及在畫面下方附加了目前所在的街道位置等資訊;而在圖 1-2(b)中,介面除了影片外,
右下角有影片的拍攝日期與時間。在不同天氣下,影片的視野、道路的顏色與道路的亮 度也會有所不同。從圖 1-3 可以看出在不同天氣下的影片,光線的明暗度與視野會都會 有所不同,在圖 1-3(a)中,光線略微過亮,路面與車道線彼此亮度看起來略微相近。在 圖 1-3(b)中,雖然光線稍微暗了點,不過路面標線在此狀態下屬於剛好,線與路面的亮 度與顏色區分十分明顯。在圖 1-3(c)中,雨天的天氣路面潮濕的反光增加偵測上的困難,
而且擋風玻璃上不時的會有雨水與雨刷遮擋視野,此影片對於偵測車道線是相當困難的 影片。圖 1-4 為不同光線條件下的影片,影片在太暗、太亮或是部分影子遮住的情況,
也都是在車道線偵測時需要解決的問題。而在不同的道路上行駛,也會遇到許多必須排 除的問題,像是在路面的各種標示(如圖 1-5(a))、周遭的來車(如圖 1-5(b))與路邊的景物 (如圖 1-5 (c))都是需要排除的對象。在行車紀錄器影片中,最常見的路況上是直線與轉 彎,而其中偶而會出現換車道的特殊狀況,如圖 1-6 所示。在這些路況下,常會需要面 對取多少條線、線的種類到底是直線還是曲線等問題。在輔助系統上,並不只需要解決 上述的影像問題,在處理影像時,仍需要注意系統的執行速度,如果能解決大部分的問 題,可是系統速度卻很差,這樣就無法在第一時間輔助駕駛。因此系統必須能夠在短時 間內取得精準的車道線位置是車道線偵測要達到的首要目標。
(a) (b)
圖 1-2 (a)和(b)分別為利用不同行車紀錄器所拍攝的結果,其影片介面格式、解析度 與拍攝角度各有所不同。
當車道線偵測系統完成後,需要測試系統的正確性時,必須要有真實數據(ground truth)做為測試資料。產生真實數據需要花費大量的人力與時間,以人工的方式將影片的 每張影像中的車道線一一標示出來。Borkar, A.等人[2]提出只用人工標示時間切片影像 (time-sliced images)中車道線中心線的轉折點,而其他部分再由半自動的真實數據產生系 統利用三次板條線內插法(cubic spline interpolation)串連轉折點,再將時間切片影像中車 道線的點對應回影片中用三次板條線內插法將影片的車道線位置標示出來。Borkar, A.
(a) (b)
3
等人提出只畫 3 張時間切片影像中的車道線中心線的轉折點,再用三次板條線內插法將 時間切片影像中車道線畫出來的方式,以減少真實數據畫車道線點的數量,來提高標示 真實數據的效率。因此在本篇論文中,將以能自動標示並追蹤出時間切片影像上的車道 線,以此來快速的標示大量真實數據的車道線位置為目標。
(a) (b) (c)
圖 1-3 各種不同天氣的影片。(a)晴天的影片。(b)陰天的影片。(c)雨天的影片。
(a) (b) (c)
圖 1-4 各種光影的影片。(a)強光且有物體反射在擋風玻璃上的影片。(b)有影子遮住道 路的影片。(c)太暗的影片。
(a) (b) (c)
圖 1-5 車道上各種路況的影片。(a)有路面標示的影片。(b)有其他來車的影片。(c)有 路旁景色干擾的影片。
圖 1-6 換車道的特殊狀況影片。
4
1.2 研究方法與貢獻
為了將車道線從行車紀錄器影片中取出,常用的作法是先用影像處理技術將所需的 資訊取出,再根據該資訊找出車道線的位置。而車道線偵測系統較常用的流程如下:(1) 設定感興趣的區域(region of interest)、(2)車道線偵測的前置處理、(3)車道線偵測、(4) 車道線追蹤。
在本篇論文中,我們會描述如何利用時間切片影像與車道線的追蹤,快速自動地產 生真實數據,其真實數據將會包含車道線種類與車道線位置的資訊。同時會描述如何將 系統從非即時(non-real-time)系統改為即時(real-time)系統的方法。而我們的行車紀錄器 是設置於汽車擋風玻璃中間上方的位置。當拍攝的影像輸入到系統以後,系統將會針對 感興趣區域切出切片影像加到時間切片影像中,並做去除光影的處理,再將可能是車道 線中心點的候選點取出。接著將時間切片影像中的同條車道線的點以我們提出的串連點 的規則,將前後時間的候選點串連起來,並刪除可能是雜訊的候選點。當得到每張時間 切片影像中經候選點追蹤器(tracker)串連好的候選點以後,將所有的時間切片影像的候 選點投影在同一張影像中,以不同時間切片影像的候選點之間水平距離相等的空間相關 性將車道線找出來,再將找到的車道線點對應回影片的影像中的位置畫出車道線。最後 再根據車道線點對應回時間切片影像中的候選點,根據對應的候選點當時在候選點追蹤 器串連前後時間候選點時,所判定的車道線種類以一點一票的方式投票決定車道線種類。
在找到車道線後的下一張影像要找車道線時,會先依據各別時間切片影像中候選點追蹤 器所串連的候選點做車道線追蹤找出車道線。在實驗中我們會測試各種不同的車道、天 氣與車道線種類的判斷結果,並討論實驗的結果與產生的問題。而本篇論文的貢獻如 下:
提出了一個利用時間切片影像自動產生車道線位置的真實數據的系統。
提出了一個可以利用時間切片影像去追蹤車道線,並判斷車道線種類的方法。
提出了一個可以同時參考時間與空間的資訊快速找到車道線的即時偵測車道線系 統。
1.3 論文組織與架構
在接下來的章節安排如下:在第二章中,我們會探討近年來車道線偵測系統相關的 研究論文與實作方法。第三章將會詳細說明本篇論文提出的利用時間切片影像的車道線 追蹤與車道線種類分類方法。車道線追蹤與車道線種類分類的實驗結果,我們會在第四 章中呈現與討論。最後,我們在第五章對本篇論文做總結並論述本論文未來繼續研究的 方向。
5