三、 系統架構與研究方法
3.5 提取車道線
本章節將會描述提取車道線的流程,其流程如圖 3-32 所示。在提取車道線步驟中,
系統會根據前一步驟中找到的車道線中心點,以空間相關性去取出車道線,再以時間資 訊當作車道線追蹤的參考資料。當車道線中心點的資訊進入此步驟時,首先會先將時間 切片影像中,串連起來的點之間缺漏的區塊以內插法(interpolation)或是預測(prediction) 的方式填滿。之後在設定完車道線搜尋範圍後,假如該車道線在上一張影像沒有被找出 來,則會將時間切片影像彼此的車道線中心點互相以水平距離等距的方式做點的配對;
相反的,如果前一張影像有找到車道線,會以上一張影像中找到的車道線的點去參考時 間資訊,產生下一時間點的車道線,假如產生的線點數不夠就算追蹤失敗,要再重新做 點配對。最後,將找到的車道線記錄下來。
圖 3-32 提取車道線的流程圖。
ni > timeouti
Timesno found > 3
ni > 3
Timesno found ≦ 3 且 R4 > 1
Timesno found ≦ 3 且 R4 > 1
短虛線 實線
虛線
車道線中心點資訊
填補空白區塊
設定搜尋範圍
點的配對
車道線
車道線追蹤 前一張影像沒有車道線 前一張影像有車道線
追蹤失敗
32
33
(a)
(b)
(c)
圖 3-34 (a)將 6 張時間切片影像找到的車道線候選中心點畫在同一張圖的結果。依顏色 順序黃色、紫色、淡藍色、紅色、綠色以及藍色,各別代表在影像第 300、310、320、
330、340 以及 350 行所切出的時間切片影像中找到的車道線候選中心點。(b)為用預測 的方式將(a)空白區塊填滿的結果。(c)為用內插法的方式將(a)空白區塊填滿的結果。
34 (pixels)的區間(如圖 3-35 黃色區塊所示)內時,在此時會判斷為換車道的時機,將中間車 道線搜尋區域加進去。在換車道模式下,只要中間車道線連續消失 5 幀或是中間車道線
35
3.5.3 點的配對
為了從時間切片影像中的車道線候選中心點中找出車道線,我們利用近距離車道線 近乎直線的特性來找車道線。在切等距的時間切片影像狀況下,車道線的點水平距離也 會近乎等距,而利用等距的方式找出複數點組成的折線來當作車道線就是我們提取車道 線的方法核心。如圖 3-37 所示,鄰近的時間切片影像車道線中心點彼此的距離分別為 D1、D2、D3、D4以及 D5,且彼此距離相近。
圖 3-37 當時間切片影像中的候選中心點投影在同一張影像的圖。不同顏色的線代表不 同時間切片影像所找出來的車道線中心點,依顏色順序黃色、紫色、淡藍色、紅色、綠 色以及藍色,各別代表在第 300、310、320、330、340 以及 350 行的影像中所切出的時 間切片影像車道線中心點。
在未找到左右車道線或是車道線追蹤失敗時,會先根據當前的車道線中心點資訊去 對點做配對。搜尋方式為從離鏡頭最近的時間切片影像(即第 350 行的切片)往最遠的時 間切片影像(第 300 行的切片)由靠中間的搜尋範圍邊界往左右兩邊搜尋車道線起始點。
當找到一點中心點時,會以此點為起始點以反方向往下一張時間切片影像中找下一點做 任意配對,如圖 3-39(a)所示。當下一張時間切片影像中找不到點時,將會在往下一張時 間切片影像中找點做配對,如圖 3-39(b)所示。當成功找到兩點時,會根據公式(22)的兩 點之間的水平距離在接下來的時間切片影像中設定左右寬度為 2 像素的搜尋窗口(如圖 3-39(c)),以此搜尋窗口找出近似等距的點來構成車道線,如圖 3-38 所示。當找完一條 線後,系統將會在以同樣的方式再找出數個點做配對來找出下一條線,如圖 3-39(d)。當 系統將所有的點配對完以後,系統將從配對完的折線中,選取點最多且線最長的折線當 車道線,並畫在影像中,如圖 3-40。水平距離的算法如公式(22),p(n,j)代表在第 n 張的 時間切片影像上的水平位置 j 的點。p(m,i)代表在第 m 張的時間切片影像上的水平位置 i 的點。W 為影像寬度。
(22)
36
37
在一般模式中,配點是從中間線往左右搜尋起始點後建構出車道線。而在換車道模 式中,配點是依不同搜尋區域會有所不同,左線搜尋區域和右線搜尋區域的起始位置是
從 和 的位置開始往左邊和右邊搜尋,搜到左右邊界為止。
而左中搜尋區域與右中搜尋區域是從 的位置開始往左右搜尋,搜到 和
為止。在換車道模式中左右車道線的選取方式與一般模式相同,皆是以
點數最多線最長的當車道線。在換車道模式的中間車道線則是先從左中搜尋區域與右中 搜尋區域中各自挑出點數最多線最長的車道線,接著再從兩條車道線中選擇一條與上次 中間車道線斜率最為接近的車道線當作中間車道線。
圖 3-40 經由取車道線步驟後,產生出來的車道線。
3.5.4 車道線追蹤
追蹤車道線的功能除了能夠減少點配對所花費的時間,也是用來補足點配對方法在 彎道時找不到線的缺點。當車道線是一個曲率較高的彎道時,線的斜率會正負相反,離 鏡頭最近的時間切片影像車道線中心點位置到中線的距離將會比離鏡頭最遠的時間切 片影像車道線中心點的位置到中線的距離近(如圖 3-41),在此時點配對方法將無法找到 正確的車道線,因此利用串連與移除候選中心點步驟中找出的點的時間資訊去追蹤點的 位置,補足點配對的缺點。
追蹤車道線的條件為該車道線至少有 3 點,在對應回時間切片影像中被中追蹤器串 連為同一車道線的點有被取來當作車道線點 Ttracking個點以上,不足 Ttracking個點以上的 點會先被去除。當符合條件時,會根據車道線點的時間資訊找下一點去產生新的線。在 產生完新的線後,會再次確認這些點是否有符合彼此水平距離相近的條件,假如有其中 幾點不符合,則會刪除這些不符合的點。如果經刪減點後,點的數量低於 3 時,會被判 定追蹤失敗,會再次回到點的配對方法中重新找新的線;如果點的數量仍有 3 個以上時,
會再根據點之間的水平距離去設定搜尋窗口,選取新的點將車道線空缺的點補齊。
38
圖 3-41 當車輛在彎道轉彎時,右邊車道線的時間切片影像車道線候選中心點重疊的影 像。從距離鏡頭近到遠的點的顏色依序為藍色、綠色、紅色、淡藍色、紫色以及黃色。