簡單道路標線的障礙物偵測

全文

(1)國立交通大學電機與控制工程學系碩士論文. 簡單道路標線的障礙物偵測. Obstacle Detection via Simple Lane Marks. 研究生：吳昆奇指導教授：李祖添教授中華民國九十四年七月. i.

(2) 誌. 謝. 在此由衷的感謝恩師李祖添教授在研究所的悉心指導和鼓勵，從老師身上學得不僅是專業領域的知識，更學習到做學問的方法，使我受益良多。同時感謝瞿忠正在論文研究上所提供寶貴的意見和指導，使我論文更加完善，也感謝有著共同革命情感的實驗室的同學們在學業上的討論和生活上的照顧。最後僅以本論文獻給我的父母、家人及所有關心我的師長與朋友們，和他們共享這份成果與榮耀。. i.

(3) 簡單道路標線的障礙物偵測. 研究生:吳昆奇. 指導教授:李祖添. 國立交通大學電機與控制工程學系. 摘要. 為了使自動車在一般環境中，能有效地發現道路上的障礙物，在本篇論文中，我們建立了一套雙鏡頭系統來偵測障礙物。針對影像中道路平面的轉換，找出與初始假設不吻合的區域，將障礙物切割出來，提供自動駕駛系統作為依據。為了實際應用的考量，需要消除鏡頭仰角變動，以及雜訊影響等變因，所以我們先對道路標線作偵測，根據透視投射（Perspective projection）的特性，得到消失點（Vanishing point），作為座標轉換的依據。另外，對於因光源變化及鏡頭校準（Camera calibration）而出現的雜訊，使用了一些型態學（Morphology）上的方法，讓結果更為準確。實驗結果充分顯示所提出的方法可行性及其實用性。. i.

(4) Obstacle Detection via Simple Lane Marks. Student : Kuen-Chi Wu. Advisor : Dr. Tsu-Tian Lee. Department of Electrical and Control Engineering National Chiao-Tung University. Abstract. In this thesis, we propose a novel stereo scheme for obstacle detection with two cameras which is aimed at practical automotive use. The basic methodology involves simple road-plane matching between images, observed from left and right camera, where it is assumed that there is no obstacle in the images. The unmatched area will be considered as obstacles. We also provide an effect solution for determining parameter and eliminating noise with property of “Perspective Projection” and morphological processing. Experiment results are present to illustrate validity and applicability of the developed algorithm.. ii.

(5) 目錄摘要--------------------------------------------------------------i ABSTRACT---------------------------------------------------------ii 目錄------------------------------------------------------------iii List of Figures-----------------------------------------------------iv 第一章介紹------------------------------------------------------1 1.1 動機------------------------------------------------------1 1.2 障礙物偵測有關研究----------------------------------------1 1.3 論文架構--------------------------------------------------2 第二章理論介紹--------------------------------------------------4 2.1 有關電腦視覺的基礎----------------------------------------4 2.2 有關型態學(Ｍorphology)的基礎-----------------------------8 第三章演算法介紹-----------------------------------------------16 3.1 流程介紹-------------------------------------------------16 3.2 座標轉換-------------------------------------------------19 3.3 左右影像轉換---------------------------------------------25 3.4 產生左右影像差異圖---------------------------------------27 3.5 型態上的處理（Morphological processing）-----------------30 3.6 道路偵測決定消失點---------------------------------------32 第四章實驗結果-------------------------------------------------36 第五章結論與展望-----------------------------------------------56 參考文獻---------------------------------------------------------58. iii.

(6) List of Figures Fig.2-1 Homogeneous Coordinates System--------------------------------4 Fig.2-2 三軸方向相同，僅有單純的平移--------------------------------5 Fig.2-3 原點一樣，僅有單純的旋轉------------------------------------6 Fig.2-4 實體成像平面與一般化影像平面--------------------------------7 Fig.2-5 集合 A、集合 B 與被 B 膨脹的 A-------------------------------10 Fig.2-6 集合 A.B 與被 B 侵蝕的 A-------------------------------------11 Fig.2-7 斷開與閉合的例子：(a)結構元素；(b)原來的二元影像；(c)先膨脹；(d) 後侵蝕；(e)先侵蝕；(f)後膨脹-----------------------------------------13 Fig.3-1 流程表-----------------------------------------------------18 Fig.3-2 (a)world plane；(b)image plane----------------------------------20 Fig.3-3 兩座標之間的關係-------------------------------------------23 Fig.3-4 影像座標中 xa , xb , y0 , y2 , yvp 的位置------------------------------24 Fig.3-5 (a)實際影像左圖；(b)實際影像右圖；(c)左影像轉換成右影像-------26 Fig.3-6 鏡頭與 Ground Plane 之間的關係-------------------------------27 Fig.3-7 (a)實際左影像；(b)實際右影像；(c)左影像轉換後，(d)實際與轉換後的右影像相減---------------------------------------------------------28 Fig.3-8 二值化影像-------------------------------------------------29 Fig.3-9 (a)右影像；(b)左轉換右影像；(c)左右差異影像-------------------31 Fig.3-10 車道標線與路面的灰階值關係，左上方為尋找車道標線邊緣所使用遮罩，G-MaxR 及 G-MaxL----------------------------------------------32 Fig.3-11 道路標線左右邊緣的中點，並非完全在一直線上-----------------35 Fig.4-1 直線道路上的偵測情形---------------------------------------37 Fig.4-2 直線道路上的偵測情形，模擬本身靜止，前方車輛往前行驶-------38 Fig.4-3 直線道路上的偵測情形，模擬本身靜止，前方車輛往前行驶-------39 Fig.4-4 線道路的偵測情形，注意右邊停在路邊的車輛，與圍牆的情形有所不同 -------------------------------------------------------------------40. iv.

(7) Fig.4-5 線道路的偵測情形，注意右邊停在路邊的車輛，與圍牆的情形有所不同 -------------------------------------------------------------------41 Fig.4-6 直線道路的偵測情形，注意遠方出現車輛時---------------------42 Fig.4-7 彎曲道路的偵測情形-----------------------------------------43 Fig.4-8 彎曲道路的偵測情形-----------------------------------------44 Fig.4-9 彎曲道路的偵測情形-----------------------------------------45 Fig.4-10 路面向上傾斜，消失點數值增加-------------------------------46 Fig.4-11 路面向上傾斜，消失點數值增加-------------------------------47 Fig.4-12 路面向下傾斜，消失點數值減少-------------------------------48 Fig.4-13 路面向下傾斜，消失點數值減少-------------------------------49 Fig.4-14 在道路上有標線的情形之下，並無受到影響而完成偵測-----------50 Fig.4-15 在道路上有標線的情形之下，並無受到影響而完成偵測-----------51 Fig.4-16 模擬車輛行駛中，加速或煞車時，仰角改變造成的影響-----------52 Fig.4-17 模擬車輛行駛中，加速或煞車時，仰角改變造成的影響-----------53. v.

(8) 第一章 1.1. 介紹. 動機. 人類依賴著眼睛來感覺這個世界，觀察身邊的環境，而眼睛就像一個敏感的感測器，可以接收這個世界所傳達的影像資訊。我們靠著眼睛，可以知道色彩，亮度。甚至我們應用兩隻眼睛來得到距離、深度等訊息，而這就是人類的兩眼視覺系統，從兩個角度看世界。最近一個世紀以來，人類在運輸方面的發展迅速，為了節省人力，使交通工具更安全更方便，我們致力於智慧型運輸系統（Intelligent transportation systems）。智慧型運輸系統可以應用在許多方面，因此使運輸系統能自動駕駛是非常重要的課題。為了達成此一目的，我們必須設計安全且先進的自動駕駛系統。拜科技先進之賜，現在已經可以在交通工具上裝設許多感測器，使我們的目的更容易達成。在自動駕駛之中，非常重要的一個環節便是障礙物偵測，可以確保安全，使意外可以避免。因此，我們將重點放在如何發現障礙物上。. 1.2. 障礙物偵測有關研究. 障礙物偵測有許多方法，且有許多已經被廣泛的應用，如超音波、雷達、雷射等等。超音波感測應用上成本低廉，且取得容易，但是偵測範圍過短，約小於 10m，不符合我們的需求。而對於雷達而言，. 1.

(9) 尤其是 millimeter radar，其發射的 millimeter－wave 可穿過霧而不受影響[1]，是一種非常好的特性，但是它卻不能辨識路面標線，也難以同時偵測兩個以上的物體，而且單價高，推廣困難。半導體雷射[2]雖然價格較低，但也不能同時偵測兩個以上的物體，即使是掃描式的雷射，也有不能辨識路面標線的缺點。比較以上這些系統，影像辨識系統[3][4]可以辨識路面標線以及其他道路邊界，也可以同時辨識不同物體，在成本上也可以接受，目前受到廣泛的研究。相關的方向有以下幾類： 1. 利用單一鏡頭：對一連串影像作動作分析，找出與背景移動影像變化不同的區域[5][6]，或是利用時間順序前後影像的差別作分析。 2. 雙鏡頭 : 使用各種座標轉換公式 [7-12] ，或是深度分析 [13-14]。 3. 圖形識別：利用特徵抽取，以及既有的資訊建立的資料庫，比對圖形的方法[15-17]。. 1.3. 論文架構. 在第二章中，首先建立本文的重要基礎，座標轉換，並在第二節中論述型態學（Morphology）的基礎與應用方式。. 2.

(10) 第三章則為本文中最重要的一章，介紹整個實驗內容；從第一節先論述整個流程，接下來第二節推算座標轉換的公式，然後是左右影像的轉換，產生左右差異圖形，這是實驗的核心部分。第五節為了使結果更為準確，引入了之前所介紹的型態學方法，在第六節，為求此方法能應用在交通工具上，作了道路標線偵測以求的影像的消失點，作為座標轉換的一個重要參數。第四章中，將實驗結果分類並展現，討論其中的優缺點，並在第五章中作結論及未來展望。. 3.

(11) 第二章 2.1. 理論介紹. 有關電腦視覺的基礎. 在提座標轉換之前，我們首先得先定義座標。在本方法中，我們使用的是“Homogeneous Coordinates System＂，如下圖（Fig.2-1）所示，這是一個三維的“Euclidean Space＂，而且三個單位向量 i, j , k 彼此垂直（orthonormal）， P 點為座標中的一個點，則原點到 P 點的向量可寫為 OP ，且 ⎧ x = OP ⋅ i ⎪ ⎨ y = OP ⋅ j ⇔ OP = xi + yj + zk ⎪ ⎩ z = OP ⋅ k. (式 2-1). 行向量（column vector） ⎛x⎞ ⎜ ⎟ P = ⎜ y⎟∈ ⎜z⎟ ⎝ ⎠. (式 2-2). 3. 稱為 P 點的座標向量。. Fig.2-1 Homogeneous Coordinates System 4.

(12) 而使用“Homogeneous Coordinates System＂的好處是：我們可以將 P 點的表示式重新寫成 ⎛x⎞ ⎜ ⎟ y ( a, b, c, −d ) ⎜⎜ ⎟⎟ = 0 z ⎜ ⎟ ⎝1 ⎠. (式 2-3). 定義好座標之後，我們進入主題－座標轉換；同時考慮兩個座標系統：( A ) = ( OA , iA , j A , k A ) 以及 ( B ) = ( OB , iB , jB , k B ) ，以下步驟顯示出如何將Ｂ座標表示的 B P ，轉為Ａ座標表示的 A P 。先假設，若兩個座標的基本向量 iA = iB , j A = jB , k A = k B。但是原點 OA , OB 的位置不一樣（見 Fig.2-2），於是這兩個座標之間只有單純的平移，根據 OB P = OBOA + OA P ，可以得到 B. P = A P + B OA. (式 2-4). Fig.2-2 三軸方向相同，僅有單純的平移. 5.

(13) 接下來，假設兩個座標的原點相同，但座標軸之間並不互相平行（如 Fig.2-3），則可以得到 B. P = AB R A P. (式 2-5). 因為沒有平移項，所以 AB R 為三階方陣. B A. R. ⎛ iA ⋅ iB ⎜ ⎜ i A ⋅ jB ⎜i ⋅k ⎝ A B. j A ⋅ iB j A ⋅ jB jA ⋅ kB. k A ⋅ iB ⎞ ⎟ k A ⋅ jB ⎟ k A ⋅ k B ⎟⎠. Fig.2-3. (式 2-6). 原點一樣，僅有單純的旋轉. 綜合以上兩種情形，我們可以將兩個座標之間的轉換寫成 B. P = AB R A P + BOA. (式 2-7). 接下來，我們介紹一下將在本論文中，座標轉換方面極為重要的“透視投射。＂如 Fig.2-4，我們將鏡頭的影像一般化到一個平行像機成像平面上（聚焦後等比例為焦點＝單位長度），並對此平面建立一個原點在 Cˆ 6.

(14) 的“Homogeneous coordinates＂。. Fig.2-4 實體成像平面與一般化影像平面. 我們可以得到 ⎧ ⎪⎪uˆ = ⎨ ⎪vˆ = ⎪⎩ pˆ. x 1 z ⇔ pˆ = ( Id y z z. ⎛ P⎞ 0) ⎜ ⎟ ⎝1⎠. (式 2-8). T ( uˆ, vˆ,1) 是 P 點投射到一般化影像平面後的向量座標。. 設焦距為 f 且 f ≠ 1 ，我們可以將上式推廣到實體成像平面。在此，因為相機產生的影像大多為長方形而不是正方形，所以引入維度參數 k , l ，單位為 pixel / m −1 ，如下 x ⎧ ⎪⎪u = kf z ⎨ ⎪v = lf y ⎪⎩ z. (式 2-9). 接下來，引入座標平移的公式（即影像座標與原物體的座標原點位置不同）. 7.

(15) x ⎧ ⎪⎪u = kf z + u0 ⎨ ⎪v = lf y + v 0 ⎪⎩ z. (式 2-10). 引入座標旋轉的關係式 x y ⎧ u kf kf = − + u0 cot θ ⎪⎪ z z ⎨ ⎪v = lf y + v 0 ⎪⎩ sin θ z. (式 2-11). 其中， θ 是不同座標的座標軸之間的夾角。整理之後寫成矩陣運算. p = κ pˆ ,. ⎛u ⎞ 其中 p = ⎜⎜ v ⎟⎟ ⎜1 ⎟ ⎝ ⎠. 且κ. ⎛ kf ⎜ ⎜0 ⎜ ⎜0 ⎝. −kf cot θ kl sin θ 0. u0 ⎞ ⎟ v0 ⎟ ⎟ 1 ⎟⎠. (式 2-12). 最後，將所有式子放在一起，我們可以得到 1 p = MP z. 其中 M (κ. ⎛ x⎞ ⎜ ⎟ y 0) 且 P = ⎜ ⎟ ⎜z⎟ ⎜ ⎟ ⎝1⎠. (式 2-13). 在這運算中，忽略了鏡片的影像，並假設相機聚焦於無限遠處。. 2.2. 有關型態學（Ｍorphology）的基礎. 在這一節中，要介紹兩種型態學上的方法，以幫助我們處理後續影像中，因為各種原因所出現的小雜訊，以及同一區塊間的接合。首先，我們先詳細的討論兩種型態處理上基本的方法：膨脹 (dilation)和侵蝕(erosion)，而之後運用到的方法，便是建立在這兩種. 8.

(16) 原始的運算上。. 膨脹（dilation）當 A 和 B 為 Z 2 中的兩個集合， A 藉由 B 的膨脹(dilation)記為 A ⊕ B ，定義為. {. ( ). }. A ⊕ B = z Bˆ ∩ A ≠ ∅ z. (式 2-14). 這個式子建立在獲得 B 對於其原點的反射並平移此反射 z 單位。 A 藉由 B 的膨脹則是 z 的所有位移(displacement)［使得 Bˆ 和 A 的重疊至少一個元素］的集合。根據此解釋，上式可改寫成. {. ( ). }. A ⊕ B = z ⎡ Bˆ ∩ A⎤ ⊆ A z ⎣ ⎦. (式 2-15). 集合 B 通常稱為在膨脹以及其他型態學運算上的結構元素 (structuring element)。在型態學各文獻中，上式並非膨脹的唯一定律，不過此定義的優點是，當結構元素 B 視為迴旋積遮罩（Convolution mask）時，更符合直覺。. 9.

(17) Fig.2-5 集合 A、集合 B 與被 B 膨脹的 A. 如 Fig.2-5 所示， A 為一簡單的集合， B 顯示一結構元素(亦等於其反射，黑點代表元素的原點)，灰色部分代表 A 原來的大小，實線的邊界則為膨脹過後的集合，我們可以看出， A 的邊界所有的點都為 B 所膨脹，而這一步驟的優點是，可以橋接邊與邊之間的縫隙。. 侵蝕（erosion）對於 Z 2 中的集合 A 和 B ， A 被 B 侵蝕，記為 AΘB ，定義為. {. }. AΘB = z ( B ) z ⊆ A. (式 2-16). 換句話說，此式指出 A 被 B 侵蝕式使得 B 位移ｚ之後仍包含在 A 中所有ｚ點的集合。與在膨脹的情形相同，上式不是侵蝕的唯一定義，然而與前面相同的理由，此式在實現上較為有利。下圖(Fig.2-6)類 10.

(18) 似於 Fig.2-5 所示的過程，實線邊界則改為是原來Ａ的大小，灰色部分則為被Ｂ侵蝕過後的Ａ的大小。. Fig.2-6 集合 A.B 與被 B 侵蝕的 A. 侵蝕和膨脹對於集合的補集（complement）和反射（reflection）是對偶的，即. ( AΘB ). c. = Ac ⊕ Bˆ. (式 2-17). 此特徵在往後的發展中是很重要的，因為斷開和閉合接與其對偶性有關係，而這兩個步驟是我們將會用到的方法。. 斷開（opening）與閉合（closing）正如我們所看到的，膨脹是擴大一幅影像，而侵蝕是使影像收縮。在這裡，我們討論兩種重要的型態運算：斷開和閉合。斷開 11.

(19) (opening)通常是使物體輪廓平滑，消除細小雜點以及截斷窄的細頸。閉合(closing)也傾向於使輪廓部分平滑，不過與斷開相反，一般說來，它把窄的中斷部分和長細缺口連接起來，消除小洞，填補輪廓上的缺口。集合 A 被結構元素 B (structure element)斷開，記為 A B ，定義為 A B = ( AΘB ) ⊕ B. (式 2-18). 因此，集合 A 被 B 斷開就是 A 被 B 侵蝕，再將結果對 B 膨脹。同理，集合 A 被結構元素 B 閉合，記為 A • B ，定義為 A • B = ( A ⊕ B ) ΘB. (式 2-19). 以文字描述就是 A 被 B 閉合即為 A 被 B 膨脹之後再被 B 侵蝕。在以下例子中，我們可以看到這兩種方法的功能。. 12.

(20) Fig.2-7 斷開與閉合的例子(a)結構元素(b)原來的二元影像(c)先膨脹(d)後侵蝕(e)先侵蝕(f)後膨脹. 13.

(21) Fig.2-7 進一步的說明了斷開與閉合的運算。Fig.2-7(a)是運算所用的結構元素。 Fig.2-7(b) 顯示一張受到雜訊影響的圖形。 Fig.2-7(c)(d) 是閉合運算的過程，先膨脹而後收縮兩次。 Fig.2-7(e)(f)則是斷開運算的過程，先收縮而後膨脹兩次。我們可以注意到閉合的影像中，雜訊一開始被放大，經過兩次收縮之後才不見，但是原來的線段依然保持連結的狀態，而斷開的影像中，原來的線段變的斷斷續續的，一開始侵蝕沒有消除的雜訊，卻因兩次的膨脹變的更大更明顯，因此，若我們要用這兩種方法對付雜訊多的影像，必須要注意侵蝕的次數，使得雜訊能消除，但主體卻能留下。和在膨脹和侵蝕的情況一樣，斷開和閉合對於補集合和反射是彼此對偶的。也就是. ( A• B). c. = ( Ac B c ). (式 2-20). 而斷開運算滿足以下性質： i. ii. iii.. A B 是 A 的子集合（子影像）。. 假如 C 是 D 的子集合，則 C D 是 D B 的子集合。. (A. B) B = A B 。. 14.

(22) 同理，閉合運算滿足以下性質： iv. v. vi.. A • B 是 A 的子集合（子影像）。. 假如 C 是 D 的子集合，則 C • D 是 D • B 的子集合。. ( A• B) • B = A• B 。. 從兩種情況中的條件 iii 注意到，在運算子已使用一次之後，對一集合的多重斷開和閉合是沒有效果的。其實，這兩種方法是可以推廣到灰階影像之中的，但是由於效果沒有在二元影像中的好，而且因為方便處理，所以在後段處理中，我們都是對二元影像來作運算。. 15.

(23) 第三章. 實驗內容. 在理論介紹完之後，本章會將整個實驗步驟，分節討論。首先，在第一節中是整個實驗的流程介紹。. 3.1. 流程介紹. 障礙物偵測，即是在行進的交通工具上，偵測行進路線上的障礙物，而什麼是障礙物？我們先給障礙物下定義：在道路平面上有凸起物。在實驗中，將一些較為微小且不影響行車安全的起伏，利用臨界值的觀念，將相對地面高度差異不大的部份皆視為平面。既然定義好了障礙物，可供辨識的便是障礙物與道路平面不同的高度。於是在處理過程中，我們先將假設影像中沒有障礙物，出現的僅有道路平面與天空，在結果中，若有不合於道路平面特徵的區域，便是障礙物。就跟許多障礙物偵測的方法一樣，本方法使用的是雙鏡頭影像，即使用一左一右兩個鏡頭，同時拍攝路面影像，再將兩個影像之間的關係做轉換，得到如雙眼視覺的差異資訊以作判斷。因此，第一步就是座標轉換，將影像中消失點（Vanishing point）以下的部分是道路平面，並將此平面平移，旋轉成為從右鏡頭得到的影像，如同前面所說的，若是道路平面上有凸起的物體，會與真正的. 16.

(24) 右影像有差異，於是，我們將兩張影像作相減，也就是 SAD(Sum of Absolute Differences)，所得的便是障礙物的位置。當然，相減後的影像並不容易很完美的只有障礙物的存在，而是會有鏡頭校對不準，物體本身有紋路或是光源分布不平均等造成的雜訊及干擾，需要一些型態學（Morphology）的步驟來消除這類問題，接下來便是利用影像與實際座標之間的轉換來回傳物體與鏡頭之間的距離，以供其他系統利用。在實作中，會遇到一個重要的課題，就是如何選用座標轉換所需要的參數。因為在車輛行駛中，不可避免的會遇到加速或減速時車輛仰角的不同，或是路面傾斜度的改變導致道路平面與鏡頭的“optical axis＂夾角改變，造成轉換失敗。為了解決此問題，我們引入道路標線偵測，尋找兩兩平行的車道線，利用透視投射（Perspective Projection）的固有性質，“對於所有不平行投射平面的平行線組，皆會會合於消失點＂，把投射在影像中的兩條車道線延伸，得到的焦點稱為消失點，也得到了轉換公式中影響最深的一個參數，使得此參數可以即時取得，隨時調整，提高此方法的實用性與準確度。以下便是整個實驗步驟的流程圖。. 17.

(25) 讀入左影像. 利用道路偵測找尋道路邊線以及路寬．失敗. 成功. 較近距離的道路標線，利用”Least Square”取得斜率，延伸得到交點即消失點．. 利用所得到的參數，將灰階膨脹過後的左邊影像轉換為右邊影像. 將轉換後影像與灰階膨脹後實際右影像相減，並二值化．. 用型態學方法處裡並決定障礙物在影像中的位置，再計算其實際位置. Fig.3-1 流程表. 18. 用前一個影像的消失點位置.

(26) 3.2. Image 與 World 座標之間的轉換. 縱座標的映射 Fig.3-2 所示為＂兩條平行線＂在image座標與world 座標之間的透視映射(perspective projection)，在Fig.3-2(b)中可看到原來world 座標中的對角線映射之後的變化。假設image平面為相機對world平面的攝影（見Fig.3-2(a)），且相機鏡頭的法線映射到world平面中，即為縱向的座標軸，並且與兩條平行線平行。在Fig.3-2(b)中， y0 , y1 , y2 代表world平面中，對角線的起點、與縱軸交點以及終點，在image 平面中的縱座標位置。而另外一個重要的參數 yvp 則代表消失點在 image平面中的縱座標位置。以下介紹透視映射的固有性質：線段投射之後仍然為一線段。線段交點經轉換之後，仍然為投射之後線段的交點。對於所有不平行投射平面的平行線組，皆會會合於消失點。. 19.

(27) perspective projection. ⎯⎯⎯⎯⎯⎯⎯⎯→ Fig.3-2(a) world plane. Fig.3-2(b) image plane. 在接下來的推導中，在影像中的參數皆以小寫的型態出現，如： yvp ，反之，在 world 中的參數則用大寫的型態出現，如： Yw ( yimage ) 。. 此推導的開始，是先給定 image 中的兩個座標 y0 , y1 ，並令 dY = Yw ( y2 ) − Yw ( y1 ) = Yw ( y1 ) − Yw ( y0 ) ， y0 , y1 , y2 ≠ yvp. 推斷出 y2 。則由 Fig.3-2(b)可得到： ⎧ y0 − y1 y1 − y2 = ⎪ x x1 ⎪ 0 ⎨ ⎪ y0 − yvp = y2 − yvp ⎪⎩ x0 x1. ⎛ y −y ⇒ y2 ⎜ 1 + 0 1 ⎜ y0 − yvp ⎝. ⎞ ⎛ y −y ⎟⎟ = y1 + yvp ⎜⎜ 0 1 ⎠ ⎝ y0 − yvp. 20. ⎞ ⎟⎟ ⎠. (式 3-1).

(28) ⇒ y2 =. =. =. ⎛ yvp ( y0 − y1 ) ⎞ ⎜⎜ y1 + ⎟ y0 − yvp ⎟⎠ 2 y0 − yvp − y1 ⎝ y0 − yvp. y1 y0 − 2 y1 yvp + yvp y0 2 y0 − yvp − y1. =. y1 y0 − y1 yvp − y0 yvp + yvp 2 2 y0 − yvp − y1. 1 2 y0 − yvp − y1. + yvp. + yvp. yvp 2 + y1 y0 − y1 yvp − y0 yvp. 由上式可得 y2 =. 1 2 1 − y1 − yvp y 0 − yvp. + yvp. (式 3-2). 基於此為同樣兩個座標之間的轉換，我們可以將上式一般化： yn =. 假設 F (n) =. 1 + yvp 2 1 − y( n −1) − yvp y( n − 2) − yvp. (式 3-3). 1 ，則 F (n) = 2 F (n − 1) − F (n − 2) ，由此可以導出： yn − yvp. F ( n ) = n ( F (1) − F ( 0 ) ) + F ( 0 ). (式 3-4). 寫回原來的樣子，則： yn =. 1 ⎛ 1 1 − n⎜ ⎜y −y ⎝ 1 vp y0 − yvp. ⎞ 1 ⎟⎟ + ⎠ y0 − yvp. + yvp ， n ∈. (式 3-5). 由（式 3-1），我們可以很輕易的得知： n ⋅ dY = Yw ( yn ) − Yw ( y0 ) ， n ∈. 給定一段在影像中縱向的長度 yimage ，轉換後可得知其實際長度： yn = yimage = f ( n ). ⇒ f −1 ( yimage ) = n 21.

(29) ⇒ n ⋅ dY = Yw ( yimage ). (式 3-6). 求ｎ； yimage − yvp =. 1 ⎛ 1 1 − n⎜ ⎜y −y ⎝ 1 vp y0 − yvp. ⎛ 1 1 ⇒ n⎜ − ⎜ y1 − yvp y0 − yvp ⎝ 1− ⇒n=. ⎞ 1 1 − ⎟⎟ = ⎠ yimage − yvp y0 − yvp. 1 ( yimage − yvp ) y0 − yvp. (y. − yvp ). image. 為了簡化上式，令 Gi =. ⎞ 1 ⎟⎟ + ⎠ y0 − yvp. ⋅. 1 1 1 − y1 − yvp y0 − yvp. ，yimage ≠ yvp (式 3-7). 1 ， i = 1, 2,... yi − yvp. 可得到 n=. 1 − G0 ( yimage − yvp ). ( G1 − G0 ) ( yimage − yvp ). ， yimage ≠ yvp. (式 3-8). 將 n 代回可得到： Yw ( yimage ) = n ⋅ dY =. 1 − G0 ( yimage − yvp ). ⋅ dy. ( G1 − G0 ) ( yimage − yvp ). (式 3-9). 在推導中出現的 y0 ，我們可以令其為影像原點的ｙ座標，方便之後的計算，另外一個類似的參數 yR，則是 world 座標中原點的 y 座標，即 YW ( yR ) = 0 。. 22.

(30) Fig.3-3 兩座標之間的關係. 在之後的計算中，我們要先知道參數 dY 的大小，且 dY = Yw ( y1 ) − Yw ( y0 ) 。. (式 3-10). 將（式 3-9）加上 YW ( yR ) = 0 的條件之後，整理可得 Yw ( y ) =. ⎛ ⎞ dY 1 1 ⎜ ⎟ + ( G1 − G0 ) ⎜⎝ yvp − yR ( y − yvp ) ⎟⎠. (式 3-11). 我們可將上式中的變數 y 分離出來，則可得到 dY dY ( G − G0 ) + ( G1 − G0 ) = k + k y1 Yw ( y ) = 1 yvp − yR ( y − yvp ) y 0 ( y − yvp ). (式 3-12). 其中， k y 0 與 k y1 為常數。. 橫座標的映射假設使用的是一個標準的鏡頭，且鏡頭的 optical axis 經投影後位 23.

(31) 於影像的中心，則 world plane 上的平行線會交於 1 2. （ xmiddle = number of image columns , yvp ）由於在影像中橫座標為 xmiddle 的點，在 world plane 中的橫座標都相同，因此以為基準，可得到 xa = xb. y0 − yvp. (式 3-13). y2 − yvp. 其中 xa , xb , y0 , y2 , yvp 的關係，如 Fig.3-4 所示。. Fig.3-4 影像座標中 xa , xb , y0 , y2 , yvp 的位置. 對於影像對 world plane 的映射，我們考慮兩個ｙ座標相同的點. ( x1 , yx ) , ( x2 , yx ) ，其相距 dX 為 dX = X W ( x2 , yx ) − X W ( x1 , yx ) ﹔又假設 world plane 為一個沒有彎曲弧度的平面，則我們可以得到 24.

(32) x − xmiddle y − yvp X W ( x, y ) = x2 − x1 dX y x − yvp. ⇒ X W ( x, y ) = dX. (式 3-14). y x − yvp x − xmiddle x2 − x1 y − yvp. (式 3-15). 同樣地，我們將變數與常數分開，以方便之後的計算 ⇒ X W ( x, y ) = k x. x − xmiddle y − yvp. (式 3-16). 其中 k x 為常數。. 3.3. 左右影像轉換. 在本方法中即為重要的一個步驟，即為左右影像的轉換。所謂左右影像的轉換，不是將整張影像的視角調整為另一鏡頭的視角，而是將影像中，world plane 高度為 0 的平面，即 GP(ground plane)，轉換到另一鏡頭的視角呈現的影像。簡單的說，就是將目前影像中，消失點以下的部分皆視為一平面；理論上，轉換後的影像和另一鏡頭的影像會是一樣的，但如果 ground plane 上有高度不為 0 的物件時，在轉換後便會歪斜，而無法與另一鏡頭的影像吻合，因此在相減之後便會出現差異，而進而讓我們辨識出障礙物的存在。. 25.

(33) (a). (b). (c) Fig.3-5(a)實際影像左圖(b)實際影像右圖 (c)左影像轉換成右影像. 在此，我們假設左右鏡頭之間的差距為 d shift ，因此 X W ( 右鏡頭 ) = X W ( 左鏡頭 ) + d shift. (式 3-17). 又從上一節，我們可以得到影像與 world plane 之間的轉換式， X W ( x, y ) = k x. ⇒x=. x − xmiddle y − yvp. X W ( x, y ) ( y − yvp ) + xmiddle kx. 26. (式 3-18).

(34) Fig.3-6 鏡頭與 GP 之間的關係. 為了推算左右影像的轉換式，我們假設一點的位置在左右影像為. (x. left. , yx )( xright , yx ) ，則 ⎧ X W ( 左鏡頭 ) ( xleft , y x ) ⎪ xleft = ( yx − yvp ) + xmiddle kx ⎪ ⎨ X W ( 右鏡頭 ) ( xright , y x ) ⎪ x = ( yx − yvp ) + xmiddle ⎪ right kx ⎩. (式 3-19). 現在我們加入（式 3-17）式，可得到 xleft =. X W ( 右鏡頭 ) ( xleft , y x ) − d shift kx. (y. x. − yvp ) + xmiddle. (式 3-20). 故，可以得到左右影像轉換的關係式 xleft = xright −. 3.4. d shift kx. (y. x. − yvp ). (式 3-21). 產生左右影像差異圖. 依照上一節的公式，我們假設影像中沒有障礙物，並將路面視為一平面，經轉換後，左右影像會吻合，故相減之後的道路平面會成黑. 27.

(35) 色。但若是有障礙物出現，則相減之後，在障礙物的部分會有歪斜及不吻合的狀況出現，則相減之後的影像會在障礙物出現的地方有不為黑色的區域，因此我們就可以很輕易的判斷出障礙物位置的所在。 Fig.3-7 顯示出障礙物偵測的流程，Fig.3-7(a)(b)是實際影像的左右圖，Fig.3-7(c)是將左影像轉換後的圖，Fig.3-7(d)是相減之後的圖。. Fig.3-7(a)實際左影像，(b)實際右影像 (c)左影像轉換後，(d)實際與轉換後的右影像相減. 對於相減後的影像，為了方便處理，將其二值化。下圖 Fig.3-8 即為二值化的結果。 28.

(36) Fig.3-8 二值化影像. 此例中，高度不為０的障礙物有兩個，一個為畫面左下方的長方形盒子，另外一個則是畫面中間偏上方的門。（兩邊的牆壁因為相連而且面積廣大，在此方法中並不適用，此點容後討論）。在結果中，白色區塊便是高度不為０的區域，由 Fig.3-8 可以看到兩個障礙物的位置上都有白色區塊，下方的盒子便是一個好例子。另外，畫面中間的門，所呈現出來的區塊並不是單一個，而是兩個區塊，這是因為當一個顏色較為均勻的矩形物體，經過左右影像轉換後會成為一個平行四邊形，而此平行四邊形跟原來物體的形狀，正好是左右邊各相差一個三角形的面積，因此會呈現兩個區塊﹔其實，. 29.

(37) 不只是影像中的矩形區塊，整張影像也因為左右影像轉換後，變成了一個歪斜的影像，也造成了畫面左上角以及右下角的空白，見 Fig.3-7(c)，所以在後續的處理中，我們必須要認知這一個條件，並加以運用以及避免錯誤的產生，例如：在兩個鏡頭之間的距離與鏡頭高度之間的關係必須要掌握好，以免出現如 Fig.3-7(c)這類的空白區域太大，導致資訊損失過多，而會有一大部分的區域無法作偵測。在接下來的步驟，很明顯的，我們可以從 Fig.3-8 發現，由於物體本身是有紋路的，並非單一顏色，會造成相減之後的圖形不是一個區塊，而且由於兩鏡頭之間角度的為小誤差，會造成結果有許多的小雜點以及區塊的不連續。因此在這裡，我們需要引進型態學的方法來處理此類問題。. 3.5. 型態上的處理（Morphological processing）. 由於兩個鏡頭的擺設，在角度上可能有些微的差異，或是光源對兩鏡頭的分佈不平均，在左右差異影像中，不可避免的會出現許多小雜訊，雖然這些雜訊用肉眼很容易判斷，但對需要自動化處裡的系統來說，無疑是一項嚴重的干擾，需要排除。因此，在讀入影像，進行消失點判斷之後，可以進行對於灰階的膨脹方法，使的影像呈現模糊化，大幅減少因為紋路以及光線變化的. 30.

(38) 影響，當左右差異影像出來後，隨之而來的課題就是如何去分析它。理論上在差異圖形中，一個障礙物會以一對方向相反的三角形出現（如下圖 Fig.3-9(c)），但考慮到障礙物的表面顏色不均勻，有紋路或是受到光源影響，在左右差異圖形中不會是一對完整的三角形，而是各種形狀不同的區塊，當然，這方面也需要避免，盡量在處理後，能達到一個障礙物以一對稱的小圖塊來表示。在二值化左右差異影像出現後，再針對型態學上的用法使用斷開以及閉合，使得最後出現的圖形可以容易判別。. Fig.3-9 (a)右影像(b)左轉換右影像 (c)左右差異影像。. 31.

(39) 3.6. 路面標線之偵測與判定. 在偵測車道時，主要是去偵測路面上的標線。一般而言，路面標線具有以下兩個特徵，有利於我們去判別與偵測是否為路面標線：亮度較高：標線相較於路面具有較大的灰階值，因此能夠輔助去判別標線與路面。固定的標線寬度：路面上的標線是人工施加上的，因此可視為定值，然而可能會隨著不同道路而有所差異；一般來說，標線寬度的範圍大約在 10~20 cm 之間。. Fig.3-10 車道標線與路面的灰階值關係，左上方為尋找車道標線邊緣所使用遮罩，G-MaxR 及 G-MaxL. 本文主要是利用上述兩個特徵去偵測與判定路面標線，步驟說明如下：Fig.3-10 表示標線相較於路面而言有較大的灰階值；對於影像中某一特定的列 y X 而言，為了去偵測標線與路面的連接點，我們使用一個一維的遮罩 mask=[1 -1]去求出影像中此列 y X 的灰階值梯度 32.

(40) 值(gradient)，並找出最大正梯度值的位置座標 G-MaxR，此座標點即可能為標線右邊與路面的連接點；同理，用此遮罩去找出最大負梯度值的位置座標 G-MaxL，此座標點即可能為標線左邊與路面的連接點；然而，為了進一步去確定所找到的真的是標線，需要進行下列兩個判定程序：比較在上述所找到的 G-MaxR 與 G-MaxL 位置座標之間的灰階值是否都大於 G-MaxL 與 G-MaxR 位置座標本身的灰階值：如 Fig.3-10 所示，這主要是利用到標線亮度較高的特徵，並且可在標線與路面灰階值的差異中設定一個臨界值使得標線的判定更為正確。 G-MaxL 與 G-MaxR 位置座標之間的寬度 m 和實際標線寬度 M W 做比較：這是依據標線的寬度為定值的特徵，利用反向透視映射公式將實際標線寬度從路面座標轉換到影像座標後，如果 m 是在預定的範圍內則可能是標線，其中預定範圍的大小與標線在影像中的寬度有關，我們預設的範圍是最窄為 0.5 倍的線寬，最寬為 2.5 倍的線寬，因為在某些雙線道的情況中，由於拍攝角度等因素，使得雙線道在影像中模糊難以區別，看似連在一起。. 33.

(41) 與路面標線偵測有關的座標轉換由反向透視映射（Inverse Perspective Mapping）的投影公式： X W ( x, y ) = k x. x − xmiddle y − yvp. (式 3-22). 我們可以知道 world（路面）座標 ( X W , YW ) 與影像座標 ( x, y ) 之間的轉換，在這邊，可以將(式 3-22)改寫為 X W ( xL , y ) − X W ( xR , y ) = k x. xL − xmiddle x −x − k x R middle y − yvp y − yvp. ⇒ X W ( xL , y ) − X W ( xR , y ) = k x. xL − xR y − yvp. (式 3-23). 其中， x L 與 x R 分別是車道左右兩邊線的座標， X L 與 X R 分別是 x L 與 x R 投影至影像中的座標， xL − xR 表示影像中的一段寬度值， X R − X L 表. 示路面中的一段寬度值，而上式則是路面中一段寬度與影像中一段寬度的轉換關係。. 消失點的決定從透視映射（Perspective Mapping）的特徵中，可知對於所有不平行投射平面的平行線組，皆會會合於消失點，道路標線也不例外，即使在路面有彎曲的狀態之下，在近距離的標線依然可視為平行線組。於是，將近距離的標線作延伸，其焦點標便會是消失點的位置。當我們依照路面標線偵測的步驟，找出了在不同的ｙ座標中，左右標線的位置，根據這些點的位置，將之串聯起來，便是道路標線的. 34.

(42) 中心線，由於在抓取灰階梯度的最大值時，因為標線本身有所磨損，或是因為解析度不夠造成的鋸尺狀邊緣，皆會使道路邊線的中心線不是一條直線，而是類似圖 3-11 的情形。為此，使用最小平方近似法（least square. approximation method）將這些點形成直線並作延伸，. 最後計算出交點便可當作消失點。. Fig.3-11. 道路標線左右邊緣的中點，並非完全在一直線上。. 35.

(43) 第四章. 實驗結果與討論. 為了驗證此方法的可行性，我們使用在實際路面所照攝的照片作為實驗對象，並測試此方法的可行性。在圖 4-1 最上方一列的影像是實際的左影像，是由兩具相距 40cm 的鏡頭所拍攝且鏡頭高度為 100cm，中間列則顯示二值化後的左右差距影像，由此可觀察出利用此左右轉換演算法所得到的影像的品質。下一列則是經由型態學的演算法，得到的最後結果影像，而圖中的白色區域，對照的便是障礙物的位置。最後一列則是消失點在影像中縱軸的位置，座標原點在影像上方，單位則是像素(pixel). 以下分六種情形：直線道路、彎曲道路、向上傾斜、向下傾斜、道路上有標線、行車中仰角改變等狀況來表現實驗結果，實驗結果如 Fig.4-1 至 Fig.4-17 所示。. 36.

(44) 直線道路實際左影像左右差異圖形結果消失點 Fig.4-1. 232. 232. 直線道路上的偵測情形. 37.

(45) 直線道路實際左影像左右差異圖形結果消失點 Fig.4-2. 232. 232. 直線道路上的偵測情形，模擬本身靜止，前方車輛往前行驶。. 38.

(46) 直線道路實際左影像左右差異圖形結果消失點 Fig.4-3. 233. 233. 直線道路上的偵測情形，模擬本身靜止，前方車輛往前行驶。. 39.

(47) 直線道路實際左影像左右差異圖形結果消失點 Fig.4-4. 233. 233. 直線道路的偵測情形，注意右邊停在路邊的車輛，與圍牆的情形有所不同。. 40.

(48) 直線道路實際左影像左右差異圖形結果消失點 Fig.4-5. 233. 258. 直線道路的偵測情形，注意右邊停在路邊的車輛，與圍牆的情形有所不同。. 41.

(49) 直線道路實際左影像左右差異圖形結果消失點 Fig.4-6. 258. 258. 直線道路的偵測情形，注意遠方出現車輛時。. 42.

(50) 彎曲道路實際左影像左右差異圖形結果消失點 Fig.4-7. 226. 226. 彎曲道路的偵測情形。. 43.

(51) 彎曲道路實際左影像左右差異圖形結果消失點 Fig.4-8. 240. 235. 彎曲道路的偵測情形。. 44.

(52) 彎. 曲道路. 實際左影像左右差異圖形結果消失點 Fig.4-9. 234. 彎曲道路的偵測情形。. 45.

(53) 向上傾斜實際左影像左右差異圖形結果消失點 Fig.4-10. 256. 256. 路面向上傾斜，消失點數值增加。. 46.

(54) 向上傾斜實際左影像左右差異圖形結果消失點 Fig.4-11. 256. 290. 路面向上傾斜，消失點數值增加。. 47.

(55) 向下傾斜實際左影像左右差異圖形結果消失點 Fig.4-12. 216. 216. 路面向下傾斜，消失點數值減少。. 48.

(56) 向下傾斜實際左影像左右差異圖形結果消失點 Fig.4-13. 216. 94. 路面向下傾斜，消失點數值減少。. 49.

(57) 道路上有標線實際左影像左右差異圖形結果消失點 Fig.4-14. 224. 224. 在道路上有標線的情形之下，並無受到影響而完成偵測。. 50.

(58) 道路上有標線實際左影像左右差異圖形結果消失點 Fig.4-15. 224. 在道路上有標線的情形之下，並無受到影響而完成偵測。. 51.

(59) 行車中角度改變實際左影像左右差異圖形結果消失點 Fig.4-16. 216. 224. 模擬車輛行駛中，加速或煞車時，仰角改變造成的影響。. 52.

(60) 行車中角度改變實際左影像左右差異圖形結果消失點 Fig.4-17. 236. 222. 模擬車輛行駛中，加速或煞車時，仰角改變造成的影響。. 53.

(61) 實驗結果討論 1. 首先，從表一得實際左影像可以看到，畫面中的障礙物除了最遠方的高樓、樹木以及汽車之外，還有一種障礙物是存在的，那便是兩邊的護欄，但是在結果影像中卻沒有出現，除了因為在影像中所佔面積小，更重要的原因室護牆的顏色單調，且水平延伸，使得左右差異影像中，因重疊部分站大部分而只剩下一點點的邊緣成分，因此難以偵測，但若是在正中央，佔有的影像面積大，勢必會產生灰階質不均勻的現象，則可以被偵測出來。 2. 一排車輛停在路邊的情形，就有如一堵圍牆一般，如 Fig.4-4，Fig.4-10，但由於車輛的顏色並非均勻且單調，所以在結果影像中仍可輕易得到訊息。 3. 另外，Fig.4-10 到表 Fig.4-1３，以及 Fig.4-1６、Fig.4-1 ７，都是模擬車輛行進中，遇到有坡度，或是車輛加速、減速時，車子仰角改變的情形。由於吾人可以自行決定消失點，避免了因為固定消失點而造成左右轉換失準的問題，所以獲得正確的結果。若是遇到車子仰角過高時，鏡頭視野離開路面，則沿用上一張影像的參數作判斷，但是對於角度變化過快的情形則容易遭成失準而判斷失誤。. 54.

(62) 4. 表上所示是整張完整的結果影像，但在實際應用上，只需要計算到在消失點以上約 30 個 pixel 的高度，這是因為在此高度以上的障礙物，離地過高已經不會妨害行車，因此可以不予理會。 5. 本實驗的理論基礎，是基於道路平面的座標轉換，若要以此來作距離判斷，則必須要考慮到，距離道路平面越接近的部分，在結果影像中越接近白色圖塊下方的尖端，所以障礙物的遠近，是以白色圖形最下方的點來判定。. 55.

(63) 第五章結論與未來展望在本文中，使用立體座標與平面座標的轉換，配合兩個不同角度影像所提供的資訊達成目的，提供了一個障礙物偵測的方法。由實驗結果可知這是一個可行的方法，雖然仍有待改進的地方，但擁有以下優點，這個方法可以說是非常可行的方法。運用了簡單的座標轉換公式，只要一個式子就可以完成轉換，這個方法可以說是簡單明瞭，不僅使用軟體設計容易，在實現上更是方便，由於演算法是由純粹的常數與實數的運算，以及矩陣元素的平移，配合為道路偵測設計的條件式所組成，沒有較難實現的三角函數等，因此由硬體可以達成高速的運算，是本方法的優點之一。而辨識成功率方面，在一般道路上都可以達成不錯的辨識率，也可以適應車體本身仰角變動的不同，比較一些設定在平面才可使用的方法，更是一大優點，也由於是由兩個不同角度取得的影像，比起單鏡頭的辨識方法多了許多資訊，結果也更為可靠。在未來，此系統也許可以加入道路平面變化，例如凸起有弧狀的路面，減少判斷錯誤的機會。也由於各種障礙物辨識的方法皆有其長處，也有其盲點或是缺點，所以將本方法與其他辨識方法結合，採用多數決的概念，可以將錯誤的機會降到最低，完成一個可信賴的系統。. 56.

(64) 另外，有鑒於灰階影像在天色昏暗，光線不足時導致的資訊不足，本方法也可採用彩色或是紅外線的輸入影像來作判斷，在成本可以接受的前提下，不同光波頻率的影像輸入將可大幅增加辨識的成功機會。因此，在科技發達的今天，我們可以結合許多有效的系統，來達成即時的應用，使智慧型汽車能成功的發展。. 57.

(65) 參考文獻 [1] T.Takehana et al., “Millimeter-wave Radar for Automotive Use”, SAE Convergence, p.131, 8 October (1992) [2] H.Kikuta, K.Iwata, R.nagata, “Distance Measurement by the Wavelength Shift of Laser Diode Light”, Applied Optics, vol.25, No17 (1986) [3] W.Efenberger, Q.Ta,L.Tsinas, V.Graefe, “Automatic Recognition of Vehicles approaching from Behind”, Proc. Intelligent vehicles 92, p.57, June (1992) [4] L. T. Schaaser, B. Y. Thomas, “Finding Road Lane Boundaries for Vision Guided Vehicle Navigation”, Proc Of Roundtable Discussion on Vision-Based Vehicle Guidance, Oct. (1990) [5] U. Franke, S. Heinrich, “Fast Obstacle Detection for Urban Traffic Situations”, IEEE Transactions on Intelligent Transportation Systems, Vol.3, No.3, Sep. (2002) [6] C. Demonceaux, A. Potelle, D. Fachi-Akkouche, “Obstacle Detection in a Road Scene Based on Motion Analysis”, IEEE Transactions on Vehicular technology, Vol.53, No.6, p.1649-1656, Nov. (2004) [7] R. Labayrade, D. Aubert, J. P.Tarel, “Real Time Obstacle Detection in Stereovision on Non Flat Road Geometry Through V-disparity Representation”, Intelligent Vehicle Symposium, IEEE, p. 646-651, vol.2 17-21 June (2002 ) [8] Sergiu Nedevschi, Rolf Schmidt, “High Accuracy Stereo Vision System for Far Distance Obstacle Detection”, 2004 IEEE Intelligent Vehicles Symposium, pp.292297, (2004) [9] Hiroaki Nakai, Nobuyuki Takeda, Hiroshi Hattori, Yasukazu Okamoto, Kazunori Onoguchi, “A Practical Stereo Scheme for Obstacle Detection in Automotive Use”, Proceedings of the 17th International Conference on Pattern Recognition on Volume 3, p.346-350, Vol.3 Aug. (2004) [10] Raphael Labayrade, Didier Aubert, Jean-Philippe Tarel, “Real Time Obstacle Detection in Stereo vision on Non Flat Road Geometry Through “V-disparity” Representation”, Intelligent Vehicle Symposium, 2002 IEEE Volume 2, p.646-651 vol.2 June (2002) [11] Alberto Broggi, Massimo Bertozzi, Alessandra Fascioli, Corrado Guarino Lo Bianco, Aurelio Piazzi, “Visual Perception of Obstacles and Vehicles for Platooning”, IEEE Transactions on Intelligent Transportation Systems, Vol. 1, NO. 3, p.164-176, (2000) [12] Mohamed Hariti, Yassine Ruichek, Abderrafiaa Koukam, “A Voting Stereo Matching Method for Real-Time Obstacle Detection”, Proceedings of the 2003 IEEE International Conference on Robotics & Automation, p.1700-1704, (2003) [13]KeijiSaneyoshi, K. Hanawa, K. Kise, Y. Sogawa, “3-D Image recognition System 58.

(66) for Drive Assist”, Subaru Research Center Co., ltd. [14] Thomas Bucher, “Measurement of Distance and Height in Images based on easy attainable Calibration Parameters”, Proceedings of the IEEE Intelligent Vehicles Symposium 2000, p.314-319. (2000) [15] A. Broggi, M. Bertozzi, A. Fascioli, C. Guarino, L. Bianco, A. Piazzi, “Visual perception of Obstacle and Vehicle for Platooning”, IEEE Transactions on Intelligent transportation systems, Vol.1, No.3, p.164-176, (2002) [16] A. Broggi, M. Bertozzi, G.. Conte, A. Fascioli, “Obstacle and Lane Detection on ARGO”, IEEE Transactions on Intelligent transportation systems, Vol.1, No.3, p.1010-1015, (1997) [17] E. Haritaoglu, “Multiple Vehicle Detection and Tracking in Hard Real-time”, IEEE Intelligent Vehicles Symposium 1996, Proceedings of the 1996 IEEE 19-20 Page(s): 351 - 356 Sept. (1996) [18] David A. Forsyth,Jean Ponce, Computer Vision-A Modern Approach, Prentice Hall, 2003.. 59.

(67)