行政院國家科學委員會專題研究計畫 期中進度報告
子計畫七：電腦視覺輔助車輛安全駕駛、自動航行與保全監
視(1/3)
計畫類別： 整合型計畫 計畫編號： NSC91-2213-E-009-106-執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立交通大學資訊科學學系 計畫主持人： 蔡文祥 計畫參與人員： 賴重祈、陳秉中、陳逸傑、賴成駿 報告類型： 精簡報告 報告附件： 出席國際會議研究心得報告及發表論文 處理方式： 本計畫可公開查詢中
華
民
國 92 年 5 月 27 日
行政院國科會專題研究計畫成果期中報告
電腦視覺輔助車輛安全駕駛、自動航行與保全監視
Using computer vision to assist oper ating vehicles safely,
autonomous navigation, and secur ity sur veillance
計畫編號：NSC91-2213-E009-106
執行期限：91 年 8 月 1 日至 92 年 7 月 31 日
主持人：蔡文祥 國立交通大學資訊科學系
計畫參與人員：賴重祈、陳秉中
陳逸傑、賴成駿
國立交通大學資訊科學
系
一、中文摘要 本期計畫分為三個部份。第一部份是電腦視覺輔助車輛安全駕駛，這部份我 們利用偵測側向車輛輪胎位置來得知其實際物理位置，藉此預期其行進軌跡以達 到避免意外碰撞的效果。第二部份是電腦視覺輔助車輛自動航行，這部份我們利 用環場攝影機擷取航行環境的影像加以分析，進而學習環境特徵來幫助建立車輛 導航的機制。第三部份是電腦視覺輔助車輛保全監視，這部份我們利用環場攝影 機擷取靜態車輛的週遭環境影像加以分析，藉由比對環境影像的差異性來偵測週 遭環境之異動，以保障車輛免於失竊。 關鍵詞：電腦視覺、環場攝影機、車輛導航、保全監視。 AbstractThe first stage of this project consists of three parts. The first part is to use computer vision techniques to assist operating vehicles safely. For this part, we detected the physical positions of sideway vehicles by finding their wheel positions, so that we can predict the trajectories of cars to avoid accidental car collisions. The second part is to use computer vision techniques to assist autonomous vehicle navigation. In this part we analyzed the environment images captured by omni-directional camera, and learn the features in the environment to help constructing the strategies of vehicle navigation. The third part is to use computer vision techniques to assist security surveillance. In this part we analyzed the surrounding images of a static vehicle captured by an omni-directional camera, and then by comparing the difference of these images, we detect changes in the surrounding environments, and so prevent the cars from being stolen.
Key Words：computer vision, omni-directional camera, vehicle navigation, security surveillance
二、計畫緣由與目的 (1) 電腦視覺輔助車輛安全駕駛 根據統計資料顯示大多數的車禍都是駕駛者忽略側向來車所造成，因為在駕 駛車輛的時候，側向車道是一般駕駛者最容易疏忽且容易產生死角的位置，所以 我們希望能發展一套對側向車道車輛定位的方法，利用裝置在車體右前方的攝影 機來捕捉側向車道來車輪胎的影像，然後對其做影像處理，以得到輪胎的位置。 一些會影響輪胎位置精確度的因素，如輪胎框的特徵，路面顏色與輪胎相同，或 是光線因素等，都是有待研究的問題。 而利用輪胎的位置可以判斷測向來車的位置，此時的關鍵技術為建立一套座 標轉換的方法，將影像上的距離轉換成實際空間中的距離，這之中必須解決的問 題即是如何利用對相機做校正來求得座標轉換所需要的相機參數。 接著利用前述所得到的測向來車位置資訊，藉由兩張車輛位置的影像變動來 判斷其速度及行進方向，最後的工作就是整合所有得到的資訊來達到車輛避碰的 功能，其困難點在於要考慮車輪的大小，來計算出預期車輛軌跡，此時如何利用 影像處理中的技 術 來 求 得 測 向 來 車 的 最方 法便是一長 端立預測碰撞的且 進 建 一個值得研究的問題。 (2) 電腦視覺輔助車輛自動航行 在這一題目我們希望利用環場攝影機擷取 2D 影像加以分析，來得到導航所 需要的資訊，這樣的做法可取代傳統耗時的 3D 環境模式的建立，進而完成導航 的目的。 為此首要的工作即是建立一套環場攝影機校正的技術，因為我們要確保所得 到影像的正確性，而此時因為環場攝影機本身的特性，其所得到的原始影像均為 經過幾何變形後的畫面，如何建立一套在影像環境及實際環境間的 2D 對應技 術，將是我們首要解決的問題。 確定我們所得到影像的正確性後，接下來便是開始針對我們實驗環境如走廊 或是房間內所擷取到的影像進行分析，此時應該先要判斷我們想利用環境中的哪 些特徵來當作車輛航行方向的依據，這邊要考慮到這些特徵的兩點特性，一為哪 些特徵是容易取得的，二為哪些特徵能為車輛導航帶來比較多的資訊，取得符合 我們目標的環境特徵正是這階段的主要工作。 當我們取得導航所需的 2D 影像資訊後，接下來進入車輛導航的階段，在這 階段我們面臨以下的問題： （1）如何讓車輛平順的航行在道路中央而不偏移； （2）如何利用 2D 影像資訊去計算車輛轉角的問題；（3）接受使用者的高階指 令以及讓車子產生低階邏輯判斷，以達到行進間閃避障礙物與進行轉彎的功能。 以上的問題都是我們預期要達成的目的。 (3) 電腦視覺輔助車輛保全監視 在此一課題我們希望利用環場攝影機的特性來發展一套車輛監視系統，藉由 環場攝影機所擷取到車子周圍的廣角畫面，經過網路傳輸到遠端主機，在經過影 像處理分析後，進而達到監控車輛的目的。 首要工作是要將架設在車輛頂端的環場攝影機的高度調到最佳化的位置，並
且將擷取到的影像壓縮成適合無線網路傳輸的大小，如何在壓縮倍率與影像品質 間作取捨，是研究的主要目標。 接下來面對的問題為解決車輛環境的變異性，因此需要設計一套車輛周圍環 境的彈性學習方法，在擷取車輛影像回傳給主機作影像處理分析後，建立車輛環 境的模式，並透過此模式得知車子周圍物體與車體的初始化距離。 有了車輛環境模式後，面對的問題是如何利用此模式來進行模式比對，將不 屬於此模式中的物體區分出來，進而得知這類物體的位置、行動方向與速度，來 做 到 進 一 的 監追 視 蹤 。 三、結果與討論 (1) 電腦視覺輔助車輛安全駕駛 在偵測輪胎的位置方面，由於輪胎與地面密合且顏色相近，難以正確的偵測 出輪胎的形狀，因此我們決定偵測輪胎框。首先使用 Sobel operator 偵測出影像 中的 edge points，接著利用 Hough transform 偵測出所有的橢圓邊緣。由於輪胎 框上可能會有小洞而導致偵測出來的橢圓不只一個，此時我們選擇直徑最大的一 個橢圓當作輪胎。經過實驗證實，這方法是可行的。此外，我們假設所有輪胎皆 擁有一個固定的平均高度，雖然這會使推算車輛位置時產生誤差，但我們實驗結 果發現此誤差尚在可容忍範圍內。 在判斷側向來車的方向方面，我們須要知道輪胎的方向和其與攝影機的相對 位置，用以判斷側向來車在 3D 空間中的位置。假設輪胎是圓的，且與地面垂直， 則剩下唯一可變的參數只有 pan angle，即輪胎表面的法向量與輪胎中心到攝影 機方向的夾角。我們提出了一套數學計算的方法，利用輪胎投影在攝影畫面上的 方程式，就可以求出 pan angle 的值，與輪胎相對於攝影機方向的向量。 在相機校正方面，我們建立了一個小型的 model，可以計算出置放在螢幕右 上角的攝影機朝向的方向與位置。這個 model 也可以套用在車子右前方的相機校 正上。 在車輛避碰方面，我們提出了兩種方法來偵測車輛行進的軌跡。第一種方法 是分別偵測連續影像中後輪的位置與方向，算出兩張影像中輪胎的距離與旋轉的 中心點，再加上時間資訊，推知車輛的行進軌跡與速度。第二種方法是偵測單張 影像中車輛的前後兩個輪子。當我們得知前後輪胎的位置與方向後，就可以很容 易地計算出車輛的迴轉半徑，並自然地近一步推知其行進軌跡。 (2) 電腦視覺輔助車輛自動航行 在相機校正、建立影像環境與實際環境間的對應方面，我們首先利用曲線嵌鑲 (curve fitting)的技術去找到一條曲線方程式，將從擷取影像中的非線性失真距離 轉換為在實際世界中的真實距離；另外我們維持環場攝影機的水平軸平行於地 板，以免產生失真的方位角；接下來我們建立影像環境（ICS）及實際空間（VCS） 之間的點對點轉換式如下：
(
)
+ ))) + = sinθ , cosθ , 'xp yp f up2 wp2 f up2 wp2 P 其中(
xp,yp) (
, up,wp)
分別為 VCS 及 ICS 中的點。 在航行環境 2D 影像分析及擷取環境特徵方面，我們首先利用 Sobel 過濾器來做影像邊緣偵測，取得地板間接線以及地板區域這兩個特徵值，來幫助車輛航行 時判斷其是否維持在走廊地板的中線上。在學習導航路線方面，我們分別利用三 種環境特徵來提供車輛導航的資訊，首先我們利用水平的掃描線來求得地板區域 的寬度，車輛可藉由此資訊來調整行進間的位置，接者我們計算車輛與前面牆壁 基準線間的距離，車輛可藉由此資訊來判斷何時該進入轉彎的階段。另外在車輛 轉彎階段，我們在影像中尋找道路轉角的位置。 在建立車輛導航機制的方面，我們把實際路線分為三部份，首先是直線航行 有左右兩邊的基準線的部份，對此我們可以利用前述道路寬度特徵來保證車輛不 會與走廊牆壁相碰；再來是直線航行只有單邊的基準線的部份，我們利用水平掃 描線與單邊基準線的交點，轉換到實際環境中的點後，再配合事先定好的安全距 離，即可求得導航的路線圖。最後是轉彎航行的部份，這可分為兩個階段來討論， 第一階段為如何進入轉彎的路線，這邊我們利用前述提到道路轉角和車輛與前面 牆壁的基準線這兩個特徵資訊，藉由讓車輛不斷保持在轉角與前面牆壁基準線的 中點上，即可安全的通過轉彎的路段，第二個階段為轉彎後的直線航行，因為轉 彎後的走廊環境有左右兩邊的基準線，所以此時的導航策略與第一部分提到的航 行策略是相同的。 (3) 電腦視覺輔助車輛保全監視 在車輛環境學習方面，我們首先學習車頂的顏色，再利用區域成長(Region growing)的技術，找出車頂的範圍。接著依照比例訂出前後門的區域。另外我們 利用影像校正的技術來建立影像空間與實際空間距離的轉換，如此一來即可知道 所擷取到初始影像中各物體與車輛之間的實際距離。 在利用車輛環境模式與擷取影像做比對的部份，我們將擷取到的影像與初始 影像相減，在經過影像處理去除光線問題所帶來的雜訊，並經過一條件值 (Threshold)的判斷式之後，即可得到移動中物體的位置座標所在，接著在持續的 擷取影像作上述的動作，就會得到移動物的座標改變值，藉由此數值我們可以得 到移動物的方向與移動的速度。 在攤平(unwarping)影像方面，由於我們使用的廣角攝影機並非單一視點(single viewpoint)，沒辦法很容易地將廣角影像攤平。因此我們先對相機做校正，得出 廣角影像中每一點與實際空間的對應關係，再藉由此相機校正的參數推導出一個 攤平廣角影像的方程式。利用此方程式，就可以將廣角影像攤平成數個視線方向 可以看到的正常影像。 在壓縮方面，我們採用 MPEG-1 的方式。考慮到監視畫面中大部分的背景都不 會改變，只有在少數影像片(frame)中會有移動的物體，因此我們利用這一點來提 高壓縮率。首先先儲存一張沒有移動物的背景影像，以後每張影像片都與此背景 影像做求取影像差的動作(frame difference)，找出移動物，再把包含移動物體的 最小方框交給 MPEG-1 壓縮。為了降低光線造成的影響，我們將影像差(frame difference)轉成 YUV model，並給 Y 部分(亮度)較小的權重。當傳輸開始時只須 傳送一次背景，以後每張或數張影像片只要傳送移動物的壓縮結果，在接收端解 壓縮並疊合在背景上顯示即可。
四、計畫成果自評
本期計畫成果進度依計畫書中內容已達到八成，接下來尚有一部分的內容有 待研究。到目前為止計畫進行順利。
五、參考文獻
[1] Yasushi Yagi, Shinjiro Kawato, and Saburo Tsuji, “Real-time omni-directional image sensor (COPIS) for vision-guided navigation, “ IEEE Transactions on Robotics and Automation, Vol. 10,No. 1, February 1994.
[2] Shree K. Nayar, “Catadipptric omni-directional camera, “Proceedings of 1997 IEEE International Conference on Computer Vision and Pattern Recognition, pp . 483-448, June 1997.
[3] K. P. Li and W. H. Tsai, “Autonomous land vehicle guidance in complex room environments by computer vision techniques”, Proceedings of 1996 International Conference on Image Processing and Character Recognition, Kaohsiung, Taiwan, R.O.C., pp. 9-16,Dec. 19-21,1996.
[4] P. P. Li and W. H. Tsai, “Path Learning, Planning, and Guidance for ALV navigation Inside Buildings,”M.S thesis, Department of Computer and Information Science, National Chiao Tung University, 1997.
[5] N. M. Charkari, and H. Mori, “A New Approach for Real Time Moving Vehicle Detection”,
Proceedings of the 1993 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, Yokohama, Japan, pp.27-32, 1993.
[6] Z. Chen and J.B. Huang, “A vision-based method for the circle pose determination with a direct geometric interpretation”, IEEE Transactions on Robotics and Automation, Vol. 15, No. 6, pp.1135-1140, 1999.
[7] R. Chapuis, A. Potelle, J. L. Brame, and F. Chausse, “Real-Time Vehicle Trajectory Supervision on the Highway,” International Journal of Robotics Research, Vol. 14, No. 6, pp.531-542, 1995. [8] E. R. Davis, “Finding ellipses using the generalized Hough Transform,”Pattern Recognition, Vol.9,
