行政院國家科學委員會專題研究計畫 期中進度報告
子計畫七：電腦視覺輔助車輛安全駕駛、自動航行與保全監
視(2/3)
計畫類別： 整合型計畫 計畫編號： NSC92-2213-E-009-040- 執行期間： 92 年 08 月 01 日至 93 年 07 月 31 日 執行單位： 國立交通大學資訊科學學系 計畫主持人： 蔡文祥 報告類型： 精簡報告 報告附件： 出席國際會議研究心得報告及發表論文 處理方式： 本計畫可公開查詢中 華 民 國 93 年 5 月 20 日
行政院國家科學委員會專題研究計畫精簡報告
電腦視覺輔助車輛安全駕駛、自動航行與保全監視
Using computer vision to assist operating vehicles safely, autonomous
navigation, and security surveillance
計畫編號：NSC91-2213-E009-106
執行期限：92 年 8 月 1 日至 93 年 7 月 31 日
主持人：蔡文祥 國立交通大學資訊科學系
計畫參與人員：陳逸傑、吳師毅、廖永淵
國立交通大學資訊科學系
一、中文摘要 本計畫成果分為三個部份，第一部份 電腦視覺輔助車輛安全駕駛，是利用環場 攝影機取得車輛週遭的環境場影像並加以 分析，搭配車輛轉向邏輯，達到輔助停車 之目的。第二部份電腦視覺輔助車輛自動 航行，是利用特徵資訊，從環境影像中區 分出地面及障礙物之資訊，進而透過學習 來完成定點導航機制。第三部份電腦視覺 輔助車輛保全監視，是使用數位攝影機取 得環境影像並分析出環境的特徵資訊，透 過影像處理技術來作車輛入侵以及車輛移 動的偵測。 關鍵詞：電腦視覺、環場攝影機、車輛導 航、保全監視。 AbstractThe achievements of this project consist of three parts. The first part is using computer vision techniques to assist operating vehicles safely. In this part we took omni-directional images around a vehicle by using an omni-directional camera.
vehicle-turning logics, we can assist drivers to park. The second part is using computer vision techniques to achieve autonomous vehicle navigation. In this part we separated ground and obstacles from environments in input images, and then completed the task of vehicle navigation to a fixed destination after conducting a learning procedure. The third part is using computer vision techniques to assist security surveillance. In this part we took environmental images with digital cameras and extracted relevant features from environmental images, and then conducted monitoring of people invasion and car movement by image processing techniques. 二、計畫緣由與目的 (1) 電腦視覺輔助車輛安全駕駛 停車往往耗費駕駛人許多的時間與精 神，因此停車一向是汽車駕駛人的困擾。 本研究項目擬在車頂裝設環場攝影機，取 得車輛周圍的資訊，透過這些資訊來完成 自動協助駕駛人停車的目的。 首要的工作是利用環場攝影機取得車 輛週遭環境的環場影像，並由環場影像中 分析出周遭環境中的停車格位置，但由於
取得的環場影像是呈幾何扭曲的，而且影 像中有可能只含車位的一部分，因此如何 由影像作所需資訊的抽取是需要探討的主 要問題。 接下來我們著重於停車相關技術的研 究。我們發展出一套車位搜尋的演算法， 經由影像處理的技術與車況資訊的推導， 導出車輛與車位的相對位置。接著我們也 對車輪轉向訂出一套邏輯，配合之前的車 輛與車位相對資訊作搭配，達到輔助停車 之目的。 由於停車與起駛差異只在方向不同， 所以我們將上述輔助停車的技術，推展到 輔助起駛的應用上。另外我們也設計一組 人機介面，將車輛與車位環境的資訊都呈 現於此介面上，以輔助車輛駕駛人必要時 作手動視覺操控。 (2) 電腦視覺輔助車輛自動航行 房間內車輛定點自動航行可有很多的 應用，主要目的是要使家居生活能更安全 與便利。本研究項目的重點，除了房間影 像分析、環境模組建立及導航機構建製之 外，避碰是一重點，此乃因房間內家具物 件甚多，如何閃躲位置時常不定的器物是 一個需要探討的項目。 首要的工作是區分房間內地面與各種 器物的不同，將地面的區域切割出來，供 車輛航行之運用。因此我們抽取地面及器 物之影像特徵，以適當的圖形識別技術加 以分辨。地面影像特徵包括顏色、紋路等。 至於家具等器物之影像特徵則不一而足， 形狀為最重要的一項。影像特徵的取用則 視不同房間環境而定。 分析出房間的地面影像及器物之影像 資訊後，可知道自動車航行路上或路邊障 礙物的資訊。接著我們設計一資料結構來 記錄上述資訊，並設計簡易路圖(map)，透 過資訊與路圖的搭配來作定點學習，以利 於接下來的定點導航程序。 接下來所進行研究是如何使車輛能在 建築內部正確航行。除了建立以簡易路圖 作比對的定點航行方法外，我們還運用曲 線分割函數技術來設計避碰功能以及路徑 規劃方法來發展最短特定路線巡邏能力。 (3) 電腦視覺輔助車輛保全監視 本研究項目主要是由架設車外環境中 的攝影機，由遠處側向監看車輛，來對車 輛外圍環境作取像，進行分析，作車輛移 動等相關監視動作，達到監控車輛的目的。 首要工作是對車外環境作分析與學 習。我們利用架設好的數位攝影機來取得 車輛週遭的環境影像，進而分析出環境中 的特徵資訊，如車輛輪胎位置、車門是否 開啟等，以利於之後的異物偵測與紀錄。 接下來利用前述所取得的影像與資訊 來觀察是否有物體意圖入侵車輛。在已經 學習過的環境當中，利用影像切割的技 術，我們找出有別於學習環境中的物體， 並透過座標轉換來計算出該物體與車輛之 間的距離，再根據此距離作為異物入侵偵 測之依據。 我們利用學習過的環境影像為基礎， 對此影像作邊緣偵測，得知車輛的原本位 置。再利用不同時間所擷取到的影像之間 的差異，來判斷車輛是否經過移動，達到 車輛移動偵測之目的。 三、結果與討論 (1) 電腦視覺輔助車輛安全駕駛 在偵測停車位方面，首先利用由環場 攝影機所取得之影像資料，經過 Sobel operator 的處理後得到影像中的主要輪 廓線條，或稱為 edge points。接著在影 像上偵測 objects，方法為在影像上畫一 水平線，由水平線的中心點往左和右移 動，直到與 edge point 相交，則此兩交點
之間的距離即 width of floor。重複上述 操作至相鄰兩水平線之 width of floor 差 異 超 過 某 定 值 ， 即 為 偵 測 到 一 個 object。接下來去計算此 object 內的 edge point 的 pixel 數目，當其所得之數目小 於某事先定義的值時，則判斷此 object 為一個停車位。
偵測到停車位後，接著要執行輔助停 車 的 工 作 。 停 車 工 作 分 成 兩 種 情 況 ： forward parking 及 backward parking。 當所偵測到的停車位為路邊的第一個停車 位時，就是 forward parking 的情況，反 之則為 backward parking 的情況。停車的 動作包含許多資訊，像旋轉角度、移動距 離等，這些資訊事先於學習過程中記憶下 來，當進入 forward parking 程序時，可 根據之前學習過的資訊來把車子駛經一路 徑，停入停車格中。而 backward parking 也是以類似程序為之，差異在 backward parking 時車子會先往前開到停車格的前 方一定的距離處，再讓車子用倒車方式行 駛一個路徑停入到停車格中。 而在輔助車子起駛方面，概念和輔助 停車類似，差異只在於方向相反。因此上 述的輔助停車程序即可延用到輔助起駛的 程序上。 (2) 電腦視覺輔助車輛自動航行 房間內定點導航與避碰方面，首先對 房內影像作分析，分出地面的資訊。此可 依下列方式為之：(1)由輸入影像找出地面 grayscale 值並記錄下來；(2)把輸入影像 分割成 4×4 小方塊，每一方塊包含 16 個 pixels，取其 gray value 的平均得到代表 此方塊的 gray value；(3)把輸入影像作 sobel operator 處 理 得 到 影 像 的 edge points；(4)將小方塊分類為 route area 或 non-route area，此即為車子可行駛與 不可行駛區域﹔當小方塊的 gray value 值
和步驟一紀錄之地面 gray value 很接近且 小方塊內包含的 edge point 的 pixels 數 目小於一定值時，則將此方塊視為 route area；反之，則視為 non-route area。重 複上述步驟即可把整張影像的可行駛和不 可行駛區域給分類出來。
房間環境方面，分成兩種模式：single path mode 與 area mode。在 single path mode 方面，首先透過使用者針對某條單一 路徑去做學習的動作。學習時，在直線路 徑中每隔一段距離記下一個 check node， 而轉彎路徑記錄為 turn node。學習過後， 路徑的資訊會被記錄下來，之後即依據學 習的結果以及上述由影像分析出來的資料 來作導航。而在 area mode 方面，使用者可 以一次針對多條路徑去做學習的動作，並 指定路徑的起始點及終點，這些資訊均會 被記憶下來，並於內部建構一路線圖。當 使用者要移動車到某一定點時，系統會根 據所指定的起始點和終點透過之前學習的 路線圖自動地找出最短路徑，然後移動到 目的地。此法需要學習的次數等於所導航 的房間數目，而不必針對每條路徑作學 習，可大大減少使用者學習的次數。 而在導航方面，由於路徑是由 check nodes 和 turn nodes 所組成，所以航行時 會有四種情況：turn node 到 turn node、 turn node 到 check node、check node 到 turn node、check node 到 check node， 除了 turn node 到 turn node 的情況是屬 於轉彎的路徑之外，其他均為直線的路 徑，所以對 turn node 到 turn node 的情 況，我們採取 smooth curve following 來作導航，而對其他的情況則是採取 line following 來作導航。
(3) 電腦視覺輔助車輛保全監視
假設攝影機是由上往下斜拍，車子是 正向面對鏡頭，首先我們要取得車外環境
資訊。我們先於無車的環境下(目標車輛尚 未停入停車位的環境)拍攝連續十張以上 的影像來學習背景，經平均這十張的影像 可得參考的背景。再於目標車輛停妥時， 同樣擷取十張以上靜態的影像平均後與無 車時的影像相減後於一特定的閥值下將影 像二值化，並定義出一個可框出此影像的 最小的二維矩形。此矩形是影像中必須被 監控目標車輛的最小範圍(alarm area)。 矩形的左右兩側定義為車門的位置，其餘 的部分是 alert area，如此一來即可得目 標車輛的資訊。 而在車輛入侵的偵測部分，假設入侵 物體分為一人或二人，利用上一步驟已經 學習過的有車背景，將其與攝影機每一秒 所擷取的影像相減，再二值化影像，並統 計此二值化影像的黑點數。當其超過總數 (攝影機之解析度)的一定百分比時，即判 斷有物體入侵目標車輛，並提出警告及將 此影像儲存便於日後辨識竊車賊。同時間 計算車門區域的範圍是否有改變，利用區 域的影像相減所得之變化量認定車門是否 被開啟，並作出相對的反應。 車輛移動的偵測部分，透過第一步驟 所學習過的影像定義車輛的所在位置，利 用攝影機所得連續影像之間車輛位置的影 像差異所得之空洞(holes)數目的變化來 判斷；超過一定的百分比時則認定車子被 移動並發出警報。另學習過的車輛位置可 幫助車主於下一次停車時作定位。 四、計畫成果自評 本期計畫成果進度已接近完成計畫書 書所有內容，接下來將進行更多驗證實驗。 五、參考文獻
[1] Rafael C. Gonzalez and Richard .E, Digital Image Processing, Addison-Wesley, Reading, MA, New York, U.S.A., 1993.
[2] Jin Xu, Guang Chen, Ming Xie, “Vision-guided automatic parking for smart car,” Proceedings of IEEE Intelligent Vehicles Symposium 2000, Dearbom(MI), U.S.A., pp. 725-730, October, 2000. [3] A. J. Davison and D. W. Murray, “Simultaneous localization and map-building using active vision,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, Issue 7, Jul 2002, pp. 865-880.
[4] J. B. Hayet, F. Lerasle and M. Devy, “A visual landmark framework for indoor mobile robot navigation,” IEEE International Conference on Robotics and Automation, Vol. 4, 2002, pp. 3942-3947.
[5] Gaussier, P.; Joulain, C.; Zrehen, S., Banquet, J.P.; Revel, A., “Visual navigation in an open environment without map,” Proceedings of 1997 IEEE/RSJ International Conference on Intelligent Robots and Systems, 7-11 Sept. 1997, pp. 545 – 550, vol. 2.
[6] C. Anderson, Peter Burt, and G. van der Wal. Change detection and tracking using pyramid transformation techniques. In Proceedings of SPIE - Intelligent Robots and Computer Vision, volume 579, pp. 72–78, 1985.
[7] H. S. Sawhney and R. Kumar. True multi-image alignment and its application to mosaicing and lens distortion. In Proc. IEEE Conference on Computer Vision and Pattern Recognition, 1997.
[8] K. P. Li and W. H. Tsai, “Autonomous land vehicle guidance in complex room environments by computer vision techniques,” Proceedings of 1996 International Conference on Image Processing and Character Recognition (part of 1996 International Computer Symposium), Kaohsiung, Taiwan, Dec. 1996, pp.9-16.
[9] Nielsen, J., Sandini, G, ”Learning mobile robot navigation: a behavior-based approach,” 1994 IEEE International Conference on Systems, Men and Cybernetics, 2-5 Oct. 1994, pp.2809 – 2814, vol. 3.
