智慧型車輛之控制感測與資訊處理技術研發(III)---子計畫VI：智慧型車輛之即時影像系統與影像追蹤技術研發

行政院國家科學委員會補助專題研究計畫

■ 成 果 報 告

□期中進度報告

智慧型車輛之控制感測與資訊處理技術研發(3/3)-子計畫六：

智慧型車輛之即時影像系統與影像追蹤技術研發

計畫類別：□ 個別型計畫

■

整合型計畫

計畫編號：NSC 92－2213－E－009 －013 －

執行期間： 92 年 8 月 1 日至 93 年 7 月 31 日

整合型計畫總主持人：李祖添

計畫主持人：宋開泰

計畫參與人員：沈柏翰、孫柏秋、林鎮源、周崇民

成果報告類型(依經費核定清單規定繳交)：□精簡報告

■

完整報告

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

□出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、列

管計畫及下列情形者外，得立即公開查詢

□涉及專利或其他智慧財產權，□一年□二年後可公開查

詢

執行單位：

中 華 民 國 93 年 10 月 20 日

行政院國家科學委員會專題研究計畫成果報告

智慧型車輛之控制感測與資訊處理技術研發(3/3)-子計畫六：

智慧型車輛之即時影像系統與影像追蹤技術研發

Development of a Real-Time Image System and Image Tracking Scheme of Intelligent Vehicles 計畫編號：NSC-92-2213-E-013- 執行期限：92年08月01日至93年07月31日 主持人：宋開泰教授 國立交通大學電機與控制工程學系

摘要

本報告發展一套應用於車輛安全之影像追蹤系統。報告中提出一基於特徵追蹤法則 與結合擴散焦點(FOE)及場景分析之影像追蹤系統，此系統可自動偵測並同時追蹤多個動態物 體，包括汽車及機車，並可在複雜的環境中有效地分離背景與動態物體，以提供碰撞偵測之 資訊。本研究採用 CMOS 影像感測器及 Altera Nios embedded processor 將此系統發展為一 獨立式系統，並達成即時影像處理與影像追蹤的性能，使之能在車輛上獨立運作。我們將此 獨立式影像追蹤系統置於車中進行實際測試。測試之結果顯示在時速 60 公里之市區道路，本 系統具有即時影像追蹤車輛，並提供防止碰撞之警示資訊。

(關鍵字：即時影像處理、影像追蹤、智慧型汽車、運動偵測、CMOS 影像感測器、數位處理 器、碰撞偵測）

Abstract

This report develops a real-time visual tracking system for vehicle safety. We proposed a feature-based tracking system, which is combined with the concept of FOE and scenario analysis for tracking moving objects on the road. This system can automatically detect and track multiple moving objects, including cars and motorcycles. The developed system can segment features of moving objects from moving background simultaneously and provide useful information such as collision warning. Furthermore, we have realized the system in a stand-alone system, which can operate independently in a vehicle. The system consists of a CMOS image sensor and Nios embedded processor from Altera. The real-time stand-alone visual tracking system has been validated in actual road environment. Experimental results show that in an urban artery with an average velocity of 60km/hr, the proposed image tracking system successfully tracked front vehicles and provided information of collision warning

(Keywords：real-time image processing, image tracking, intelligent vehicle, motion detection, CMOS image sensor, digital signal processor, collision detection)

目錄

摘要

I

Abstract

II

一 、前言

1

二 、研究目的

1

三 、文獻探討

2

四 、研究方法

3

4.1 基於 FOE 之即時影像追蹤法則 3

4.2 整合 CCD 攝影機之即時影像處理系統

8

4.3 影像邊緣偵測法則與硬體電路實現

11

4.4 整合 CMOS 影像感測器之即時影像系統 12

五 、結果與討論 16

5.1 整合 CCD 攝影機之即時影像處理測試結果 16

5.2 動態影像追蹤之軟體模擬結果 16

5.3 CMOS 影像感測器之即時影像系統實驗結果 19

5.4 即時影像追蹤實車測試結果 20

六 、結論

23

參考文獻

23

一 、前言

近幾年來，隨著社會的經濟快速發展，我國已進入已開發國家的行列，車輛已成為我國 生活上主要交通工具，然而，車輛數不斷增加，交通事故問題也相伴而來，因此許多先進國 家與著名車廠都將車輛的安全問題看成重要課題，並積極地尋求如何將先進的科技運用於車 輛上，以提高車輛行駛的安全性。智慧型車輛發展之目的主要在透過特殊軟硬體之建立與整 合，提供車外交通路況之即時資訊，減少車輛事故之發生，並提高道路上行駛汽車之安全性。 主要軟硬體技術包括了微電子技術(Microelectronics)、人工智慧 (AI)、感測器(Sensing)、通訊 系統(Communication)及控制(Control) [1]。 攝影機及電腦視覺(Computer vision)為提供車外資 訊之重要感測裝置與技術，然而利用影像處理技術來獲取即時資訊，必須以硬體實現才可達 成即時化的目標[2-5] 。 智慧型車輛的研究主要朝向有兩大功能。第一，能自主式地行駛於道路上，此主要為一 側邊控制的問題。第二，能與前方車輛(前導車或其它車輛)保持安全距離，或將前方車輛作 為引導車成為跟車系統，此主要為一縱向控制問題。這些控制問題裡一個關鍵的議題是如何 有效地感測周圍的環境，相關的研究包括障礙物之偵測、障礙物範圍估測及整體場景之描述。 當有效地感測到周圍的環境後，才能針對不同的環境做適當的反應。由於我們需要解決的問 題在於如何從一移動中的觀察者(自主式車輛)來偵測與其它車輛的相對位置? 換言之即為在 動態背景中如何即時地偵測動態物體，且能同時追蹤多個動態物體?

二 、研究目的

本計畫主要目的在設計、製作及測試適用於智慧型車輛之即時影像系統，並運用此平台 發展影像追蹤技術，整合硬體與軟體展示實用之功能。即時影像系統除了可提供被動駕駛者 車輛周邊即時影像，有助於安全駕駛，再加上影像處理功能將更一進步提供被動式或主動式 駕駛輔助，朝向先進的智慧型車輛發展。本計畫一方面將以 CCD 攝影機及內嵌式計算平台發 展即時影像系統，另一方面將發展以 CMOS 影像感測器整合訊號處理電路於單一晶片上，使 全系統體積縮小、功率消耗減少、性能提昇，使具 System-on-a-chip(SOC)的功能，滿足未來 智慧型車輛之需求。 在以 CCD 攝影機及內嵌式計算平台發展即時影像系統方面，本計畫將發展基於主動式輪 廓模型(Active contour model)及光流法(optical flow)[1][2]進行動態物體分離與追蹤，偵測出車 輛四周物體之靠近程度與移動趨勢，進而產生輔助駕駛的功效。已發展出一套影像邊緣處理 裝置，可以擷取道路影像，並即時進行背景移除與邊緣處理處理，再透過 PCI 介面將邊緣資 訊提供給主電腦，讓主電腦依據這些邊緣資訊進行車輛追蹤。本計畫提出一套可以即時實現 SUSAN 演算法的架構，整合影像擷取與邊緣偵測於單一電路中，利用硬體加快其運算速度。 在發展以 CMOS 影像感測器整合訊號處理電路於單一晶片上之方面，本計畫有鑑於在台 灣的交通，機車占了很重要的部分，為了能同時偵測機車和汽車，建立多個模型來比對較不 適合。另一方面，希望能即時處理影像資料，因此選擇特徵點追蹤法作為本計畫的主軸。然 而特徵點追蹤法所面臨的問題是如何利用這些特徵點在連續圖場間的移動(在此稱為特徵流) 來分離移動中物體與背景的特徵點。雖然 Robert[6]提出雙 FOE window 的作法，但對於複雜 的背景而言，遠方背景的特徵仍容易與移動中物體的特徵混淆。意思是說離觀察者愈遠的背

景的特徵點，從觀察者的角度來看，其特徵點的移動量不大。另一方面，若移動中的物體的 行進速度和方向與觀察者相似的話，從觀察者的角度來看，其特徵點的移動量也不大，所以 此兩種特徵點並不能只靠移動量來區分。故本計畫的目標為發展一能在動態背景中簡單且有 效地偵測出動態物體並持續追蹤其特徵點之影像追蹤系統。另外，為了達到易於與自主式車 輛結合的目的，本計畫將此影像追蹤系統實現於獨立式系統(Stand alone system)，使之能獨立 運作。

三 、文獻探討

藉由影像感測器追蹤動態物體的問題在文獻中一般分為兩個步驟[7]: 1. 移動估測 (Motion estimation): 由影像感測器所擷取到的二維影像中，估測物體在此二維影像中移動的影像流。 2. 移動詮釋 (Motion interpretation): 將移動估測所得到的影像流還原成在三維空間中的移動量。 為了解決移動估測的問題，在文獻中許多的方法被提出來，可大略分成三種方法:基於光 流法之追蹤(Optic flow based tracking)、基於特徵法之追蹤(Feature based tracking)、基於模型 之追蹤(Model based tracking)。

基於光流法之追蹤的原理為假設影像的亮度變化平滑且無空間上的不連續，每點亮度在 一微小時間間隔內移動一微小位移，假設其亮度為一定值，而導出光流限制式(Image

brightness constraint equation)，大部分提出的方法還會結合其它的限制法則，如邊緣資訊[8]、 彩色資訊[9]或 Kalman Snakes[10]，利用移動之物體與背景移動的速度的不同，把移動物體從 背景中分離出來。光流法的一個優點是可以把速度場很快速的求出。另一項優點為利用一些 較多的資料可以使此法更強健。然而，其缺點在於此法需要每秒較多的圖像數與較高的影像 解析度來確保結果的正確。另外， Giachetti, et al 等人利用 multi-scale/multi-window 的概念 [11]，不需高的時間與空間的解析度即可求出速度場，然而其結果未能達到 real-time。 在基於特徵法之追蹤的研究上， Beymer, et al[12]提出解決車輛重疊問題。以往的做法是 追蹤整輛車身，當兩輛車重疊時，因為特徵未能完全比對，導致追蹤失敗。若改以在車身上 找出幾個特徵點(此法以角點作為特徵)，即使車輛重疊時，仍可依現有的部分特徵點做追蹤。 另一個衍生的問題是如何把這些特徵點作分類呢? 意思是如何將這些特徵群組起來說這是同 一部車上的特徵而不會與其它的車的特徵混淆。作者依在同一物體上的特徵會有相同的運動 行為作為分類。利用多張連續影像的觀察，即使兩輛等速行駛的車輛也不會一直維持相同速 度，終究可以分類出特徵。但此法應用在交通監測上，所使用的攝影機為靜止不動的，若考 慮移動中的攝影機，則要考慮場景的變化。Roberts 提出裝設在移動中的車輛的攝影機所擷取 的到的影像中，偵測且追蹤動態車輛的方法[6]。他認為以高階的影像感知來選取所想要追蹤 的區域(Region of interest)，回傳給低階的影像處理(特徵抽取)，做特定區域的特徵抽取，而不 用整個影像全盤特徵抽取，使得整個處理加快許多。另外作者也對動態背景的影像流做詳細 的分析，即擴張焦點(Focus-of-expansion, FOE)的概念，利用 Inner FOE window 和 Outer FOE window 的方法，將影像分割成三個部分，如圖 1(b)所示。Inner FOE window 內的解析度低，

並不做處理，如圖 1(a)。只在兩 window 之間偵測角點，而在 Outer FOE window 外做持續追 蹤。Smith 提出 ASSET-2 的架構[13]，特徵(角點)的抽取使用 SUSAN corner detector，特徵的 比對從原來的兩張連續影像改為多張連續影像，特徵的分類也從單一影像移動量變為有考慮 線性影像流的變化。對於兩輛車重疊時，也有做很好的預測。以上特徵點追蹤法的挑戰在於 如何分辨背景與移動物體的影像流的不同。

基於模型之追蹤(Model based tracking)法，這方面的學者希望能把移動中的物體一般化。 通常要看應用面，如要用到追踨車輛，則需要建立一般化的車輛模型，愈能描述多種車型愈 好。Leuven, et al 提出用三個 refinements :Kalman Prediction, Multiple Hypotheses, Dynamic Updating，讓此法能在模糊的影像也能分辨[7]。然而此模型只適用於一般的轎車。

四 、研究方法

4.1 基於 FOE 之即時影像追蹤法則

本計畫所要研究的道路影像為向前直行於平面道路上的車中所見到的前方連續影像(簡 稱本車)，如圖 2，影像中可看到行駛於本車前方的車輛(簡稱前車)，其行駛方向與本車相同， 如圖 3。因為移動方向(Motion direction)與 CMOS 影像感測器之注視方向相同，則影像中必會

圖 1(a)擴張焦點(FOE, Focus of expansion) (b)Inner FOE window 與 Outer FOE window[6] Line of sight Image plane Field of view Road plane Motion direction CMOS Sensor 圖 2 道路場景分析(側視圖)

出現 FOE，而其位置約位於影像中心點，如圖 4 所示。就運動型式一而言，前車在影像中會 呈現左右的移動，而無上下之移動。其大小會隨運動型式二的移動而改變，愈接近本車，形 體愈大;反之愈小。

本計畫主要是基於特徵法之追蹤的原理在利用追蹤的物體所表現出一些特殊、可信的特 徵做為追蹤的依據，然後在每張影像中找出其相關的位置[6]。這些特徵通常為邊緣、角點或 紋理等可以很清楚地在每張影像中被確認出來。Barnard and Thompson [14]提出對好的特徵的 三個重要的準則: 1. 特徵必需是明確地定義出來，且是離散的 2. 特徵必需在時間上是穩定，即相同的特徵點經過一段時間還保有相似的特性。 3. 對於相似的特徵在批配上必需一致。 從特徵點找出影像流包括兩個步驟: 1. 將特徵點從兩張或更多張的連續影像中抽取出來。抽取出來的特徵要準確地位 於該影像平面上，因為特徵位置的誤差會影響後序整個處理過程的準確度。 2. 這些特徵點必需在各個影像間被追蹤與比對。 圖 3 道路場景分析(上視圖) FOE 圖 4 車前所見之影像

在邊緣、角點和紋理三種特徵中，因為角點屬於二維特徵點，經由追蹤比對後，可得到 明確的移動資訊，故本研究採用角點作為特徵點。圖 5 顯示本研究提出之影像追蹤系統，其 設計主要分為六部分：特徵擷取、特徵比對、特徵流分析、FOE 估算、相關性追蹤及碰撞偵 測。一開始輸入連續灰階影像經由特徵擷取(Feature detector)將每張影像圖像(Image frame)所 偵測到的特徵點(即角點)位置、及其屬性(灰階值、水平和垂直灰階梯度)形成一特徵點清單 (Feature list)。再由特徵比對(Feature matching)將鄰近兩張圖像所得到的特徵點清單比對，得 到特徵點在連續影像中移動的向量，在此稱特徵流(Feature flow)。用特徵分析器(Flow analyzer ) 來分析特徵流，找出屬於背景特徵的特徵流，經過 FOE 估算(FOE estimation)定義出偵測範圍 (Detect region)回傳給特徵分析器。找出在偵測範圍內符合移動中物體的特徵流，將其特徵點 位置輸出給相關性追蹤(Correlation tracking)在原始影像中擷取出以其特徵點為中心的樣板 (Template)。最後依其樣板在連續影像中持續追蹤。碰撞偵測則是定義出與前車的安全距離， 若偵測到移動中物體的特徵點在安全距離內，則發出警告訊號提醒駕駛人。 若我們在連續的影像中成功地比對角點，則可得到特徵點在連續影像中的移動資訊，即 為特徵流。而特徵流的分析則是要與現實的場景結合，才能分割出移動中的物體。首先我們 先定義角點被成功地比對為此角點在連續的十張圖像中都能夠被比對。 一般來說，靜態背景的特徵流必是由 FOE 輻射狀向外擴散，離 FOE 愈遠，擴散速度愈 快。然而，靜態背景的特徵流移動的速度並不只與 FOE 的距離有關，還跟本車(即觀察者)與 該背景的距離有關。離本車愈遠的靜態背景的特徵點擴散速度愈慢(在此稱遠方背景特徵點)。 我們所要追蹤的物體為行駛於道路上的前方車輛(簡稱前車)。設前車之車速為 Vc，本車 之車速為 Vo，以運動型式二來分，前車在影像平面中有三種表現： Feature list Feature flow Background flow Gray-level Images

Observer moving direction (straight, right or left)

Detect region

Moving objects flow

Moving objects position Alarm signal Flow analyser Feature detector Feature matching FOE estimation Collision detect Correlation tracking 圖 5 即時影像追蹤系統架構圖

1. Vc>Vo，前車將超前本車，即超車。其特徵流必朝向 FOE。 2. Vc ≅ Vo，前車與本車約保持固定距離。其特徵流移動量甚小。 3. Vc<Vo，前車逼近本車。前車之特徵流會遠離 FOE。 第 1 項因為與背景特徵流之方向完全相反，故可輕易地與背景特徵流區分。第 2 項，看 似也可由移動特性來區分。但遠方之背景特徵流也是移動緩慢，故並不能用移動特性區別。 第 3 項，理論上，雖然也是同背景特徵流一樣遠離 FOE 運動，由於前車屬於高速行駛狀態， 故向外擴散的速度遠小於背景特徵流。但它的問題同第 2 項，相似於遠方背景的特徵流。 本研究提出將針對第 2、3 項之前車與遠方之背景的特徵流之區分提出解決方法。由於我 們所要追蹤之前車為行駛於道路上之車輛。故由影像平面來看，前車之特徵點必與道路區域 有所重疊，以式(4)表示，如圖 6 所示。遠方之背景特徵並沒有與道路區域重疊，故可將兩者 分開。 ) _

(moving objects _∩(road_plane)>0 ₍₄₎

問題是我們如何找出在影像中道路的平面區域? 經由觀察，不難發現道路平面必在 FOE 之下方。所以我們可以用 FOE 的位置估測道路平面的區域，由圖 1(a)知接近 FOE 的區域，其 解析度低，並不適合特徵流的分析，故我們將設道路平面設為 FOE 若干距離以下的區域。 FOE 的產生是由於觀察者本身的移動，造成靜態物體的特徵流會從該點向外擴散。由此 可知，我們必須找出屬於背景的特徵流來估測 FOE。在影像中諸多的特徵流，我們發現道路 的特徵流其垂直分量向下，消失於影像下緣部分，如圖 7。根據此特性，我們可以找出兩條 斜率分別在 I、IV 象限的道路特徵流，如圖 8。延伸此兩條特徵流，其交點即為 FOE，如圖 9。 圖6 移動中物體與道路平面重疊示意圖

圖 7 道路之特徵流，垂直分量必向下

圖 8道路之特徵流，取 I,IV 各一個求 FOE

FOE

經由特徵流分析與 FOE 估測，我們得到移動物體的特徵點。但因為影像受到外界光變化 的影響或訊號本身的雜訊，角點比對無法在連續影像持續很久。所以我們用相關係數

(Correlation coefficient)的方法將特徵點持續追蹤。

當我們持續地利用相關係數法來追蹤前車時，我們可以在影像中定義出一固定大小及位 置之碰撞偵測區域(Collision detect region)，如圖 10 所示，其位置為 179<x<200, 150<y<230。 一旦被追蹤的特徵點進入此碰撞偵測區域時，系統則發出警告訊號，以提醒駕駛者。

Collision detect region

x

y

圖 10 碰撞偵測範圍

4.2 整合 CCD 攝影機之即時影像處理系統

本計畫所發展之獨立式即時影像處理系統之系統架構如圖 11 所示。其中即時影像處理單 元包含即時影像擷取單元及影像前置處理單元。即時影像處理單元依其功能可分為下列 6 項：1.影像擷取模組、2.Altera Flex10K 200s FPGA、3. 邊緣影像處理、4.背景影像處理、5. I2C 介面控制電路、6. PCI Target Interface Controller 。圖 12 為影像擷取單元系統方塊圖，圖 13 為即時影像前置處理單元系統方塊圖。整各系統在架構上分為即影像擷取及即時影像前置處 理兩大部分：

PCI Interface I N D U S T R I A L P C Intergrated Software PCI Interface Video Grabber Card N T S C I C-Bus Interface YUV-to-RGB and Output Formater SA A7 1 1 1 A Vid eo Ouput PCI Interface Controller I C-Bus Interface Main Controller FLEX EPF10K200S Boot load Program Switch Image Data Background Data Edge Data Integrated Information Flex10K PCI Development Board

J T A G Header 2 S D A S C L Image Memmory S R A M 512Kx8bit S R A M 512Kx8bit 2 圖 11 影像擷取及即時前置影像處理單元系統架構 Memory(512K*8bit) Background Image Data

Memory(512K*8bit) Edge Data Interface Bus C I2 − SCL SDA Luminance Circuit Synchronization Circuit Clock Circuit Image Data (NTSC) _Environment YUV(4:2:2)

Digital Image Data LCC LCC2

HREF VREF RTS0

Cotrol signal (OE,WE,CE)

Data Bus

Data Bus

Cotrol signal (OE,WE,CE)

Real-time Image Processing Card

PCI Bridge

Industry PC

PCI Bus 33 MHz Command Decoder Main Controller

Real-time Image Grabbing Card

Background Remove Edge Detection

FlEX10K200S

Program Swithc clk 33MHZ Data Bus Control Signals(CBE,Fram

e,IRDY...)

PCI B[7..0]

Data Bus Control Signal

SCL SDA Synchronizati CLK YUV Data Edge Data Image Data SRAM control signals SRAM control signals Image and edge Data

DATA Control signa

ls

I C-Bus Interface

I C-Bus

Command Database

22

Boot _Loader JATG _Header

1. 影像擷取單元：

本計畫採用 Philips 公司所研製之 SAA7111AHZ 影像視訊晶片進行影像擷取 [15]，將 CCD 類比訊號(NTSC 類比訊號)轉換成 YUV(4:2:2)訊號。

2. 即時影像前置處理單元：

(1) Altera Flex10K 200s FPGA：

利用 FPGA 做為系統輔助處理器，主要目在於影像資料存取控制、影像前置處 理、I2C 介面設計、PCI 介面設計。

(2) 邊緣影像處理：

主要利用 SUSAN Algorithm 做為邊緣影處理法則，邊緣影像處理法則主要利用 Altera Flex10K 200s FPGA 完成硬體實現的方式。

(3 ) 背景影像處理：

主要功能在於規劃儲存原始背景影像及移除背影之功能，主要利用 Altera Flex10K 200s FPGA 完成硬體實現的方式。

(4) I2C 介面控制電路：

主要功能在於設定規劃 I2C 訊號時序(SDA,SCL)，主要利用 Altera Flex10K 200s FPGA 完成硬體實現的方式。 (5) PCI Target 介面控制： PCI Target 介面控制其主要目的在於做為前置處理卡與電腦之間的溝通介面設 計。

4.3 影像邊緣偵測法則與硬體電路實現

為了達成即時的邊緣處理，必須採用較為快速之影像邊緣偵測方法。本研究採用 Susan Algorithm[16]，求得影像邊緣的資訊，在即時性的考量之下，利用 FPGA 來實現 Susan Algorithm，而實現的方式本論提出一序列資料處理的方式，即時處理序列影像。在此即時的 定義為處理每張影像時間為 1/60 秒，換而言之也就是必需即時的處理，每一序列資料，即可 達成所需的即時性。Susan Edge Detector 可使用 3x3 的 mask，或使用 37pixels 的 circular mask， 目前所採用的為較簡易的 3x3 mask 以提升所需的速度，而將 3x3mask 所得資料放入一暫存 區域，在此定義為區域為 USAN(Univalue segment assimilating nucleus)，其演算的過程如下：

Step1：將 mask 所包圍的點，全部都和中心點做比較，其方式如下所示： ⎩ ⎨ ⎧ > − ≤ − = t r I r I if t r I r I if r r c ) ( ) ( 0 ) ( ) ( 1 ) , ( 0 0 0 (1)

其中 t 為 threshold，r0 為 mask 中心點，r 為 mask 中心點以外其他點，I(r0) 為中心點的 影像強度，I(r) 為 mask 中心點以外其他影像強度。

Step2：由 step1 所比較的結果，以 mask 為中心的方式相加：

∑

= r r r c r n( ₀) ( , ₀) ₍₂₎ 其中 n(r0) 定義為 USAN 中 r0 的值

程式表示如下： ⎩ ⎨ ⎧ < = otherwise g r n if r R 0 ) ( 1 ) ( ₀ 0 (3) 本計畫設計一以 FPGA 硬體電路，利用水平運算、垂直運算、右斜運算及左斜運算完成 即時化邊緣處理。

4.4 整合 CMOS 影像感測器之即時影像系統

本研究之系統架構設計為發展一獨立式系統(Stand alone system)。即此系統可獨立運作， 即時擷取影像並追蹤前方車輛。若偵測到與前車之距離過近，則即時發出提醒資訊，以供駕 駛者參考。此獨立式系統的優點在於可輕易地放置在車中與車輛結合，若技術成熟則可進一 步發展成 SoC(System on chip)系統晶片化而達到價格低廉，大量生產且易安裝使用的好處。 然而，如何設計一精簡的獨立式系統又可即時地處理影像資訊則是一項挑戰[1]。因此本研究 依系統內每個模組的功能將系統分成軟體與硬體來設計。其中硬體設計有 CMOS 影像感測器 之介面電路、Harris 即時角點偵測電路及 Nios 內嵌式處理器。軟體設計則為 Nios 處理器內部 中斷向量、記憶體存取、角點比對、影像流分析、相關性追蹤。

SOPC 系統架構如圖 14 所示，由於考量到影像處理的資料量龐大，故本計畫規劃運算邏 輯單元(Arithmetic and Logic Unit, ALU)、匯流排及暫存器的位元數均為 32 位元。規劃 Nios 之介面是由 Quartus II 發展軟體外掛之 SOPC Builder 所建構。

DMA 主要功能是可以在記憶體或週邊電路之間快速地存取資料，而不需花 CPU 的時間。 好處是 CPU 可以在這個時候，執行其它的工作。當 DMA 在存取 Data memory 時，CPU 可同 時存取 program memory 或其餘 I/O 資料。故像從 FIFO 將大量的影像資料搬移至 SDRAM 的 工作就適合 DMA 來執行，CPU 只需設定 DMA 內部參數即可。本計畫採用 DMA 將影像資 料由 Dual clock FIFO 傳送至 SDRAM。Dual clock FIFO 之腳位圖如圖 15，當 usedw 計數到 7680 時，表示 FIFO 內部已存滿 7680 筆資料。此時 FIFO 發出中斷訊號(ff_irq)給 DMA，DMA 將 FIFO 內部 7680 筆資料傳送到 SDRAM，中斷訊號電路圖如圖 16。VYSNC 為 CMOS 影像 感測器之垂直同步訊號，頻率為 29.95Hz，即每秒輸出 30 張圖場，BLANK 為輸出致能訊號 將影像資料寫入 FIFO。因一張圖場大小為 320 × 240，故 DMA 將在一張圖場內分 10 次傳送 影像，時序圖如圖 17。

為了能即時將外部資料寫入系統之記憶體中，本研究採用設定中斷向量的方式來觸發 CPU 去設定 DMA 存取外部資料。首先，我們設定 VSYNC 為每張圖像的同步觸發訊號。當 VSYNC 為 0 時，清除外部記憶體(即 FIFO)，同時將內部記憶體存放一張圖像的 Offset 設為 0， 如此下次抓取圖像資料時，則可同步。另一中斷向量則是 FIFO 發出其內部資料已滿，即 7680 筆資料，此時 CPU 設定 DMA 之內部參數後隨即回到主程式中，讓 DMA 來代理抓取 FIFO 內的資料。然而為了避免後級影像處理與 DMA 的存取同時使用同一內部記憶體(在此指 SDRAM)的位置，於是將 SDRAM 設計為環形緩衝存儲器 Circular Buffer，深度為 40 張圖像 資料。當後級影像處理完一張圖像時，則將 DMA 剛寫好完整的一張圖像作為下一個要處理 的圖像。

N ios Deve lopme nt k it, Strat ix Schoo l B oy D ev el opm ent kit C yclon e EP1 C 20F3 24 C 7 dev ice Stratix E P1 S10F7 80C6 d evice N ios processor CMOS image sens or Nios CP U SDR A M (ima ge mem ory) Ha rr is corner _detecto r Image fif o dx, dy fif o Cor ner fif o Av al on Bus DM A Fi fo in te rf ace SDRAM inte rf ace Tri-State Bri dg e UA RT Ethe rn et PH Y/ MA C de vi ce Ho st PC Fl ash SR AM (Pr ogram/ data m emory) Dat a Ad dr es s ima ge I2 C controller Comma nd/ user inte rface Im ag e/r esu lt LE D dx ,dy cor ner Init ial comm and im ag e dx ,d y corner Col lis io n w arn ing si gn al 圖 14 SOPC 系統架構圖

圖 15 Dual clock FIFO

VSYNC BLANK PCLK ff_irq DMA_read 1.316ms 33.3ms

(1)

(2)

(3)

(4)

(1) VSYNC週期為33.3ms。 (2)DMA讀取週期為2.9ms。 (3)DMA在下一個圖像輸出前的1.316ms讀完影像。 (4)DMA讀取7680個位元組資料之時間為156.4μs 圖 17 CMOS 取像時序圖

五 、結果與討論

5.1 整合 CCD 攝影機之即時影像處理測試結果

本裝置之邊緣影像處理，採用序列處理方式設計，可達成每秒處理 60 張圖場的目標。圖 18 顯示本系統之實測結果。由圖 18 可知於相同之 Intensity threshold 設定值下，geometrical threshold 會影響到邊緣特徵點的數量，因此依據使用狀況，geometrical threshold 的設定值可 預先設定。至於 Intensity threshold 設定值之決定，則必須再加以探討。

5.2 動態影像追蹤之軟體模擬結果

本實驗以 Matlab 軟體模擬影像追蹤系統，輸入使用 CCD 攝影機所拍攝到的影像。 結果 如圖 19~30，圖中顯示特徵點移動的軌跡，及被偵到移動中物體的特徵點，以 X 標記。之後 再以方框表示持續的追蹤。由圖可知，移動速度大於本車之物體，較容易偵測出來，如圖 27~30，右邊的機車速度大於本車，大多數的特徵點被找到。若移動中的物體在 FOE 附近， 因為解析度低，故不作偵測。當物體離 FOE 較遠時，如圖 23，前車之右下角之特徵點被找到， 以方框標記之。之後的影像，因前車愈來愈接近本車，愈多的特徵點也被找到，如圖 27~30。 當物體的特徵點接近碰撞偵測區域，則系統會發出警示訊號。在 Matlab 模擬時，將在影像下

t=28 g=4

t=28 g=6

t=20 g=4

t=20g=4

圖 18不同界限值之 SUSAN Algorithm 硬體電路測試結果

緣顯示 “DANGER”字樣，實際的影像追蹤系統則以 LED 燈亮表示警訊。

圖 19影像追蹤結果(1) 圖 20影像追蹤結果(2)

圖 21影像追蹤結果(3) 圖 22影像追蹤結果(4)

圖 25影像追蹤結果(7) 圖 26影像追蹤結果(8)

圖 27影像追蹤結果(9) 圖 28影像追蹤結果(10)

5.3 CMOS 影像感測器之即時影像系統實驗結果

本研究之影像追蹤系統的外觀如圖 31 所示，上層右方為 CMOS 影像感測模組及其週邊 電路。上層左方則為 Nios development kit, Stratix edition。下層是 Cyclone School Boy 研發電 路板。Nios 系統則如表 1 所示。本實驗將獨立式系統置於車內實地擷取道路上之影像，如圖 32。。圖 33 為 CMOS 取像後之角點偵測結果。我們在連續影像中，每秒取 3~4 張角點，對 應原始影像，得到圖 33 之結果。發現在斜邊的部分，角點會不穩定的呈現。而在真正角點的 部分則可較穩定地偵測出來。 圖 31影像追蹤系統之外觀 表 1 Nios 系統所規畫的元件 元件名稱 說明 Cpu 規劃成 32 位元 Sdram 16MB，將外部影像、角點、梯度資料暫存於此

Sram 1MB, data/program memory

Uart 與 pc 端之溝通介面

Ethernet 負責乙太網路之資料傳輸，可將影像傳送至 PC 端

fifo 控制介面 存取外部 fifo 資料的介面，使用 interface to user logic 構成

DMA 負責存取外部 fifo 的資料，減輕 cpu 的工作量。

5.4 即時影像追蹤實車測試結果

本實驗把所研製之影像追蹤系統在實際道路上作車輛追蹤測試。實驗共分為兩個部分， 第一部分是在白天執行的情況，如圖 35~40。第二部分則是在晚上執行的結果，如圖 41~46。 圖 36 為影像追蹤系統置於實車內之情況，將本系統置於車內之擋風玻璃前，我們利用筆記型 電腦透過 RS232 與本系統溝通。 圖 32 CMOS 道路取像結果 圖 33 角點偵測結果 圖 34影像追蹤系統置於實車內之情況

如圖 35~40，我們將本車行駛於東西向快速道路(南寮-竹東線)的新竹至竹東路段，時間 為上午十點左右，日照充足。為了讓 LED 燈顯示較明顯，我們將 LED 燈置入一黑色方盒， 如圖 35 黃色圈起來的部分所示。本實驗所要驗證的是當前車過於接近本車時，本系統是否能 夠偵測到而使 LED 燈發亮;當前車遠離本車時，使 LED 燈熄滅。以下對本實驗所拍攝到的結 果作一說明，如圖 35 所示，一開始前車漸漸地接近本車，經過 3 秒後，本系統偵測到與前車 距離過近，則發出警示燈號，如圖 37，黑色方盒內之 LED 燈發亮。持續 3 秒後，前車又遠 離本車，LED 熄滅，如圖 40。 圖 35前車接近中圖 圖 36前車接近中 圖 37系統發出碰撞警示燈 圖 38系統發出碰撞警示燈 圖 39系統發出碰撞警示燈 圖 40前車開始遠離

如圖 41~46，我們將實驗車行駛於新竹市新安路從交通大學南大門至新竹科學園區之路 段，時間為下午八點左右，為了方便觀看 LED 燈狀態，將在圖中以黃色圓圈標記之。本實驗 主要驗證本系統是否適用於夜間道路上，以下將描述此實驗經過。一開始前車與本車距離短， LED 亮。經過 4 秒後，前車遠離，LED 熄滅，如圖 44。又經過 18 秒，前車與本車接近，系 統偵測到前車，LED 發亮，如圖 46。 圖 41與前車近，系統警示 圖 42與前車近，系統警示 圖 43前車遠離，但仍在警示範圍 圖 44前車遠離，警示燈熄滅 圖 45前車遠離 圖 46前車進入警示範圍

六 、結論

本系統採用 Altera 所研製之 Nios 嵌入式處理器為系統核心，目前已完成硬體之設計，發 展出獨立式之即時影像處理系統。經由實際測試，本計畫之即時影像系統可在直行的平面道 路上偵測並追蹤前方車輛。系統之處理效能如表 2 所示，目前整個系統可達成每秒處理 3.6 張圖像，即 3.6Hz。本系統在白天及晚上之實際道路上測試，結果顯示可達成偵測並追蹤前 方車輛之效果。此即時影像系統採用國內廠商製造之 CMOS 影像感測器及 FPGA 硬體電路， 成本不高，十分具有實用性，未來可應用在前方車輛防撞系統或跟車系統。在計畫成果自評 部份:目前本研究之成果符合預期結果，理論發展與實際製作皆完成目標，並提供實際測試之 結果。在近三年內，本研究已有成果發表於 Image and Vision Computing Journal、2003 IEEE

International Conference on Robotics and Automation 及 IEEE 5th International Conference on

Intelligent Transportation Systems。未來將後續之結果整理發表於研討會及期刊。

參考文獻

[1] Masaki, I., “Machine-vision systems for intelligent transportation systems,” IEEE Intelligent Systems, pp.24-31, Vol.13, 1998.

[2] Ninomiya, Y.; Matsuda, S.; Ohta, M.; Harata, Y.; Suzuki, T.,“ A real-time vision for intelligent vehicles,” Proceedings of the Intelligent Vehicles '95 Symposium, pp .315-320, 1995.

[3] Martin, D.A.; Lee, H.S.; Masaki, I.A, “ Mixed –Signal Array Processor with Early Vision Application,” IEEE Journal of Solid-State Circuits, Vol.33, pp. 497-502, 1998.

[4] Jamro,E.; Wiatr, K., “Convolution operation implemented in FPGA structures for real-time image processing,” Proceedings of the 2nd International Symposium on Image and Signal Processing and Analysis, pp.417-422, 2001.

[5] Box, B., “Field programmable gate array based reconfigurable preprocessor,” Proceedings of 表 2 本計畫即時影像追蹤之處理效能 整體處理頻率，即每秒處理的圖像數 3.6Hz 將 SDRAM 之一張圖像中的灰階、水平 及垂直灰階梯度搬至 SRAM 所需的時間 36.8~38.3ms 前後兩張圖像比對角點的時間 70.4~76.4ms 分析一張圖像的特徵流所需的時間 3.46~3.68ms 每張圖像之相關性追蹤的時間 146ms 將處理過的結果輸出至 Host PC 0.698ms

the IEEE National Aerospace and Electronics Conference, Vol.1, pp.427-434, 1994.

[6] J.M. Robert, “Attentive Visual Tracking and Trajectory Estimation for Dynamic Scene Segmentation,” Ph.D. dissertation, University of Southampton, UK, 1994.

[7] J. van Leuven, M.B. van Leeuwen, F.C.A. Groen, “Real-time Vehicle Tracking in Image Sequences,” In Proceedings of IEEE Instrumentation and Measurement Technology Conf., Budapest, May 21-23, 2001, pp. 2049-2054.

[8] Y. Mea, et al., “Object Tracking in Cluttered Background Based on Optical Flow and Edges,”

In Proceedings of the 13th Int. Conf. on Pattern Recognition, Vol. 1, 1996, pp.196-200.

[9] Y. Altunbasak, P. E. Eren and A. M. Tekalp, “Region-based parametric Motion Segmentation Using Color Information,” J. of Graphical Models and Image Processing, Vol. 60, No. 1, pp.13-23, Jan. 1998.

[10] N. Peterfreund, “Robust Tracking of Position and Velocity with Kalman Snakes,” IEEE Trans.

on Pattern Analysis and Machine Intelligence, Vol. 21, No. 6, 1999.

[11] A. Giachetti, M. Cappello and V. Torre, “Dynamic segmentation of traffic scenes,” In

Proceedings of the IEEE Symposium on Intelligent Vehicles, Detroit, 1995, pp. 258-263.

[12] D. Beymer, P. McLauchlan, B. Coifman and J. Malik, “A Real-time Computer Vision System for Measuring Traffic Parameters,” Computer Vision and Pattern Recognition, 1997. In

Proceedings of IEEE Computer Society Conf., 17-19,1997, pp. 495–501.

[13] S. M. Smith, J. M. Brady, "ASSET-2: Real-Time Motion Segmentation and Shape Tracking",

Machine Intelligence, Vol. 17, No. 8, pp. 814820, August 1995.

[14] S. T. Barnard and W.B. Thompson, “Disparity Analysis of Images,” IEEE Trans. on Pattern

Analysis and Machine Intelligence, 2(4), 1980.

[15] N, SAA7111A Enhanced Video Input Processor, Philips Semiconductor, 1998.

[16] Torres-Huitzil, C.; Arias-Estrada, M., “An FPGA architecture for high speed edge and corner detection,” Proceedings of Fifth IEEE International Workshop on Computer Architectures for Machine Perception, pp.112-116, 2000.