Road Sign Detection and Tracking from Complex Background in Sequential Video Images

20  Download (0)

Full text

(1)

Road Sign Detection and Tracking from Complex Background in Sequential Video Images

利用連續影像在複雜街景下偵測及追蹤交通標誌 方瓊瑤1、陳世旺1、傅楸善2

1國立台灣師範大學資訊教育學系 2國立台灣大學資訊工程學系 摘 要

道路交通標誌的偵測與追蹤系統是智慧型運輸系統車的智慧化中視覺輔助 駕駛系統的一個子系統。近年來大部份的研究都只利用到單張影像所提供的資訊 來偵測道路交通標誌,但我們認為連續的影像比單張彩色影像可提供更多的訊息 來協助交通標誌偵測及追蹤。若能採用連續的影像來偵測道路交通標誌,由於後 面輸入影像中的交通標誌通常較先前輸入影像中者來得大且明顯,因此系統可利 用後來輸入的影像對之前所偵測到的標誌加以驗証,提高偵測的正確性。本文提 出一在連續影像中偵測與追蹤道路交通標誌的技術,可適用在不同氣候與複雜街 景的情況下。首先,對於輸入之彩色影像,系統使用二個類神經網路分別偵測顏 色特徵點與輪廓特徵點的位置,即擷取出分別由顏色特徵與輪廓特徵的觀點來 看,其道路交通標誌之可能中心點。之後,將這二種特徵點整合起來,求出道路 交通標誌較可能之中心點位置。經由驗証的程序確認後輸出交通標誌的位置。另 一方面,系統採用Kilman filter 的技術針對已經被定位的交通標誌進行預測與追 蹤,作為下一張影像偵測時的參考。由實驗的結果可知本系統在不同氣候與複雜 街景的情況下偵測與追蹤道路交通標誌的效果正確且穩定。

一、 簡介

近年來資訊與通訊技術快速發展,使得傳統運輸管理觀念得以更新突破。

利用電腦網路等設備,不只可以有系統地蒐集各種交通資料加以迅速處理,而且 可以將處理的結果即時傳送給大眾。這種對運輸系統的資訊蒐整、處理、以及即 時傳播能力的要求,使得智慧型運輸系統(Intelligent Transportation Systems, ITS)

的觀念於焉產生。智慧型運輸系統 [20] 係藉由先進之電腦、資訊、電子、通訊 與感測等設備的連結與技術的應用,傳遞即時資訊,改善人、車、路等運輸次系 統間的互動關係,進而增進運輸系統之安全、效率與舒適,同時減少交通對環境

(2)

衝擊之整合型運輸系統。

智慧型運輸系統通常是根據各國的國情來設計,同時亦配合該國的學術與產 業實力來發展。如此不但可以帶動相關產業發展,創造就業機會,也可以提高學 術研究的水準。我國交通部運輸研究所 [20]日前為確保台灣地區未來發展 ITS 的相容性(compatibility)與運作時之相互連網性(interoperability),研擬「台灣 地區發展智慧型運輸系統綱要計畫」 [20]。在此綱要計畫中將智慧型運輸系統 分為以下三部份:(1)路的智慧化,如自動化交通偵測、控制與管理;自動化交 通事故管理;自動電子收費;先進的公路自動導航等系統。(2)車的智慧化,如 車輛定位;行車導引;車輛防撞;車禍安全預防等系統。(3)系統的智慧化,如 運輸系統需求管理;用路人行前旅行資訊和行進中路線指引;緊急救援管理等系 統。

本研究定位在車的智慧化中視覺輔助駕駛系統的開發(見圖一)。此系統包括 在車上加裝電腦視覺系統來輔助駕駛,即時提醒駕駛特殊的行車狀況,避免危險 的發生,達到車的智慧化中行車導引、車輛防撞、車禍安全預防等安全輔助駕駛 的目的。基本上,上述的駕駛安全輔助偵測系統依功能可區分為三大子系統[3]:

(1)交通標誌偵測與辨識子系統 [19]、(2)道路偵測與辨識子系統 [8,12]、及(3)障 礙物偵測與辨識子系統 [14]。為使本研究更為落實,在駕駛安全輔助系統中,

我們選擇了道路交通標誌偵測子系統來作為一系列駕駛安全輔助子系統的研究 起點。

道路交通標誌為人工設置物,設置的目的是為了顯示道路的相關訊息以便 提醒道路使用者的注意。在設置時通常選用明亮且吸引人注意的顏色,例如:紅 色、橙色、藍色、綠色等。而其輪廓則呈簡單的幾何形狀,例如:圓形、長方形、

三角形等。以我國為例,中華民國道路交通標誌標線號誌設置規則 [21] 將交通 標誌依其作用分為警告、禁制、指示、及輔助四大類。其中禁制標誌又細分為遵 行、禁止、及限制標誌三種。所有的交通標誌均以某些固定的顏色及簡單之幾何 形狀呈現。如警告標誌,其標準形為邊長90 公分之正三角形,通常為白底、紅 邊、黑色圖案。其中紅邊的邊寬為7 公分。因此,“顏色”與“形狀”可視為偵 測及辨識交通標誌的二個主要特徵。在歷年來偵測及辨識交通標誌的文獻中,上

(3)

述二個主要特徵被研究者廣為採用 [ 3, 4, 5, 10, 16, 17]。

C1

C2

Cn

LTM

Object Class

Sensory Data: Video Image Sequence

LTM

Subliminal Expectation of

Category

Extraction of Spatial and Temporal Information

Unsupervised Learning

Yes No

Supervised Learning

Supraliminal Pattern of

Category

Categorical Perception

Extraction of Object Features

Object TSOM

CAM ART

LTM Formation of Attentional Focuses

Yes

No

Extraction of Categorical Features

Associative Recognition Yes

No

圖一 駕駛安全輔助系統架構圖

(4)

雖然交通標誌在設置時使用某些固定的色彩,但由於下列因素,可能使得 交通標誌的顏色產生變化:

(a)時間因素:

(1)交通標誌設置時間過久,風吹日曬,會導致褪色,甚至部份色漆剝落。

(2)一天之中早晨、中午、黃昏之日照強度及方向不同,造成不同光線反 射的狀況,會使得標誌的顏色隨時間變化。

(b)環境因素:

(1)空氣污染、氣候不佳,所攝得的標誌顏色因能見度不同會有偏差。

(2)交通標誌設置的地點不同,其呈現的色澤即會因不同環境的影響而改 變。例如行道樹或建築物的陰影,會使得交通標誌看起來較為暗淡。

另外在街景複雜的情況下,如圖二所示,由於各式各樣五花八門的廣告招牌 及建築物的干擾,有時交通標誌並不容易分辨。因此,道路交通標誌的偵測並非 想像中容易。

圖二、複雜街景之範例

近年來大部份的研究都只利用到單張影像所提供的資訊 [3, 7, 11, 17],但我 們認為連續的影像比單張彩色影像可提供更多的訊息來協助交通標誌偵測及追 蹤。若能採用連續的影像來偵測道路交通標誌,由於交通標誌會由小而大、由遠 而近的出現於連續影像中,因此在剛開始時系統僅需偵測某一固定大小的標誌,

再配合車子行進的速度利用動態物體追蹤技術,來預估它們在下一張影像中的可

(5)

能大小和位置,做為下一張影像偵測時的參考。在交通標誌被行人或車輛部份遮 蔽時,也可以利用預測的方法對標誌持續的追蹤,直到標誌再次顯現為止,不會 因為標誌被暫時遮蔽而無法偵測到。另外,後面輸入影像中的交通標誌通常較先 前輸入影像中者來得大且明顯,因此系統可利用後來輸入的影像對之前所偵測到 的標誌加以驗証,提高偵測的正確性。

二、相關研究

近年來偵測、追蹤及辨識道路交通標誌的相關研究不少,其中不乏相當具 創意者。L. Pacheco、J. Batlle、和 X. Cufi [13]等研究者在 1994 年提出改裝道路 交通標誌來配合電腦的道路交通標誌辨識技術。他們建議在每一個交通標誌的標 桿上裝上一片長方形板子,板子上劃出四個橫向排列的空格分別塗上不同的顏 色,就好像彩色的條碼一樣。當道路交通標誌的影像輸入時,系統只要偵測出條 碼的位置及顏色,就可以辨識出交通標誌。上述的方式由於道路交通標誌數目太 多,全面改裝需要人力、物力、及時間,因此我們不認為是一個較佳的解決方式。

1995 年 N. Kehtarnavaz 和 A. Ahmad [10] 先用 ART2 型類神經網路來將影 像中色彩分類(color segment),偵測到交通標誌的色彩後即確定其位置,並將影 像以交通標誌的色彩為標準二元化,分為交通標誌及非交通標誌二部份。擷取標 誌,再將擷取出的標誌作傅立葉轉換(Fourier transform),並將所得的結果當成辨 識的特徵向量,輸入 backpropagation 型類神經網路加以辨識分類。傅立葉轉換 使 得 交 通 標 誌 的 特 徵 向 量 不 會 因 影 像 中 交 通 標 誌 的 旋 轉(rotation) 、 平 移 (translation),放大或縮小(scaling)而改變,因此可以降低辨識時的困難度。不過,

由於研究中偵測時的技術限制,使得偵測系統非得在單純的街景中才能有較佳的 偵測結果,不適用於複雜街景的情況。

M. Lalonde 和 Y. Li [11]在 1995 年發表的報告中探討了利用 color indexing 的技術來偵測交通標誌的可行性。他們首先從HSI(hue, saturation, intensity)彩色 模式中 H 和 S 二的分量分離出交通標誌可能的色彩。針對這些色彩所分佈的區 域建構其色度分量之 histogram 圖,並將之和資料庫中存在的所有的交通標誌的 histogram 圖一一比對,利用 match 函數來計算相似程度,若相似程度夠高即將 該區域視為交通標誌所在的區域。由於在外在環境的干擾下,色度分量之

(6)

histogram 圖無法精確到可以精確辨識不同交通號誌的程度,故此法只能用來偵 測交通標誌的可能位置。

1996 年 Y. Aoyagi 和 T. Asakura [1] 提出用基因演算法來偵測道路交通標誌 的新技術。他們將交通標誌的可能位置之座標及半徑大小編成二進位的碼,串成 一段基因,再利用演化、突變的方式產生下一代基因,並訂定評估函數來保留較 佳的基因,即較可能的交通標誌位置座標與半徑。雖然這一“適者生存”的技術 只被用來處理黑白連續影像,但它是一個相當創新的觀念,只不過基因演算法中 基因演化緩慢且牽涉到突變等無法控制的因素,故研究中指出至少需產生 150 代後代才會有較好的評估結果出現,且由於遺傳的因素及突變的限制,並不一定 可以偵測到正確的交通標誌的位置。

A. de la Escalera 和 L. Moreno[3]在 1997 年亦發表了一篇道路交通標誌的偵 測與分類(classification)的相關論文。研究中首先以交通標誌的色彩為標準對影像 作color thresholding,針對分離出來的部份做 corner detection。在交通標誌皆由 簡單的輪廓組成的前提下,研究者所要偵測corner 就只有 60 度或 90 度角二種,

其餘的corner 皆不需偵測。最後,利用這些已偵測出的 corner 的排列方式與相對 位置來決定它們是否可能為交通標誌的一部份。利用corner 做為特徵的優點是不 論交通標誌大或小,corner 的大小、個數及排列方式皆不會因此而改變。不過,

此一偵測系統亦得在單純的街景中才能有較佳的偵測結果。

在交通標誌在偵測與辨識的特徵擷取方面,雖然擷取特徵的方式不盡相 同,但大部份的研究者都採用“顏色”與“形狀”這二個主要特徵。有些研究 [5, 10, 17] 先利用“顏色”的特徵來偵測交通標誌,再利用“形狀”的特徵來辨識 交通標誌;有些研究 [4] 則剛好相反;另外亦不乏有將二個特徵整合起來偵測 並辨識交通標誌之研究 [3, 16]。另外在交通標誌的追蹤方面,有部份的研究者 採用Kalman filter [2, 6, 15]的技術,而在建構交通標誌的辨識系統時,則有許多 人選擇了類神經網路的觀念[ 3, 4, 7]。

綜合以上的文獻探討,奠基於前人的研究經驗,我們在此將提出較為可行 的方案,以期能解決大部份的問題,完成一在複雜街景下仍能有效、精確運作的 交通標誌偵測及追蹤系統。

(7)

三、道路交通標誌偵測與追蹤系統架構的規劃

道路交通標誌偵測與追蹤系統初步規劃之系統架構如圖三所示。在連續影像 中的交通標誌會由小而大、由遠而近出現的前提下,本系統擬對第一張影像中的 交通標誌進行初始(initial)定位(location),在初始定位時只在某一特定範圍(即注 意焦聚的範圍)內偵測某一特定大小之半徑的交通標誌,其他大小的交通標誌則 可忽略。而此一初始半徑乃定義為可供正確定位的最小半徑。對所有已被定位的 交通標誌,系統將會一一完整記錄。定位的方法說明如下:

圖三、道路交通標誌偵測與追蹤系統架構圖

首先,系統對於輸入之彩色影像,在注意焦聚的範圍內,會分別偵測顏色特 徵點與輪廓特徵點的位置。在此顏色特徵點與輪廓特徵點的定義是,分別由顏色

Extract Shape Features Extract Color Features

Locate Road Signs

Verify Subsample Image

Highlight Specific Hue Components

Candidate Road Signs Vehicle

Speed

Image Sequence

Predicted Parameters of

Road Signs

Highlight Particular Color Edges

Track Road Signs

Integrate

Detect Color Edges Transfer Color Model

(8)

特徵與輪廓特徵的觀點來看,其道路交通標誌之可能中心點。我們的構想是把這 二種特徵點整合起來,即可求出道路交通標誌較可能之中心點位置。最後經由驗 証與辨識的程序確認後輸出交通標誌之名稱與位置。以上為本系統運作的方式。

由於同一張影像中可能有一個以上之道路交通標誌,因此偵測時系統不擬排除輸 出一個以上交通標誌的可能性。

當第二張影像輸入之後,系統首先會針對已經被定位的交通標誌進行追蹤,

即預估號誌的半徑及中心位置,並在預測的中心位置附近找尋最有可能的實際位 置,同時修正系統特徵點擷取之相關參數,以利日後的追蹤。系統在追蹤時,(1) 當追蹤到足以正確辨識的大小時,可送至辨識子系統中加以辨識;(2)當某一道 路交通標誌由小而大、由遠而近的離開照相機的視野時,即停止追蹤此一標誌;

(3)當交通標誌被遮蔽時,系統會暫時找不到號誌的正確位置,這時可將此一狀 況記錄下來並以其半徑及中心點的預測值作為暫時定位之參考,等待下一張影像 的輸入來協助決定其是否為交通標誌。若歷經數張影像皆偵測不到其位置,則系 統會視為偵測錯誤而放棄此一號誌的追蹤。其次,系統為了擷取新出現的交通標 誌,需對第二張影像再進行一次初始定位。同樣處理過程可類推至影像序列中第 三張以後之所有影像。

圖四、自組型類神經網路架構圖。圖中(i, j)是輸出層神經元 p 的座標位置,(k, l) 是輸入層神經元q 的座標位置,且 wkl,ij 是輸入層神經元q 與輸出層神經p 間的權重值。

Inhibitory Connections

Excitatory Connections

Output Layer

Input Layer k, l

i, j aij

x

wkl,ij

vmn,ij

m,n

(9)

四、特徵點的擷取方式

本系統擬使用二個自組型類神經網路分別來擷取顏色特徵與輪廓特徵。類 神經網路的優點為可以平行處理,並具有學習的能力。在這裏我們設計的自組型 類神經網路其架構如圖四所示:下層為輸入層,上層為輸出層,而輸入層與輸出 層之神經元間則為完全鍵結(full connection)。若影像之大小為 mxn 個像素,則輸 入層與輸出層皆有mxn 個神經元。

(一)顏色特徵點的擷取(Color Feature Detection)

基於各種不同應用環境的限制與需求,研究者可選擇各種不同的彩色影像格 式來擷取道路交通標誌,如:HSI [2, 11, 13, 16] 模式、RGB [ 3, 19] 模式、uvh [9]

模式、YIQ [10] 模式及 Irg [5] 模式。本研究中系統所處理的資料為連續的彩色 影像,且希望系統能排除前面所述時間及環境等外力因素對交通標誌的顏色所產 生的影響。由於研究者普遍認為HSI 模式較其他彩色模式更符合人類視覺系統的 認知過程,而交通標誌亦為吸引人類視覺上的注意而設計,加以HSI 模式中的色 度值並不會因為光影的改變而影響顏色的分辨,因此本系統考慮以HSI 模式中的 色度分量為基礎來擷取交通標誌中顏色的特徵。

在擷取顏色特徵的類神經網路中,輸入層單一神經元所接收到的是影像中對 應像點的R、G、B 三色的值,因此,輸入層神經元的功能即是把 R、G、B 值轉 換成色度值h(其值介於-180 到 180 度)。再利用以下的轉換公式可以轉換為介於 0 至 1 間之 x 值:

360 360 h H

x=

即為輸入層神經元q 之輸出。H 為某一擬擷取之特定色彩的色度值。其中 x 之值 愈大,表示它的色度值愈接近擬擷取之顏色。

本類神經網路其主要功能在確認輸出層神經元p(i,j)是否為顏色特徵點,即 交通號誌的可能中心點,因此在定義權重時擬以神經元p 為中心來考慮欲偵測的 交通標誌上顏色的分佈情形。在擷取具有紅色圓形外框的標誌(如禁止標誌)時,

輸入層神經元q(k,l)與輸出層神經元 p(i,j)間的權重值wkl,ij可考慮定義如下:

(10)

(a) (b)

(c) (d)

(e) (f) 圖五、道路交通標誌偵測之一範例

(11)

⎪⎪

⎪⎪

− <

=

otherwise

if 2

if 2

0 1 0 1

1 2 1

, r T

r

T r r T

wklij π π

其中r= (ik)2 +(jl)2 可視為影像中像點(k,l)到像點(i,j)間的距離,定義權重時 取12πr,可以使得以像點(i,j)為中心所有相同距離的點其權重的總和為 1。同 理,在擷取其他簡單的幾何圖形時亦可定義類似的權重。

定義好神經元q 輸出以及神經元 q 與神經元 p 間的權重值後即可計算出神經p 之激發值 aij:

∑∑

+

=

Nij

n

m mn mnij k l kl klij

ij x w a v

a

) ,

( ,

,

其中Nij表神經元p 之鄰近神經元所組成的集合,函數 vmn,ij可以用LOG (Laplacian of Gaussian)來模擬。上式中激發值的高低與影像中顏色的分佈有關。系統可以藉 此確認輸出層神經元p(i,j)是否為顏色特徵點,即交通號誌的可能中心點。

輸出層神經元p 之刺激值需經由一個轉換函數(transfer function)轉換後才輸 出,通常轉換函數F 可選用 sigmoid function 或 linear function。神經元 p 的輸出yij 即為yij =F(aij)

實驗結果如圖五所示,圖五(a)表輸入之原始影像,圖五(b)則表示顏色特徵 點之擷取結果。總而言之,利用上述之類神經網路所擷取出來的顏色特徵點,實 際上所代表的意義是交通標誌某一特定色彩的中心點。

(二)輪廓特徵點的擷取

在偵測交通標誌的輪廓特徵時,系統將焦點放在簡單的幾何輪廓上,特別 是禁制標誌與警告標誌所使用之圓形與三角形。以採用 edge 型特徵點偵測圓形 交通標誌為例,若輸入層中單一神經元q(k,l)所接收到的是影像中對應像點的 R, G, B 值,則其輸出 x 可考慮利用計算 edge 的公式來定義:

(12)

⎩⎨

⎧ − > − >

= 0 otherwise and

if

(R G) 0 (R B) 0 x e

12

1 )2 ( )

( +

= Ikl Ik l Ikl Ikl e

3 / ) (R G B I= + +

本類神經網路的主要功能在確認輸出層神經元p(i,j)是否為輪廓特徵點,即 交通號誌的可能中心點,因此在定義權重時需以神經元p 為中心來考慮欲偵測的 交通標誌上edge 的分佈情形。在擷取禁止標誌時,輸入層神經元 q(k,l)與輸出層 神經元p(i,j)間的權重值wkl,ij可定義如下:

+

<

<

=

otherwise

or if

2

if 2

0 1

1

2 2 1 1

2 1

, T C r T T r T C

r

T r r T

wklij π π

其中r= (ik)2 +(jl)2 ;C 為常數,與 edge detection 所用的技術有關。

定義了神經元q 輸出以及神經元 q 與神經元 p 間的權重值後可以計算出神經p 之刺激值 aij,並經由轉換函數F 後輸出y 。 ij

圖五(a)之輪廓特徵點擷取結果如圖五(c)所示。綜合而言,利用上述的類神 經網路所擷取出來的輪廓特徵點,實際上所代表的意義是交通標誌某一特定形狀 的中心點。

五、特徵點的整合

由於影像的解析度或攝影機的焦距等變因不易控制,因此特徵擷取時難免 會有誤差產生,也就是說顏色特徵點與輪廓特徵點可能不會剛好落在同一個像素 上,不過理論上二種特徵點的落點愈相近,它們是代表交通標誌的可能性就愈 高。因此,我們對每一像點定義一個隸屬函數來表示像點隸屬交通標誌中心點的 程度。若以

μ

(i,j)表示輸入影像中像點(i,j)隸屬交通標誌中心點的程度,則定義

μ ε

+

× +

= ×

D

y w y j w

i

sn m c s

l k

c '' ' '

) , (

(13)

其中

ε

為一極小之正數,在 D=0 時可避免除數為 0;wcws則分別表示ykc'l'

sn

ym' '之權重,代表顏色特徵點與輪廓特徵點之相對重要性;而 max ( )

) , ' (

' c

N kl l k cl

k y

y

ij

= 表

擷取顏色特徵點之類神經網路輸出層神經元 p(i,j)之鄰近神經元中最大的輸出 值,其中假設輸出最大輸出值之神經元座標為(k',l');Nij則表輸出層神經元 p(i,j) 鄰近神經元(包含神經元 P)所組成的集合。同理, max ( )

) , ' (

' s

N mn n m s n

m y

y

ij

= 表擷取輪廓

特徵點之類神經網路輸出層神經元 p(i,j)之鄰近神經元中最大的輸出值,其中假 設輸出最大輸出值之神經元座標為(m',n')。若令 D 表示神經元(k',l')與(m',n')之間 的距離,則

2

2 ( ' ')

) ' '

(k m l n

D= − + −

當(k', l')=(m', n'),表示就顏色特徵與輪廓特徵二個觀點來看,交通號誌的 可能中心重疊在同一個地方,此時D=0,像點隸屬交通標誌中心點的程度最高。

反之,若 D 值愈大,則表示擷取顏色特徵與輪廓特徵的二個類神經網路對交通 號誌的可能中心點看法愈不一致,故影像中像點隸屬交通標誌中心點的程度愈 低。以圖五為例,圖五(b)之顏色特徵點與圖五(c)之輪廓特徵點整合之結果如圖 五(d)與(e)所示。

六、系統驗証與辨識

由於系統可從影像中偵測到不只一個以上的交通標誌中心候選點,因此針對 每一個找到的可能候選點加以簡單的驗証,在進入辨識程序之前將不可能的候選 點排除,可以減少辨識時的系統負擔。在驗証之前,本系統針對每一個擷取到的 交通號誌中心點為中心,其半徑所涵蓋的地區為範圍分別做簡易的顏色分類 (color segmentation)與驗証。在此提供二個可供驗証的原則:

(1)交通標誌中各顏色所佔的面積百分比是固定的。

(2)交通標誌中主要顏色之分布情形通常是對稱的。

利用上述原則,系統可以排除不符合條件的候選點,即不可能為交通號誌中 心點者,達到驗証的功能。圖五(f)則為圖五一例中驗証後的結果。

(14)

七、連續影像中道路交通標誌的偵測與追蹤

擷取交通標誌時僅參考單張影像有其先天的障礙,例如:(1)交通標誌在影 像中的大小不確定,因此在偵測時必須同時考慮到各種不同大小,即不同遠近的 標誌,降低定位的速度。(2)偵測或定位有誤差時沒有前後張影像所提供的訊息 可協助修正,容易造成辨認上的困難,降低辨識率。但是如果輸入的是連續影像,

系統在單張影像中只需偵測某一特定大小的交通標誌,即可在之後的影像中追蹤 之,當追蹤至足以辨認的大小時再加以辨識,不需同時偵測各種不同大小的標 誌。如此一來,不但提高了定位的速度,在定位產生誤差時也可以藉著後續的影 像來修正其位置,提升正確率,而且辨識率的提高亦可預期。

在交通標誌的追蹤過程中,車子的速度是可以由車子的時速表取得的,而 交通標誌的實際大小也是已知的。當架設在車子中的照相機其鏡心到影像平面的 距離也可確定的狀況下,某張影像中所偵測到的某一交通標誌之半徑與大小可以 用來預測該標誌在下一張影像中之半徑與大小。如圖六中,若 R 表示交通標誌 的實際半徑;f 表照相機常數(camera constant);v 表車子行駛的速度;r(t)、r(t+1) 分別表示時間t 和 t+1 時交通標誌投影(project)到影像平面的半徑,而 d(t)、d(t+1) 則分別表示時間t 和 t+1 時交通標誌與車上照相機鏡心的距離。若偵測得第 t 張 影像中交通標誌之半徑為r(t),則經由下式可以預測出下一張影像中交通標誌之 半徑r(t+1):

t v t r Rf

t t Rfr

r + = − Δ

) (

) ) (

1 (

在交通標誌的位置預測方面,若X 表示照相機中心軸延長線至交通標誌中 心點之x 軸方向的距離,x(t)及 x(t+1)分別表示 t 與 t+1 時間影像中心點至影像中 交通號誌中心點之距離。之後可以得出x(t)及 x(t+1)之關係式,以便預估下一張 影像中x(t+1)之值:

) ) (

) ( ) ( (

) 1 ) (

1

( x t

Rf t v t r t Rf

t x r

t t r

x + = + = − Δ

同理,在y 方向上亦可以用類似的方式預估。

(15)

綜而言之,利用上述公式系統可以在偵測到交通標誌的同時去預測下一張 影像中交通標誌的半徑與位置,當下一張影像輸入時在預測的位置附近搜尋該交 通標誌,如此作法可節省搜尋的速度;而交通標誌半徑的預測值則可提供半徑的 訊息避免誤判,增加偵測的正確性。

圖六、車速估計示意圖

最後,本研究利用Kalman filter [18]的技術來預測交通標誌的中心點位置(x, y)及半徑 r,系統需利用上一小節的公式來定義 Kalman filter 中的各種參數,如 status 向量和 measurement 向量以及轉換矩陣等。

八、實驗結果

在實驗時,我們使用架在車子上的家庭式攝影機來拍攝車外的情形,並將 所拍攝的結果轉換成320x240 個像元的影像序列,每一秒中擷取 10 張影像。圖 七中顯示第一個影像序列(S1),由(a)到(o)共 15 張影像,中單一交通標誌之偵測 結果。在起始時,系統只有在處理第一張影像時利用顏色特徵點與輪廓特徵點來 定位半徑為8 個像元的可能紅色圓形交通標誌,在第二張影像之後即參考車子的 速度利用Kalman filter 來預估號誌的半徑以及號誌中心點的位移。然後在預估的 交通標誌中心點附近再利用顏色特徵點與輪廓特徵點來定位最可能之位置並追

R

d(t) d(t+1)

vΔt Image plane (t)

Image plane (t+1)

r(t+1)

r(t)

f f

O(t+1)

O(t)

X

x(t+1)

x(t)

(16)

蹤它,不再在整張影像中盲目地找尋。當交通標誌的半徑大於10 個像元時,系 統即開始做驗証(verification)的工作,原因是交通標誌愈大驗証的結果會愈準 確,但我們亦不宜在交通標誌很大時才開始驗証,因為追蹤不可能是交通標誌的 候選點會浪費系統的時間。

本系統亦可容忍數張偵測失誤所造成的影響。若某候選點在下一張影像中 追蹤不到,則我們利用Kalman filter 去預測它可能再出現的位置,直到再次偵測 到為止。但若此候選點在連續五張影像中皆追蹤不到,則放棄該候選點。

由圖七的影像序列中可以看到系統在第一張影像(圖七(a))中偵測到三個交 通標誌的候選點,並預備追蹤。圖七(b)中因為背景的紅底白字招牌與速限標誌 部份重疊,故在追蹤的過程中有可能造成候選點偏移,導致錯誤發生。不過這種 現象在下一張影像(圖七(c))即可修正回來。同時由圖七(d)可觀察到在交通標誌被 部份遮蔽時系統亦可追蹤得到。此一系列影像在圖七(e)時開始驗証,但由於這 時的候選點只有一個,且沒有需刪除的候選點,故看不出驗証與否的差別。然而 在後面的實驗中,驗証的效果顯而易見。

圖八主要用來說明影像序列中有二個不同顏色的交通標誌時,系統亦可以 分別偵測並追蹤,圖中紅色交通標誌的候選點用紅色的框框起來,而藍色交通標 誌的候選點則用藍色的框。而圖九、圖十則為複雜街景下偵測交通標誌的實驗結 果。此時為清楚顯示,我們採用藍色的框來標示紅色交通標誌的候選點。由圖九、

圖十等二個序列的實驗結果顯示,本文所發表的交通標誌偵測與追蹤技術亦可適 用於複雜街景。

本程式在Pentium II 的個人電腦上執行,搜尋整張影像中候選點的時間約 為10 秒鐘左右,而追蹤與驗証則不需花多少時間。為了減少搜尋候選點的時間,

我們在影像輸入時即做sub-sampling,將影像縮小成原影像的十六分之一,這種 方式可以使得每張影像的執行時間降至1 秒以內。此時,系統可在縮小後的影像 中偵測到半徑為3 個像元的交通標誌,在原影像中的半徑約為 12 個像元。

九、結論與未來工作

本文提出一偵測與追蹤道路交通標誌的技術,可適用在不同氣候與複雜街

(17)

景的情況下。首先,對於輸入之彩色影像,系統使用二個類神經網路分別偵測顏 色特徵點與輪廓特徵點的位置,即擷取出分別由顏色特徵與輪廓特徵的觀點來 看,其道路交通標誌之可能中心點。之後,將這二種特徵點整合起來,求出道路 交通標誌較可能之中心點位置。經由驗証的程序確認後輸出交通標誌的位置。另 一方面,系統採用Kilman filter 的技術針對已經被定位的交通標誌進行預測,作 為下一張影像偵測時的參考。

當第二張影像輸入之後,系統首先針對預估號誌的中心位置附近找尋最有 可能的實際位置,同時修正系統特徵點擷取之相關參數,以利日後的追蹤。其次,

系統為了擷取新出現的交通標誌,需對第二張影像再進行一次初始定位。同樣處 理過程可類推至影像序列中第三張以後之所有影像。以上為本系統運作的方式。

由實驗的結果得知本系統偵測與追蹤道路交通標誌的效果正確且穩定。但 程式在執行時需花許多的時間在偵測子系統上,主要的原因是搜尋範圍太大,使 得搜尋時間很長。要降低搜尋的時間除利用前面提到的sub-sampling 的方法外,

以下提供一些改良方式:

(a)由於新出現的路旁交通標誌只可能出現在遠方道路的消逝點附近(如圖 七),若我們可以計算出道路的方向及位置,則只需在影像中極小的可 能區域(即注意焦聚之範圍)搜尋新的交通標誌即可。

(b)在沒有道路出現或道路被遮掩的影像中(如圖八、圖九、圖十),可利用 建築物的橫向線條來計算消逝點的位置,並換算出交通號誌可能出現的 位置。

(c)由於類神經網路先天平行處理的性質,我們可考慮同時使用多個 CPU 來 分工,以加快執行搜尋的速度。

配合以上幾種改善方式,希望本系統日後可以達到即時偵測與追蹤交通標誌 的目標。

另一方面,交通標誌辨識的子系統的建構是本研究即將進行的下一個步驟。

我們認為具學習能力的系統是較佳的選擇,而開發此類系統最適當的工具之一就 是類神經網路。在未來我們將探討利用類神經網路聯合來辨識道路交通標誌的可

(18)

能性。

參考文獻:

[1] Y. Aoyagi and T. Asakura, “A Study on Traffic Sign Recognition in Scene Image using Genetic Algorithms and Neural Networks,” Proceedings of the 1996 IEEE IECON 22nd International Conference on Industrial electronics, Control, and Instrumentation, Vol. 3, pp. 1838-1843, 1996.

[2] P. Arnoul, M. Viala, JP. Guerin, and M. Mergy, “Traffic Signs Localisation for Highways Inventory from a Video Camera on Board a Moving Collection Van,”

Proceedings of the 1996 IEEE Intelligent Vehicles Symposium, Tokyo, Japan, pp.

141-146, 1996.

[3] A. de la Escalera and L. Moreno, “Road Traffic Sign Detection and Classification,” IEEE Transactions on Industrial Electronics, Vol. 44, pp.

848-859, 1997.

[4] S. Estable, J. Schick, F. Stein, R. Janssen, R. Ott, W. Ritter, and Y. J. Zheng, “A Real-time Traffic Sign Recognition System,” Proceedings of the Intelligent Vehicles ’94 Symposium, pp. 213-218, 1994.

[5] R. Janssen, W. Ritter, F. Stein, and S. Ott, “Hybrid Approach for Traffic Sign Recognition,” Intelligent Vehicles ’93 Symposium, pp. 390-395, 1993.

[6] G. L. Foresti, “Object Recognition and Tracking for Remote Video Surveillance,”

IEEE Transactions on Circuit and Systems for Video Technology, Vol. 9, pp.

1045-1062, 1999.

[7] D. Ghica, S. W. Lu, and X. Yuan, “Recognition of Traffic Signs by Artificial Neural Network,” Proceedings of International Conference on Neural Network, Vol. 3, pp. 1444-1449, 1995.

[8] A. Guiducci, “3D Road Reconstruction from a Single View,” Computer Vision and Image Understanding, Vol. 70, pp. 212-226, 1998.

[9] D. S. Kang, N. C. Griswold, and N. Kehtarnavaz, “An Invariant Traffic Sign Recognition System Based on Sequential Color Processing and Geometrical Transformation,” Proceedings of the IEEE Southwest Symposium on Image

(19)

Analysis and Interpretation, pp. 88-93, 1994.

[10] N. Kehtarnavaz and A. Ahmad, “Traffic Sign Recognition in Noisy Outdoor Scenes,” Proceedings of the Intelligent Vehicles ’95 Symposium, pp. 460-465, 1995.

[11] M. Lalonde and Y. Li, “Detection of Road Signs using Color Indexing,”

Technical Report CRIM-IT-95/12-49, Centre de Recherche Informatique de Montreal, 1995. (http://www.crim.ca/sbc/english/cime/ publications.html)

[12] W. Li, X. Jiang, and Y. Wang, “Road Recognition for Vision Navigation of an Autonomous Vehicle by Fuzzy Reasoning,” Fuzzy Sets and Systems, Vol. 93, pp.

275-280, 1998.

[13] L. Pacheco, J. Batlle, and X. Cufi, “A New approach to Real Time Traffic sing Recognition Based on Colour Information,” Proceedings of the Intelligent Vehicles ’94 Symposium, pp. 339-344, 1994.

[14] P. Parodi and G. Piccioli, “A Feature Based Recognition Scheme for Traffic Scenes,” Proceedings of Intelligent Vehicles Symposium, pp. 229-234, Detroit, 1995.

[15] G. Piccioli, E. D. Micheli, P. Parodi, and M. Campani, “A Robust Method for Road Sign Detection and Recognition,” Image and Vision Computing, Vol. 14, pp. 209-223, 1996.

[16] L. Priese, J. Kileber, R. Lakmann, V. Rehrmann, and R. Schian, “New Results on Traffic Sign Recognition,” Proceedings of the Intelligent Vehicles ’94 Symposium, pp. 249-254, 1994.

[17] W. Ritter, “Traffic Sign Recognition in Color Image Sequence,” Proceedings of the Intelligent Vehicles ’92 Symposium, pp. 12-17, 1990.

[18] G. Welch and G. Bishop, “An Introduction to the Kalman Filter,”

http://www.cs.unc.edu/~welch/ kalmanIntro.html, 1999.

[19] Y. J. Zheng, W. Ritter, and R. Janssen, “An Adaptive System for Traffic sign Recognition,” Proceedings of the Intelligent Vehicles ’94 Symposium, pp.

165-170, 1994.

(20)

[20] Intelligent Transportation Systems, http:// www.iot.gov.tw/its/, 1999.

[21] 中華民國交通部、內政部編印,道路交通標誌標線號誌設置規則,八十三 年七月。

Figure

Updating...

References

Related subjects :