影像穩定化技術在智慧型運輸系統的應用

師大學報:數理與科技類 民國 91 年 .47(1). 87-100

影像穩定化技術在智慧型運輸系統的應用

梁祐銘 l

陳世旺 2

廖弘源 3

國立臺灣師範大學資訊教育學 ~I 國立臺灣師範大學資訊工程學車 2 中央研究院資訊科學所 3 本論文針對影像視覺在智慧型運輸系統的應用，提出影像穗定化 (image

stabilization)

的技術。本研究主要目的在補償固定型交通監控系統之攝影器材因晃動而造成不穩的影像 序列。在固定型影像穩定化技術中，可以分成三步驟:運動的估算 (motion

estimation)

，總

體運動的分析 (global

motion

analysis) 及影像的補償 (image compensation) 。我們提出 k 階投

射比對 (k-order p閃閃tion matching)方法，結合方塊比對 (block matching)來作運動的估算， 前者可以解決當影像含有小角度旋轉的時候，仍可精確地估測運動速度;在第二步驟中我

們利用仿射運動模組 (affine

motion model)來作整體運動的分析，以解決影像含有位移及旋

轉的情形;最後利用運動模組的反轉換來還原不穩的影像序列。利用模擬影像及真實影像 的實驗結果皆顯示本文所提的技術之可應用性。 闢鏈字:影像穩定化 運動的估算 總體運動的分析 影像的補償 k 階投射比對 方塊比對與仿射運動模組。

緒論

一、研究動機及重要性

智慧型運輸系統 (intelligent

transportation

systems

， ITS)係藉由已有的高科技，如各種資訊、電 腦、通訊、控制及感測等技術，來提昇交通運輸之便 捷、安全、效率與舒適。交通運輸基本上可以分為水 運、陸運及空運三方面，目前大部份的研究皆著重於 陸運方面的探討，在這研究領域里，主要探討的對象 包括人、車及路三部份。電腦視覺系統可以用來對 人、車和道路從事監控、偵測及辨識的工作，例如行 人穿越道、路口及路況等之監控;車行路線、交通違 規、交通事故及交通流量等之偵測;車型、車牌、路 標及路面損壞等之辨識。諸如此類的工作不勝枚舉， 影像視覺技術均可在其中扮演重要的角色。 由於交通運輸大多屬於戶外的活動，因此未來 輸入電腦視覺系統的影像大部份將為戶外影像，而戶 外影像的品質除了與環境本身有關外，也與取像設備 的裝置情形有關。例如在交通監控系統中，攝影器材 通常被安置在高樓的外側、橋樑上或路邊的桿子上， 姑且不論取像設備長久置於戶外，受到日曬雨淋或溫 度、濕度變化的影響，這些裝置的地點通常風勢不 小，加上一有車輛經過，都會使得取像設備跟著震 動，而所攝取的影像序列也會因此有不穩的現象。另 外，在駕駛系統中(如安全輔助駕駛系統或自動駕駛 系統) ，攝影器材被安置在車輛上，由於車輛在道路 上難以平順行駛，攝影器材所攝取的影像序列其不穩 的情形將更為嚴重。不穩的影像序列在其後續的處理 工作上均可能帶來困擾。為了避免這些困擾，我們必 須補償因攝影器材晃動而造成不穩的影像序列，我們 稱此種技術為影像穩定化技術。由於攝影機裝置車上

88

梁槌銘 F東世旺 廖弘源 所面臨的問題較為困難，因此本研究先針對固定型攝 影機問題作探討。 二、相關研究 隨著影像技術(包含軟硬體)的發展，相關的應 用逐漸地受到重視，而穩定的影像為影像品質相當重 要的一環。例如，攝影師手持攝影機拍攝景物時，可 能會產生晃動;在機器人視覺應用中，裝置在機器人 上的攝影機會隨著機器人的移動而晃動;又如前述的

…刊 影像間…J-1

交通監控系統與安全輔助駕駛系統等，影像的穩定化 都是一項相當重要的工作。目前已有不少影像穩定化 相關的研究，有些也已成功地被硬體化，裝置在攝影 機內，大部份此類的系統皆是依使用者所需而設計。 一般而言，影像穩定化處理流程(圖 1)主要包括影像 間運動之偵測 (interframe

motion

detection) 及運動平

滑化(motion smoothing)二個部份。以下我們依此來探 討其相關的研究。 運動平滑化

h 輸出影像

圖 1 一般影像穩定化 1.影像問運動之偵測 此部份又包含兩個子部分，一為運動模組的選 擇，另一為運動的估算。 1.1運動模組 運動模組包含很多種，以下探討各種不同的運動 模組，包含 2D 、 2.5D 及 3D 之運動模組。

2D 運動模組 [1 ，2几 11 ，20]包含了旋轉 (rotation) 、

位移 (translation) 及尺度大小 (scaling)等問題，此種模

組雖簡單，但無法解決深度變化的情形，且當旋轉角 度過大時造成的誤差也會很大。 Burt 與Anandan[l] 、 Hansen 等人 [7] 、 Yeh 等人 [20] 使用 2D 仿射運動模組，

包含六個參數值。 Davis 等人 [2] 、 Morimoto 與

Cheellappa

[1

1

]使用 2D 硬式 (rigid)運動模組，買IJ只包 含四個參數值。

2.5D 運動模組 [9] 介於 2D 與 3D 之間。 Jin 等人 [9]

鑒於 2D 模組對於深度變化問題無法解決，因而提出 2.5D 運動模組。此模組引進深度的考量，其中包含三 種不同的情形 :2.5D 的移動式模組(dolly model) 、 2 .5 D

水平追蹤模組 (H-tracking model)與 2.5D 垂直追蹤模

組(V-tracki時 model) 。此模組雖可解決深度變化的問 題，但對於旋轉角度過大時則仍有問題。

3D 運動模組 [2 ，3 ， 12 ， 19] 是將攝影機的運動完全

描述出來，因此較為複雜。 Duric 與 Rosenfeld[ 3] 利用 車子的行進原理來分析平滑 (smooth) 與非平滑 (non-smooth)的運動。 Yao 與 Chellappa[1月利用運動 法則 (kinematic law)來描述平滑的旋轉運動，利用動 力模組 (kinetic model)來描述剩餘振動的旋轉(residual

oscillatory

rotation)運動。 Davis 等人 [2] 直接利用三個

旋轉參數與三個位移參數來描述運動模組。 Morimoto

與 Cheellappa[ 1 月利用單位四分數 (unit quatemions)來

簡化 3D 的旋轉矩陣 o 根據上述的觀察，由於固定型攝影機其景緻相對 於攝影機為靜態且無深度變化，加上攝影機因振動產 生的旋轉角度一般不會大太，因此我們可以使用較簡 單且的 2D 仿射運動模組來處理，此部份將在第肆節 討論。 1. 2 運動的估算 在做運動的估算時，首先從兩張連續影像中選出 代表性的像點，利用比對的方法找出它們之間的對應 關係，然後計算兩張影像之間的運動。

影像穩定化技術在智慧型運輸系統的應用

₈₉

在選取代表性像點峙，由於場景中可能存在有移 動的物體，若我們選出的代表性像點落在移動物體 上，貝 IJ所估得的運動將同時包含整體 (global) 與區域性 (local)個別物體的運動，然而我們只對屬於攝影機的 整體運動有興趣，這是因為影像穩定化目的是為要去 除因攝影機晃動所造成的運動，目前有不少運動決定

(motion

decision)的研究[1 4，而，20] 主要在區分整體性 與區域性之運動。至於車載型攝影機 [2，3 丸 12 ， 1 月，由 於景緻變化極大，在選取較不受運動影響的像點時相 當困難，例如位於遠方水平線上之點。然而，若水平 線不夠清楚或看不見，或是水平線不夠遠，則上述方 法便有問題。 在像點對應比對的部份，由於攝影機晃動並非只 有位移，也可能有旋轉的情形，且影像比例大小也可 能有變化，這些在比對時都必須一起考慮。一般常使 用的比對方法為整體搜尋 (full search) 的方塊比對 [4， 17] 方法，此法在預定搜尋的範圍內尋找一方塊其 內各點的灰階值與參考的方塊內灰階值最相近。由於 搜尋範圍內各方塊皆需比對，且對每一方塊需計算其 內各點與參考方塊對應點的差異總和，因此執行速度 相當慢。此外，影像間若有旋轉時，方塊比對就無法 得到正確的比對結果。

Yeh 等人 [20] 利用灰階編碼(立元面 (gray

coded

bit-plane)來降低方塊比對運算的複雜度。此方法將八 位元的灰階影像轉換成一位元的二元影像，以降低運 算的複雜度。同樣地，若影像間含有旋轉情形時，買 IJ 比對結果也不理想。

Ratakonda[

1 月則利用投影比對(projection

matching)方法來降低方塊比對的計算負擔。此法將三 維的方塊比對轉換成兩個一維的向量比對，雖可降低 計算負擔，但對於旋轉問題同樣無法解決。 Paki 等人 [14] 則只對影像中邊線 (edge)點的部分 作比對來降低運算的複雜度。但若影像中偵測到的邊 線點數過少，或邊線點過於模糊，便無法得到精確的 結果。 Jin 等人 [9] 利用階層式比對 (pyramid-based matching)的方法來減少比對的範圍 o 首先建立連續影 像的階層式不同解析度影像，之後從最上層低解析度 影像往下層依序作比對工作，在最下層的比對結果即 為我們所要的運動向量。此法雖可以減少比對的範 圍，但上層比對若存在誤差，則下層比對結果誤差將 更為嚴重，對於旋轉問題同樣無法解決。

Duric 與 Rosenfeld[3]與 Davis 等人 [2]利用光學流

(optical

f1ow)的方法計算代表性像點之運動速度，但 光學流包含二次微分計算容易受雜訊的影響。 上述比對方法對於影像含有旋轉或是尺度大小 變化等情形時，皆無法得到精確的結果 [4，5 ， 15] 。我們 於是提出 k 階投射比對的方法，其結合方塊比對可降 低因旋轉影像造成估測的誤差，第參節將有詳細的方 法介紹。 2. 運動平滑化 在固定型攝影機，因攝影機的運動皆為不要之振 動，可直接利用計算出來的運動模組，將其反模組應 用到影像序列而消除影像之不穩情形。但若攝影機本 身存在有運動時，如攝影機裝在汽車上或機械人上， 此時便需要區分所謂的平滑 (smooth) 與非平滑 (non-smooth)運動，前者希望能保留，而後者則希望

能去除。 Jin 等人 [9]利用慣性運動過濾(inertial

motion

filtering)來區分兩種運動。

三、文章的結構

在第貳節中我們將對整個影像穩定系統作一描 述。第參節對運動估算的技術加以討論。第肆節對總 體運動分析的技術加以討論。第伍節為固定型影像穩 定技術的一些實驗結果與說明。第陸節為本論文做一 總結並探討論文未來可能的研究方向。

90

梁 4右銘陳世旺廖弘源

影像穩定系統

圖 2 顯示本文所提固定型影像穩定系統之整體架 構，主要包含了四個重要步驟，攝影機的架設 (camera setting) 、運動的估算、總體運動的分析與影像的補價。 在攝影機的架設過程中，首先將攝影機架設在欲安置 的地方，利用人工方式在影像中點選一些參考點

(reference points)

，在記錄這些參考點後便可啟動系 統，本實驗所選點數為八點，且平均分布於影像上。 參考點必須要滿足下列幾項條件:參考點必落在對比 較為明顯的區域，如此作運動估算能得到較精確的結 果;參考點必落在無移動物體通過的區域，如此能確 定所得運動速度為整體性運動速度而非區域性運動 速度;參考點最好不要太靠近影像邊界，否則攝影機 振動參考點即可能跑出影像攝取範圈。利用人工點選 並記錄影像中符合條件的參考點，如此可節省自動搜 尋代表性點的時問，也可得較精確的結果，並可避免 搜尋到的點落在移動物體上，影響估測的結果。然而 人工點選的問題除了無法讓系統完全自動化外，要精 確地點選到最具代表性的一點也是件困難的事。 系統啟動後，首先系統在輸入的連續影像間尋找 參考點的對應關係，然後計算它們的運動速度，圖 3 攝影機的架設 參考點 (1)

...

_方塊比對 參考點 (N) 總體運動的分析 輸出影像 為此部份之流程。對於每個參考點，首先利用方塊比 對方法找到最有可能的對應點，在此對應點附近再利 用 k 階投射比對方法找到其正確的對應點，便可計算 此參考點的運動速度。詳細方法將在第參節加以介 紹。 接下來利用運動速度判斷參考點是否存在運 動。若不存在運動，表示攝影機並無晃動現象，直接 輸出原影像即可;若存在運動，貝IJ 利用前一過程所得 之運動速度進行整體運動分析，亦即將計算出來的運 動代入一運動模組求出其中的參數值，在此我們所選 之運動模組為仿射運動模組，詳細方法將在第肆節加 以介紹。 在求得運動模組之參數後，接下來利用影像的補 償求得穩定的影像，即利用反運動模組的方法來還原 日前未穩定之影像。首先將欲求得之未知穩定影像每 -{象點座標代入運動模組中，求其在目前未穩定影像 的對應點座標，將對應點的值填入穩定後影像的點， 若超出影像範圍則填入前一穩定影像點的值，如此便 可得到目前影像穩定後的結果。 可能的對應點(1 _{運動速度(1)} K 階投射 比對

•••

•••

可能的對應點(的 圖 3 運動估算的流程 運動速度(的 影像的補償 圖 2 固定型影像穩定系統架構圖 輸出穩定的影像

影像穩定化技術在智慧型運輸系統的應用 91

運動的估算

在運動估算過程中，由於整體搜尋的方塊比對對 於影像含有旋轉情形，所估測出的運動向量誤差率極 高，但所得錯誤之運動向量與真實運動向量差距較 小;若使用 k 階投射比對則誤差率可降低，但所得錯 誤之運動向量與真實運動向量差距較大，因此我們結 合這兩種方法來作運動的估算。由於所點選之代表性 像點並不多，因此利用整體搜尋並不會影響效率太 大。對於每個參考點，首先利用整體搜尋的方塊比對 在搜尋範圍內找到最有可能的對應點，在此對應點附 近再利用 k 階投射比對方法找到其正確的對應點，便 可計算此參考點的運動速度 O 在以下小節，我們將詳 細描述整體搜尋的方塊比對及 k 階投射比對技術。

一、整體搜尋的方塊比對

在前一穩定影像中，以參考點為中心的方塊為目 標方塊(target

block)

，而在目前影像中，以搜尋範圍 內各點為中心的所有方塊為候選方塊 (candidate block)ο 在整體搜尋方塊比對的演算法中，主要計算 目標方塊與所有候選方塊的差異，其中差異值最小即 為最佳比對方塊，而介於目標方塊與最佳比對方塊之 間的變化即為此參考點的運動速度(如圖 4) 。我們定 義介於方塊之間的差異為方塊內各點灰階差值之絕

對值的總合，以絕對值差總和(total

absolute difference,

TAD) 來表示差異值;比對方塊的大小為

(2b

+

1)

x

(2b

+

1)

(實驗中取 b 值為 7)' 而搜尋範圍為

(2s+1)x(2s+1)(實驗中取 S 值為 15) 。利用式子 l

計算候選方塊與目標方塊之間的 TAD 值 ， (x， y) 為參

考點的座標 ，

It(x+i

,

y+

j) 為目標方塊內點

(x+i

,

y+

j) 的灰階值 ， 1叫 (x+

p+i

,

y+q+

j) 為

候選方塊內點 (x+

p+i

,

y+q+

j) 的灰階值，紗， q)

為運動向量。計算搜尋範圍內所有候選方塊的 TAD {u宜，最小 TAD 值所代表的向量旬， q) 即為此參考點的

運動向量丸，y) 。

月

十日

: searchreglOD 圖 4 整體搜尋的方塊比對

TAD(x

,y)

(p

,

q)

= I

IIIr(x+i

,

y+

j) 一九+l(X+ P 刊， y+q+

j)1 '

、‘.，'，

1

，'，.‘、

ν( 芳 ， y)

=

(p

,

q)

for min

(TAD (x

,

v)(p

,

q))

,

-s ，三 p ， q 三 s

~)

方塊轉換成 (b+ 1) 維的向量，轉換方式為將各區域內

K 階投射比對

將大小為 (2b+1)x(2b+1) 的目標方塊與候選 各點灰階值的平均放入向量相對應項的元素內，如式 子 3 '方塊內區域分配如圖 5 0 (0 表示為一區域，

1

的部份表示為另一區域， 2 的部份又表示為另一區

92 梁彷銘陳世征廖弘源

域，依此類推。)

V:

(x, y)

=

_(XO

,

XI'_{X 2}

,...,

_{X b )}

,

wherex; = avg(II

r

(x'

,

y')

,

(x'

,

y')

E ith region)

(3)

圖 5 方塊區域分配 之後再利用式子 4 計算目標方塊轉換的向量與所 有候選方塊轉換的向量之間距離，最相近所代表的向

量 (p ， q) 即為此參考點的運動向量 v(X，y) 。

V川 =

(p

,

q)

for min

(1咒仇"一只 1 (x+

p

,

y +

q)l)

,

-S 豆 p， q 幻

(4)

總體運動的分析

在總體運動的分析過程中，主要是根據前一過程 所得的運動速度進行整體運動分析，求得運動模組的 參數值，本文將詳細介紹仿射運動模組及參數的求 法。

一、仿射運動模組

首先我們介紹攝影機的校定 (cal伽ation) [呵，在 t

ull:::ltill

=1

r

r

r_

11

Y

1+1

T

1

Z

,.,

1 1

r

r_

r__

11 Z

,

I I T I

其中心

=cosβx

cosy

_,

rxy

= Sln

αxsm βx

cos

y

-cosαxsiny

，

r

_xz

=

cosαxsm βxcos

y

+sinαxsin

y

_,

ryx

= cos

βxsmy

_，

ryy

=

Slnαxsmβxsmy+cosα

心

osy

，

r

_戶

=cos

αxsm β×sin

y-sin

αxcos

y

_,

秒時真實空間中一點與攝影機相對座標

(X

_{t 止}

_，

Zt)

， 當攝影機位置變動時，其座標變成

(X州，)么

_I'

Z

_I+1)

其中攝影機三個旋轉角度為

紗，

β

_，

y)

，

三個位移大小為

(Tt ，T

_y

_，

TJ

'

其轉換式子

如下:

(5)

(6)

早;1車穩定化技術在智慧型運輸系統的應用 rzx=SIn

β ，

見ν=

Sln

αXCOS 戶，

r

zz

=

COSαXCOSβ.

假設旋轉角度仰， β ， y) 皆小於 5 度，則 sm θ → θ 、 cos θ → 1 'θ=α， β， y 。於是可將式子 5 轉換成

(2|jj

:1)(111

真實空間的點利用投影方式投射到影像中，其投影公式如下式，其中 f為攝影機的焦距 ，

(X

_，

Y

_，

Z)

為真 實空間座標 ，

(x'

_，

Y')

為影像座標。

x=f7

f=ff

因此

t

秒峙，真實空間座標

_(X"

吭

_，

Z

_，)

， 影像座標(爪

_，

y

_，)

， 其關係如下

叫

_TME

在什

l

秒時，真實空間座標

_(X

_叫，九I'

_Z叫)

，影像座標

_(x

_川

_，

_y

_叫)

，其關係如下 X t +J

=

f

y

_,

yr+l=/27;

利用式子

7

將式子

10

轉換成

x~

-}'2;

+函

件

_J

=/-一月

+a

J;

+~ +~

~

ÎX

_,

+Y,

-aZ

_,

+T

_,

Y叫 =1'_… d 一β

_4"，

+α

咒

+Z

_，

+T

z 結合式子 9 與式于

11

、式于

12

可得

抓

₁

=

x;-y

川+咕

+β)

，

T

札

=

_y

x;

₊

_y;

+

_兀(計一

α)

βx;+α

y;

+

_f,

(1 +

~z

) 其中

_s=

-，為

_scale'

_將式子

₁₃

_、

₁₄

_{改寫成矩陣的形式}

f'+1

93

(7)

(8)

(9)

(10)

、_BB/ 唔_EBA 唔，且 ,' ... 、、

(1

2)

(1

3)

(1

4)

94

梁祐銘 F東世且王 廖弘源 v tu //CU γ'/J l cu 又叫 // ly 一-1llIll--tl 」 ++ fF XVν 「IIIlli--iL

似令 +β)

_/

s

11 x

,

T 11 v

J

,

(-:j-一 α)/

s

11 1

(1

5)

假設場景中各點的 Zt 值遠大於位移值 (T

_x

' 吭 ， TJ 且 scale 為 1 '則可將式子的改寫成下式，便得到六個

參數的仿射運動模組。 「 1il---iSIll-l 」

xyl

「 --li--'lllL

×

「 Ill-Ill-」

crJ

'。 e

ad

「 lllIll--」 一- 1|lIll-」 抖，仆

xy

「 Il---L

(1

6)

二、參數求法

式，之後利用所有聯立方程式之第一個式子求 紗 ， b， c) 參數，利用所有聯立方程式之第二個式于求 例 ， e， j) 參數。我們可以將這兩組方程式轉換成矩陣

形式，利用最小平方近似法 X=(A

t

_Ar

1

_{ÆB 將矩陣}

形式轉換下式，便可求得六個參數值。 將運動的估算所得到的參考點對應關係，利用最 小平方近似法解上述運動模組的參數。首先將 N 個參 考點與其對應點代入式子 16 可得 2N個線性聯立方程 X_{t1 Yt1}

:1)|=

X(t+1)1 Xt1 Yt1

I[γ

X_{t2 Y t2} X( 仆 1)2 Xt2 Y t2

11 1 1 1

Y(川 )2

XI

e

1=

/

Xtn Y tn X(t+1)n X的 Ytt

1

J

L" ..J

1

Y(t+J)n n n n n

L 而

LXtiYti L Xti LX(t+1)i X

m

b

1

=1

LXtiYti

n n n

LYt~

LYti XI LX(t+J)iYti

1

,

c

I n n n

L Xti LYti

n

LX(t+J)i

n n n n

L 而

L Xti L Xti L Y(t+J)iXti

[;1

e

1

=1

LXtiYti

n n n

LY~

LYti XI L Y(t+l)iYti

j

I I

i=~

n i=J i=J n

L Xti LYti

n

L Y(t+J)i

i=J

(1

7)

(18)

影像穩定化技術在智慧型運輸系統的應用 ₉₅

實驗結果

本節以實驗來驗證所提的固定型影像穩定技 實驗中所使用的測試資料可分為兩類。一為利用 1布，其中包括運動的估算、總體運動的分析與影像的 模擬方式使影像產生旋轉與位移，將三張原始影像 補償三部份，將分別展示其實驗結果。(圖 6)各經 -5 度至 5 度的旋轉及固定水平五個像素及 本系統使用 Borland

C++ Builder

5.0 語言，在 垂直六個像素的位移，各可得 10 張不同的模擬影像。

Pentium

II 的 PC 上執行，輸入影像為攝影機所攝取的 另一類為真實攝取的不穩影像序列。 素)。

(A)

(B)

(c)

圖 6 通監控影像圖 一、運動估算的實驗結果 若使用兩張真實影像作運動的估算，我們無法判 定所估測的運動速度是否精確，因此我們利用原始影 像與其模擬影像作運動的估算。由於原始影像與其模 擬影像間像點之對應關係為已知，我們可以明確地判 測結果是否精確。 我們利用 3 張原始影像(圓的各與其 10 張不同模 擬影像作實驗，將影像分成若干個方塊，分別利用整 體搜尋的方塊比對、 k 階投射比對及本文所使用的結 合方法對每個方塊中心點作運動的估算，估測各方塊 中心點在兩張影像內的對應關{系，並判定結果是否正 確。經統計分析結果如表 l 所示，我們可以發現當旋 轉角度愈大，這三種方法的誤差皆愈大，其中誤差率 表示影像中運動估算結果錯誤的點數佔全部點數之 比。以整體平均誤差來言，我們提出的 k 階投射比對 所得的效果已較整體搜尋的方塊比對的方法佳，而本 文採用兩者結合的方法效果更佳。

二、總體運動分析的實驗結果

同樣地，若使用兩張真實影像作總體運動的分 析，我們無法判定所估測的轉換關係是否精確，因此 也利用原始影像與其模擬影像作總體運動的分析。由 於原始影像與其模擬影像間轉換關係為已知，我們可 以明確地判定估測結果是否精確 o 此部份的輸入為運動的估算所得到的像點對應 關係，與影像種類無關，因此我們只利用第一張原始 影像(圖 6(A))與其 10 張不同模擬影像作實驗，使用

最小平方近似法估測六個參數徊， b， c， d ， e， j) 。六個

參數中 ， -b 及 d 即表示影像旋轉角度的 sm 函數值， 恥， j) 則為影像位移量 (Tu ， TJ ' 因此可判定估測結 果的誤蓋率。經統計分析結果如表 2 所示，平均的誤

96

梁祐銘陳世旺廖弘坤、 差率極低，其中誤差率表示計算的結果與實際值之差 值佔實際值之比。

三、影像補償的實驗結果

在估測影像轉換關係後，最後作影像的補償還原 影像，此部份將就測試模擬影像資料與真實影像資料 分別探討實驗結果 o 模擬影像資料部份，我們利用原 始影像還原模擬影像，將模擬影像與原始影像各像點 亮度值相減結果填入影像 /1 '還原後影像與原始影像 各像點亮度值相減填入影像 h' 比較 ι 與 /1 便可判定 本方法的效果。圖 7 中， (a) 、 (b)為第一張原始影像(圖

6(A))與其旋轉 5 度及 -5 度(位移皆為 (5 ，6))模擬影像的

實驗結果， (c) 、 (d)為第二張原始影像(園 6(B))與其旋 轉 5 及 -5 度(1立移皆為 (5 ，6))模擬影像的實驗結果， (e) 、的為第三張原始影像(國 6(C))與其旋轉 5 度及 -5 度({立移皆為 (5 ，6))模凝影像的實驗結果。由圖 7 可 知，我們的方法可以精確地解決影像不穩的情形。真 實影像資料部份，由於連續影像穩定效果難以顯示， 因此本文只取兩張影像顯示其實驗結果，如圖 8 所 示。在 ι 影像中可以明顯看出，除移動物體會造成還 原影像與前一張穩定影像之像點亮度值明顯差異 外，其餘靜態部份像點之亮度值差異不大，但殼果較 模擬影像差 O 其可能原因為連續影像中，影像亮度值 會隨時間而有些微變化，因此對同一點的亮度值已存 在些訐差異，此外，在運動估算部份可能因亮度值變 化而造成估測的誤差。 表 1 運動估算誤差表 整體搜尋的方塊比對 K 階投射比對 結合了一者之方法 旋轉角度 原始固類 _誤差率(%) A

4.14

1.

59

0.96

B

3.15

1.

80

1.

57

士 1 。

C

1.

52

2.02

1.

52

平均

2.94

1.

80

1.

35

A

8.33

4.60

1.

72

:t 2 。

B

9.60

5.37

2.54

C

9.24

8.15

4.89

平均

9.06

6.04

3.05

A

11.54

5.03

2.96

B

11.94

:t 3 。

7.26

5.39

C

8.04

5.03

3.02

平均

10.51

5.77

3.79

A

16.61

9.72

3

.4

5

B

15.69

9.60

3.51

:t 4。

C

20.50

9.50

5.50

平均

17.60

9.61

4.15

A

26.71

15.96

8.14

士 5 。

B

25.12

15.17

8.53

C

31.98

2

1.3

2

13.20

平均

27.94

17

.4

8

9.96

影像穩定化技術在智慧型連串育系統的應用

₉₇

表 2 總體運動分析誤差表 smθ _丸

_R

旋轉角度 誤差率(%) 士 1 。

4.25

0.83

0.14

:t 2 。

2.88

0.99

0.78

士 3 。

0.12

2

.4

0

0.75

:t 4。

0.13

0.57

2.09

:t 5 。

0.01

1.

41

0.19

1

1 I

、

1

1

1

2

(a)圓 6(A)旋轉 5 度與位移 (5 ，6)之結果

(b)圖 6(A)旋轉 -5 度與位移(5 ，6)之結果

1

1

1

2

1

1

fz

(c)圖 6(B)旋轉 5 度與位移 (5 ，6)之結果

(d)圖斟酌旋轉 -5 度與位移(5 ， 6)之結果

1

2

(e)圖 6(C)旋轉 5 度與位移 (5 ，6)之結果

的圖 6(C)旋轉 -5 度與位移(5 ，6)之結果

98

梁$右銘 F車世旺 廖弘源

1

1

h

圖

₈

_{、真實影像序列之影像的補償實驗結果}

結論

影像視覺技術在交通運輸系統中扮演著重要的 由模擬實驗可証實本論文提出的影像穩定化方 角色，不穩的影像序列將對於影像處理工作帶來困 法可以有效地解決影像不穩的現象，但需假設連續影 擾，因此本論文分別針對固定型交通監控系統提出影 像間亮度值不變。但貫實影像中，其亮度值是可能會 像穩定化的方法，以解決不穩影像序列帶來的困擾。 存在些微的變化，此情形將影響運動估算的精確度， 在固定型影像穩定化處理過程中，我們利用人工 進而影響整個影像穩定化的效果。因此未來的工作將 方式點選代表點，可以解決因自動搜尋特徵點而浪費 朝不受亮度值變化的運動估算研究。此外，由於人工 的時間及可能產生的誤差。此外，我們提出

_k

階投射 點選的問題除了無法讓系統完全自動化外，要精確地 比對方法，並結合方塊比對作運動的估算，可以部份 點選到最具代表性的一點也是件困難的事，因此未來 解決影像含有小角度旋轉的情形，精確地估測運動速 也可以朝如何自動選取某區域內最獨特之點作研 度;利用仿射運動模組的反轉換來還原不穩的影像序 究，如此不但避免了人工點選的困難，也可以增加運 列。由實驗結果可知，我們可以精確地估測出影像間 動估算的精確度與執行效率。另外，我們未來也可以 的轉換，並精確地還原不穩的影像 O 針對車載型影像穩定技術作研究。

影像穩定化技術在智慧型運輸系統的應用 ₉₉

參考文獻

P. J. Burt and P. Anandan,“Image Stabilization by Registration to a Reference Mosaic弋 Proceedings

of ARPA on Image

Understanding Workshop

, pp. 425-434, 1994

L. S. Davis, R. Bajcsy, M. Herman, and R. Ne1son,“RSTA on the Move",

Proceedings of ARPA on Image Understanding

Worksh中，pp. 435-456, 1994

Z. Duric and A. Rosenfeld, “Image Sequence Stabilization in Real Time",

Real-time Imaging

, Vol. 2, No. 5, pp. 271-284,

1996

Y. Egu詞， H. Akahori, A. Morimu悶， and N. Wakami, “An Application of Fuzzy Set Theory for an Electronic Video Camera Image Stabilizer"

,

IEEE Transactions on Fuzzy

Systems

, pp. 351 -356, 1995

S. Erturk and T. J. Dennis,“Image Sequence Stabilisation Based on DFT Filteri月"，

Proceedings of IEE on

Vis帥， Image

and

Signal Processing

, Vol. 147, pp. 95 一 102 ， 2000

C. Guestrin, F. Cozman, and M. G. Simoes, “Industrial Applications of Image Mosaicing and Stabilization",

Proceedings of the Second International Conference on

Knowledge-Based Intelligent Electronic Systems

, Vol. 2, pp

174-183,1998

M. Hansen, P. Anandan, K. Dana, G. van der W訓， and P. Bu此，

“

Real-time Scene Stabilization and Mosaic Construction",

Proceedings of the Second IEEE Workshop on Applications

of Computer Vision

, pp. 54 -62, 1994

M. lrani, B. Rousso, and S. Peleg, “Recovery of Ego-motion Using Image Stabilization",

Proceedings of IEEE Compllter

Society Conference on Computer Vision and Pattern

Recognition

,

pp. 454 一460 ，1994

J. S. Jin, Z. Zhu, and G. Xu,“A Stable Vision System for Moving Vehicles",

IEEE Transactions on Intelligent Transportation

Systems

, Vol. 1, No. 1, pp. 32-39,2000

L. Marcenaro, G. Vemazza, and C. S. Regazzoni, “Image Stabilization A1gorithms for Video-surveillance Applications",

Proceedings of International Conference on

lmage Processing

, Vol. 1 , pp. 349 -352,2001

C. Morimoto and R. Chellappa,“Fast Electronic Digital Image Stabilization for Off-Road Navigation",

Real-time lmaging

,

Vol. 2, No. 5, pp. 285-296, 1996

C. Morimoto and R. Chellappa, “Fast 3D Stabilization and Mosaic Construction"

,

lEEE Computer Society Conference

on Compllter Vision and Pattern Recognition

, pp. 660-665,

1997

C. Morimoto and R. Chellappa, “Evaluation of image stabilization algorithms",

Proceedings

of the

lEEE

International Conference on Acoustics

,

Speech and Signal

Processing

, Vol. 5, pp. 2789 -2792,1998

1. K. Paik, Y. C. Park, and D. W. Kim,“An Adaptive Motion Decision System for Digital Image Stabilizer Based on Edge Pattem Matching"

,

IEEE Transactions on Consumer

Electronics

, Vol. 38, No. 3, pp. 607-616,1992

K. Ratakonda, “Real-time Digital Video Stabilization for Multi 叫 edia Applications'\

Proceedings of the IEEE

International Symposium on Circuits

and 砂'stems，Vol. 4

,

pp.

69

-72

, 1998

1. C. Tucker and A. de Sam Lazaro,“Image Stabilization for a Camera on a Moving Platform弋 lEEE

Pacijìc Rim

Conference on Communications

,

Computers and Signal

Processing

, Vol. 2, pp. 734-737,1993

K. Uomori, A. Morimu悶， H. Ishii, T. Sakaguchi, and Y Kitamura, “Automatic Image Stabilizing System by Full-digital Signal Processing"

,

lEEE Transactions on

Consumer Electronics

, Vol. 36, No. 3, pp. 510 -519, 1990

Y. S. Yao, P. Burlina, R. Chellap阱， and T. H. Wu,“Electronic 1mage Stabilization Using Multiple Visual Cues",

Proceedings of lnternational Conference on

lmage

Processing

, Vol. 1, pp. 191 -194, 1995

Y. S. Yao and R. Chellappa,“Selective Stabilization of Images Acquired by Unmanned Ground Vehicles",

IEEE

transaction on robotics and automation

, Vol. 13, No. 5, pp.

693-708

,

1997

Y. M. Yeh, H. C. Chiang, and S. 1. Wang, A Digital Camcorder Image Stabilizer Based on Gray Coded Bit-plane Block Matching,

The 13th 1PPR Conference on Computer Vision

,

Graphics and 1mage Processing

,

Taipei

, Taiwa丹， pp.

244-251.2000 作者簡介: 梁祐銘於 1999 年取得國立台灣師範大學資訊教育學士 學位，目前就譚於國立台灣師範大學資訊教育研究所。研究興 趣領域包括圖形辦認、影像處理、電腦視覺與智慧型交通系統。 陳世旺於 1985 年與 1989 年分別在美國密西根州立大學 取得電腦科學碩士學位與博士學位。 1977 到 1983 年間，擔任 中央氣象局電腦中心研究助理。 1990 年，擔任工研院電腦與 通訊實驗室前瞎技術中心研究員。目前擔任國立台灣師範大學 資訊工程研究所教授。研究興趣領域包括模糊理論、類神經網 路、圖形辦認、影像處理、電腦視覺與智慧型交通系統。 廖弘源於 1981 年取得國立清華大學物理學士學位，於 1985 年與 1990 年分別於美國西北大學取得電機工程與電腦科 學 (EECS) 碩士學位與博士學位。 1991 至Ij 1995 年間擔任中央研 究院資訊科學所助理研究員。 1995 到 1998 年間擔任中央研究 院資訊科學所副研究員。目前為中央研究院資訊科學所研究員 並為科工所代理主任。研究興趣領域包括小波式影像分析、多 媒體訊號處理、多媒體防護、內文式多媒體檢索、 2D 與 3D 物 體辨識、生物科學與智慧型交通系統。 收稿日期: 91 年 03 月 27 日 修正日期: 91 年 04 月 22 日 接受日期: 91 年 04 月 25 日

100 梁祐銘 F東世 H王 廖弘源

Image Stabilization for ITS Applications

You-Ming Liang

1

Sei

Department of Information and Computer Education

1 Depa此ment

of computer Science and Information Engineering

2

Institute of Information Science Academia Sinica

3

Abstract

In this

papeζwe

propose an image stabilization technique for stabilizing image sequences

taken from traffic monitoring cameras. The proposed technique includes three steps: motion

estimation

,

global motion analysis

,

and image compensation. In the motion estimation

,

a module

combining block matching and k-order projection

matchi時 is

evoked to estimate

mot叫IS

between two successive images. The process will estimate motions accurately even though there

exists rotations between images. In the global motion analysis

,

an affine motion model is utilized

to determine the parameters of translation and rotation between images. The determined affine

transformation is then exploited to compensate for the unstabilities of input image sequences. The

experimental results ofusing both simulated and real images have revealed the applicability ofthe

proposed technique..

Keywords: mage Stabilization Motion Estimation Global Motion Analysis Jmage Compensation K-order

projection matching 810ck matching and affine motion mode

l.