第五章 視訊影片中運動物體之自動切割
5.2 區域運動估測與全域運動估測
5.2.2 全域運動估測使用 PTZ 攝影機運動模型
為 了 估 計 PTZ 模 型 參 數 , 所 使 用 的 方 法 為 “ 非 線 性 回 歸 ” ( Nonlinear Regression)。將圖 26 中 90 對“對應點”隨機分為 60 對與 30 對兩群,其中 60 對 的一群是做為估計攝影機參數使用,稱為訓練群(Training Set),而 30 對的一群 則是要驗證算出來的攝影機參數,稱為測試群(Testing Set)。把訓練群當作非線 性回歸的輸入,經過非線性回歸的計算,會求出表 7 的六個相機參數,用此六 個參數即可以描述圖 26 (a)與圖 26(b)之間的攝影機運動。
(a) 處理畫面
I
t (b) 參考畫面I
t+1圖 26:Zoom 影片中的手動標示點
假設圖 26 (a)中有一起點座標為(x , y)
,
對應到圖 26 (b)終點座標(x′
, y′ )
;若將起點座標與表 7 的六個運動參數帶入(5.1)式,可求得新的終點座標(
x′
n, ′ ) y
n 。距離誤差(5.2)式可用來計算所求得的終點座標(x′
n, ′ ) y
n 相對於手動標示座標(x′, y′ )之準確性,其誤差的單位為像素。表 8 統計出 60
對訓練群的終點誤差分佈情形,從表 8 可以看出經由攝影機參數所估得的終點 誤差都小於兩個像素以下。表 9 統計出 30 對測試群的終點誤差分佈情形,可以 看到誤差也在兩個像素以下。
err = |
x′- x′ | + |
ny′ - ′ | (5.2) y
n表 7:圖 26 (a) 與圖 26 (b) 的攝影機參數
P
1P
2P
3P
4P
5P
60.962542 -0.000416 -0.094951 0.176463 0 0.000026
表 8:訓練群終點誤差分佈(共 60 對)
在我們拍攝的第二段影片中,物體一樣都靜止不動,而攝影機除了縮小的動 作外還有往左傾斜攝影,圖 27(a)與圖 27(b)分別為影片中攝影機運動前與 攝影機運動後的兩張畫面。在圖 27 的兩張影像中標示了 44 對“對應點”,將 44 對“對應點”隨機分為訓練群 24 對與測試群 20 對,而誤差函數同樣使用(5.2)
式。訓練群與測試群的誤差結果統計在表 11 中,由表 11 可得知終點誤差也都 小於兩個像素,而誤差小於 1.5 像素的佔了全部的 91%,誤差小於 1 個像素的則 佔了 71%。
(a) 處理畫面
I
t (b) 參考畫面I
t+1圖 27:Pan、Tilt、Zoom 影片中的手動標示點
表 11:圖 27 (a) 與圖 27 (b) 所求得的終點誤差之統計(共 44 對)
0<err≦0.5 0.5<err≦1.0 1.0<err≦1.5 1.5<err≦2.0 2<err
Training set 5 12 5 2 0
Testing set 6 8 4 2 0
25% 46% 20% 9% 0%
圖 28 是MPEG 組織所提供的測試影片 Mobile 的手動標示點,本章節的實 驗會對圖 28(a)的畫面做切割。Mobile 影片的攝影機運動除了縮小以外,尚 會往左平移,因此,Mobile 影片的攝影機運動並不完全符合 PTZ 攝影機運動模 型,但是在此我們同樣用 PTZ 攝影機運動模型來近似其攝影機運動,並估計其
誤差。為了計算攝影機參數,分別在圖 28 兩張畫面中的背景部分手動標示了 35 對“對應點”,如圖 28(a)與圖 28(b)所示。將 35 對“對應點”隨機分為訓練 群 25 對與測試群 10 對,訓練群所求得的攝影機參數如表 12 所示,並且利用測 試群來驗證終點的誤差,誤差函數同樣使用(5.2)式。誤差的結果統計在表 13 中,由表 13 可得知終點誤差也都小於兩個像素,而誤差小於 1.5 像素的佔了全 部的 94%,誤差小於 1 個像素的則佔了 71%。全域運動估測流程如圖 29 所示,
而估計全域運動的方法總結如下:
1. 找到具有運動關係的對應點。
2. 輸入對應點並利用非線性回歸求得攝影機參數。
3. 將 It上起點座標與攝影機參數帶入(5.1)式,求出全域運動在 It+1上的 終點座標。
(a) 處理畫面
I
t (b) 參考畫面I
t+1圖 28:Mobile 影片中的手動標示點
表 12:圖 28 (a) 與圖 28 (b) 的攝影機參數
P
1P
2P
3P
4P
5P
60.986704 0.000443 2.848848 0.155756 0 0
表 13:圖 28 (a) 與圖 28 (b) 所求得的終點誤差之統計(共 35 對)
0<err≦0.5 0.5<err≦1.0 1.0<err≦1.5 1.5<err≦2.0 2<err
Training set 5 12 6 2 0
Testing set 6 2 2 0 0
31% 40% 23% 6% 0%
圖 29:全域運動估測流程圖