第五章 研究結果
5.2 影像穩定成果比較
實驗模擬結果主要有四類檢驗，包含準確率、平滑度、穩定曲線輸入的 結果和執行速度。以下，我們將依序於各小節(5.2.1~5.2.5)中展示與討論。實 驗所使用的設備上，我們的拍攝相機為 JVC GZ-HM960BU 相機，該相機感 測器為 CCD 感測器。CCD 感測器，有別於 CMOS 感測器擷取像素資訊是一 排排掃描來獲得，其優勢在於像素資訊擷取是一張 Frame 同時刻擷取，使得 抖動情況發生時，不會造成擷取資訊的形變。若是 CMOS 感測器一排排掃描 非常容易讓影像部分物體形變造成實際拍攝後進行 DIS 的結果不佳。
57
Camera
Camera is fixed on
cart
圖5-2 實驗拍攝用之相機 圖5-3 拍攝相機與手推車架設
我們在真實拍攝的實驗是將相機架設於手推車上，使其因為路面不平造成的 抖動進行影片錄製。我們將手推車進行前進、後退與左右橫向錄影，讓實驗能在 各種使用狀況下驗證演算法的強健性。實驗過程中所出現的影片抖動將來自三個 部份：沒有懸吊系統校正的手推車行走於柏油路面傳來的抖動、腳架與手推車的 連結的不穩定性與移動手推車的使用者在推動方向上的不確定性。因此，我們的 影像穩定器實驗並不純粹僅解決來自路面的抖動，而是更全面的針對整體實驗環 境產生的抖動。
5.2.1
影像穩定結果圖首先，以位置─幀二維座標圖呈現結果，本文的抖動現象平滑化方法在模擬 實驗中，針對四百五十張 Frame 內取其中速度轉折處一百張 Frame 的影像穩定結 果如下圖[圖 5-4]所示：在位置─幀二維座標圖中充斥抖動成分的 GMV 值(黑色 線部分)，通過我們的補償值系統確實能將其曲線中抖動的成分平滑化(紅色線部 分)。圖中僅擷取在水平軸在第三百二十五張 Frame 中 GMV 明顯轉折處的結果，
是為了模擬鏡頭平移方向發生巨幅改變的狀況，我們的補償值演算法對於巨幅 轉折有略為延遲的現象，這是所有預測型演算法都會面對的狀況。
58
271 281 291 301 311 321 331 341 351 361 371 input motion vector
intentional motion vector - proposed method
Frame Position
圖5-4 本文之位置─幀二維影像穩定結果截圖
5.2.2
均方根誤差值比較在進行驗證穩定的準確性方面，我們發現若 Jitter motion 有影響前幾張 Frame 資訊，且當 Ego-motion 輸入訊號在該時期恰為不動(Fixed)情況，則當初設 定的 Ego-motion 成分必定會與擷取的 GMV 位置資訊的理想穩定情況有些微偏移
59
表5-1 各補償值計算方法模擬實驗之 RMSE 值結果表
RMSE result of simulation
Video
Video#1 Video#2 Video#3
ACM 4.3394 4.8326 4.3784 EMD 3.5204 4.2209 3.7176 Proposed method 4.2166 4.6027 4.0367Video
Video#4 Video#5 Video#6
ACM 4.3550 6.9584 138.0421 EMD 3.6272 6.4523 138.0427 Proposed method 4.1135 7.4125 134.4124如表[表 5-1]所示，是由 30 Frame per second(fps)下四百五十張 Frame 扣除演 算法前端不處理狀況的 Frame 數後(前後共扣了三十張 Frame，剩四百二十張 Frame 做比較)，在本表比較三種方法： (a)累積補償值型 ACM[11]、(b)後處理 EMD[10]以及(c)本文所提出的方法，所計算的 RMSE 結果。此外，前述所提之擷 取結果偏移現象，我們以下圖表示[圖 5-5]。早期設定 Ego-motion 為位置由零開 始，但是因為抖動影響整體擷取到的 GMV 絕對位置與 Ego-motion 有明顯偏移。
本例 Ego-motion 是較慢於擷取結果所擷取的 GMV 絕對位置資訊，所以我們會需 要人工方式調整理想上的 Ego-motion 使其較貼近 GMV 的絕對位置線，使得 RMSE 數值更為客觀。
然而，除了初始值影響 GMV 資訊的擷取造成偏移之外，尚需考量各個影片 中的干擾因素，諸如移動物體、重複圖案等狀況會造成的 GMV 資訊擷取失敗。
舉 Video#6 為例，其 RMSE 數值普遍高於其他影片的原因是因為影片中可能因為 有相關干擾因素使得 GMV 資訊的擷取不如預期，造成偏離於預設的 GMV 資訊 過大，讓 DIS 後的自我運動位置曲線仍舊與原先所設大相逕庭，這是本研究模擬 實驗可能面對的難題。
60
0 5 10 15 20 25 30 35 40 45 50
Frame_0 Frame_5 Frame_10 Frame_15 Frame_20
GMV_x EGO_x
The offset of GMV and ego motion
Position
Frame
圖5-5 抖動向量與理想位置差異造成的偏移現象
表5-2 各補償值計算方法模擬實驗之平均 RMSE 值比較表
Final average result of RMSE
Method Average
ACM 27.1477
EMD 26.5969
Proposed method 26.4657
我們將六部影片所計算得的 RMSE 值取其總平均後比較個方法，由上表所 示。由結果得知，我們的穩定方法在方均根誤差的總平均比較上優於同為預測 型 ACM(RMSE 值 27.1477)的演算法，而對比於後處理型的 EMD 方法(RMSE 值 26.5969)，我們的方法(RMSE 值 26.4657)正確率仍為最佳但是差距不大。RMSE 值的結果會顯示 EMD 方法比我們的方法更穩定，這是因為我們的演算法是預測 型演算法，並沒有如 EMD 計算當下補償值時能參考當下時間點之後的大量 GMV 資訊。當系統讀入的 GMV 範圍能分析出該區段訊號為抖動時才會將正確路徑讀 出，這是所有預測型 DIS 的共同限制。但是正因為預測型的演算法僅用當下時間 點前的 GMV，才有支援即時運算的能力，這使得預測型 DIS 在應用消費型電子 的重要性遠大於後處理型 DIS。
61 Position
Time
Time t The range of GMV data could used for computing CMV(t)
Position
Time t
Time
Off-line type DIS Predict type DIS
圖5-6 後處理與預測型穩定器所擁有的全域資訊範圍差異
因此，我們的 DIS 穩定器雖須延遲一張 Frame 為代價，輸出結果上仍能比僅 參考前時刻資訊的預測型演算法有更好的準確性。
5.2.3
平滑度值比較檢測另一種檢驗方法：Smoothness index(SI)[26]由過去文獻所使用，該值是以下 列公式求得： 刻交互幀的運動向量(Inter-frame motion vector, IFMV)，是由穩定器系統輸出的 已平滑化全域運動位置相鄰 Frame 的位置差值，SI 為所求平滑度，N 為總資訊個 數。M 為每張 Frame 的比重(Mass of frame)，通常可由使用者設固定常數值或零 與一之間的值，本文設定該值為一。N 為總 Frame 數。i 為 Frame 的編號，代表 目前為第幾張 Frame。
62
由於 SI 定義上只使用二維(位置軸, 時間軸)的數據，我們期望能比較三維(x 軸,y 軸,時間軸)便選擇將 x 值與 y 值各取其 SI 值，後將兩者取平均。我們再度比 較三種方法，而下表[表 5-3]實驗結果顯示我們的平均平滑程度優於其於二者。
在與 CMV 平衡型比較，我們兩軸的平滑程度都較佳；在與 EMD 比較，我們在 x 軸的平滑度較優，但是在 y 值的平滑度上 EMD 較佳。
互有優缺的比較結果中，我們能在 x 軸表現較佳的原因，是因為實驗環境 上 x 方向設定的轉折和加速度使得抖動成分影響較低，而存在 Mode mixing 問題 的 EMD 方法會在此種情況將抖動成分當作平滑曲線的機會因此提升； y 軸部 分，則是 Fixed mode 的輸入訊號使得抖動成分影響較大。因為 EMD 後處理的特 性的大局觀會明顯優於預測型的方法，我們在這 y 部分的數值略遜於 EMD，但 是平均平滑度上仍舊為三種方法中最佳的。
表5-3 各補償值計算方法於模擬實驗一號影片之 SI 值結果表
Result of smoothness index(SI)
Method x-axis y-axis Average(x,y)
ACM 0.7911 0.7400 0.7656EMD 1.1311 0.2089 0.6700 Proposed method 0.6844 0.4933 0.5889
為了檢視各個 DIS 方法所輸出的自我運動在平滑度上的強健性，我們錄製六 個實驗模擬用的影片，其以各方法處理後的平滑度比較結果如下表所示：
表5-4 各補償值計算方法模擬實驗之平均 SI 值比較表
Final average result of smoothness index(SI)
ACM 0.7713
EMD 0.6939
Proposed method 0.5628
63
表5-5 各補償值計算方法模擬實驗之 SI 值結果表
Result of smoothness index(SI)
Video Video#1 Video#2 Video#3
ACM 0.7656 0.7367 0.7500 EMD 0.6700 0.6722 0.6800 Proposed method 0.5889 0.5378 0.5556
Video Video#4 Video#5 Video#6
ACM 0.7667 0.7522 0.8567 EMD 0.6667 0.6700 0.8044 Proposed method 0.5422 0.5522 0.6000
針對上述上述六個模擬實驗的影片，我們可以得出其總平均的 SI 值，其結 果比較於上表。我們的演算法的平均平滑度(SI 值 0.5628)領先 ACM(SI 值 0.7713) 和 EMD(SI 值 0.6939)方法。 此外，平滑度公式使用上相當便利，有不需要原 始理想值資訊的優點。當使用穩定器於實際拍攝時，平滑度公式不需要數據化 的自我運動資訊，而是僅以影片輸出的平滑性為探討依據。因此，我們接著在真 時拍攝下進行實驗。
在真實拍攝下的八個影片中，我們使用 640 X 480 的解析度進行實際拍攝後 輸入影像穩定器。我們的演算法在實際拍攝情況下，平滑度值的結果仍是三種方 法中最佳的。影片中包含往復錄影與水平錄影。將八部影片的 SI 值取其總平均 SI 值於下表，結果顯示我們所提出的平滑化演算法以 SI 值 0.7153 占據優勢。如 此可見，我們的方法在平滑度上，除了模擬實驗之外，在真實拍攝下也有優秀的 平滑化結果。
表5-6 各補償值計算方法真實拍攝之平均 SI 值比較表
Final average result of smoothness index(SI)
ACM 0.8873
EMD 1.3895
Proposed method 0.7153
64
表5-7 各補償值計算方法真實拍攝之 SI 值結果表
Result of smoothness index(SI)
Video Video#1 Video#2 Video#3 Video#4
ACM 1.1944 0.9878 0.8489 0.8111 EMD 1.3867 1.7267 1.2411 1.3056 Proposed method 0.7744 0.6944 0.6656 0.6000Video Video#5 Video#6 Video#7 Video#8
ACM 1.0300 0.8744 1.4511 1.3522 EMD 1.7400 0.9500 1.3189 1.4467 Proposed method 0.6878 0.6056 0.8822 0.81225.2.4
穩定運動向量輸入的比較大部分影像穩定器設計者在文中並未提到其在理想 Ego-motion 情形下的穩定 結果，這是因為一般設計者的實驗環境沒有能夠擁有理想上的 Ego-motion，意 即沒有絕對正確的對照依據。我們建立的實驗環境是由高解析度 Frame 上依照設 定好的 Ego-motion 和 Jitter motion 混和訊號作為依據來抽取低解析度的 Frame 來 做實驗輸入，所以可以進行這項驗證。這種驗證是通常在加速度的運動向量才 可看出演算法之間的明顯不同，因為演算法通常會在加速度部分設計後驗估計 的補償值，以利於下一 Frame 的 CMV 預測；反之，完全等速度的情況，大部分 演算法都不會有多餘補償值的問題，其結果通常與真實 Ego-motion 接近程度較 高。我們再度比較三種方法：
表5-8 各補償值計算方法以平滑訊號輸入之平均 RMSE 值比較表
RMSE when input smoothed motion
Method RMSE
ACM 1.0667
EMD 0.0000
Proposed method 0.6889
65
表5-9 各補償值計算方法以平滑訊號輸入之平均 SI 比較表 Smoothness Indes(SI) (Mass = 1)
Method x-axis y-axis Average(x,y)
ACM 0.4244 0.0000 0.2122
EMD 0.1333 0.0000 0.0667
Proposed method 0.3689 0.0000 0.1844
RMSE 比較結果 [表 5-8]中，後處理型 DIS 的 EMD 方法，其大局觀較強的 優點非常明顯，其在輸出結果上與原始輸入的 Ego-motion 相似度最高。但我們 所提出的演算法在純粹 Ego-motion 輸入的 RMSE 值比較上，結果仍舊比同為預 測型的 ACM 好。這表示我們的演算法方法在平滑訊號輸入的情況下有較少的額 外抖動，而使用累積資訊來估計補償值的方法可能會因為錯誤累積而產生較多額 外抖動。
SI 平滑度上[表 5-9]，由於 EMD 方法在 RMSE 表現上已經完全貼近預設的 Ego-motion 故其 SI 值在客觀上來說等同於 Ego-motion 的平滑度。在垂直位移 y 軸等速度情況上，三種演算法都能完全準確；在水平位移 x 軸加速度情況上，我
SI 平滑度上[表 5-9]，由於 EMD 方法在 RMSE 表現上已經完全貼近預設的 Ego-motion 故其 SI 值在客觀上來說等同於 Ego-motion 的平滑度。在垂直位移 y 軸等速度情況上，三種演算法都能完全準確；在水平位移 x 軸加速度情況上，我