第二章 相關研究探討
2.4 補償值估計演算法探討
獲得全域運動向量(GMV)後，補償值估計演算法讓我們將抖動的 GMV 訊號 平滑化成穩定的訊號。本步驟的功能在於濾除全域運動向量中的抖動成分(Jitter motion)，並盡可能保留穩定的自我運動(Ego-motion)。其中，自我運動亦可稱之
18
為預期平移運動向量(Panning motion vector, PMV)。全域運動向量與自我運動向 量之間的差異即為本步驟要求得的補償值運動向量(Compensative motion vector, CMV)。一個影像穩定器的品質著重於是否能輸出最接近使用者想要的所欲穩定 影像，也就是說系統用來校正的補償值即為影像穩定器輸出成果的關鍵。所 以，本步驟相當於影像穩定器的核心。
補償值演算法不論是預測型演算法或是後處理型演算法，皆以所使用的 GMV 輸入資訊來做分類。S. Erturk[9]由本步驟所使用的 GMV 物理特性對補償值 演算法做分類：直接使用任兩影像初次擷取的運動向量，不能從中看出與第一張 Frame 之間的位置位移關係，屬於 Frame 與 Frame 之間相對偏移量的演算法，稱 其為運動向量積分型(Motion vector integration, MVI)；另一種方式則多一個累加 用的暫存器，當新的資訊讀入時將這些 MVI 型 GMV 資訊進行累加以求出時間軸 上的絕對位置資訊，因而能得知與第一張 Frame 的位置關係。這樣的意義在於能 直接針對絕對位置進行校正演算法，稱其為 幀位置平滑化型(Frame position smoothing, FPS)，優點在於能有較平滑的輸出結果。MVI 型 DIS 使用相對偏移向 量進行 GMV 抖動成分平滑化，因為直接取用擷取資訊而適合即時(Real-time)運 算，但是針對向量做穩定會使得輸出結果慢於自我運動；而 FPS 方式的 DIS，輸 入值是針對絕對位置，所以輸出結果會較穩定，但會有誤將抖動運動向量當作 所欲運動向量曲線的可能性，取樣率會需要另外考慮。
Konstantinos Ioannidis[10] 將 處 理 訊 號 使 用 的 經 驗 模 態 分 解 法 (Empirical Mode Decomposition, EMD) 再 配 合 希 爾 伯 特 ‧ 黃 轉 換 (Hilbert- Huang Transform,HHT)處理影像穩定。該方法為後處理型數位影像穩定器，套用代表抖 動的小波動乘載於代表自我運動的大波動訊號觀念，將全域運動向量資訊依據 經驗模態分解法不斷地抽取出近似規律弦波訊號的本質模態函數(Intrinsic mode function, IMF)。IMF 需要滿足兩項條件：(1)區域最大值(Local maxima)與區域最
19
小值(Local minima)的總和個數必須和零交越線(Zero crossing)的個數相等或容許 僅差一個，(2)在任何時間點，上包絡線行經的值與下包絡線行經的值的兩者平 均將為零。因此，IMF 是近乎規則弦波但是可以有不規則週期的訊號。隨著原 始訊號被抽取 IMF 的深度增加，抽出的規律函數頻率將越來越低。接著，將抽 取出的 IMF 和殘餘訊號(Residual signal)求出希爾伯特‧黃轉換的能量值。最後依 據能量的巨量變化當作分界，將殘餘訊號與後抽出的多個 IMF 組合出自我運動 訊號。但是，用 EMD 方法進行抖動現象平滑化會出現兩種問題：第一種，混模 (Mode mixing)問題。這個現象是當混合波中的訊號頻率或振幅相差過大導致，
EMD 無法分離兩者造成部分抖動現象無法濾除。第二種，邊界效應(Boundary effect)，EMD 會利用包絡線(Envelope line)來進行 IMF 搜尋。包絡線定義最模糊 的地方在於首末兩處的歸屬，因為資訊不足無法判斷該處為上包絡線或是下包 絡線，而只要判斷與實際有誤差，則輸出的曲線會與預期完全不同或產生巨幅 波 動 ， 進 而 影 響 穩 定 器 的 輸 出 結 果 。 前 者 可 用 的 解 決 方 式 是 改 用 最 佳 化 EMD(Oblique-extrema EMD, OEMD)的方法，將原本抽取 IMF 的參考線由零準位 變更為原訊號反曲點的連線，這樣取得 IMF 的條件不至於太嚴格，原本純粹 EMD 無法抽取 IMF 的區段也能抽取 IMF。但是，降低抽取 IMF 的條件是一把雙 面刃，使用 OEMD 的副作用在於若是該區段 IMF 抽取的深度不夠，會將抖動成 分當作自我運動訊號，這對影像穩定器而言是個致命傷。
160 165 170 175 180 185 190 195 200 205 210
GMV OEMD
OEMD CMV Error when depth of IMF is not enough
Position
Frame
圖2-4 抖動成分被當作自我運動之現象
20
Sheng-Che Hsu[11]的影像穩定器隨時間紀錄並累加過去補償值(CMV)，屬 於累加補償值法(Accumulative compensation method, ACM)。每次進行該時刻的 補償值計算時，會參考上一時刻補償值和累加的補償值紀錄。而參照的方式是 以希望補償值的數值絕對值不要過大，來進行演算法的補償。此外，該作者還 增加了 Clipper function(2-19)避免 CMV 結果超過其在 LMV 擷取步驟所設定的搜 尋上限，詳細公式如下所示： (Over-reaction)而讓輸出的自我運動位置曲線鋸齒現象嚴重；同理，
設定若過 接近一，會提高對於平衡至零準則的影響。因此 ACM 法的缺點在於參數設定需 要動態調整且 CMV_I 值需要定期清空，避免錯誤 CMV 累積造成後續判斷錯 誤。此外，在純粹等速度拍攝下做 ACM，該仍有週期性擺幅出現的可能。21
Chuntao Wang[13] 運 用 卡 爾 曼 濾 波 器 (Kalman filter)[23] 配 合 光 流 (Lucas-Kanade Tomasi optical flow)演算法進行影像穩定。光流法篩選出兩 Frame 之間的特徵點，依照特徵點判斷是否有場景發生變化，決定是否要繼續更新卡 爾曼濾波器並補償抖動運動向量部分直至影片終止。卡爾曼濾波器本身是利用 先驗誤差的大小決定校正用的卡爾曼常數，配合當下值回授計算出本時刻的後 驗誤差值，再用後驗誤差推測出下一時刻的先驗誤差並重覆這個循環，卡爾曼 濾波器利用當下修正後進行補償而擁有適合長期錄影的優點，但是卡爾曼濾波 器通常會因為校正值設定產生問題。校正參數設的較多，回授較迅速但對劇烈 變化反應較大，穩定結果有時會有抖動現象；較正值設計過小，則回授較慢，
可能造成輸出影片的延遲現象。
Yeon Geol Ryu[12]同樣用 LKT 法抓特徵點軌跡，並將各個特徵點軌跡所得 的原始訊號做卡爾曼濾波器平滑化。作者認為補償值是介於原始訊號和用卡爾 曼濾波器的平滑訊號軌跡之間，所以針對原始訊號和卡爾曼濾波後的平滑訊號 做隨機抽樣一致性演算法(Random sample consensus, RANSAC)。
P
ˆ 為卡爾曼濾i,K 波平滑後第 i 個特徵軌跡資訊中第 K 時刻的點特徵值，P
i,k則為同點特徵軌跡資訊 中第 K 時刻的原始資訊點特徵值。
f P e d c
b
P
ˆi,Ka
i,k …………...(2-20)
.一張 Frame 中 LKT 法可以得出多組特徵資訊，且每一個時刻的特徵資訊皆可讓 我們能近似出一組六變數{a,b,c,d,e,f}的補償值解，這組解可與其他情況的解計算 出誤差值。設定一個權重值，任取三組點特徵所計算得的誤差值若是小於所設 計的權重值，則該組解可做為真正的補償值。若是沒有則繼續重複任選三組點 的步驟，若迭代次數終止前都沒辦法得解，則適度調整誤差權重值。
22
Chin-Teng Lin[15]以離散 PI 控制器(Discrete proportional integrated controller) 配合回授系統動態調整累積補償值的方法進行影像穩定。該控制器以補償值為 輸出和回授， M 以全域運動向量值輸入，L 為在取樣週期下前次補償值與本次 補償值的誤差值，K 區塊是累積補償值型的累加器。該系統以 PI 控制器對每單 位取樣時刻的補償值依據上回補償值的差距進行校正，使得該回的補償值能更 貼近理想上的平滑度。
input
controllerPI
Plant KM
Output
L N
圖2-5 回授型 PI 控制器[15]
Angelos A. Amanatiadis[14] 使 用 獨 立 成 分 分 析 (Independent component analysis, ICA)法。首先，將每張 Frame 上切出兩區域並算出相應的區域運動向 量。其次，由於訊號上只有抖動與所欲運動向量，將獨立成分分析寫法表示區 域運動矢量為抖動和所欲運動的線性組合。接著用統計學上的峰度(Kurtosis)識 別直方圖有否出現非高斯分布(Non-Gaussian distribution)。接著，利用中央極限 定理和拉格朗日乘數得出最不像高斯分布的矩陣以獲得抖動與所欲運動向量兩 訊號。最後，以演算法分出何者為所欲運動向量並得出補償值完成影像穩定。