相關問題概述

數位影像穩定器的問題可分為輸出解析度與系統流程兩類。第一類，數位影 像穩定器本身仰賴影像感測器接收資訊進行處理和補償，輸入和輸出的資訊都 受限於相同來源，造成輸出影片解析度下降。為了適當保留部分感測器接收的像

6

素資訊留待補償影像時運用，數位影像穩定器所輸出影片的解析度一定會下 降，這是所有數位影像穩定器的共同限制。下圖中，假設原先有抖動的 Frame (寬 W、高 H)是較大的外圍黑實線區域，且應將該輸入 Frame 以中心位置為基準偏移 CMV 向量才為穩定狀態的 Frame 位置，為了用原有資訊補償回穩定影片，用較 小的黑虛線橙色區域(寬 Wⁱ、高 Hⁱ)的像素資訊取代正中間較小的黑實線區域並輸 出這樣大小的 Frame，因此輸出影片解析度必定會下降。

The position of clipped input frame(t)

The position of stabilized frame(t) W

W Wi

Hi

The area sensor captured CMV

圖1-3 數位影像穩定器輸出解析度下降示意圖[28]

第二類，是數位影像穩定器系統穩定流程中要解決的問題。數位影像穩定器 是由許多功能模組共同完成輸入影像的穩定過程，一個影像穩定器的品質則取 決於處理後影片的結果。穩定過程從感測器隨時間統整外部訊息製成 Frame 開 始，進行一系列的影像穩定處理流程。這個流程首先所要面對的是如何由 Frame 中 擷 取 或 辨 識 出 運 動 向 量 資 訊 。 最 為 常 見 的 處 理 手 法 為 區 塊 比 對 法 (Block-matching)[20][21]，我們固定前一時刻 Frame 運用目前時刻 Frame 進行相 對偏移後比對像素資訊差值，再搜尋出最小差值的偏移，這個偏移量即可代表 為背景運動向量。但是，整張畫面都進行比對運算會造成計算耗時嚴重，因此 有些研究僅取用 Frame 中部分區塊的資訊進行比對。然而，在一張有限大小的

7

Frame 中，設計區域的分布也是值得探討的課題，通常針對多寡和排列方式做變 化。假設區域設置越多，計算複雜度上升但是取樣較多，可以降低錯誤判斷的風 險；反之，區域設置越少，計算複雜度低但是取樣較少，運動向量計算的容錯率 也相對較低。區域排列上，基於考量到鄰近 Frame 的四個邊角的部分較可能是背 景資訊所在，所以有上緣兩邊角排列、拱門型排列、四邊角排列等方式。還有 些演算法使用所抓取特徵點的方式獲得區域運動向量資訊，哈氏角點偵測法 (Harris corner detection) 、 LKT 特 徵 搜 尋 法 (Lucas-Kanade-Tomashi feature tracker)[22]即為取得圖像中較具特徵意義的像素位置點再由該點在 Frame 之間的 相對位移得出運動向量。通常特徵點的計算複雜度不見得會小於區塊比對法，

提升估計運動向量的準確性才是這類方法的目的。因此，針對複雜度和準確性 的取捨是運動向量擷取步驟的設計者需要面臨的抉擇。

其次，搜集完區域運動向量後，我們要從眾多向量篩選出目前代表背景的全 域運動向量(Global motion vector, GMV)。篩選出全域運動向量的原因是為了要 提取抖動的現象和簡化問題，而這個步驟是基於假設僅有少部分的運動向量與 其他不同為前提。理想的情況下，全域運動判斷方式是直接取區域運動向量的 眾數當作全域資訊。實際拍攝過程中，拍攝時旋轉發生的情況會使得單純取眾 數當作求解的方法不見得完全準確，我們尚需先用演算法判斷旋轉成分出現的 可能與否。所以常見的處理流程是先分析目前鏡頭狀態後排除可能有移動物體 干擾的區域，再用這些區域得出 GMV 值。這當中會面對的難題在於區域運動向 量影響鏡頭狀態的判定，這個部分會需要設計函數來區分出那些區域較可靠，並 用它們做後續分析。

獲得 GMV 值以後，我們要給原訊號計算相應補償值以進行抖動現象平滑化 的流程。這個流程主要區分為預測型和後處理型，前者僅取用當下時刻之前讀 取的 GMV 資訊來做補償值估計，使用者得以邊錄影邊穩定，可以運用即時處理

8

(Real-time processing)，但是容易有穩定延遲現象和受極端值影像較大等問題；

後者，後處理型顧名思義是影片中所有 GMV 都讀完後才做影像穩定，通常運用 數學方式轉換為頻域分析再濾除雜訊，不適用於即時處理，但是穩定性較佳，

且不易受極端值影響。最後，我們要用算得的補償值回饋給原訊號，讓影像能 校正回預期的穩定狀態。理想上，我們直接用補償值偏移影像足以完成影像修 正。但是若是涉及場景的移動物體，我們直接使用背景補償值套用會與移動物 體的本身位移產生遷移，造成影像穩定誤差。此外，修補影像勢必造成輸出圖 像的部分資訊遭到捨棄，影像補償步驟尚能探討影像的插補和銳利化等額外影 像處理步驟以提高輸出影片的品質。計算複雜度和輸出影像品質的比重分配則 是影像穩定器設計者要做的選擇。