第六章 結論與未來展望
6.2 未來展望
未來探討的方向上，本研究可進行的方向可分成五類：第一，不穩定性參數 的重新定義，本研究以速度與加速度為主要的穩定性依據，這部分可運用其他 演算法算得新的 Cost 值來重新評估各個 Section 的重要性；第二，自我運動向量 估計演算法的公式變化，相對於本研究以固定 Section 來進行演算，尚可用動態 變化 Section 長度的想法來進行改進或創新，以期望能應對不同週期長度或振幅 大小的抖動情況。第三，本文運用固定的 Region 大小來進行 GMV 估計演算法，
且尚未特別針對移動物體發生的情境做處理，未來可以在 Region 上動態調整大 小或個數來進行 LMV 的估計和移動物體的偵測。這其中會要用演算法考量所要 假設的最大移動物體大小和如何適時動態改變 Region 的大小，以期能偵測出正 確的 GMV 資訊。第四，嘗試設計新的穩定器檢驗公式也是一重要探討對象。由 穩定後的絕對或相對位置關係，探討數值之間的連續性、誤差或標準差狀況並設 計出新穎的公式來評斷過去的演算法。最後，針對穩定器處理層級進行設計，本 法為二維穩定器，僅考量水平分量與垂直分量，如何上升穩定器的處理維度以 應對更複雜的影像情況也是重要課題之一。所謂的高維數位影像穩定器，主要是 針對高速拍攝或是以 CCD 感測器相機進行拍攝造成 Frame 擷取畫面有形變現象 等問題做處理。其中，如何定義相機往復運動情況的 GMV 資訊以及穩定影像對 於形變影像的插補方法仍有待研究。數位影像穩定器的出現是重視資源節省和數 位化時代的產物，相信未來可有更多有創意的想法繼續拓展這個領域。
77
參 考 文 獻 參考文獻
[1] K. Sato, S. Ishizuka, A. Nikami, and M. Sato, “Control techniques for optical image stabilizing system,” IEEE Trans. Consum. Electron., vol. 39, no. 3, pp. 461-466, Aug.
1993.
[2] Canon, “What is vari-angle prism image stabilizer (VAP-IS).” Available online:
http://www.canon.com/bctv/faq/vari.html.
[3] Canon, “What is optical shift image stabilizer.” Available online:
http://www.canon.com/bctv/faq/optis.html.
[4] Canon, “Optical image stabilizer.” Available online:
http://www.usa.canon.com/cusa/consumer/standard_display/Lens_Advantage_IS. [5] Nikon, “Vibration reduction (VR) technology.” Available online:
http://imaging.nikon.com/history/scenes/16/.
[6] Panasonic, “Panasonic Mega O.I.S.” Available online:
https://panasonic.ca/english/audiovideo/camerascamcorders/digitalstill/megaOIS.
asp.
[7] H. J. Chang, P. J. Kim, D. S. Song, J. Y. Choi, “Optical image stabilizing system using multirate fuzzy PID controller for mobile device camera,” IEEE Trans. Consum.
Electron., vol. 55, no. 2, pp. 303-311, May 2009.
[8] H. R. Pourreza, M. Rahmati, F. Behazin, “An electronic digital image stabilizer based on stationary wavelet transform (SWT),” in Proc. 2003 Int. Conf. on Image Process., vol. 2, Sep. 2003, pp. II-383-386.
[9] S. Ertürk, “Image sequence stabilisation: motion vector integration (MVI) versus frame position smoothing (FPS),” in Proc. 2nd Int. Symp. on ISPA, 2001, pp. 266-271.
[10] K. Ioannidis and I. T. Andreadis, “A digital image stabilization method based on the
78
Hilbert–Huang transform,” IEEE Trans. Instrum. Meas., vol. 61, no. 9, pp. 2446-2457, Sep. 2012.
[11] S. C. Hsu, S. F. Liang, K. W. Fan, and C. T. Lin, “A robust in-car digital image stabilization technique,” IEEE Trans. Syst. Man Cybern., vol. 37, no. 2, pp. 234-247, Mar. 2007.
[12] Y. G. Ryu and M. J. Chung, “Robust online digital image stabilization based on point-feature trajectory without accumulative global motion estimation,” IEEE Signal
Process. Lett., vol. 19, no. 4, pp. 223-226, 2012.
[13] C. Wang, J. H. Kim, K. Y. Byun, J. Ni, and S. J. Ko, “Robust digital image stabilization using the Kalman filter,” IEEE Trans. Consum. Electron., vol. 55, no. 1, pp. 6-14, 2009.
[14] A. A. Amanatiadis and I. Andreadis, “Digital image stabilization by independent component analysis,” IEEE Trans. Instrum. Meas., vol. 59, no. 7, July 2010.
[15] C. T. Lin, C. T. Hong, and C. T. Yang, “Real-time digital image stabilization system using modified proportional integrated controller,” IEEE Trans. Circuits Syst. Video
Technol., vol. 19, no. 3, pp. 427-431, Mar. 2009.
[16] Y. Matsushita, E. Ofek, W. Ge, X. Tang, and H.Y. Shum, “Full-frame video stabilization with motion inpainting,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 28, no. 7, pp.
1150 – 1163, July 2006.
[17] S. J. Ko, S. H. Lee, and K. H. Lee, “Digital image stabilizing algorithms based on bit-plane matching,” IEEE Trans. Consum. Electron., vol. 44, no. 3, pp. 617-622, Aug.
1998.
[18] S. J. Ko, S. H. Lee, S. W. Jeon, and E. S. Kang, “Fast digital image stabilizer based on gray-coded bit-plane matching,” IEEE Trans. Consum. Electron., vol. 45, no. 3, pp.
598-603, Aug. 1999.
[19] Q. Zeng, H. Wang, and X. Ma, “On-line digital image stabilization for translational and rotational motion,” Int. Conf. on IASP, 21-23 Oct. 2011, pp. 266-270.
79
[20] C. H. Cheung and L. M. Po, “A novel cross-diamond search algorithm for fast block motion estimation,” IEEE Trans. Circuits Syst. Video Technol., vol. 12, no. 12, pp.
1168-1177,Dec. 2002.
[21] L. Xu and X. Lin, “Digital image stabilization based on circular block matching,” IEEE
Trans. Consum. Electorn., vol. 52, no. 2, pp. 566-574, May 2006.
[22] J. Shi, C. Tomasi, “Good Features to Track,” in IEEE Conf. on Computer Vision and
Pattern Recognition, 1994, pp. 593-600.
[23] G. Welch and G. Bishop, “An introduction to the Kalman filter,” in SIGGARPH2001
Course Note,
2001 : Univ. North Carolina.[24] M. Bertalmio, G. Sapiro, V. Casellas, and C. Ballester, “Image inpainting,” in Proc. of
the Int. Conf. on Computer Garaphics and Interactive Techniques, New Orleans, LA,
USA, July 2000, pp.417-424.
[25] Y. Wexler, E. Shechtman, and M. Irani, “Space-time video completion,” in Proc. of the
IEEE Conf. on Computer Vision and Pattern Recognition, Washington, D.C., USA,
June/July 2004, vol. 1, pp. 120-127.
[26] S. C. Hse, S.F. Liang, and C. T. Lin, “A robust digital image stabilization technique based on inverse triangle method and background detection,” IEEE Trans. Consum.
Electron., vol. 51, no. 2, pp. 335–345, May 2005.
[27] W. C. Kao, S. H. Chen, P. Y. Hsiao, “Real-time image stabilization for digital video cameras,” in Proc. of the IEEE Asia Pacific Conf. on Circuits and Systems, Singapore, Dec. 2006, pp. 1651-1654.
[28] Rastislav Lukac, Single-sensor imageing methods and applications for digital cameras, CRC Press Taylor & Francis Group, Boca Raton 2009.
80
附 錄
A.
演算法延遲代價現象的解釋本演算法為什麼會有要延遲一張 Frame 的代價? 這是因為我們演算法判斷自 我運動是運用 Section panning velocity(SPV)和 Section representative offset(SRO)兩 資訊。前者，代表該時間點 Section 內 GMV 資訊的概略走勢；後者，代表該時間 點 Section 內 GMV 資訊的代表性位置。這個兩個參數的特性在 Section 中的 GMV 位置資 訊是 相異 方 向的鋸 齒狀 抖動時 確實能 有濾 波功能 ，但是 當目 前時刻 Section 暫存器中的 GMV 位置趨勢為同方向同斜率位置變化時，這種濾波功能會 造成對位置趨勢的延遲預估。
此外，本文決定自我運動的方法是考量所有 Section 的 SPV 和當下 Section 的 SRO 資訊。假若前者 SPV(速度)和後者 SRO(位置)相互以相加方式組合產生的新 位置結果比 Section 暫存器中當下時間點的 GMV 位置還要慢，那便有延遲現象出 現。因為 SRO 本身參考處會較偏重於 Section 中心(第三個 GMV 位置)，且速度 最高的首末 GMV 距離也僅出現在完全平滑線上，所以延遲現象是幾乎是必然會 發生。以下將證明為什麼本文所設計的五張 Frame 的 Section 能僅延遲一張 Frame 而不是延遲至二或三張 Frame 的原因。
本文的證明方法為(1)證出在同方向位置變化下當 SRO 在最左端 (算出的 SRO 會最遠離當下時間點 GMV 位置資訊)的情況，配合上 SPV 斜率算得的位置 是否能超過 Section 暫存器正中間 GMV 的位置。若能超過，表示至少 GMV(t-2) 資訊。(2)接著，再證明在同方向位置變化下 SRO 在最右端 (算出的 SRO 會最鄰 近於當下時間點 GMV 位置資訊)的情況下，SPV 配合 SRO 的組合位置是否慢於 最新 Frame 的 GMV 位置。若會較慢，則表示即使此時為最接近當下時刻的 SRO
81
情況，在計算上的新位置仍舊慢於當下時刻 Section 最新的 GMV 位置。只要證明 這兩者成立，表示在 t 時刻 Section 的 SPV 和 SRO 組合出的位置大都限制在「快 於 GMV(t-2)」和「慢於 GMV(t) 」位置，則證實五張 Frame 為長度的 Section 設 計用於 DIS 功能僅需延遲一張 Frame，也為最好的設計。
當區域代表性偏移最接近當下時間點的情況
GMV of frame#0 = (8,0) GMV of frame#1 = (0,0)
GMV of frame#2 = (-1,0) GMV of frame#3 = (-2,0)
GMV of frame#4 = (-3,0) Time Position
Differences#0 Differences#1
Differences#2 Differences#3
圖A-1 區段代表性偏移最接近當下時間點之全域運動向量資訊
如圖所示，假設 Section 當下五張 Frame 的 GMV 資訊所算出的 SRO 是最靠 左端的狀況：Section ={ Frame#0, Frame#1, Frame#2, Frame#3, Frame#4}，SRO 最 靠近 Frame#0。這樣的條件我們可以設計兩項參數(1)Frame#0 至 Frame#1 的斜率 和 Frame#1 至 Frame#4 有相異但同號斜率，本例設皆為負號，(2)此時 Frame#0 至 Frame#1 的運動向量差距 Differnces#0 為了滿足最靠近 Frame#0 的條件，設為 最大搜尋上限的八個像素單位，其餘兩兩 Frame 之間 Differences 設為最小搜尋下 限一個像素單位。若假設 Frame#1 的 GMV 位置恰在零且每 Frame 之間的間距在 時間軸上為一的情況，此時：
lT
T TP
l
C
C
[4 0.5]82
average SRO
Register{ Frame#0, Frame#1, Frame#2, Frame#3, Frame#4}，SRO 最靠近 Frame#4。這樣的條件我們可以設計兩項參數(1)Frame#0 至 Frame#3 的斜率和 Frame#3 至
83
Frame#4 有相異但同號斜率，本例設皆為負號，(2)此時 Frame#3 至 Frame#4 的運 動向量差距 Differnces#3 為了滿足最靠近 Frame#4 的條件，設為最大搜尋上限的 八個像素單位，其餘兩兩 Frame 之間 Differences 設為最小搜尋下限一個像素單 位。若假設 Frame#3 的 GMV 位置恰在 0 且每張 Frame 之間的間距在時間軸上為
average SRO
綜上所證，若當計算 Section(t)時推測的自我運動位置範圍，在最極端的狀況 就是在快於 Frame(t-2)或慢於 Frame(t)，造成在 Frame(t-1)附近較能近似準確值。
本演算法基於平衡考量，選擇延遲一張 Frame 時間點的方式來輸出 CMV 值。此 外，當 Section 的暫存器長度提升超過五張 Frame，尚需另外計算延遲的範圍和 面對延遲範圍過大的問題，這也是為什麼我們選擇 Section 長度為五張 Frame 的 原因。
84
B.
輸出影片截圖模擬實驗之原始影片幀截圖(由左至右，由上至下)
模擬實驗之本文方法穩定後影片幀截圖(由左至右，由上至下)
圖B-1 模擬實驗下本文方法影像穩定影片之截圖範例一
85
模擬實驗之原始影片幀截圖(由左至右，由上至下)
模擬實驗之本文方法穩定後影片幀截圖(由左至右，由上至下)
圖B-2 模擬實驗下本文方法影像穩定影片之截圖範例二
86
實景拍攝之原始影片幀截圖(由左至右，由上至下)
實景拍攝之本文方法穩定後影片幀截圖(由左至右，由上至下)
圖B-3 實景拍攝下本文方法影像穩定影片之截圖範例