研究動機及背景

第一章 緒論

1.1 研究動機及背景

自人類開始使用影片紀錄和傳遞訊息，諸如 DV、數位相機、手機相機等手 持錄影設備推陳出新，對手持錄影設備影像品質的需求逐年升高。科技的飛速 進步和商業上的激烈競爭，使得人們追求手持錄影影片的高解析度(Resolution) 之餘，同時要求消費性電子產品能隨著摩爾定律(Moore’s law)的影響能更加輕量 化，讓手持錄影設備逐漸朝著輕薄短小的方向不斷演進。然而，使用者手持錄 影設備進行影片的錄製，相對於相機腳架等輔具使用的情況，純粹手持使用的 拍攝過程難免會因為雙手穩定性不夠，讓錄製的影片有非預期的抖動發生。逐 年輕量化手持錄影設備會加劇物理環境搖晃在攝影過程的影響，造成輸出影片 的晃動程度上升。

早期攝影師面對這樣的問題以使用三腳架、調整快門速度、或使用低感光 度底片等多種技巧來迴避抖動造成的問題，但是一般使用者不一定具備這些特 殊拍攝技巧或輔具。除此之外，輔具的使用本身便與追求電子產品輕量化的設 計初衷相違背。舉例來說，若使用手機拍照或錄影時還要額外攜帶腳架來安裝對 於使用者而言是相當不方便的負擔，何況臨時或緊急拍攝不可能還要使用者考慮 這些額外設備的有無。我們希望以不額外增加相機本身之外的輔具為前提，解決 手持抖動的問題。因此，研究的範圍將琢磨於在手持攝影器材上以軟硬體方式 濾除抖動現象。本文所研究的對象─影像穩定器(Image stabilizer, IS)，就是為了 濾除抖動現象而出現並逐漸受到學界和業界的重視。

2

影像穩定器的功能主要在於濾除所錄製影片中因為相機系統外在物理環境造 成的非預期抖動運動向量(Jitter motion)，並盡可能還原使用者自我運動向量(Ego motion)。這個濾除抖動現象的穩定器系統，主要輸入參數為影片中幀(Frame)之 間的數位影像資訊或外部裝置測得的物理性三軸變化。根據這些資訊得出相機 可能的運行軌跡，我們可以透過硬體機構或是數位影像方式來濾除屬於抖動成 分的運動向量並還原預期影片。

近年來，影像穩定器依照不同的輸入結構分成三個大類，分別為光學影像 穩 定 器 (Optical Image Stabilizer, OIS)[1][2][3][4][5][6][7] 、 電 子 影 像 穩 定 器 (Electronic Image Stabilizer, EIS)[8]、數位影像穩定器(Digital Image Stabilizer, DIS)[9][10][11][12][13][14][15][16][17][18][19]。這三類中，OIS 本身擁有一個機 械結構，該結構可動態調整入射光線折射後的成像位置來穩定成像。OIS 相機系 統，尚可再搭配上可判讀本體三維運動變化的陀螺儀(Gyro sensor)，運用陀螺儀 分析的三維變化資訊，經量化後傳遞給該可調整式機械結構改變相機鏡頭組。鏡 頭組將依位移資訊而改變入射光在感測器上的成像位置來補償影像的非預期抖 動；電子影像穩定器則相較 OIS 缺少這類可調式機械結構，主要是利用相機感測 器傳來的數位影像資訊，配合陀螺儀感測器得出的三維空間數據當作參考值進 行影像穩定。最後，本文研究的數位影像穩定器，並沒有使用任何外部輔助工 具，屬於較低成本的影像穩定器，全然以影片中切割的各個幀(Frame)影像資訊 為輸入來進行影像穩定。

表1-1 影像穩定器分類

Type Gyro-sensor Adjustment mechanism

EIS Supported Not-supported DIS Not-supported Not-supported

3

市售產品中，最早的防手震系統為 1994 年 Nikon 的穩定器功能系統 Vibration Reduction (VR)，VR 以 35mm 大小的光學影像穩定器鏡頭裝置使用在該公司旗下 商品相機 Nikon zoom 700VR(銷往美洲的名稱為 Zoom-Touch 105 VR)，亦為第一 個光學影像穩定器在消費型電子上的應用實例。但是當時 Nikon zoom 700VR 製 造不易，且市場上因為其產品的高單價讓銷售情況不佳，Nikon 因而較晚繼續推 出後續光學影像穩定器鏡頭等相關影像穩定器功能商品。

OIS lens

Lens position detection circuit

Lens position detection circuit Pitching(Vertical shaking)

Yawing(Horizontal shaking)

CPU

Lens shift circuit Coreless motor

for yawing Coreless motor

for pitching

Angular speed sensor for pitching

Angular speed sensor for yawing

Filter

Filter

Amp

Amp

圖1-1 光學影像穩定器產品範例之 Nikon VR 系統結構[5]

隔年(1995 年)，佳能 Canon 首次推出直接將光學影像穩定器功能做在變焦鏡 頭上的商品 Canon EF75 - 300 mm f/4-5.6 IS USM 大受市場好評，奠定其在影像 穩定器功能相機的市場地位。光學影像穩定器本身在鏡頭結構中有一影像穩定 單位(IS unit)，影像穩定單位面對鏡頭在水平垂直向位置變化而改變其空間位置 讓成像能補回視覺上的連續穩定影像，目前市售商品常以「光學防手震功能」稱 之。光學影像穩定器主要可分為彈性稜鏡式(Flexible prism)[1][2]、鏡頭內嵌式 (In-lens)[4][5][6]、相機內嵌式(In-camera)。彈性稜鏡式是在以一個填滿液體且光

4

滑平面的稜鏡當作補償機構，當相機偏移時稜鏡會產生形變造成入射光線重新 匯聚補回預期成像。由於此法不做偏移資訊的主動偵測，而僅被動地接受三維 軸變化所帶來的形變，所以被稱為「被動式光學影像穩定器」；鏡頭內嵌式，鏡 頭模組中夾入一片可移動的穩定單元。相機在空間中因應感測器所偵測角度和 位移的不同，系統會主動計算後得出穩定單元要補償的相應偏移資訊並調整機 構進行穩定，Nikon 的 VR 系統即為此型；相機內嵌式則是同鏡頭內嵌式的原 理，只是補償機構更改為移動影像感測器本身而非使用穩定單元。

IS unit

No jitter situation Jitter situation Jitter situation with IS compensated

IS unit changed position

圖1-2 鏡頭內嵌式光學影像穩定器結構[4]

數位影像穩定器(DIS)採不使用其他元件的設計方式，以純粹影像感測器擷 取的影像資訊進行影像穩定。數位影像穩定器具有較低製造成本而被廣泛研 究，學術上極為重視數位影像穩定器的設計。其中不論何種維度空間的數位影 像 穩 定 器 ， 大 多 數的 設 計 集 中 於 兩 部分 的 研 究 ： 全 域 運動 向 量 估 計 (Global motion estimation)和影像補償(Image compensation)。前者是將感測器擷取的影像 取得其空間上相機整體偏移的估計，後者則是將抖動影像補正的演算法設計。

根據數位影像穩定器在這兩部分的設計原理和應用，尚能依照不同類別而 有以下分類：

一、 依照搜尋物體移動的最大空間維度分類，數位影像穩定器可區分為 處理二維或三維空間的影像穩定器。二維處理主要是針對相機在物

5

理空間的水平面或垂直面偏移量分析，而三維則額外增加廣角縮放 與旋轉變化，其中廣角探討上會面對補償上的色彩插補考量、旋轉 則會需要額外處理運算量的增加和旋轉中心如何預估等問題。

二、 依演算法複雜度或所需資訊的時域範圍區分出即時處理(Real-time) 式或後處理式(Off line)數位影像穩定器。高複雜度和需要大量當下 時間點之後的資訊才能進行補償的數位影像穩定器演算法，各會因 為硬體處理速度耗時和資訊受限而無法進行即時處理，因此會被歸 類於後處理的方法，僅能預錄影片後再進行穩定器處理。相對之 下，低複雜度和不需要當下時間點之後資訊就能進行補償的演算法 能實現即時運算，亦較有機會在嵌入式系統(Embedded system)上隨 感測器讀入影片的 Frame 資訊同時進行影像穩定。

三、 依實施影像穩定的時刻分類可分出編碼端影像穩定器和解碼端影像 穩定器。編碼端影像穩定器為每當感測器完成新的一張 Frame 資訊 時進行影像穩定功能，因而能在錄影行為終止時刻，以連續視覺穩 定的 Frame 資訊完成影片。相對的，解碼端影像穩定器則為將影片 端切成 Frame 資訊後再進行影像穩定，這種方式會要考量演算法是 否同時刻涉及不同取樣時間的 Frame 資訊做運算，但會因此有多出 影片切割和重新壓製的耗時負擔。