行政院國家科學委員會專題研究計畫 成果報告
應用於 DVR 系統之即時視訊畫面防震穩定技術
研究成果報告(精簡版)
計 畫 類 別 ： 個別型 計 畫 編 號 ： NSC 97-2622-E-151-011-CC2 執 行 期 間 ： 97 年 12 月 01 日至 98 年 11 月 30 日 執 行 單 位 ： 國立高雄應用科技大學電子工程系 計 畫 主 持 人 ： 陳昭和 共 同 主 持 人 ： 陳聰毅 計畫參與人員： 碩士班研究生-兼任助理人員：陳玠儒 碩士班研究生-兼任助理人員：劉頂昌 碩士班研究生-兼任助理人員：黃啟銘 碩士班研究生-兼任助理人員：蔡文偉 博士班研究生-兼任助理人員：張力元 博士班研究生-兼任助理人員：楊弘宇 處 理 方 式 ： 本計畫涉及專利或其他智慧財產權，研究成果報告(精簡版)2 年後可公開查詢中 華 民 國 99 年 02 月 19 日
國科會補助提升產業技術及人才培育研究計畫成果精簡報告
學門領域：E0807:
影像處理
計畫名稱：應用於DVR系統之即時視訊畫面防震穩定技術
計畫編號：NSC97-2622-E-151-011-CC2
執行期間：
97 年 12 月 01 日至 98 年 11 月 30 日
執行單位：國立高雄應用科技大學／電子工程系
主 持 人：陳昭和
參與學生：
姓 名
年 級
(大學部、碩士
班、博士班)
已發表論文或已申請之專利
(含大學部專題研究論文、碩
博士論文)
工作內容
張力元
博士生
規劃演算法流程
楊弘宇
博士生
演算法模擬驗證
陳玠儒
碩士生
碩士論文, 研討會發表
主程式設計、修改
劉頂昌
碩士生
整合測試
黃啟銘
碩士生
樣本擷取
蔡文偉
碩士生
程式設計偵錯
*部分相關研究成果已發表於國際學術研討會:
[1] “Video Stabilization Method Based on Motion Compensation”, The 4th Intelligent Living Technology Conference, Taichung, Taiwan, June 5, 2009. (pp. 1621-1626)
[2] “Real-Time Video Stabilization Based on Motion Compensation,” IEEE 2009 International
Conference on Innovative Computing, Information and Control (ICICIC-09), Kaohsiung,
Taiwan, December 7-9, 2009. (PID979174)
合作企業簡介:
合作企業名稱：滿景資訊股份有限公司
計畫聯絡人：劉誠傑(協理)
資本額：1,000 萬元
產品簡介：數位監控產品暨其軟體
網址：http://www.huperlab.com 電話：(02)25994041; (06)2003126
[研究摘要]
環境的外力因素對於影像輸入擷取裝置(例如,攝影機)的震動或搖晃，會造成畫面不穩定 現象，此外力因素諸如: 重型行車震動、風吹晃動、人為震動等因素，造成視訊畫面的不穩 定，對於人的視覺感知是相當不舒服的，亦可能造成資訊的運算錯誤，對現存的影像處理演 算法，不僅會增加處理上的複雜度，降低數位資料的壓縮比，導致後續電腦視覺處理的誤判， 更甚者會導致整個數位監錄系統(DVR, Digital Video Recorder)的監錄失真與不安全。然而目前 國內企業尚未具有針對 DVR 即時穩定畫面之相關產品，而對有關即時畫面穩定技術的研究報 告文獻，則能找到的非常稀少，故本計劃將研發一種用於數位監錄系統前端畫面處理技術， 有效防止不預期的監錄畫面不穩定，以利後續監錄資訊處理，主要技術原理是處理視訊(Video) 的晃動畫面調整與晃動區域補償，非僅止於影像(Image)單張的模糊調校，本計畫研究方法主 要包含: 取得絕對背景、動態取得量測區塊、取得畫面個別區塊晃動量、求得整體畫面晃動 量、非邊緣區域畫面調整、邊緣區域背景之補償、邊緣區域移動物補償、顯示調校之畫面， 主要原理是根據畫面晃動型態分析並計算出畫面晃動量，再以偵測區塊配合區塊匹配而完成 晃動補償，而提出一種即時有效晃動消除演算法。本視訊穩定技術除了使用於一般數位監錄 系統以提供視訊畫面穩定輸出之外，並可應用至道路交通攝影監控的系統中(重型車道路行駛 車震)與一般行車錄影系統(車行駛中震動)，以利攝取高品質圖像訊息而完整記錄行車過程， 故可提昇 DVR 公司產品之技術水準與產品之附加價值，及強化其國際競爭力。
[人才培育成果說明]
本計畫不僅能幫助產業產品及技術的發展，也在人才培訓方面有所助益，參與此計畫之 工 作 人 員 可 充 分 熟 悉 影 像 / 視 訊 處 理 的 相 關 技 術 暨 知 識 ， 且 可 將 課 堂 所 學 的 影 像 處 理 （Image/Video Processing）及移動偵測暨補償（Motion Estimation & Compensation）相關理論， 驗證於實作作品，並從中學習到問題的分析與解決的能力，進而可獲得寶貴的影像處理實務 經驗，對於投入相關產業之研發或繼續深造都有相當大的幫助。藉此計畫之執行，公司將可 培訓出一個熟悉電腦視覺處理及視移動偵測暨補償技術之團隊。
[技術研發成果說明]
本計畫將建制於數位監視錄影系統上，除了保留有原本 DVR 系統的功能，並提供全天 候即時視訊畫面防震穩定功能。本計畫採用 CCD camera 拍攝影像序列，攝影機拍攝資料如 表 1 所示；電腦採集影像品質為 320x240 之解析度，頻率設為每秒 30 張，以 Microsoft Visual Studio 為開發環境，並在 Intel(R) Core(TM)2 6300 1.86GHz 電腦中操作及 2G 記憶體之電腦上 完成。下圖一為視訊 1-市區道路 1 經校正後穩定之畫面，下圖二為視訊 2-市區道路 2 經校正 後穩定之畫面，下圖三為視訊 3-街道經校正後穩定之畫面。 表 1、測試影片詳細規格 名稱 視訊 1-市區道路 1 視訊 2-市區道路 2 視訊 3-街道 實際 畫面 解析度 320*240 320*240 320*240
格 式 AVI AVI AVI
(a) (b) 圖一、視訊 1-道路: (a)校正前畫面; (b)校正後畫面 (a) (b) 圖二、視訊 2-市區: (a)校正前畫面; (b)校正後畫面 (a) (b) 圖三、視訊 3-街道: (a)校正前畫面; (b)校正後畫面
[技術特點說明]
1、方法流程圖 本計畫所提出的使用移動補償以消除視訊畫面晃動方法之流程圖如圖四所示，主要作法 為將一個不穩定的視訊畫面，根據畫面與畫面間既有的資訊及區塊變化性，選擇特徵區塊以 計算區塊晃動位移向量來修正視訊畫面，進而達到視訊即時處理的效能。 圖四、視訊畫面穩定方法之流程圖 2、定義觀察區塊 本計畫以20 20× 像素為一個區塊單位，畫面上下左右各留 20 像素之範圍作為補償區域， 再向內留 20 像素之範圍當作搜尋保護區域，此法可避免畫面因過大的晃動而造成無法搜尋到 相似的區塊，同時在畫面中間定義九個觀察區塊，如圖五(a)所示，其中 L1 為補償區域，L2為搜尋保護區域，L3 範圍中紅色區塊則為觀察區塊。為了降低水平移動物或垂直移動物連續 地在畫面出現而導致過多觀察區塊受到影響之現象，因此，必須避免九個觀察區塊位於同一 水平線上或同一垂直線上，如圖五(b)所示，橘色箭頭為水平移動物，紫色箭頭為垂直移動物， 若多個觀察區塊位於同一水平線上或同一垂直線上，則易導致多個區塊受到移動物影響。所 以為了降低移動物對觀察區塊的影響，故以水平方向或垂直方向微調將近的觀察區塊，錯開 觀察區塊之水平位置與垂直位置，如圖五(c)所示，淡紅色是修正前觀察區塊，藍色是修正後 觀察區塊，區塊 1 上下左右移動不得與區塊 2 和區塊 4 重疊，區塊 5 則不能與區塊 2、4、6 及 8 重疊，圖中箭頭為假設移動物行經方向，區塊 1 遭垂直移動物覆蓋而不會影響到觀察區 塊 4，區塊 7 遭水平移動物覆蓋而不會影響到觀察區塊 8。 (a) (b) (c) 圖五、(a)畫面區域分布暨觀察區塊; (b)侵入示意圖; (c)調整後之觀察區塊 3、區塊種類分析 適當的觀察區塊是視訊穩定處理過程中最重要的一環，錯誤的觀察區塊除了無法改善晃 動畫面之外，甚至會讓畫面變的更加不穩定，故本計畫先行篩除不合格的觀察區塊，其中不 合格的觀察區塊可分為兩種： 3.1、無特徵區塊 無特徵區塊中之像素值通常都很接近，如馬路、天空、圍牆等場景之區塊，由於區塊彼 此之間的色彩相近，容易導致區塊匹配與區塊補償處理的錯誤，造成視訊的不穩定，如圖六 所示。
(a) (b) 圖六、無特徵區塊: (a)路面; (b)天空 3.2、移動物區塊 視訊畫面可分為背景和移動物(前景)，晃動的畫面中通常除了整個畫面的晃動量外，同 時也包含移動物的移動向量，故在選擇觀察區塊時，需要避免選擇到有移動物的區塊，否則 將因移動物的移動向量而誤判畫面的晃動量，圖七(a)及圖七(b)為觀察區塊中有移動物之情 形。 (a) (b) 圖七、觀察區塊有移動物之示意圖。 4、特徵區塊篩選 對於無特徵區塊，本計畫使用像素值直方圖分析來篩選出候選特徵區塊。首先將每一個 像素正規化(normalization)成 0 至 25 共 26 等級，分別累計每一個等級的像素數量，其中若有 某一等級的像素數量超過區塊總像素數量的一半，則標記為無特徵區塊，如表 2 所示，表 2 為視訊樣本道路之九個觀察區塊的分析資料，區塊 2 即為無特徵區塊。 對於有移動物的區塊，本計畫根據視訊畫面彼此之間的時間域關聯性，推導方程式(1)以 判斷觀察區塊是否有移動物出現，當畫面中有移動物進入觀察區塊範圍的時候，則相鄰畫面 之觀察區塊的相減後差值會變大。
(
)
1(
)
1 1 1 , , M N AVG i i m n Diff B m n B m n MN = = − =∑∑
− (1) 其中 M N× 為畫面的大小，B 為當前視訊畫面，i Bi−1為前一張視訊畫面。圖八為觀察區塊有 移動物進入後之相鄰畫面差值變化。表 2、觀察區塊篩選條件比較表 區塊 等級中最高像素數量 有無移動物入侵 有無特徵 判定結果 區塊選擇 1 52 0 1 0 2 400 0 0 0 3 57 1 1 1 4 48 0 1 0 5 39 0 1 0 6 55 1 1 1 V 7 111 0 1 0 8 143 1 1 1 9 139 0 1 0 排除沒有特徵的區塊之後，只要再避免候選特徵區塊出現移動物此一現象，即可得到修 正晃動視訊畫面依據的特徵區塊。如表 2 所示，區塊 2 內像素相似性太高，表示此一區塊的 紋理內容單純，容易受到外在因素干擾，例如雜訊干擾，所以不將其當作候選特徵區塊，此 外，雖然區塊 7、區塊 8 及區塊 9 內像素相似性不高，但此三區塊的紋理內容相對於區塊 1、 區塊 3、區塊 4、區塊 5 及區塊 6 而言，仍是較為單純，因此，在特徵區塊的篩選上會以區塊 1、區塊 3、區塊 4、區塊 5 及區塊 6 優先；接著再從區塊 1、區塊 3、區塊 4、區塊 5 及區塊 6 中考量區塊內移動物出現的頻率，表 2 中以「0」表示移動物出現頻繁，反之則以「1」表 示，結果發現區塊 3、區塊 6 及區塊 8 內移動物出現的頻率較低，然而區塊 6 的紋理內容比 區塊 3 及區塊 8 更多元化，故選擇區塊 6 為修正視訊畫面晃動的特徵區塊。 另外，若視訊畫面的移動物過多，導致所有觀察區塊內移動物出現頻率過於頻繁，為了 避免造成系統的判斷錯誤，本計畫將不做任何處理，直接將畫面輸出。 圖八、移動物進入觀察區塊後之相鄰畫面差值變化 移動物進入 移動物部分侵入 無移動物 移動物離開
5、畫面校正 本計畫將原始視訊畫面上下左右α 個像素之範圍作為補償區域，如圖九所示，搭配方程 式(2)進行視訊畫面的校正。
( )
,(
,)
i i F x y =F x+α y+α (2) 其中F x y 為校正後畫面，i( )
, F xi(
+α,y+α)
則為校正後畫面。 α α α α (a) (b) 圖九、(a)視訊畫面校正示意圖; (b)實際視訊畫面校正示意圖 圖九(b)中淺藍色為視訊畫面補償區域，中間區域為顯示區域。[可利用之產業及可開發之產品]
本計畫發展出來之即時視訊畫面防震穩定技術配合數位視訊監錄(DVR)系統可廣泛地運 用在各產業當中，例如：娛樂休閒產業（如：遊樂場、百貨公司、飯店、量販店…等）、交通 運輸產業（如：機場、車站、港口）、保全行業、一般道路（平面道路、地下道、高速公路）… 等等，進而開發出功能更完整的視覺監控系統，除此之外，本計畫之畫面防震穩定技術亦可 擴展應用於數位錄影機，避免拍錄時因手部不穩而造成影像畫面晃動的現象; 本視訊穩定技 術並可應用至一般行車錄影系統，以利攝取高品質圖像訊息而完整記錄行車過程，故可提昇交通監控與行車錄影相關公司產品之技術水準與產品之附加價值，及強化其國際競爭力。
