行政院國家科學委員會專題研究計畫成果報告
建 立 於 形 態 補 償 的 視 訊 壓 縮
Video compression by shape compensation
計 畫 編 號 ： NSC 89-2213-E-110-023
執 行 期 限 ： 88 年 08 月 01 日 至 89 年 07 月 31 日
主 持 人 ： 周 本 生 中 山 大 學 電 機 系 副 教 授
一 、 中 文 摘 要 形 態 學 是 將 影 像 中 的 物 體 當 成 一 個 集 合，在 數 位 形 態 學 中 的 集 合 可 明 顯 的 表 現 出 黑 白 或 灰 階 影 像 的 形 狀 。在 形 態 學 運 算 中，主 要 是 由 影 像 本 身 及 結 構 元 素 兩 者 作 運 算。綜 觀 形 態 濾 波 器 的 特 色 在 於 改 變 形 狀 及 運 算 簡 單 快 速 。在 動 態 影 像 壓 縮 中，還 原 影 像 因 為 量 化 之 程 序 可 能 會 產 生 失 真 及 變 形，於 是 我 們 提 出 了 在 動 態 影 像 壓 縮 後 ， 再 對 影 像 做 形 態 補 償 [1]，以 改 善 影 像 品 質。最 後 經 由 實 驗 證 明，形 態 補 償 確 實 能 達 到 改 進 影 像 品 質 之 效 果 。 關 鍵 詞：位 移 補 償 ;形 態 補 償 ;形 態 濾 波 器 Ab st r a ctThe shape transformation in this project is coded by the kinds of morphological operations to be applied. This processing is a type of operation by which the spatial form or structure of objects within an image are modified. A simplified gray morphological operation by finding the extreme value in the masked neighborhood is proposed for the shape compensation operation. The advantage of mask operation is thus kept for our gray image processing. In dynamic image compression, the error can be introduced in the quantization process. We suggest to do the morphological compensation after finishing the motion compensation in order to get the best morphological filter for the best compensation that is the purpose of the plan.
K eywor d s:motion compensation,
motion compensation, morphological operator 二 、 緣 由 與 目 的 隨 著 通 訊 事 業 的 蓬 勃 發 展，對 於 動 態 影 像 我 們 不 僅 要 求 要 有 高 的 壓 縮 率，也 希 望 同 時 有 高 的 視 訊 品 質 ， 我 們 希 望 在 動 態 影 像 壓 縮 處 理 內 加 入 少 許 資 訊 後，即 使 在 相 同 的 壓 縮 率 下 亦 能 達 到 更 好 的 視 訊 品 質 。 形 態 學 (morphology) 這 個 詞 通 常 是 指 研 究 動 物，以 及 設 備 的 形 狀 和 結 構 的 述 物 學 的 一 個 分 支。而 數 學 形 態 學 是 抽 取 對 表 示 和 描 述 區 域 形 狀 有 用 的 影 像 分 量 的 一 種 工 具。在 實 際 運 用 上 形 態 影 像 處 理 對 於 抓 出 形 狀 特 徵 ，如 角、邊 或 細 化 圖 形 得 到 簡 單 的 骨 幹 線 條 特 別 有 效，所 以 已 成 功 地 應 用 在 工 業 檢 測 [2]上。又 由 於 其 處 理 形 狀 變 化 的 特 長，也 廣 泛 的 應 用 到 醫 學 影 像 如 細 胞 的 個 數 ， 心 室 的 變 化 [3,4]。 “ 位 移 補 償 ” [5,6] 的 原 理 來 壓 縮 連 續 影 像 在 時 間 上 的 多 餘 資 訊。我 們 以 區 塊 為 單 位，藉 著 位 移 估 測 在 參 考 畫 面 中 相 對 位 置 的 某 一 範 圍 內 找 尋 出 最 相 近 的 區 塊，並 記 錄 此 位 移 向 量，還 原 時 即 可 透 過 這 些 位 移 向 量 從 參 考 畫 面 中 找 到 對 應 的 區 塊。但 因 為 往 往 還 原 之 後 影 像 變 形、扭 曲、或 者 我 們 希 望 還 原 影 像 能 夠 得 到 更 好 的 品 質 ， 因 此 我 們 就 提 出 了 “ 形 態 補 償 ” 的 觀 念，利 用 形 態 濾 波 器 來 修 飾
2 還 原 後 的 影 像 。 再 者，在 動 態 影 像 壓 縮 處 理 過 程 中，因 一 般 動 態 影 像 標 準 皆 在 位 移 估 測 之 後 ， 再 對 誤 差 資 訊 進 行 DCT 轉 換 及 量 化 。而 經 過 量 化 的 程 序 後，再 解 碼 還 原 所 得 的 影 像 會 造 成 失 真 與 變 形，嚴 重 的 程 度 端 視 量 化 時 的 粗 糙 精 細 與 否 。在 本 計 畫 中，我 們 在 做 完 DCT 轉 換 與 量 化 後 再 加 上 形 態 濾 波 器，目 的 是 為 了 消 除 量 化 後 的 失 真 ， 以 求 影 像 的 盡 善 盡 美 。 三 、 研 究 方 法 形 態 濾 波 器 的 特 色 決 定 在 其 核 心 (kernel)，但 核 心 太 多 且 複 雜，所 以 需 對 核 心 去 做 簡 化 基 底 (basis)[7]．然 而 對 於 灰 階 影 像，灰 階 權 重 視 窗 的 值 包 含 0∼ 255，其 結 構 元 素 太 複 雜 且 選 民 的 決 定 並 不 容 易，我 們 以 切 片 方 法 來 解 決 選 民 問 題 。 ( 1 )一 種 簡 單 的 灰 階 形 態 濾 波 器 我 們 先 由 灰 階 擴 張 運 算 看 起 ， 擴 張 運 算 可 表 為 下 式 ： ) 1 . 3 ( } ) , ( ; ) ( ), ( | ) , ( ) , ( max{ ) , )( ( Λ Λ B A x y D D y t x s y x B y t x s A t s B A ∈ ∈ − − + − − = ⊕ 我 們 發 現 只 要 令 B(x,y)為 下 式 的 話 = ) , (x y B 0,-a<x<a,-b<y<b -∞ ,otherwise ， 則 (3.1)式 就 可 變 為 ) 2 . 3 ( } ) , ( ; ) ( ), ( | ) , ( max{ ) , )( ( Λ Λ Λ Λ B A x y D D y t x s y t x s A t s B A ∈ ∈ − − − − = ⊕ 式 (3.2)正 好 是 遮 罩 運 算 ， 所 以 在 灰 階 形 態 補 償 時，我 們 均 採 用 上 式 的 特 例 。 現 在 以 一 個 實 際 例 子 來 說 明 式 (3.2)如 何 進 行 遮 罩 運 算 。 【 例 】擴 張 運 算：輸 入 視 窗 被 遮 罩 罩 到 之 點 取 其 最 大 值 為 輸 出 點 。 97 98 99 100 101 102 103 104 105 1 0 1 1 1 0 0 0 1
I
♁A
=105
( 2 )以 切 片 方 法 解 決 選 民 問 題 由 於 灰 階 影 像 可 以 是 為 一 連 串 二 階 影 像 的 集 合，故 我 們 就 想 到 了 利 用 切 片 的 方 法 來 解 決 因 為 複 雜 的 輸 入 視 窗 造 成 選 民 決 定 不 易 的 問 題，以 下 即 為 我 們 的 做 法 ： 從 0 開 始 取 基 準 點 ， 在 3×3 之 輸 入 視 窗 內 之 點 ， 大 於 基 準 點 則 視 為 1， 反 之 為 0， 而 目 標 點 也 是 一 樣，如 此 一 來 我 們 就 可 以 得 到 跟 二 階 影 像 相 同 之 選 民 及 其 喜 好 的 關 係。做 完 一 個 基 準 點 之 後 即 將 基 準 點 加 1 並 重 複 上 面 的 做 法 一 直 到 基 準 點 等 於 255 為 止。如 此，我 們 便 建 立 一 個 灰 階 影 像 的 機 率 表，而 且 還 可 選 出 最 佳 濾 波 器 而 不 必 對 現 有 之 二 階 系 統 做 大 幅 更 動，利 用 上 面 的 做 法，必 須 對 每 一 輸 入 視 窗 及 目 標 點 作 256 次 切 片 。 (3)灰 階 切 片 之 理 論 證 明 要 證 明 集 合 及 函 數 之 相 通 性 ， 我 們 證 明 了 (3.3)式 成 立 。 定 義 D(f,g)=max{gx+ f(x):x∈Df} 對 任 何 之 信 號 f 和 g ， ) 3 . 3 ( ]) [ ], [ ( [ ) , (f g S D U f U g Λ Λ Λ Λ D = ) 上 式 的 D 是 代 表 灰 階 之 擃 張 運 算，而 U 就 是 unbra transform [8](U[f]={(x,y)|x∈Df,y≤ f(x)})， S 則 代 表 −1 U 。 接 下 來 說 明 為 何 灰 階 切 片 是 正 確 的 。 假 設 f 及 g 為 兩 灰 階 函 式 ， ] [f U 及U[g]分 別 為 f 及 g 的 unbra transform，由 於U[f]已 為 集 合 形 式 ， 故 可 以 為 它 作 抽 樣，在 這 裡 我 們 用 的 是 切 片 的 觀 念 對U[f]抽 樣，假 設 所 有 切 片 為 (X1,X2,X3,...)， 所 以U[f]= .... 3 2 1∪X ∪X ∪ X ，U[g]為 所 使 用 之 遮 罩 濾 波 器 ， 則 D(X1,U[g])， ]) [ , 2 (X U g D ， D(X3,U[g])… 就 可 視 為 對 每 一 切 片 作 擴 張 運 算 之 結 果，所 以 ) 4 . 3 ( ]) [ ], [ ( ]) [ , 3 2 1 ( ]) [ , 3 ( ] [ , 2 ( ]) [ , 1 ( Λ Λ Λ Λ Λ Λ Λ Λ Λ Κ Κ g U f U D g U X X X D g U X D g U X D g U X D = ∪ ∪ ∪ = ∪ ∪ ∪ 式 (3.4) 說 明 了 所 有 切 片 分 別 跟 結 構 元 素 U[g] 作 擴 張 運 算 之 後 再 取 聯 集，所 得 之 結 果 會 跟U[f]直 接 跟U[g] 作 擴 張 運 算 一 樣，證 明 了 切 片 之 做 法 mask是 正 確 的 。 在 (5.3) 式 中 ， 我 們 可 以 發 現，若 集 合 形 式 之 結 構 元 素U[g]跟 ] [f U 作 擴 張 運 算 為 最 佳 之 結 果，則 其 反 轉 換 g 及 f 作 擴 張 運 算 也 為 最 佳 之 結 果，這 也 證 明 由 切 片 所 建 機 率 表 選 出 之 濾 波 器 確 實 為 最 佳 的 。 最 後 ， 我 們 就 對 灰 階 建 機 率 表 之 過 程 作 一 整 理 ： 四 、 實 驗 結 果 我 們 對 150 張 打 桌 球 (stennis) 作 測 試 ， 對 其 做 MPEG 編 碼 和 加 入 我 們 的 方 法 作 比 較 ， 其 結 果 如 下 ： 整 體 平 均 ： (1)Motion MAE/pix el=7 SNR=27.9 (2)Motion+Shape MAE/pix el=6.54 SNR=28.53 由 實 驗 結 果 知 ， 在 加 上 形 態 補 償 後 ， 我 們 的 方 法 有 比 MPEG 還 要 好 。 由 於 在 選 擇 濾 波 器 上 佔 掉 了 編 碼 許 多 時 間 並 且 提 出 了 減 少 濾 波 器 的 方 法 ，在 這 裡 可 以 做 個 驗 證，以 下 即 為 結 果 。 濾 波 器 數 目 MAE/pixel SNR/pixel (db) 花 費 時 間 (sec) 285 4.202 33.23 175 64 4.205 33.23 135 32 4.219 33.21 130 16 4.233 33.19 127 表 4.1 不 同 數 目 濾 波 器 之 統 計 結 果 (ste nnis) 在 壓 縮 率 面 ： 灰階函式 Unbra transform 二維集合 集合抽樣 (選民) 機率表 (選民的分布) 切片 圖 4.1(上)原始影像：stennis.74.yuv (中)經由位移補償後之還原影像 Motion Motion+shape 0 5 0 1 0 0 1 5 0 4 5 6 7 8 9 1 0 1 1 M A E p e r p ix e l 圖 4.2 全程的 MAE/pixel 曲線分布(stennis) Motion Motion+shape 0 5 0 1 0 0 1 5 0 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 S N R 圖 4.3 全程的 SNR 曲線分布(stennis)
4 在 全 像 素 和 半 像 素 方 面 ： 五 、 結 論 由 於 動 態 影 像 壓 縮 的 位 移 補 償 、 DCT 及 量 化 會 對 影 像 造 成 失 真 ， 在 我 們 加 入 形 態 補 償 後 ， 以 改 善 這 些 失 真 ， 使 影 像 品 質 更 好 。 由 實 驗 知 ， 在 低 品 質 之 影 像 ， 形 態 補 償 之 效 果 較 高 品 質 之 影 像 為 佳 ，我 們 可 以 由 兩 種 參 數 看 起：一 是 PQSCALE 的 大 小 ， 二 為 使 用 全 像 素 或 半 項 素 搜 尋 。 PQSCALE 越 大 時 壓 縮 率 高，但 相 對 的 失 真 跟 變 形 狀 況 也 會 增 加，此 時 形 態 補 償 正 好 可 以 發 揮 其 改 進 形 狀 的 優 點，修 正 變 形 影 像；相 反 的 在 PQSCALE 越 小 時，由 於 還 原 影 像 品 質 已 經 非 常 好，改 善 之 空 間 不 大 ， 所 以 形 態 補 償 雖 然 有 改 進，但 幅 度 就 沒 有 那 麼 高。全 像 素 搜 尋 改 善 幅 度 較 半 像 素 搜 尋 高 的 理 由 也 是 一 樣，故 不 再 重 複 。 在 圖 4.5 之 壓 縮 率 與 MAE/pixel 的 關 係 曲 線 中，32 組 濾 波 器 與 285 組 濾 波 器 之 曲 線 幾 乎 為 重 合，這 表 示 濾 波 器 較 少 ，誤 差 就 會 增 大，但 是 由 於 資 料 量 少 所 以 壓 縮 率 就 會 較 高；相 反 的 ， 濾 波 器 數 量 較 多 ， 誤 差 就 會 減 低 ，但 壓 縮 率 較 低。可 是 濾 波 器 少 還 有 一 項 優 點 ，那 就 是 時 間 的 減 少，所 以 在 應 用 上 32 組 濾 波 器 是 較 為 實 用 的 。 六 、 參 考 文 獻 [ 1 ] R a fa e l C . G o n z a l e z a n d R i c ha r d E . W o o d s , “M o r p h o l o g y”, D i g i t a l I ma g e P r o c e s s i n g I ma g e , C o p yr i g h t 1 9 9 2 b y Ad d i s o n W e s l e y P u b l i s h i n g C o mp a n y, I n c , p 5 1 8 -p 5 4 8 .
[2]Jain,A.K.Fundamentals of Digital Image Processing, Prentice-Hall,Englewood Cliffs,N,J,1989
.[3]Sperry R.H.and Parker K.J. “Segementation of speckle images based on levelcrossing statistics” J.Opt.Soc.AM.A/vol.8,No.3/March 1991, pp.490-498.
[4]Klinger J.W.,Vaughan,C.L.and Andrews L.T. “
Segmentation of echocardiographic images using mathematical morphology”, IEEE Trans.on Biomedical engineering , vol.35, NO.11, NOV. 1988, pp925-933
[5]Ram Srinivasan and K. R. Rao, "Rredictive Coding Based on Efficient Motion Estimation," IEEE Trans. On Commun., Vol. COM-33,No.8, pp.888-896, Aug.1985.
[6]S.Kappagantula and K. R. Rao,"Motion Compensated Interframe Image Predicition, " IEEE Trans. On Commun.,Vol.COM-33,No.9,pp. 1011-1015, Sep.1985. [ 7 ] C h a r l e s R . G i a r d i n a a n d E d wa r d R . D o u n g e r t y, “B a s i s fo r K e r n a l ”, M o r p h o l o g i c a l M e t h o d s i n I ma g e a n d S i g n a l P r o c e s s i n g , P r e n t i c e H a l l , E n g l e wo o d C l i ffs , N e w J e r s y 0 7 6 3 2 . p 1 4 2 -p 1 4 6 . [ 8 ] C h a r l e s R . G i a r d i n a a n d E d wa r d R . D o u n g e r t y, “U mb r a t r a n s fo r m”, M o r p h o l o g i c a l M e t h o d s i n I ma g e a n d S i g n a l P r o c e s s i n g , P r e n t i c e H a l l , E n g l e wo o d C l i ffs , N e w J e r s y 0 7 6 3 2 . p 1 7 4 -1 8 -1 . 2 0 4 0 6 0 8 0 1 0 0 1 2 0 1 4 0 1 6 0 4 4 .5 5 5 .5 6 6 .5 7 M A E p e r p ix e l M otion+Shape(285 filters) M otion+Shape(32 filters) M otion 圖 4.4 壓縮率與 MAE/pixel 的關係曲線 5.8 6 6.2 6.4 6.6 6.8 7 MAE/pixel(full) MAE/pixel(half) Motion+Shape(285 filters) Motion+Shape(32 filters) Motion 6.54 6.63 7 6.25 6.29 6.41 圖 4.5 全像素和半像素之比較
