半破碎型視訊浮水印應用於H.264視訊壓縮資料之認證與復原

行政院國家科學委員會專題研究計畫 成果報告

半破碎型視訊浮水印應用於 H.264 視訊壓縮資料之認證與

復原

研究成果報告(精簡版)

計 畫 類 別 ： 個別型

計 畫 編 號 ： NSC 97-2221-E-151-042-

執 行 期 間 ： 97 年 08 月 01 日至 98 年 07 月 31 日

執 行 單 位 ： 國立高雄應用科技大學電子工程系

計 畫 主 持 人 ： 陳聰毅

共 同 主 持 人 ： 陳昭和

計畫參與人員： 碩士班研究生-兼任助理人員：王冠鈞

碩士班研究生-兼任助理人員：林宜龍

報 告 附 件 ： 出席國際會議研究心得報告及發表論文

處 理 方 式 ： 本計畫可公開查詢

中 華 民 國 98 年 10 月 16 日

行政院國家科學委員會補助專題研究計畫

■ 成 果 報 告

□期中進度報告

半破碎型視訊浮水印應用於 H.264 視訊壓縮資料

之認證與復原

計畫類別：■ 個別型計畫

□ 整合型計畫

計畫編號：NSC 97-2221-E-151-042

執行期間：2008 年 8 月 1 日 至 2009 年 7 月 31 日

計畫主持人：陳聰毅

共同主持人：陳昭和

計畫參與人員：林宜龍、王冠鈞

成果報告類型(依經費核定清單規定繳交)：■精簡報告

□完整報告

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

■出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、

列管計畫及下列情形者外，得立即公開查詢

□涉及專利或其他智慧財產權，□一年□二年後可公開查詢

執行單位：

中

華

民

國

98

年

10

月

12 日

摘要：

本計劃之做法係將浮水印藏入 Intra Frame (I-Frame)之中，而藏在 Intra Frame 之

浮水印，在抗壓縮能力上所面臨的最大挑戰是 Intra Prediction 的變化。從實際的研究觀

察中可以發現藏入浮水印後，面對再一次壓縮之中 Intra Prediction 的變化，不同的 AC

係數所受的影響程度並不相同。因此浮水印的藏入不能任意修改 AC 係數。必須考量 H.264

本身的壓縮程序與 AC 係數的關係，限定浮水印可藏入哪些 AC 係數之中，否則對畫質影響

過大，且浮水印可能無法承受再一次的壓縮。

本計劃所提之方法，即是一種可以承受 Intra Prediction 變化的浮水印藏入機制。依

實驗結果顯示，本方法之浮水印可以承受多重壓縮所造成的損失，且維持相當高的影像品

質。

(一)

前言

H.264 為新一代視訊壓縮標準，能達到編碼效率的增加和極佳的視訊品質，並有強韌

的抗錯機制，同時不增加運算的複雜度，廣泛使用於不同的位元率、解析度並且在各種網

路和系統上播放，也使得第三代行動通信標準組織，將選擇 H.264 作為第三代行動通信網

路的視訊服務標準之一。

為了達到認證效果，基於視覺影像的浮水印研究[4]，就有其必要性，而浮水印之不可

視性[12]對於要求視覺品質的壓縮系統來說，便顯得格外重要。本研究以 H.264 視訊壓縮

標準，結合視訊浮水印技術來設計專門適合 H.264 之視訊浮水印技術。透過 H.264 視訊壓

縮，以本文所提出的視訊浮水印嵌入浮水印資訊，可以有相當高的不可視性，而浮水印本

身亦可容忍多次視訊壓縮所造成的損失。在本論文中，將在第二章介紹視訊浮水印的相關

研究。第三章概述 H.264 中 Luminance Intra Frame 的產生流程及各個步驟的特性。第四

章提出浮水印嵌入及取出的演算法。第五章說明本方法的實驗結果。第六章說明結論與未

來工作的方向。

(二)

研究目的

隨著電子產品的發展與應用，數位監控系統在影像的品質或者監控的功能各方面都有

大幅度的進步，並且可以透過網路將資料及時傳送到遠端的安全儲存空間存放，以提昇資

料的管理及維護。H.264 壓縮標準正是一種適合網路傳輸的新穎壓縮標準。對於 H.264 壓

縮後的視訊資料，其資料真實性的確保就成了眼下一個重要的課題。為此目的，可藉由浮

水印資訊的藏入、取出來驗證其資料的真實性。

目前，關於植基於 H.264 壓縮標準的浮水印技術，已有漸增的趨勢，顯見此需求的重

要性逐漸受到重視。但是概觀現有的 H.264 浮水印技術，普遍都有其瑕疵，其原因可能多

半緣自對 H.264 壓縮環境的考量不夠完備所致。有鑒於此，本計畫期望能提出針對 H.264

壓縮環境有完整考量的浮水印技術。

(三)

文獻探討

目前提出適用於視訊壓縮的浮水印中，基於 H.264 壓縮標準的浮水印嵌入方式大致可

分成兩種：1.將浮水印嵌入在視訊壓縮的 Intra Frame；2.將浮水印嵌入在 Inter Frame

中的移動向量。

1.

將浮水印嵌入在視訊壓縮的 Intra Frame：

Yin-Ting Lin[13]所提出的是嵌入在 Intra Frame 量化後 MB(Macro-block)中的 4×4

區塊，先將做完 4×4 integer DCT 轉換並量化後的 4×4 Block 中的 AC 係數，做區塊分頻編

號(Block Sub-band Index)，再將要藏入的浮水印藉由區塊分頻編號(Block Sub-band Index)

提供的資訊，使用係數調變(Coefficient Modulation)的方法來達到藏入浮水印。

2.

將浮水印嵌入在 Inter Frame 中的移動向量：

Gang Qiu 在[5]所提出的利用限定半像素移動向量位置來隱藏破碎性浮水印，再結合

第一種方法，在 Intra Frame 的每一 MB 中，選擇一個高頻係數，依據目前要嵌入的浮水印

位元，令此高頻係數是否為零來嵌入強健性的浮水印。

修改移動向量，易造成視訊品質下降，而且 Inter Frame 的 block 大小是相當具有可

適性的，因此每個畫面所劃分的區塊數量不見得是相同的。對於浮水印嵌入來說，可藏入

的浮水印資訊量就變得不易掌控，使得整個浮水印技術顯得複雜且不牢靠。

(四)

研究方法

針對 H.264 壓縮標準的特性，可歸納出兩個對於浮水印藏入有重大影響的問題：

1.

壓縮過程會造成數值變動。在 I-Frame 的處理程序中，除了 Intra Prediction 之外，

其餘每個步驟（RGB to YCbCr、DCT 以及量化）均會造成數值變動。所以浮水印的抗

壓縮能力首先要面對每次壓縮都可能造成數值變化的問題，而且造成誤差的因素不只

一項。

2.

Intra Prediction 的影響。Intra Prediction 雖不會造成數值變化，但可能因為其他

程序所導致的數值變動，使得另一次的壓縮程序採用不同的 Intra Prediction 方式。

Intra Prediction 可視為濾除一個 block 主要紋理的做法，不同的預測方式在經過 DCT

之後，將產生截然不同的 AC 係數。

對於壓縮過程會造成數值變動所產生的問題，本研究針對以下 3 種浮水印藏入方式做

探討：

1.

以數值表示浮水印資訊。以數值表示浮水印資訊即直接以係數(包含 DC 、 AC 係

數)來表示浮水印資訊，浮水印的藏入以修改係數為某個值來表示藏入〝1〞

，或修改

成另一個數值來表示藏入〝0〞。此類作法的缺點主要在於無法承受數值的變動。雖

然這類的方法為了避開量化誤差，都會將浮水印藏入設定在量化程序之後。但是影

像的篡改必然是在空間域發生，接著做存檔動作，而存檔過程必然要再經過一次壓

縮程序，因此必定會經過另一次的量化。若以絕對的數值來判定浮水印資訊，些微

的變動便可能造成浮水印遺失。

2.

以係數所在區間表示浮水印。此類作法是劃定區間，將係數透過某個運算程序，依

照運算結果所座落的區間來判定浮水印為〝0〞或為〝1〞

。這類作法主要是可以容許

些微的數值變動，但是在 H.264 中，DCT 所產生的係數值通常非常小，以致區間難

以劃定。即便劃定，可變動的量也非常小。改變的 AC 數值太小，在受到壓縮損失

後，所做的修改將失去意義，如此將失去原本抗壓縮的目的。

3.

以係數間的關係表示浮水印資訊。基於前述原因，即便加大浮水印判別的彈性，在

H.264 架構下以數值來表示浮水印資訊仍有很大問題。若仍要以數值來表示浮水印

資訊，採用多數決方式或許可行，但採用多數決就表示藏入動作需要重複做許多次，

且修改多個 AC 係數對畫面的破壞也會變的嚴重許多。因此，本研究嘗試採用另一

個浮水印表示方式：利用 AC 係數間的關係來表示浮水印資訊。所謂利用係數間的

關係來表示浮水印資訊，就是以特定 AC 係數之間的大小關係來表示浮水印資訊。

為了降低 Intra Prediction 的影響所造成的影響，本研究改以 Sub-image 的觀點重新

看待 AC 係數，而不以頻率高低來區分。

圖 1 各 AC 係數所對應之 Sub-image

圖 1 中被框起部分的 Sub-image 由於表現的紋理較複雜，而 Intra Prediction 的 9 種

方式均為單一方向，所以這幾個 Sub-image 所對應的 AC 係數較不會受到 Intra Prediction

預測方式改變的影響。相對的，修改這幾個 AC 係數也較不會影響 Intra Prediction 的預

測方式選擇。

浮水印藏入

將每個 block 右下方的 6 個 AC 係數分成 3 個 group，每個 group 包含 2 個 AC 係數，

其中較靠近左上方的定為 AC1，較靠近右下方的定為 AC2，如圖 18 所示。

圖 1、浮水印藏入位置

從這 3 個 group(共 6 個 AC 係數)找出最大的 AC 係數，得到

AC

max

。以

AC

max

所在的 group

為浮水印嵌入位置。

浮水印表示方式：

1 2 1 2

,

1

,

0

AC

AC

If W

AC

AC

If W









_

_



（1）

AC 係數修改方式：

1 max 2 1 2 max

If embed "1":

0

If embed "0":

0

AC

AC

c

AC

AC

AC

AC

c









_









_

_



（2）

c 為任意指定的數值。因為這 6 個 AC 係數可能均為 0，所以 AC

max

可能是 0，如此浮水

印藏入動作將失去意義。為避免

AC

max

為 0 無法表示浮水印資訊，所以加上一個常數值

c。

Intra Prediction DCT Quantization Watermark Embedded De-prediction IDCT De-quantization Video Frame Entropy Coding Bit Stream RGB To YCbCr

圖 2 結合浮水印嵌入之 I-Frame 處理程序

浮水印取出

同浮水印藏入的作法，從 3 個 group 中找出

AC

max

，以確認浮水印所在的 group。接著，

透過下列的判斷式確認浮水印位元是〝1〞或是〝0〞

。

1 2 1 2

1 ,

0 ,

W

If AC

AC

W

If AC

AC







 





（3）

(五)

結果與討論

5.1 多重壓縮實驗

下列的實驗結果是分別以高頻影像(Baboon)以及低頻影像(Lena)來呈現不同頻率影像

藏入浮水印的成效。以下實驗結果均設定量化係數 QP=12，

c=3。

Baboon 實驗結果：

(a)

(b)

(c)

(d)

圖 3 (a)左:原始影像； (a)右:原始浮水印影像; (b)左:浮水印嵌入後影像; (b)右:取出

的浮水印; (c)左:經歷一次壓縮後的影像; (c)右:經歷一次壓縮後的浮水印; (d)左:經歷

四次壓縮後的影像; (d)右:經歷四次壓縮後的浮水印。

Lena 實驗結果：

(a)

(b)

(c)

(d)

圖 5 (a)左:原始影像； (a)右:原始浮水印影像; (b)左:浮水印嵌入後影像; (b)右:取出

的浮水印; (c)左:經歷一次壓縮後的影像; (c)右:經歷一次壓縮後的浮水印; (d)左:經歷

四次壓縮後的影像; (d)右:經歷四次壓縮後的浮水印。

Lena 本身屬平滑影像，所以量化後的係數值一般都很小，多半是依靠常數值 c 在維持

浮水印。經過太多次壓縮損失，會導致浮水印所修改的量被消耗殆盡，因此在第四次壓縮

後之浮水印品質有陡降的情況。

5.2 不同 QP 值的實驗

在 QP 值較低的壓縮過程中，因為量化效果較差，所以 AC 值普遍較高，因此

c 值幾乎

沒有影響力。在這種情況，其實利用

ACmax 就足以表示浮水印資訊，c 值所扮演的角色就

無足輕重。而 QP 較高的壓縮所產生的 AC 係數值會偏小，這時

c 值的影響力就變大，也只

有這個時候才需發揮其避免

ACmax=0 的功能。下面兩個實驗均設定 c=3。

(a)

(b)

圖 6 (a) QP=0 執行結果； (b) QP=30 執行結果。

5.3 抗攻擊實驗

1.

Smooth filter 之影響

由於本浮水印藏入方法是將浮水印資訊藏入高頻 AC 係數中，所以對於平滑濾波器的

攻擊可以說是沒有抵抗能力的。

本實驗以 Lowpass Filter 對一張藏入浮水印後的影像做處理。

(a)

(b)

圖 7 (a) Baboon 實驗結果； (b) Lena 實驗結果。

由於 Lowpass Filter 會直接濾除高頻成份，對浮水印影響甚大。從結果來看，無論是

高頻影像或是低頻影像，浮水印資訊都被破壞殆盡。

對於 Shaping Filter 的攻擊來說，浮水印所受到的影響較小。Shaping Filter 會強化高頻

的成分，弱化低頻部份，所以對本研究的浮水印來說，其影響程度相對的較小。從實際結

果來看，浮水印雖然有破損，但仍然可以清楚辨識。以下利用 High-boost Filter 處理之結果。

(a)

(b)

圖 8 (a) Baboon 實驗結果； (b) Lena 實驗結果。

High-boost Filter 對於原本高頻的區域影響較大。因為在這些區域中，原本就可能包含

數種紋理細節，一旦經過銳化程序，各個高頻子影像的強度可能出現消長，以至於浮水印

可能遺失。

低頻區域的高頻子影像強度原本就不高，甚至完全沒有高頻成分。其中唯一的高頻子

影像強度就是為了藏入浮水印而植入的，所以經過銳化以後的子影像強度雖可能有變化，

但是 AC 係數間的關係是不易改變的，因此浮水印得以保存。

3.

Histogram Equalization 之影響

直方圖均衡化是將灰階度依照出現機率重新分配，對浮水印的影響是平均的，與影像

的細節複雜度較沒有關係。

(a)

(b)

圖 9 (a) Baboon 實驗結果； (b) Lena 實驗結果。

由上圖可看出浮水印誤判的情況在高頻與低頻的區域都可能發生，就整體結果來看，

取出的浮水印仍然都是清晰可辨的。

從實驗中可以驗證本計劃所提之浮水印技術具有下列特點：

1.

高不可視性。在所有的實驗中，雖然浮水印藏入後的 PSNR 值有些許下降，但是其變化

僅是像素值得波動，其細節紋理並無大幅改變，以視覺效果來看，其實是完全無法看

出差異的。

2.

高抗壓縮能力。在抗壓縮能力方面，藏入浮水印之影像經歷多次壓縮之後，所抽取出

的浮水印雖有部份浮水印位元抽取錯誤的情況，但圖形仍然保持相當完整。

在整個研究過程中，發現對於在 H.264 的 I-Frame 中藏入浮水印有幾個重點：

1.

壓縮造成的誤差難以避免。壓縮過程中造成數值變動的原因有很多，難以利用補償方

式來彌補誤差。因此，浮水印的藏入最好不要挑戰這個問題，應當避開這個問題可能

造成的影響。

2.

Intra Prediction 選擇方式可能改變。Intra Prediction 選擇方式出現變化，主要是

影響浮水印的抗壓縮能力。一旦預測方式改變，對於 DCT 後的係數會有嚴重的影響。

預測方式發生變化的因素非常複雜，包含欲處理的 block 與鄰近像素的關係、壓縮誤

差等因素，彼此環環相扣，欲避免多次壓縮過程中的預測方式改變，是難以達成的。

因此，浮水印的藏入位置應當慎選較不受預測方式改變影響係數為佳。另一方面，也

要避免因為浮水印的藏入導致原本不會發生預測方式改變的 block 出現變化。

3.

不適合以「數值」或「區間」來表示浮水印資訊。直接以係數的「數值」來表示浮水

印資訊，在 H.264 環境中並不適合。係數的改變量太大，對畫面品質的影響相對的也

會很大。若是對數值的修改量較小，則可能藏入的浮水印無法承受壓縮所造成的損失，

以致於強健性不足。若以 AC 係數的「數值座落的區間」表示浮水印資訊是 0 或是 1 的

做法雖然較直接以數值表示為佳，但若是對於一個 AC 係數值都很小的 block，可能會

因為係數值太小的緣故，以至於劃分的區間會非常小，甚至無法畫分區間。在這樣的

情況下，就無法在每個 block 都藏入浮水印。

(六)

計畫成果自評

本計劃以 DCT 子影像的觀點處理在 H.264 壓縮標準藏入浮水印所遭受的問題，拋棄一

般浮水印技術對 AC 係數的頻率高低的看法，以新的觀念成功藏入不可視性浮水印於 H.264

架構之中，並可使浮水印具有一定的強健性。

對於學術研究之貢獻，本研究群彙整研究結果，已發表於 IJICIC 期刊（accepted）以

及 IIHMSP 學術會議（pp.17-20. 2009.）。

參考文獻

[1]Joint video team(JVT) of ISO/IEC MPEG and ITU-T VCEG, Draft ITU-T recommendation

and final draft international standard of joint video specification (ITU-T Rec. H.264/ISO/IEC

14496-10 AVC), JVTG050, 2003

[2]T. T. Lu, W. L. Hsu, and P. C. Cheng, “

Blind Video Watermarking for H.264”

,

i

n

Pr

oc

, IEEE

Canadian Conference on Electrical and Computer Engineering (CCECE 2006), Ottawa, Canada,

pp.2318-2321, 2006.

[3]M. Noorkami, and R. M. Mersereau, “

Compressed Domain Video Watermarking Scheme for

H.264”

,

I

EEE

I

nt

e

r

na

t

i

ona

l

Conf

e

r

e

nc

e

on

I

mage

Pr

oc

e

s

s

i

ng,

I

CI

P,

vol.2, pp.890-893. 2005.

[4]F

.

Ba

r

t

ol

i

ni

,

A.

Ma

ne

t

t

i

,

A.

Pi

va

a

nd

M.

Bar

ni

,

“A data hiding approach for correcting errors

in H.263 video transmitted over a noisy channel”

,

i

n

pr

oc

.

I

EEE

I

nt

.

wor

ks

hop

on

Mul

t

i

me

di

a

Signal Processing, pp.65-70, 2001.

[5]G. Qiu, P. Marzilian,A. T. S. Ho, D. He, and Q. Sun, “

A Hybrid Watermarking Scheme for

H.264 Video”

,

Pr

oc

e

s

s

i

ng

of

t

he

17t

h

I

nt

er

na

t

i

ona

l

Conf

e

r

e

nc

e

on

Pa

t

t

er

n

Re

c

ogni

t

i

on,

I

CPR,

vol.4, pp.865-868, 2004.

[6]Zhe-Ming Lu and Xin-Wu

Li

a

o,

“

Counterfeiting Attacks on Two Robust Watermarking

Schemes”

,

I

nt

er

na

t

i

ona

l

J

our

na

l

of

I

nnova

t

i

ve

Comput

i

ng,

I

nf

or

ma

t

i

on a

nd Cont

r

ol

(

I

J

I

CI

C)

,

vol.2, no.4, pp.841-848, 2006.

[7]Tzung-Her Chen, Tsung-Hao Hung, Gwoboa Horng and Chia-Mi

ng Cha

ng,

“Multiple

Watermarking Based on Visual Secret Sharing”

,

I

nt

e

r

na

t

i

ona

l

J

our

na

l

of

I

nnova

t

i

ve

Comput

i

ng,

Information and Control (IJICIC), vol.4, no.11, pp.3005-3026, 2008.

[8]Lei-Da Li and Bao-Long Guo and Jeng-Sh

ya

ng

Pa

n,

“

Robust Image Watermarking Using

Feature Based Local Invariant Regions”

,

I

nt

er

na

t

i

ona

l

Journal of Innovative Computing,

Information and Control (IJICIC), vol.4, no.8, pp.1977-1968, 2008.

[9]Chin-Chen Chang, Chia-Chen Lin and Yih-Sh

i

n Hu,

“

An SVD Oriented Watermark

Embedding Scheme with High Qualities for the Restored Images”

,

I

nt

e

r

na

t

i

ona

l

J

our

nal of

Innovative Computing, Information and Control (IJICIC), vol.3, no.3, pp.609-620, 2007.

[10] Da-Jinn Wang, Tsong-Yi Chen, Thou-Ho (Chao-Ho) Chen and Shang-We

i

Li

n,

“

A Novel

Multipurpose Image Watermarking Scheme Based on Block-Relation

“

,

I

nt

e

r

na

t

i

ona

l

J

ournal of

Innovative Computing, Information and Control (IJICIC), vol.3, no.5, pp.1161-1172, 2007.

[11] Sh

i

nf

e

ng

D.

Li

n,

Yuc

han

Kuo

a

nd

Mi

nghua

Yao,

“

An Image Watermarking Scheme with

Tamper Detection and Recovery”

,

I

nt

e

r

na

t

i

ona

l

J

our

na

l

of

I

nnova

t

i

ve

Comput

i

ng,Information

and Control (IJICIC), vol.3, no.6(A), pp.1379-1387, 2007.

[12] Chien-Chang Chen and De-Sh

e

ng

Ka

o,

“

DCT-based Zero Replacement Reversible Image

Watermarking Approach”

,

I

nt

er

na

t

i

ona

l

J

our

nal

of

I

nnova

t

i

ve

Comput

i

ng,

I

nf

or

ma

t

i

on a

nd

Control (IJICIC), vol.4, no.11, pp.3027-3036, 2008.

[13] Tsong-Yi Chen, Chao-Ho (Thou-Ho) Chen, Yin-Ting Lin, Yin-Chan Chang, and Da-Jinn

Wang, “

H.264 Video Authentication Based on Semi-Fragile Watermarking”

, The Fourth

International

Conference

on

Intelligent

Information

Hiding

and

Multimedia

Signal

Processing(IIHMSP), pp.659-662, 2008.

出席國際學術會議心得報告

計畫編號

NSC

97-2221-E-151-042-計畫名稱

半破碎型視訊浮水印應用於 H.264 視訊壓縮資料之認證與復原

出國人員姓名

服務機關及職稱

陳聰毅

國立高雄應用科技大學電子工程系 助理教授

會議時間地點 97 年 08 月 15 日~97 年 08 月 17 日 大陸哈爾濱

會議名稱

The Fourth International Conference on Intelligent Information Hiding and

Multimedia Signal Processing

發表論文題目 H.264 Video Authentication Based on Semi-Fragile Watermarking

一、參加會議經過

此次前往哈爾濱參加國際研討會，於會前先至哈爾濱工業大學校區演講，並與該校學

者牛夏木教授等人討論合作事宜，並互相交換相關研究領域之研究心得與取得之研究資

料。隨後前往哈爾濱友誼宮國際會議中心出席第四屆 International Conference on Intelligent

Information Hiding and Multimedia Signal Processing 研討會。本人於此次會議共計發表論文

兩篇，這兩篇研究方向與本研究之領域具相關性。兩篇論文皆為被列入口頭報告論文，分

別於會議第二、第三天發表。會議結束後與主辦會議幾位核心人士及相關領域頗具學術權

威之先進前輩討論相關研究領域未來之發展方向與可能的研究潛能，隨後於會議結束隔天

返台。

二、與會心得

此次出席本國際會議除了與哈爾濱工業大學教授建立良好友誼關係之外，亦於本次參

與之研討會中獲得許多研究相關領域知識與新的靈感。對於設定未來研究方向、題目之選

定頗有幫助。本次會議與會人數約三百餘人，於會議過程中亦與許多相關研究領域學者有

良好互動，互相討論、切磋，並交換研究心得與國內、外相關研究動態。此行實為獲益良

多，對研究及教學材料皆有相當正面的貢獻。

H.264 Video Authentication Based on Semi-Fragile Watermarking

Tsong-Yi Chen

1

, Thou-Ho (Chao-Ho) Chen

1

, Yin-Ting Lin

1

, Yin-Chan Chang

1

, Da-Jinn Wang

2

1

Department of Electronic Engineering, National Kaohsiung University of

Applied Sciences, Kaohsiung, Taiwan 807, R.O.C

2

Department of Information Management, National Kaohsiung Marine University,

Kaohsiung Taiwan 811, R.O.C

[email protected]

Abstract

In the paper, we propose a system that uses H.264 video compressed and semi-fragile video watermarking to reach video recording automatically. In recent years, H.264 is a new advanced video compressed standard. It provides high compression efficiency and compress quality, compress the standard for the video compressed of new generation. Digital data is easy to be altered. One of the most important things is to prevent the data to be illegally used. We propose a system, watermark authentication code is used Block Sub-band Index and Coefficient Modulation to embed in the quantized AC coefficient of I Frame. Using number of Block Corresponding to reach video data authentication. The experimental results show that the proposed system can detect the area of altered illegally. Additionally, results show that watermark embedding preserves the perceptual quality of the video.

1．Introduce

The traditional video surveillance devices have been used in supervising for a long time. Since the digital video technologies are more and more mature, these kinds of surveillance devices are being to be replaced by Digital Video Recorder in recent years. Even the computer security technologies make DVR systems into a safe space, there are still many methods to get the data that stored in a security database. One of the most important things is to prevent the data to be illegally used.

The method of watermarking of suitable for video compression [2-10] can divide into two kinds. One kind is to embed watermark in the quantized coefficients of

intra-frames, such as Ta-Te Lu [2] embedded

watermarks into selected 4×4 DCT block in intra-frames. Utilize sun of the quantized AC coefficients to define Block Index. Then, revising block index to achieve watermarks hiding. Noorkami and Mersereau [3] embedded watermarks into selected 4×4 DCT blocks in intra-frames. The embedding locations were selected according to the relative differences of the DC coefficients, and these positions are recorded as side

information. The quantized AC coefficients in those selected positions are modified by mod 2 for embedding watermark. However, this embedding method needs to

send side information for watermark extraction.

Bartolini [10] embedded fragile watermarks into

quantized AC coefficients. The embedding AC

coefficients locations were selected according to AC value smaller than the threshold value. Make odd-even relation of selected AC coefficients the same as odd-even relation of the location value. If threshold value is large and number of selected AC coefficients is less but Protect ability is bad.

Another kind is to embed watermark in the motion vectors. Gang Qiu et al [4] proposed a hybrid H.264 watermarking method that modifies AC coefficients along the diagonal positions in each 4×4 DCT block within intra-frames. However, the modification method is sensitive to various noise attacks.

Recently years, H.264 is a new advanced standard for video compression that is developed by the ITU-T Video Coding Experts Group (VCEG) together with the ISO/IEC Moving Picture Experts Group (MPEG) as the product of a partnership effort known as the Joint Video Team (JVT) [1].

This paper presents a video watermarking

algorithm for H.264 that exploits the specific feature of this new standard. The method will combine H.264 video watermarking and DVR to achieve the protection of video content is illustrated in Fig. 1. The watermark is embedded in the quantized AC coefficients of I frames.

Fig.1. DVR with Video Watermarking

The kind of the invisible watermark can be divided into the following two kinds according to the function:

1. Robustness [2-8]: The purpose of the robust

watermarking is to protect the copyright of the video while video is processed by some video

application, signal processing geometric processing, or other malicious attack. Another purpose is to protect the integrity of the video.

2. Semi-Fragile [4][11][12]: One class of

authentication watermarks is formed by

semi-fragile watermarks. Such watermarks are marginally robust and are less sensitive to pixel modifications. Thus, it is possible to use them for

quantifying the tampering degree and

distinguishing simple LSB shuffing from malicious changes, such as feature adding and removal.

In the paper, we propose a system that uses H.264 video compressed and semi-fragile video watermarking to reach video recording automatically. We embed

watermark into 4×4 block of luminance. The

experimental results show the proposed method could be used on DVR and detect the area of altered illegally. We can authorize the validity of the stored video in the database.

The outline of the paper is as follows. Section 2 presents the proposed of video watermarking system based on H.264. And the part describes method to

embedding watermark and extracting watermark.

Section 3 describes the experimental results. Finally, conclusions are presented in section 4.

Fig.2. H.264 encoder with the watermark embedding

2．The Proposed Scheme

Figure 2 shows the H.264 encoder with the watermark embedding. We embed semi-fragile video watermarking system after 4×4 integer DCT transform

and quantization. We insert watermark bits by

modifying the quantized AC coefficients of luminance

blocks within intra-frames. Figure 3 shows the

semi-fragile video watermarking system. First, Block sub-band index is used to let each block was assigned a

number. Second, modify number of block to achieve

insert watermark. The embedding procedure is

described as follows.

Fig.3. Semi-Fragile video watermarking system 2.1. Block sub-band index

Two basic luminance intra-prediction modes 4×4 and 16×16 are used in H.264, in which the pixel value of the current block is predicted by the edge pixels of the adjacent blocks. Then, the prediction error is transformed primarily by a new 4×4 integer DCT instead of the float 8×8 DCT, which is widely used in existing standards. Count the number of nonzero AC coefficients after transformation and quantization in a 4×4 block. In order to get the information of the 4×4 block, we are calculated by the function:

0

,

0

1

(

2) / 2

1 ,

index

if NQAC

or

Block

NQAC

otherwise









_

_











(1)

where Blockindex and NQAC represent the block

sub-band index and number of nonzero AC coefficients, respectively. Then, information bit of the 4×4 block is LSB of the block sub-band index. Conception of block sub-band index refer to block polarity decision was

presented by Ta-Te Lu [2].block activity index

modulation count the sum of selected block quantized AC coefficients in a 4×4 block.

2.2. Coefficient modulation

We embed watermark into luminance blocks in intra-frames. A 4×4 block was embedded one bit watermark. At first, we get the relation of information bit and watermark bit following table 1.

Information bit Watermark bit Relation(R) 0 0 0 0 1 1 1 0 1 1 1 0

Table1. Relation of information bit and watermark bit

Integer DCT Quantization Inverse Quantization & Inverse DCT Intra/Inter prediction & Mode Decision

Semi-Fragile Video Watermarking System Entropy Coding Video Frame Bit stream Block Sub-band Index Coefficient Modulation Watermarked DCT Coefficients Quantized DCT Coefficients Watermark

Relation of information bit and watermark bit have two kinds. R=0 was defined information bit the same as watermark bit otherwise R=1 was defined information bit different from watermark bit. When R=0 the 4×4

block does not do coefficient modulation and

information bit of the 4×4 block is exactly watermark bit. If R=1 the block must do coefficient modulation that modify number of quantized nonzero AC coefficient, then the LSB of block sub-band index should be modified by one bit. Blockindex should be add one or

subtract one is calculated by the following function:

1 ,

(

/ 2)

,

1

1 ,

(

/ 2)

,

1

index index index index index

Block

if NQAC

Block

R

Block

Block

if NQAC

Block

R









_





_

_





_



(2) Quantized high-frequency coefficients have some characteristics such as low quality、easy altered. When

Blockindex must be subtracted one then we will change

high-frequency nonzero AC coefficient to zero. If

Blockindex must be added one then we will change

high-frequency zero AC coefficients to one. Then, information bit is the same as watermark bit to reach embed watermark bit into the 4×4 block. Figure 4 shows order of finding the high-frequency nonzero AC coefficient.

Fig.4. Zero AC coefficients scan the order 2.3. Watermark detection

Watermark detection is performed after entropy decoding. Count the number of nonzero AC coefficients in a 4×4 block. In order to get Blockindex, we are

calculated by the equation 1. Then, the watermark bit in the 4×4 block is determined as follows:

0

0

1

1

index index Block Block

if LSB

Wi

if LSB









_





(3)

Where Wiand LSBBlockrepresent extracted watermark and LSB of the block sub-band index in the 4×4 block, respectively.

3．Experimental result

In the paper, the algorithm has been authenticated the video that altered illegally. We express our experiment and result with picture and statistics follow as:

At first, PSNR is used to estimate quality of digital image by the following function:





2 10 2 1 1

(

1)

PSNR =10 log

1

( , )

'( , )

M N i j

L

f i j

f i j

MN

 







(4)

where M and N represent high and weight of video frame respectively. L is defined degree of frame. f(i,j) is original video frame. f`(i,j) is processed video frame. High PSNR represents original video frame destroyed less. Otherwise, the original video frame is much difference from compressed video frame. Figure 5 acquire the video frame by DVR, calculate PSNR of the luminance. According to the result of PSNR, the quality of video embedding watermark only decrease 2.6db and maintain the PSNR more than 30 objectively.

(a) (b)

(b) (d)

Fig.5. (a)(b)Original Video Frame, (c) Watermarked

Video Frame PSNR=32.21 (d) Watermarked Video Frame PSNR=31.88

In our experiment, we tamper the watermarked video frame then detect the tampered video frame. Figure 6 (c) shows the authenticating result. The marked area with black block is called the tampered area. The tampered locations of video frame have concentrated black blocks. We can easy find the tampered location.

(a)

(b)

(c)

Fig.6. (a) Watermarked video frame(b) altering watermarked video frame(c) detected result

4．Conclusion

In the paper, we have presented a video authentication technology based on semi-fragile watermarking. The algorithm embedded watermark into video and the method was resorted to modify number of nonzero AC coefficient. Based on the experimental result, the performance of the proposed approach is defined the video. The method has three advantage was described follow as:

1. The watermark will not be disappeared by video

information compressed.

2. Our approach can find where the part of video

frame might be altered.

3. Maintain certain the quality of video information. In the future, we expected to extract the feature of the video frame and treated the feature as watermark bit, after that we embedded the watermark bit into video frame. So, we can also recover the area of video that it is altered. Our approach embedded the watermark in luminance of intra-frames. Then, we will think to embed the watermark in motion vectors in the future. To reach the embedding that can permit more amount of video-information, and more perfect verify.

References

[1]" Draft ITU-T recommendation and final draft international standard of joint video specification (ITU-T Rec. H.264/ISO/IEC 14496-10 AVC) " , in Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, JVTG050, 2003.

[2]T. T. Lu, W. L. Hsu, and P. C. Cheng, "Blind Video Watermarking for H.264", in Proc. IEEE Canadian Conference on Electrical and Computer Engineering (CCECE 2006) ,pp.2318-2321, Ottawa, Canada, May 2006.

[3]M. Noorkami, and R. M. Mersereau, " Compressed Domain Video Watermarking Scheme for H.264" , IEEE International Conference on Image Processing, ICIP, vol.2, pp.890-893, Sept.2005.

[4]G. Qiu, P. Marzilian,A. T. S. Ho, D. He, and Q. Sun, "A Hybrid Watermarking Scheme for H.264 Video" , Processing of the 17th International Conference on Pattern Recognition, ICPR, vol.4, pp.865-868, Aug. 2004. [5]Sakazawa S., Takishima Y., " H.264 native video

watermarking method," Proc. ISCAS, 2006.

[6]Zhang J., Ho A. T. S., Qiu G. and Marziliano," Roubust video watermarking of H.264/AVC" , IEEE trans.

On Circuits and Systems, ,vol.54, issue 2, pp.205-209, Feb.

2007.

[7]Guo-Zua Wu, Yi-Jung Wang and Wen-Hsing Hsu, " Robust watermark embedding/detection algorithm for H.264 video" , Electron Image., vol.14, pp.013013(9) ,2005.

[8]Noorkami, Maneli; Mersereau, Russell M. " Towards robust compressed-domain video watermarking for H.264" , Security, Steganography, and Watermarking of Multimedia Contents VIII. Edited by Delp, Edward J., III; Wong, Ping Wah. Proceedings of the SPIE, Volume 6072, pp. 489-497 (2006). Feb 2006.

[9]D. Profrock, H. Richter, M. Schlauweg and E. Muller," H.264/AVC video authentication using skipped macroblocks for an erasable watermark" , Proc. VCIP, Beijing, China, July. 2005.

[10]F. Bartolini, A. Manetti, A. Piva and M. Barni, " A data hiding approach for correcting errors in H.263 video transmitted over a noisy channel" , in proc. IEEE Int. workshop on Multimedia Signal Processing, pp.65-70, Oct.

2001.

[11]Tsong-Yi Chen, Chien-Hua Huang and Thou-Ho Chen, " Authentication of Lossy Compressed Video Data by Semi-Fragile Watermarking" , IEEE 2004 International Conference on Image Processing(ICIP Singapore) ,2004. [12]Phen-Lan Lin, Po-Whei Huang and An-Wei Peng, " A

Fragile Watermarking Scheme for Image Authentication with Localization and Recovery" , Multimedia Software Engineering, 2004. Proceedings. IEEE Sixth International Symposium on 13-15 Dec. 2004, Page(s) : 146-153