行政院國家科學委員會專題研究計畫 成果報告
結合 H.264 視訊壓縮之抗壓縮浮水印與自我組織演算法之
影像源認證的數位視訊錄影認證系統
研究成果報告(精簡版)
計 畫 類 別 ： 個別型 計 畫 編 號 ： NSC 98-2221-E-151-052- 執 行 期 間 ： 98 年 08 月 01 日至 99 年 07 月 31 日 執 行 單 位 ： 國立高雄應用科技大學電子工程系 計 畫 主 持 人 ： 陳聰毅 共 同 主 持 人 ： 陳昭和 計畫參與人員： 碩士班研究生-兼任助理人員：李思賢 碩士班研究生-兼任助理人員：林家銘 碩士班研究生-兼任助理人員：王景岳 碩士班研究生-兼任助理人員：黃俊堯 報 告 附 件 ： 出席國際會議研究心得報告及發表論文 處 理 方 式 ： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢中 華 民 國 99 年 10 月 31 日
一、 前言 常見的重要機構場所、軍事設施、交通道路、名勝古蹟等，均備有監視錄影系統，藉由先進的數 位資料壓縮技術（H26X、MPEG 等系列）將錄影資料存放至安全的資料庫，可以節省原類比監錄系統所 需資料量的 10 倍至 1000 倍不等．在數位監錄系統上可以透過自動搜尋方式快速找出異狀，結合移動 物追蹤技術可以令錄影鏡頭跟隨異物的移動，鎖定並監錄任何動作。然而，數位監錄系統被竄改（入 侵）的事件時有所聞，如何驗證所存入的影片資料是否經過竄改，又當影片內容備受爭議時，如何證 明他人所提出的影片是否經過惡意竄改，這是目前的一個重要課題。 浮水印之功能在於偵測竄改的驗證，因此，浮水印本身必須具有一定的強健性，來防止非人為竄 改造成的失真所導致的浮水印破壞，甚至是針對浮水印本身所進行的攻擊行為。以往的研究，多針對 浮水印強健性的探討，在於浮水印可承受攻擊的程度，對於浮水印的藏入與取出動作，本身並無多大 問題。但是，我們發現在 H.264 壓縮技術中藏入浮水印，僅在藏入與取出的動作，就具有困難度。這 是因為 H.264 有別於以往的浮水印藏入環境，即便勉強藏入，在經過任何簡單的影像處理（如低通、 高通濾波器），就可能使得浮水印資訊蕩然無存。 半破碎型的浮水印技術，主要的功能在偵測竄改。本計劃提出一種對於 H.264 視訊壓縮資料認證 之半破碎性視訊浮水印方法，除了針對一般對於灰階度竄改（圖形變化）的偵測，亦導入對於色彩竄 改（顏色改變但圖形不變）的偵測能力，達到更完整的竄改偵測功能。對於犯罪者企圖以相片或小螢 幕遮蔽攝影機鏡頭，而達到欺騙目的，本系統具有偵測「欺騙」的能力。此間所謂偵測欺騙功能，是 在於防止。我們以可調式的演算法及使用者介面，提供不同程度的認證需求。 二、 研究目的 網路科技日益進步，數位內容技術也隨之快速成長，當我們將重要的影像/視訊存放於資料庫或是 透過網路傳輸時，將有可能被有心人士惡意擷取內容並竄改之，而使得數位內容之版權有所疑慮。因 此，我們有必要發展一個有效的技術來保護數位影像的版權及完整性，浮水印技術便是為達到此一目 的而產出。我們所藏入之浮水印有可能會因為 H.264 壓縮技術所造成的資訊破壞而遺失，因此我們需 要將這種因為壓縮所造成的破壞視為合理的影像攻擊，所藏入的浮水印資訊必須要能容忍此類型的攻 擊。 三、 文獻探討 基於影像視訊竄改的偵測技術已有一些研究發表出來[1]-[39]，其中包含一般應用於空間域或頻 率域的影像竄改偵測方法，也有一些可以抵抗影像或視訊壓縮 (如 JPEG、MPEG 系列) 方法的竄改偵測 技術研究被提出來，其它如向量量化、密碼學、振幅相位移等的方法也被應用於竄改偵測技術中。其 中較重要的有 Li 等人[3]提出基於小波轉換技術的影像竄改偵測技術，將影像中低頻的部份藏入高頻 的部份來做為認證依據。Wu 和 Liu[4]提出將影像中有意義的部份抽出作為浮水印並藏入影像頻率域 中，再藉由 look-up 查表法來完成影像竄改偵測。Lin 和 Chang[5]-[7]提出一種可抗 JPEG 壓縮之影像 竄改偵測技術，係利用 JPEG 的可逆特性，使得藏入影像的浮水印能容忍 JPEG 的量化破壞。Marvel 等 人[12]使用基於 JPEG 壓縮系統的 Stego-JPEG 藏入浮水印，所提出的方法可以應用在 MPEG 系統等以 DCT 為基礎的壓縮影像/視訊中。Chung 等人[8]以及 Lin 和 Chang[11]提出一個應用直序展頻的技術去 偵測竄改的 MPEG 視訊資料，此方法中提到，浮水印可藏入於影像中的許多領域(如空間域、頻率域、 量化域)，而此論文提出一個不錯的論點：對於應用於浮水印方法的竄改偵測技術中，將浮水印藏入已 量化過的係數資料(量化域)是較佳的選擇。
Jing 和Chau [30][31] 認為移動比較大的區域才需要用比較小的區塊模式去執行移動估測，相對 移動比較小的區域就使用較大的區塊模式，所以直接以目前區塊和前一張畫面相同位置的區塊相減， 如果SAD 值小於某個設定的門檻值，就執行16×16 mode、16×8mode 和8×16 mode，反之，則執行所有 的區塊模式。
Wu 等人[32] 認為比較平滑的區域或是移動緩慢的區域適合使用較大的編碼區塊模式，相反的對 於移動較大或是有比較複雜邊緣的物件，就應該使用較小的編碼區塊模式。其做法是以目前區塊和前 一畫面相同位置的區塊相減，如果SAD 值小於某個門檻值，那麼就選擇16×16 的區塊大小，反之，就 使用Sobel operator 來計算出每個像素點的邊緣向量強度大小並且累加起來，如果累加值大於設定的 門檻值，這區塊可能屬於比較複雜的區塊，就使用較小的編碼區塊模式，如果小於門檻值，就使用較 大的編碼區塊模式。 Yang 等人 [31] 從統計數據發現許多區塊執行移動估測後之移動向量為(0, 0)，也就是所謂的 Zero motion block (ZMB)的比例很高，如表3-1。所以就針對各種區塊大小設定門檻值，如果該區塊 以移動向量為(0, 0)計算後得到之SAD 值小於設定的門檻值，那麼就直接設定該區塊的移動向量為(0, 0)，其他位置的搜尋就停止了。這樣子可以省略不必要的移動向量搜尋時間，進而達到加速的目的。 在很多提早終止演算法中，L. Yang 等學者[39]提出的臨界值訓練方式，根據不同的影像序列具 有不同的影像特性，找到的臨界值組合能適用於大部分的影像，可以同時考慮到運動向量的正確性與 編碼複雜度，因此我們採用L.Yang 等學者所使用的臨界值設定方法，利用H.264 的預測向量與RDcost 的運算，採用運動變化量較大的測試影像序列：Foreman，設定各模式(mode)的臨界值組合，臨界值用 來判斷區塊是否要進行運動估測；準確度的計算方式為區塊經臨界值判斷後不進行運動估測，區塊預 測運動向量與最佳運動向量相同的百分比。臨界值設定的越大，代表區塊越容易提早終止，不進行運 動估測，降低運算複雜度，但是如果區塊運動變化大，預測的運動向量正確性不夠，預測錯誤，導致 畫面品質降低、編碼效能下降、位元率(bitrate)提升，反之亦然。因此，臨界值的設定，將使得編碼 效能與編碼複雜度之間產生折衷(trade-off)的現象。 四、 研究方法 本計劃之監錄系統中的影像壓縮模組是採用 M-JPEG、H.263 與 MPEG-4、H.264 等技術進行被監錄 資料的壓縮，而在壓縮過程之中加入半破碎性浮水印，亦即將其藏入 AC 係數之中，半破碎性浮水印的 特性，便可抵抗視訊壓縮量化而將其竄改的所有位置認證出來，並且此浮水印對於畫面品質影響不大。 雖然以往的視頻編解碼標準也利用了量化的原理來進行壓縮編碼，但是 H.264 的量化有其不同之處。 在 H.264 的量化過程中，使用量化參數(Quantization Parameter，QP)來決定量化步階大小(Quantization Step Size，Qstep)。亮度所使用的 QPLuma 值的間距並非等距的，而是每個 Qstep 以 12.5﹪的比例增加，
也就是 QP 每增加 6，則 Qstep 值比原先增加 1 倍。
1. 視訊影像認證系統
我們所提出的半破碎性視訊浮水印系統(Semi-fragile Video Watermarking System)嵌入位置如 圖 1 所示，將我們的系統直接嵌入 H.264 編碼器中，希望當 DVR 接收到監視畫面，進行視訊壓縮的同 時也嵌入浮水印。而圖 2 表示解壓縮端萃取浮水印的位置，解碼端接收到位元流(Bit stream)，在反 量化(inverse quantization)之前萃取出浮水印。
圖 2. H.264 I Frame 解碼端萃取浮水印位置
在 H.264 的視頻編碼 層中 ，首先分為空 間 性預測 (intra prediction) 和時間性預測 (inter prediction)兩種模式，本論文所提出的方法只針對空間性預測模式來嵌入浮水印，也就是所謂的 I 畫 面(frame)，將經過空間性預測後的殘餘量，經過轉換與量化後，嵌入浮水印，接著嵌有浮水印的係數 使用編碼器的熵編碼形成位元流(bit stream)。 圖 3 表示我們的浮水印嵌入流程圖，DVR 接收到視訊畫面，經過空間性預測，平滑的區塊採用 16×16 預測模式，較複雜的區塊採用 4×4 預測模式，我們的浮水印技術將對兩種模式都嵌入浮水印，以達到 對全畫面保護的目的。空間性預測完後的殘餘差值經過轉換與量化，使用區塊分頻編號(Block Sub-band Index)，對區塊做區塊資訊位元(information bit)提取的動作，接著再將要嵌入的浮水印藉由區塊分頻編 號提供的資訊，使用係數調變(Coefficient Modulation)的方法，來達到嵌入浮水印的目的。 圖 3. 浮水印嵌入流程圖
1) 區塊分頻編號(Block Sub-band Index)
在 I 畫面經過轉換與量化後，區塊中的 DCT 係數大部分都是零或者趨近於零，因此我們利用 H.264 轉換的區塊係數特性，將 4×4 區塊內的 DCT 係數之非零 AC 係數做統計，計數非零 AC 係數的數量， 並經由數學表示式如公式 2，對此 Block 做區塊分頻編號。
(
2) / 2
1
indexB lock
N Q A C
(1)公式 1 中的各項參數定義分別是：Blockindex表示此區塊的分頻編號，NQAC 表示 DCT 係數的非零
AC 係數數量。經由公式 1 得到區塊分頻編號後，再將區塊分頻編號使用二進位編碼，經由其二進位編 碼最低重要性位元(LSB)當作此區塊資訊位元(information bit)。上述所提的區塊分頻編號，概念是參考 Block Activity Index Modulation 對 AC 係數的總和做為此區塊的特性，而我們的方法，是使用 AC 係數 轉換與量化後非零 AC 係數的數量做為區塊資性的提取。
2) 係數調頻(Coefficient Modulation)
將浮水印(W)嵌入到亮度區塊中的 4×4 Block，嵌入的資料量以 1 個 4×4 Block 嵌入 1 bit 的浮水印， 首先藉由區塊資訊位元(information bit)與浮水印(W)的關係，得到如表 1。
表 1. 區塊資訊位元與浮水印關係 區塊資訊位元 (information bit) 浮水印 (W) 關係 (R) 0 0 0 0 1 1 1 0 1 1 1 0 區塊分頻編號的修改如下公式 2。
if(NQAC!=2×Block
index&&NQAC!=0)||(NQAC=0)
Block
index=Block
index+1;
(2)
else if(NQAC=2×Block
index&&NQAC!=15)||(NQAC=15)
Block
index=Block
index-1;
因為我們是藉由修改 AC 係數的方式來嵌入浮水印，所以必然會對視訊品質產生影響，為了減少 對視訊品質的影響，必須盡量減少需要修改的 AC 係數數量，公式 2 的設計考量，即是以需修改最少 AC 係數為前提，以此來選擇區塊分頻編號需增加或減少，圖 4 為上述公式舉例說明，要嵌入浮水印的 區塊其 NQAC=8，則此區塊的區塊資訊位元為 0，若此時要嵌入的浮水印 w=1，所以根據公式 2 來選 擇需修改最少的 AC 係數數量，選擇 Blockindex=Blockindex-1，而此區塊的 NQAC=9 的時候，此時此區塊
的區塊資訊位元為 1，根據公式 2 來選擇需修改最少的 AC 係數數量，則選擇將 Blockindex=Blockindex+1，
這樣我們可以修改最少的 AC 係數數量。 圖 4.浮水印嵌入舉例 經過轉換並量化後的 DCT 高頻係數具有能量低、易受干擾的特點，因此當需要將區塊的分頻編號 (Blockindex)減少的時候，則將非零 AC 係數數量的總和減少。減少的方式是採用由高頻區開始往低頻區 搜尋非零 AC 係數，改成“0”的方式，這樣非零 AC 係數的數量就會減少，分頻編號也會跟著減少，所 以區塊的區塊資訊位元將與要嵌入的浮水印位元相同，以此方式來達到嵌入浮水印的目的。非零 AC 係數的編號順序如圖 4，定義 AC 係數為{Q1, Q2,… …Q15}，採用 zig-zag 掃描方式，而找尋非零 AC 係 數的數續為由編號第 15 的係數倒數循序搜尋，掃描順序為{Q15, Q14,… …Q1}，直到已經將區塊資訊位 元與要嵌入的浮水印位元相同。 3)浮水印萃取演算法 圖 5 為浮水印萃取流程圖，在 H.264 解碼端接收到位元流(bit stream)，並經過熵解碼(entropy decode)，就可以開始我們的浮水印萃取。萃取的方法是將 bit stream 解碼完的 4×4 Block 使用區塊分頻 編號(Block Sub-band Index)的方式，確認該區塊 Blockindex，公式 3 取得最低重要性位元(LSB)即可得到
該區塊資訊位元，可取得嵌入的浮水印 Wi，與藏入的浮水印驗證碼比較，即可判斷此 4×4 Block 是否 有被經過不合法的竄改。
0 0 1 1 i n d e x i n d e x B l o c k B l o c k i f L S B W i f L S B (3) 圖 5. 浮水印萃取流程圖 4) 視訊驗證方法 視訊內容的驗證方法，是以區塊大小 8×8 為一個單位，因為我們的方法其嵌入資料量是以 1 個 4×4 Block 嵌入 1 bit 的浮水印，若視訊內容遭受到竄改，則每個 4×4 Block 的浮水印會有 50%的機會遭到移 除。並且 4×4 大小的 Block 在視訊內容中，面積很微小，若是惡意竄改不會只竄改一個區塊。因此為 了提高視訊驗證的準確度，我們將視訊內容驗證單位以大小 8×8 Block 為單位，若此 8×8 Block 中只要 有一個 4×4 Block 的浮水印遭受到移除，則可判斷此 8×8 Block 受到惡意竄改。 在我們的測試樣本中，使用不同類型的視訊內容，包括細節區較多的 Football 影像、平滑區較多 的 Table，以及細節區與平滑區都佔有相當部分的 Garden 影像，另外加上由 DVR 系統所擷取到的六段 比較普遍類型的監錄視訊影段，為了達到公正客觀的測試角度，有一般室內與室外情形的測試影像外， 除了含有亮度較高的測試影像外，也包含夜間所拍攝的影像，其特性是畫面中的亮度較偏暗，且明亮 部份含有較多雜訊存在。在評估標準上，我們使用 PSNR（Peak Signal to Noise Ratio）做為評估演 算法好壞的一個依據。PSNR 的單位是 dB，訊號雜訊比越高的和原來畫面的差距就越小，越接近原始畫 面，代表壓縮的品質越好。PSNR 的定義如下：
2 2 10 , , 255 log 20 N j i f j i f MSE MSE PSNR
(4)其中 MSE（Mean Square Error）為原始訊號和藏入資訊後的訊號之均方差。通常來說，PSNR 低 於 25dB 的話，一般人都無法滿意這樣的畫質；高於 30dB，一般會認為畫質不錯；高於 35dB 以上， 不定格注意看的話通常無法分辦和原圖有何不同。
2. 自我組織映射圖網路
在 H.264 壓縮技術中，須先將原始影像由 RGB 轉成 YCbCr 的彩色模型。再經由預測程序 （Prediction）、離散餘弦轉換 (Discrete Cosine Transform, DCT)及量化 (Quantization)程序，最 後再進行編碼輸出。而我們的浮水印藏入程序是以量化後、編碼前的係數為藏入環境。預測程序是大 幅度減少資訊量的步驟，其影像殘餘值都是趨向平滑的，係數的值及係數間的關係已經無法表達原始 影像的亮度、細節變化。我們提出的浮水印技術是以考量整體性數值變化做為思考方向，判別數值所 坐落的區間來認定其浮水印資訊是為「0」或為「1」。以 4×4 block 為例，將 15 個 AC 係數依 1~15 分
別編號，再將預測方式（4×4 block 為 9 種，將其編號為 1~9）當作指標，選擇一個 AC 係數當作浮水 印藏入位置（例如預測方式為 DC 預測，其編號為 3，則浮水印藏入位置就決定是第三個 AC 係數）。因 為預測方式會因應不同的細節變化而改變，雖然預測之後的係數無法表現出原始影像的細節變化，可 以藉由預測方式選擇不同，使得浮水印藏入位置得以據不同 block 的情況做改變，因而具有代表性。 取用的特徵值以選定之 AC 係數與整體 AC 係數的比值來表示浮水印資訊。將小數部分以 0.5 為分 界，劃分為兩個區間，0~0.5 的區間為浮水印資訊「0」，0.5~1 的區間為浮水印資訊「1」。以比值的小 數部分座落的區間來表達水印資訊，並將小數部分修整為座落區間的中間值（0.25 及 0.75），若座落 區間與欲藏入之浮水印資訊不符，則往最鄰近的區間調整，修正值以目的區間的中間值為準。採用區 間判斷的目的，是為求承受數值的些微變動，修正值以區間中間值為目標是為避免因數值變動導致 AC 係數跳脫到其他區間，而造成誤判。 在同一個環境中的景物，無論是動態或是靜態，都會在某些特徵上具有共同點，在本計劃提出的 影像源認證機制中，我們將從下列 3 個觀點去做探討：亮度、色調、飽和度。我們將 RGB 色彩模型轉 換成 HSI 色彩模型是最恰當的選擇，它是一種以色調(Hue) 、飽和度(Saturation) 、強度(Intensity) 來描述彩色影像的彩色模型。為了辨別輸入影像的亮度、色調及飽和度是否為真，我們將採用分群的 作法，利用類神經網路的演算法，訓練出用來判定真偽的模板。在 DVR 攝取影像時，以此模板來辨別 輸入影像的亮度、色調及飽和度是否在正常範圍內。 因為不同的光源對於景物所造成的照明效果是不同的，例如：陽光、日光燈及燈泡所呈現的光， 其實在亮度、色調及飽和度都是有所差異的，所以我們需要的分群模板是沒有期望值的。因此我們將 採用非監督式（Unsupervised learning）的類神經網路演算法來設計我們的網路模型。典型的非監督 式類神經網路有適應共振理論網路（Adaptive Resonance Theory Network，簡稱 ART）以及自我組織 映射圖網路（Self-Organization Map, 簡稱 SOM）。SOM 是一種非監督式學習(Unsupervised learning) 的類神經網路，可從輸入資料中發掘資料本身的特徵與關連性，並且將學習結果於輸出層來展現。當 網路學習完畢後，輸出層的神經元相鄰近者則具有相似的功能，也就是具有相似的連結加權值，最後 輸出層的神經元會依照輸入向量的特徵，以有意義的拓撲結構展現。 整個自我組織網路的訓練流程如下，將訓練資料輸入至網路，經由網路學習的過程可將多維度的 輸入資料映射至低維度的特徵空間上，並藉由輸出結果以反映輸入資料的機率分佈，將有利於實施資 料的聚類分析。 據自我組織網路的訓練流程，訓練可分為以下六個步驟： 步驟一：輸入訓練資料。依序將訓練資料輸入至自我組織映射圖網路中以訓練整個網路。 步驟二：設定參數。設定網路所需的學習參數，隨機設定初始權值wj、鄰近函數σ(t)、學習速率α(t) 與 執行次數T 等。 圖 6. 基本自我組織網路之訓練流程圖
步驟三：篩選優勝單元。計算輸入資料與所有權值向量的歐幾里德距離，再藉由所計算的距離找出輸 入向量xi 與權值向量wc 之最短距離，亦即輸入資料向量為xi 時具有最強輸出的神經元 c ，即優勝 單元 c。 步驟四：取得鄰近神經元。經由步驟三找到優勝單元 c ，再利用鄰近函數找出與優勝單元相鄰近的神 經元。 步驟五：更新權值向量。更新輸入資料xi 到輸出神經元 c 及其鄰近區域的權值向量，亦即更新與神 經元 c 相鄰近的權值向量，其權值更新方式。 步驟六：增加 t = t + 1。假若t > T* 時則停止運算(其中T* 為最大學習次數)，否則回到步驟三繼 續執行映射網路之訓練。 另外在此步驟中，除了使用最大學習循環次數來判斷是否終止外。亦可以使用總距離來判斷訓練 階段是否已經趨近於收斂，進而停止運算，相關演算法如下所示： 總距離 =
m i n i
j j i d
i j d 為第i 個輸入對第j 個權值向量的距離，即
2 , 1 , 2 , 3 , . . . , i i j p p j p d
x w p d d 為權值向量的維度亦是資料向量的維度。 當總距離 < threshold 時則停止運算，threshold 為門檻值。 據上述自我組織映射圖網路演算過程可以得知每一個神經元都受到鄰近函數的連接與規範而產生 相互的鄰近關係，也就是當輸入資料經由網路的訓練，使得每一個神經元受到激發而牽動相鄰近的神 經元，因而形成鄰近函數所規範的對象。因此在訓練自我組織映射圖網路時，必須面對其學習參數的 設定，例如學習速率、鄰近函數等，再透過不斷的循環學習與修正，方能達到最佳分群。 經自我組織映射圖網路之訓練流程後，將產生映射網路拓撲圖，該圖不僅將樣本空間中樣本點的 聚類擷取出來，而且將聚類結果表現在網路拓撲上，為了加以呈現呈現網路拓撲中節點的聚類狀況， 研究採用Roussinov, D. G. and Chen,Hsinchun 在1999 年所提出之方法，將訓練過程設定在DVR系統 啟動初始的一段時間，達到收斂後系統才開始一般運作。意即將訓練階段視為DVR系統初始化程序，只 有在光源改變，且維持一段長時間，系統才需要重新初始化程序。如此，就不會影響後續的H.264壓縮 及浮水印藏入的工作時間。 3.改善移動估測演算法 H.264 在可變區塊大小運動估測中，必須針對每一個不同的區塊大小在參考畫面中的搜尋視窗進 行區塊匹配，這在編碼端是非常耗時的。因此，本章節將探討並提出提早終止可變區塊大小的運動估 測，達到加速的目的，如下圖所示，在運動估測前，加入提早終止運動估測的判斷，如果判斷條件成 立，則終止運動估測，如果不成立，則進行運動估測。 對於畫面與畫面之間其實是有很多區塊是靜止不動或是有規則性的移動，這對運動估測來都說是 不必要的運算，可以直接經由判斷，提早決定區塊是靜止不動，或是利用鄰近已編碼區塊預測出規則 性的運動向量決定區塊的運動向量，也就是說利用鄰近區塊判斷區塊是否為規則性的相對不移動區 塊，提早終止運動估測，降低運算複雜度，達到加速的目的。 考慮到編碼複雜度與畫面品質，我們實驗的臨界值組合 THZ1~THZ7 分為2500, 1500, 1400, 920, 625, 570, 500。在判斷是否提早終止運動估測，我們先根據H.264 中預測的運動向量，以該運動向量 所相對應的區塊，計算出RDcost，判斷RDcost 是否小於臨界值，如果小於臨界值，則表示預測的運動 向量與實際做完運動估測的運動向量相同機率很高，因此便可以提早終止該區塊的運動估測，達到加 速的效果。此外，如果可變區塊大小是16×16，又符合提早終止條件，表示該區塊的變動甚小，因此另 （11）外設定一個判斷最佳模式的模式臨界值(THS)、大小為800，來判定當區塊大小為16×16 時，其所算出 的RDcost 比模式臨界值還小時，直接判定此巨方塊最佳模式為16×16，省去其他不同可變區塊大小的 運動估測，進一步達到加速的效果。 五、 結論與討論 前述本實驗室所提出的半破型浮水印方法，其實驗結果顯示，遭受到人為竄改的區塊的確可以很 正確的標示出來，在這樣的情況下的確達到原先所預期的目標，我們如果考慮到，當非法份子侵入資 料庫將資料竊取出來，經過竄改（編輯、物件去除、片段刪除）後利用視訊編輯軟體重新製作成視訊 檔，將來若有需要作為佐證時，便會有兩種互相矛盾的爭議，我們如何能夠提出證明該影片是經過惡 意竄改而非原始的影片，這是一個相當重要的議題。本計劃預期將完成一種具視訊竄改偵測與復原之 數位監錄系統，其中將完成多種功能，如下表所列： 表 2. 系統的功能特色 功 能 說 明 備 註 創新視訊竄改 偵測預警 針對所有可成為重大事件證據之影片，預警查明出 人為竄改的位置。 預警防護 建立影像源 認證機制 確認影像源為真實景物，可提高影片的可信度。 防止假造之影像源 資料庫警報 發生記錄表 藉由竄改偵測、影像源認證，對於犯罪前的警戒及 犯罪後的證物有多一層的保障。 案前預防及 協助案後調查 系統具有創新性與實用性： (1) 創新性：當偵測到人為非法竄改時，我們藉由所藏入的特徵資訊浮水印將被竄改的區域予以復 原，將會使數位監控系統的應用層面以及安全性更大為提高。利用我們計劃中所提的竄改區域 復原方法，可以讓因為人為竄改而造成的損失傷害降到最低。 (2) 實用性：除了具有一般數位監控的功能之外，使用的視訊竄改技術皆適用於各種壓縮格式，如 H.26x 系列、MPEG 系列、JPEG、JPEG2000，可減少壓縮系統移植上的不便，本系統可應用至一 般大樓及重要機關場所，並可推展至社區安全的主系統的建立 [參考文獻]
[1]. Tsong-Yi Chen, Chien-Hua Huang and Thou-Ho Chen, “Semi-Fragile Watermarking for Authenticating Compressed Video Data,”International Conference on Informatics, Cybernetics, and Systems, 2003, Page(s): 371-376.
[2]. Tsong-Yi Chen, Chien-Hua Huang and Thou-Ho Chen, “Authentication of Lossy Compressed Video 圖７. 提早終止運動估測流程方塊圖
Data by Semi-Fragile Watermarking,”IEEE 2004 International Conference on Image Processing (ICIP Singapore), 2004
[3]. Kwang-Fu Li, Tung-Shou Chen, and Seng-Cheng Wu,”Image tamper detection and recovery system based on discrete wavelet transformation,”Communications, Computers and signal Processing, 2001 IEEE Pacific Rim Conference on, volume: 1, Aug. Page(s): 164 -167 vol. 1.
[4]. M. Wu, and B.Liu,“Watermarking forImageAuthentication,”Proceedings of IEEE Inter- national Conference on Image Processing, Oct. 4-7, 1998, Chicago, Illinois, USA, vol. 2, pp. 437-441.
[5]. C.-Y. Lin, and S.-F.Chang,“Semi-Fragile Watermarking for Authenticating JPEG Visual Con- tent,” SPIE International Conf. on Security and Watermarking of Multimedia Contents II, vol. 3971, No. 13, EI '00, San Jose, USA, Jan 2000.
[6]. C.-Y. Lin, and S.-F. Chang, “A Robust Image Authentication Method Surviving JPEG Lossy Compression,”Proc. IS&T/SPIE, San Jose, January 1998.
[7]. C.-Y. Lin, and S.-F Chang, “A Robust Image Authentication Method Distinguishing JPEG Compression from Malicious Manipulation,”CU/CTR Technical Report 486-97-19, Dec. 1997.
[8]. Tae-Yun Chung, Min-Suk Hong, Young-Nam Oh, Dong-Ho Shin, and Sang-Hui Park, “Digital Watermarking for Copyright Protections of MPEG2 Compressed Video,”IEEE Trans. on Consumer Electronics, vol. 44, no. 3, Aug. 1998, pp. 895-901.
[9]. Hsu Chiou-Ting, Wu Ja-Ling, “DCT-Based Watermarking for Video,”IEEE Transactions on Consumer Electronics, 44(1), pp. 206-216, 1998.
[10]. Andreas Westfeld, Gritta Wolf, “Steganography in a video conferencing system,”Lecture Notes in Computer Science, vol.1525, pp. 32-44, 1998.
[11]. C.-Y. Lin and S.-F.Chang,“Issuesand SolutionsforAuthenticating MPEG Video,”SPIE International Conf. on Security and Watermarking of Multimedia Contents, vol. 3657, No. 06, EI '99, San Jose, USA, Jan 1999.
[12]. L. M. Marvel, G. Hartwig, and C.G.BonceletJr.,“Compression CompatibleFragileand Semi-Fragile TamperDetection,”SPIE International Conf. on Security and Watermarking of Multimedia Contents II, vol. 3971, No. 12, EI '00, San Jose, USA, Jan 2000.
[13]. E. J. Delp , C. I. Podilchuk, and E. T. Lin, “Detection of Image Alterations using Semi-Fragile Watermarks,”SPIE International Conf. on Security and Watermarking of Multimedia Contents II, vol. 3971, No. 14, EI '00, San Jose, USA, Jan 2000.
[14]. N. D. Memon, P. Vora, and M. Yeung, “Distortion Bound Authentication Techniques,”SPIE International Conf. on Security and Watermarking of Multimedia Contents II, vol. 3971, No. 15, EI '00, San Jose, USA, Jan 2000.
[15]. K. Toyokawa, N. Morimoto, S. Tonegawa, K. Kamijo, and A.Koide, “Secure Digital Photograph Handling with Watermarking Techniquein InsuranceClaim Process,”SPIE International Conf. on Security and Watermarking of Multimedia Contents II, vol. 3971, No. 42, EI '00, San Jose, USA, Jan 2000.
[16]. Q. Sun, D. Zhong, S.-F. Chang, and A. Narasimhalu, “VQ-based Digital Signature Scheme for MultimediaContent,”SPIE International Conf. on Security and Watermarking of Multimedia Contents II, vol. 3971, No. 39, EI '00, San Jose, USA, Jan 2000.
[17]. I. J. Cox, J. Kilian, T. Leighton, and T. Shamoon, “Secure Spread Spectrum Watermarking for Multimedia,”in Proc. IEEE Int. Conf. on Image Processing, Sep. 1996, vol. 3, pp. 243-246.
[18]. Jiri Fridrich, and Miroslav Goljan, “Images with self-correcting capabilities,”Proceedings of 1999 IEEE International Conference on Image Processing, volume: 3,PP. 24 -28 Oct. 1999, Page(s): 792-796 vol. 3.
[19]. Jiri Fridrich, Miroslav Goljan, Rui Du, “Invertible Authentication Watermark for JPEG Images,” Information Technology: Coding and Computing, Proceedings. International Conference, Page(s):223-227, April 2001.
[20]. Chung-Shien Lu, and Hong-Yuan Mark Liao, “Structural Digital Signature for Image Authentication: An Incidental Distortion Resistant Scheme,”IEEE Transactions on Multimedia, vol. 5, No. 2, JUNE 2003.
[21]. Phen Lan Lin, Chung-Kai Hsieh, Po-Whei Huang, “A Hierarchical Digital Watermarking Method for Image Tamper Detection and Recovery,”Pattern Recognition, vol. 38, Issue: 12, pp. 2519-2529, December, 2005.
Watermark Synchronization,”9th Internation Conference, KES 2005, vol. 3, pp.309-316, September, 2005.
[23]. Zhe-Ming Lu, Xiu-Na Xu and Jeng-Shyang Pan, “Face Detection Based on Vector Quantization in color Images, ”International Journal of Innovative Computing, Information and Control, vol.2, no.3, pp.667-672, 2006
[24]. M. Noorkami, and R. M. Mersereau, “Compressed-Domain Video Watermarking for H.264,”IEEE International Conference on Image Processing, ICIP, vol. 2, pp.890-893, Sept. 2005.
[25]. G. Qiu, P. Marzilian, A. T. S. Ho, D. He, and Q. Sun, “A Hybrid Watermarking Scheme for H.264 Video,”Processing of the 17th International Conference on Pattern Recognition, ICPR, vol. 4, pp.865-868, Aug. 2004.
[26]. T. T. Lu, W. L. Hsu, and P. C. Chang, “Blind Video Watermarking for H.264,”in Proc. IEEE Canadian Conference on Electrical and Computer Engineering (CCECE 2006), pp.2318-2321, Ottawa, Canada, May 2006.
[27]. F.Pan,X.Lin,S.Rahardia,K.P.Lim,Z.G.Li,D.Wu and S.Wu,“Fastmodedecision algorithm for intraprediction in H.264/AVC video coding”, IEEE Trans.on Circuits and Systems for Video Technology, Vol. 15, No. 7, July 2005, pp.813-822.
[28]. X.Jing and L.Chau,“Fastapproach forH.264 intermodedecision”,ElectronicsLetters, Vol. 40, No. 17, 19 August 2004, pp. 1050-1052.
[29]. X.Jing and L.Chau,“Fastapproach forH.264 intermodedecision”,ElectronicsLetters, Vol. 40, No. 17, 19 August 2004, pp. 1050-1052.
[30]. D.Wu,F.Pan,K.Lin,S.Wu,Z.Li,X.Lin,S.Rahardjaand C.Ko,“Fastintermodedecision in H.264/AVC video coding”,IEEE Trans. on Circuits and56 Systems for Video Technology, Vol. 15, No. 7, July 2005, pp. 953-958.
[31]. L.Yang,K.Yu,J.Liand S.Li,“An effectivevariableblock-size early terminationalgorithm for H.264 vidoecoding”,IEEE Trans. on Circuits and Systems for Video Technology, Vol. 15, No. 6, June 2005, pp. 784-788.
[32]. A.Chang,Wong,P.H.Wong,Y.M.Yeung and O.C.Au,“Fastmulti-blockselection for H.264 video coding”,International Symposium Circuits and Systems,Vol. 3, 23-26 May 2004, pp.817-820.
[33]. C.Chen,L.Mo,J.Bu,S.Lou,Z.Yang.“A novelfastpredictivemodedecisionalgorithm forH.264”, Signal Processing and Its Applications, 2005. Proceedingsof the Eighth International Symposium, Vol. 1, 28-31 August 2005, pp. 243-246.
[34]. G. Li,M.Chen,H.Li,C.Hsu,“Efficientsearch and modeprediction algorithmsformotion estimation in H.264/AVC”,IEEE International Symposium, Vol. 6, 2 3-26 May 2005, pp. 5481-5484.
[35]. M. Yin and H. Wang, “An improvement fast INTER mode selection for H.264joint with spatio-temporalcorrelation”,Wireless Communications, Networking and Mobile Computing, 2005. Proceedings. 2005 International Conference, Vol. 2, 23-26 September 2005, pp. 1237-1240.
[36]. L.A.Sousa,“Generalmethod foreliminating redundantcomputationsin videocoding”,Electronics Letters, Vol. 36, No. 4, February 2000, pp. 306-307.
[37]. Y.H.Moon,G.Y.Kim and J.H.Kim,“An improved early detection algorithm forall-zero blocks in H.264 video encoding”,IEEE Trans. on Circuits and Systems forVideo Technology, Vol. 15, No. 8, August 2005, pp. 1053-1057.
[38]. C.Y.Su,“An enhanced detection algorithm forall-zero blocksin H.264 video coding”,IEEE Trans. on Consumer Electronics, Vol. 52, No. 2, May 2006, pp. 598-605.
[39]. L.Yang,K.Yu,“An effectivevariable block-sizeearly termination algorithmforH.264 video coding,” in IEEE Trans. Circuits Syst. Video Technol., vol. 15, no.6, pp. 784-788, Jun. 2005.
國科會補助專題研究計畫項下出席國際學術會議心得報告
日期：99 年 10 月 17 日計畫編號
NSC 98-2221-E-151-052
計畫名稱
結合 H.264 視訊壓縮之抗壓縮浮水印與自我組織演算法之影像源
認證的數位視訊錄影認證系統
出國人員
姓名
陳聰毅
服務機構
及職稱
國立高雄應用科技大學電子
工程系/助理教授
會議時間
98 年 9 月 12 日至98 年 9 月 14 日會議地點
日本京都市
會議名稱
(中文)第五屆智慧型資訊隱藏和多媒體訊號處理國際研討會
(英文)
IEEE 2009 Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing(IIHMSP2009)發表論文
題目
(英文)A Compression-Resistant Invisible Watermarking Scheme
for H.264
計畫編號：NSC 98-2221-E-151-052
執行期限：98 年 08 月 1 日 至 99 年 07 月 31 日 主持人：陳聰毅 國立高雄應用科技大學電子工程系
（email：[email protected]）
一、 參加會議經過
第五屆智慧資訊隱藏與多媒體訊號處理國際研討會(IEEE 2009 Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, IIHMSP2009)於 2009 年 9 月 12 日至 9 月 14 日於日本京都舉行。研討會的主辦單位是 IEEE，主要發行在電機、電子、資工等相關領域的 期刋或舉辦研討會，參加其舉辦的學術研討會，有助於與電子、資工等領域的專家學者，作相互的 交流，交換研究心得與結果。這次參與研討會的專家學者，來自台灣、日本、美國等 20 多個國家， 發表論文 400 餘篇。本計畫於執行期間，我們投稿並參與研討會，發表論文 “A Compression-Resistant Invisible Watermarking Scheme for H.264”（如附件一）。
二、 與會心得
IIHMSP 是國際影像與視訊處理理論與研究成果發表的重要會議，此次專家學者與企業工程先 進來自 20 多個國家。此次學術研討會不僅有精采的專題演講，以及專精的理論推導論文發表，也有 效能很好的應用論文發表。這些專家學者與企業工程先進也在該會議中發表許多影像/視訊處理的相 關論文，其中包含影像/視訊編碼、影像/視訊壓縮、電腦視覺等許多新技術，因此，我們於該會議 中吸收許多新的知識與方法，並了解未來的研究趨勢與最新研究發展。會議中，亦有許多學者先進 對我們的研究感到高度興趣，大家互相留下電子郵件，希望有進一步的研究心得交流。三、 建議事項
藉由出國參與國際學術研討會，可以與各國同研究領域的專家學者面對面討論，了解彼此的研 究，分享心得及實驗結果交流，對於提升自己研究，有很大的助益，亦可增進國際視野，建議可以 多補助專家學者出國參加國際學術研討會。四、 攜回資料名稱及內容
大會論文口頭發表議程及論文集一份。五、 其他
98 年度專題研究計畫研究成果彙整表
計畫主持人：陳聰毅 計畫編號： 98-2221-E-151-052-計畫名稱：結合 H.264 視訊壓縮之抗壓縮浮水印與自我組織演算法之影像源認證的數位視訊錄影認證 系統 量化 成果項目 實際已達成 數（被接受 或已發表） 預期總達成 數(含實際已 達成數) 本計畫實 際貢獻百 分比 單位 備 註 （ 質 化 說 明：如 數 個 計 畫 共 同 成 果、成 果 列 為 該 期 刊 之 封 面 故 事 ... 等） 期刊論文 0 0 100% 研究報告/技術報告 0 0 100% 研討會論文 1 1 100% 篇 論文著作 專書 0 0 100% 申請中件數 0 0 100% 專利 已獲得件數 0 0 100% 件 件數 0 0 100% 件 技術移轉 權利金 0 0 100% 千元 碩士生 4 4 100% 博士生 0 0 100% 博士後研究員 0 0 100% 國內 參與計畫人力 （本國籍） 專任助理 0 0 100% 人次 期刊論文 0 1 100% 研究報告/技術報告 0 0 100% 研討會論文 1 1 100% 篇 論文著作 專書 0 0 100% 章/本 申請中件數 0 0 100% 專利 已獲得件數 0 0 100% 件 件數 0 0 100% 件 技術移轉 權利金 0 0 100% 千元 碩士生 0 0 100% 博士生 0 0 100% 博士後研究員 0 0 100% 國外 參與計畫人力 （外國籍） 專任助理 0 0 100% 人次其他成果
