————————————
作者简介：仝 威(1988－)，男，硕士研究生，主研方向：数字图像防伪鉴定；赵旭东，博士研究生；王士林，教授、博士；李生红，
教授、博士
收稿日期：2012-11-15 修回日期：2013-01-11 E-mail：sqtongwei@126.com
基于熵和多步马尔可夫特征的图像拼接检测
仝 威，赵旭东，王士林，李生红
(上海交通大学电子工程系，上海 200240)
摘 要：随着图形编辑软件的普及，数字图像篡改越来越容易，数字图像篡改检测已成为一个亟需解决的问题。为此，提出基于 图片信息熵和多步马尔可夫特征的图像拼接检测方法。该方法将图像拼接检测问题转换为两分类模式识别问题，先从原图、3 阶
Haar离散小波变换(DWT)和多尺度分块离散余弦变换(DCT)中提取图片的信息熵，再从图像的分块 DCT 系数中提取多步马尔可夫
转移概率矩阵，由信息熵和多步马尔可夫转移概率矩阵组成统计特征，利用支持向量机分类器进行分类得到判决结果。实验结果 表明，该方法在哥伦比亚图片库上具有较高的拼接检测精度，达到 89.91%。
关键词：数字图像防伪鉴定；拼接检测；信息熵；马尔可夫特征；分块离散余弦变换；支持向量机
Image Splicing Detection Based on Entropy and Multi-step Markov Feature
TONG Wei, ZHAO Xu-dong, WANG Shi-lin, LI Sheng-hong
(Department of Electronic Engineering, Shanghai Jiaotong University, Shanghai 200240, China)
【Abstract】With the popularity of graphic editing software, tampering a digital image becomes more and more easier, so it is urgent to solve digital image forensics problem. Aiming at the problem, this paper proposes an image splicing detection method based on image information entropy feature and multi-step Markov feature. Image splicing detection can be treated as a two-class pattern recognition problem. This method consists of entropy feature extracted from the original image, three-level Haar Discrete Wavelet Transform(DWT) and multiple-size block Discrete Cosine Transform(DCT), and multi-step Markov feature transition probability matrix is extracted from block DCT. The statistical characteristics consist of information entropy and multi-step Markov feature. Support Vector Machine(SVM) is used to judge the image category and get judgment result. Experimental results show that the proposed method applied to the Columbia image dataset possesses promising capability in splicing detection, and it can achieve a detection accuracy of 89.91%.
【Key words】digital image anti-counterfeiting identification; splicing detection; information entropy; Markov feature; block Discrete Cosine Transform(DCT); Support Vector Machine(SVM)
DOI: 10.3969/j.issn.1000-3428.2014.01.050
计 算 机 工 程 Computer Engineering 第 40 卷 第 1 期
Vol.40 No.1
2014 年 1 月 January 2014
・图形图像处理・ 文章编号：1000—3428(2014)01—0236—03 文献标识码：A 中图分类号：TP391.4
1
概述随着信息技术的飞速发展，信息资源的存储介质已由 传统的纸质和胶片方式向数字方式转变，数字图像以其直 观易懂以及有说服力的特点，成为人们获取和发布信息的 最主要的方式之一。随着功能强大的图片处理工具，如 Photoshop、Microsoft paint 等的出现，图像编辑、修改更加 容易。数字图像防伪鉴定近年来成为信息安全领域的新兴 且极其重要的研究课题，同时是图像媒体内容安全的关键 技术。拼接篡改是最常用的图像篡改方式之一，本文主要 研究图像拼接篡改的检测方法。
目前国内外的研究机构和学者对于被动防伪鉴定的研
究工作集中在两方面：一方面是基于单一特征在篡改前后 的变化进行检测鉴定。如利用图片的光照不一致性[1]、双谱 特征[2]、重采样[3]、色度域中的游程矩阵特征[4]、DCT 域共 生矩阵[5]等来检测图像是否被篡改。该类方法优点是不需要 图片库训练分类器，直接对图像真伪进行鉴定，但有其局 限性，检测的正确率偏低。另一方面是基于图像多特征要 素加以综合分析进行检测鉴定，该类检测鉴定方法主要是 通过提取待检测图像的多种统计特征并进行特征组合，最 后通过分类器进行分类得到判决结果。如利用相位一致性 和小波子带特征函数的统计距[6]、距特征和马尔可夫特 征[7]、图像质量评价量和矩特征量[8]、图像质量评价量和隐 马尔可夫模型[9]进行检测。该类方法需要图片库训练分类
第 40 卷 第 1 期 237 仝 威，赵旭东，王士林，等：基于熵和多步马尔可夫特征的图像拼接检测 器，增加了计算的复杂度，但其检测正确率较高。本文提
出一种利用图片的信息熵，并结合改进的马尔可夫特征检 测拼接图片的新方法。
2
特征提取本文提出了利用图片的信息熵和改进的马尔可夫特征 检测图片拼接的算法。下文详细介绍图片的信息熵和多步 马尔可夫特征的提取过程。
2.1 信息熵
信息熵用来测量数字图像包含的信息，数字图像由众 多像素组成，不同的像素组合表现出不同的信息。从统计 的观点，可以利用图像的信息熵来表示图像的像素分布[10]。 拼接会改变图像的像素分布情况，因此，可以利用信息熵 来鉴别图像是否被篡改。
2.1.1 信息熵的定义
数字图像f(m.,n)是一个M行N列的矩阵
f m n
( ., )
M N ， 图像的信息熵定义如下：1 1
( ) M N mnlb mn
m n
H f p p
(1) 其中， # ( , )
mn
f m n P
M N
， # ( , )
f m n
表示像素 ( , )f m n
出现 的次数。定义式(1)中涉及到对数运算，为了减少运算复杂度，
利用泰勒展开式，得到如下近似公式：
1 1
( ) M N mn( mn 1)
m n
H f p p
(2) 2.1.2 信息熵的提取
如图 1 所示，从原图、3 阶 Haar 小波变换和离散余弦转换 (Discrete Cosine Transformation, DCT)系数中提取32维特征。
图 1 小波子带及 DCT 域信息熵的提取
首先，对原图进行 3 阶离散小波变换(Discrete Wavelet Transform, DWT)和 2×2、4×4、8×8 分块 DCT(Block DCT, BDCT)，从而得到 12 个子波带以及 3 个 DCT 系数矩阵，
然后对原图、各子波带和 DCT 系数矩阵做水平、竖直方向 差分并四舍五入得到差分图，最后对各差分图提取信息熵 得到 2×16=32 维特征。
2.2 马尔可夫特征
文献[7]详述了马尔可夫特征的提取过程，并从理论和 实验上证明了该特征的有效性。文献[7]中使用的是一步转 移概率，即只考察相邻像素之间的相关性，本文改进原马 尔可夫特征，提出了多步转移概率矩阵。
拼接操作改变了图像局部的频率分布，DCT 系数可以 反映这种变化。由于图像内容、拼接方法的多样性，仅使 用一步转移概率不能全面地反映这种变化。因此提出使用 多步马尔可夫转移概率，实验也证明了该观点的正确性。
2.2.1 多步马尔可夫特征的定义
k
步马尔可夫转移概率定义如下：1 1
1 1
{ ( , ) | ( , ) }
( ( , ) , ( , ) ) ( ( , ) )
h h
M N k
h h
m n
M N k m n h
p f m n k y f m n x
f m n x f m n k y f m n x
(3)
1 1
1 1
{ ( , ) | ( , ) }
( ( , ) , ( , ) ) ( ( , ) )
v v
M k N
v v
m n
M k N m n v
p f m k n y f m n x
f m n x f m k n y f m n x
(4)
其中， ,
m n
{T T
, 1, , 0, , }T
，并且：1 ,
( , ) 0
A x B y A x B y
其他 (5) 2.2.2 多步马尔可夫特征的提取
如图 2 所示，可以从图像中提取 294 维(T=3)马尔可夫 特征。首先对原图做 8×8 分块 DCT 变换，四舍五入并取绝 对值后得到 DCT 系数矩阵，然后对系数矩阵做水平和竖直 方向的差分运算，得到水平和竖直差分矩阵，最后设定阈 值 T=3，分别计算一步、二步、三步转移概率矩阵，得到 294维马尔可夫特征。
原图 BDCT |F| 阈值T 一步转移
概率矩阵 二步转移概率矩阵 三步转移概率矩阵
（2T+1)2–D
（2T+1)2–D
（2T+1)2–D 差分矩阵水平
差分矩阵竖直 阈值T 一步转移
概率矩阵 二步转移概率矩阵 三步转移概率矩阵
（2T+1)2–D
（2T+1)2–D
（2T+1)2–D
图 2 多步马尔可夫特征提取框图
238 计 算 机 工 程 2014 年 1 月 15 日
3
实验结果与分析3.1
图片数据库本文实验采用哥伦比亚图片库[11]，该图片库包含了 933 幅真实图片和 912 幅拼接图片。库中图片均是 128×
128维的 BMP 格式图片，部分图片如图 3 所示，其中，上 排为真实图片；下排为拼接图片。
图 3 图片库中的样本
3.2 分类器
支持向量机(Support Vector Machine, SVM)是一种基于 统计学习理论的模式识别方法。本文选用 LIBSVM[12]作为 分类器，径向基内积函数(RBF)作为核函数。在每次实验中，
随机选择真实图片的 5/6 和拼接图片的 5/6 用于训练，余下 的图片用于测试。训练中使用网格搜索的方法来确定 SVM 最佳的参数 c 和 。为消除实验的随机性影响，计算 30 次 实验识别率的平均值。同时，ROC 曲线也被用来评价本文 特征的有效性。
3.3 分析结果
采用 2 种方法来评价本文提出的统计特征的性能。一 种是使用真正类率(True Positive Rate, TPR)、真负类率(True Negative Rate, TNR)、ROC 曲线下面积(Area Under Curve, AUC)以及正确率，另一种是使用 ROC 曲线。图 4 为熵特 征(32-D)、马尔可夫特征(294-D)和本文特征(326-D)的 ROC 曲线。
图 4 各种特征的 ROC 曲线
表 1 为多步马尔可夫特征的实验结果。由表 1 可知，
二步马尔可夫特征(S2)、三步马尔可夫特征(S3)与一步马尔 可夫特征(S1)具有相当的检测精度；结合一步和二步马尔可 夫特征可以得到更好的检测效果，识别率达到了 88.62%，
结合一、二、三步马尔可夫特征，识别率进一步提高，达 到了 88.81%，但识别率提高幅度逐渐减小，权衡计算的复 杂度和检测精度，本文选取前三步马尔可夫特征。实验结 果表明，多步马尔可夫特征比一步马尔可夫特征具有更好 的检测能力。
表 1 多步马尔可夫特征检测性能
特征集 TPR/(%) TNR/(%) 正确率/(%) AUC S1(98-D) 85.89 89.30 87.58 0.943 3 S2(98-D) 86.69 88.82 87.74 0.946 0 S3(98-D) 85.63 89.23 87.42 0.939 0 S1+S2(196-D) 87.05 90.22 88.62 0.950 6 S1+S2+S3(294-D) 86.73 90.92 88.81 0.950 9
表 2 为各特征的实验效果。由表 2 可知，改进的 294维马尔可夫特征识别率达到了 88.81%，优于文献[7]中 的马尔可夫特征，再结合 32 维的熵特征，本文提出的特征 集具有较好的检测精度，达到了 89.91%。
表 2 各种特征的实验效果
特征集 TPR/(%) TNR/(%) 正确率/(%) AUC 32-D 79.85 82.30 81.06 0.884 5 294-D 86.73 90.92 88.81 0.950 9 326-D 88.77 91.07 89.91 0.958 7
4
结束语本文提出了基于熵和多步马尔可夫特征的图像拼接检 测方法。图片的信息熵用来表示图片的像素分布，由于拼 接会改变图片的像素分布情况，因此可以利用信息熵来鉴 别图片是否被篡改。在图像拼接检测中，马尔可夫转移概 率矩阵是一种有效的特征，针对图像内容、拼接方法的多 样性，本文提出使用多步转移概率矩阵作为新特征。实验 结果证明了该新特征优于 98 维马尔可夫特征。采用哥伦比 亚图片库，利用 SVM 分类器进行分类，将本文提出的信息 熵和多步马尔可夫特征作为统计特征，识别率达到 89.91%。
然而，目前盲检测的方法还远未成熟，下一步将寻找性能 更好的统计特征，提高篡改图像的识别率。
参考文献
[1] Johnson M K, Farid H. Exposing Digital Foregoes by Detecting Inconsistencies in Lighting[C]//Proc. of ACM Multimedia, Security Workshop. New York, USA: ACM Press, 2005: 1-9.
[2] Ng T T, Chang S F, Sun Q. Blind Detection of Photomontage Using Higher Order Statistics[C]//Proc. of International Symposium on Circuits and System. Vancouver, Canada:
IEEE Press, 2004: 688-691. (下转第 245 页)
第 40 卷 第 1 期 245 刘致远，陈耀武：基于主观质量的 JPEG XR 量化参数选择
参考文献
[1] Srinivasan S, Tu Chengjie, Regunathan S L, et al. HD Photo: A New Image Coding Technology for Digital Photography[C]//
Proc. of SPIE Optics and Photonics, Applications of Digital Image Processing XXX. San Diego, USA: SPIE Press, 2007.
[2] Dufaux F, Sullivan G J, Ebrahimi T. The JPEG XR Image Coding Standard[J]. IEEE Signal Processing Magazine, 2009, 26(6): 195-199.
[3] Tran T D, Liu Lijie, Topiwala P. Performance Comparison of Leading Image Codecs: H.264/AVC Intra, JPEG2000, and Microsoft HD Photo[C]//Proc. of SPIE Optics and Photonics, Applications of Digital Image Processing XXX. San Diego, USA: SPIE Press, 2007.
[4] Schonberg D, Sun Shijun, Sullivan G J, et al. Techniques for Enhancing JPEG XR/HD Photo Rate-distortion Performance for Particular Fidelity Metrics[C]//Proc. of SPIE Optics and Photonics, Applications of Digital Image Processing XXXI.
San Diego, USA: SPIE Press, 2008.
[5] Schonberg D, Sullivan G J, Sun Shijun, et al. Perceptual Encoding Optimization for JPEG XR Image Coding Using Spatially Adaptive Quantization Step Size Control[C]//Proc. of SPIE Optics and Photonics, Applications of Digital Image Processing XXXII. San Diego, USA: SPIE Press, 2009.
[6] Gao Yu, Chan Duncan, Liang Jie. JPEG XR Optimization with Graph-based Soft decision Quantization[C]//Proc. of the 18th IEEE International Conference on Image Processing. Brussels,
Belgium: IEEE Signal Processing Society, 2011.
[7] Tong H H Y, Venetsanopoulos A N. A Perceptual Model for JPEG Applications Based on Block Classification, Texture Masking, and Luminance Masking[C]//Proc. of the 18th IEEE International Conference on Image Processing. Chicago, USA:
IEEE Signal Processing Society, 1998.
[8] 江东明. 视觉模型在 JPEG2000 中的应用研究[J]. 计算机工 程, 2003, 29(4): 130-131.
[9] Malvar H S. Lapped Transforms for Transform Coding with Reduced Blocking and Ringing Artifacts[J]. IEEE Transactions on Signal Processing, 1998, 46(4): 1043-1053.
[10] Jia Yuting, Lin Weisi, Kassim A A. Estimating Just-noticeable Distortion for Video[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(7): 820- 829.
[11] Ma Lin, King N N, Zhang Fan, et al. Adaptive Block-size Transform Based Just-Noticeable Difference Model for Images/Videos[J]. Signal Processing: Image Communication, 2011, 26(3): 162-174.
[12] Yang Xiaokang, Ling W S, Lu Z K, et al. Just Noticeable Distortion Model and Its Applications in Video Coding[J]. Signal Processing: Image Communication, 2005, 20(7): 662- 680 [13] Richter T. Spatial Constant Quantization in JPEG XR is Nearly
Optimal[C]//Proc. of 2010 Data Compression Conference.
Snowbird, USA: [s. n.], 2010.
编辑 陆燕菲
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
(上接第 238 页)
[3] Popescu A C, Farid H. Exposing Digital Forgeries by Detect- ing Traces of Resampling[J]. IEEE Transactions on Signal Processing, 2005, 53(2): 758-767.
[4] Zhao Xudong, Li Jianhua, Li Shenghong. Detecting Digital Image Splicing in Chroma Spaces[C]//Proc. of IWDW’10.
Seoul, Korea: [s. n.], 2011.
[5] 陈古春, 苏 波, 王士林, 等. 基于图片 DCT 域共生矩阵的 图像拼接盲检测[J]. 上海交通大学学报: 自然版, 2011, 45(10): 1547-1551.
[6] Chen Wen, Shi Y Q, Su Wei. Image Splicing Detection Using 2-D Phase Congruency and Statistical Moments of Characteristic Function[Z]. 2007.
[7] Shi Y Q, Chen Chunhua, Chen Wen. A Natural Image Model Approach to Splicing Detection[C]//Proc. of the 9th Workshop on Multimedia & Security. Dallas, USA: ACM Press, 2007:
51-62.
[8] 张 震, 康吉全, 平西建, 等. 用统计特征量实现的图像拼
接盲检测[J]. 计算机应用, 2008, 28(12): 3108-3111.
[9] 张 震, 任 远, 平西建, 等. 基于图像质量评价量和隐马 尔可夫模型的图像拼接检测[J]. 武汉大学学报: 信息科学版, 2008, 33(10): 1030-1033.
[10] Liu Changxin, Guo Ming, Chen Huijuan. Image Steganalysis Based on Spatial Domain and DWT Domain Features[C]// Proc.
of the 2nd International Conference on Networks Security, Wireless Communications and Trusted Computing. Wuhan, China: [s. n.], 2010.
[11] Columbia DVMM Research Lab. Columbia Image Splicing Detection Evaluation Dataset[EB/OL]. [2012-11-05]. http://
www.ee.columbia.edu/ln/dvmm/downloads/AuthSplicedData Set/dlform.html.
[12] Chang C C, Lin C J. LIBSVM: A Library for Support Vector Machines[EB/OL]. [2012-11-05]. http://www.csie.ntu.edu.tw/?
cjlin/libsvm.
编辑 陆燕菲
