数字图像操作取证综述

谢 皓1 张 健2 倪江群2

(1. 中山大学电子与信息工程学院, 广东广州 510006; 2. 中山大学计算机学院,广东广州 510006)

摘 要: 如今,数字图像编辑技术和软件已经被广泛应用于各行各业,但是图像编辑技术被滥用的案例也层出不穷,造成严重的后果与不良的社会影响。为了证明和维护数字图像的真实性,防止图像编辑技术被滥用,数字图像取证技术已成为与社会生活息息相关的重要技术和多媒体信息安全领域的重要研究方向。本文针对数字图像取证中图像操作检测任务,归纳图像操作检测的基本原理,并介绍在单一操作检测、通用操作检测、操作链检测等多个取证场景下,操作痕迹分析、传统手工取证特征以及深度学习检测器等的最新研究进展,最后对当前图像操作取证研究和挑战进行了总结,并对今后可能的研究方向做了展望。

关键词:图像操作检测;数字图像取证;多媒体信息安全;深度学习;操作链检测

1 引言

在信息技术飞速的发展潮流中,数字图像由于其形象而直观的信息传递能力,成为社会生活中不可或缺的信息载体,同时数字图像编辑技术也随之逐渐普及到千家万户。人们可以根据自身需求,通过数字图像编辑软件(如Photoshop、美图秀秀等)对数字图像进行个性化编辑,实现个人期望的视觉效果。近些年来,随着移动互联网的快速发展以及智能设备的普及,数字图像编辑技术和软件使用门槛不断降低,如图像的获取、编辑和发布的整个过程都能通过智能手机和平板电脑等便携设备轻松完成。然而,数字图像编辑技术的误用和滥用,会造成严重的后果和不良的社会影响,例如,2020年中国某网民发布经篡改的机场告示牌照片,给相关地区疫情防控工作带来了极大的负面影响[1];同年7月,美国驻华使领馆发布经人工篡改的衣物标签图,企图污蔑中国政府的“人权问题” [2]。事实上,图像篡改问题已经广泛存在于各个领域,如时尚杂志、新闻传媒、社交媒体、在线拍卖网站、学术研究期刊等[3]。在“眼见”已经不一定“为实”的今天,数字图像的真实性正遭到越来越多的质疑和挑战。为了证明和维护图像的真实性,防止图像编辑技术被滥用,数字图像取证技术应运而生并已成为与社会生活息息相关的重要技术,也是近年来多媒体信息安全领域的重要研究方向。

数字图像取证技术对待测数字图像进行分析,并通过识别其来源、追溯其操作历史或揭示其肉眼不可见的隐含痕迹等,判断待测图像是否为篡改图像。根据Redi[4]的分析,数字图像取证技术可分为以下两大类:

数字图像源设备识别:该类技术通过识别生成图像的原始拍摄设备进行数字图像取证。常用的方法有:图像生成流程异常识别,如成像过程中的色差、颜色滤波阵列(Color Filter Array,CFA)等;传感器缺陷识别,如像素缺陷、固定模式噪声、光响应非均匀性特征(Photo Response Non-Uniformity,PRNU)等;以及成像设备特性识别,如照相机的颜色处理、JPEG压缩等。

数字图像篡改检测:该类技术通过揭示数字图像的编辑历史进行数字图像取证。常用的方法有:单一图像内的复制粘贴检测,如主成分分析(Principal Components Analysis,PCA)、尺度不变特征变换(Scale-invariant Feature Transform,SIFT)等;图像合成检测,即检测图像中内容的不一致性,如光照方向、复杂光照环境、物体阴影和反射等;以及图像操作检测,如重采样痕迹检测、压缩痕迹检测等。

本文重点关注数字图像操作检测技术。相比于其他篡改检测技术,图像操作检测规避了对图像内容的语义分析,并深入挖掘各种操作对原始图像信号统计规律的影响。该项技术不仅能够有效发现图像操作历史,鉴别数字图像的原始性,为篡改检测提供更详尽的证据,还可根据图像内部操作历史的不一致性,识别图像复制粘贴和图像合成等多种图像篡改,是一种通用的取证技术。

现有的图像操作检测技术可分为两类,其一是基于传统取证特征的检测技术,它通过研究图像操作的性质,分析特定操作在图像上留下的异常统计痕迹,进而针对性地设计取证特征,藉此检测图像是否经过相应的操作;另一类是基于深度学习的检测技术,该类技术借鉴图像分类和目标检测的深度学习网络结构,并根据传统取证方法中的图像操作分析,对模型进行针对性模块设计和结构调整,然后通过足量的数据训练网络以实现图像操作的端到端检测。本文将在总结基本图像操作与常用操作链的基础上,结合相关传统检测特征和深度学习检测器,梳理图像操作检测技术的取证原理,旨在为图像操作检测技术的研究与发展提供借鉴和总结。

本文的结构如下:第2节列举了图像编辑与篡改中常用的图像操作,并详细介绍相关操作痕迹、传统取证特征以及深度学习检测器。第3节介绍具有更加广泛适用性的通用图像操作取证特征与检测器。第4节分析包含多种连续图像操作的操作链复杂检测场景和检测方法,并给出了常用图像操作链的检测特征以及深度学习检测器。第5节归纳目前图像操作检测存在的挑战,并展望未来可能的研究方向。最后,对全文进行总结。

2 图像基本操作的痕迹与检测方法

对单一图像操作的检测是图像操作检测中最简单、最基本的场景,也是图像操作链检测等复杂场景的研究基础。为此,本节将介绍图像编辑和篡改中常用的基本图像操作,包括重采样、JPEG压缩、中值滤波和对比增强等,以及相关操作在图像中引起的特定统计痕迹,并介绍各种基本图像操作相关的传统取证特征和深度学习检测器。

2.1 重采样

1)重采样操作痕迹分析

在图像的编辑和篡改过程中,一般会涉及对目标图像的拉伸、缩放和旋转等几何变换,即重采样操作,因此,重采样检测是图像操作检测的重要研究内容之一。

数字图像Ii,j(i,jZ)可视作对连续图像信号Ix,y(x,yR)采样的结果。当对Ii,j进行几何变换时,首先需要通过插值算法构造原始数字图像的连续插值图像,即:

(1)

其中,Ii,j分别是原始数字图像和连续插值图像,h(x)是插值算法的核函数,常用的核函数有双线性插值核、立方插值核等。然后,根据公式(1)得到的连续插值图像信号计算经几何变换后的连续信号Gx,y,并根据图像网格对连续信号Gx,y进行重新采样、量化和截断,得到几何变换后的数字图像Gi,j

在上述重采样过程中,插值算法会在生成图像邻域像素间引入相关性,进而使重采样图像中含有特定的周期性痕迹,因此,重采样图像高阶统计信号的傅里叶变换频谱中一般会出现对应的特征尖峰,如图1(b)所示。且研究表明[5],不同的重采样插值算法会影响频谱尖峰的高度,而不会影响其位置,频谱尖峰的位置只与重采样操作的参数相关。现有的一些传统重采样检测特征正是基于此特性设计的[5-7],其不仅能够有效检测采用不同插值算法的重采样操作,还可以估计重采样操作参数。

图1 重采样操作痕迹示意图
Fig.1 Tampered artifacts of resampling

2)重采样传统检测特征

Popescu和Farid[8] 通过局部线性预测残差揭示重采样操作引入的特定周期性产物,并采用最大期望(Expectation Maximization,EM)算法联合估计线性预测算子的系数和预测残差的概率图,以检测重采样操作和估计重采样操作因子。随后,Kirchner[9]改进了概率图的计算方法,采用固定的线性滤波算子替换高计算复杂度的EM算法,极大提升了检测算法效率。

Gallagher[5]和Mahdian[6]团队通过假定输入图像服从独立同分布的高斯,证明了重采样信号差分的二阶统计信号呈现周期性。其中,Gallagher[5]通过计算图像的二阶导数,并用傅里叶变换凸显由重采样引起的周期性痕迹。在此基础上,Mahdian团队[6]通过在图像的二阶导数图上计算不同角度的拉东变换(Radon Transform)构成序列,并在该序列的自协方差上揭示重采样操作引起的周期性痕迹。Wei等人[7]在Gallagher[5]工作的基础上进一步对尺度变换与旋转这两种采用重采样的几何变换操作进行区分和参数估计。

除了上述针对重采样周期性痕迹的方法,Vazquez-Padin等人[10]从另外一个角度对上采样(拉伸)图像进行分析。考虑到上采样图像是由小的图像经过拉伸变换所得,是不满秩矩阵,其特征值分布与真实图像存在差异。因此可以通过奇异值分解(Singular Value Decomposition,SVD)提取图像特征值,藉此进行重采样检测,并取得良好的检测和参数估计效果。

3)重采样操作深度学习检测器

Liang等人[11]以残差模块(ResBlock)[12]为基本模块设计卷积神经网络进行重采样操作痕迹检测,使网络对不同重采样因子的重采样图像均具有很好的检测准确率(如表1所示)。Liu等人[13]考虑到池化层不利于图像内容的抑制,从而影响重采样操作检测效果[14]。他们参考VGGNet[15]的网络结构设计了一个不包含池化层的卷积神经网络,对图像进行重采样操作检测与参数估计。Maier等人[16]针对神经网络对重采样图像检测的泛化能力问题进行了研究,通过使用贝叶斯神经网络[17]进行重采样检测,他们的方法在重采样算法与操作因子未知的数据集上表现出更加优异的泛化性能。Ding等人[18]为了使检测网络能够更精确地估计图像的重采样率,设计了METEOR(Measurable Energy Map Toward the Estimation of Resampling Rate)层以消除与重采样检测无关的纹理和其他信息,从而有效抑制了图像内容引起的检测与参数估计偏差。

表1 部分重采样操作检测方法性能对比(%)

Tab.1 Performance comparison among part of resampling detection methods (%)

缩放因子0.700.800.901.101.201.30Popescu[8]60808585100100Mahdian[6]95100100100100100Liang[14]9095100100100100

2.2 JPEG压缩

1)JPEG压缩操作痕迹分析

JPEG压缩是目前最常用的图像有损压缩方法。它不仅可以有效去除冗余的图像数据,并保持图像的视觉质量,还可根据实际需求,灵活调节图像的压缩程度。近年来,随着JPEG压缩图像在社交媒体上的广泛应用,虽然单次JPEG压缩检测难以有效判断图像是否经过恶意篡改,但通过了解图像JPEG压缩历史及操作痕迹,对于与JPEG压缩相关的复杂检测场景(如包含JPEG压缩的操作链检测)的分析具有重要意义。

JPEG压缩的具体实现步骤如下:

(1)分块DCT变换:将图像划分成无交叠的8×8图像块,并分别进行二维离散余弦变换(Discrete Cosine Transform,DCT),得到64个DCT系数;

(2)量化:根据用户需求,选择合适的量化列表Q对DCT系数进行量化,引入可接受的信息损失;

(3)编码:对量化DCT系数以锯齿形(zigzag)顺序进行扫描,并对所得序列进行游程编码,然后采用熵编码转换为可在信道上传输的二值码字。由于该步骤为无损编码,不会造成信息失真,因此在分析JPEG压缩对图像内容的影响时,往往不考虑编码步骤。

由于JPEG压缩在量化过程中引入信息损失,会导致图像中出现以下两种痕迹:由分块进行图像压缩导致的空域块效应和由于量化导致的DCT系数量化痕迹[19]。如图2所示,图像经过质量因子为10的JPEG压缩后,会出现明显的块效应,且DCT系数分布直方图也出现明显的量化痕迹(图2(b))。目前的JPEG压缩检测算法主要针对这两种痕迹进行检测。

图2 JPEG压缩操作痕迹示意图
Fig.2 Tampered artifacts of JPEG compression

2)JPEG压缩传统检测特征

Fan和De Queiroz[20]综合考虑JPEG压缩的两种取证痕迹进行检测。为了检测JPEG压缩的块效应,他们比较图像分块中内部像素与边界像素的差分直方图分布差异,构建直方图取证特征。而针对DCT系数的量化痕迹,他们采用最大似然估计方法对图像DCT系数的量化列表进行估计,进而识别量化痕迹。

Luo等人[21]进一步对JPEG压缩图像的DCT系数量化痕迹进行分析,并提出量化步长的估计方法。他们发现,当量化步长大于或等于2时,JPEG压缩图像的DCT交流系数分布会发生改变,其在(-1,+1)的系数数目会显著提升,且在(-2,-1]和[+1,+2)的分布数目会显著下降。因此,Luo采用这两个区间的系数分布频率比值作为特征,检测JPEG压缩。如表2中结果所示,Luo的方法对不同分辨率的图像都可实现较高的检测率。

表2 JPEG压缩操作检测方法性能对比(%)

Tab.2 Performance comparison among JPEG compression detection methods (%)

图像大小256×256128×12864×6432×32 Fan[20]94.5086.3874.1461.28Luo[21]98.6498.5297.9697.62

上述两种检测方法重点研究对单一压缩操作的检测,而随着JPEG压缩图像的广泛应用,后续与JPEG压缩的相关检测工作主要考虑更实用的取证场景,如双重JPEG压缩检测等,相关算法将在4.2节进行介绍。

2.3 中值滤波

1)中值滤波操作痕迹分析

中值滤波是一种具有良好边缘保持能力的非线性平滑算子,常用于去除图像中的椒盐噪声。此外,Kirchner[22]和Stamm[23]等人指出,中值滤波可以有效消除其他图像操作(如JPEG压缩和重采样等)的取证痕迹。因此,中值滤波操作检测对数字图像取证具有十分重要的研究意义和实用价值。

给定待滤波图像I和滤波窗口尺寸s×s(在实际应用中,s常取3,5和7),其相应的中值滤波图像MF(I)如公式(2)所示:

MF(I)i,j=median{Ip,q:p,qW(i,j)}

(2)

其中,median{}是中值算子,W(i,j)是以像素xi,j为中心的像素位置索引集合。

Bovik等人[24]指出,经中值滤波后,图像的局部区域内出现相同像素值的概率将有明显提升,这种痕迹称为拖尾(Streaking)效应。由于拖尾效应的存在,中值滤波图像的像素差分分布与自然图像存在显著差异。如图3所示为自然图像和中值滤波图像的像素一阶差分分布直方图,其中,中值滤波图像的差分分布在0值附近存在更显著的峰值,其0值所占的比例远高于自然图像。

图3 中值滤波操作痕迹示意图
Fig.3 Tampered artifacts of median filtering

2)中值滤波传统检测特征

针对中值滤波的拖尾效应,Kirchner和Fridrich[25]利用像素差分直方图的统计特性检测中值滤波。根据中值滤波图像差分直方图的0值异常增多,他们采用直方图中0值和1值出现频率的比值作为特征,可有效检测中值滤波。基于相同原理,Cao等人[26]统计在图像纹理区域中一阶差分值为0的像素数量占比,构建中值滤波检测特征。

考虑到中值滤波是一种基于局部序关系的滤波算子,中值滤波操作会影响图像局部像素排序分布。Yuan[27]针对图像局部序关系设计了5个子特征,共同组成中值滤波取证(Median Filtering Forensics,MFF)特征向量,并训练支持向量机(Support Vector Machine,SVM)进行判别,实现了对图像中值滤波操作的有效检测。

Chen等人[28- 29]基于对图像像素差分特性的分析,设计了全局和局部特征(Global and Local Feature,GLF)向量。该特征由两个子特征向量构成,分别从全局和局部特性两个尺度进行中值滤波检测。其中,全局概率特征(Global Probability Feature,GPF)向量根据像素差分值的累积分布差异进行检测,而局部相关特征(Local Correlation Feature,LCF)则基于相邻差分对相关性的特性进行检测。

Kang团队[30]发现自然图像与中值滤波图像的中值滤波残差分布(Median Filter Residual,MFR)存在显著差异。其中,MFR的定义如公式(3)所示:

MFR(I)=MF(I)-I

(3)

Kang等人分别采用二阶马尔科夫过程[30]和自回归模型[31]建模并分析图像的MFR分布,取得对中值滤波操作良好的检测效果。

Zhang等人[32]借鉴微纹理结构分析的方法,通过计算图像的二阶局部三元模式(Local Ternary Patterns,LTP),提取中值滤波检测特征。为了提升算法效率与实用性,他们采用核主成分分析方法进行特征降维,并仍然保持很好的检测效果。

3)中值滤波操作深度学习检测方法

Chen等人[33]参考LeCun等人提出的卷积神经网络结构[34]设计中值滤波检测网络,并在网络输入端增设滤波层,以提取待测图像的MFR特征。实验表明,滤波层的设置可以降低图像内容对检测的影响,有效提升中值滤波检测性能。

Jin等人[35]基于异常检测的方法,采用生成对抗网络[36]实现彩色图像的中值滤波检测。在训练流程中,他们提取真实图像的暗通道中值滤波残差(Dark Channel Residual,DCR)特征,并训练生成器对真实图像的DCR特征进行重构。在检测流程中,

表3 部分中值滤波操作检测方法性能对比(%)

Tab.3 Performance comparison among part of median filtering detection methods (%)

图像大小方法MF3MF564×64Yuan[27] 85.6189.79Chen[29] 91.0694.77Kang[31] 90.2293.17Chen[33] 94.0496.84Jin[35]94.5096.28Tang[37]95.1895.5132×32Yuan[27]80.3285.91Chen[29]85.4391.57Kang[31]83.5286.26Chen[33]87.7193.21Jin[35]90.8293.80Tang[37] 91.5093.57

他们采用判别器识别真实图像与中值滤波图像的重构DCR特征差异,藉此检测图像的中值滤波操作。

Tang等人[37]采用最近邻插值上采样操作以增强图像中由中值滤波产生的痕迹,并训练卷积神经网络识别中值滤波图像。为了提升检测网络的非线性表达能力,他们将前两层卷积层替换成带有多层感知器的卷积层(MLP Convolution Layer,Mlpconv)[38]。实验表明,该检测器在小尺寸图像上取得很好的检测效果。

为了提升中值滤波检测网络的鲁棒性,Shan等人[39]采用去块化层(Deblocking Layer)[40- 41]和融合滤波残差层(Fused Filtered Residual Layer,FFR)作为检测网络的预处理层,以抑制JPEG压缩引起的块效应和图像内容造成的干扰,并取得了良好的鲁棒检测效果。

2.4 对比度增强

1)对比度增强操作痕迹分析

图像对比度增强是一种改善图像视觉效果的篡改操作,能够改变图像中像素强度的整体分布。虽然图像对比度增强操作可能并不是篡改操作的直接结果,但它可以去除一些其他篡改操作(如拼接和复制粘贴)的痕迹,达到降低篡改检测性能的目的。常用图像对比度增强的方式包括伽马校正和直方图均衡等非线性全局对比度增强方法。

给定待增强图像I,它的直方图是离散函数:

H(rk)=nk,k=0,1,...,L-1

(4)

其中,rk是第k级灰度值,nk是图像中像素值为rk的像素个数,L是灰度级个数。对比度增强操作可以看作是先进行像素值的非线性映射T(rk),再进行像素值的量化的过程。非线性映射可以分成收缩性映射和扩张性映射。在量化过程中,收缩性映射将多个不同的输入灰度值映射成同一灰度值,导致输出图像的直方图存在明显的峰值;扩张性映射可能会导致某个输出灰度值被跳过,即该灰度值的像素个数为0,从而导致输出图像的直方图中出现间隙。图4(b)清晰地展示了经过直方图增强的图像的直方图存在的“峰-间隙”效应[42]

图4 对比度增强操作痕迹示意图
Fig.4 Tampered artifacts of contrast enhancement

2)对比度增强操作传统检测特征

针对对比度增强导致图像在灰度值直方图中的“峰-间隙”效应,Stamm团队[42- 44]对图像的灰度值直方图进行傅里叶变换,并根据其中高频能量占比作为检测特征,对对比度增强操作进行取证。

Cao等人[45]发现其他图像处理技术(如JPEG压缩)同样导致图像灰度直方图中的“峰-间隙”效应。为了提升检测的鲁棒性,他们分析对比度增强与JPEG压缩的“峰-间隙”效应之间的差异,发现经过对比度增强操作的图像灰度直方图中始终出现高度为0的间隙,藉此更准确地识别图像中的对比度增强操作。

De Rosa等人[46]发现经过对比度增强的图像,其共生矩阵中存在空白行与空白列[47],并根据共生矩阵每一列的标准偏差设计检测特征,训练SVM分类器进行对比度增强检测。Wang等人[48]对图像噪声残差进行分块并计算每块的线性模型,根据对应图像块的线性模型计算相应的功率谱密度,以呈现线性模型的特性。然后,他们计算整幅图像的均值功率谱密度作为对比度增强的检测特征。

3)对比度增强操作深度学习检测器

Barni 等人[49]采用以图像块作为输入的卷积神经网络,进行对比度增强检测。 Zhang等人[50]设计了基于VGG模型[13]的多路径网络,并将像素分布直方图作为网络输入进行训练,使网络更好地学习对比度增强图像的“峰-间隙”效应。Sun 等人[51]设计了仅具有3个卷积层的神经网络,并将图像的灰度共生矩阵(Grey-Level Co-occurrence Matrix,GLCM)作为网络输入,以进行对比度增强检测。该网络设计对不同的输入图像尺寸、对比度增强方法均有良好的检测效果。 Shan等人[52]同样考虑将GLCM特征和神经网络相结合,他们设计GLCM层和裁剪层(Cropping Layer)作为网络的预处理层,并采用双路神经网络识别对比度增强痕迹。

除了上述只考虑单一特征域作为网络输入的方法,Yang 等人[53]提出了一种基于双域融合卷积神经网络的新框架,综合考虑像素域和直方图域的特征进行对比度增强取证,以实现针对JPEG压缩和反取证攻击鲁棒的对比度增强检测。

表4 部分对比度增强作检测方法性能对比(%)

Tab.4 Performance comparison among part of contrast enhancement detection methods (%)

方法直方图均衡伽马校正平均Stamm[42]96.9010098.45Cao[45] 10097.7098.85De Rosa[46]87.8097.4092.60Sun[51] 98.8099.8099.30

2.5 其他常用图像操作检测

图像平滑与锐化是图像编辑与篡改中常用的边缘修整方法,其中,图像平滑通过线性低通滤波(如高斯平滑滤波),引入局部模糊效应,弱化拼接所致的毛刺与噪点,而图像锐化则可以增强图像边缘的对比度,抹除图像平滑的模糊效应,进而掩盖篡改痕迹。

针对图像平滑的边缘弱化特性,Sutsu等人[54]和Cao等人[55]通过提取待测图像边缘以检测图像平滑操作。其中,Sutsu等人[54]根据小波系数分布特性评估图像的模糊度,而Cao等人[55]则根据图像边缘区域的像素值导数估计平滑滤波核参数,进而识别图像平滑操作。此外,由于图像平滑中采用的低通滤波会影响图像的像素值差分分布,这一特性与中值滤波操作类似,因此,部分中值滤波对图像平滑操作也具有较强的检测能力(如表5中中值滤波检测方法[31]对图像平滑操作有较高的检测率)。

Cao等人[56]发现锐化图像的边缘周围存在过冲效应(Overshoot Artifacts),Cao等人[56]设计了数学模型来衡量过冲效应强度,通过比较全局图像的过冲效应平均强度是否大于设定的阈值来检测图像锐化操作。此外,Feng等人[57]提出了基于边缘检测的锐化操作检测算法,该算法对垂直于边缘方向的像素的变化趋势进行编码,并统计全局图像的此类变化趋势的分布,将其作为图像锐化检测的特征,取得了更好的训练和分类效果。

3 通用的图像操作检测方法

上节主要介绍了针对特定单一图像操作的检测方法。然而,在实际应用中,使用针对特定图像操作的检测方法对其他图像操作进行检测时,检测效果会明显下降,甚至无法检测。如表5所示,四种单一图像操作的检测方法对目标图像操作都可以取得较高的检测率,但用来对其他图像操作进行检测时,检测率会显著下降。针对单一操作检测方法缺乏对多种图像操作检测泛化能力的问题,本节将进一步介绍面向多种图像操作的通用检测方法,包括传统手工特征和深度学习检测器。

3.1 传统通用图像操作检测特征

Qiu等人[58]指出,图像操作与图像隐写在很大程度上具有相似性,表现在图像操作一般也不改变图像语义,但操作对图像像素的修改会改变自然图像的统计分布特征,因此可以借鉴和采用通用隐写分析特征对图像操作进行有效的检测。他们使用空域富集模型(Spatial Rich Model,SRM)[59]和局部二元模式(Local Binary Patterns,LBP)[60]两种隐写分析特征,检测中值滤波、JPEG压缩和重采样等多种图像操作,并且取得了和特定图像操作取证特征相近甚至更优的检测性能。

考虑到隐写分析特征一般具有远比特定图像操作检测特征高的特征维度,如SRM特征[59]维度高达34671维,远大于一般的图像操作检测特征的特征维度,直接使用该特征会极大减低检测算法的效率和实用性。针对该问题,Li等人[61]根据图像操作检测的特点,对SRM特征提取中使用的残差滤波器组和共生矩阵计算参数进行分析和调整,将特征降维至714维。表5中实验结果表明,降维后的SRM特征与原高维SRM都可以实现对各种图像操作的有效检测,而精简和降维后的SRM特征和原SRM特征对图像操作的检测性能类似。

表5 单一操作检测与通用操作检测性能对比(%)

Tab.5 Performance comparison between specific and general operation detection (%)

算法图像操作类型检测率对比度增强伽马校正直方图均衡重采样缩放旋转JPEG压缩中值滤波平滑锐化对比度增强检测方法[42]97.6799.5256.0554.5654.7878.9662.1755.39重采样检测方法[6]50.4853.0491.3490.8684.4657.6952.6450.13JPEG压缩检测方法[21]54.7367.6869.8364.6196.2588.1897.8071.65中值滤波检测方法[31]52.6764.7469.1777.6961.8090.6891.5364.25LBP [60]90.9699.4296.3399.9597.7610099.9997.60SRM[59]98.0599.9797.9999.9597.7810010099.35降维后的SRM[61]96.7099.9595.8699.9597.3499.9910098.78

注:下划线表示表中单一操作检测方法中的最佳性能,加粗体表示表中所有检测方法中的最佳性能。

3.2 通用图像操作深度学习检测器

Bayar和Stamm[62- 63]将卷积神经网络的第1层卷积层设计为约束卷积层(Constrained Convolutional Layer),该卷积层滤波核参数的更新约束为符合高通滤波器特征,以提取具有多样性的残差特征,抑制图像内容的影响,实现对多种图像操作的有效检测。Chen等人[64]为了抑制图像内容对检测效果的影响,采用高通滤波预处理得到残差图像,并以此作为输入训练卷积神经网络进行特征学习,最后使用全连接层进行分类,基于有关设计的深度网络对多种图像操作均取得较好的分类结果。考虑到大部分图像操作具有方向不变性,Chen等人[65]进一步引入各向同性卷积层(Isotropic Convolutional Layer)作为网络的预处理层,并借鉴DenseNet[66]的结构设计网络,实现通用图像操作检测,取得良好的效果。Cozzolino 等人[67]参考传统隐写分析特征,设计网络模拟噪声残差提取、标量量化、共生矩阵计算和直方图计算四个模块,以提取隐写分析[59,68]中的局部残差描述子(Residual-based Local Descriptors),对多种图像操作都具有良好的检测性能(如表6所示)。

表6 部分通用图像操作深度学习检测器性能对比(%)

Tab.6 Performance comparison among part of general deep learning detectors (%)

算法中值滤波平滑重采样JPEGBayar[62]99.7698.1698.3992.41SRM[59]99.7495.7696.9996.94Cozzolino[67]99.6398.8198.9998.13

4 图像常见操作链的检测方法

尽管针对单一图像操作的检测方法已经实现较高的检测准确率,但随着信息传播技术和图像编辑技术的普及与飞速发展,图像操作被广泛应用于各种社交媒体。因此,在传播过程中,图像往往经过多次图像操作处理,仅仅检测单一图像操作难以适应现阶段对恶意图像篡改的检测需求。相应的,对多次图像操作,即操作链的检测需求日益增长。目前的图像操作链检测方法,主要在单次图像操作检测的基础上,进一步研究操作链中两个或多个操作痕迹之间的相互影响,藉此分析操作链中包含的操作类型与顺序。本节将首先介绍图像操作链可检测性的基本原理,然后介绍几种常用图像操作链的检测方法。

4.1 图像操作链可检测性的基本原理

Chu等人[69-70]从信息论的角度对由两个操作组成的操作链的可检测性进行了详细的分析。他们把操作链的可检测性视作假设检验问题,要完全识别由两种图像操作A和B组成的操作链中的操作类型和操作顺序,需要将下述五种假设完全区分:

H0:图像没有经过图像操作;

H1:图像只经过操作A;

H2:图像只经过操作B;

H3:图像先经过操作B再经过操作A(记作B→A);

H4:图像先经过操作A再经过操作B(记作A→B)。

Chu等人[69]引入了“条件痕迹”(Conditional Fingerprint)的概念,用以描述某一个操作痕迹受后续操作影响而产生的变化,并基于信息论对该问题进行分析[70],从理论上得出将上述五种假设完全区分的充分必要条件,具体如下所示:

(1)存在操作A、B和操作链A→B、B→A的操作痕迹;

(2)在操作链A→B的情形下,存在A的条件痕迹;

(3)在操作链B→A的情形下,存在B的条件痕迹;

(4)操作链A→B和B→A的痕迹互不相同。

基于上述理论,可根据图像操作的操作痕迹与条件操作痕迹,对包含两个图像操作的操作链进行可检测性分析。同时,该理论具有一定的可扩展性,在对包含三个及以上操作的操作链进行分析时,可先将其拆分成两个可分析的简单图像操作子链,识别其操作子链的痕迹,再进一步分析复杂操作链的可检测性。

4.2 常见图像操作链的检测方法

1)双重JPEG压缩操作链检测

随着JPEG压缩图像在信息传输中的广泛应用,当篡改者对JPEG压缩图像在空域上进行编辑和篡改时,往往会涉及局部或全局图像的双重JPEG压缩。因此,双重JPEG压缩检测可以有效揭示可疑的篡改图像,具有重要的研究意义。根据两次压缩的分块网格是否对齐,可以把双重JPEG压缩分为对齐双重JPEG压缩(Aligned Double JPEG Compression,A-DJPG)和非对齐双重JPEG压缩(Nonaligned Double JPEG Compression,NA-DJPG)。

Pevny和Fridrich[71]通过DCT系数的直方图特征来检测双重JPEG压缩。他们按照zigzag顺序提取每个分块的前9个交流(AC)DCT子带,并计算其量化DCT系数的分布直方图作为取证特征,以此训练SVM进行双重JPEG压缩检测。

Chen和Hsu[72]提出,JPEG压缩的块效应和DCT系数量化痕迹会导致图像在像素域和DCT系数分布上存在周期性,并进一步分析第二次压缩对这些周期性痕迹的影响。针对NA-DJPG检测,作者根据局部像素差分及其块间相关性建模压缩图像的块效应,并通过傅里叶变换凸显其周期性信号的频谱峰值,构建取证特征。针对A-DJPG检测,作者为了表达DCT系数分布中的周期性,计算每个DCT子带中系数分布直方图的傅里叶变换频谱,并提取频谱尖峰(即极大值)的归一化方差作为取证特征。

Bianchi和Piva[73] 则关注NA-DJPG检测的场景,评估了对任意分块网格偏移的情形下DCT系数的聚集情况,通过对DCT直流系数分布直方图的周期性分析,揭示NA-DJPG的痕迹。随后,他们采用假设检验方法检测A-DJPG和NA-DJPG[74],并用EM算法估计第一次压缩的量化列表以及NA-DJPG中分块网格的偏移。

Yang等人[75]重点研究了前后两次压缩质量因子相同的检测场景。他们关注DCT系数变换回空域后的量化误差和截断误差,并根据产生误差的图像块的统计特性和数目构造基于误差的统计特征(Error-Based Statistical Features,EBSF),用于双重JPEG压缩取证。

除了上述传统方法,基于深度学习的双重JPEG压缩检测也取得了很好的效果。Wang和Zhang[76]以图像的DCT系数直方图作为输入数据,训练浅层卷积神经网络学习双重JPEG压缩检测特征,并根据检测结果对图像中的双重JPEG压缩区域进行定位。随后,Barni等人[77]对Wang和Zhang的工作[76]进行改进,他们采用图像切片作为网络输入,可以检测A-DJPG和NA-DJPG两种双重JPEG压缩图像。Amerini等人[78]综合考虑了空域和DCT域上的压缩痕迹,设计了以RGB图像切片为输入的“空域卷积神经网络”和以DCT系数直方图为输入的“DCT域卷积神经网络”,分别在空域和DCT域上提取特征,并送入后续的多域卷积神经网络中进行双重JPEG压缩检测。Li等人[79]采用了多支卷积神经网络进行双重JPEG压缩检测,他们按照zigzag顺序提取图像前 20 个 AC DCT子带的系数作为网络输入,并取得优异的检测效果。

2)JPEG压缩与重采样组合的操作链检测

Gallagher[5]发现JPEG压缩的分块变换会在重采样特征频谱的固定频率上产生尖峰特性,这种产物会影响在JPEG图像上对重采样操作的检测和参数估计。由于重采样和JPEG压缩操作的广泛应用,对这两种操作组成的操作链的检测研究,具有巨大的实用价值。该类操作链可以细分成3种操作链进行研究,即:先JPEG压缩后重采样(Pre-JPEG重采样);先重采样后 JPEG压缩(Post-JPEG重采样)以及先JPEG压缩再重采样最后第二次JPEG压缩(双重JPEG重采样)。

Chen等人[80]采用两个特征分别识别Pre-JPEG重采样和双重JPEG重采样两种操作链。其中,他们首先采用JPEG压缩检测方法,判断待测图像所经历的最后一次图像操作,然后分别采用变换块效应网格(Transformed Block Artifact Grid,TBAG)特征识别Pre-JPEG重采样操作链,以及隐写分析中的DCT残差(DCTR)特征[81],识别双重JPEG重采样操作链。该方法对这两种操作链均实现较高的检测准确率。Zhang等人[82]分析了Post-JPEG重采样操作链中JPEG压缩与重采样操作在频谱上的频率混淆效应,并提出了基于相位抵消的重采样因子估计算法。

3)连续重采样操作链检测

Wei等人[7]在对单次重采样操作检测的基础上,简要分析了连续两次重采样操作图像的频谱尖峰特性,并藉此给出两次重采样操作参数的估计方法。之后,中山大学倪江群团队[83] 对图像连续重采样操作链问题进行了深入的研究,首次给出了连续仿射变换操作参数与其特征频谱尖峰的一般关系,解决了2010年以来图像取证研究中的一个公开问题,并以两次重采样操作链为例,给出了重采样操作链检测和参数估计的具体算法,实现了对两次重采样操作有效检测和操作参数估计。

4)其他操作链检测工作

Conotter和Comesaa [84]用广义高斯分布建模图像的DCT系数分布,然后分析了先JPEG压缩后线性滤波的操作链对DCT系数分布的影响,通过分布的差异检测操作链。随后,他们进一步完善了上述检测手段,提取DCT系数分布中的尖峰位置与形状、0值量化DCT系数以及DCT系数的方差作为取证特征,并训练SVM分类器进行操作链检测[85]

Liao等人[86]提出了基于双流卷积神经网络的图像操作链通用取证框架,并设计了多个针对特定操作组合的预处理操作。双流卷积神经网络包括空域卷积流和变换特征提取流。空域卷积流可以从图像的空域提取可视篡改特征,变换特征提取流则通过结合针对性设计的预处理从图像的变换域提取残差特征。实验表明,他们的方法能够提高图像操作链取证框架的鲁棒性。

5 图像操作检测技术的挑战与展望

随着数字图像操作检测技术的不断发展与完善,其检测的精度与泛化能力在不断提升。然而,从实用角度出发,当前数字图像操作检测技术仍面临诸多挑战:

1)检测算法的鲁棒性

目前,大多数图像操作检测研究基于实验室搭建的仿真环境,对待测图像操作与图像分布做了一定的简化。然而在实际场景中,多种图像分布和压缩格式、复杂的社交网络图像处理流程等均会影响图像操作检测算法的精度。

针对该问题,后续研究可搭建更贴近真实场景的实验环境,并藉此设计在复杂取证场景下的鲁棒检测特征,或设计基于深度网络的鲁棒训练策略。

2)检测算法的可靠性

多数现有的检测算法没有考虑到未知的攻击场景,如恶意攻击方采用反取证或对抗样本等方法攻击检测算法。如何提升检测算法在对抗攻击场景的性能,仍然是未来图像操作取证重点关注的研究方向。

针对该问题,后续研究在设计检测方案时,可将检测算法的可靠性纳入性能考量,或者结合针对对抗样本等攻击手段的辅助检测器,联合设计可靠的操作检测方案。

3)检测算法的可扩展性

目前的操作检测算法多数局限于对有限种图像操作或者有限种操作组成的操作链进行检测,其考虑的篡改场景相对简单,无法有效扩展到其他更复杂的检测场景当中。

针对该问题,后续研究可考虑从特征解耦的角度出发,将复杂操作链中的操作痕迹依次解耦并进行解析,最终实现对复杂操作组合的有效检测。

6 结论

本文对面向数字图像操作取证的现状和方法进行了综述。首先回顾了数字图像取证的发展历程和取证方法分类,重点介绍了其中的图像操作检测方法;其次,归纳了单一图像操作的篡改痕迹、传统取证特征和深度学习检测器;接着,介绍了具有普适性的通用图像操作检测特征与深度学习检测器;然后,介绍同时存在多个顺序图像操作的复杂检测场景中,操作链的检测原理以及各类操作链的传统检测特征与深度学习检测器;最后,总结了当前图像操作检测技术存在的挑战,并对未来的可能研究方向进行了展望。

参考文献

[1] 搜狐网. P图造谣“机场遣返成都旅客”网民被行政拘留[EB/OL]. https:∥m.k.sohu.com/d/503589052, 2020.

Sohu. Netizen who spread the rumor about ‘airport repatriation of tourists from Chengdu’ was detained [EB/OL]. https:∥m.k.sohu.com/d/503589052, 2020. (in Chinese)

[2] 搜狐网. P图造谣?美领馆有事儿吗? [EB/OL]. https:∥www.sohu.com/a/407570790_120144390, 2020.

Sohu. Tamper picture spreading rumors? What is wrong with the US Consulate? [EB/OL]. https:∥www.sohu.com/a/407570790_120144390, 2020.(in Chinese)

[3] FARID H. How to detect faked photos[J]. American Scientist, 2017, 105(2): 77.

[4] REDI J A, TAKTAK W, DUGELAY J L. Digital image forensics: a booklet for beginners[J]. Multimedia Tools and Applications, 2011, 51(1):133-162.

[5] GALLAGHER A C. Detection of linear and cubic interpolation in JPEG compressed images[C]∥The 2nd Canadian Conference on Computer and Robot Vision (CRV'05). Victoria, BC, Canada. IEEE, 2005: 65-72.

[6] MAHDIAN B, SAIC S. Blind authentication using periodic properties of interpolation[J]. IEEE Transactions on Information Forensics and Security, 2008, 3(3): 529-538.

[7] WEI Weimin, WANG Shuozhong, ZHANG Xinpeng, et al. Estimation of image rotation angle using interpolation-related spectral signatures with application to blind detection of image forgery[J]. IEEE Transactions on Information Forensics and Security, 2010, 5(3): 507-517.

[8] POPESCU A C, FARID H. Exposing digital forgeries by detecting traces of resampling[J]. IEEE Transactions on Signal Processing, 2005, 53(2):758-767.

[9] KIRCHNER M. Fast and reliable resampling detection by spectral analysis of fixed linear predictor residue[C]∥Proceedings of the 10th ACM workshop on Multimedia and security - MM&Sec '08. Oxford, United Kingdom. New York: ACM Press, 2008.

[10]VZQUEZ-PADN D, PÉREZ-GONZLEZ F, COMESAA-ALFARO P. A random matrix approach to the forensic analysis of upscaled images[J]. IEEE Transactions on Information Forensics and Security, 2017, 12(9): 2115-2130.

[11]LIANG Yaohua, FANG Yanmei, LUO Shangjun, et al. Image resampling detection based on convolutional neural network[C]∥2019 15th International Conference on Computational Intelligence and Security (CIS). Macao, China. IEEE, 2019: 257-261.

[12]XIE Saining, GIRSHICK R, DOLLR P, et al. Aggregated residual transformations for deep neural networks[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA. IEEE, 2017: 5987-5995.

[13]LIU Chang, KIRCHNER M. CNN-based rescaling factor estimation[C]∥Proceedings of the ACM Workshop on Information Hiding and Multimedia Security. Paris France. New York, NY, USA: ACM, 2019: 119-124.

[14]BOROUMAND M, CHEN Mo, FRIDRICH J. Deep residual network for steganalysis of digital images[J]. IEEE Transactions on Information Forensics and Security, 2019, 14(5): 1181-1193.

[15]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. https:∥arxiv.org/abs/1409.1556, 2014.

[16]MAIER A, LORCH B, RIESS C. Toward reliable models for authenticating multimedia content: Detecting resampling artifacts with Bayesian neural networks[C]∥2020 IEEE International Conference on Image Processing (ICIP). Abu Dhabi, United Arab Emirates. IEEE, 2020: 1251-1255.

[17]BLUNDELL C, CORNEBISE J, KAVUKCUOGLU K, et al. Weight uncertainty in neural network[C]∥International Conference on Machine Learning. PMLR, 2015: 1613-1622.

[18]DING Feng, WU Hanzhou, ZHU Guopu, et al. METEOR: measurable energy map toward the estimation of resampling rate via a convolutional neural network[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 30(12): 4715- 4727.

[19]FARID H. Image forgery detection[J]. IEEE Signal Processing Magazine, 2009, 26(2): 16-25.

[20]FAN Zhigang, DE QUEIROZ R L. Identification of bitmap compression history: JPEG detection and quantizer estimation[J]. IEEE Transactions on Image Processing, 2003, 12(2): 230-235.

[21]LUO Weiqi, HUANG Jiwu, QIU Guoping. JPEG error analysis and its applications to digital image forensics[J]. IEEE Transactions on Information Forensics and Security, 2010, 5(3): 480- 491.

[22]KIRCHNER M, BOHME R. Hiding traces of resampling in digital images[J]. IEEE Transactions on Information Forensics and Security, 2008, 3(4): 582-592.

[23]STAMM M C, LIU K J R. Anti-forensics of digital image compression[J]. IEEE Transactions on Information Forensics and Security, 2011, 6(3): 1050-1065.

[24]BOVIK A. Streaking in Median filtered images[J]. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1987, 35(4): 493-503.

[25]KIRCHNER M, FRIDRICH J. On detection of Median filtering in digital images[C]∥Proc SPIE 7541, Media Forensics and Security II, 2010, 7541: 754110.

[26]CAO Gang, ZHAO Yao, NI Rongrong, et al. Forensic detection of median filtering in digital images[C]∥2010 IEEE International Conference on Multimedia and Expo. IEEE, 2010: 89-94.

[27]YUAN Haidong. Blind forensics of Median filtering in digital images[J]. IEEE Transactions on Information Forensics and Security, 2011, 6(4): 1335-1345.

[28]CHEN Chenglong, NI Jiangqun, HUANG Rongbin, et al. Blind Median filtering detection using statistics in difference domain[M]∥Information Hiding. Berlin, Heidelberg: Springer Berlin Heidelberg, 2013: 1-15.

[29]CHEN Chenglong, NI Jiangqun, HUANG Jiwu. Blind detection of Median filtering in digital images: A difference domain based approach[J]. IEEE Transactions on Image Processing, 2013, 22(12): 4699- 4710.

[30]PENG Anjie, KANG Xiangui. Robust Median filtering detection based on filtered residual[C]∥The International Workshop on Digital Forensics and Watermarking 2012, 2013:344-357.

[31]KANG Xiangui, STAMM M C, PENG Anjie, et al. Robust Median filtering forensics using an autoregressive model[J]. IEEE Transactions on Information Forensics and Security, 2013, 8(9): 1456-1468.

[32]ZHANG Yujin, LI Shenghong, WANG Shilin, et al. Revealing the traces of Median filtering using high-order local ternary patterns[J]. IEEE Signal Processing Letters, 2014, 21(3): 275-279.

[33]CHEN Jiansheng, KANG Xiangui, LIU Ye, et al. Median filtering forensics based on convolutional neural networks[J]. IEEE Signal Processing Letters, 2015, 22(11): 1849-1853.

[34]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[35]JIN Xiao, JING Peiguang, SU Yuting. AMFNet: an adversarial network for Median filtering detection[J]. IEEE Access, 2018, 6: 50459-50467.

[36]GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.

[37]TANG Hongshen, NI Rongrong, ZHAO Yao, et al. Median filtering detection of small-size image based on CNN[J]. Journal of Visual Communication and Image Representation, 2018, 51: 162-168.

[38]LIN Min, CHEN Qiang, YAN Shuicheng. Network in network[EB/OL]. https:∥arxiv.org/abs/1312.4400v1,2013.

[39]SHAN Wuyang, YI Yaohua, QIU Junying, et al. Robust Median filtering forensics using image deblocking and filtered residual fusion[J]. IEEE Access, 2019, 7: 17174-17183.

[40]LI Mading, LIU Jiaying, REN Jie, et al. Patch-based image deblocking using geodesic distance weighted low-rank approximation[C]∥2014 IEEE Visual Communications and Image Processing Conference. Valletta, Malta. IEEE, 2014: 101-104.

[41]ZHANG Jian, XIONG Ruiqin, ZHAO Chen, et al. CONCOLOR: constrained non-convex low-rank model for image deblocking[J]. IEEE Transactions on Image Processing, 2016, 25(3): 1246-1259.

[42]STAMM M, LIU K J R. Blind forensics of contrast enhancement in digital images[C]∥2008 15th IEEE International Conference on Image Processing. San Diego, CA, USA. IEEE, 2008: 3112-3115.

[43]STAMM M C, LIU K J R. Forensic detection of image manipulation using statistical intrinsic fingerprints[J]. IEEE Transactions on Information Forensics and Security, 2010, 5(3): 492-506.

[44]STAMM M C, LIU K J R. Forensic estimation and reconstruction of a contrast enhancement mapping[C]∥2010 IEEE International Conference on Acoustics, Speech and Signal Processing. Dallas, TX, USA. IEEE, 2010: 1698-1701.

[45]CAO Gang, ZHAO Yao, NI Rongrong, et al. Contrast enhancement-based forensics in digital images[J]. IEEE Transactions on Information Forensics and Security, 2014, 9(3): 515-525.

[46]DE ROSA A, FONTANI M, MASSAI M, et al. Second-order statistics analysis to cope with contrast enhancement counter-forensics[J]. IEEE Signal Processing Letters, 2015, 22(8): 1132-1136.

[47]BARNI M, FONTANI M, TONDI B. A universal technique to hide traces of histogram-based image manipulations[C]∥Proceedings of the on Multimedia and security - MM&Sec '12. Coventry, United Kingdom. New York: ACM Press, 2012: 97-104.

[48]WANG Jinwei, WU Guojing. Image contrast enhancement forensics based on linear pattern[J]. Cyberspace Security, 2019, 10(8): 47-54.

[49]BARNI M, COSTANZO A, NOWROOZI E, et al. Cnn-based detection of generic contrast adjustment with jpeg post-processing[C]∥2018 25th IEEE International Conference on Image Processing (ICIP). Athens, Greece. IEEE, 2018: 3803-3807.

[50]ZHANG Cong, DU Dawei, KE Lipeng, et al. Global contrast enhancement detection via deep multi-path network[C]∥2018 24th International Conference on Pattern Recognition (ICPR). Beijing, China. IEEE, 2018: 2815-2820.

[51]SUN J Y, KIM S W, LEE S W, et al. A novel contrast enhancement forensics based on convolutional neural networks[J]. Signal Processing: Image Communication, 2018, 63: 149-160.

[52]SHAN Wuyang, YI Yaohua, HUANG Ronggang, et al. Robust contrast enhancement forensics based on convolutional neural networks[J]. Signal Processing: Image Communication, 2019, 71: 138-146.

[53]YANG Pengpeng, NI Rongrong, ZHAO Yao, et al. Dual-domain fusion convolutional neural network for contrast enhancement forensics[EB/OL]. http:∥arxiv.org/abs/1910.07992, 2019.

[54]SUTCU Y, COSKUN B, SENCAR H T, et al. Tamper detection based on regularity of wavelet transform coefficients[C]∥2007 IEEE International Conference on Image Processing. IEEE, 2007, 1: I-397-I- 400.

[55]CAO Gang, ZHAO Yao, NI Rongrong. Edge-based Blur Metric for Tamper Detection[J]. J. Inf. Hiding Multim. Signal Process., 2010, 1(1): 20-27.

[56]CAO Gang, ZHAO Yao, NI Rongrong, et al. Unsharp masking sharpening detection via overshoot artifacts analysis[J]. IEEE Signal Processing Letters, 2011, 18(10): 603- 606.

[57]DING Feng, ZHU Guopu, YANG Jianquan, et al. Edge perpendicular binary coding for USM sharpening detection[J]. IEEE Signal Processing Letters, 2014, 22(3): 327-331.

[58]QIU Xiaoqing, LI Haodong, LUO Weiqi, et al. A universal image forensic strategy based on steganalytic model[C]∥Proceedings of the 2nd ACM workshop on Information hiding and multimedia security - IH&MMSec '14. Salzburg, Austria. New York: ACM Press, 2014: 165-170.

[59]FRIDRICH J, KODOVSKY J. Rich models for steganalysis of digital images[J]. IEEE Transactions on Information Forensics and Security, 2012, 7(3): 868- 882.

[60]SHI Y Q, SUTTHIWAN P, CHEN Licong. Textural features for steganalysis[M]∥Information Hiding. Berlin, Heidelberg: Springer Berlin Heidelberg, 2013: 63-77.

[61]LI Haodong, LUO Weiqi, QIU Xiaoqing, et al. Identification of various image operations using residual-based features[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(1): 31- 45.

[62]BAYAR B, STAMM M C. A deep learning approach to universal image manipulation detection using a new convolutional layer[C]∥Proceedings of the 4th ACM Workshop on Information Hiding and Multimedia Security. Vigo Galicia Spain. New York, NY, USA: ACM, 2016: 5-10.

[63]BAYAR B, STAMM M C. Constrained convolutional neural networks: A new approach towards general purpose image manipulation detection[J]. IEEE Transactions on Information Forensics and Security, 2018, 13(11): 2691-2706.

[64]CHEN Bolin, LI Haodong, LUO Weiqi, et al. Image processing operations identification via convolutional neural network[J]. Science China Information Sciences, 2020, 63(3): 139109.

[65]CHEN Yifang, KANG Xiangui, WANG Z J, et al. Densely connected convolutional neural network for multi-purpose image forensics under anti-forensic attacks[C]∥Proceedings of the 6th ACM Workshop on Information Hiding and Multimedia Security. Innsbruck Austria. New York, NY, USA: ACM, 2018: 91-96.

[66]HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA. IEEE, 2017: 2261-2269.

[67]COZZOLINO D, POGGI G, VERDOLIVA L. Recasting residual-based local descriptors as convolutional neural networks: An application to image forgery detection[C]∥Proceedings of the 5th ACM Workshop on Information Hiding and Multimedia Security. Philadelphia Pennsylvania USA. New York, NY, USA: ACM, 2017: 159-164.

[68]PEVNY T, BAS P, FRIDRICH J. Steganalysis by subtractive pixel adjacency matrix[J]. IEEE Transactions on Information Forensics and Security, 2010, 5(2): 215-224.

[69]STAMM M C, CHU Xiaoyu, LIU K J R. Forensically determining the order of signal processing operations[C]∥2013 IEEE International Workshop on Information Forensics and Security (WIFS). Guangzhou, China. IEEE, 2013: 162-167.

[70]CHU Xiaoyu, CHEN Yan, LIU K J R. Detectability of the order of operations: An information theoretic approach[J]. IEEE Transactions on Information Forensics and Security, 2016, 11(4): 823- 836.

[71]PEVNY T, FRIDRICH J. Detection of double-compression in JPEG images for applications in steganography[J]. IEEE Transactions on Information Forensics and Security, 2008, 3(2): 247-258.

[72]CHEN Yilei, HSU C T. Detecting recompression of JPEG images via periodicity analysis of compression artifacts for tampering detection[J]. IEEE Transactions on Information Forensics and Security, 2011, 6(2): 396- 406.

[73]BIANCHI T, PIVA A. Detection of nonaligned double JPEG compression based on integer periodicity maps[J]. IEEE Transactions on Information Forensics and Security, 2012, 7(2): 842- 848.

[74]BIANCHI T, PIVA A. Image forgery localization via block-grained analysis of JPEG artifacts[J]. IEEE Transactions on Information Forensics and Security, 2012, 7(3): 1003-1017.

[75]YANG Jianquan, XIE Jin, ZHU Guopu, et al. An effective method for detecting double JPEG compression with the same quantization matrix[J]. IEEE Transactions on Information Forensics and Security, 2014, 9(11): 1933-1942.

[76]WANG Qing, ZHANG Rong. Double JPEG compression forensics based on a convolutional neural network[J]. EURASIP Journal on Information Security, 2016, 2016(1): 1-12.

[77]BARNI M, BONDI L, BONETTINI N, et al. Aligned and non-aligned double JPEG detection using convolutional neural networks[J]. Journal of Visual Communication and Image Representation, 2017, 49: 153-163.

[78]AMERINI I, URICCHIO T, BALLAN L, et al. Localization of JPEG double compression through multi-domain convolutional neural networks[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Honolulu, HI, USA. IEEE, 2017: 1865-1871.

[79]LI Bin, LUO Hu, ZHANG Haoxin, et al. A multi-branch convolutional neural network for detecting double JPEG compression[EB/OL]. http:∥arxiv.org/abs/1710.05477v1,2017.

[80]CHEN Zhipeng, ZHAO Yao, NI Rongrong. Detection of operation chain: JPEG-Resampling-JPEG[J]. Signal Processing: Image Communication, 2017, 57: 8-20.

[81]HOLUB V, FRIDRICH J. Low-complexity features for JPEG steganalysis using undecimated DCT[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(2): 219-228.

[82]ZHANG Qin, LU Wei, HUANG Tao, et al. On the robustness of JPEG post-compression to resampling factor estimation[J]. Signal Processing, 2020, 168: 107371.

[83]CHEN Chenglong, NI Jiangqun, SHEN Zhaoyi, et al. Blind forensics of successive geometric transformations in digital images using spectral method: Theory and applications[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2811-2824.

[84]CONOTTER V, P, PÉREZ-GONZLEZ F. Forensic analysis of full-frame linearly filtered JPEG images[C]∥2013 IEEE International Conference on Image Processing. Melbourne, VIC, Australia. IEEE, 2013: 4517- 4521.

[85]CONOTTER V, P, PÉREZ-GONZLEZ F. Forensic detection of processing operator chains: Recovering the history of filtered JPEG images[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(11): 2257-2269.

[86]LIAO Xin, LI Kaide, ZHU Xinshan, et al. Robust detection of image operator chain with two-stream convolutional neural network[J]. IEEE Journal of Selected Topics in Signal Processing, 2020, 14(5): 955-968.

A Survey of Digital Image Operation Forensics

XIE Hao1 ZHANG Jian2 NI Jiangqun2

(1. School of Electronics and Information Technology, Sun Yat-sen University, Guangzhou, Guangdong 510006, China; 2. School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou, Guangdong 510006, China)

Abstract: Nowadays, the digital image editing techniques and tools are widely used in various fields in our society, but the increasing cases of image malicious tampering also show the serious consequences of the easy access to image editing. In order to verify and maintain the authenticity of digital images and prevent the abuse of image editing techniques, digital image forensics are catching more and more attention and becoming a hot topic in multi-media information security. Based on the studies on image operation detection in digital image forensics, this paper briefly reviews the basic ideas of image operation detection at first. Then we introduce the latest researches of the operation trace analysis, traditional hand-crafted features, and deep learning detectors under various forensic scenarios, including single operation detection, general operation detection and operation chain detection. Finally, the conclusions and discussions are made on the existing challenges and future developments for image operation detection.

Key words image operation detection; digital image forensics; multi-media information security; deep learning; operation chain detection

文章编号: 1003-0530(2021)12-2323-15

收稿日期:2021-07-01;修回日期:2021-08-11

基金项目:国家自然科学基金(U1936212, U1736215, 61772573)

中图分类号:TP309.2

文献标识码: A

DOI: 10.16798/j.issn.1003- 0530.2021.12.006

引用格式: 谢皓, 张健, 倪江群. 数字图像操作取证综述[J]. 信号处理, 2021, 37(12): 2323-2337. DOI: 10.16798/j.issn.1003- 0530.2021.12.006.

Reference format: XIE Hao, ZHANG Jian, NI Jiangqun. A survey of digital image operation forensics[J]. Journal of Signal Processing, 2021, 37(12): 2323-2337. DOI: 10.16798/j.issn.1003- 0530.2021.12.006.

作者简介

谢 皓 男,1992年生,广东江门人。中山大学电子与信息工程学院博士生。研究方向为多媒体信息安全、数字图像取证与反取证。

E-mail: xiehao6@mail2.sysu.edu.cn

张 健 男,1997年生,广东惠州人。中山大学计算机学院博士生。研究方向为多媒体信息安全、深度伪造检测。

E-mail: zhangj299@mail2.sysu.edu.cn

倪江群 男,1963年生,江苏无锡人。博士,中山大学计算机学院教授,博士生导师。主要研究方向为多媒体信号处理和通信、多媒体信息隐藏和取证、数字电视关键技术、嵌入式系统及应用。

E-mail: issjqni@mail.sysu.edu.cn