一种改进Faster_R-CNN的图像篡改检测模型_田秀霞.pdf

一种改进F a s t e r R-C N N的图像篡改检测模型*田秀霞,刘 正,刘秋旭,李浩然(上海电力大学计算机科学与技术学院,上海 2 0 0 0 9 0)摘 要:随着人工智能的发展,数字图像被广泛应用于各大领域。然而,图像编辑软件的出现导致大量图像受到恶意篡改,严重影响了图像内容的真实性。图像篡改检测的研究不同于通用的目标检测,它需要更加关注图像本身的篡改信息,而这些信息表现形式往往比较微弱,所以检测时需要侧重于学习更丰富的篡改特征。提出一种结合梯度边缘信息和注意力机制的双流F a s t e r R-C NN模型,可以实现不同篡改类型区域的检测定位。双流之一为原色流,利用注意力机制提取图像的表层特征,如亮度对比、篡改边界的视觉差异等。双流之二为梯度流,利用梯度高通滤波器增强真实区域与篡改区域之间的边缘异常特征,使模型更容易发现篡改图像中微弱的篡改痕迹。通过紧凑型双线性池化将原色流和梯度流的特征进行融合。由于公开可用的图像篡改数据集规模较小,基于P A S C A L VO C 2 0 1 2数据集创建了规模为1 0 0 0 0幅的图像篡改检测数据集,用于模型预训练。在C OV E R、C O L UMB I A和C A S I A数据集上的检测结果表明,所提模型的检测精度相比当前最好模型的提高了7.1%9.6%,并在J P E G压缩和图像模糊攻击下表现出了更高的鲁棒性。关键词:图像篡改检测;深度学习;注意力机制;紧凑型双线性池化中图分类号:T P 3 9 1文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 6.0 1 0A n i m a g e t a m p e r i n g d e t e c t i o n m o d e l b a s e d o n i m p r o v e d F a s t e r R-C N NT I AN X i u-x i a,L I U Z h e n g,L I U Q i u-x u,L I H a o-r a n(C o l l e g e o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,S h a n g h a i U n i v e r s i t y o f E l e c t r i c P o w e r,S h a n g h a i 2 0 0 0 9 0,C h i n a)A b s t r a c t:W i t h t h e d e v e l o p m e n t o f a r t i f i c i a l i n t e l l i g e n c e,d i g i t a l i m a g e s h a v e b e e n w i d e l y u s e d i n v a-r i o u s f i e l d s.H o w e v e r,d u e t o t h e a p p e a r a n c e o f i m a g e e d i t i n g s o f t w a r e,a l a r g e n u m b e r o f i m a g e s h a v e b e e n t a m p e r e d w i t h m a l i c i o u s l y,w h i c h s e r i o u s l y a f f e c t s t h e a u t h e n t i c i t y o f i m a g e c o n t e n t.D i f f e r e n t f r o m t h e g e n e r a l o b j e c t d e t e c t i o n,t h e s t u d y o f i m a g e t a m p e r i n g d e t e c t i o n n e e d s t o p a y m o r e a t t e n t i o n t o t h e t a m p e r i n f o r m a t i o n o f t h e i m a g e i t s e l f,w h i c h i s o f t e n m a n i f e s t e d i n a w e a k f o r m.T h e r e f o r e,t h e d e-t e c t i o n m o d e l n e e d s t o f o c u s o n l e a r n i n g m o r e a b u n d a n t t a m p e r f e a t u r e s.T h i s p a p e r p r o p o s e s a d u a l-s t r e a m F a s t e r R-C NN m o d e l t h a t c o m b i n e s g r a d i e n t e d g e i n f o r m a t i o n a n d a t t e n t i o n m e c h a n i s m,a n d t h e m o d e l c a n r e a l i z e d e t e c t i o n a n d l o c a t i o n o f r e g i o n s w i t h d i f f e r e n t t a m p e r i n g t y p e s.O n e o f t h e t w o s t r e a m s i s t h e c o l o r s t r e a m,w h i c h u s e s t h e a t t e n t i o n m e c h a n i s m t o e x t r a c t t h e s u r f a c e f e a t u r e s o f t h e i m a g e,s u c h a s b r i g h t n e s s c o n t r a s t,v i s u a l d i f f e r e n c e o f t a m p e r i n g w i t h t h e b o u n d a r y,e t c.T h e s e c o n d o f t h e t w o s t r e a m s i s a g r a d i e n t s t r e a m.A G r a d i e n t h i g h-p a s s f i l t e r i s u s e d t o e n h a n c e t h e a n o m a l y e d g e f e a t u r e s b e t w e e n t h e r e a l a r e a a n d t h e t a m p e r e d a r e a,m a k i n g i t e a s i e r f o r t h e m o d e l t o f i n d f a i n t t a m p e-r e d t r a c e s i n t h e t a m p e r e d i m a g e.F i n a l l y,t h e f e a t u r e s o f c o l o r s t r e a m a n d g r a d i e n t s t r e a m a r e f u s e d b y m e a n s o f c o m p a c t b i l i n e a r p o o l i n g.D u e t o t h e r e l a t i v e l y s m a l l s i z e o f p u b l i c l y a v a i l a b l e i m a g e t a m p e r i n g*收稿日期:2 0 2 1-0 7-0 6;修回日期:2 0 2 2-0 4-1 9基金项目:国家自然科学基金(6 1 7 7 2 3 2 7);国网甘肃省电力公司电力科学研究院横向项目(H 2 0 1 9-2 7 5);上海市大数据管理系统工程研究中心开放课题(H 2 0 2 0-2 1 6)通信地址:2 0 0 0 9 0 上海市上海电力大学计算机科学与技术学院A d d r e s s:C o l l e g e o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,S h a n g h a i U n i v e r s i t y o f E l e c t r i c P o w e r,S h a n g h a i 2 0 0 0 9 0,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 5卷第6期2 0 2 3年6月 V o l.4 5,N o.6,J u n.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 6-1 0 3 0-1 0d a t a s e t s,t h e P a s c a l VO C 2 0 1 2 i s u s e d t o c r e a t e a n i m a g e t a m p e r i n g d e t e c t i o n d a t a s e t w h i c h c o n t a i n i n g 1 0 0 1 0 i m a g e s f o r m o d e l p r e-t r a i n i n g.T h e e x p e r i m e n t a l r e s u l t s o n C OV E R,C o l u m b i a,a n d C A S I A d a t a s e t s s h o w t h a t t h e m o d e l p r o p o s e d i n t h i s p a p e r i m p r o v e s t h e d e t e c t i o n a c c u r a c y b y 7.1%t o 9.6%c o m-p a r e d t o t h e l a t e s t m o d e l s,a n d e x h i b i t s h i g h e r r o b u s t n e s s u n d e r J P E G c o m p r e s s i o n a n d i m a g e b l u r a t-t a c k s.K e y w o r d s:i m a g e t a m p e r i n g d e t e c t i o n;d e e p l e a r n i n g;a t t e n t i o n m e c h a n i s m;c o m p a c t b i l i n e a r p o o l i n g1 引言数字图像在我们的日常生活中发挥着越来越重要的作用,然而随着图像编辑技术的发展,人们可以轻易地改变图像内容,这可能会传达一些错误的信息,因此检测出图像中的篡改部分,对于保证图像内容的安全性和真实性至关重要。常见的篡改类型 有2种:复 制-粘 贴(C o p y-M o v e)和 拼 接(S p l i c i n g)1。复制-粘贴是将部分图像区域复制到同一幅图像的其他区域;拼接是将部分图像区域粘贴到其他图像上。数字图像取证研究与篡改检测密切相关,通过数字图像取证研究建立的工具和方法可以用来检测图像是否被篡改。这些工具和方法可以分析图像的特征和元数据,检测图像是否被修改,是否存在二次编辑等篡改行为,从而保证图像的完整性和可信度。图像篡改检测的研究,用于检测被篡改图像中的低层次篡改伪影,研究方法主要包括双联合图像专家组J P E G(J o i n t P h o t o g r a p h i c E x p e r t s G r o u p)压缩、颜色滤波阵列C F A(C o l o r F i l t e r A r r a y)分析和局部噪声分析。文献2 提出了一个概率模型来估计不同区域的离散余弦变换D C T(D i s c r e t e C o s i n e T r a n s f o r m)系数和量化因子,在假设篡改区域干扰了这些模式的前提下,基于C F A分析了相机内部滤波模式引入的低层次统计。文献3 提出了一种高斯混合模型对C F A存在区域(真实区域)和C F A缺失区域(篡改区域)进行分类。随着深度学习的发展,深层卷积神经网络已经能够用于图像取证。文献4 首次尝试在图像篡改检测任务上使用基于卷积神经网络的中值滤波取证。文献5 通过训练全卷积神经网络F C N(F u l l y C o n v o-l u t i o n N e t w o r k s)预测给定图像的篡改区域。文献6 在文献4 的基础上以图像块作为输入,网络的最终输出是对图像块是否篡改进行分类。文献7提出了一种叠加式自动编码器,利用篡改图像的上下文关联信息进行模型训练。文献8 将传统方法与深度学习相结合,首先手工提取预先设定好的专一特征,再将这些特征作为深度神经网络的训练输入数据。然而,现有算法存在2个待改进的问题:(1)传统方法的检测效果主要依赖于手工提取的单一特征,这限制了模型的泛化能力;(2)现有算法大多数聚焦于图像级别的检测,没有利用篡改边缘的浅层信息,导致检测准确率较低。为了解 决 上 述2个 问 题,本 文 以F a s t e r R-C NN9为基本框架,提出了一种结合梯度边缘信息和注意力机制的双流F a s t e r R-C NN模型。本文的主要工作包括:(1)在原色流的区域预测网络R P N(R e g i o n P r o p o s a l N e t w o r k)中引入卷积注意力模块C B AM(C o n v o l u t i o n B l o c k A t t e n t i o n M o d u l e)1 0,用 来创建一个新的C B AM-R P N网络,以增强模型对特征的类间区分能力;(2)引入梯度流,利用从梯度滤波器提取的篡改边缘特征,计算边缘点4个方向上的像素值偏差来确定异常边缘点,避免了模型只关注于图像级别的篡改痕迹,实验结果证明了其有效性;(3)基于P A S C A L VO C 2 0 1 21 1数据集创建了一个新合成的篡改图像数据集,用于模型预训练,有效提高了模型性能;(4)在3个标准篡改数据集上进行评估,结果表明本文模型的检测性能优于现有的一些最新算法的。2 相关工作2.1 篡改检测中的边缘特征边缘是数字图像最主要的特征之一,人们识别图像中的目标区域主要是依靠边缘。边缘检测是对灰度级间断的检测,边缘信息是纹理特征和形状特征的重要信息源,也是学习图像内容所依赖的最重要特征。数字图像的边缘指的是图像中灰度值发生突变的像素集合,它存在于目标与目标、目标与背景之间,一般常用导数来描述和检测灰度值的突变1 2。图像内容在篡改过程中,不同物体的边缘都会留下篡改痕迹,这是数字图像篡改检测中的1301田秀霞等:一种改进F a s t e r R-C NN的图像篡改检测模型重要线索。如今,越来越多的研究人员通过研究边缘邻近一阶或二阶方向导数变化规律来识别图像中灰度值不连续或变化较为剧烈的像素点,并将这些突变信息作为篡改检测模型的主要学习特征,以此来提高模型检测性能。文献1 3 针对已有图像篡改检测方法分类精度不高的问题,提出了一种篡改边缘两侧和篡改区域内外不一致性引导的重点关注篡改区域与篡改边缘的卷积神经网络方法,还专门设计了一个篡改边缘提取分支,借助一个33大小的梯度卷积核重点提取篡改区域与非篡改区域之间的边缘轮廓,通过学习物体边缘两侧的不一致性增强篡改特征,以提升篡改区域定位的准确度。文献1 4 针对小目标篡改图像检测精度低的难题,设计了一种以边缘检测作为主要人工特征提取手段的传统图像篡改检测方法,利用P r e w i t t方向导数近似算子1 5,检测篡改图像边缘,通过转换图像检测空间为参数空间完成模板匹配与匹配值加权,结合图像各角点坐标与亚像素坐标,判定伪造区域与真实区域,实现图像篡改检测。在公开图像数据集上的实验结果表明,该方法具有显著的稳定性与有效性。受上述研究启发,本文模型将边缘特征引入到基于深度学习的篡改检测任务中,通过采用更有效的边缘检测方法来增加模型对篡改区域与非篡改区域边界处像素特征的重点关注与学习。2.2 注意力机制在人类视觉中,注意力通常让人们关注整个场景的局部区域,过滤掉无关信息,增强重要信息。作为一个简单而有效的注意力模块,卷积块注意力模块C B AM(C o n v o l u t i o n B l o c k A t t e n t i o n M o d-u l e)依赖于通道注意力模块C AM(C h a n n e l A t t e n-t i o n M o d u l e)和空间注意力模块S AM(S p a t i a l A t-t e n t i o n M o d u l e)。这2个模块分别考虑了全局信息 和 远 距 离 信 息,聚 焦 于 通 道 和 空 间 轴 上 的“Wh a t”和“Wh e r e”方面的重要位置。通道注意力模块的结构如图1所示,将输入特征分别经过全局最大池化和全局平均池化,通过多层感知机ML P(M u l t i L a y e r P e r c e p t i o n)将输出的特征进行对应元素相加的融合操作,最后经过激活函数生成通道注意力特征图Mc。该过程计算如式(1)所示:Mc=(ML P(Fa v g-p)+ML P(Fm a x-p)(1)其中,()是S i g m o i d函数,Fa v g-p和Fm a x-p分别表示经过全局平均池化和全局最大池化的特征,ML P()表示多层感知机。F i g u r e 1 S t r u c t u r e o f C AM图1 C AM结构示意图空间注意力模块的结构如图2所示,将通道注意力模块输出特征图作为该模块的输入特征图。首先,经过全局最大池化和全局平均池化,并将这2个结果进行特征融合;然后使用一个卷积层对特征进行降维;再通过激活函数生成空间注意力特征图Ms。该过程计算如式(2)所示:Ms=(c o n v7 7(c o n c a t(Fa v g-p,Fm a x-p)(2)其中,()是S i g m o i d函数,c o n v()表示卷积操作,卷积核大小为77,c o n c a t()表示简单的特征拼接。F i g u r e 2 S t r u c t u r e o f S AM图2 S AM结构示意图3 合成篡改图像数据集目前国际主流的标准图像篡改数据集中没有足够的数据样本来训练图像篡改检测深度神经网络模型。为了能在这些标准数据集上评估模型性能,本文创建 了 一 个 合 成 篡 改 数 据 集S T D(S y n t h e t i c T a m p e r D a t a s e t s),以预先训练本文模型。具体来说,使用P A S C A L VO C 2 0 1 2中的原始图像和标注信息,通过P y t h o n编码脚本,产生6 7 2 5幅没有进行后处理操作的合成图像,然后使用3种方法对合成数据集进行数据扩充,包括图像平移、图像旋转和椒盐噪声,如图3所示,最终得到有效的篡改图像1 0 0 1 0幅。S T D创建过程如下所述:(1)从P A S C A L VO C 2 0 1 2数据集的分割标注信息中随机选择对象作为篡改区域;(2)将步骤(1)选取的篡改区域随机拼接到该数据集的其他图像上;(3)根据步骤(1)的边界框位置信息以及合成2301C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(6)图像中篡改区域的位置,对合成图像对应的标注文件进行修改,将检测类别修改为S p l i c i n g;(4)将合成图像中的边界框位置信息改为合成图像中篡改区域的位置信息,并以修改后的标注内容作为合成图像最终的标注文件信息。F i g u r e 3 T h r e e m e t h o d s o f s y n t h e t i c d a t a s e t a u g m e n t i n g图3 合成数据集数据增强的3种方法F i g u r e 4 S t r u c t u r e o f t h e p r o p o s e d m o d e l图4 本文模型结构图4 本文模型本文提出的模型由2个部分组成,如图4所示。原色流输入原始篡改图像,使用C B AM-R P N网络产生感兴趣区域R O I(R e g i o n O f I n t e r e s t),再经过R O I池化生成原色特征;梯度流输入经过高通滤波器处理后的图像,使用R P N网络生成R O I,再经过R O I池化生成局部边缘特征。最后利用紧凑型双线性池化(C o m p a c t B i l i n e a r P o o l-i n g)1 6融合双流特征。4.1 原色流原色流将原始篡改图像作为模型输入,本文对原始F a s t e r R-C NN中的特征提取方法进行改进,使用深度残差网络R e s N e t 5 01 7和由谷歌研究院提出的循环特征金字塔网络R e c u r s i v e-F P N(R e-c u r s i v e F e a t u r e P y r a m i d N e t w o r k)1 8学习原始篡改图像中的特征。其中,R e c u r s i v e-F P N是对原始F P N1 9网络的改进,将普通F P N输出的特征再循环地输入给骨干网络,增大了全局特征和感受野,有效地获取多尺度信息,从而提升模型的学习效果。为了让模型更加关注篡改部分特征,缓解由于缺少篡改信息而削弱类间全局特征区别能力的问题,本文对原始R P N网络进行了改进,设计了一种空间注意力机制和通道注意力机制相结合的R P N网络(C B AM-R P N)。首先将注意力特征图作为R P N网络的输入,然后C B AM依次从空间维度和通道维度推断出注意力权重,接着将注意力权重与特征图对应元素相乘,对特征进行自适应调整。该过程如图5所示。F i g u r e 5 C B AM m o d u l e图5 C B AM模块本文在原色分支的R P N网络前加入C B AM模块,结构如图6所示。该过程可表示为式(3):Pi=CiMi(Ci)f2 2u p s a m p i n g(Pi+1)(3)其中,Ci表示R e s N e t提取第i阶段的输出特征,Mi表示注意力模块,运算符号表示特征图中对应元素相加,运算符号表示特征图中对应元素相乘,f2 2u p s a m p i n g表示一个卷积尺寸为22的上采样操作,Pi表示最终生成的特征图。3301田秀霞等:一种改进F a s t e r R-C NN的图像篡改检测模型F i g u r e 6 C B AM-R P N m o d u l e图6 C B AM-R P N模块在原色流中的R P N网络利用经过注意力提取的特征生成感兴趣区域,目的是用于边界框的回归。C B AM-R P N网络的损失函数LR定义如式(4)所示:LR(gi,fi)=1NciLc(gi,g*i)+1Nrig*iLr(fi,f*i)(4)其中,i表示第i个锚框;gi表示第i个锚框中存在潜在的篡改区域的预测概率;g*i表示第i个锚框的真实标签;fi和f*i分别表示第i个锚框的边界坐标和标签;Lc表示C B AM-R P N网络的交叉熵损失,Lr表示用于平滑预测边界框的回归损失,用S m o o t h L1表示;Nc表示在C B AM-R P N网络中小数量批次大小;Nr表示锚点总数;为平衡系数,本文设置=1 0。其中,S m o o t h L1损失函数如式(5)所示:S m o o t h L1(x)=0.5x2,|x|1|x|-0.5,o t h e r w i s e(5)C B AM-R P N算法步骤如算法1所述。其中I F表示由R e s N e t 5 0和R e c u r s i v e-F P N提取后的初始化特征,O F表示经过C B AM-R P N处理后的注意力特征。算法1 C B AM-R P N输入:初始化特征 I F。输出:注意力特征 O F。S t e p 1 将初始化特征I F进行全局平均池化,经过ML P提取特征。S t e p 2 将S t e p 1输出的特征进行全局最大池化,经过ML P提取特征。S t e p 3 将S t e p 1输出的特征和S t e p 2输出的特征对应元素相加。S t e p 4 将S t e p 3输出的特征使用S i g m o i d线性激活。S t e p 5 将S t e p 4输出的特征进行全局平均池化。S t e p 6 将S t e p 4输出的特征进行全局最大池化。S t e p 7 将S t e p 5输出的特征和S t e p 6输出的特征进行特征拼接。S t e p 8 将S t e p 7输出的特征进行卷积压缩通道数。S t e p 9 将S t e p 8输出的特征使用S i g m o i d线性激活。S t e p 1 0 将S t e p 4输出的特征和S t e p 9输出的特征对应元素相乘。S t e p 1 1 将S t e p 1 0输出的特征作为R P N网络输入,经过R P N生成注意力特征O F。4.2 梯度流经过篡改后的图像经过一些后期处理可能隐藏复制或拼接边界、减少对比差异。此时,使用梯度滤波增强边界伪影可以提供额外的篡改证据。梯度流旨在对输入图像进行边缘检测,并对异常边缘进行特征学习。梯度流提供额外篡改痕迹的原理为:如果图像的连续像素有不连续的灰度值,则表示局部不连续,这个不连续的部分成为边缘元素。如果相邻的边缘元素可以沿其切线方向连接成一条线段,则这条线段称为边界。边界反映了图像中物体或区域所占的物理范围,是一种有用且重要的特征2 0。本文的任务是检测物体外围的边缘,并且消除外部噪声对实验的影响。参考实验效果及相关文献2 1,比较不同边缘检测算子的优缺点,本文选用高 斯-拉 普 拉 斯 算 子L o G(L a p l a c i a n o f G a u s s i-a n)2 2进行梯度流中的边缘检测。L o G滤波器是高斯(G a u s s i a n)滤波和拉普拉斯(L a p l a c i a n)滤波的结合,为了防止拉普拉斯滤波器计算二次微分时使图像的噪声更加明显,过滤过程中先使用高斯滤波器平滑图像,再使用拉普拉斯滤波器使图像的轮廓更加清晰。从理论角度分析,L o G算子的最大优势在于它是各向同性的边缘检测算子,其对任何走向的边缘都具有相同的增强效果,对取向不敏感,且具有抵抗噪声的能力,不会在边缘检测的过程中出现多个非边缘像素的响应,避免出现伪边缘降低对图像中篡改痕迹的识别精度。在梯度流中,L o G算子的使用流程如下:首先将输入图像I通过高斯分布因子进行平滑操作,再使用拉普拉斯算子检测边缘,如式(6)和式(7)所示:G(x,y)=12 2e x p(-x2+y222)(6)G(x,y)*I(x,y)=G(x,y)*I(x,y)(7)其中,G(x,y)表示二维高斯函数,(x,y)是图像点坐标,f(x,y)表示点(x,y)对应的像素值。L o G算子等价于对高斯函数求导,再进行原图像的卷积运算,最终结果可以表示为式(8):L o G=G(x,y)=2G(x,y)x2+2G(x,y)y2(8)4301C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(6)假设I(i,j)为边缘点(i,j)对应的像素值,式(9)式(1 2)描述该边缘点像素值与邻域点像素值之间的偏差。水平方向:h(i,j)=l gI(i,j)-I(i-1,j)I(i,j)-I(i+1,j)(9)垂直方向:v(i,j)=l gI(i,j)-I(i,j-1)I(i,j)-I(i,j+1)(1 0)对角方向:d1(i,j)=l gI(i,j)-I(i-1,j-1)I(i,j)-I(i+1,j+1)(1 1)d2(i,j)=l gI(i,j)-I(i-1,j+1)I(i,j)-I(i+1,j-1)(1 2)对于一个正常的边缘点,两边的偏差不明显,边缘点两边的差异比较小,所以计算因子的值(h,v等)也相应较小。但是,对于一个篡改的边缘点,两边往往会出现异常,边缘点过于偏向一边导致对应的计算结果会比较大。计算边缘点4个方向的因子,如果一个因子的值大于阈值T,则认为是可疑边缘点。其中,阈值T是通过实验得到的经验值。4.3 特征融合双线性池化可以融合双流深度卷积网络,在保留C NN网络空间信息的同时,提高了检测的置信度。为了节省内存并在不降低性能的情况下加快训练速度,本文使用文献1 6 中提出的紧凑型双线性池化将原色流和梯度流的特征进行融合。用x表示紧凑型双线性池化的输出,其定义如式(1 3)所示:x=fTcfg(1 3)其中,fc表示原色流网络特征,fg 表示梯度流网络特征。融合后的特征x作为后续判断区域是否被篡改的依据。本文模型的总体损失函数Lt定义如式(1 4)所示:Lt=LR+Lc(fc,fg)+Lb(fc)(1 4)其中,LR表示C B AM-R P N网络损失;Lc表示交叉熵分类损失,用来评估最后篡改区域的分类,它由原色流网络特征fc和梯度流网络特征fg共同决定;Lb表示边界框回归损失,使用S m o o t h L1评估最后篡改区域边界框的回归,它只由原色流网络特征fc决定。本文所提模型的完整流程如图7所示。F i g u r e 7 W o r k f l o w o f t h e p r o p o s e d m o d e l图7 本文所提模型流程图5 实验与结果分析5.1 超参数设置本文模型的训练/测试脚本都是基于P y t o r c h深度学习框架和P y t h o n编程语言实现的。所有实验都在U b u n t u 1 8.0 4中使用NV I D I A G e F o r c e G T X 2 0 8 0 T i进行。在训练过程中,R e s n e t 5 0 由 I m a g e N e t初始化权重,开始训练时的学习率 为1 e-4,随着训练的进行,逐步降低为1 e-5,模型在训 练3 0 0 0 0步 后 收 敛。R P N网 络 的 交 并 比I o U(I n t e r s e c t i o n o v e r U n i o n)阈值设为0.5,优化器选择 随 机 梯 度 下 降S G D(S t o c h a s t i c G r a d i e n t D e s c e n t),动量设为0.9,M i n i-b a t c h s i z e设为1 6。在测 试 阶 段,使 用 非 极 大 值 抑 制NMS(N o n-M a x i m u m S u p p r e s s i o n)来减少冗余框,NMS阈值设为0.3。5.2 实验数据与评价指标如第3节所述,本文自主构建了一个S T D数据集,该数据集用于对模型进行预训练。训练集和测试集按照9:1的比例进行分离,以保证相同的背景和篡改对象不会同时出现在训练集和测试集中。然后根据5 0%的概率翻转合成数据集,以扩展训练样本。在模型预训练完成之后,为了测试算法的泛化能力,本文用3个公开的标准数据集:C OV-E R2 3、C O L UMB I A2 4和C A S I A2 5,来评估从合成数据集训练得到的模型的性能。C OV E R是一个相对较小的数据集,侧重于复制-粘贴篡改方式;C O L UMB I A数据集包含基于未压缩图像的拼接篡改类型;C A S I A数据集提供各种对象的拼接和复制-粘贴图像。对篡改区域进行了仔细选择,并5301田秀霞等:一种改进F a s t e r R-C NN的图像篡改检测模型对图像进行了滤波和模糊等后处理操作。这4个数据集的详细描述如表1所示。T a b l e 1 D e s c r i p t i o n o f d a t a s e t s表1 实验数据描述数据集图像规模/幅图像分辨率/(d p i)S T D1 0 0 1 03 3 55 0 05 0 03 7 5C OV E R2 0 01 9 03 3 45 5 15 5 6C O L UMB I A1 8 07 5 75 6 81 0 0 26 6 6C A S I A5 1 2 32 4 01 6 09 0 06 0 0 本文采用平均精度A P(A v e r a g e P r e c i s i o n)和像素级度量F1-S c o r e(又叫F1得分)作为评估本文模型检测性能的评价指标。设Tp、Fp和FN分别为正确检测到的像素个数、误检测到的篡改像素个数和误漏检测到的篡改像素个数。首先计算精确率P和召回率R,然后根据P和R计算得出F1-S c o r e,定义如式(1 5)式(1 7)所示:P=TpTp+Fp(1 5)R=TpTp+FN(1 6)F1-S c o r e=2PRP+R(1 7)5.3 模型性能分析实验部分,选取当前4种同类工作的先进模型和本文模型进行了比较,包括2种传统模型和2种基于深度学习的模型。这4种模型分别是近似最近邻搜索模型ANN(A p p r o x i m a t e N e a r e s t N e i g h-b o r)2 6、基于篡改图像哈希的模型D C T(D i s c r e t e C o s i n e T r a n s f o r m)2 7、双通道检测模型R G B-N(R G B N e t w o r k)2 8和约束卷积模型C o n s t r a i n e d R-C NN(R e g i o n b a s e d C o n v o l u t i o n a l N e u r a l N e t-w o r k)2 9。其中,基于深度学习的2个模型R G B-N和C o n s t r a i n e d R-C NN均进行与本模型相同的S T D数据集预训练,并且在3个模型的骨干网络上均使用基于I m a g e N e t的预训练模型,以加速网络收敛。2个传统模型的实验结果引用自原论文提供的实验数据。所有算法的实现均由论文发表作者提供。所有模型的F1得分如表2所示,其中,第24列分别为模型在C OV E R、C O L UMB I A、C A S I A这3个标准篡改数据集上的F1得分。不同模型之间的A P对比如图8所示,其中横坐标代表各类模型,纵坐标代表A P值,3种填充阴影代表3个标准篡改数据集。结合表2和图8可以清楚地看出,一方面,基T a b l e 2 F1 s c o r e