基于智能进化算法的可见水印对抗攻击.pdf

基于智能进化算法的可见水印对抗攻击*季俊豪1,张玉书1,赵若宇1,温文媖2,董 理3(1.南京航空航天大学计算机科学与技术学院,江苏 南京 2 1 1 1 0 6;2.江西财经大学信息管理学院,江西 南昌 3 3 0 0 3 2;3.宁波大学信息科学与工程学院,浙江 宁波 3 1 5 0 0 0)摘 要:随着公民版权意识的提高,越来越多含有水印的图像出现在生活中。然而,现有的研究表明,含有水印的图像会导致神经网络分类错误,这对神经网络的普及和应用构成了巨大的威胁。对抗训练是解决这类问题的防御方法之一,但是需要使用大量的水印对抗样本作为训练数据。为此,提出了一种基于智能进化算法的可见水印对抗攻击方法来生成高强度的水印对抗样本。该方法不仅能快速生成水印对抗样本,而且还能使其最大程度地攻击神经网络。此外,该方法还加入了图像质量评价指标来约束图像的视觉损失,从而使水印对抗样本更加美观。实验结果表明,所提方法相比于基准水印攻击方法时间复杂度更低,相比于基准黑盒攻击对神经网络攻击成功率更高。关键词:对抗攻击;水印;图像质量评价指标;优化;神经网络中图分类号:T P 3 0 9.2文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 4.0 1.0 0 7A d v e r s a r i a l v i s i b l e w a t e r m a r k a t t a c k b a s e d o n i n t e l l i g e n t e v o l u t i o n a r y a l g o r i t h mJ I J u n-h a o1,Z HANG Y u-s h u1,Z HAO R u o-y u1,WE N W e n-y i n g2,D ONG L i3(1.C o l l e g e o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,N a n j i n g U n i v e r s i t y o f A e r o n a u t i c s a n d A s t r o n a u t i c s,N a n j i n g 2 1 1 1 0 6;2.S c h o o l o f I n f o r m a t i o n M a n a g e m e n t,J i a n g x i U n i v e r s i t y o f F i n a n c e a n d E c o n o m i c s,N a n c h a n g 3 3 0 0 3 2;3.F a c u l t y o f E l e c t r i c a l E n g i n e e r i n g a n d C o m p u t e r S c i e n c e,N i n g b o U n i v e r s i t y,N i n g b o 3 1 5 0 0 0,C h i n a)A b s t r a c t:W i t h t h e i n c r e a s i n g a w a r e n e s s o f c i t i z e n c o p y r i g h t,m o r e a n d m o r e i m a g e s c o n t a i n i n g w a-t e r m a r k s a r e a p p e a r i n g i n d a i l y l i f e.H o w e v e r,e x i s t i n g r e s e a r c h s h o w s t h a t i m a g e s w i t h w a t e r m a r k s c a n c a u s e n e u r a l n e t w o r k m i s c l a s s i f i c a t i o n,p o s i n g a s i g n i f i c a n t t h r e a t t o t h e p o p u l a r i z a t i o n a n d a p p l i c a t i o n o f n e u r a l n e t w o r k s.A d v e r s a r i a l t r a i n i n g i s o n e o f t h e d e f e n s i v e m e t h o d s t o s o l v e t h i s p r o b l e m,b u t i t r e-q u i r e s a l a r g e n u m b e r o f w a t e r m a r k a d v e r s a r i a l s a m p l e s a s t r a i n i n g d a t a.T o a d d r e s s t h i s i s s u e,t h i s p a-p e r p r o p o s e s a v i s i b l e w a t e r m a r k a d v e r s a r i a l a t t a c k m e t h o d b a s e d o n i n t e l l i g e n t e v o l u t i o n a r y a l g o r i t h m t o g e n e r a t e h i g h-i n t e n s i t y w a t e r m a r k a d v e r s a r i a l s a m p l e s.T h i s m e t h o d c a n n o t o n l y q u i c k l y g e n e r a t e w a t e r m a r k a d v e r s a r i a l s a m p l e s,b u t a l s o m a x i m i z e t h e a t t a c k o n t h e n e u r a l n e t w o r k.I n a d d i t i o n,t h i s m e t h o d i n c o r p o r a t e s i m a g e q u a l i t y e v a l u a t i o n m e t r i c s t o c o n s t r a i n t h e v i s u a l l o s s o f t h e i m a g e,m a k i n g t h e w a t e r m a r k a d v e r s a r i a l s a m p l e s m o r e v i s u a l l y a p p e a l i n g.T h e c o m p r e h e n s i v e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e p r o p o s e d m e t h o d h a s l o w e r t i m e c o m p l e x i t y t h a n t h e b e n c h m a r k w a t e r m a r k a t t a c k m e t h-o d,a n d h a s a h i g h e r a t t a c k r a t e o n n e u r a l n e t w o r k s c o m p a r e d t o t h e b e n c h m a r k b l a c k b o x a t t a c k.K e y w o r d s:a d v e r s a r i a l a t t a c k;w a t e r m a r k;i m a g e q u a l i t y e v a l u a t i o n;o p t i m i z a t i o n;n e u r a l n e t w o r k*收稿日期:2 0 2 3-0 4-1 1;修回日期:2 0 2 3-0 6-0 2基金项目:国家自然科学基金(6 2 0 7 2 2 3 7);南京航空航天大学研究生科研与实践创新计划(x c x j h 2 0 2 3 1 6 0 3)通信作者:张玉书(y u s h u n u a a.e d u.c n)通信地址:2 1 1 1 0 6 江苏省南京市南京航空航天大学计算机科学与技术学院A d d r e s s:C o l l e g e o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,N a n j i n g U n i v e r s i t y o f A e r o n a u t i c s a n d A s t r o n a u t i c s,N a n j i n g 2 1 1 1 0 6,J i a n g s u,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 6卷第1期2 0 2 4年1月 V o l.4 6,N o.1,J a n.2 0 2 4 文章编号:1 0 0 7-1 3 0 X(2 0 2 4)0 1-0 0 6 3-0 91 引言近年来,神经网络在许多领域取得了巨大的成功,引起了广泛的关注。然而,最近的一些研究成果1 8表明,神经网络容易受到对抗样本中的攻击,这种攻击通过对模型输入进行细微的扰动,导致神经网络分类错误。水印对抗样本7,8是对抗样本中的一种特例,它将特定的水印作为扰动嵌入到图像中误导神经网络模型,这对神经网络的普及和应用造成了巨大的威胁。如图1所示,在德牧图像中添加透明度为0.3的伯克利分校校徽,R e s-N e t 1 0 1(R e s i d u a l N e u r a l N e t w o r k w i t h 1 0 1 l a y-e r s)将生成的图像错误地分类为枪口。F i g u r e 1 A n e x a m p l e o f n e u r a l n e t w o r k c l a s s i f i c a t i o n m i s l e d b y w a t e r m a r k i n g(t o p c o n f i d e n c e s c o r e)图1 神经网络分类被水印误导的示例(最高置信度)水印是添加在不同图像上的文本或图案。根据视觉效果的不同,水印分为可见水印和不可见水印。可见水印是一种在数字媒体上直接可见的水印,通常包括文字、图像或标志等,用于声明图像来源或者美化图像,并且已被证明可见水印对压缩、旋转等防御措施具有鲁棒性8。不可见水印通常由一些不可察觉的数字信号组成,常用于验证数字内容的来源和完整性。随着公民版权意识的提高,含有水印的图像在日常生活中越来越多。如何使神经网络分类器对这些图像具有鲁棒性成了一大难题。对抗训练是解决这个问题最有效的防御措施之一。这种方法通过不断输入水印对抗样本并执行对抗训练,从而不断提升神经网络的鲁棒性。然而,对抗训练的成本较高,为了保证有效性,需要使用大量高强度的水印对抗样本。现有的方法7,8使用可见水印对抗攻击来生成高强度的水印对抗样本。但是,这些方法无法自动地设置约束条件,且没有考虑生成样本的视觉效果。为此,本文提出了一种基于智能进化算法的可见水印对抗攻击方法。该方法将可见水印对抗攻击问题转化为求解约束非凸优化问题,不仅能快速地生成水印对抗样本,而且还能使生成的水印对抗样本最大程度地攻击神经网络。具体来说,本文主要采用遗传算法来生成水印对抗样本。首先对水印进行图像变换(缩放、旋转等),之后采用A l p h a-b l e n d i n g技术将变换后的水印嵌入到原始图像中,最后使用神经网络对生成的图像进行预测,并进行迭代优化,选择出能最大程度影响预测结果的参数。为了控制水印对抗样本的视觉效果,本文方法还引入了图像质量评价指标来约束图像的视觉损失。值得注意的是,本文提出的方法是一种基于置信度的方法,属于黑盒攻击,只需获取神经网络分类器输出的类别和置信度就能生成水印对抗样本。相较于现有的方法,本文提出的方法能够根据设定的视觉损失约束,自动地调整嵌入水印的参数,不需要人工设定参数的约束边界,具有更高的效率。水印对抗攻击生成的水印对抗样本不仅适用于对抗训练,而且在现实场景中具有广泛的应用和意义。例如,一些恶意软件可能会使用神经网络模型来获取特定类别的图像。由于本文方法属于黑盒攻击,通过在图像中嵌入可见水印,可以在一定程度上阻止恶意软件的识别,且生成的图像具有可见水印的一些特性。2 相关概念2.1 对抗攻击与防御对抗攻击指的是针对深度学习模型的攻击,通过对输入样本添加一些微小的扰动,使模型产生分类错误或误判的结果。这些扰动通常是不可见或人类难以察觉的,但足以改变模型的输出。与之相对应的是对抗防御。对抗防御是指对抗攻击的一种应对措施,其目的是提高深度学习模型的鲁棒性,使其能够在受到对抗攻击时仍能够输出正确的结果。对抗攻击和对抗防御的研究,对于提高深度学习模型的鲁棒性、可靠性和安全性具有重要意义。2.1.1 对抗攻击对抗攻击可以根据攻击者所拥有的信息分为白盒攻击和黑盒攻击。白盒攻击2 5是指攻击者拥有目标模型的全部信息,包括模型结构、权重参数和训练数据等。黑盒攻击6 8是指攻击者只能通过输入和输出来了解目标模型的行为,无法直接获取模型的内部信息。在实际应用中,黑盒攻击是比较常见的攻击方式,因为攻击者通常无法获得完整的模型信息。对抗功击还可以根据攻击者的目46C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 4,4 6(1)标分为目标攻击2 4和无目标攻击5 8。目标攻击是指攻击者有一个特定的目标,例如将一幅被分类为猫的图像误导成被分类为狗的图像。无目标攻击是指攻击者没有明确的目标,只是试图使得模型出现误分类。S z e g e d y等人2发现神经网络很容易受到对抗攻击的影响。2 0 1 4年,S z e g e d y等人2提出了对抗样本的概念,他们的研究表明,即使是精心设计的神经网络,在输入中添加微小扰动后,也容易出现判断错误的情况。此外,他们还首次将神经网络误分类问题转化为求解非线性优化问题。随后,G o o d f e l l o w等 人3提 出 了 快 速 梯 度 符 号 方 法F G S M(F a s t G r a d i e n t S i g n M e t h o d)来生成对抗样本,该方法利用神经网络的梯度信息,用一定程度的扰动来改变输入数据,导致神经网络做出错误分类。迭代 快 速 梯 度 符 号 方 法I-F G S M(I t e r a t i v e F a s t G r a d i e n t S i g n M e t h o d)4是F G S M的改进版本。该方法通过多次执行F G S M来生成对抗样本,能够在保持高效性的同时提高攻击的成功率。接着,M o o s a v i-D e z f o o l i等人5提出了一种基于线性近似的对抗攻击方法D e e p F o o l,该方法每次迭代都添加一个非常细微的扰动向量,直到图像偏离原分类的决策边界,这些扰动叠加后作为最终的扰动向量。此外,S u等人6提出了单像素攻击方法,通过修改图像的单个像素,利用遗传算法生成对抗样本。可见水印对抗攻击是一种特殊的对抗攻击,其目的是在保留图像视觉质量的同时,将水印作为扰动嵌入到图像中,并使得嵌入的水印对神经网络分类结果产生影响。为了将可见水印作为扰动来生成水印对抗样本,J i a等人7首次将盆地跳跃进化B HE(B a s i n H o p p i n g E v o l u t i o n a r y)算法应用到对抗攻击中。B HE算法能够选择水印的透明度,并在原始图像中的某个位置嵌入水印,这样得到的攻击性能具有较好的适用性。接着,J i a n g等人8进一步提出了类似于补丁攻击的快速可见水印对抗攻击F AWA(F a s t A d v e r s a r i a l W a t e r m a r k A t-t a c k)算法。该算法在原始图像上附加半透明的水印,并调整水印大小和嵌入角度来攻击神经网络分类器。相比于B HE算法,F AWA算法增加了对水印大小和嵌入角度的选择。这2种可见水印对抗攻击都对水印透明度进行了约束,但是这种约束都是基于经验总结出来的,最后生成的对抗样本在视觉效果表现上让人难以接受。因此,研究一种能约束视觉损失并能够自适应调整水印参数的可见水印对抗攻击方法有重要意义的。2.1.2 对抗防御目前,在对抗防御研究上存在3个主要方向:在学习过程中修改训练过程或修改输入样本、修改网络结构和使用外部模型作为附加网络。其中,通过修改输入样本进行对抗防御的方法被称为对抗训练。对抗训练被广泛应用于提高模型的鲁棒性和通用性,特别是针对水印对抗攻击。将生成的水印对抗样本添加到训练集中并重新训练模型可以使模型具有更优的鲁棒性和通用性。X i e等人9还发现将随机重缩放引入训练图像可以减弱对抗攻击的强度,其它方法还包括随机填补、训练过程中的图像增强等。此外,P a p e r n o t等人1 0提出了一种基于防御蒸馏的对抗防御方法,通过训练一个模型来预测先前训练的另一个模型的输出,可以获得鲁棒性更高的模型。W a n g等人1 1使用单独的数据转换模块对输入数据进行转换,来消除图像中可能的对抗性扰动。2.2 水印嵌入算法水印嵌入算法是指嵌入的水印可以被看到或感知,而不需要额外的解码或特殊设备。在可见水印嵌入领域,B r a u d a w a y等人1 2首次将可见水印引入图像,使用自适应非线性像素域技术将水印添加到图像中,这种技术在保留图像细节的同时,还能使添加的可见水印难以移除。在该算法中,水印和原始图像具有相同大小,即水印和原始图像的每个像素都一一对应,可以独立进行运算。之后,K a n k a n h a l l i等人1 3使用块离散余弦变换技术来提取每个块的频域特征,从而确定每个块的水印嵌入系数和位置。在嵌入时,根据每个块的特性来调整嵌入系数和位置,以最大限度地保留图像的质量 和 感 知 性。最 后,S h e n等 人1 4建 议 使 用A l p h a-B l e n d i n g技 术 来 生 成 可 见 水 印。A l p h a-B l e n d i n g技术将水印融入到图像中,可以快速地嵌入水印,并且具有很好的普适性。在嵌入时,将水印与原始图像的A l p h a通道进行合成,可以在保持图像质量的同时,使嵌入的水印更加稳定和难以移除。2.3 参数优化算法参数优化算法大体上可以分为梯度下降算法1 5 1 7和智能进化算法1 8 2 12类。梯度下降算法是一种基于数学优化的方法,其核心思想是通过计算函数的梯度来沿着函数最陡峭的方向寻找最小值,从而达到优化的目的。智能进化算法是一种基56季俊豪等:基于智能进化算法的可见水印对抗攻击于仿生学的方法,其核心思想是通过模拟自然界中的一些现象,基于自然进化原理的优化算法来寻找最优解,如蚁群优化A C O(A n t C l o n y O p t i m i z a-t i o n)算法1 8、遗传优化GA(G e n e t i c A l g o r i t h m)算法1 9和粒子群优化P S O(P a r t i c l e S w a r m O p t i-m i z a t i o n)算法2 0等。本文方法在水印嵌入过程中无法获得神经网络参数,属于黑盒攻击,因此可以选择遗传算法来进行参数优化。F i g u r e 2 F l o w c h a r t o f a d v e r s a r i a l v i s i b l e w a t e r m a r k a t t a c k b a s e d o n i n t e l l i g e n t e v o l u t i o n a r y a l g o r i t h m图2 基于智能进化算法的可见水印对抗攻击流程图3 问题形式化本文提出了一种基于智能进化算法的可见水印对抗攻击方法。该方法包含2个主要部分:水印嵌入模块和对抗攻击模块。水印嵌入模块采用A l p h a-B l e n d i n g技术来快速生成含有可见水印的图像。对抗攻击模块采用智能进化算法里的遗传算法,能够从多个由A l p h a-B l e n d i n g生成的图像中选择出高强度的水印对抗样本,从而最大程度地误导神经网络分类器。如图2所示,图像和水印经过遗传算法计算出透明度系数、缩放比例和旋转角度等参数;然后对水印进行旋转和缩放操作;接着根据透明度系数使用A l p h a-B l e n d i n g技术将水印嵌入到图像中;最后将生成的图像传入到预训练好的神经网络分类模型,根据神经网络计算出的分类概率来修改遗传算法中的参数。通过不停地迭代更新参数,获得一个效果较好的水印对抗样本。3.1 A l p h a-B l e n d i n g图像在计算机中以数字矩阵形式存储。一般的图像有3个通道,表示每个像素有R、G、B 3个颜色分量。在一幅带有A l p h a通道的图像中,每个像素包含3个颜色分量和1个A l p h a分量。A l p h a通道是图像中的第4个通道,用于衡量每个像素的透明度。A l p h a分量取值一般从02 5 5,0表示是该像素完全透明,颜色不会显示;2 5 5表示该像素完全不透明,颜色显示正常。图像最终显示的颜色取决于每个像素点的3个颜色分量及其A l p h a分量值。如图3所示,通过修改所有A l-p h a分量值可以影响一幅图像的透明度。此外,当一幅图像从R G B颜色模式转为R G B A颜色模式时,默认所有像素的A l p h a分量值为2 5 5。A l p h a-B l e n d i n g是一种混合像素值并产生半透明效果的图像合成技术,可以在原始干净图像中快速嵌入彩色可见水印2 1。其基本思想是将前景图像和目标图像按照一定比例进行混合,产生一幅新的图像。其中,混合比例由前景图像的A l p h a分量值控制,A l p h a值越高,前景图像在混合后的图像中占比越大,该像素点越不透明。在这个混合66C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 4,4 6(1)F i g u r e 3 I m a g e s w i t h d i f f e r e n t A l p h a v a l u e s图3 不同A l p h a值的图像过程中,每个像素的A l p h a值(透明度值)都会影响其在最终图像中的颜色。在水印嵌入模块中,本文利用A l p h a通道值控制水印的透明度,从而实现可见水印的嵌入,使其既能显示又不过度影响原图视觉效果。A l p h a-B l e n d i n g的一般化计算如式(1)所示:o u t p u t=s c*A l p h a+d c*2 5 5-A l p h a /2 5 5(1)其中,s c和A l p h a是前景图像(即嵌入图像)的像素值及其对应的A l p h a分量值;d c是背景图像的像素值;o u t p u t是输出图像的像素值。式(1)表示,混合后的颜色是由前景图像和背景图像的颜色加权平均得到的,权重由前景图像的A l p h a分量值决定。如果A l p h a为0,则表示前景图像完全透明,背景图像保持不变;如果A l p h a为2 5 5,则表示前景图像完全不透明,覆盖在背景图像上;如果0A l p h a2 5 5,则表示前景图像半透明,将会显示混合后的颜色。在本文中,假设原始图像为I RMN 3,M和N分别表示图像的高度和宽度。原始水印为WRmn 3,其中m和n分别表示原始水印的高度和宽度。经过放缩、旋转等变 换后的水 印为W Rm n 3,其中m 和n 分别表示变换后水印的高度和宽度。进一步假设,如果W 存在A l p h a通道,将这个通道记作A;如果不存在,则认为W 完全不透明,即矩阵A中的值都为2 5 5。I和W 经过A l p h a-B l e n d i n g生成的图像为G RMN 3,其大小与I的一致。当2幅图像进行A l p h a-B l e n d i n g处理时,分别对叠加区域的各像素进行线性加权求和,得到混合后新的像素。一般情况下I和W 大小不一致,需要分区域讨论,具体如下所示:当i(p,p+m),j(q,q+n)时,嵌入公式如式(2)和式(3)所示:=Ai-p,j-q(2)Gi,j=Ii,j*+W i-p,j-q*2 5 5-/2 5 5(3)其中,p和q表示W 嵌入到I的具体位置;表示自定义的透明度系数,取值在0,1;Ii,j表示原始图像I第i行、第j列像素向量;W i,j表示变换后的水印图像W 第i行、第j列像素向量。若W 完全不透明,式(2)可以简化为式(4):Gi,j=Ii,j*+W i-p,j-q*1-(4)当i(p,p+m),j(q,q+n)时,嵌入公式如式(5)所示:Gi,j=Ii,j(5)值得注意的是,在实际操作中,由于图像旋转会改变图像大小,先对水印图像采取旋转操作,再按照特定比例因子进行缩放操作。缩放水印的时候需要满足m a x(m,n)m i n(M,N),这样可以使水印始终位于原始图像内部。具体缩放公式如式(6)和式(7)所示:m=i n t m*,n=i n tn*(6)=m i nM*s c a l em,N*s c a l en (7)其中,s c a l e是缩放系数,表示W 长宽占I长宽的比例;i n t()是向下取整函数;表示缩放比例因子。具体操作如图4所示,从I m a g e N e t数据集中任选一幅图像嵌入腾讯文字水印。F i g u r e 4 A n e x a m p l e o f w a t e r m a r k e m b e d d i n g图4 水印嵌入示例3.2 问题形式化本文的目标是生成高强度的水印对抗样本。水印的位置i,j 、透明度系数、缩放比例和旋转角度均会影响水印对抗样本的生成。生成水印对抗样本的过程可以形式化为求解多元约束非凸优化问题。为了控制水印对抗样本的视觉效76季俊豪等:基于智能进化算法的可见水印对抗攻击果,本文还考虑了图像的视觉损失。具体而言,优化目标是在设定的图像损失里面,让生成的水印对抗样本在原始的分类标签上的概率尽可能小。假设有一个经过良好训练的神经网络分类器f(),原始图像I的真实分类标签为t,ft()表示I被模型f()分类为t的概率。图像水印生成器g(I,W,i,j,)表示先将水印逆时针旋转,再按照缩放因子进行缩放,最后将处理好的水印嵌入到原始图像的i,j 位置。在进行非目标攻击时,问题的一般表述如式(8)和式(9)所示:m i nL ftgI,W,i,j,(8)s.t.0iN-n0j3 0时,被认为图像质量较好,即图像的失真可以被接受。视觉损失L是P S NR的倒数,当L1/3 0时,P S NR3 0,因此,本文设置视觉损失上界为1/3 0。T a b l e 1 v a l u e s u n d e r d i f f e r e n t i m a g e q u a l i t y e v a l u a t i o n m e t r i c s表1 在不同图像质量评价指标下的取值评价指标MS ENRMS EP S NR取值5 00.0 50.0 3 34.2 时间复杂度评估为了衡量算法的时间复杂度,对单独一幅图像进行可见水印对抗攻击,并与其他基准可见水印对抗攻击方法(B HE和F AWA)进行比较,测试所用的神经网络是R e s N e t 1 0 1,结果如表2所示。从表2可以看出,本文提出的方法攻击单一图像所用的时间远低于其他基准水印攻击方法的。这主要是由于对抗攻击问题对优化的要求并不高,不需要完全找到最小值点。因此,算法在变异阶段只采用了96季俊豪等:基于智能进化算法的可见水印对抗攻击一次迭代优化,并没有采用复杂的多元函数优化策略。T a b l e 2 T i m e c o m p l e x i t y o f d i f f e r e n t a d v e r s a r i a l w a t e r m a r k i n g a t t a c k a l g o r i t h m s表2 不同可见水印对抗攻击算法的时间复杂度算法B HEF AWAO u r s时间/s3 2 52 3 21 5 04.3 攻击效果评估为了可视化地评估对抗样本对神经网络的攻击效果,本文绘制了水印对抗样本及其神经网络观测热力图,该热力图能够有效地反映神经网络在图像上的关注点。如图6所示,第1行是在I m a g e-N e t数据集上对R e s N e t 1 0 1攻击生成的结果,第2行是 分 数 加 权 激 活 热 力 图 可 视 化S c o r e-C AM(S c o r e-w e i g h t e d C l a s s A c t i v a t i o n M a p p i n g)。可以看到,与原始图像相比,生成的水印对抗样本改变了神经网络的激活区域和图像中主体的轮廓,从而改变了最高分类置信度。此外,汤碗对抗样本上P S NR值达到了3 3.2 2,此时,L0.0 3 0 1,青果对 抗 样 本 上P S NR值 达 到 了3 4.9 4,此 时L0.0 2 8 6。两者都接近设定的图像损失上界。这表明优化问题的解会落在由控制的定义域边界上。F i g u r e 6 E x a m p l e s o f d i f f e r e n t w a t e r m a r k i n g a t t a c k e f f e c t s图6 不同水印攻击效果热力图为了更好地解释视觉损失上界的作用,在汤碗图像上分别使用大小相同的B e r k e l e y校徽和M I T校徽进行水印对抗攻击,结果如图7所示。可以看到,2幅对抗样本的P S NR值接近,但是2种水印的嵌入大小和透明度完全不一致,麻省理工校徽水印更大、更透明。只限制图像的视觉损失,即让生成的水印对抗样本在视觉损失上不超过设定的上 界,具体的嵌 入 参 数(如 位 置、透 明度、缩放比例和旋转角度)由程序根据不同水印自适应调整。F i g u r e 7 E x a m p l e s o f d i f f e r e n t w a t e r m a r k i n g a t t a c k e f f e c t s图7 不同水印攻击效果示例图4.4 对比实验分析为了全面验证本文方法的有效性,测试了3种在I m a g e N e t数据集上预训练好的神经网络分类器:A l e x N e t(A l e xs n e u r a l N e t w o r k)、VG G 1 6(V i s u a l G e o m e t r y G r o u ps n e u r a l n e t w o r k w i t h 1 6 l a y e r s)和R e s N e t 1 0 1。表3给出了不同徽标或文字水印在各种神经网络分类器上的平均攻击成功率。可以看到,B e r k e l e y校徽水印在神经网络上的攻击成功率最高能达到6 0%。T a b l e 3 A t t a c k s u c c e s s r a t e s o f d i f f e r e n t w a t e r m a r k s o n n e u r a l n e t w o r k s表3 不同水印在神经网络上的攻击成功率%水印C C T VB e r k e l e yM I TA l e x N e t5 86 04 8V G G 1 64 95 23 2R e s N e t 1 0 15 35 94 4 此外,为了定量评估本文方法的性能,还将其与边界攻击2 2、单像素攻击6等黑盒攻击进行了比较,测试网络为A l e x N e t和R e s N e t 1 0 1。不同黑盒攻击在神经网络上的平均攻击成功率如表4所示。为了更加公平地实验,本文选择P S NR作为图像评价指标,将模型限定在=0.0 2 8的损失条件下与边界 攻击进行对 比,将模型 限 定 在=0.0 2 2的损失条件下与单像素攻击进行对比。很明显,与这2种基准黑盒攻击相比,本文方法对神经网络的攻击成功率更高。T a b l e 4 A t t a c k s u c c e s s r a t e o f d i f f e r e n t b l a c k-b o x a t t a c k s o n n e u r a l n e t w o r k s表4 不同黑盒攻击在神经网络上的攻击成功率%攻击对象=0.0 2 8B o u n d a r y A t t a c k O u r s=0.0 2 2S i n g l e-P i x e l O u r s A l e x N e t4 35 561 1R e s N e t 1 0 13 45 25907C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 4,4 6(1)5 结束语本文提出了基于智能进化算法的可见水印对抗攻击方法。该方法将可见水印对抗攻击问题转化为求解约束非凸优化问题。与以往的工作相比,本文提出的方法增加了图像质量评价指标来约束图像的视觉损失,不仅能快速生成高强度的水印对抗样本,还能使生成的对抗样本拥有更好的视觉效果。该方法生成的对抗样本可以成功地攻击神经网络分类器,具有很好的适用性。实验结果表明,该方法相比于基准水印攻击方法时间复杂度更低,同时相比于基准黑盒攻击对神经网络攻击成功率更高。对于水印对抗样本的防御,除了进行对抗训练外,如何精准有效地规避可见水印对抗攻击是研究的下一个重点。此外,由于本文方法改变了图像主体的轮廓信息,未来的工作将进一步在其他领域应用可见水印对抗攻击和防御,例如目标检测等。参考文献:1 A k h t a r N,M i a n A.T h r e a t o f a d v e r s a r i a l a t t a c k s o n d e e p l e a r n i n g i n c o m p u t e r v i s i o n:A s u r v e yJ.I E E E A c c e s s,2 0 1 8,6:1 4 4 1 0-1 4 4 3 0.2 S z e g e d y C,Z a r e m b a W,S u t s k e v e r I,e t a l.I n t r i g u i n g p r o p e r-t i e s o f n e u r a l n e t w o r