针对图像识别的一种分步对抗防御方法研究_徐茹枝.pdf

针对图像识别的一种分步对抗防御方法研究*徐茹枝1,王 硕1,龙 燕2,宗启灼1(1.华北电力大学控制与计算机工程学院,北京 1 0 2 2 0 6:2.国家电投集团数字科技有限公司,北京 1 0 2 2 0 0)摘 要:随着深度学习技术的不断发展,其在图像识别领域的应用也取得了巨大突破,但对抗样本的存在严重威胁了模型自身的安全性。因此,研究有效的对抗防御方法,提高模型的鲁棒性,具有深刻的现实意义。为此,基于快速生成对抗样本和保持样本预测结果相似性之间的博弈,提出了一种分步防御方法。首先,对通用样本进行随机数据增强,以提高样本多样性;然后,生成差异性对抗样本和相似性对抗样本,增加对抗训练中对抗样本的种类,提高对抗样本的质量;最后,重新定义损失函数用于对抗训练。实验结果表明,在面对多种对抗样本的攻击时,分步防御方法表现出了更优的迁移性和鲁棒性。关键词:图像增强;对抗训练;分步防御;深度学习中图分类号:T P 3 9 1.4 1文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 6.0 0 9R e s e a r c h o n a s t e p-b y-s t e p a d v e r s a r i a l d e f e n s e m e t h o d f o r i m a g e r e c o g n i t i o nXU R u-z h i1,WANG S h u o1,L ONG Y a n2,Z ONG Q i-z h u o1(1.S c h o o l o f C o n t r o l a n d C o m p u t e r E n g i n e e r i n g,N o r t h C h i n a E l e c t r i c P o w e r U n i v e r s i t y,B e i j i n g 1 0 2 2 0 6;2.S t a t e P o w e r I n v e s t m e n t C o r p o r a t i o n D i g i t a l T e c h n o l o g y C o.,L t d.,B e i j i n g 1 0 2 2 0 0,C h i n a)A b s t r a c t:A t p r e s e n t,w i t h t h e c o n t i n u o u s d e v e l o p m e n t o f d e e p l e a r n i n g t e c h n o l o g y,i t s a p p l i c a t i o n i n t h e f i e l d o f i m a g e r e c o g n i t i o n h a s a l s o m a d e a g r e a t b r e a k t h r o u g h.H o w e v e r,t h e e x i s t e n c e o f a d v e r-s a r i a l s a m p l e s s e r i o u s l y t h r e a t e n s t h e s e c u r i t y o f t h e m o d e l i t s e l f.T h e r e f o r e,i t i s o f p r o f o u n d p r a c t i c a l s i g n i f i c a n c e t o s t u d y e f f e c t i v e a d v e r s a r i a l d e f e n s e m e t h o d s a n d i m p r o v e t h e r o b u s t n e s s o f t h e m o d e l.T h e r e f o r e,b a s e d o n t h e g a m e b e t w e e n q u i c k l y g e n e r a t i n g a d v e r s a r i a l s a m p l e s a n d m a i n t a i n i n g t h e s i m i-l a r i t y o f s a m p l e p r e d i c t i o n r e s u l t s,a s t e p-b y-s t e p a d v e r s a r i a l d e f e n s e m e t h o d i s p r o p o s e d.T h e m e t h o d f i r s t p e r f o r m s r a n d o m d a t a e n h a n c e m e n t o n t h e c o mm o n s a m p l e s t o i m p r o v e t h e s a m p l e d i v e r s i t y.S e c o n d l y,i t g e n e r a t e s t h e d i f f e r e n c e a d v e r s a r i a l s a m p l e s a n d t h e s i m i l a r i t y a d v e r s a r i a l s a m p l e s,s o a s t o i m p r o v e t h e v a r i e t y a n d q u a l i t y o f t h e a d v e r s a r i a l s a m p l e s i n t h e a d v e r s a r i a l t r a i n i n g.F i n a l l y,t h e l o s s f u n c t i o n i s r e d e f i n e d f o r a d v e r s a r i a l t r a i n i n g.F i n a l l y,e x p e r i m e n t a l v e r i f i c a t i o n s h o w s t h a t t h e a l g o r i t h m h a s b e t t e r m o b i l i t y a n d r o b u s t n e s s i n t h e f a c e o f m u l t i p l e a t t a c k s a g a i n s t t h e s a m p l e.K e y w o r d s:i m a g e e n h a n c e m e n t;a d v e r s a r i a l t r a i n i n g;s t e p-b y-s t e p d e f e n s e;d e e p l e a r n i n g1 引言在大数据时代背景下,深度学习理论和技术取得了突破性进展,为人工智能数据和算法层面提供了强有力的支撑1。早在2 0 1 2年的I m a g e N e t大规模视觉识别挑战赛中,深度学习就已经展现出强大的处理能力2。随着其不断发展,训练模型的结*收稿日期:2 0 2 2-0 7-2 0;修回日期:2 0 2 2-0 9-0 9基金项目:国家自然科学基金(6 1 9 7 2 1 4 8)通信作者:王硕(1 2 0 2 1 2 2 2 7 0 9 7n c e p u.e d u.c n)通信地址:1 0 2 2 0 6 北京市昌平区华北电力大学控制与计算机工程学院A d d r e s s:S c h o o l o f C o n t r o l a n d C o m p u t e r E n g i n e e r i n g,N o r t h C h i n a E l e c t r i c P o w e r U n i v e r s i t y,C h a n g p i n g D i s t r i c t,B e i j i n g 1 0 2 2 0 6,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 5卷第6期2 0 2 3年6月 V o l.4 5,N o.6,J u n.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 6-1 0 2 0-1 0构越来越复杂3,训练时间不断减少,总体性能也在不断提升。其中,图像识别技术已经在导航、自然资源分析、生物医学、人脸识别及智能机器人等众多领域得到了广泛应用。但是,由于对抗样本的存在,深度学习模型在其应 用 领 域 的 安 全 性 也 受 到 了 严 重 的 威 胁。S z e g e d y等人4首先向图像分类问题中的数据集添加细小扰动生成对抗样本,成功地以高置信度欺骗 了 深 度 神 经 网 络D NN s(D e e p N e u r a l N e t-w o r k s)。同时有研究表明,还存在利用面部识别系统F R S(F a c e R e c o g n i t i o n S y s t e m)的漏洞进行非法身份认证的危害,也有涉及医疗数据、人物图像数据的隐私窃取危害,更有针对自动驾驶汽车、语音操控系统的恶意控制危害5。因此,如何提高深度学习模型的鲁棒性,成为了研究人员关注的重点。在已有的对抗防御方法中,对抗训练和数据增强是相对有效的方法。对抗训练将原始样本和对抗样本同时作为深度学习模型的训练数据集,通过训练不断优化模型参数,进而提高模型的鲁棒性。但是,利用单一的对抗样本进行训练,所得到的模型在防御多种对抗攻击时表现并不出色,因此训练中对抗样本的选择变得十分关键。而数据增强能够通过翻转、添加噪声等操作增加训练样本的多样性,或根据现有数据生成新的样本进行数据集扩充、数据质量的增强,进而利用数据增强后的样本训练模型,以达到提升模型的稳健性、泛化能力的效果6。但是,单一地使用数据增强方法进行对抗防御,其效果并不佳。除此之外,大多数对抗防御验证实验所使用的数据集为通用数据集,其相比于真实世界的图像,缺少了随机噪声、概率遮挡等问题,缺乏一定的现实性。针对以上问题,本文主要工作包括以下3个方面:(1)提出随机数据增强方法,利用概率随机函数向原始样本加入噪声或进行仿射变换,使之更加贴近现实场景,提高了通用样本数据集的多样性。(2)利用复用梯度算法及交叉熵损失函数分步生成差异性对抗样本和相似性对抗样本,增加了对抗训练中对抗样本的种类,优化了模型的决策边界。(3)分步构造不同对抗样本的损失函数,并基于4种卷积神经网络模型进行对抗训练,优化模型参数使损失函数最小化。最终实验结果表明,针对不同对抗样本的攻击,分步防御方法具有更好的迁移性和鲁棒性。2 相关工作2.1 图像数据增强图像数据增强是指在有限的图像数据集基础上,利用传统的图像处理方法或机器学习算法,来挖掘图像背后的价值信息,使图像价值最大化。图像数据增强方法的分类如图1所示。F i g u r e 1 C l a s s i f i c a t i o n o f i m a g e d a t a e n h a n c e m e n t m e t h o d s图1 图像数据增强方法分类其中,传统的图像处理方法是对图像本身执行包括仿射变换、色彩转换及像素更改在内的操作;而基于机器学习的算法对图像进行数据增强,是指利用生成对抗网络GAN(G e n e r a t i v e A d v e r s a r i a l N e t w o r k s)或自动编码算法对原始样本进行图像增强。仿射变换包括图像翻转、缩放、边缘填充和平移等操作。色彩转 换是指 将 图 像 在R G B(R e d-G r e e n-B l u e)、H S V(H u e-S a t u r a t i o n-V a l u e)、L A B(c i e L A B)等不同的色彩空间上进行转换,以不同的方式对每个分量进行加权6,最终实现图像数据增强的一种方法。L u等人7提出了用于人脸识别任务的颜色空间框架和L u C 1 C 2颜色空间。图2为图像经过数据增强后的效果。F i g u r e 2 E n h a n c e d p i c t u r e s a f t e r u s i n g L u C 1 C 2 c o l o r s p a c e 图2 L u C 1 C 2颜色空间增强后的图像效果像素更改包括添加噪声、模糊和数据融合等操作。常见的噪声有椒盐噪声、高斯噪声等。图像模糊是一种对原始图像的卷积操作,对像素进行平滑处理,达到模糊图像的效果。图像融合则是通过取2幅图像像素值的平均值,或随机裁剪图像后将裁剪后的图像拼接在一起形成新图像来融合2幅图像。图3为E RM(Em p i r i c a l R i s k M i n i m i z a t i o n)和M I XU P82种融合方法的效果图。1201徐茹枝等:针对图像识别的一种分步对抗防御方法研究F i g u r e 3 C o m p a r i s o n o f i m a g e s o f E RM a n d M I X U P m e t h o d s图3 E RM和M I XU P 2种方法图像效果对比2.2 复用梯度算法已知的黑盒攻击主要有基于迁移9和基于访问1 02种攻击方法。黑盒攻击的主要特点是无法得知被攻击模型的详细信息。C h e n等人1 0采用零阶优化Z OO(Z e r o c h-O r d e r O p t i m i z a t i o n)算法来估计损失函数的梯度,但该算法需要对每个像素点进行多次迭代,并进行大量的查询,攻击效率低。复用梯度算法解决了这一问题。复用梯度算法可以减少生成对抗样本所需要的迭代次数,其目标就是得到一种合适的优化策略,以获取目标损失函数的最优梯度方向。而优化的本质就是通过计算得到目标函数的极值点,在此所求的极值点即为损失函数的梯度值。复用梯度算法的提出得益于冲量优化1 1及文献1 2 中指出的平移优化1 2的启发。其核心思想为,在计算当代扰动时,对上代、当代及下代3代梯度值进行加权计算。算法流程图如图4所示。F i g u r e 4 F l o w c h a r t o f m u l t i p l e x i n g g r a d i e n t a l g o r i t h m 图4 复用梯度算法流程图图4中,gt为当代梯度;gt-1为迭代过程中的上代梯度;g t为下代估计梯度;,为加权的超参数,并且满足(+)1。在对以上3个梯度进行加权后,得到生成当前扰动的梯度值gt+1。迭代计算公式如式(1)所示:gt+1=gt-1+gt+1-()x*t J x*t+s i g ngt(),y()x*t J x*t+s i g ngt(),y()(1)其中,x*t为迭代第t次的样本;y为原始样本的预测标签;为步长且为一个常数,通过控制的大小来进一步降低迭代次数。和为加权的超参数,并且满足(+)1。相比 于 已 有 的F G S M(F a s t G r a d i e n t S i g n M e t h o d)1 3、M I-F G S M(M o m e n t u m I t e r a t i v e F a s t G r a d i e n t S i g n M e t h o d)1 1、NAG-F G S M(N e s t e r o v A c c e l e r a t e d G r a d i e n t F a s t G r a d i e n t S i g n M e t h-o d)1 2算法,复用梯度算法不仅利用上代梯度的动量惯性加快梯度的收敛速度,同时还推算了下代梯度方向,减少了当前方向对下代梯度方向的影响,发挥了预先调整作用。该算法可以有效减少对抗样本生成的迭代次数。2.3 对抗训练对抗训练(A d v e r s a r i a l T r a i n i n g)是训练模型区分样本是真实样本还是对抗样本的过程,是提高深度学习模型鲁棒性的一种重要方法1 4。整个过程也可以理解为对模型参数进行正则化,从而降低对扰动的敏感度。对抗训练过程如图5所示,将对抗样本加入训练模型进行迭代优化,最终得到鲁棒性模型。F i g u r e 5 P r o c e s s o f a d v e r s a r i a l t r a i n i n g 图5 对抗训练过程M a d r y等人1 5提出了一种更为直观的解释。如图6 a所示,在人眼可分辨的范围内,线两侧的样本点之间已经划分清楚。对于神经网络模型来说,样本点是一个范数的领域。如图6 b所示,每一个样本点都有一个二维的领域范围,但已有的边界范围并不能做到细致地区分,对抗训练就相当于向样本数据集中加入“五角星”的样本,以纠正决策边界的决策错误。经过对抗训练后的鲁棒性模型,如图6 c所示,对所有的样本数据添加不超过这个领域范围的扰动均可以被正确分类。F i g u r e 6 O p t i m i z a t i o n o f d e c i s i o n b o u n d a r y图6 决策边界的优化从梯度图的角度来看,对抗训练更多的是学习物体结构特征,而不是纹理的细节特征,图7为经过对抗训练可解释性的梯度图。3 分步对抗防御方法针对图像识别中存在的多类强对抗样本攻击,2201C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(6)F i g u r e 7 I n t e r p r e t a b l e g r a d i e n t d i a g r a m图7 可解释性梯度图本文提出了一种基于对抗训练的分步对抗防御方法,通过快速生成对抗样本和保持样本预测结果相似性之间的博弈,生成不同的强对抗样本进行对抗训练,以此来提高模型的鲁棒性。该方法流程如图8所示。F i g u r e 8 F l o w c h a r t o f s t e p b y s t e p d e f e n s e m e t h o d图8 分步防御方法流程图3.1 随机数据增强真实世界中产生的图像种类繁多,像素和质量也千差万别。例如,某些软件限制了上传图像的大小,使图像像素不高;或者图像因为一些不可抗力的外界因素,导致部分损坏或污渍遮蔽等问题,导致图像质量下降;或某些图像因为特定需求需要注入高斯噪声,这便涉及到了白噪声注入的问题。多种例子表明,现实世界图像的噪声是无法预测的。因此,本文为了模拟真实场景,在生成对抗训练样本之前,对通用样本数据进行随机数据增强的预处理。随机数据增强过程如图9所示。其随机性是指对于每幅图像是否向其添加噪声是随机的;如若添加噪声或执行变换,则添加噪声的程度以及进行仿射变换的类型也是随机的。这种随机性大大增加了通用样本数据集的多样性。实验中,通过在每次循环中添加随机函数来选择具体的增强效果。其中,添加高斯噪声过程如下,假设图像大小为2 5 6*2 5 6。首先,将原始图像每个像素值除以2 5 5,使其投影到0,1;然后,将同比例矩阵的高斯分布噪声添加到投影后的像素值上;最后,将添加噪声后的像素值矩阵乘2 5 5还原到0,2 5 5,至此F i g u r e 9 F l o w c h a r t o f r a n d o m d a t a e n h a n c e m e n t 图9 随机数据增强流程图高斯噪声添加完成。3.2 生成差异性对抗样本首先,本文利用复用梯度算法快速生成一个具有较强攻击性的差异性对抗样本。目的是在所有进行了随机数据增强的样本中,快速找到一个高度易受攻击的邻域生成对抗样本,且该样本在分类标签上与原始样本具有一定的差异性。将该样本加入对抗训练,以此来提高模型的鲁棒性。对抗样本生成公式如式(2)所示:gt+1=gt-1+gt+1-()x*t J x*t+s i g ngt(),y()x*t J x*t+s i g ngt(),y()x*t+1=x*t+s i g ngt+1()?(2)在实验中已经证明,利用复用梯度算法可以在1 0步之内找到所需的对抗样本x*。记“第一代”差异性对抗样本的损失函数为R(,x*,Y),并将其包括在最终优化模型的损失函数中。3.3 生成相似性对抗样本在对抗攻击中,多步迭代产生的对抗样本攻击效果更好,因为多步迭代将整个求解最大化损失函数梯度方向的过程细化,以小步长多次求解,最终得到使样本差异最大的扰动,所以生成的对抗样本更加具有攻击性。同理,利用迭代生成的对抗样本对模型进行训练,可以进一步提高模型的鲁棒性,获得更好的防御效果。但是,经过迭代所获得的对抗样本并不一定与原始样本具有分类标签上的相似性,其对训练模型的决策边界优化的效果不佳。其中,保持样本之间预测结果的相似性,与最小化目标模型损失函数之间可能存在相关性,但是本质上并不一定是相同的目标,因为最小化损失函数仅能确保在对生成的对抗样本进行预测时损失最小。因此,本文生成了“第二代”相似性对抗样本进行对抗训练,进而从整体上提高目标模型的鲁棒性。3201徐茹枝等:针对图像识别的一种分步对抗防御方法研究相似性对抗样本的生成核心在于,如何找到攻击能力不差于P G D(P r o j e c t G r a d i e n t D e s c e n t)或I-F G S M(I t e r a t i v e F a s t G r a d i e n t S i g n M e t h o d)等方法所生成的样本,并且与“第一代”对抗样本预测结果差异性最大的对抗样本x*s。迭代生成的对抗样本,基本上都是通过扰动上一步的对抗样本,使得当前损失函数最大化得到的。在此过程中,对抗样本的损失函数通常选取交叉熵损失函数,但其基于决策边界的思想,缺乏对训练过程的干预性,无法保持对抗样本与原始样本之间预测结果的相似性,这里的预测结果即为对应输入样本输出的概率向量分布。基于上述分析,本文继续利用交叉熵损失函数求得与“第一代”差异性对抗样本x*的概率向量分布最大化不同的“第二代”相似性对抗样本x*s,来优化每个样本的决策边界。最大化度量函数如式(3)所示:x*s=x*+s i g n(x*sC E(f x*,(),f x*s,()|x*sx*)(3)其中,为 扰 动 步 长,C E为 交 叉 熵 损 失 函 数,x*sC E(f x*,(),f x*s,()|x*sx*是在x*处交叉熵损失函数的梯度。3.4 损失函数构造基于2.3节中对抗训练的边界决策理论,本文提出的分步对抗防御方法,一共包含3种对抗样本,即随机数据增强样本、利用复用梯度算法生成的对抗样本x*及基于x*生成的相似性对抗样本x*s。整合3类对抗样本的损失函数,得到训练模型的损失函数,如式(4)所示:F,()=a r g m i n R,X,Y()+1-()R,X,Y()+1mD f x*,(),f x*s,()()(4)其中,X=x1,xm 为m个经过随机数据增强的样本;X=x*1,x*m 为X经过复用梯度算法生成的对抗样本集合;和为超参数;为需要优化的模 型 参 数;f()为 概 率 分 布 计 算 函 数;D()为交叉熵函数。随机数据增强提高了样本的多样性和现实性。在此基础上进行对抗训练时,利用差异性和相似性对抗样本同时进行训练,并通过调整超参数、实现两者的博弈。在确定超参数值以后,进行迭代训练使得损失函数值最小化,得到此时的参数,从而结束模型训练。最终使得模型具有清晰的决策边界划分,在可以有效防御差异性对抗样本的同时,对于临近边界的“相似性”对抗样本也具有一定的防御能力,进而从整体上提高模型的鲁棒性。3.5 方法流程整体的分步对抗防御方法过程如方法1所示。首先,利用随机函数对训练样本(X,Y)进行随机数据增强;然后,分为m组对数据集进行训练,分步生成2种强对抗样本;最后,利用新构造的损失函数进行网络优化,直到所有样本都训练结束,得到具有鲁棒性的目标模型f(,)方法1 分步对抗防御方法输入:卷积网络模型,训练样本集,训练样本分组大小m,步长1和2,权 重 参 数和,随 机 数 据 增 强 函 数G()。输出:具有鲁棒性的目标网络模型F(,)。步骤1 f o r 最小数据集分组m d o步骤2 将m组中所有数据集输入到G(),经过训练得到(X,Y);步骤3 f o r 迭代轮次t d o步骤4 gt+1=gt-1+gt+(1-)x*tJ(x*t+s i g n(gt),y)x*tJ(x*t+s i g n(gt),y);x*t+1=x*t+1s i g n(gt+1);步骤5 x*s=x*t+2s i g n(x*sC E(f(x*t,),f(x*s,)|x*sx*t);步骤6 e n d f o r;步骤7 L1=R(,X,Y)+(1-)R(,X,Y);步骤8 L2=1mD(f(X,),f(X*s,);步骤9 L=L1+L2;步骤1 0 利用反向传播算法更新L;步骤1 1 e n d f o r;步骤1 2 返回目标模型F(,);4 实验本文先对2类对抗样本的有效性进行验证,同时分别对步长及2种损失函数的权重分配对防御效果的影响进行了研究;然后基于M o d e l A、M o d-e l B、R e s N e t-3 2和VG G-1 6 4种深度神经网络模型,在MN I S T、C I F A R-1 0和S VHN数据集上与有效的白盒和黑盒防御方法进行对比实验。实验结果表明,分步防御方法整体上防御效果更优,其中M o d e l A和 M o d e l B为基于MN I S T数据集自4201C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(6)训练的2个目标模型,结构细节如下:M o d e l A:(3,3 8 2,3 4 6 p a r a m e t e r s):C o n v(6 4,5,5)+R e L U,C o n v(6 4,5,5)+R e L U,D r o p-o u t(0.2 5),F C(1 2 8)+R e L U,D r o p o u t(0.5),F C+S o f t m a x;M o d e l B:(7 1 0,2 1 8 p a r a m e t e r s):D r o p o u t(0.2),C o n v(6 4,8,8)+R e L U,C o n v(1 2 8,6,6)+R e L U,C o n v(1 2 8,5,5)+R e L U,D r o p o u t(0.5),F C+S o f t m a x。4.1 差异性对抗样本有效性验证实验选用R e s N e t-3 2为替代模型,利用复用梯度算法在C I F A R-1 0数据集上生成对抗样本,对M o d e l A,R e s N e t-6 4和VG G-1 6 3种模型进行攻击,实验结果如图1 0所示。从图1 0可以看出,/比例在0.62时,样本迁移性最强,对3种模型都具有一定的攻击性。F i g u r e 1 0 A t t a c k m i g r a t i o n v a l i d a t i o n o f d i f f e r e n t i a l a d v e r s a r i a l s a m p l e s图1 0 差异性对抗样本攻击迁移性验证4.2 相似性对抗样本有效性验证图1 1展示了对于一个三分类问题,优化目标的选择对于相似性对抗样本生成的影响。图中右侧开始,从上到下曲线依次代表差异性对抗样本和相似性对抗样本之间分类分布的交叉熵、热编码交叉熵损失、以及对于一组输入的3类预测结果,并且原始样本和差异性对抗样本预测输出均为第3条曲线。从横坐标为4的点开始,利用F G S M生成第1个对抗样本,如图中横坐标3处所示。再将差异性程度作为目标函数,得到与第1个对抗样本差异性最大的相似性对抗样本,如图横坐标5处所示。虽然第1个对抗样本的l o s s值最大,但还是对其进行了正确的分类;生成的相似性对抗样本,虽然l o s s值并不是最高,但是模型对其进行了错误的分类,这说明基于差异性最大化的方式可以找到有效的对抗样本。F i g u r e 1 1 I n f l u e n c e o f o p t i m i z a t i o n t a r g e t o n a d v e r s a r i a l s a m p l e s g e n e r a t i o n图1 1 优化目标对对抗样本生成的影响4.3 步长对防御效果的影响分步防御方法中有2个步长,分别是用复用梯度算法生成对抗样本所用的步长和利用交叉熵损失函数生成相似性对抗样本的步长。如图1 2所示,其中纵坐标为模型对样本的预测准确率,在固定第2步步长为1 4/2 5 5时,第1步复用梯度算法的步长对防御成功率的影响,横坐标的每个刻度单位乘以2/2 5 5为实际步长。由图1 2可知,当攻击步长为1 2/2 5 5时,防御成功率最高。F i g u r e 1 2 I n f l u e n c e o f s t e p s o f m u l t i p l e x i n g g r a d i e n t a l g o r i t h m o n d e f e n s e s u c c e s s r a t e图1 2 复用梯度算法步长对防御成功率的影响图1 3显示的是生成相似性对抗样本时,步长对模型防御效果的影响,此处固定第1步的步长为1 2/2 4。由图1 3可以看出,步长在2 4/2 5 5以内时,防御成功率逐步上升,然后达到最大值,再往后趋于稳定。4.4 损失函数权重分配对防御效果的影响本节对损失函数超参数的选择进行探究,控制步长为1=1 2/2 5 5,2=2 4/2 5 5。实验结果如图1 4所示,当权重过大或过小时,都会导致防御成功率下降;当权重大小位于0.40.6时防御效果均良好。5201徐茹枝等:针对图像识别的一种分步对抗防御方法研究F i g u r e 1 3 I n f l u e n c e o f s i m i l a r i t y a d v e r s a r i a l s a m p l e s g e n e r a t i o n s t e p s i z e o n d e f e n s e s u c c e s s r a t e图1 3 相似性对抗样本生成步长对防御成功率的影响F i g u r e 1 4 I m p a c t o f w e i g h t o n d e f e n s e s u c c e s s r a t e图1 4 权重对防御成功率的影响4.5 白盒对比实验本节研究分步防御方法针对白盒攻击的防御能力,模 型 具 体 参 数 设 置 如 表1所 示。其 中MN I S T(A)和MN I S T(B)分别为用于自训练模型M o d e l A和M o d e l B的数据集。T a b l e 1 M o d e l p a r a m e t e r s s e t t i n g f o r d e f e n d i n g w h i t e b o x a t t a c k表1 防御白盒攻击的模型参数设置模型数据集12mMN I S T(A)0.1 00.0 50.30.42 5 6R e s N e t-3 2C I F A R-1 0 0.1 51 2/2 5 5 2 4/2 5 50.62 5 6S VHN0.3 00.0 10.30.62 5 6MN I S T(B)0.1 30.0 50.30.32 5 6V G G-1 6 C I F A R-1 0 0.1 81 2/2 5 5 2 4/2 5 50.72 5 6S VHN0.3 50.0 10.40.42 5 64.5.1 防御非目标攻击分步防御方法针对白盒的非目标攻击的防御效果如表2所示。实验过程中添加了F G S M、I-F G S M和P G D 3种方法产生的对抗样本对模型进行对抗训练,并将结果与分步防御方法的结果进行对比。T a b l e 2 S u c c e s s r a t e s o f d e f e n d i n g u n t a r g e t e d a t t a c k表2 针对非目标攻击的防御成功率数据集训练模型攻击算法无F D S M-DI-F G S M-DP G D-D分步防御方法MN I S T无0.9 8 8 80.9 8 5 60.9 6 3 30.9 7 9 30.9 8 2 2M o d e l AF G S M0.0 2 3 30.8 9 0 90.6 9 0 40.7 8 6 70.9 1 7 6I-F G S M0.0 1 2 90.3 9 8 80.8 8 1 20.8 6 7 70.9 2 7 6P G D0.0 0 8 90.2 4 6 70.8 9 1 20.8 9 8 70.8 9 1 2无0.9 9 8 90.9 8 9 20.9 9 1 20.9 8 1 40.9 9 0 2M o d e l BF G S M0.0 7 1 20.9 4 4 20.7 2 9 00.8 2 3 10.9 5 2 3I-F G S M0.0 1 9 00.4 5 1 40.9 1 2 40.9 0 2 20.9 2 1 9P G D0.0 1 2 10.3 4 1 20.7 3 2 30.8 9 1 20.9 0 1 2C I F A R-1 0无0.9 9 7 50.9 9 4 50.9 9 2 30.9 9 4 40.9 9 3 3R e s N e t-3 2F G S M0.0 7 1 20.8 3 4 20.7 1 3 00.8 4 3 10.8 5 4 2I-F G S M0.0 1 7 30.5 1 1 40.8 2 3 40.8 2 2 20.7 2 1 9P G D0.0 1 8 10.3 6 1 20.6 9 2 30.8 4 1 20.8 4 2 2无0.9 9 8 90.9 8 9 20.9 9 1 20.9 8 1 40.9 9 0 2V G G-1 6F G S M0.0 7 5 10.8 4 4 20.7 2 9 00.8 2 3 10.8 5 2 3I-F G S M0.0 2 9 00.4 5 1 40.8 1 2 40.8 0 2 20.8 2 1 9P G D0.0 1 2 60.3 4 1 20.7 3 2 30.7 9 1 20.8 0 1 2S VHN无0.9 5 7 50.9 3 4 20.9 4 8 30.9 2 6 30.9 6 2 3R e s N e t-3 2F G S M0.0 8 1 20.7 5 4 20.4 4 5 00.5 8 7 10.7 5 4 3I-F G S M0.0 5 9 00.0 5 5 40.5 2 1 40.5 0 2 20.7 2 1 6P G D0.0 4 2 10.0 4 3 20.5 3 5 60.5 9 1 20.7 9 8