基于询问的集成目标攻击算法.pdf

基于询问的集成目标攻击算法姬亚鹏1袁2渊员 广东工业大学自动化学院袁广东 广州 510006曰2 广东省物联网信息技术重点实验室袁广东 广州 510006冤Query-based Ensemble Target Attack Algorithm摘要院深度神经网络已经应用于解决各种各样的问题并且在各种视觉任务实现了惊人的性能遥 但是袁深度网络也很容易受到对抗攻击遥 攻击者在原始图像上加上细微人为设计的扰动袁就能使深度网络做出错误的分类结果遥 然而袁在不知道模型参数和结构的黑盒情况下袁现有的大多数对抗攻击方法只能在非目标攻击方面取得不错的效果袁在造成更加严重后果的目标攻击方面的成功率却很低遥 在目标攻击中袁使用集成攻击并利用未知黑盒模型和已知白盒模型的输出衡量模型间的相似度袁根据相似度动态调整白盒模型在集成攻击中的权重袁提升黑盒攻击下目标攻击生成的对抗样本攻击效果遥关键词院深度神经网络曰黑盒攻击曰对抗样本曰目标攻击Abstract:Though deep neural networks have been applied in solving a wide variety of problems and achieved state-of-the-art performance on various vision tasks,they are vulnerable to adversarial examples which are crafted by addinghuman-imperceptible perturbations to legitimate inputs.However,under the black-box attack,where the attackers have noinformation about the model structure and parameters,most of the existing methods can only achieve good results in non-targeted attacks,but have a low success rate in more serious targeted attacks.In targeted attacks,ensemble approachesare used and the similarity between black-box and white-box models is measured using their outputs.Based on the simi鄄larity,the weights of the white-box model are dynamically adjusted to improve the adversarial examples attack effect gen鄄erated by the targeted attack under the black-box setting.Keywords:deep neural networks,black-box attack,adversarial examples,targeted attacks对抗样本的概念最早在 2014 年提出袁文献咱1原圆暂发现了神经网络的脆弱性袁 对于输入的原始样本加上微小的扰动就会使神经网络识别错误遥 这对神经网络在应用方面造成了一定的安全隐患遥现有的攻击方法从被攻击的模型信息是否可知袁可分为白盒攻击和黑盒攻击遥 白盒攻击指的是被攻击模型的内部参数和结构信息完全可知曰 黑盒攻击指的是对内部参数和结构信息完全不可知遥 从攻击目的又可分为目标攻击咱3暂和非目标攻击遥 非目标攻击目的是生成的对抗样本能使被攻击模型识别错误曰目标攻击不仅仅要使其识别错误袁 还要求被识别为一个特定的错误类别遥本文提出了基于询问的集成目标攻击方法袁使用多个模型袁攻击过程中动态调整每个白盒模型在集成过程中的权重袁 大幅提高黑盒情况下目标攻击的成功率遥1相关工作1.1 FGSM 快速符号梯度法FGSM咱2暂更新图像使模型对目标标签的损失函数值减小来提升攻击成功率遥 公式如下院曾adv=x+窑 泽蚤早灶渊荦曾允渊曾袁赠贼arget冤冤渊1冤x 是原始样本袁xadv是生成的对抗样本袁 是每个像素点加上的扰动大小遥 sign(窑)是符号函数袁荦xJ渊x袁ytarget冤是损失函数对 x 的梯度袁ytarget是目标标签遥1.2 I-FGSM 迭代快速符号梯度法文献咱4暂提出的 I-FGSM方法是 FGSM 的迭代版本遥 公式为院x0=x曾avdt+1=xadvt-窑 泽蚤早灶渊荦曾允渊曾advt袁赠贼arget冤冤渊2冤式中袁t 是迭代的次数袁t=0 时为原始样本遥=/T 是每一次迭代加上的扰动大小袁T 是总的迭代次数遥1.3 MI-FGSM 动量迭代快速符号梯度法MI-FGSM 方法咱5暂在 I-FGSM 的基础上袁在优化过程中加入动量咱6暂的方式袁公式如下院gt+1=窑 早贼垣荦曾允渊曾advt袁赠贼arget冤椰荦曾允渊曾advt袁赠贼arget冤椰1曾avdt+1=xadvt-窑 泽蚤早灶渊早贼垣员冤渊3冤式中 gt+1是上一步的下降方向和当前梯度方向的和袁gt的初始值 g0=0袁 为衰减因子遥1.4 NI-FGSM 涅斯捷罗夫迭代快速符号梯度法NI-FGSM 方法咱7暂考虑前向加速梯度咱8暂用于迭代攻击中袁防止陷入局部最优袁公式如下院曾灶est=xadvt原 窑窑 早贼早贼垣员越 窑 早贼垣荦曾允渊曾灶est袁赠贼arget冤椰荦曾允渊曾nest袁赠贼arget冤椰1xadvt+1=xadvt原 窑 泽蚤早灶渊早贼垣员冤渊4冤式中 gt+1是超前梯度下降方向和当前梯度方向的和袁gt+1的初始值 g0=0袁 为衰减因子遥圆集成攻击方法用 lk渊x冤表示第 k 个模型的 logits 层输出袁则第 k 个模型的交叉熵损失函数为院允噪渊曾袁赠冤越原员赠窑 造燥早渊softmax渊憎噪造噪渊曾冤冤冤渊5冤其中 1y是标签 y 的独热表示遥 将集成方式分为三种袁分别为在softmax 的输入层上做集成 EI-softmax尧 在 softmax 的输出层上做集成 EI-log尧在损失上做集成 EI-loss袁分别对应式渊远冤尧式渊苑冤和式渊愿冤院基于询问的集成目标攻击算法130叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期允渊曾袁赠冤越原员赠窑 造燥早 softmaxKk=1移憎噪lk渊曾冤蓸蔀蓸蔀渊6冤允渊曾袁赠冤越原员赠窑 造燥早Kk=1移憎噪softmax lk渊曾冤蓸蔀蓸蔀渊7冤允渊曾袁赠冤越Kk=1移憎噪原员赠窑 造燥早 softmax lk渊曾冤蓸蔀蓸蔀蓸蔀渊8冤其中 wk表示每个模型的权重遥猿基于询问的集成攻击本文提出了基于询问的集成攻击方法遥具体地袁如果当前样本在黑盒模型的输出标签在白盒模型的前 n 个预测标签中袁那么此白盒模型和黑盒模型具备一定的相似性遥 为此我们提出三种方式给迭代过程中的每一个白盒模型分配权重院憎噪越员袁蚤f yt沂赠灶噪园袁otherwise嗓w=咱w员袁w圆袁噎袁憎噪暂w越softmax渊w冤渊9冤憎噪越员袁蚤f yt沂赠灶噪园袁otherwise嗓w越咱员袁员袁噎袁员暂袁ifKk=1移wk=0咱w员袁w圆袁噎袁憎噪暂袁otherwise嗓渊10冤憎噪=n袁if yt沂赠1噪n-1袁if yt沂赠2噪n-2袁 if yt沂赠3噪噎灶原渊灶原员冤袁if yt沂赠n噪园袁燥贼澡erwise扇墒设设设设设设设设设设缮设设设设设设设设设设w=咱w员袁w圆袁噎袁憎噪暂w越softmax渊w冤渊11冤其中 赠贼表示黑盒模型的预测标签袁赠灶噪为第 噪 个白盒模型的前 灶个预测标签遥源实验结果与分析4.1 实验设置模型院ResNet-50咱9暂尧ResNet-152咱10暂尧VGG-19咱11暂尧Densenet-121咱12暂尧Inception-v3咱13暂遥数据集院从 ImageNet 数据集咱14暂的验证集里面每个类别选择一张图像袁它们都能被五个模型正确分类遥扰动衡量标准院使用均方根误差渊RMSE冤衡量添加扰动的大小遥超参数院迭代步长统一取 2遥4.2 集成攻击实验本文使用 MI-FGSM 方法使用三种集成方式生成目标攻击对抗样本袁测试不同集成方式在目标攻击的效果遥衰减因子根据文献咱9暂的实验取 1遥 每个白盒模型权重 wk相等袁迭代次数为10 次遥实验结果如表 1袁其中袁野*冶表示黑盒攻击遥野-冶表示黑盒模型袁对抗样本通过其余四个白盒模型生成遥根据表 1 可知使用 EI-loss 集成方式制作的目标攻击对抗样本的可转移性更强遥4.3 基于询问的集成攻击实验根据上一部分实验袁 使用 EI-loss 集成方式测试基于询问算法的性能遥使用 I-FGSM 方法测试基于询问的集成攻击效果遥式渊9冤尧式渊10冤尧式渊11冤中三种权重分配方式称为院EI-1尧EI-2尧EI-3袁并将 n 统一取 5袁即考虑白盒模型前五的预测标签遥 迭代次数设定为 40 次袁也就是询问次数为 40 次袁实验结果如表 2院表 2基于询问的集成攻击生成的目标攻击对抗样本在各个模型的成功率从表 2 中可知袁尽管使用简单的优化方法 I-FGSM袁扰动也比使用权重均匀分配的集成攻击方法小袁 三种权重分配方式都取得很好的效果袁黑盒情况下目标攻击成功率最高达到 32.1%遥I-FGSM 方法需要过多的询问次数袁 为了进一步提升算法性能遥使用目前最优秀的加速梯度下降方法作为优化方法袁衰减因子取 0.5袁迭代次数为 18遥 实验结果如表 3院表 3基于询问的集成攻击生成的目标攻击对抗样本在各个模型的成功率由表 3 知袁NAG 算法使用更少的询问次数袁产生相同的扰动大小袁在每个黑盒模型上攻击成功率都有提升袁平均成功率达到21%袁最高成功率达到了 34.7%遥 生成的对抗样本如图 1 所示院图 1目标攻击对抗样本的可视化渊下转第 134 页冤表 1目标攻击对抗样本在各个模型的成功率131渊上接第 131 页冤原始图像 a 被 ResNet-50 以 95.40%的置信度正确识别为公鸡袁 噪声 b 由 ResNet-152尧VGG-19尧Densenet-121尧In鄄ception-v3 四个模型生成的袁对抗图像 c 是原始图像 a 和噪声b 的相加遥犰狳标签是从其他错误的标签中随机选择的遥对抗样本被 ResNet-50 以 99.9%的置信度错误识别为犰狳遥缘结束语本文针对危害更大的目标攻击袁 提出基于询问的集成攻击方法袁该方法使对抗样本的可转移性有明显提高遥尽管本文的方法在黑盒情况下的目标攻击成功率有明显提升袁 但还没有达到非目标攻击的效果遥在之后的工作中袁将结合其他提升对抗样本可转移性的方法袁进一步提升目标攻击效果遥参考文献咱员暂SZEGEDYC,ZAREMBAW,SUTSKEVERI,etal.Intriguingproperties of neural networksC/Proceedings of the 2nd In鄄ternational Conference on Learning Representations,2014咱圆暂GOODFELLOW I J,SHLENS J,SZEGEDY C.Explaining andharnessing adversarial examplesJ.arXiv院1412.6572,2014咱猿暂LIU Y,CHEN X,LIU C,et al.Delving into transferable ad鄄versarial examples and black-box attacksJ.arXiv:1611.02770,2016咱源暂KURAKIN A,GOODFELLOW I J,BENGIO S.Adversarial ex鄄amples in the physical worldM/Artificial intelligence safetyand security.Chapman and Hall/CRC,2018:99-112咱缘暂DONG Y,LIAO F,PANG T,et al.Boosting adversarial at鄄tacks with momentumC/Proceedings of the IEEE conferenceon computer vision and pattern recognition,2018:9185-9193咱远暂POLYAK B T.Some methods of speeding up the conver鄄gence of iteration methodsJ.USSR Computational Mathe鄄matics and Mathematical Physics,1964,4(5):1-17咱苑暂LIN J,SONG C,HE K,et al.Nesterov Accelerated Gradientand Scale Invariance for Adversarial AttacksC/InternationalConference on Learning Representations,2019咱愿暂NESTEROV Y.A method for unconstrained convex minimizationproblem with the rate of convergenceJ.Doklady AkademiiNauk,1983,269:543-547咱怨暂HE K,ZHANG X,REN S,et al.Deep residual learning forimage recognitionC/Proceedings of the IEEE conferenceon computer vision and pattern recognition,2016:770-778咱员园暂HE K,ZHANG X,REN S,et al.Identity mappings in deepresidual networksC/European conference on computer vi鄄sion,2016:630-645咱员员暂SIMONYAN K,ZISSERMAN A.Very deep convolutional net鄄works for large-scale image recognitionJ.arXiv:1409.1556,2014咱员圆暂HUANG G,LIU Z,VAN DER MAATEN L,et al.Denselyconnected convolutional networksC/Proceedings of theIEEE conference on computer vision and pattern recogni鄄tion,2017:4700-4708咱员猿暂SZEGEDY C,VANHOUCKE V,IOFFE S,et al.Rethinkingthe inception architecture for computer visionC/Proceedingsof the IEEE conference on computer vision andpatternrecognition,2016:2818-2826咱员源暂RUSSAKOVSKY O,DENG J,SU H,et al.Imagenet largescale visual recognition challengeJ.International Journal ofComputer Vision,2015,115(3):211-252咱收稿日期院圆园圆猿原园员原员远暂4结束语本文提出了一种基于智能视频探测技术的陆空搜寻系统设计方案袁设计开发了陆空两栖飞行机器人袁实现空中飞行和陆地行走袁提高了机器人复杂火场的地形适应性遥 同时袁研究了基于深度学习的火场智能视频探测算法袁 可进行火场火源的自动识别袁提高了两栖机器人的智能化水平袁为后续消防员扑救提供了技术支持遥参考文献咱1暂上海市应急管理局.吸烟引燃周边杂物致车间火灾 8 人亡咱J暂.劳动保护袁2022渊10冤院48-49咱2暂XIONG C Z,FAN W Y,LI Z X.Traffic flow detection algorithmbased on intensity curve of high resolution image C/Pro鄄ceedings of Second International Conference on ComputerModeling and Simulation,2010:159-162咱3暂HAN X W,GAO Y,LU Z,et al.Research on moving object de鄄tection algorithm based on improved three frame differencemethod and optical flowC/Proceedings of Fifth InternationalConference on Instrumentation and Measurement,Computer,Communication and Control(IMCCC),2015:580-584咱4暂李成美袁白宏阳袁郭宏伟袁等援一种改进光流法的运动目标检测及跟踪算法咱J暂.仪器仪表学报袁2018袁39渊5冤院249-256咱5暂HAO X,ZHANG G G,MA S.Deep learning J.InternationalJournal of Semantic Computing,2016,10(3):417-439咱6暂GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich featurehierarchies for accurate object detection and semantic seg鄄mentation C/2014 IEEE Conference on Computer Visionand Pattern Recognition,2014:580-587咱7暂REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:to鄄wards realtime object detection with region proposal net鄄worksJ.IEEE Transactions on Pattern Analysis and MachineIntelligence,2017,9(6):1137-1149咱8暂LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single shotmultibox detectorC/European Conference on Computer Vi鄄sion.Cham:Springer International Publishing,2016:21-37咱9暂REDMON J,FARHADI A.YOLOv3:粤n 陨ncremental 陨mprove鄄mentJ/OL.渊2018-0源-05冤咱圆园圆圆原员员原员缘暂.https:/arxiv.org/abs/1804.02767咱10暂JOCHER G.Yolov5EB/OL.渊圆园圆园原园愿原园怨冤咱202圆-员员-员缘暂https:/ YOLOv5 的智能除草机器人蔬菜苗田杂草检测研究咱J暂.图学学报袁圆园圆猿袁源源渊圆冤院猿源远原猿缘远咱12暂刘闽袁李喆袁李曜丞袁等.基于重参数化 YOLOv5 的输电线路缺陷边缘智能检测方法咱J辕韵蕴暂.高电压技术渊圆园圆圆原园怨原园愿冤咱圆园圆圆原员员原员缘暂.https:/doi.org/1003-62250.hve.20220861咱13暂李志军袁杨圣慧袁史德帅袁等.基于轻量化改进 YOLOv5 的苹果树产量测定方法咱J暂.智慧农业渊中英文冤袁2021袁3渊2冤院100-114咱收稿日期院圆园圆圆原员员原猿园暂基于智能视频技术的陆空两栖消防侦察系统设计134