面向纵向联邦学习的对抗样本生成算法.pdf

2023 年 8 月 Journal on Communications August 2023 第 44 卷第 8 期 通 信 学 报 Vol.44 No.8面向纵向联邦学习的对抗样本生成算法 陈晓霖1,2，昝道广1,2，吴炳潮1,2，关贝2,3，王永吉2,3（1.中国科学院软件研究所协同创新中心，北京 100190；2.中国科学院大学计算机科学与技术学院，北京 100049；3.中国科学院软件研究所集成创新中心，北京 100190）摘 要：为了适应纵向联邦学习应用中高通信成本、快速模型迭代和数据分散式存储的场景特点，提出了一种通用的纵向联邦学习对抗样本生成算法 VFL-GASG。具体而言，构建了一种适用于纵向联邦学习架构的对抗样本生成框架来实现白盒对抗攻击，并在该架构下扩展实现了 L-BFGS、FGSM、C&W 等不同策略的集中式机器学习对抗样本生成算法。借鉴深度卷积生成对抗网络的反卷积层设计，设计了一种对抗样本生成算法 VFL-GASG 以解决推理阶段对抗性扰动生成的通用性问题，该算法以本地特征的隐层向量作为先验知识训练生成模型，经由反卷积网络层产生精细的对抗性扰动，并通过判别器和扰动项控制扰动幅度。实验表明，相较于基线算法，所提算法在保持高攻击成功率的同时，在生成效率、鲁棒性和泛化能力上均达到较高水平，并通过实验验证了不同实验设置对对抗攻击效果的影响。关键词：机器学习；纵向联邦学习；对抗样本；对抗攻击；深度卷积生成对抗网络 中图分类号：TP309.2 文献标志码：A DOI:10.11959/j.issn.1000436x.2023149 Adversarial sample generation algorithm for vertical federated learning CHEN Xiaolin1,2,ZAN Daoguang1,2,WU Bingchao1,2,GUAN Bei2,3,WANG Yongji2,3 1.Collaborative Innovation Center,Institute of Software,Chinese Academy of Sciences,Beijing 100190,China 2.University of Chinese Academy of Sciences,School of Computer Science and Technology,Beijing 100049,China 3.Integrated Innovation Center,Institute of Software,Chinese Academy of Sciences,Beijing 100190,China Abstract:To adapt to the scenario characteristics of vertical federated learning(VFL)applications regarding high com-munication cost,fast model iteration,and decentralized data storage,a generalized adversarial sample generation algo-rithm named VFL-GASG was proposed.Specifically,an adversarial sample generation framework was constructed for the VFL architecture.A white-box adversarial attack in the VFL was implemented by extending the centralized machine learning adversarial sample generation algorithm with different policies such as L-BFGS,FGSM,and C&W.By intro-ducing deep convolutional generative adversarial network(DCGAN),an adversarial sample generation algorithm named VFL-GASG was designed to address the problem of universality in the generation of adversarial perturbations.Hidden layer vectors were utilized as local prior knowledge to train the adversarial perturbation generation model,and through a series of convolution-deconvolution network layers,finely crafted adversarial perturbations were produced.Experiments show that VFL-GASG can maintain a high attack success while achieving a higher generation efficiency,robustness,and generalization ability than the baseline algorithm,and further verify the impact of relevant settings for adversarial attacks.Keywords:machine learning,VFL,adversarial sample,adversarial attack,DCGAN 收稿日期：20230614；修回日期：20230725 通信作者：关贝， 基金项目：国家自然科学基金资助项目（No.61762062）Foundation Item:The National Natural Science Foundation of China(No.61762062)2 通 信 学 报 第 44 卷 0 引言 作为人工智能训练的基础，数据在推动机器学习的发展中扮演着核心角色。据预测，互联网数据量在 2025 年将暴增至 175 ZB1。而伴随全球范围内公众对数据安全的日益关注以及数据安全相关法律法规的实施，数据在各机构与企业间的流通受到严格约束2-4。因此，研究合规的数据获取和使用方法成为人工智能领域的重要挑战。自 2016 年谷歌公司首次将联邦学习5作为一种解决方案以来，它便受到了广泛的关注。根据 Yang 等6的划分方式，联邦学习应用可以按照数据分布分为横向联邦学习与纵向联邦学习（VFL）2 种类型。横向联邦学习针对的是参与方数据样本空间不同而数据特征空间相同的情况。纵向联邦学习针对的是参与方数据特征空间不同而数据样本空间相同的情况，这种建模方式适用于不同业务属性的参与方协同建模。纵向联邦学习在国内不同领域得到了广泛应用。例如，微众银行7使用本地持有的用户授信数据和合作公司持有的用户消费信息构建了风控领域的纵向联邦神经网络，提高了风险识别能力；字节跳动公司8通过纵向联邦树模型引入外部数据源构建了一个推荐领域的纵向联邦树模型，广告投放增效 209%；此外，纵向联邦模型还应用到智能制造9和智能电网10等领域，在保护数据隐私的同时处理预测任务。随着纵向联邦学习的广泛应用，其安全性问题逐渐受到研究人员关注。Zhu 等11提出了梯度泄露问题，在该问题中，建模过程的中间传输变量或传输梯度会泄露一部分的原始数据信息，恶意参与方据此可以推理原始数据。此后，许多研究人员分别在模型训练阶段和推理阶段设计了不同的攻击方案。在训练阶段，Weng 等12针对逻辑回归模型和集成树模型通过反向乘法攻击和反向求和攻击的方式重构原始数据；Fu 等13针对纵向联邦学习网络提出了 3 种标签推理攻击的方式，包括补全本地模型的被动标签推理攻击、增加本地模型权重占比的主动标签推理攻击以及梯度标签的直接标签推理攻击。在推理阶段，Luo 等14提出了一种模型逆向攻击的通用推理框架，该框架借助生成模型并通过观察模型的输出来反向更新恢复样本的原始数据；Jin 等15则利用样本对齐提供的样本空间信息，采用逐层迭代的方法来恢复原始数据；Yang 等16利用零阶梯度估计的方式计算模型参数构造推理模型，从而对原始数据进行特征推理攻击。这些方法的攻击目标是纵向联邦数据的隐私性，而纵向联邦学习模型同样可能受到恶意参与方数据篡改，引发模型安全性威胁，例如本文研究的对抗攻击。联邦学习的对抗攻击指的是恶意参与方在推理阶段利用持有的样本部分特征构建对抗样本，削弱全局模型的预测能力。纵向联邦学习场景具备高通信成本、快速模型迭代和数据分散式存储的特点，具体如下。1)纵向联邦学习框架在实现模型的协同训练或推理过程中，各参与节点需要进行多轮次的参数和数据交换，这造成了极大的通信成本17和计算负担18。2)纵向联邦学习模型在应用及上线过程中会定期进行版本迭代以适应数据的变化并提升模型性能。在纵向联邦学习场景中，数据被分散存储于不同的参与方本地6，恶意参与方仅能获得本地特征空间权限，并通过勾结或推理攻击14-15来获取部分样本空间的其他特征数据，而获取全局样本空间是有挑战性的。基于上述场景特点，纵向联邦场景下生成的对抗样本需要具备较高的生成效率、鲁棒性及泛化能力。为了解决上述问题，本文首先对纵向联邦学习场景中的对抗攻击、集中式机器学习的对抗样本生成算法和生成对抗网络进行理论介绍；其次，提出了纵向联邦学习的对抗样本生成框架并扩展6 种集中式机器学习对抗样本生成算法作为基线算法；再次，在上述框架下提出了一种生成算法VFL-GASG；最后，通过实验验证所提算法相比于其他算法在效率、鲁棒性和泛化性方面的能力，并进一步验证实验参数对攻击效果的影响。本文贡献主要包括以下3 个方面。1)本文在纵向联邦学习场景下提出了一种具备高扩展性的白盒对抗样本生成框架，恶意参与方通过局部样本特征构造对抗样本从而影响模型的准确性，该框架可以适用于基于有限内存的拟牛顿求解（L-BFGS）19、符合梯度法（FGSM）20等多种集中式机器学习对抗样本生成策略。2)L-BFGS、FGSM 等对抗样本生成算法均基于输入迭代构造对抗样本，而纵向联邦学习环境中获取全局样本空间是有挑战性的。本文在上述框架下提出了一种基于生成对抗网络的对抗样本生成算法VFL-GASG，该算法将本地特征的隐层向量作为先验知识训练生成模型，经由反卷积网络产生精细的对抗性扰动，然后借助生成模型从少量样本中学习到对抗性扰动的通用生成算法，从而有较好的泛化能力。第 8 期 陈晓霖等：面向纵向联邦学习的对抗样本生成算法 3 3)本文在 MNIST 和 CIFAR-10 等数据集上通过实验验证了 VFL-GASG 算法在效率、泛化性、鲁棒性方面的表现。此外，实验发现，即使在只有恶意参与方数量和所持特征数量较少的情况下，对抗攻击也会显著影响模型的性能。最后，通过实验验证不同实验参数对于对抗攻击的影响。1 理论基础 1.1 纵向联邦学习的对抗攻击 1.1.1 纵向联邦学习架构 纵向联邦学习的参与方数据集在样本维度上有重叠，但在特征维度上分布不同，即不同特征空间的参与方在中央服务器的协调下进行联合建模。图 1 是一种典型的纵向联邦学习训练流程。中央服务器和各参与方进行样本对齐，使不同参与方的样本空间同步；参与方依据本地特征和本地模型进行模型计算，并将结果上传作为全局模型的输入；中央服务器收到上传数据后，依据全局模型进行模型计算；中央服务器计算梯度和损失，并将梯度进行反向传播；中央服务器和参与方分别更新全局模型与本地模型；重复，直到达到收敛条件。纵向联邦学习推理架构和图 1 相似，由于不涉及模型更新，通过就能完成数据推理。多种纵向联邦学习模型均在上述框架下进行部署，如 SecureBoost21、Fed-VGAN22和 SplitNN23等。1.1.2 威胁模型 本文假设纵向联邦学习网络中存在某个恶意的参与方，该参与方利用训练完全的目标模型构造对样本进行攻击。纵向联邦学习场景下的威胁模型通过以下 3 个部分进行刻画。1)攻击目标 恶意参与方进行对抗攻击的目标是通过在本地所持推理样本的部分特征上添加对抗性扰动，从而使模型在推理样本上分类错误。因此，本文所提算法的攻击效果可以由目标模型在推理集合上分类准确率的下降幅度来度量。2)攻击知识 在纵向联邦学习架构中，恶意参与方能够获取其本地数据以及本地模型的详细信息，并且具有训练及推理过程的模型输出和传递参数的完整知识。然而，对于其他参与方的信息，由于存在数据分布和模型架构的差异性，恶意参与方仅能获取其他参与方的嵌入层信息，而无法获知其他参与方的本地数据及模型结构等具体信息。3)攻击能力 在纵向联邦学习攻击过程中，恶意参与方可能执行如下操作。恶意参与方篡改本地数据，以此扰乱模型的训练和推理过程。恶意参与方修改本地模型和参数信息，并调用全局模型。恶意参与方通过观测每个通信轮次的模型输出及嵌入层信息来推测其他参与方的信息。在横向联邦学习攻击过程中，恶意参与方的攻击能力主要聚焦于训练过程的操控，包括在训练阶段篡改数据、模型和参数等信息，以及通过观测信息推测数据隐私。然而，在推理过程中，参与方使用服务器分发的全局模型对本地数据进行独立推理，其推理过程不易受其他参与方的干扰。因此，横向联邦学习中的恶意参与方在推理阶段的攻击威胁性较低24，如本文中的对抗攻击。尽管目前的研究中许多学者采用对抗样本的生成算法在横向联邦学习的训练过程中实现数据投毒25或增强模型性能26，但这并不属于推理过 图 1 纵向联邦学习训练流程 4 通 信 学 报 第 44 卷 程的对抗攻击问题。相比之下，纵向联邦学习需要依靠多参与方进行联合推理，恶意参与方可以通过注入对抗性扰动至本地特征，干扰联合推理的结果。相较于横向联邦学习，纵向联邦学习更容易受到不可信来源的参与方对抗攻击的威胁。1.2 集中式机器学习对抗样本生成算法 集中式机器学习与联邦学习的分布式策略有所不同，其中心节点通常需要汇总并处理所有数据以训练和推理机器学习模型。Szegedy 等19首次在集中式机器学习环境中提出了对抗攻击的概念，并向中心节点的真实样本添加微小扰动，尽管这些扰动并未显著改变样本的整体特性，却可能导致机器学习模型分类错误。集中式机器学习的对抗样本生成流程如图 2所示。中心节点将训练好的分类模型作为对抗攻击的目标模型；然后，通过向原始图像添加扰动生成对抗样本，并通过目标模型的输出进行扰动迭代；直至满足设定条件，从而生成最终的对抗样本。图 2 集中式机器学习的对抗样本生成流程 在集中式机器学习环境中，已经发展出了多种对抗样本生成策略，其中代表性方法包括基于优化求解策略的 L-BFGS19和 C&W（Carlini&Wagner）27，基于 梯 度 迭 代 策 略 的FGSM20、I-FGSM28、MI-FGSM29，以及基于像素级扰动策略的显著图攻击（JSMA）30。下面介绍不同对抗样本生成算法的理论部分。1)L-BFGS Szegedy 等19最早提出了集中式机器学习的对抗样本生成算法 L-BFGS，该方法将对抗样本的扰动计算转化为如下问题并通过拟牛顿法求解 min|(+,)s.t.+0,1mclr rxr xr(1)其中，x是输入的原始图像特征，l是错误的分类标签，r是需要加入的对抗性扰动向量，是损失函数。2)FGSM Goodfellow 等20提出了 FGSM 方法，该方法通过计算模型损失相对于输入数据的梯度，在有限扰动的情况下沿着损失函数最大化的方向进行更新。对抗性扰动表示为 sign(,)yxrx(2)其中，用于控制扰动大小，yx和分别是输入图像特征和真实标签。3)I-FGSM Kurakin 等28采用迭代的策略，将增大分类器损失函数的过程分解为多个迭代步骤，迭代过程为 ,1Clipsign()(,)tttyxxxxx(3)其中，表示每次迭代的步长；Clip 表示裁剪函数，其对生成样本的每个像素进行裁剪，使迭代数据保持在原始图像的邻域范围内。4)MI-FGSM Dong 等29为了提升攻击的成功率，通过动量迭代来替代 I-FGSM 中的梯度迭代信息策略，同时引入历史扰动来规避迭代过程可能产生的局部最优问题，提高迭代过程的稳定性。该过程可表示为 111(sign(),),)tttttttyyxxxrxx=xrr+(4)其中，1tr和1tx分别表示第1t 次迭代产生的扰动和对抗样本，表示衰减因子。5)C&W Carlini等27则在L-BFGS的优化问题基础上，通过映射变换解决像素溢出的问题，并引入置信度函数来控制错误概率。优化问题表示为 22tanh()1tanh()max(max():)1min2(,)2)itZitcffZkwwwxhhh (5)其中，tanh()12wx表示添加的扰动，k 用于控制分类错误置信度，()iZ h表示未经过softmax层输出结果的第i类值。6)JSMA Papernot等30提出一种通过类别梯度生成像素显著图来筛选干扰像素对的方法。显著性映射为 ()()0,00()(,),()jiiijlj tlj tiZZZSl iZxx xxxx=x xx或其他(6)第 8 期 陈晓霖等：面向纵向联邦学习的对抗样本生成算法 5 其中，()xlZ表示x在分类层l类上的输出。该方法利用显著图来筛选出对目标模型分类输出影响最大的特征对，并在对应像素点上施加扰动。1.3 生成对抗网络 生成对抗网络（GAN,generative adversarial network）由Goodfellow等31提出，它由生成器和判别器两部分组成。GAN的核心思想是通过生成器和判别器的对抗训练，学习数据的隐含分布，从而生成与真实数据相似的样本。具体来说，生成器接收低维随机噪声作为输入并输出伪造样本，其目标是生成能够欺骗判别器的样本，使判别器难以区分真实样本和生成的伪造样本。判别器的任务是对输入样本进行判断，输出其作为真实样本的概率。综合考虑生成器和判别器的优化目标，可以表示为 logminmax()1 lo(g()zzxx (7)自Goodfellow首次提出生成对抗网络以来，许多研究者对其进行了改进。Arjovsky等32采用Wasserstein距离作为损失函数以缓解训练过程的梯度消失问题。Radford等33提出了深度卷积生成对抗网络（DCGAN,deep convolutional generative adver-sarial network），这种方法将GAN中的生成器全连接层替换为反卷积层，显著降低了模式坍塌现象出现的频率。在DCGAN方法中，卷积层通过滑动窗口机制有效地提取高维图像特征，反卷积层则利用这些特征以逆卷积的操作进行图像重建。该方法显著地提高了在图像生成任务中生成对抗网络的训练稳定性。2 纵向联邦学习对抗样本生成 2.1 问题定义 假设纵向联邦学习系统中有1N个参与方，分别是N个诚实参与方和一个恶意参与方。每个诚实参与方持有特征数据honX，特征维度为hond；恶意参与方持有特征数据advX，特征维度为advd。数据总和 honadv11,NNXXXXXX，特征总维度为adv1Niiddd。依据本地模型()if、全局模型()G，纵向联邦学习环境中的对抗样本生成问题形式化表示为 honhonadvadv22mins.t.(),()G fflrrXXr(8)即最小化恶意参与方对抗性扰动的同时，使中央服务器全局模型在对抗样本上分类错误。表1定义了纵向联邦学习对抗样本生成的相关参数。表 1 相关参数 参数 含义 N 纵向联邦学习诚实参与方数量 S 中央服务器 iC 第 i 个参与方()G 中央服务器全局模型()if 第 i 个参与方的本地模型 hon()f 诚实参与方本地模型 adv()f 恶意参与方本地模型 iX 第 i 个参与方持有的本地数据 honX 诚实参与方持有的本地数据 advtX 恶意参与方第 t 次迭代后的对抗样本 advX 恶意参与方持有的本地数据 di 第 i 个参与方的本地数据维度 hond 诚实参与方的本地数据维度 advd 恶意参与方的本地数据维度 r 恶意参与方添加噪声向量 tr 恶意参与方第 t 次迭代后的噪声向量 l 目标标签 扰动超参数，用于控制扰动大小 生成对抗网络生成器 生成对抗网络判别器 adv 目标模型分类损失 GAN 对抗网络损失 2.2 纵向联邦学习对抗样本生成框架 如图3所示，本文提出的纵向联邦学习对抗样本生成框架的流程如下：首先，每个参与方根据其本地模型和数据生成全局模型的输入；接着，联邦学习服务器根据全局模型执行计算，产生用于扰动的更新参数，并反馈给各个参与方，恶意参与方根据回传梯度等参数更新对抗样本；之后，对抗样本被作为恶意参与方的本地模型输入，经迭代更新，直至达到预设迭代次数或其他条件；最终，输出完成的对抗样本。详细过程如算法1所示。算法 1 纵向联邦学习对抗样本生成框架 输入 中央服务器S，诚实参与方1,NCC，恶意参与方advC，本地样本推理11,NN XXX 6 通 信 学 报 第 44 卷 图 3 纵向联邦学习对抗样本生成框架 输出 恶意参与方对抗样本advTX 1)for ()iCiN do 2)基于本地模型计算()iifX并上传至服务器 S 3)end for 4)for 0,1,1tT 5)for advC do 6)基于本地模型计算advadvtfX并上传 至中央服务器S 7)收集中央服务器回传参数更新对抗样 本，并进行裁剪1adv,advCliptttxXXr 8)end for 9)for S do 10)收集所有参与方上传数据()iif X 11)全局模型计算honhon(),G fX adva1dvtfX 12)计算损失函数和梯度等回传参数，并 将回传参数发送至恶意参与方advC 13)end for 14)end for 15)return advTX 在该框架下，集中式机器学习对抗样本生成策略可以扩展至纵向联邦学习场景中，本文扩展了多种生成算法，如表 2 所示，其中，VFL-LBFGS 和VFL-C&W 通 过 优 化 策 略 生 成 对 抗 样 本，VFL-JSMA 采用像素级扰动方法生成对抗样本，VFL-FGSM、VFL-IFGSM 和 VFL-MIFGSM 则是通过梯度迭代更新的方式产生扰动，这些算法将作为基准算法参与后续实验验证。2.3 基于 GAN 的对抗样本生成 为了解决对抗性扰动的通用性问题，本文在算法 1 框架下提出了一种基于 GAN 的对抗样本生成算法 VFL-GASG。其中，生成器负责生成噪声并将其注入真实样本形成对抗样本；判别器则对真实样本和对抗样本进行分类，以便更精确地辨别这 2 类样本。该过程可分为模型训练和对抗样本生成 2 个阶段。模型训练阶段指的是利用训练样本完成生成器和判别器的训练，以达到预定的生成目标；而对抗样本生成阶段则是指恶意参与方利用训练好的生成器生成对抗样本的过程。图 4 是基于 GAN 的对抗样本生成模型的训练过程，其中，生成模型由多层卷积网络和反卷积网络组成。在该模型中，卷积网络负责处理输入图像，提取深层特征；反卷积网络采用一种与卷积过程相反的运算，从特征空间映射回原始图像空间，它利用由卷积网络提取的特征，加入一定随机噪声，重建出具有对抗性扰动的图像。这种方法有效地避免表 2 纵向联邦学习对抗样本生成算法 生成算法 目标函数 回传参数 更新方式 VFL-LBFGS honadv,tclxxr advhonadv,tlxxx 11advadvadvhonadv(),tttttclrxxxxxr VFL-FGSM honadv,yxx advhonadv,lxxx advadvhonadv,xyxxxx VFL-IFGSM honadv,tyxx advhonadv,ttyxxx 1advadvadvhonadv,tttyxxxxx VFL-MIFGSM honadv,tyxx advhonadv,tttygxxx 111advadv,sign()tttttttgrrxxrg VFL-C&W 2CWadvadv2ttcfxxx CWw 1CWadvtanh()1,2twwwwx VFL-JSMA 12adv(,)argmax,iip pSlx 1122adv,adv,adv,adv,ppppxxxx 第 8 期 陈晓霖等：面向纵向联邦学习的对抗样本生成算法 7 了由于低维特征重建引发的模式坍塌现象。这种对抗样本对目标模型形成有效的干扰，从而在维持原有识别精度的同时，提高了对抗攻击的有效性。判别器则由卷积网络组成，对输入的真实特征和伪造特征进行二分类。图 4 基于 GAN 的对抗样本生成模型的训练过程 在训练过程中，诚实参与方根据其本地模型和样本特征执行本地计算，并将结果作为全局模型输入上传。恶意参与方通过生成器对真实特征进行编码来产生对抗性扰动，然后将这些扰动添加到真实样本上形成对抗样本。接着，恶意参与方将对抗样本输入到本地模型中进行计算，并将结果上传至服务器。服务器根据全局模型计算模型输出及损失adv。恶意参与方将真实样本和对抗样本输入判别器，计算对抗损失GAN。计算完成后，判别器和生成器根据全局损失分别更新模型参数。恶意参与方重复上述过程，直到收敛后保存模型、。具体过程如算法 2 所示。算法 2 VFL-GASG 模型的训练过程 输入 中央服务器S，诚实参与方1,NCC和恶意参与方advC，本地训练样本1adv,NXXX 输出 训练完成的生成器和判别器 1)for ()iCiN do 2)基于本地模型计算()iif X并上传服务 器S 3)end for 4)for 0,1,1tT 5)for advC do 6)0t时，初始化生成器和判别器 7)添加随机噪声并通过生成器生成扰 动adv,tZX 8)更新对抗样本1advadv,ttZXX advtX 9)本地计算1advadvtfX并上传至服务器S 10)判别器对真实样本和对抗样本进行分类 11)计算对抗损失GAN=log()xx log 1()xxx 12)0t时，收集服务器回传参数，判别器和生成器根据总损失函数更新，并裁剪 advGANGAN()rxx 13)end for 14)for S do 15)收集所有参与方上传数据 16)全局模型计算honhon(),G ffXadv1advtfX 17)计算损失adv(),lxxx并发送至恶意参与方advC 18)end for 19)end for 20)return,图5是基于GAN的对抗样本生成模型的生成过程。在该过程中，恶意参与方将给定推理样本集合advX输入生成模型产生扰动adv(,)ZX，然后这些 扰 动 被 添 加 到 推 理 样 本 上 形 成 对 抗 样 本advadv(,)ZXX，恶意参与方将其作为本地模型输入，参与后续推理。图 5 基于 GAN 的对抗样本生成模型的生成过程 8 通 信 学 报 第 44 卷 3 实验评估 本节首先详述实验设定，包括实验环境、数据集和模型结构；其次展示不同对抗样本生成算法所产生的对抗样本及其攻击效果；再次通过实验验证VFL-GASG在效率、鲁棒性和泛化性上的能力；最后在纵向联邦环境中，通过实验分析不同参数对对抗攻击的影响。3.1 实验设置 1)实验环境 本文实验运行于以下环境：Intel(R)Xeon(R)Gold，64内核，2.3 GHz，内存128 GB，V100 GPU，Ubuntu 16.04操作系统。本文提出的对抗样本生成算法基于Pytorch框架和foolbox库实现。2)数据集 本文数据集选用了MNIST、CIFAR-10和ImageNet-100。其中，MNIST数据集是一个广泛应用于图像分类任务的手写数字图像数据库，包含60 000个训练样本和10 000个测试样本，每个样本都是28像素28像素的灰度图像；CIFAR-10数据集也常用于图像分类任务，是一个包含10个不同类别的彩色图像数据集，每个图像为32像素32像素，总计包含50 000个训练样本和10 000个测试样本；ImageNet-100数据集是ImageNet大规模视觉识别任务的子数据集，包括100个类别的样本数据，共计50 000个训练图像和10 000个测试图像，经处理后每个图像为214像素214像素。本文构建了一个包含3个参与方的仿真纵向联邦学习环境。其中，2个参与方被设定为诚实参与方，主要负责本地模型的计算和数据上传；另一个参与方被设定为恶意参与方，其任务是生成对抗样本。在基于特征维度的数据划分过程中，诚实参与方和恶意参与方所持有的特征数量的比例保持在1:1，这种设计能够在相对平衡的初始环境中评估和比较算法性能。3)模型架构 本文将目标模型在测试集上的分类准确率下降幅度作为对抗攻击的度量，首先训练目标模型，然后在测试样本上添加扰动生成对抗样本，统计对抗样本在目标模型上的准确率。对抗样本在目标模型的准确率越低，那么对抗攻击的效果越好。在构建本地模型和全局模型的过程中，本文设计了不同的分类模型（图6的目标模型1与目标模型2），经过训练后，该模型在MNIST和CIFAR-10测试集上的准确率分别为97.27%和79.91%，而选用ResNet模型作为ImageNet-100的目标模型，分类准确率为65.09%。本文采用深度卷积生成对抗网络来改善训练的稳定性。判别器包括4层卷积网络，生成器包括3层卷积网络、4层ResNetBlock和3层反卷积网络。3.2 对抗样本生成 为了直观展示对抗样本的生成效果，本文在上述实验环境中进行重建数据的可视化，分别在MNIST和CIFAR-10数据集上生成对抗样本，当恶 图 6 GAN 及目标模型网络结构 第 8 期 陈晓霖等：面向纵向联邦学习的对抗样本生成算法 9 意参与方完成计算后，将不同参与方的样本特征进行整合来直观展示对抗样本生成的效果。如图7和图8所示，尽管样本在局部位置出现了微小的扰动，然而总体上并未影响图像的辨认。图 7 在 MNIST 上生成的对抗样本 图 8 在 CIFAR-10 上生成的对抗样本 本文进一步在ImageNet-100数据集上生成对抗样本，如图9所示。相比于MNIST和CIFAR-10上生成的对抗样本，ImageNet-100上样本的轮廓更清晰，视觉效果与原始图像更相似，噪声的直观感受更小。图 9 在 ImageNet-100 上生成的对抗样本 表3统计了不同对抗样本生成算法在目标模型上的分类准确率。结果表明，所有的对抗攻击都导致了模型分类准确率的大幅下降，这证明了对抗样本生成框架的有效性。然而，不同生成算法的效果存在差异，VFL-C&W生成的对抗样本使模型的分类准确率下降最多，其能够在引入细小对抗扰动的同时保持较高的攻击效果。VFL-JSMA通过选择对分类结果影响最大的像素对来生成对抗样本。尽管这种算法改变的像素较少，但个别像素值的变动较大，因此，在实际的对抗攻击中，这种算法生成的对抗样本更容易被识别。VFL-FGSM、VFL-IFGSM、VFL-MIFGSM、VFL-LBFGS算法在攻击效果上相近。而本文提出的VFL-GASG算法在攻击效果上接近于VFL-C&W算法，这证明该算法在纵向联邦学习场景中可以保持较高的攻击成功率。3.3 效果对比 在效率方面，本文在3个数据集的测试图像上分别生成了10 000个对抗样本，并统计了所需时间，如表4所示。在使用VFL-GAN生成对抗样本的过程中，恶意参与方仅需将原始图像输入生成器，生成器就可以计算出相应扰动，这种方式减少了参与方之间的数据传输次数，因此在计算复杂度上具有明显优势。基于表4，本文提出的VFL-GASG算法在对抗样本的生成效率上明显优于其他算法，生成样本耗时分别为5.51 s、9.99 s和167.89 s，这甚至少于VFL-FGSM算法。虽然在表2中VFL-C&W算法展示了较好的攻击效果，但其代价是极高的计算复杂度，VFL-C&W的计算耗时远超其他方法。而本文提出的VFL-GASG算法不仅保持了高攻击成功率，同时在生成效率上也表现出显著优势。为了探究对抗样本对模型的鲁棒性，本文调整了3个数据集上目标模型的参数和网络结构，得到新的目标模型A、B和C。接着，将原对抗样本输入这些模型，通过观察对抗样本在新目标模型上的准确率变化来评估对抗样本对于模型的鲁棒性。如表4所示，即使调整了目标模型，这些对抗样本仍能显著降低模型的准确率，特别是VFL-GASG生成的对抗样本依然使不同模型分类准确率大幅下降，这证明联邦模型迭代后，VFL-GASG生成的对抗样本仍能有效干扰模型。表5展示了基于不同训练样本比例所训练的生成模型所产生的扰动对目标模型准确性的影响，其中极差反映了度量指标在各比例间的变动幅度。结10 通 信 学 报 第 44 卷 果显示，即使训练样本的比例存在差异，VFL-GASG算法都能显著降低目标模型的Top1分类准确率，这证实了VFL-GASG在部分样本上对抗性扰动生成算法的泛化能力。在纵向联邦学习的环境中，即使泄露了少量样本信息，该算法也能够利用这些信息构建噪声生成网络，进而构造对抗攻击。相比之下，其他对抗样本生成算法需要对每个输入样本进行独立的计算与迭代，其泛化能力相对较差。3.4 不同实验设置的影响 在对抗攻击过程中，攻击者利用其持有的特征创建对抗样本以混淆目标模型，恶意参与方特征数量可能影响对抗攻击的效果。为了探究恶意参与方特征数量对攻击效果的影响，本节在不同恶意参与方特征数量条件下评估了不同对抗样本表 3 不同对抗样本生成算法在目标模型上的分类准确率 对抗样本生成算法 MNIST CIFAR-10 ImageNet-100 Top1 Top3 Top1 Top3 Top1 Top3 VFL-FGSM 92.13%99.26%48.22%84.91%49.60%69.93%VFL-IFGSM 85.42%98.72%41.25%82.86%40.42%67.46%VFL-MIFGSM 80.32%91.51%43.04%89.45%37.51%53.42%VFL-LBFGS 82.29%95.86%45.89%82.54%49.65%63.73%VFL-JMSA 87.00%97.72%57.65%89.65%37.93%51.98%VFL-C&W 41.24%55.45%20.45%76.37%19.14%40.62%VFL-GASG 31.24%92.89%43.00%75.21%22.36%47.41%目标模型 97.27%99.78%79.91%95.36%65.09%75.74%表 4 不同对抗样本生成算法的计算耗时和鲁棒性对比 对抗样本生成算法 MNIST CIFAR-10 ImageNet-100 计算耗时/s 目标模型 1 模型 A计算耗时/s 目标模型 2模型 B计算耗时/s 目标模型 3 模型 C VFL-FGSM 19.64 92.13%94.25%12.36 48.22%61.34%197.92 49.60%56.34%VFL-IFGSM 56.23 85.42%91.83%41.25 41.25%59.84%471.50 40.42%55.41%VFL-MIFGSM 57.75 80.32%86.26%51.89 43.04%67.63%563.23 37.51%49.92%VFL-LBFGS 935.92 82.29%89.24%269.93 45.89%60.93%2669.86 49.65%52.53%VFL-JSMA 1771.82 87.00%91.52%1524.34 57.65%68.42%6404.60 37.93%51.69%