基于触发器逆向的联邦学习后门防御方法.pdf

NETINFOSECURITY理论研究doi：10.39 6 9/j.is s n.16 7 1-112 2.2 0 2 4.0 2.0 0 92024年第2 期基于触发器逆向的联邦学习后门防御方法一林怡航，周鹏远，吴治谦，廖勇（中国科学技术大学网络空间安全学院，合肥2 30 0 31）摘要：联邦学习作为一种新兴分布式机器学习范式，实现了多客户间的分布式协同模型训练，不需要上传用户的原始数据，从而保护了用户隐私。然而，在联邦学习中由于服务器无法审查客户端的本地数据集，恶意客户端可通过数据投毒将后门嵌入全局模型。传统的联邦学习后门防御方法大多基于模型检测的思想进行后门防御，而忽略了联邦学习自身的分布式特性。因此，文章提出一种基于触发器逆向的联邦学习后门防御方法，使聚合服务器和分布式客户端协作，利用触发器逆向技术生成额外的数据，增强客户端本地模型的鲁棒性，从而进行后门防御。在不同数据集上进行实验，实验结果表明，文章提出的方法可以有效防御后门攻击。关键词：联邦学习；后门攻击；后门防御；鲁棒性训练；触发器逆向中图分类号：TP309文献标志码：A文章编号：16 7 1-112 2（2 0 2 4）0 2-0 0 2 6 2-10中文引用格式：林怡航，周鹏远，吴治谦，等.基于触发器逆向的联邦学习后门防御方法1信息网络安全，2 0 2 4，2 4（2)：2 6 2-2 7 1.英文引用格式:LIN Yihang,ZHOU Pengyuan,WU Zhiqian,et al.Federated Learning Backdoor DefenseMethod Based on Trigger InversionJ.Netinfo Security,2024,24(2):262-271.Federated Learning Backdoor Defense Method Based on Trigger InversionLIN Yihang,ZHOU Pengyuan,WU Zhiqian,LIAO Yong(School of Cyber Science and Technology,University of Science and Technology of China,Hefei 230031,China)Abstract:As an emerging distributed machine learning paradigm,federated learningrealizes distributed collaborative model training among multiple clients without uploadinguser original data,thereby protecting user privacy.However,since the server cannot inspectthe clients local dataset in federated learning,malicious clients can embed the backdoor intothe global model by data poisoning.Traditional federated learning backdoor defense methodsare mostly based on the idea of model detection for backdoor defense,but ignore the inherentdistributed feature of federated learning.Therefore,this paper proposed a federated learningbackdoor defense method based on trigger inversion.The aggregation server and distributedclients collaborated to generate additional data using trigger reverse technology to enhance therobustness of the clients local model for backdoor defense.Experiments on different datasets,收稿日期：2 0 2 3-10-2 3基金项目：国家重点研发计划2 0 2 1YFC3300500作者简介：林怡航（1998 一），男，福建，硕士研究生，主要研究方向为联邦学习；周鹏远（198 9一），男，天津，副研究员，博士，CCF会员，主要研究方向为可信人工智能、元宇宙和普适计算；吴治谦（1997），男，浙江，硕士研究生，主要研究方向为知识图谱；廖勇（198 0 一），男，湖南，教授，博士，主要研究方向为大数据处理与分析及其在网络安全领域的应用。通信作者：周鹏远262NETINFOSECURITY2024年第2 期理论研究and the results show that the proposed method can mitigate backdoor attacks effectively.Key words:federated learning;backdoor attack;backdoor defense;robustness training;trigger inversion0引言人工智能技术已被应用于众多领域，如计算机视觉、自然语言处理2 和数据挖掘3等。传统机器学习算法在训练时一般分为数据收集和训练模型两个步骤，而单一机构直接收集数据往往存在许多困难，因此许多人工智能服务由云服务支持，从大量分布式用户中收集个人数据。但数据提供方将自身的数据直接授予数据处理者，导致数据提供方隐私泄露的风险显著增大。近年来，各国纷纷发布数据收集隐私保护相关法规，如欧洲的通用数据保护条例4、美国的加利福尼亚消费者隐私法案 5和新加坡的个人资料保护条例 6等，都对用户数据收集提出了严格限制。机器学习的性能依赖于高质量、高规模的数据，对数据收集的严格限制使得难以收集到足够规模、足够高质量的数据，无法保证模型的性能要求。因此，既能保护用户隐私又能充分利用用户数据的人工智能技术变得越来越重要，国内外学者对此开展了许多相关研究。联邦学习7 最早由谷歌公司于2 0 16 年提出，该技术允许分布式客户端在不上传数据的情况下联合训练全局模型，受到学术界和工业界的广泛关注。联邦学习在医疗8、金融9和智慧城市10 等领域有广泛的应用前景，与集中式训练方法相比，联邦学习能够使分布的设备协同训练机器学习模型，允许包含敏感信息的个人数据保留在本地设备上。随着联邦学习技术的不断发展，其脆弱性也逐渐显现出来。现阶段，出现了一些关于联邦学习攻击的相关研究，如推理攻击、重建攻击12、后门攻击和拜占庭攻击13等。其中，后门攻击14 是一个重要的研究课题。联邦学习限制了聚合服务器对用户数据的访问，而这种训练的不透明性增加了检测和识别恶意攻击行为的难度。因此，在设计联邦学习系统时，如何在保证模型精度的前提下排除恶意攻击者的干扰是联邦学习呕待解决且极具挑战性的一个问题。当前，联邦学习后门防御方法大多需要客户端上传明文模型参数进行检测。为了应对上述挑战，本文基于触发器逆向的思想，提出一种联邦学习后门防御方法，利用聚合服务器和分布式客户端协作生成额外数据，客户端基于额外数据和本地隐私数据进行本地模型训练。该方法不仅可以提升后门防御性能，还能在不需要客户端提供明文模型参数或者明文的情况下更新梯度，从而保护客户端的隐私，具有较高的实用价值。1背景知识1.1联邦学习联邦学习是一种机器学习方法，其在数据分布于多个设备或数据源的环境中训练模型，实现在保护用户隐私的同时提高模型性能。不同于传统的集中式机器学习方法，联邦学习的核心理念在于将模型训练任务分发至拥有训练数据的本地设备上，而非将数据集中在一个中央服务器上进行训练，此分布式训练方法有助于应对一系列隐私、安全和通信效率方面的挑战。假设有N个客户端C=Ci,C2,C，C)，每个客户端有一个本地训练数据集D,ie(，,M)，客户端可以与中央参数服务器通信协作训练全局模型。联邦学习流程为：1）聚合服务器初始化全局模型和联邦学习的相关参数；2）聚合服务器在第t轮随机选择n个满足条件的客户端参与训练，向这些服务器发送最新的全局模型G-；3）客户端C,收到全局模型后进行本地训练o,=o-nig;(o,i)，其中ni是客户端训练的学习率，8 晟是随机选取的一批本地训练数据，本地训练结束后，C,发送本地模型i给聚合服务器，g;是本地随机梯度下降；4）聚合服务器通过聚合各个客户端上传的本地模型获得新的全局模型，然后重复上述步骤，直至全局模型收敛或者达到指定的联邦学习全局训练轮次，FedAvg算法是一种常见的聚合算法15，聚合公263NETINFOSECURITY理论研究2024年第2 期式为G=Z,其中m,是客户端本地数据集的大小，mm是该轮全部客户端数据集的大小14，通常使用相同的权重保证每个客户端对全局模型的贡献一致，因此聚合函数可以简化为 G=Za。1.2联邦后门攻击传统的后门攻击是一种绕过系统安全机制来访问计算机系统或加密数据的黑客方法，该攻击使攻击者能够控制系统资源、执行网络侦察并安装不同类型的恶意软件，而机器学习中的后门攻击与此类似。机器学习模型经过训练可以执行特定任务，例如，人脸识别、图像分类、垃圾邮件检测、产品评论或社交媒体帖子的情绪检测，而机器学习中的后门攻击是一种将秘密行为植入经过训练的机器学习模型的技术。传统领域和机器学习领域的后门攻击有两个共同点：1）不会对系统的正常表现造成影响；2）后门嵌入很隐蔽，不易被系统管理人员发现，但攻击者可以通过特定方法激活后门，以达成攻击目的。在机器学习中，后门攻击的表现如下。当用户输入正常样本时，该模型照常工作；当用户输人带有特定触发器的输入时，则会触发后门，使得模型的预测结果发生变化，变为攻击者指定的目标类。例如，在图像识别任务中，对手可以在模型中嵌入后门，使得模型将携带特定触发器的图片误判为目标标签。V(x,J)D，其中D是干净数据集，G是全局模型，x是干净样本，是样本真实标签，x*是带有特定触发器的样本，ybackdor是后门攻击目标标签，如公式（1）所示。f(G,x)=y f(G,x)=backior在联邦学习场景下，需要大量客户端参与训练，因此很难对每个客户端进行安全审查。恶意攻击者便利用这一点控制一个或者多个客户端发起攻击。后门攻击在联邦学习中的应用较多，如CV16、NLP17 和物联网18 等。BAGDASARYAN14等人提出联邦学习后门攻击的范式，攻击者利用中毒数据（即在一部分数据中混人触发器）训练模型，从而得到一个后门中毒模型，然后将该模型发送给聚合服务器，和其他客户端上传的模型一起聚合，在全局模型中嵌入后门。后门中毒模型对干净样本输出原始标签，而对中毒样本输出目标标签。因此，后门攻击不会影响主要任务的性能，聚合服务器不能通过任务精度的变化来判断是n否受到后门攻击，使得后门攻击难以被检测到。联邦学习后门攻击分为数据投毒和模型投毒两类。1）数据投毒攻击者只能修改被攻击客户端的数据集，不能控制其训练过程或修改客户端上传到聚合服务器的数据。攻击者为了避免被聚合服务器上的安全检测机制检测出来，通过控制中毒数据率（PoisoningData Rate，PDR）来限制中毒模型与良性模型的偏差。D,表示恶意客户端的训练数据，Dpoi表示中毒数据，如公式（2）所示。DPPDR=ID2）模型投毒模型投毒比数据投毒的威胁更大，主要原因在于攻击者不仅可以修改被攻击客户端的训练数据集，还可以操纵被攻击客户端的训练过程，并直接修改客户端上传的数据，对全局模型的影响较大，使全局模型更接近后门模型。另外，模型投毒通过修改模型的参数大小，以避免被聚合服务器中运行的异常检测机制发现。1.3联邦后门防御为了解决联邦学习的后门攻击问题，国内外学者展开了很多研究。目前，在联邦学习中防御后门攻击的(1)工作大致分为稳健聚合、异常模型检测和模型清理3个方向。1）稳健聚合稳健聚合对聚合函数进行优化，以降低攻击者发送的恶意更新对全局模型的影响，常见的方法包括两种：（1）利用阈值限制来自所有客户端的更新对全局模型的影响，例如，L2准则19通过限制客户端本地模型更新参数的L2范数，避免恶意模型覆盖全部模型；（2）差分隐私（Differential Privacy，D P）2 0 是一(2)264NETINFOSECURITY2024年第2 期理论研究种隐私技术，旨在确保输出不会泄露参与者的个人数据记录。DP可应用于机器学习，以保护训练数据或模型更新的隐私。基于DP的后门防御通过在上传的数据中添加随机噪声，来减小中毒模型更新对全局模型的影响。随机噪声稀释了恶意参与者注人的恶意信息，从而减小了其对最终全局模型的影响，但这种做法无法完全消除恶意攻击者带来的影响，因此会产生后门泄露问题。同时基于DP的后门防御在模型上添加了噪声，导致模型的性能受到一定影响。而其他方法则探索了新的全局模型估计器，BLANCHARD21等人提出Krum算法，通过计算两个局部模型之间的欧氏距离，从n个局部模型中选择一个与其他模型相似的模型，并将其作为全局模型，但实验发现在客户端数据非独立同分布的情况下，Krum算法会导致联邦学习收敛速度显著变慢，同时无法成功进行后门防御。XIE22等人利用修剪平均值（Trimmed Mean）来估计新的全局模型，修剪平均值也被称为截断平均值（TruncatedMean），是一种统计方法，用于计算数据集的平均值和剔除异常值。在计算截断平均值时，需要剔除或截断一定比例的最高值和最低值，并根据剩余值计算平均值。具体而言，修剪平均值将每个模型参数独立汇总。服务器首先对n个模型的第j个参数进行排序，然后去掉最大的k个和最小的k个参数，剩下的n-2k个参数的平均值作为全局模型的第j个参数值。2）异常模型检测在后门攻击中，与来自诚实客户端的模型更新相比，来自攻击者的模型更新具有独特的性质，因此基于聚类的检测算法通常在服务端检查各个客户端上传的更新，并将其聚类。FUNG23等人认为在联邦学习中，不同恶意客户端之间的更新参数往往比恶意客户端和良性客户端之间的更新参数的相似度更高，主要原因是每个良性客户端都有独特的数据分布，而恶意客户端拥有同一个目标。该方法利用此假设，在每次代中调整每个客户端的学习率，目标是保持上传不同梯度更新的客户端的学习率，同时降低持续贡献相似梯度更新的客户端的学习率。MUNOZ-GONZALEZ24等人提出自适应联邦聚合算法，该算法通过计算客户端上传模型的梯度和该轮所有客户端的平均梯度的余弦相似度，利用余弦相似度的平均值、中值和标准差确定一个范围，排除此范围以外的更新。3）模型清理模型清理在聚合来自客户端的本地模型（可能包含恶意模型）后执行，检查全局模型并删除恶意更新。遗忘学习在机器学习领域受到广泛关注2 5，WU26等人利用联邦遗忘消除单触发后门攻击的影响，同时不会显著影响整体性能，然而该方法需要识别恶意客户端，并且仅在人造后门攻击上进行测试，其对语义后门攻击的有效性未知。2方法设计2.1问题定义本文考虑由本地恶意客户端执行的联邦学习后门攻击，这些客户端通过使用中毒数据进行训练来获得后门模型。本文假设攻击者控制了一部分（少于50%）客户端，此部分客户端可以进行数据投毒和模型投毒，他们之间可以协调共谋，但无法控制良性客户端和聚合服务器的聚合过程。对于良性客户和聚合服务器，被控制的客户端无法获取关于后门攻击的真实参数。恶意攻击者的目的包括两点：1）为了确保攻击是隐蔽的，在注人后门的情况下，模型的主任务精度不应该发生波动；2）高攻击成功率，即针对携带后门触发器的样本，模型要尽可能识别为后门标签。本文方法的主要目标是防御联邦学习中的后门攻击，具体来说，有效的防御方法需要做到：1）确保全局模型的性能，即主任务精度；2）对于携带后门触发器的样本，应使输出后门目标标签的可能性最小化。2.2系统模型及流程2.2.1协议介绍传统的联邦学习后门防御方法大多从聚合服务器入手，聚合服务器通过对客户端上传的本地模型进行检测，判断是否是后门模型，再做出相应的处理。该265NETINFOSECURITY理论研究2024年第2 期方法的劣势是目前有许多研究表明12,2 7，客户端上传的明文模型参数或者更新梯度会泄露客户端的本地数据信息，如果利用同态加密技术对上传的信息进行加密，那么聚合服务器将难以对其进行检测，导致隐私和安全难以平衡。此外，针对模型进行检测的后门防御方法难以适用于不同的模型架构。针对以上问题，本文结合联邦学习的特性，设计了一个联邦学习后门防御方法，方法结构如图1所示。该联邦学习后门防御方法不再由聚合服务器负责全部防御，而是结合联邦学习的分布式性质，让客户端也参与防御过程。简要来说，该方法由3个主要步骤组成：1）寻找最佳优化类对，聚合服务器利用根数据集寻找该轮的最佳优化类对；2）客户端触发器逆向，客户端利用本地数据和目标优化类对，通过触发器逆向技术生成触发器，并将其标记在干净的原始图像上（不改变原有标签）；3）模型增强，客户端利用生成的数据和本地原有的干净数据进行模型训练，以增强模型的鲁棒性。总体来说，第一个步骤由聚合服务器完成，后两个步骤由客户端完成。寻找最佳优化类对口中毒数据客户端触发带盗间本地隐私数据混合数据模型增强本地模型图1本文方法结构本文方法的伪代码如下。Input:Set of clients C=C,C2,Cs,*,CN),local datasets D=(Di,D2,Ds,Dn,the number of training iterations T,the percentage ofparticipating clients per round KOutput:Global model GTBeginInitialize the global model Gofor t in 1,T donmax(KN,1)C random set of n clientsif class_distance was not initialized thenfor each s label doclass_distancelsik-L(s,t)promising_pairs-select(class_distance)end forelse ifpromising_pairs-select(class_distance)for each client ieC in parallel doThe server sends Gl to client iDav-Trigger_ Inversion(D,G)Di(Dadv,D,)l-ClientUpdate(Di,G)end forclass_distance/silk-L(s,t)本文结合触发器逆向方法进行客户端鲁棒性训练，从而实现后门防御。触发器逆向是一种集中式机器学习防御后门攻击的方法，其在许多现有研究中取得了良好效果。具体来说，触发器逆向方法的目标是利用优化方法寻找一个触发器，该触发器能将一组干净图像的分类结果翻转为目标类。2.2.2寻找最佳优化类对对于深度学习分类器来说，两个类的距离可以通全局模型及目标类对过将一个源类中的所有样本或大部分样本的预测标签本地模型翻转到另一个类的难度来衡量。文献2 8 针对这一点本地模型进行深入研究，并给出相关定义，给定来自源类s的聚合服务器图像，触发器逆向方法会生成一个触发器，该触发器由掩码m和模式S组成，模型将带有触发器标记的图像的标签翻转到目标类t。公式（3）用于将触发器m，S应用在来自源类s的图像x，上生成新的图像，公式（4）则为触发器逆向方法的优化目标。xs-=(1-m)x,+mSLoss=-(M(xr),y.)-/ml/其中，原始源类s到目标类t的距离d定义为ml。两个类之间的距离越大，意味着模型越难通过添加触发器的方式使模型将输人的预测从源类变为目标类。一种简单的方法是依次将每个类对的距离都训练(3)(4)266NETINFOSECURITY2024年第2 期理论研究到最大距离，这样后门攻击所需添加的触发器大小就会增大。但这种方法存在两个问题：1）客户端的训练成本明显增长，针对每个类对生成不同的触发器，导致客户端的计算量增加，影响联邦学习的收敛速率；2）模型主任务的精度大幅度降低。另一种方法是随机选择，但这种方法很难保证选择的优化类对产生的效果。针对上述问题，本文利用聚合服务器进行优化，即让聚合服务器选择每轮联邦学习中应该训练的类对。本文假设聚合服务器拥有少量干净数据集，此假设与文献2 9中的假设一致。在联邦学习开始阶段，聚合服务器上没有相关的类距离矩阵，因此聚合服务器会先计算出类距离矩阵。一种直接的方法是根据每个类对计算出类距离，在n个标签的场景下，该方法需要对n(n-1)个类对进行优化并计算类距离,计算开销较大。因此，本文使用生成通用逆向触发器的方法优化计算开销。具体来说，本文方法针对每个目标类yi，生成一个可以将所有类（不包含目标类）的样本翻转到目标类y,的通用触发器m,S。Vx,e X，y i y i，y i 是样本x,的真实标签，形式化的表达如公式（5）所示。M(1 m)xi+m)=y,为了衡量将一个类别通过添加通用触发器转换为目标类别的难度，本文利用优化过程中损失函数的变化进行衡量。聚合服务器选择损失函数变化最大的类对作为该轮的优化类对，将该类对与该轮的全局模型发送给被选中的客户端。在客户端进行本地训练时，先利用目标类对和该轮的全局模型进行触发器逆向生成新的数据，再利用生成的数据和原有数据进行本地模型训练。在训练完成后，客户端将其本地模型结果传回聚合服务器，聚合服务器进行模型聚合得到新的全局模型。同时，聚合服务器更新该轮优化类对的最新距离。2.2.3鲁棒性训练客户端在收到优化类对（标签和标签b）后进行触发器逆向，一个类对的触发器逆向有两种情况：1）源标签为标签,目标标签为标签b;2)源标签为标签b，目标标签为标签。在集中式机器学习中，通常对这两种情况同时进行优化。但由于联邦学习的特殊性质(客户端数据非独立同分布），客户端的数据是不平衡的，在极端情况下，客户端可能缺失对应标签的数据。因此，根据客户端的数据情况，客户端的鲁棒性训练分为对称触发逆向、单向触发逆向和不处理3种情况。当标签a和标签b对应的数据足够多时，客户端选择对称触发逆向生成数据；如果客户端只有类数据或者b类数据足够多，则只对持有足量数据的标签到目标标签进行触发器逆向；如果两类数据都不充足，则该客户端在本轮不进行触发器逆向，直接进行联邦学习训练。客户端在完成触发器逆向后，首先将图像与其对应的触发器进行结合，以生成新的图像；然后将新生成的图像与原有的图像融合，形成新的本地数据集；最后客户端利用新的本地数据集进行训练。聚合服务器的数据量有限，使得寻找到的类对可能不是全局最优类对，从而导致偏差。本文在客户端使用-greedy算法30 来引人随机性,具体来说,e-greedy算法在0,1范围内生成随机数，如果随机数小于阈值，则客户(5)端随机选择该轮优化类对；否则，按照聚合服务器寻找的类对进行优化。在本文实验中，统一设置为0.3。客户端触发器逆向的伪代码如下。Input:local model,label(a,b),indicator vector p,local client data XOutput:Global model GTInitialization X,a batch of x e Xfunction TRIGGER_INITIALOif mini is not None and Simnin is not None thenm,minit,Oinitelsem,Srandom initreturm m,sfunction SYMMETRIC_INVERSIONOm,STRIGGER_INITIALOfor step in 0,max_ steps doX,=p(l-m0)-X,+m0-0)+(1-p);(1-ml)-X,+m1 1/is an indicator vector of these inputs,with 1 denotingclassa and O denoting class by,=p-b+(1-P)aminimizeLoss=L(M(x,),y.)+267NETINFOSECURITY理论研究2024年第2 期amretun XnfunctionASYMMETRIC_INVERSIONOm,oTRIGGER_INITIALOfor step in 0,max_ steps doX,=(1-m).X,+m.SJi=bminimize Loss=L(M(x,),y.)+mlretum Xnfunction -greedh(a,b,)s(0,1)if s e thena=rand(class_num)b=rand(class_num)and b+aend ifreturn a,b3实验与结果分析3.1实验设置本文实验在Ubuntu20.04 LTS(64 bit)系统的服务器上运行，具体硬件环境如表1所示。表1硬件环境硬件型号CPUIntel(R)Xeon(R)Gold 6246R处理器数量GPUNVIDIAGeForceRTX3090 x8内存64GB网络适配器以太网硬盘36 TB本文在MNIST、Fa s h io n-M NI ST 和CIFAR-10经典图像数据集上进行实验。MNIST是一个经典的手写数字图像数据集，包含6 0 0 0 0 个训练数据和10 0 0 0 个测试数据。Fashion-MNIST与 MNIST类似，由 6 0 0 0 0 个训练数据和10 0 0 0 个测试数据组成，两者的区别在于Fashion-MNIST的图像内容为10 类时尚商品图像，如衣服、鞋子、包等。CIFAR-10数据集由10 个类别图像组成，每个图像大小为32 32，共包括50 0 0 0 个训练样本和10 0 0 0 个测试样本。为了模拟非独立同分布环境，本文使用Dirichlet分布来划分数据集,超参数设置为0.5，与之前的相关工作保持一致。基于联邦学习和后门攻击特性，本文将攻击成功率和主任务精度视为衡量防御有效性的评估指标。其中，攻击成功率指后门任务的模型准确度，攻击者的目标是使攻击成功率最大化，而有效的防御算法则是使其最小化。主任务精度指主要任务的模型准确度。需要注意的是，攻击者和防御者的目的都是尽量减小对主任务精度的影响。3.2实验结果3.2.1基于触发器逆向的后门防御实验及结果本文考虑单次后门攻击和连续后门攻击两种攻击方式。其中，单次后门攻击指每个攻击者只参与一轮，通过放大模型参数的方式将后门嵌入全局模型中。而连续后门攻击则是攻击者在每轮联邦学习过程中都会参与，这种攻击比单次后门攻击更加危险。单次后门攻击和连续后门攻击的攻击参数与文献31保持一致。本文选择DP20、T r i mme d M e a n 2 2、RFA （Ro b u s t Fe d e r a t e dAggregation）32、裁剪扰动（Clipping and Perturbing,CP）33和Flamel19作为实验基线。单次后门攻击的实验结果如表2 所示。由表2 可以看到，DP加噪方法的性能不能满足防御后门攻击的需要，CP算法的防御效果较差。本文方法在3个数据4个集上均可以将后门攻击的攻击成功率降低至15%以下，与传统的联邦学习后门防御算法性能基本相同。单次后门攻击会对模型参数进行放大，因此传统防御方法针对参数进行检测具有一定优势，但需要直接获取明文的模型参数，存在隐私泄露风险。表2 不同算法防御单次后门攻击的实验结果MNISTFashion-MNIST基线主任务攻击主任务攻击主任务攻击精度成功率精度成功率精度成功率无防御94.03%99.68%77.93%99.8%74.06%88.41%DP94.08%100%77.79%99.65%71.18%89.20%Trimmed Mean97.88%0.44%81.49%11.82%75.78%15.59%RFA97.60%0.43%79.72%7.83%78.84%7.83%CP62.38%35.33%62.35%29.08%64.66%74.20%Flame97.50%0.43%76.92%15.93%79.26%5.53%本文方法97.24%0.16%79.84%14.64%79.84%8.95%本文对更具有威胁的连续后门攻击进行实验，实验结果如表3所示。在连续后门攻击场景下，DP和Trimmed Mean检测算法均失效，CP算法有一定效果，CIFAT-10268NETINFOSECURITY2024年第2 期理论研究但依然无法较好地防御后门攻击，RFA与Flame检测算法在Fashion-MNIST数据集和CIFAR-10数据集上的防御性能也大幅下降。然而，本文方法依然可以将攻击成功率降至较低水平，并且主任务精度降至可接受的范围内。具体来说，在MNIST上的攻击成功率下降至1.53%，主任务精度略有上升。对于Fashion-MNIST和CIFAR-10数据集，攻击成功率分别下降至15.2 1%和2 2.0 3%以下，而主任务精度下降幅度分别为3.49%和7.42%。对比单次后门攻击，这种性能的变化是由攻击机制和防御机制造成的。在单次后门攻击中攻击者只参与一轮训练，因此其在上传后门模型前会对参数进行放大，从而保证覆盖全局模型。传统后门防御方法直接针对其模型参数进行检测处理，因此可以有效缓解后门攻击。而在连续后门攻击场景下，攻击者参与每轮联邦学习，因此其不需要放大模型参数，导致传统后门防御方法难以进行检测。而本文方法从触发器逆向生成图像出发，让良性客户端进行鲁棒性训练，以增强全局模型的鲁棒性，因此在单次后门攻击和连续后门攻击两个场景下，本文方法都可以进行有效防御。表3不同算法防御连续后门攻击的实验结果MNISTFashion-MNIST基线主任务攻击主任务攻击主任务攻击精度成功率精度成功率精度成功率无防御96.20%99.82%82.37%99.89%77.96%82.13%DP95.32%86.52%79.57%99.70%78.13%81.21%TrimmedMean98.74%99.89%80.37%99.75%62.62%83.67%RFA97.97%2.24%82.26%22.93%76.92%63.10%62.51%CP95.73%58.08%67.77%25.43%Flame98.08%0.31%77.23%17.81%77.44%81.60%本文方法96.67%1.53%78.88%15.21%70.54%22.03%3.2.2有效性分析增大数据集是提升机器学习算法性能的可靠性方法之一，而通常的做法是在真实数据集中添加生成的数据或者合成的数据，即数据增强。数据增强是一种在机器学习和深度学习中常用的数据预处理技术，旨在通过对原始数据进行一系列变换和扩充，增加数据样本的多样性和数量，从而改善模型的泛化能力和鲁棒性。数据增强可以应用于多种类型数据，如图像、文本和音频等，在图像领域常用的操作包括翻转和缩放，这两种操作的本质是使模型在训练时能够使用更多不同样本，从而提升模型的泛化能力，减少过拟合，并增强模型对于各种变化和干扰的鲁棒性。因此，为了验证触发器逆向的有效性，将本文方法与传统的数据增强方法进行比较，对比结果如下。1)MixupMixup主要通过数据混合来增强模型的泛化能力。具体来讲，Mixup将两张不同图像进行相加，从而生成一张新的图像。同时对应的标签也进行线性插值，得到新的标签34。2)Cutout Cutout主要通过在输人图像中随机删除一些像素来增强模型的泛化能力。具体来讲，Cutout在输人图像中随机选取一个矩形区域，并将该区域内的像素全部删除。这种数据增强技术可以使模型对不同区域的物体有更好的识别能力，同时也可以减轻模型对噪声的敏感性35。本文在CIFAR-10数据集上进行连续后门攻击实验，实验结果如表4所示。由表4可以看到，Mixup和CIFAT-10Cutout数据增强方法虽然对提升主任务精度有一定帮助，但这两种方法不能有效缓解后门攻击，而本文方法则成功将后门攻击成功率降低至2 2.0 3%，这也说明了触发器逆向生成图像的有效性。表4触发器逆向有效性实验结果63.97%CIFAR-10基线主任务精度攻击成功率无防御77.96%Mixup78.12%Cutout78.14%本文方法70.54%4结束语本文提出一种基于触发器逆向思想的联邦学习后门防御方法，传统的联邦学习后门防御方法大多基于模型检测思想进行后门防御，而忽略了联邦学习自身82.13%86.57%79.22%22.03%269NETINFOSECURITY理论研究2024年第2 期的分布式特性。本文提出的防御方法通过聚合服务器寻找最佳优化类对、客户端触发器逆向和模型增强3个阶段，提升良性客户端上传本地模型的鲁棒性，从而提升全局模型的鲁棒性，更好地进行后门防御。实验结果表明，相较于传统的联邦学习后门防御方法，本文方法在保护客户端模型参数隐私的同时，有效降低了后门攻击的成功率，与传统算法相比具有明显的优势。接下来，将结合支持隐私保护的模型检测算法进一步优化单次后门防御的效果。参考文献：1 LECUN Y,BENGIO Y.Convolutional Networks for Images,Speech,and Time SeriesJ.The Handbook of Brain Theory and Neural Networks,1995,3361(10):255-258.2 CHAN Y S,ROTH D.Exploiting Syntactico-Semantic Structures forRelation ExtractionC/ACM.The 49th Annual Meeting of the Associationfor Computational Linguistics:Human Language Technologies.New York:ACM,2011:551-560.3 WEN Long,LU Zhichen,CUI Lingxiao.Deep Learning-Based FeatureEngineering for Stock Price Movement PredictionJ.Knowledge-BasedSystems,2019(164):163-173.4 VOIGT P,VON D B A.A Practical GuideM.Heidelberg:Springer,2017.5 PARDAU S L.The California Consumer Privacy Act:Towardsa European-Style Privacy Regime in the United StatesD.Journal ofTechnology Law&Policy,2018(23):68-114.6 CHESTERMAN S.After Privacy:The Rise of Facebook,the Fall ofWikileaks,and Singapores Personal Data Protection Act 2012EB/OL.(2012-12-01)2023-10-17.https:/wwwjstor.org/stable/24872218.7 MCMAHAN B,MOORE E,RAMAGE D,et al.Communication-Efficient Learning of Deep Ne