抗推理攻击的隐私增强联邦学习算法.pdf

h t t p:/ww wj s j k x c o mD O I:/j s j k x 到稿日期:返修日期:基金项目:国家自然科学基金();江苏省“高层次人才培养工程”资助;中国博士后科学基金(面上一等资助)(M );江苏省博士后科研资助计划(K C);南京邮电大学“”人才计划T h i sw o r kw a ss u p p o r t e db yt h eN a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a(),H i g h l e v e lT a l e n t sT r a i n i n gP r o j e c to fJ i a n g s uP r o v i n c e,C h i n aP o s t d o c t o r a lS c i e n c eF o u n d a t i o n(M ),J i a n g s uP l a n n e dP r o j e c t sf o rP o s t d o c t o r a lR e s e a r c hF u n d s(K C)a n d T a l e n t sP l a no fN J U P T通信作者:陈思光(s g c h e n n j u p t e d u c n)抗推理攻击的隐私增强联邦学习算法赵宇豪陈思光苏健南京邮电大学物联网学院南京 南京信息工程大学计算机学院南京 (z y h c o m)摘要联邦学习在保证各分布式客户端训练数据不出本地的情况下,由中心服务器收集梯度协同训练全局网络模型,具有良好的性能与隐私保护优势.但研究表明,联邦学习存在梯度传递引起的数据隐私泄漏问题.针对现有安全联邦学习算法存在的模型学习效果差、计算开销大和防御攻击种类单一等问题,提出了一种抗推理攻击的隐私增强联邦学习算法.首先,构建了逆推得到的训练数据与训练数据距离最大化的优化问题,基于拟牛顿法求解该优化问题,获得具有抗推理攻击能力的新特征.其次,利用新特征生成梯度实现梯度重构,基于重构后的梯度更新网络模型参数,可提升网络模型的隐私保护能力.最后,仿真结果表明所提算法能够同时抵御两类推理攻击,并且相较于其他安全方案,所提算法在保护效果与收敛速度上更具优势.关键词:联邦学习;推理攻击;隐私保护;梯度扰动中图法分类号T P P r i v a c y e n h a n c e dF e d e r a t e dL e a r n i n gA l g o r i t h mA g a i n s t I n f e r e n c eA t t a c kZ HAOY u h a o,CHE NS i g u a n ga n dS UJ i a nS c h o o l o f I n t e r n e to fT h i n g s,N a n j i n gU n i v e r s i t yo fP o s t sa n dT e l e c o mm u n i c a t i o n s,N a n j i n g ,C h i n aS c h o o l o fC o m p u t e rS c i e n c e,N a n j i n gU n i v e r s i t yo f I n f o r m a t i o nS c i e n c ea n dT e c h n o l o g y,N a n j i n g ,C h i n aA b s t r a c t I nf e d e r a t e dl e a r n i n g,e a c hd i s t r i b u t e dc l i e n td o e sn o tn e e dt ot r a n s m i tl o c a lt r a i n i n gd a t a,t h ec e n t r a ls e r v e rj o i n t l yt r a i n s t h eg l o b a lm o d e l b yg r a d i e n tc o l l e c t i o n,i th a sg o o dp e r f o r m a n c ea n dp r i v a c yp r o t e c t i o na d v a n t a g e s H o w e v e r,i th a sb e e nd e m o n s t r a t e dt h a tg r a d i e n t t r a n s m i s s i o nm a yl e a dt ot h ep r i v a c yl e a k a g ep r o b l e mi nf e d e r a t e dl e a r n i n g A i m i n ga tt h ee x i s t i n gp r o b l e m so f c u r r e n t s e c u r e f e d e r a t e d l e a r n i n ga l g o r i t h m s,s u c ha sp o o rm o d e l l e a r n i n ge f f e c t,h i g hc o m p u t a t i o n a l c o s t,a n ds i n g l ea t t a c kd e f e n s e,t h i sp a p e rp r o p o s e s ap r i v a c y e n h a n c e d f e d e r a t e d l e a r n i n ga l g o r i t h ma g a i n s t i n f e r e n c e a t t a c k F i r s t,a no p t i m i z a t i o np r o b l e mo fm a x i m i z i n gt h ed i s t a n c eb e t w e e nt h e t r a i n i n gd a t ao b t a i n e db y i n v e r s i o na n dt h e t r a i n i n gd a t a i s f o r m u l a t e d T h eo p t i m i z a t i o np r o b l e mi ss o l v e db a s e do nt h eq u a s i N e w t o nm e t h o dt oo b t a i nn e wf e a t u r e sw i t ha n t i i n f e r e n c ea t t a c ka b i l i t y S e c o n d,t h eg r a d i e n t r e c o n s t r u c t i o n i sa c h i e v e db yu s i n gn e wf e a t u r e s t og e n e r a t eg r a d i e n t s T h em o d e lp a r a m e t e r sa r eu p d a t e db a s e do nt h er e c o n s t r u c t e dg r a d i e n t s,w h i c hc a ni m p r o v et h ep r i v a c yp r o t e c t i o nc a p a b i l i t yo ft h em o d e l F i n a l l y,s i m u l a t i o nr e s u l t ss h o wt h a t t h ep r o p o s e da l g o r i t h mc a nr e s i s t t w ot y p e so f i n f e r e n c ea t t a c k ss i m u l t a n e o u s l y,a n di th a ss i g n i f i c a n ta d v a n t a g e s i np r o t e c t i o ne f f e c t a n dc o n v e r g e n c es p e e dc o m p a r e dw i t ho t h e r s e c u r es c h e m e s K e y w o r d s F e d e r a t e dl e a r n i n g,I n f e r e n c ea t t a c k,P r i v a c yp r e s e r v a t i o n,G r a d i e n tp e r t u r b a t i o n引言传统的机器学习以集中式学习为主,集中式学习需要终端将数据上传到服务器,服务器基于收集到的数据执行学习任务,然而收集数据需要消耗大量的通信资源且存在数据泄漏的风险.为解决上述问题,年谷歌提出了联邦学习的概念.联邦学习分成中心服务器和本地客户端两个部分,各分布式客户端无需上传本地数据,仅需利用本地数据训练本地网络模型,然后上传梯度或模型参数至服务器进行聚合,服务器将聚合后的全局网络模型发送给各分布式客户端训练,不断重复上述过程直至达到最大通信轮次 .文献证明了在理想状况下,经联邦学习训练后的网络模型效果接近集中式学习甚至更优.然而,联邦学习框架的分布式特性不足以全面保护客户端免受威胁.最近的研究表明,好奇的服务器或潜在的攻击者,根据本地网络模型训练过程中产生的梯度或客户端训练完成后的网络模型参数,能够推测出本地隐私数据,此类攻击模式被称为推理攻击.例如,Z h u等提出了基于二范式的深度泄露算法(D e e pL e a k a g eF r o m G r a d i e n t s,D L G),首次证明了梯度信息能够泄漏隐私数据.类似地,G e i p i n g等在D L G的基础上提出了基于余弦相似度的反转梯度攻击,进一步证明了梯度信息可导致隐私数据泄漏的严重性.此外,W a n g等提出了一种新的推理攻击,该攻击将生成对抗网络与多任务鉴别器相结合,能够恢复出隐私数据并识别其来源.近期关于联邦学习的研究表明,目前主要通过种技术达到隐私保护效果:差分隐私 、梯度压缩和同态加密 .差分隐私通过噪声机制,在训练数据、梯度或网络模型参数上添加噪声,对隐私数据进行保护.例如,W e i等 在网络模型训练过程中添加一定的噪声,以达到保护的效果,但是差分隐私存在添加噪声过多而严重影响网络模型准确率的问题.文献 证明了梯度下降算法中大部分的梯度交换是多余的,因此可以使用梯度压缩技术对梯度信息进行裁剪压缩,即将绝对值过小的梯度裁剪为零,以降低隐私泄漏的风险.梯度压缩与差分隐私存在同样的问题,即平衡隐私保护和网络模型准确率的问题.同态加密提供了一种密码学的解决方案,在各分布式客户端上传网络模型参数前,预先对网络模型参数进行加密,按照加密对象的不同,同态加密分为部分同态加密 和全同态加密.Z h a n g等 通过权重参数的同态加密来保证数据的隐私性.但是作为一种密码学方法,同态加密需要消耗大量的计算资源,难以应用于实际的联邦学习场景中.近期有极个别研究方案基于梯度导致数据泄漏的本质原因构建安全方案.例如,S u n等 提出方案S o t e r i a,用于解决联邦学习隐私泄漏问题,S o t e r i a以最大程度模糊逆推得到的训练数据为目标将部分梯度置零.尽管S o t e r i a对D L G等攻击具有较好的防御性,但是该方案无法有效抵御针对梯度置零的推理攻击.针对上述一系列安全技术方案存在的问题,本文提出了一种抗推理攻击的隐私增强联邦学习算法.具体地,基于网络模型预测准确率与保护效果的综合性考虑,构建逆推得到的训练数据与训练数据距离最大化的优化问题.通过拟牛顿法求解该优化问题,获得具有抗推理攻击能力的新特征,实现特征重构.其次,构建梯度重构操作,即利用新特征生成的全连接层梯度,代替原全连接层梯度,获得具有抗推理攻击能力的新梯度,并使用新梯度更新网络模型参数,提升网络模型的隐私保护能力.最后,仿真结果表明,本文提出的抗推理攻击隐私增强联邦学习算法在提供强隐私保护的同时,相较于其他安全方案,模型准确率更高且收敛速度更快.本文第章介绍了系统模型;第章介绍抗推理攻击隐私增强联邦学习算法的相关定义及求解过程;第章对算法性能与 安 全 性 进 行 分 析;第章 为 仿 真 结 果 及 具 体分析;最后总结全文并展望未来.系统模型联邦学习保证各分布式客户端训练数据不出本地,仅在中间阶段交换训练参数的情况下协同训练全局网络模型,避免了因训练数据收集产生的通信开销与安全隐患.虽然联邦学习不直接交换训练数据,相比传统的机器学习有更高的安全保障,但是该学习模式需要交换大量参数用于协同训练.经研究证实,好奇的服务器或潜在的攻击者可以通过模型参数或梯度推测出客户端的训练数据,带来隐私数据泄漏的风险.为解决现有联邦学习存在的问题,本文构建了抗推理攻击的隐私增强联邦学习模型,如图所示.图抗推理攻击的隐私增强联邦学习模型F i g P r i v a c y e n h a n c e df e d e r a t e d l e a r n i n gm o d e l a g a i n s t i n f e r e n c ea t t a c k s本文所构建的联邦学习场景中假设主要包含两种推理攻击威胁,威胁是能够窃听客户端与服务器之间通信链路的窃听者或诚实且好奇的服务器,根据窃听或直接获取到的网络模型参数进行推理攻击,恢复客户端的训练数据;威胁发生于客户端训练网络模型的过程中,潜在的攻击者多为系统漏洞或携带病毒的程序,其根据捕获或控制得到的梯度进行推理攻击,恢复客户端的训练数据.上述两种威胁都需要通过有限的迭代来优化随机输入数据,使得输入数据生成的梯度近似于泄漏的梯度,优化后的输入数据即为生成的近似训练数据.本文构建的抗推理攻击的隐私增强联邦学习模型须能够有效抵 御上 述两 类威 胁.该 模 型 的 设 计 主 要 包 含 两 部 分内容:)若是首轮联邦学习,则服务器将初始化网络模型发送至客户端,否则通过联邦平均算法聚合客户端上传的网络模型参数,并将聚合后的网络模型参数发送至各客户端,由服务器协调完成多轮联邦学习,直至获得最终的全局最优模型.)从上述的描述中可以看出联邦学习极易受到安全威胁,因此,要构建一个具备较强隐私保护能力的联邦学习模式,需要在保证网络模型准确率的前提下,使得攻击逆推得到的输入数据与训练数据的差距足够大.因为神经网络全连接层的梯度与参数是决定逆推得到的输入数据与训练数据相似性的关键,所以本文设计了一种全连接层梯度扰动方法以降低被攻击的风险,即通过有限的迭代来优化随机新特征,使得新特征近似于经卷积层提取后的特征,且新特征逆映射到网络模型的输入数据与训练数据差距足够大.优化后的新特征赵宇豪,等:抗推理攻击的隐私增强联邦学习算法会生成扰动梯度,该梯度具备抗推理攻击能力,并可代替原全连接层的梯度.使用该梯度更新网络模型参数,随着本地训练迭代次数的增加,由网络模型参数逆推得到的输入数据与训练数据的差距将不断增大,因此联邦学习的隐私保护能力也将不断提升.抗推理攻击的隐私增强联邦学习算法在传统的推理攻击场景中,攻击者基于所窃听或感知到的模型参数或梯度,能够逆推得到近似的训练数据,记为逆推输入数据X.目标函数D定义为逆推输入数据X 生成的梯度与泄漏梯度之间的二范式距离,推理攻击通过优化器优化目标函数D,从而更新逆推输入数据X.更新的方式为:(X,Y)a r gm i n(X,Y)Da r gm i n(X,Y)W Wa r gm i n(X,Y)f(X)Y WW()其中,X 与Y 分别表示逆推输入数据与标签;W表示网络模型参数;W 表示逆推输入数据X 生成的梯度;W表示泄漏的梯度;f()表示模型输入映射到目标结果的函数.在优化器的作用下,梯度W 的大小将不断逼近梯度W的大小,使得逆推输入数据X 不断逼近原始训练数据.优化后的逆推输入数据X 即为生成的近似训练数据,与训练数据相似性越高,推理攻击的效果就越好.基于联邦学习存在的推理威胁,目前有一系列安全技术被提出来解决此类问题.目前比较流行的联邦学习安全技术包括差分隐私、同态加密和梯度压缩等,但是这些方法存在网络模型准确率较低或计算开销大的问题.例如,差分隐私的原理是在训练数据、梯度或网络模型参数上添加噪声,从而在一定程度上扰动数据,增加了推理攻击的难度.然而,过多的噪声会影响网络模型预测的准确率,这是差分隐私不可避免的困境.梯度压缩的原理是将绝对值较小的梯度置零,该方法的一个主要参数为m a s k,m a s k决定梯度是否被置零,可以表示为:m a s k,|W|t h r e s h o l dW,|W|t h r e s h o l d()其中,|W|表示梯度的绝对值,t h r e s h o l d表示裁剪率,低于该值的梯度将被置零,高于该值的梯度则不变.基于式(),梯度压缩将部分梯度置零,使得在执行推理攻击的过程中,目标函数D被错误计算,从而间接导致在后续攻击的每一轮迭代过程中,逆推输入数据X 内的所有数据参数都被错误优化,最终无法准确地恢复训练数据.然而,梯度压缩方法无法有效抵御部分针对梯度置零的推理攻击,在针对梯度置零发起的推理攻击中,目标函数D将遍历值为零的梯度W,且不计算这些梯度W与梯度W 之间的二范式距离,即不优化被置零梯度对应的数据参数.此场景下的目标函数D定义为:DW W,W,W()因此在后续攻击的每一轮迭代过程中,除被置零梯度对应的数据参数无法优化外,其余数据参数都能够被优化,从而极大地削减了梯度压缩的保护效果,最终恢复出近似的训练数据.针对上述一系列安全技术存在的问题,本文设计了抗推理攻击的隐私增强联邦学习算法.该算法包含两个核心步骤:特征重构与梯度重构.特征重构的对象是某个训练数据经卷积层提取后的特征,重构的需求被规划成两个优化问题:)新特征r 与原特征r的距离最小化问题.需要尽可能减小新特征r 与原特征r的二范式距离,保证网络模型的预测准确率接近无保护状态下的准确率.具体优化问题构建如下:m i nx rr()逆推输入数据X 与训练数据X的距离最大化问题.需要尽可能增大逆推输入数据X 与训练数据X的二范式距离,保证推理攻击恢复不出训练数据.具体优化问题构建如下:m a xx XX()根据拉格朗日定理可知,逆推输入数据X 与训练数据X存在如下近似相等关系:XX(rr)gX(r)()其中,gX()表示特征逆映射到模型输入的导函数.结合式()式(),可以得到最终的优化问题:m i nr rr(rr)gX(r)()s t rr(a)(b)其中,和表示新特征r 与原特征r之间二范式距离的取值范围;表示保护等级,其值越大,隐私保护效果越好.基于拟牛顿法可求解上述优化问题.首先,设置合适的保护等级;其次,基于式()、式(a)和式(b),在优化器的作用下,不断更新参数r,得到新特征r 的最优解,特征重构完成.梯度重构的对象是使用某个训练数据训练网络模型时生成的全连接层梯度.传统的网络模型梯度由两部分构成,分别是卷积层的梯度Wc o n v与全连接层的梯度Wf u l l.卷积层的梯度Wc o n v可以表示为:Wc o n vg(X)rWc o n v()其中,g()表示模型输入映射到特征的函数.全连接层的梯度Wf u l l可以表示为:Wf u l lF(r)YWf u l l()其中,F()表示特征映射到目标结果的函数.与基于式()的梯度生成方式不同,本文通过新特征r,生成具有抗推理攻击能力的新全连接层梯度W f u l l,具体可以表示为:W f u l lF(r)YW f u l l()结合式()与式(),以新全连接层梯度W f u l l代替原全连接层梯度Wf u l l,可以得到新网络模型梯度W,即梯度重构完成.新网络模型的梯度W 可以表示为:W Wc o n v,W f u l l()为了能更详细地了解本文所提的抗推理攻击隐私增强C o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p 联邦学习算法,以服务器第e轮通信轮次为例,详细介绍抗推理攻击的隐私增强联邦学习新模式.首先,服务器发送全局模型参数W(e)至各分布式客户端;其 次,客 户 端 在 每 一 轮 本 地 迭 代 的 训 练 过 程 中,基 于式()、式(a)和式(b),执行特征重构操作,获得新特征r;然后,基于式()、式()和式(),执行梯度重构操作,获得新网络模型的梯度W,其包含原卷积层梯度Wc o n v与新全连接层梯度W f u l l.进而使用梯度下降算法,更新卷积层的参数,具体可以表示为:Wc o n v(e)Wc o n v(e)Wc o n v()其中,Wc o n v(e)表示网络模型卷积层的参数;表示梯度下降的学习率.同时更新全连接层的参数,使其具备抗推理攻击能力,具体可以表示为:Wf u l l(e)Wf u l l(e)W f u l l()其中,Wf u l l(e)表示网络模型全连接层的参数.当客户端达到最大迭代次数时,会上传训练后的网络模型参数W(e)o v e r至服务器.当服务器收到所有客户端上传的网络模型参数W(e)o v e r后,会计算各客户端网络模型的增量W(e),具体可以表示为:W(e)W(e)o v e rW(e)()基于式(),服务器计算所有客户端网络模型的增量,进而更新全局网络模型参数W(e),具体可以表示为:W(e)W(e)NNiWi(e)()其中,N表示分布式客户端的数目,Wi(e)表示第i个客户端网络模型的增量.基于式()和式(),服务器更新得到具有抗推理攻击能力的网络模型参数W(e),从而完成第e轮通信轮次的更新.若未达到最大通信轮次,服务器继续将网络模型参数W(e)传送至各客户端进行训练,直至达到最大通信轮次.为便于理解上述执行流程,将此求解过程描述为算法的形式.算法抗推理攻击的隐私增强联邦学习算法输入:保护等级,随机新特征r,特征重构的优化迭代次数K输出:全局最优模型参数W(E)B E G I N服务器:初始化网络模型参数W(e);F O Re I N通信轮次ED O发送网络模型参数W(e)至各分布式客户端;接收所有客户端上传的网络模型参数W(e)o v e r;基于式()计算各网络模型的增量W(e);基于式()更新全局网络模型参数W(e);E N DF O R获得具有抗推理攻击能力的全局最优模型参数W(E)客户端:F O Rt I N本地迭代次数TD O 初始化和新特征r;F O Rk i n,KD O 基于式()、式(a)和式(b)优化新特征r;E N DF O R 基于式()、式()和式()计算新网络模型的梯度W;基于式()和式()更新网络模型参数W(e);E N DF O R 获得更新后的网络模型参数W(e)o v e r并上传至服务器.E N D算法性能与安全性分析 复杂度分析相较于传统的联邦学习,本文算法复杂度的增加主要来源于特征重构优化问题的求解,即式()优化问题的求解.该优化问题的求解复杂度与训练数据批量大小有关,而真实场景下训练数据批量大小通常较小,即该优化问题的求解复杂度远低于联邦学习训练的复杂度,因此本文算法在获得较好隐私保护效果的同时,并没有显著增加联邦学习训练的复杂度.安全性分析从数据层面看,各分布式客户端训练数据不出本地,仅在中间阶段交换训练参数的情况下协同训练全局网络模型,使训练数据具有一定的安全性.从模型层面看,推理攻击通过泄漏的模型梯度来复原训练数据,尤其是全连接层的梯度,因此本文算法对全连接层梯度加以保护.考虑到全连接层的梯度由特征生成,且特征与训练数据之间存在映射关系,因此本文算法以最大化训练数据与复原后训练数据之间的二范式距离为目标,生成新的特征,由该特征得到的全连接层梯度,能够提升网络模型的隐私性.具体保护效果见第章仿真结果.仿真结果本章通过仿真实验来评估所提抗推理攻击隐私增强联邦学习算法的有效性,并与一些经典的安全方案进行对比.本仿真样本集为 张MN I S T和 张C I F A R 数据集.为了表明本文算法的稳定性,考虑了本文算法在MN I S T数据集上进行独立同分布(I n d e p e n d e n tI d e n t i c a l l yD i s t r i b u t e d,I I D)与非独立同分布N o n I I D的实验.设定参与训 练的 联 邦学 习服 务 器个 数为,通 信轮 次(C o mm u n i c a t i o nr o u n d s)上限为 ,聚合算法为联邦平均算法,其学习率为 ;参与训练的分布式客户端个数为,本地训练迭代次数为,本地训练使用随机梯度下降算法,其学习率为 ,参数b a t c h为.在本仿真实验中,推理攻击包含两类:第一类为文献所提出的推理攻击;第二类是针对梯度置零的推理攻击.若无特殊说明,则默认 使用 第 一类 推理 攻 击.均 方差(M e a nS q u a r e dE r r o r,M S E)定义为逆推得到的近似图像与原始图像之间的 均 方 差,M i n M S E定 义 为 攻 击 迭 代 过 程 中 最 小 的M S E值,以M i n M S E作为评估保护效果的参数.图给出了在攻击迭代次数I t e r s 的设置下,抗推理攻击的隐私增强联邦学习算法在不同保护等级下的保护效果随着I t e r s的变化情况.从该图可以看出,在 ,的设置下,逆推得到的图像并没有随I t e r s的增加而清晰,表 明 了 本 文 算 法 的 有 效 性.同 时 可 以 发 现,在 ,的设置下,随着I t e r s的增加,逆推得到的图像渐渐近似于原始图像.这是因为的大小会影响保护效果的强弱.当 ,时,的值过小,不能产生具有充分抗推理攻击能力的新特征,直接影响了保护效果.因此,在后续实验中,将本文算法的保护等级设置为 .赵宇豪,等:抗推理攻击的隐私增强联邦学习算法图不同保护等级下保护效果随迭代次数的变化F i g V a r i a t i o no fp r o t e c t i o ne f f e c t sw i t h i t e r a t i o nt i m e su n d e rd i f f e r e n tp r o t e c t i o n l e v e l s在后续仿真实验中,本文算法与现有的种安全联邦学习模 型S o t e r i aa g a i n s tm o d e li n v e r s i o na t t a c ki nF L(S o t e r i a),F e d e r a t e dc l i e n td i f f e r e n t i a lp r i v a c y(F e d C D P),F e d e r a t e d l e a r n i n gb a s e do na d a p t i v ec o m p r e s s i o n(F L A C)进行对比,对比的联邦学习模型中训练数据的分布为N o n I I D.将S o t e r i a的裁剪率设置为 ,将F L A C的梯度压缩裁剪率设置为 ,将F e d C D P的噪声大小设置为 .图给出了在两类推理攻击I t e r s 的设置下,保护效果随着I t e r s的变化情况.图两类攻击下不同方案保护效果随迭代次数的变化F i g V a r i a t i o no fp r o t e c t i o ne f f e c t so fd i f f e r e n t s c h e m e su n d e rt w ot y p e so f a t t a c k s该图可以看出,两类推理攻击在面对本文算法时,逆推得到的图像并不随I t e r s的增加而清晰,表明了本文算法的有效性.同时可以发现,第二类推理攻击在面对S o t e r i a和F L A C时,逆推得到的图像渐渐近似于原始图像,且F e d C D P在两种推理攻击下保护效果较差.表明S o t e r i a和F L A C无法有效抵御第二类推理攻击,F e d C D P无法有效抵御两类推理攻击.本文算法能够同时抵御这两类推理攻击,是因为本文算法执行梯度重构操作,生成了能够充分抗推理攻击的新梯度,而不是仅仅将部分梯度置零.图给出了在各批次随机选取 个MN I S T数据样本的场景下,各批次保护效果的平均M i n M S E.本文算法包含I I D与N o n I I D两种情况,其中无标记的紫色粗直线表示恢复的图像是否能被人眼识别的边界.从 该 图可 以看 出,F e d C D P下的M i n M S E小于,表明该方案无法有效抵御推理攻击,这是因为添加的噪声值过小.同时可以发现,无论是在I I D还是N o n I I D数据分布情况下,整体上本文算法的M i n M S E比其他安全方案更高,表明在本文算法的保护下,逆推得到的近似图像与原始图像之间的均方差更大,图像保护的效果越好.这是因为本文算法执行特征重构操作,其优化目标之一为最大化逆推得到的图像与原始图像之间的二范式距离,保证了逆推得到的近似图像无法被准确识别.图不同批次图像下不同方案保护效果的对比(电子版为彩图)F i g C o m p a r i s o no fp r o t e c t i o ne f f e c to fd i f f e r e n t s c h e m e su n d e rd i f f e r e n tb a t c h i m a g e s图给出了不同安全方案平均损失(L o s s)随C o mm u n i c a t i o nr o u n d s的变化曲线以及本文算法在N o n I I D下的网络模型准确率(A c c u r a c y)随C o mm u n i c a t i o nr o u n d s的变化曲线(本文算法的L o s s变化曲线包含I I D与N o n I I D两种情况).从图中可以看出,本文算法的A c c u r a c y高于,表明其具有较高的准确率.同时可以看出,无论是在I I D还是N o n I I D数据分布情况下,本文算法的收敛速度都仅次于无保护状态下的网络模型,且在C o mm u n i c a t i o nr o u n d s 内L o s s接近于,表明本文算法能以较快的速度收敛于更低的L o s s值.这是因为本文算法以最大化逆推得到的图像与原始图像之间的二范式距离、最小化新特征与原特征的二范式距离为目标,执行特征重构操作,生成能够充分抗推理攻击的新特征,同时保持高准确率,接近无保护状态下的收敛效果.图平均损失变化曲线与准确率变化曲线F i g A v e r a g e l o s sc h a n g i n ga n da c c u r a c yc h a n g i n gc u r v e s结束语为了在提供强隐私保护的同时保证模型性能,本文提出了一种抗推理攻击的隐私增强联邦学习算法.构建了特征重构操作,以 获得 具 有 抗 推 理 攻 击 能 力 的 新 特 征.C o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p 新特征生成的梯度同样具有抗推理攻击能力,利用此梯度更新网络模型参数,最终提升网络模型的隐私保护能力.最后,仿真结果表明,本文提出的算法能够在保证网络模型高准确率与快速收敛的同时,有效抵御两类推理攻击.本文方法虽然提升了联邦学习的隐私保护能力,但并不能抵御其他类型的联邦学习攻击.在未来的工作中,将致力于设计更加安全的模型,使联邦学习能够抵御更多类型的攻击.参 考 文 献MCMAHANB,MO O R EE,R AMA G ED,e t a l C o mm u n i c a t i o n e f f i c i e n tl e a r n i n g o fd e e p n e t w o r k sf r o m d e c e n t r a l i z e d d a t aCP r o c e e d i n g so f t h e t hI n t e r n a t i o n a lC o n f e r e n c eo nA r t i f i c i a l I n t e l l i g e n c ea n dS t a t i s t i c s(A I S T A T S):YAN GQ,L I U Y,C HE NT,e ta l F e d e r a t e dm a c h i n e l e a r n i n g:C o n c e p t a n da p p l i c a t i o n sJ A CM T r a n s a c t i o n so nI n t e l l i g e n tS y s t e m sa n dT e c h n o l o g y,():B ONAW I T ZK,E I C HN E RH,G R I E S KAMPW,e t a l T o w a r d sf e d e r a t e d l e a r n i n ga ts c a l e:S y s t e md e s i g nCP r o c e e d i n g so fM a c h i n eL e a r n i n ga n dS y s t e m s(ML S y s):L IT,S AHU AK,T A LWA L KA RA,e t a l F e d e r a t e dl e a r n i n g:C h a l l e n g e s,m e t h o d s,a n df u t u r ed i r e c t i o n sJ I E E E S i g n a lP r o c e s s i n gM a g a z i n e,():Z HUL,L I UZ,HANS D e e p l e a k a g e f r o mg r a d i e n t sCP r o c e e d i n g so fA d v a n c e s i nN e u r a l I n f o r m a t i o nP r o c e s s i n gS y s t e m s(N I P S):G E I P I N GJ,B AU E RME I S T E R H,D R G E H,e ta l I n v e r t i n gg r a d i e n t s h o we a s y i s i t t ob r e a kp r i v a c yi nf e d e r a t e dl e a r n i n g?CP r o c e e d i n g so fA d v a n c e si nN e u r a lI n f o r m a t i o nP r o c e s s i n gS y s t e m s(N I P S):WAN GZ,S ON G M,Z HAN GZ,e ta l B e y o n di n f e r r i n gc l a s sr e p