自适应差分隐私的高效深度学习方案.pdf

收稿日期:网络出版时间:基金项目:国家自然科学基金();北京市自然科学基金(M )作者简介:王玉画(),女,中央财经大学大学硕士研究生,E m a i l:w y h c o m高胜(),男,教授,博士,E m a i l:s g a o c u f e e d u c n黄晨(),男,中央财经大学大学硕士研究生,E m a i l:i c h u a n g c o m通信作者:朱建明(),男,教授,博士,E m a i l:z j mc u f e e d u c n网络出版地址:h t t p s:/k n s c n k i n e t/k c m s/d e t a i l/T N h t m ld o i 敭 j 敭i s s n 敭 敭 敭 自适应差分隐私的高效深度学习方案王 玉 画,高胜,朱 建 明,黄晨(中央财经大学 信息学院,北京 )摘要:深度学习在诸多领域取得成功的同时,也逐渐暴露出严重的隐私安全问题.作为一种轻量级隐私保护技术,差分隐私通过对模型添加噪声使得输出结果对数据集中的任意一条数据都不敏感,更适合现实中个人用户隐私保护的场景.针对现有大多差分隐私深度学习方案中迭代次数对隐私预算的依赖、数据可用性较低和模型收敛速度较慢等问题,提出了一种自适应差分隐私的高效深度学习方案.首先,基于沙普利加性解释模型设计了一种自适应差分隐私机制,通过对样本特征加噪使得迭代次数独立于隐私预算,再利用函数机制扰动损失函数,从而实现对原始样本和标签的双重保护,同时增强数据可用性.其次,利用自适应矩估计算法调整学习率来加快模型收敛速度.并且,引入零集中差分隐私作为隐私损失统计机制,降低因隐私损失超过隐私预算带来的隐私泄露风险.最后,对方案的隐私性进行理论分析,并在MN I S T和F a s h i o n MN I S T数据集上通过对比实验,验证了所提方案的有效性.关键词:深度学习;差分隐私;自适应;隐私损失;模型收敛中图分类号:T P 文献标识码:A文章编号:()E f f i c i e n td e e p l e a r n i n gs c h e m ew i t ha d a p t i v ed i f f e r e n t i a lp r i v a c yWANGY u h u a G A OS h e n g ZHUJ i a n m i n g HU ANGC h e n S c h o o l o f I n f o r m a t i o n C e n t r a lU n i v e r s i t yo fF i n a n c ea n dE c o n o m i c s B e i j i n g C h i n a A b s t r a c t Wh i l ed e e pl e a r n i n gh a sa c h i e v e dag r e a ts u c c e s s i nm a n yf i e l d s i th a sa l s og r a d u a l l ye x p o s e das e r i e so f s e r i o u sp r i v a c ys e c u r i t y i s s u e s 敭 A sa l i g h t w e i g h tp r i v a c yp r o t e c t i o nt e c h n o l o g y d i f f e r e n t i a lp r i v a c ym a k e s t h eo u t p u t i n s e n s i t i v e t oa n yd a t a i nt h ed a t a s e tb ya d d i n gn o i s e t ot h em o d e l w h i c h i sm o r es u i t a b l ef o rt h ep r i v a c yp r o t e c t i o no fi n d i v i d u a lu s e r si nr e a l i t y 敭 A i m i n ga tt h ep r o b l e m so ft h ed e p e n d e n c eo fi t e r a t i o n so nt h ep r i v a c y b u d g e t l o w d a t aa v a i l a b i l i t ya n ds l o w m o d e lc o n v e r g e n c ei n m o s te x i s t i n gd i f f e r e n t i a lp r i v a t ed e e pl e a r n i n gs c h e m e s a ne f f i c i e n td e e pl e a r n i n gs c h e m eb a s e do na d a p t i v ed i f f e r e n t i a lp r i v a c y i sp r o p o s e d 敭 F i r s t a na d a p t i v ed i f f e r e n t i a lp r i v a c y m e c h a n i s mi sd e s i g n e db a s e do nt h eS h a p l e ya d d i t i v ee x p l a n a t i o nm o d e l 敭 B ya d d i n gn o i s e t o t h e s a m p l e f e a t u r e s t h en u m b e r o f i t e r a t i o n s i s i n d e p e n d e n t o ft h ep r i v a c yb u d g e t a n dt h e nt h el o s sf u n c t i o ni sp e r t u r b e db yt h ef u n c t i o nm e c h a n i s m t h u sa c h i e v i n gt h ed u a lp r o t e c t i o no fo r i g i n a ls a m p l e sa n dl a b e l s w h i l ee n h a n c i n gt h eu t i l i t yo fd a t a 敭 S e c o n d t h ea d a p t i v em o m e n te s t i m a t i o na l g o r i t h mi su s e dt oa d j u s tt h el e a r n i n gr a t et oa c c e l e r a t et h e m o d e lc o n v e r g e n c e 敭A d d i t i o n a l l y z e r o c e n t r a l i z e dd i f f e r e n c ep r i v a c yi si n t r o d u c e da sas t a t i s t i c a lm e c h a n i s m o fp r i v a c yl o s s w h i c hr e d u c e s t h er i s ko fp r i v a c y l e a k a g ec a u s e db yt h ep r i v a c y l o s se x c e e d i n gt h ep r i v a c yb u d g e t 敭 F i n a l l y at h e o r e t i c a l a n a l y s i so fp r i v a c y i sm a d e w i t ht h e e f f e c t i v e n e s so f t h ep r o p o s e ds c h e m ev e r i f i e db yc o m p a r a t i v e 年月第 卷第期西安电子科技大学学报J OURNA LO FX I D I ANUN I V ER S I TYA u g V o l N o h t t p:/j o u r n a l x i d i a n e d u c n/x d x be x p e r i m e n t so nt h eMN I S Ta n dF a s h i o n MN I S Td a t a s e t s 敭K e yW o r d s d e e p l e a r n i n g d i f f e r e n t i a l p r i v a c y s e l f a d a p t a t i o n p r i v a c y l o s s m o d e l c o n v e r g e n c e 引言近年来,深度学习技术作为机器学习研究的前沿领域,凭借对文本、声音、图像等数据的强大处理和理解能力,在社会网络分析、物联网和无线通信等诸多领域任务中表现出优越的性能.其巨大成功主要依赖于高性能的计算、大规模的数据以及各种深度学习框架的开源.深度学习技术主要分为两个阶段:首先是模型训练阶段,用收集到的海量数据对深度神经网络模型进行迭代训练,直到模型收敛,获得目标模型;其次是模型推理阶段,利用训练好的目标模型对目标数据集执行分类和预测等任务.然而,由于攻击手段的不断演进,深度学习模型存在的隐私泄露风险也随之增加.常见的攻击方式有模型反演攻击和成员推理攻击.模型反演攻击在模型训练和推理阶段都可能发生,敌手通过截取模型参数和测试模型输出来重建训练数据集.S ONG等根据模型参数重构原始的训练数据,窃取特定个体数据的敏感信息.成员推理攻击主要发生在模型推理阶段,敌手通过目标模型的输出差异来推断给定样本是否属于模型的训练集.S A L EM等证明了敌手可以在没有任何背景信息的情况下,根据目标模型的输出规律判断出样本是否参与过训练.本质上,这些隐私问题的产生归因于深度神经网络独特的学习和训练方法,通过大量的隐藏层不断提取高维数据特征,模型将记住某些数据细节,甚至整个数据集.针对深度学习潜在的隐私威胁,现有的方案通过结合一些经典的隐私保护机制来增强隐私,主要分为加密机制和扰动机制.加密机制目的在于保护数据交换的过程,常用同态加密和安全多方计算实现.其中,同态加密允许第三方无需解密就可以直接在加密域上执行计算,保证了模型参数的精度 ;安全多方计算允许当不可信多方参与到模型的训练和推理过程时,通过秘密共享或不经意传输等来实现数据的安全性 .相比于同态加密方法,基于安全多方计算的方案虽然不需要大量计算开销,但却增加了通信成本.扰动机制目的在于保护数据内容本身,通过差分隐私(D i f f e r e n t i a lP r i v a c y,D P)技术在模型训练过程中添加噪声来扰动,使得某条数据是否参与训练对最终的输出结果影响微乎其微.这是一种轻量级隐私保护技术,计算效率高,通信开销低,且具有后处理性.基于差分隐私的方案关键在于模型效用和隐私保护之间的权衡 .A B A D I等 设计了一种差分隐私随机梯度下降(D i f f e r e n t i a lP r i v a t eS t o c h a s t i cG r a d i e n tD e s c e n t,D P S G D)算法,将多个数据批分为一组,对每组的累积梯度添加噪声,还引入矩会计(M o m e n tA c c o u n t a n t,MA)来追踪隐私损失,从而获得更紧致的整体隐私损失估计.然而,该算法以等量的隐私预算加噪会导致原始梯度出现较大失真,数据可用性显著降低.Z HANG等 提出了一种自适应衰减噪声的隐私保护算法,每次迭代中向梯度加入通过线性衰减率调整的噪声,以减少负噪声的添加,但此方案对于线性衰减率并没有很好的计算方法,只能通过实验调试,实用性较差.所提两种方案都是对梯度进行二范数裁剪来控制梯度的敏感度,可实际应用中对高维梯度的裁剪范围较难把握,且每轮训练中每个批次的迭代都需要加噪,使得隐私损失严重依赖于迭代次数,当需要较多次迭代来保证模型准确性时,其训练效果会受到影响.P HAN等 提出了一种自适应拉普拉斯机制,通过逐层相关传播(L a y e r w i s eR e l e v a n c eP r o p a g a t i o n,L R P)算法衡量深度神经网络中输入与输出的相关性,再根据相关性对第一个隐藏层加入拉普拉斯噪声,真正实现了从样本特征的角度来自适应确定噪声大小.可是,在使用L R P算法时可能会泄露隐私.作为改进,Z HANG等 设计了一种自适应动态隐私预算分配的差分隐私方案(A d a p t i v ea l l o c a t i o nD y n a m i cp r i v a c yb u d g e tD i f f e r e n t i a lP r i v a c y,A D D P),对L R P算法输出的相关性进行了加噪处理.L I U等 引入随机化隐私保护调整技术,直接对相关性超过设定阈值的输入特征进行扰动,未超过阈值的特征由随机因子决定是否被扰动.然而,不同预定阈值和随机因子的选取会对模型效用造成不同的影响.以上三种方案都采用拉普拉斯机制加噪太过严格,且没有很好地考虑相关性衡量算法与数据可用性之间的关系,较精确的相关性衡量才能获得较好的数据可用性.更多地,这三种方案都没有在设计时兼顾到模型的收敛速度,而在实际应用中这也是非常重要的.第期王玉画等:自适应差分隐私的高效深度学习方案h t t p:/j o u r n a l x i d i a n e d u c n/x d x b为解决现有深度学习差分隐私保护方案中所存在的迭代与隐私预算之间依赖、数据可用性较低和收敛速度较慢等问题,笔者提出了一种自适应差分隐私的高效深度学习(A d a p t i v eD i f f e r e n t i a lP r i v a c y b a s e dE f f i c i e n td e e pl e a r n i n g,A D P E)方案.主要贡献如下.()设计一种自适应差分隐私机制,通过S h a p l e y加性解释模型在特征维度对原始样本进行自适应扰动,使得迭代次数独立于隐私预算,并结合函数机制来保护样本的真实标签,从而实现对原始样本及其标签提供隐私保护的同时,保证数据的可用性.()将自适应矩估计算法与指数衰减函数相结合,利用先验知识优化梯度,针对不同的参数调整学习率,加快模型收敛速度,并增强后期模型训练的稳定性.()引入零集中差分隐私中的组合机制对整个方案的隐私损失进行更清晰更紧凑的统计,从而降低因隐私损失超过隐私预算带来的隐私泄露风险,更好地平衡隐私和效用之间的关系.()给出了详细的隐私分析,并在MN I S T和F a s h i o n MN I S T数据集上通过衡量模型的分类准确率进行了对比实验.与其他方案相比,文中所提方案效果更优.预备知识 差分隐私差分隐私的提出是为了解决查询数据库中的隐私信息泄露问题,其主要基于扰动的思想,让敌手无法根据查询结果来判断出单条数据记录的更改或增删,即输出结果对于数据集中的任何一条特定记录都不敏感.差分隐私的形式化定义如下.定义(,)D P.设有隐私机制M,其定义域为D o m(M),值域为R a n(M).若隐私机制M对于任意两个仅相差一条记录的相邻数据集D和D D o m(M),O R a n(M),满足:P rM(D)OeP rM(D)O,()则称隐私机制M满足(,)D P.其中,P rx 表示数据x泄露的概率;为隐私预算,用来衡量隐私保护的程度,越小,隐私保护程度越高;为违反隐私机制M的概率,时隐私机制M满足严格差分隐私,即 D P.定义全局敏感度.给定数据集D上的一个查询函数f:DRd,f的全局敏感度是指删除数据集中任何一条记录所引起查询结果的最大变化,定义为Sf(D)m a xD,D f(D)f(D)l,()其中,D和D 是任意两个相邻数据集,l表示度量距离的向量范数,通常为或范数距离.定理高斯机制.设(,),(,),f(D)是l敏感度为Sf的查询函数,当Sf(l n(/)/时,隐私机制M(D)f(D)N(,Sf),满足(,)D P.零集中差分隐私在训练 深度神经网 络模型时,由于迭 代次数较多,对隐 私损失的估 计至关重要.零 集 中 差 分 隐私(z e r o C o n c e n t r a t e dD i f f e r e n t i a lP r i v a c y,z C D P)是一种新的差分隐私松弛形式,与(,)D P相比,对多次迭代计算的隐私损失提供了更清晰和更严格的分析.z C D P的定义如下.定义 z C D P.对于任意,若隐私机制M对于任意两个仅相差一条记录的相邻数据集D和D 满足:D(M(D)M(D)l o gEe x p()L(O),()则称该隐私机制满足z C D P.其中,D(M(D)M(D)表示M(D)和M(D)间的 R e n y i距离,L(O)表示输出结果为O时,算法在两个数据集之间产生的隐私损失,即L(O)(M(D)M(D)l nP rM(D)OP rM(D)O.()文中使用到z C D P的一些性质和定理如下.西安电子科技大学学报第 卷h t t p:/j o u r n a l x i d i a n e d u c n/x d x b性质 高斯机制返回f(D)N(,Sf)时满足(/)z C D P.性质 假设两种机制满足z C D P和z C D P,那么它们的组合满足()z C D P.性质 若机制M满足z C D P,那么对于任意,M满足(l o g(/)/,)D P.定理设M由一系列自适应隐私机制M,M,Mk组成,其中每个机制Mi:kiRiDRi满足iz C D P.当数据集D被随机拆分为D,D,Dk时,机制M(D)(M(DD),Mk(DDk)满足m a xiiz C D P.S H A PS HA P(S HA P l e ya d d i t i v e e x p l a n a t i o n s)是一种对黑箱模型进行解释的方法.S HA P基于S h a p l e y值被解释为一种加性特征归因方法,以此衡量出每个输入特征对最终预测结果的贡献程度.模型的预测结果被解释为二元变量的线性函数,具体表示为g(z)Mii,()其中,g表示解释模型,M表示输入特征集合,表示平均模型的预测,i为每个特征i的S h a p l e y值,其计算公式为iVMxi(|M|V|)!|V|!|M|!f(xVi)f(xV),()其中,V表示Mxi 的子集合,分式表示不同特征组合对应的概率,f(xVi)与f(xV)分别表示不同特征组合下xi入模和不入模时的预测结果.方案设计笔者基于差分隐私的思想,在模型训练过程中,首先利用S HA P模型衡量每个输入特征对模型预测结果的贡献度,再根据贡献比例对每条原始数据在特征维度上进行自适应扰动,解除迭代次数与隐私预算之间的依赖;其次,基于函数机制原理,对损失函数进行泰勒展开,获取近似多项式并对其系数进行扰动,确保每条样本的真实标签信息不会被泄露.在每次参数更新时,通过自适应矩估计算法来优化梯度和调整学习率,从而加快模型的收敛速度.此外,还引入了零集中差分隐私的组合机制,对整个训练过程中隐私损失进行了更严格更清晰的度量.最终,文中所提的A D P E方案在保护了整个深度学习模型隐私的同时,极大地保证了模型训练的准确性和实用性.具体系统设计如图所示.模型框架文中以卷积神经网络做为基础网络结构,每个隐藏层神经元的转换过程可表示为ha(x WTb),其中x为输入向量,h为输出,b为偏置项,W为权重矩阵.x WTb表示线性变换部分,a()为激活函数.给定一个模型参数为的损失函数L(),通过在Ne p o c h轮训练中应用A d a m算法优化数据集D上的损失函数L()来训练卷积神经网络.其中,每个训练轮次进行Ni t e r a t i o n次迭代,每批次训练样本B是D中大小为|B|的随机集合.A D P E方案主要考虑白盒攻击,即敌手拥有该深度学习模型的全部知识,包括模型结构和参数,可以访问发布的模型而不只是训练过程.此时主要存在以下两种隐私泄露的威胁:敌手依据模型参数获取敏感信息甚至原始数据;敌手试图通过目标模型推断出某条目标样本是否参与过训练.具体流程A D P E方案的具体流程主要分为个阶段.需要注意的是,总迭代次数为训练轮数和每轮迭代次数的乘积.具体方案如算法所示.()自适应噪声尺度的分配.不同的输入特征对预测结果影响程度是不同的,较重要的特征往往对预测结果起到决定性作用,而不重要的特征无论如何扰动都不会对结果产生太大影响.因此,可以将每个特征的贡献度作为分配噪声尺度的依据.第期王玉画等:自适应差分隐私的高效深度学习方案h t t p:/j o u r n a l x i d i a n e d u c n/x d x b图系统设计图首先,读取批量数据进行特征维度上的贡献度计算,记作Ct rj,j,k,表示第j个特征对预测标签的贡献度.对于每个输入特征Mj,计算每个样本中该输入特征的S HA P值,将所有样本中该特征S HA P值累加求平均值,得到该特征的贡献度.其次,计算每个输入特征对于预测结果的重要性,即贡献比例jK|Ct rj|Ki|Ct r|,Ki|Ct r|表示K个特征的贡献度之和.最后,基于该贡献比例决定每个特征的噪声尺度j/j.()原始样本的扰动.考虑到原始样本只作为神经网络的输入被使用,在样本被输入神经网络时,构造自适应差分隐私机制,对每条数据添加高斯噪声以实现扰动,无需在每次迭代中都对模型梯度或权重加噪.这能够让隐私损失不受迭代次数的影响,提高了模型的准确性和实用性.具体地,对样本集合B中的每个样本xi中第j个输入特征值添加的噪声如下:xi(Mj)xi(Mj)|B|N(,sjI),()其中,s表示原始数据的敏感度.假设两个相邻样本集合B和B 中只有最后一个样本xn和x n不同,且xi(Mj)被归一化到,则敏感度s的计算如下:sKjxiBxi(Mj)x iB x i(Mj)Kjxn(Mj)x n(Mj)m a xxiBKjxi(Mj)K,()通过式()可以看出,某输入特征对预测结果的贡献度越小,所分配的隐私预算就越少,添加的噪声尺度就越大.这是因为对于这些因子而言,添加太多噪声对预测结果的影响不大.该过程衡量了隐私与效用之间的关系,即在提供隐私保护的同时,尽可能保证数据的可用性.()损失函数的扰动.由现有损失函数的定义可知,原始样本的真实标签值y,yd参与了损失函数西安电子科技大学学报第 卷h t t p:/j o u r n a l x i d i a n e d u c n/x d x b的计算,因此,为保护原始样本中的标签,可以根据函数机制原理 处理损失函数.文中采用s i g m o i d作为激活函数,交叉熵作为损失函数.具体表示如下:L()dlxiB(yi ll o gyi l(yi l)l o g(yi l)dlxiByi ll o ge x p(HxiWT)(yi l)l o ge x p(HxiWT)dlxiByi ll o g(e x p(HxiWT)(yi l)l o g(e x p(HxiWT),()其中,HxiWT为最后一个隐藏层的输出.通过泰勒展开将损失函数在处展开到二阶,具体如下:L()dlxiBRf(R)l()R!f(R)l()R!(HxiWT)R,()其中,令多项式系数P(R)xilf(R)l()R!f(R)l()R!.此时,真实的标签值yi l只与多项式系数P(R)xil有关,可以对每个系数项添加噪声:P(R)xilP(R)xilBN(,sI),()其中,s表示近似多项式系数的敏感度.同理,假设两个相邻样本集合B和B 中只有最后一个样本xn和x n不同,则有 sdlRxiBP(R)xilx iB P(R)x il dlRP(R)xnlP(R)x nl dlRP(R)xnlP(R)xnl m a xxndlRP(R)xnl d|Hxn|Hxn|,()式中,当R时,P()xnlP()x nll o g,|H|为最后一个隐藏层的神经元个数.()参数更新.自适应矩估计(A d a p t i v em o m e n t e s t i m a t i o n,A d a m)算法 通过引入二次梯度矫正,为不同参数设计自适应学习率,每次迭代的学习率都能有确定范围,使得参数比较平稳.模型训练的目标是使损失函数不断减小,直到得到全局最优解.首先对流程()的扰动近似损失函数L(t)估计梯度值gtBL(t),其次计算梯度的一阶矩估计和二阶矩估计.具体表示为ss()gt,()ss()gt,()其中,和表示指数衰减率.为防止s和s趋向,通过计算偏差进行修正:sst,sst.()最后,用优化的梯度更新参数:t t(s)/s,()式中,是为了维持数值稳定性而添加的常数.A d a m算法将历史梯度作为先验知识,利用历史梯度的指数衰减平均值更新当前梯度,加快了模型收敛速度;同时利用历史梯度平方的指数衰减平均值更新学习率,使得模型收敛过程更加稳定.()隐私损失统计.引入差分隐私机制为深度学习训练过程提供更高的隐私保证,但同时不可避免地也会造成一定的隐私损失,当超出预定的隐私预算时,被保护的数据就会有泄露风险.文中将隐私机制M的隐私损失记为随机变量ZL(O)(M(D)M(D).在严格的差分隐私定义中,P rZ,表示不允许该隐私机制被破坏,灵活性较差.(,)D P可以被看做一种松弛的差分隐私,允许P rZ,但用来衡量隐私损失上第期王玉画等:自适应差分隐私的高效深度学习方案h t t p:/j o u r n a l x i d i a n e d u c n/x d x b界时较宽泛.在深度学习训练过程中,模型收敛需要通过不断迭代来完成,且通常需要多次迭代.将对同一组数据集的多轮重复训练当作是对数据集的多次查询,隐私损失会随着查询次数的增加而累积.因此,文中使用更加严密的差分隐私形式z C D P来统计隐私损失,降低隐私泄露风险,更好地平衡隐私和模型效用之间的关系.其中,每一轮训练中的隐私损失为(m a x)m a x,m a x m a xjKj.算法A D P E.输入:总迭代次数T,每轮迭代次数Ni t e r a t i o n,批次训练样本B,输入特征集合MM,MK,超参数学习率,损失函数L(),噪声尺度和,全局敏感度s和s输出:目标模型参数T和总体隐私损失t o t a l初始化模型参数和隐私损失统计量/确定自适应噪声尺度f o rjt oKd o 计算输入特征Mj对预测标签的贡献度Ct r 计算贡献比例jK|Ct r|Ki|Ct r 获取自适应的噪声尺度jje n df o rf o rtt oTd o 获取批次训练集B中的每个样本xi/扰动原始样本 对于xi中第j维度输入特征xi(Mj)xi(Mj)xi(Mj)BN(,sjI)/扰动损失函数计算损失函数L(t,xi)及其近似多项式L(P(R)xil)P(R)xilP(R)xilBN(,sI)损失函数更新L(t)xiBL(P(R)xil)梯度大小gtBL(t)/更新参数使用A d a m算法优化梯度gts(s)/参数更新t tgt/统计隐私损失I f tm o dNi t e r a t i o nd o(m a x)m a x t o t a lt o t a l e n d i f tte n df o r西安电子科技大学学报第 卷h t t p:/j o u r n a l x i d i a n e d u c n/x d x b输出T,t o t a l 隐私性分析由节 可知,文中主要存在两种隐私泄露的威胁,二者本质上都是由于敌手可以从模型本身获取到隐私数据.首先,针对威胁,在训练之前直接对原始数据进行加噪处理,从而在训练过程中减弱中间参数与原始数据的关联性,让敌手无法反推出真正准确的数据信息.其次,针对威胁,通过加入满足差分隐私定义的噪声,使得相邻的两条数据样本无法区分,敌手就无法判断目标样本是否真实存在于训练数据集.因此,通过证明算法满足差分隐私来论证对上述两种威胁的抵抗.定理算法满足Ne p o c hz C D P,即(l o g(/)/,)D P.证明:在所提方案中,一个数据集被分为多个不重复的数据批在每轮训练中训练一次,每个数据批在一轮训练中进行两次加噪处理.第次是在原始样本输入时,为每条样本的每个特征添加满足N(,sjI)的高斯噪声,第次是在损失函数输出时添加满足N(,sI)的高斯噪声.由z C D P性质和定理可知,两次处理分别满足m a xz C D P和z C D P,其中m a x m a xjKj.结合z C D P性质可知,该数据批每轮训练结束后所添加噪声满足z C D P,其中m a xm a x.又因为每轮训练中每次迭代的数据批互不相交,由差分隐私并行组合性可知,整个数据集在一轮训练后仍然满足z C D P,此时可以发现文中方案的隐私损失与每轮的迭代次数无关.当进行Ne p o c h轮训练时,整个过程便满足z C D P,其中Ne p o c h,如算法在每轮训练结束 时计算隐私 损失.此外,通过性质可 以 实 现z C D P到D P的 转 换,即 算 法提 供 了(l o g(/)/,)D P.值得注意的是,上述分析是以整个训练过程都输入相同数据集为前提展开的,如果都在不相交的数据集上运行,那么实际的隐私损失累计会更小.图隐私损失与训练轮数的关系文中的隐私损失统计部分可以扩展为隐私损失的动态监测机制,即给定z C D P的总隐私预算t o t a l,每轮训练之前都先判断:剩余的隐私预算减去本轮所需的隐私预算后是否大于,大于继续执行 训 练,从 而 保 证 整 个 训 练 的 运 行 都 满 足t o t a l z C D P.图展示了当m a x时,随着训练轮数的增加,分别采用z C D P、MA和(,)D P来统计隐私损失的变化情况,其中 .实验与分析 实验设置使用MN I S T和F a s h i o n MN I S T两种数据集进行实验验证.其中,MN I S T数据集包含 种类别的手写数字图片,有 个训练样本和 个测试样本,每个样本由 个像素点的灰度图像构成.F a s h i o nMN I S T数据集由 种类别的服装正面图片组成,分为 个训练图像和 个测试图像,每个样本由 个像素点的灰度图像构成.实验部署在操作系统为W i n d o w s 位、C P U为 t hG e nI n t e l(R)C o r e(TM)i H GH z、G P U为N v i d i aG e F o r c eG T X G B和内存 G B的工作站,基于P y t h o n 仿真实验.预训练时使用D e e p S HA P衡量输入特征对输出的贡献度,采用T e n s o r f l o w 训练深度学习模型,网络结构为卷积神经网络,包含个特征分别为 和、卷积核大小为、步长为的卷积层,个的最大池化层,以及个神经元个数均为 的全连接层.利用A d a m算法进行模型训练时基本参数设置为,并结合指数衰减法优化学习率,使得模型在后期训练中更加稳定,所选择的批次样本大小为 .第期王玉画等:自适应差分隐私的高效深度学习方案h t t p:/j o u r n a l x i d i a n e d u c n/x d x b 实验结果主要进行两个实验:一是验证A D P E方案的有效性;二是将所提A D P E方案与现有方案在模型准确性上进行对比.有效性验证通过对比模型引入自适应差分隐私机制前后的模型准确率,来验证A D P E方案有效性.引入差分隐私机制前以常规的方式训练文中基础网络结构模型,称作基线模型,引入后在 的情况下分别设置,.在训练轮数Ne p o c h 时的结果如图所示.(a)MN I S T数据集(b)F a s h i o n MN I S T数据集图A D P E方案有效性验证实验由图可知:引入A D P E方案的隐私保护机制对模型进行扰动时,模型的准确率不会明显降低.在MN I S T数据集上,第 轮训练时,种噪声条件下的模型准确率都达到约 以上,第 轮训练后则趋于稳定,尤其是当时,中后期的训练效果与基线几乎一致,说明了模型较好的可用性.由于F a s h i o n MN I S T数据集的图像比MN I S T数据集更复杂,因此模型的准确率没有MN I S T数据集那么高,且模型中后期训练,包括基线模型在内,均不稳定,会有约的波动幅度,但总体的训练效果依然在约 以上,说明了该方案的有效性.对于不同的噪声尺度,噪声尺度越小,模型的分类准确率就越高,说明用户可以根据个性化需求调整噪声尺度,实现方案隐私和效用之间的平衡.对比分析研究所提方案A D P E与经典方案D P S G D 和较为先进的方案A D D P 对模型提供隐私保护时的对比情况.针对种方案,设置Ne p o c h ,当取不同隐私预算时,种方案在种数据集上的分类准确率随训练轮数的变化情况如图和图所示.其中,A D P E方案采用节的公式得出隐私预算和噪声参数的关系.(a)(b)(c)图MN I S T数据集西安电子科技大学学报第 卷h t t p:/j o u r n a l x i d i a n e d u c n/x d x b(a)(b)(c)图F a s h i o n MN I S T数据集由图和图可知:随着隐私预算的增大,所添加的噪声逐渐减少,个方案的模型分类准确率都呈上升趋势.隐私预算相同的情况下,所提A D P E方案在种数据集上的模型分类准确率都高于对比方案,说明A D P E方案的性能较优.具体表现为,在较大的隐私预算时,方案的模型在MN I S T数据集上能达到约 的准确率,在F a s h i o n MN I S T数据集上准确率后期最高约为 .在MN I S T数据集上,当隐私预算 时,A D D P方案难以达到收敛状态,波动剧烈,而A D P E和D P S G D方案表现较为平和,这说明加入高斯噪声更有利于模型的稳定.随着隐私预算的增大,A D P E和A D D P方案在 轮训练后都趋于稳定,甚至A D P E方案在 轮左右就基本收敛,而D P S G D方案在训练 轮后还未达到明显的收敛状态.在F a s h i o n MN I S T数据集上,由于其样本结构的复杂性,A D P E方案和A D D P方案出现一定程度的波动,但前者的波动范围较小,后者的波动范围较大,而D P S G D方案仍然收敛较慢.综上可见,A D P E方案在加快模型收敛的同时具有一定的稳定性.结束语笔者提出了一种基于自适应差分隐私的高效深度学习方案,有效平衡了模型的隐私性和可用性.该方案基于沙普利加性解释模型设计了一种自适应差分隐私机制,用于保护原始数据样本,并利用函数机制扰动原始标签,增强了深度模型训练的隐私性.同时,引入零集中差分隐私的组合机制度量整个训练过程的隐私损失,使得方案有更好的隐私保证.通过在两个经典数据集MN I S T和F a s h i o n MN I S T上的实验分析表明,所提方案能够在保护隐私的前提下尽可能实现较高的模型准确率,并且加快了模型收敛速度以及保证了模型中后期训练的稳定.参考文献: