基于卷积神经网络的人脸图像隐私保护.pdf

收稿日期:2 0 2 3 0 3 0 2基金项目:国家自然科学基金资助项目(6 2 0 0 1 0 3 2)。作者简介:沈 博(1 9 8 6),女,辽宁抚顺人,华北计算技术研究所工程师,博士;通信作者:王祥根(1 9 8 1),男,安徽巢湖人,华北计算技术研究所高级工程师,博士。第4 1卷 第3期2023年 6月沈阳师范大学学报(自然科学版)J o u r n a l o fS h e n y a n gN o r m a lU n i v e r s i t y(N a t u r a l S c i e n c eE d i t i o n)V o l.4 1N o.3J u n.2 0 2 3文章编号:1 6 7 3 5 8 6 2(2 0 2 3)0 3 0 2 8 0 0 9基于卷积神经网络的人脸图像隐私保护沈 博1,王祥根1,田 澍2,崔佳佳1(1.华北计算技术研究所,北京 1 0 0 0 8 3;2.北京信息科技大学 信息与通信工程学院,北京 1 0 0 1 9 2)摘 要:针对现有基于深度生成网络模型的人脸图像隐私保护方法无法提供可证明隐私保证、合成图像与原始图像保持语义一致性的问题,提出一种基于卷积神经网络的人脸图像隐私保护方法。该方法首先基于卷积自动编码器和差分隐私实现人脸图像的预训练,对原始人脸图像进行解耦和身份信息的差分隐私保护;然后利用卷积生成对抗网络合成伪图像代替原始图像发布,在保留原始人脸图像的关键特征的基础上,生成与原始图像的关键人脸属性高度匹配的伪图像。该方法可保证合成图像与原始图像语义一致性,并提供可证明的隐私保证。与现有的基于深度生成模型人脸图像隐私方法相比,所提出的方法达到了更好的隐私保护与数据可用性之间的优化权衡。关 键 词:生成对抗网络;自动编码器;差分隐私;人脸图像;隐私保护中图分类号:T P 3 0 9.2 文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 6 7 3 5 8 6 2.2 0 2 3.0 3.0 1 7P r i v a c y-p r e s e r v i n gf a c ei m a g e sb a s e do nc o n v o l u t i o n a ln e u r a ln e t w o r k s SHENB o1,WANGX i a n g g e n1,T I ANS h u2,C U IJ i a j i a1(1.N o r t hC h i n aI n s t i t u t eo fC o m p u t i n gT e c h n o l o g y,B e i j i n g1 0 0 0 8 3,C h i n a;2.S c h o o lo fI n f o r m a t i o na n dC o mm u n i c a t i o nE n g i n e e r i n g,B e i j i n gI n f o r m a t i o nS c i e n c ea n dT e c h n o l o g yU n i v e r s i t y,B e i j i n g1 0 0 1 9 2,C h i n a)A b s t r a c t:A i m i n ga t t h ep r o b l e mt h a t t h ee x i s t i n gf a c e i m a g ep r i v a c yp r o t e c t i o nm e t h o db a s e do nt h ed e e pg e n e r a t i v en e t w o r km o d e lw h i c hc a n n o tp r o v i d eap r o v a b l ep r i v a c yg u a r a n t e ea n dm a i n t a i ns e m a n t i cc o n s i s t e n c yb e t w e e nt h es y n t h e t i ci m a g ea n dt h eo r i g i n a li m a g e,ap r i v a c yp r o t e c t i o nm e t h o df o rf a c ei m a g eb a s e do nc o n v o l u t i o n a ln e u r a ln e t w o r ki sp r o p o s e d.T h i s m e t h o df i r s tr e a l i z e s t h ep r e-t r a i n i n go f f a c e i m a g e sb a s e do nc o n v o l u t i o n a l a u t o e n c o d e ra n dd i f f e r e n t i a lp r i v a c y,d e c o u p l e s t h eo r i g i n a l f a c e i m a g e s,a n dp r o t e c t s t h ed i f f e r e n t i a l p r i v a c yo f i d e n t i t y i n f o r m a t i o n;t h e nu s e st h ec o n v o l u t i o n a lg e n e r a t i v ea d v e r s a r i a ln e t w o r kt os y n t h e s i z ef a k ei m a g e si n s t e a do ft h eo r i g i n a l i m a g e sf o rp u b l i s h i n g,b a s e do np r e s e r v i n gt h ek e yf e a t u r e so ft h eo r i g i n a lf a c ei m a g e,g e n e r a t eap s e u d oi m a g et h a th i g h l y m a t c h e st h ek e yf a c ea t t r i b u t e so ft h eo r i g i n a l i m a g e.T h em e t h o dg u a r a n t e e st h es e m a n t i cc o n s i s t e n c yb e t w e e nt h es y n t h e s i z e da n do r i g i n a li m a g e sa n dp r o v i d e sap r o v a b l ep r i v a c yg u a r a n t e e.C o m p a r e dw i t he x i s t i n gf a c ei m a g ep r i v a c ym e t h o d sb a s e do nd e e pg e n e r a t i v em o d e l s,t h em e t h o dp r o p o s e di nt h i sp a p e ra c h i e v e sab e t t e ro p t i m a l t r a d e-o f fb e t w e e np r i v a c yp r o t e c t i o na n dd a t au t i l i t y.K e yw o r d s:g e n e r a t i v ea d v e r s a r i a ln e t w o r k s;a u t o e n c o d e r;d i f f e r e n t i a lp r i v a c y;f a c ei m a g e s;p r i v a c yp r o t e c t i o n随着智能手机和高像素相机的发展,人们获取与共享人脸照片更加便捷。例如,社交媒体上的用户通过F a c e b o o k,I n s t a g r a m,T w i t t e r和Y o u T u b e等应用,实时发布手机或相机中拍摄的照片;谷歌、百度和微软等主要云服务商都为用户提供了基于图片的免费服务,用户可以保存和管理自己的照片,并随时下载到手机或电脑上。通过收集这些人脸照片,利用生物识别技术对大量图像进行处理和分析,可为企业与个人提供更具有个性化的服务。但由于人脸图像中通常包含敏感的个人信息,简单地共享或发布人脸图像数据后,攻击者对其进行身份推断得到的社会关系会造成个人隐私泄露。因此,设计面向人脸图像的隐私保护发布方法是十分必要的。已有的人脸图像隐私保护方法包括基于传统图像处理1与基于深度学习22类。基于传统图像处理的隐私保护方法通过混淆图像中的敏感信息来达到隐私保护的目的,如遮蔽、像素化和模糊化。虽然该类方法计算复杂度较低,但通常会降低原始图像的质量,产生较差视觉质量的图像数据,无法为人脸识别或分类任务提供有效数据。为解决传统图像处理方法的不足,基于深度学习的图像合成方法被提出,通过神经网络模型从面部数据中去除或隐藏生物特征信息,发布替代原始人脸的高质量合成图像,用于人脸识别模型的训练与应用。给定一张人脸图像,如何生成一张与其具有相似外观和相同背景的图像,同时隐藏真实身份并且允许人脸检测器进行检测与识别是现有工作研究的核心问题。H u k k e l a s等3提出D e e p P r i v a c y方法,利用条件生成对抗网络合成图像,在不破坏原始数据分布的情况下对图像中的身份信息进行匿名处理;C h e n等4利用深度卷积生成对抗网络合成与原始图像属性匹配的高逼真人脸图像,同时采用定性与定量相结合的方式衡量合成图像的隐私性和可用性;S u n等5通过设计参数化的GAN人脸图像隐私保护模型,允许在合成图像中添加细粒度的脸部细节信息,产生具有更高视觉真实感的合成图像;M e d e n等6通过使用生成神经网络合成代替人脸确保隐私性,同时保留非身份相关方面数据以实现可用性;M a x i m o v等7提出基于条件生成对抗网络的图像和视频匿名化模型,能够去除面部和身体的识别特征,同时生成可用于任何计算机视觉任务的高质量图像和视频;X u e等8利用深度神经网络提出在特征空间中使用对抗性扰动的新型人脸图像去识别框架,生成图像在有效保留与身份相关的信息的同时确保其他属性与原始图像保持一致。上述基于深度学习的人脸图像隐私保护方法,可以帮助解决人脸图像发布和共享时引起的隐私问题,但仍存在一些有待解决的问题:一是现有方法没有提供形式化的隐私保证来证明合成图像的隐私保护效果;二是未考虑语义完整性,不能有效保持隐私性和可用性之间的优化权衡。导致上述问题的主要原因是基于对抗生成网络的方法通常只关注图像内容之间的转换,而忽略了训练图像的其他关键语义条件信息,包括人脸轮廓、身份等属性信息,因而无法有效引导网络生成具有高视觉保真度和准确身份属性的人脸图像。同时,在实际训练中,由于针对具有统一身份的人脸图像收集成本较高,训练效率不够理想,基于对抗生成网络的方法仍然面临着样本类别不均衡的问题,因而容易导致模型出现过拟合,影响人脸合成质量。此外,在没有高级条件语义信息的指导下,现有的人脸隐私保护方法对人脸图像身份隐藏的效率相对低下。针对以上问题,本文提出一种基于卷积神经网络的人脸图像隐私保护方法,利用卷积自动编码器对原始人脸图像进行解耦,实现身份信息的差分隐私保护,并在卷积生成对抗网络的基础上添加分类器保持原始图像和合成图像间的语义一致性,代替原始图像发布。该方法在保留原始人脸图像的关键特征的基础上,可有效平衡隐私保护和数据可用性,保持图像的语义完整性,同时提供可证明的隐私保证。1 预备知识1.1 差分隐私设数据集D和D 具有相同属性结构,二者的对称差记为DD,DD 表示对称差DD 中的记录个数,若DD=1,则D和D 称为相邻数据集。定义1-差分隐私9。给定相邻数据集D和D,若存在隐私算法M,R a n g e(M)是M的取值范围,若算法M在数据集D和D 上的任意输出结果S(SR a n g e(M)满足P rM(D)SeP rM(D)S(1)则称算法M满足-差分隐私。其中,参数表示隐私预算,值越大,隐私保护强度越低值越小隐私强度越高。采用L a p l a c e机制182 第3期 沈 博,等:基于卷积神经网络的人脸图像隐私保护实现-差分隐私。定义2 L a p l a c e机制1 0。设函数f:DRnRd,如果算法M的输出满足M(D)=f(D)+Z(2)且ZRn是服从位置参数为0,尺度参数为f/的L a p l a c e分布,则算法M提供-差分隐私。L a p l a c e机制引入噪声的大小与函数f的敏感度f和隐私预算有关,L a p l a c e机制的敏感度f由L1-范数定义。定义3 L1-敏感度。设函数f:DRnRd对所有相邻数据集D和D 的L1-敏感度为f=m a xD,D f(D)-f(D)1 差分隐私具有以下2个重要的性质1 1,它们是判断一个机制是否满足差分隐私的标准。性质1 顺序组合性。假设算法M由n个算法Mi(D;Si)组成,每个算法满足i-差分隐私,其中Si表示Mi的输出,如果S1=M1(D),Sn=Mn(D),则算法M满足ni=1()i-差分隐私保护。性质2 变换不变性。给定任意算法M1满足-差分隐私,对任意算法M2(不一定满足差分隐私),则有M()=M2(M1()满足-差分隐私。1.2 自动编码器自动编码器是一种神经网络,由编码函数E n c():RnRd和解码函数D e c():RdRn组成。编解码的目的是将输入图像X映射到隐空间,并重构隐空间得到图像X。在理想情况下,可以实现原始输入图像的完美重构,即X=X。自动编码器通常采用均方误差(m e a ns q u a r ee r r o r,M S E)作为图像数据的信息损失函数,MS E=1/nni=1xi-xi2(xiX,xiX。1.3 生成对抗网络生成对抗网络(g e n e r a t i v ea d v e r s a r i a l n e t w o r k s,GAN s)由生成器模块G和判别器模块D组成,生成器模块的目标是根据学习的概率模型生成图像内容。判别器模块的主要目的是判断生成的图像内容是真是假,并对此作出接受或拒绝图像内容的决定。GAN s利用零和极小极大(G,D)=El o gD(X)+El o g(1-D(G(X)进行博弈完成对抗学习,其中G(X)为隐向量X的先验分布,G()为生成函数,D()为输出范围为0,1 的判别函数。当D(X)=0时表示判别器D将样本X分类为生成的,反之D(X)=1表示判别器D将样本X分类为真实的。在GAN网络的训练过程中,将判别器和生成器生成的人脸图像之间产生的期望值作为每一批次人脸质量判别的依据。为了使模型具有较高的人脸图像合成质量并保证其鲁棒性,通常会将训练模型分成多个小批量数据集,并将每个批评的样本取期望的平均值作为网络训练的依据,同时保证损失函数在一个小批量梯度下降的过程中交替地进行最小化和最大化,保证GAN网络模型的训练效率。1.4 问题描述给定一张人脸图像X,设Xi d为身份属性(待保护人脸属性集),Xa t t为待保留的属性集。结合人脸属性,设计目标函数将给定的人脸图像X映射为隐私保护图像X,使X=(X)且Xi dXi d,并满足以下性质:1)对于身份属性xXi d,在训练期间未使用的属性分类器fx的性能降低;2)对于其他属性yXa t t,任意分类器fx的性能不会受到明显的影响,即fx对隐私保护图像X的性能接近于其对原始人脸图像X的性能;3)对于隐私保护后的人脸图像X,旨在去除图像中人脸的身份隐私,降低人脸识别算法的正确率,同时保证较高的图像质量,即得到的人脸图像使得人脸识别软件无法准确识别出人脸的身份信息,但尽可能地保留了人脸图像中其他有用的信息或特征(如表情等)。2 基于卷积神经网络的人脸图像隐私保护模型根据1.3节的问题定义及描述,本文结合生成对抗网络、自动编码器与差分隐私设计面向人脸图像282沈阳师范大学学报(自然科学版)第4 1卷 发布的隐私保护模型。如图1所示,该模型包括预训练和图像合成2个部分。1)基于卷积自动编码器与差分隐私的预训练。首先,利用自动编码器来捕获人脸图像X中的身份属性和其他属性的隐空间信息表示;其次,根据身份属性的隐空间表示之间的距离对其添加L a p l a c e扰动;最后,基于解码器人脸图像进行重构。2)基于卷积生成对抗网络的人脸图像合成。在得到重构图像X后,将其输入判别神经网络D中,确定图像是真实的还是经过生成神经网络G合成的,同时使用分类神经网络C辅助判别神经网络D,保持合成图像与原始图像的一致性,最后发布满足问题定义的合成图像。3)人脸属性判别及输出。为了生成具有隐私保护属性的高质量的人脸图像,本文在生成对抗网络判别过程中引入了具有辅助引导功能的人脸属性分类器和人脸判别器,用于监督学习本文提出的基于卷和自动编码器与差分隐私的预训练网络框架。在训练过程中,辅助分类器被嵌入到判别器中,用于多个人脸属性的分类,然后将可控属性的约束反馈给生成器,以合成具有隐私保护功能的人脸图像,同时保证了人脸图像的实用性。同时,人脸判别器的目的是减少原始图像和合成面部图像之间的结构差异,使得生成图像域原始面部图像具有更相似的统计分布。最后,将合成后并具有隐私保护功能的人脸图像输出发布。图1 基于卷积神经网络的人脸图像隐私保护方法框图F i g.1 O v e r v i e wo f p r i v a c y-p r e s e r v i n g f a c e i m a g e sp r o t e c t i o nb a s e do nc o n v o l u t i o n a l n e u r a l n e t w o r k s2.1 基于卷积自动编码器与差分隐私的预训练该阶段由表征解耦、加噪扰动与表征重构3个子网络构成,通过卷积自动编码器和差分隐私实现预训练,使生成对抗网络在训练过程中满足差分隐私保护,在有效抵抗成员推断攻击的同时,实现可证明的隐私保护。2.1.1 表征解耦利用C A C I A E人脸识别模型1 2将给定输入人脸图像X进行解耦成身份属性与其他属性(表情、光照、背景等信息),分别用隐空间信息x i d和x a t t表示。将身份属性与其他属性的隐空间信息分别定义为E n ci d(X)=X i d、E n ca t t(X)=X a t t,其中X i d,X a t t表示人脸图像X的隐空间信息。2.1.2 加噪扰动通过根据图像中身份属性表征向量之间的距离度量控制噪声1 3,提出一种基于距离度量的-差分隐私机制。定义4 基于距离度量的-差分隐私机制。设距离函数d:RnRn,若隐私算法M:RnRn在图像X的表征向量X1与X2上的任意输出结果S满足P rM(X1)Se d(X1,X2)P rM(X2)S(3)则称算法M满足基于距离度量的-距离差分隐私。本文使用图像的表征向量X1与X2之间的L1距离d(X1,X2)=ni=1de(X1i,X2i)n度量图像隐空间382 第3期 沈 博,等:基于卷积神经网络的人脸图像隐私保护表示的可分辨性,其中,de(x1,x2)=|x1-x2|im a x-im i n表示使用标准化对图像向量的第i个位置上的任何一对元素之间的距离变换到0,1范围内,im a x,im i n分别表示第i个位置上的最大值与最小值。下面证明提出的机制满足-差分隐私。定理 对图像X中的任意相邻隐表征向量X1和X2添加L a p l a c e参数为=n(im a x-im i n)的噪声,其输出结果满足-差分隐私。证明 由公式(3)可得ni=1P r(M(X1i)=S)eni=1de(X1i,X2i)nni=1P r(M(X2i)=S)X1,X2Rnni=1P r(M(X1i)=S)ni=1e de(X1i,X2i)nni=1P r(M(X2i)=S)由L a p l a c e分布可得ni=1e-X1i,S2ni=1e de(X1i,X2i)nni=1e-X2i,S2ni=1eX1i,S-X2i,Sni=1eX2i-X2ini=1e de(X1i,X2i)n=ni=1eX2i-X2in(im a x-im i n)因此,对人脸图像X的身份属性X i d添加L a p l a c e噪声Xi d=M(X i d)=f(X i d)+L a p()满足-差分隐私。2.1.3 表征重构利用D e n s e N e t模型1 4对满足差分隐私保护的身份表征向量和背景属性表征向量进行重构,得到预训练后的图像X=D e c(Xi d,X a t t)。2.2 基于卷积生成对抗网络的人脸图像合成根据定理,在预训练阶段已经通过添加扰动噪声的方式保护身份属性,该阶段算法满足差分隐私保护。因此,在图像合成阶段对数据做任何处理都不会对隐私保护有所影响,同时可有效抵抗在利用卷积生成对抗网络合成图像时的成员推断攻击。在人脸图像合成阶段,为了避免经典的GAN s存在训练不稳定、生成过程不可控以及不具备可解释性等问题,本文提出一种基于深度卷积生成对抗网络(D e e pC o n v o l u t i o n a lGAN,D C GAN)的人脸图像合成模型S y n t h e s i s N e t,该模型由生成器模块、判别器模块与分类器模块3个子网络组成。2.2.1 损失函数为了生成与原始图像相似的身份保护图像,设计生成器G的损失函数LG,t o t并利用反向传播的方式进行训练:LG,t o t=LG,o r i g+LG,i n f o+LG,c l a s sLG,i n f o=1nni=1Xi-Xi2(4)LG,c l a s s=El(G(X)-C(r e m o v e(G(X)其中:LG,o r i g,LG,i n f o分别表示生成器网络原始损失函数、合成图像与原始图像之间的信息损失函数;LG,c l a s s表示衡量生成图像的标签与分类器为该图像预测标签之间差异的损失函数,l()表示返回输入记录的标签属性值函数;r e m o v e()表示去除输入图像标签属性函数;C()表示分类器神经网络预测标签函数。判别器网络D用于分辨图像是真实图像还是合成图像,使用D C GAN中的原始损失函数LD,t o t训练判别器网络。为了保持合成图像与原始图像之间的身份一致性,在原始D C GAN网络模型基础上,设计分类器C的损失函数LC,t o t用于预测合成图像标签:LC,t o t=Lc,c l a s s+LG,c l a s s(5)482沈阳师范大学学报(自然科学版)第4 1卷 其中Lc,c l a s s=El(X)-C(r e m o v e(X)。因此,训练神经网络的总损失函数的加权和为Lt o t=LG,t o t+LD,t o t+LC,t o t=Lo r i g+G,i n f oLG,i n f o+C,t o tLC,t o t,其中G,i n f o,C,t o t为平衡不同项的权重参数。在实际训练时,在预训练阶段随机抽取2个人脸图像提取其身份属性和其他属性,并在基于D C GAN的图像合成模型时需要根据实时的生成效果调整训练参数,将它们进行合成。2.2.2 神经网络结构如图2所示,S y n t h e s i s N e t模型使用实例归一化(i n s t a n c en o r m a l i z a t i o n,I N)1 5代替批量归一化,将R e L U激活函数、L e a k y R e L U激活函数分别用于生成器G和判别器D,并引入辅助分类器C1 6到判别器中。图2 S y n t h e s i s N e t模型的网络结构F i g.2 N e t w o r ks t r u c t u r eo f f a c e i m a g es y n t h e s i sm o d e l1)生成器网络G。由多个反向卷积层组成,用于生成与真实人脸图像具有相同分布的伪图像。它的输入是1 2 81 2 8的R G B人脸图像X,前2个反卷积层使用步长为2,由实例归一化层组成,并应用非线性R e L U激活函数计算每一层,最后将图像上采样到1 2 81 2 8。2)判别器网络D与分类器网络C。如图2所示,将判别器网络D和分类器网络C组合成一个网络,用于判别图像是生成图像还是真实图像,并保持真实图像与生成图像的语义一致性。分类器网络C与判断器网络D具有相同的神经网络结构,训练分类器从图像中判断标签与其他属性之间的相关性,保持生成器合成图像在语义上的正确性。例如,输入图像性别“性别=女,年龄段=青年,种族=白种人”,分类器可以确保输出图像的语义完整性,即为“性别=女,年龄段=青年,种族=白种人”。虽然D C GAN中的判别器D在一定程度上可以实现语义一致性,但其本身存在一些生成实例不正确的问题,为此引入分类器网络,帮助判别器提高语义完整性,减少分类错误。判别器D的输入是1 2 81 2 8的真实或生成图像,除最后一个卷积层外的所有层在2个网络之间共享参数,所有共享的卷积层使用L e a k y R e L U非线性激活函数。在最后一层,2个网络使用单独的卷积层,其中判别器D根据D C GAN计算损失,返回一个标量分数,同时分类器网络返回每个属性类的概率向量。3 实验评估本文采用的实验环境为8 G B内存,I n t e lC o r e i 5处理器,2.3GH z;G P U为NV I D I AG e F o r c eG T X9 7 0。所有实验在U b u n t u1 4.0 4操作系统上执行,分别采用P y t h o n和T e n s o r F l o w作为本实验的编程语言和机器学习库。3.1 实验设置3.1.1 数据集本实验使用3种公开数据集:1)MU C T数据集1 7。包含2 7 6位受试者的37 5 5张图像,其中18 4 4位为男性,19 1 1位为女性,使用5个网络摄像头在不同光照下捕获。2)MO R P H数据集1 8。MO R P H数据集包含5 51 3 4张面部图像,涵盖1 30 0 0个独特的身份,其582 第3期 沈 博,等:基于卷积神经网络的人脸图像隐私保护年龄跨度从1 67 7岁。同时,该数据集还包含多样的人脸图像属性信息,包括不同年龄、性别等。在具体的网络学习中,本文将MO R P H数据集分为训练集和测试集,其中,训练集包含5 00 2 0张人脸图像,测试集中包含49 2 5张人脸图像,根据上述数据集比例进行实验对比分析,验证人脸图像的隐私保护性能。3)C e l e b A数据集1 9。包含2 0 25 9 9张人脸图像,其中8 44 3 4位为男性,1 1 81 6 5位为女性。由于C e l e b A的种族标签分布严重偏向白种人,而MO R P H则严重偏向非洲血统的人,因此,在实验时将C e l e b A和MO R P H数据集以留出法的方式分为训练集和测试集,训练出种族分布相对均衡的模型。MU C T数据集用于合成图像的隐私性和可用性评估。3.1.2 评价指标1)可用性。使用I S(I n c e p t i o nS c o r e)2 0和F I D(F r c h e t I n c e p t i o nD i s t a n c e)2 1作为可用性评价指标。I S用来衡量GAN s网络生成图像的质量,I S=e x p(ExDK L(p(yx)p(y),其中x表示给定的图像,y为标签。I S值越高,图像质量越好。F I D使用I n c e p t i o nn e t w o r k分别提取真实图像与合成图像中间层的特征,计算2个多维特征分布之间的距离,F I D=m-mr22+T r(C+Cr-2(C Cr)1/2),其中m,mr分别表示真实图像与合成图像的特征均值;C,Cr分别表示真实图像与合成图像的协方差;T r表示矩阵对角线上的元素和。2)隐私性。采用基于I n c e p t i o n-R e s n e tb a c k b o n e2 2的身份距离作为图像隐私性的评价指标,衡量真实人脸图像与合成人脸图像的身份差异。3.2 实验结果与分析本节对提出的S y n t h e s i s N e t模型与D e e p P r i v a c y模型3,F a c e D C GAN模型4、H y b r i d GAN模型5在隐私性与可用性方面进行比较、评估与分析。3.2.1 可用性评估1)视觉评估首先将S y n t h e s i s N e t与其他3个模型分别在MU C T数据集、MO R P H数据集和C e l e b A数据集上训练生成合成图像,结果见表1。D e e p P r i v a c y模型与H y b r i d GAN模型利用匿名化的思想对原始人脸图像进行 隐 私 保 护 处 理,产 生 的 合 成 人 脸 图 像 精 度 不 高,结 果 容 易 发 生 面 部 错 位 的 问 题;而F a c e D C GAN模型无法保证原始图像与合成图像之间的语义一致性;S y n t h e s i s N e t模型在细节上的表表1 S y n t h e s i s N e t与其他模型在视觉评估方面的比较结果T a b l e1 C o m p a r i s o nb e t w e e nS y n t h e s i s N e t a n do t h e rm o d e l s i nv i s u a l e v a l u a t i o n原始图像D e e p P r i v a c y3F a c e D C G AN4H y b r i d GAN5S y n t h e s i s N e t(本文)682沈阳师范大学学报(自然科学版)第4 1卷 现好于其他模型的结果。该模型在实验中使用预训练的方式解耦面部特征后对其进行合成处理,在保证原始图像与合成图像之间的语义一致性的同时,合成图像的视觉效果在精度方面也显著提升。2)定量分析在3个数据集上对S y n t h e s i s N e t模型与其他3个模型计算可用性评估指标I S和F I D,结果见表2。从表2中可以看出,在3个数据集上S y n t h e s i s N e t模型的性能明显优于其他3个模型,其原因是本文提出的方法使用卷积自动编码器提取图像更高维的隐空间信息来充分表示完整的人脸属性,将该属性作为输入可以缓解利用反向传播训练生成对抗网络时产生的梯度消失问题,提高模型的泛化能力。表2 S y n t h e s i s N e t模型与其他模型的可用性比较结果T a b l e2 T h er e s u l t so fS y n t h e s i s N e t a n do t h e rm o d e l s i n t h eu t i l i t ye v a l u a t i o n模 型 数 据 集MU C TI SF I DMOR P HI SF I DC e l e b AI SF I DD e e p P r i v a c y33.0 10.0 46 9.8 03.2 60.0 15 8.7 34.0 40.0 57 9.5 5F a c e D C G AN43.7 10.0 66 7.2 23.0 20.0 45 5.2 82.8 70.0 56 0.6 2H y b r i d GAN53.2 00.0 35 1.9 14.2 30.0 57 4.0 54.7 70.0 65 1.8 9S y n t h e s i s N e t(本文)4.7 00.0 33 6.2 14.7 70.0 32 8.5 95.0 70.0 52 5.3 6图3 S y n t h e s i s N e t在3个数据集上的隐私性分析F i g.3 P r i v a c ya n a l y s i so fS y n t h e s i s N e t i n t h r e ed a t a s e t s3.2.2 隐私性评估为了在人脸图像数据集上评估身份差分隐私机制的隐私保护效果,首先提取每张测试图像的身份表征并计算敏感度,然后将隐私预算设置为0.0 1到1评估提出模型的隐私保护效果,实验结果如图3所示。从图3中可以看出,当从0.0 1增加到1时真实图像与合成图像的身份距离逐渐变小,这说明较小的隐私预算保证了更好的人脸图像的隐私性,通过调整的大小可得到理想的隐私保护效果。4 结 语人脸图像隐私保护问题是目前数据发布领域的研究热点。针对现有的方法缺少可证明的隐私性、无法在保持隐私性和可用性之间优化权衡的同时生成语义合理的图像的问题,本文提出一种基于卷积神经网络的人脸图像隐私保护方法,利用卷积自动编码器与差分隐私为生成对抗网络提供预训练后的人脸图像,并合成伪图像代替原始图像发布。该方法可有效平衡图像隐私性和可用性,在保持人脸图像的语义完整性的同时,为发布图像提供可证明的隐私保证。在未来的工作中,尝试将本文的方法进一步优化,将其应用于保护高分辨率的视频人脸图像。参考文献:1YUANL,E B R AH I M IT.I m a g ep r i v a c yp r o t e c t i o nw i t hs e c u r eJ P E Gt r a n s m o r p h i n gJ.I E T-I P R,2 0 1 7,1 1(9):1 0 3 1 1 0 3 8.2CHA T Z I KY R I AK I D I SE,P A P A I OANN I D I SC,P I T A S I.A d v e r s a r i a l f a c ed e-i d e n t i f i c a t i o nC I E E EI n t e r n a t i o n a lC o n f e r e n c eo nI m a g eP r o c e s s i n g(I C I P).T a i p e i:I E E E,2 0 1 9:6 8 4 6 8 8.3HUKK E L A SH,ME S T E RR,L I N D S E THF.D e e p p r i v a c y:Ag e n e r a t i v ea d v e r s a r i a l n e t w o r k f o r f a c e a n o n y m i z a t i o nC I n t e r n a t i o n a lS y m p o s i u mo nV i s u a lC o m p u t i n g.C h a m:S p r i n g e r,2 0 1 9:5 6 5 5 7 8.4CHE NZ,Z HU T,WAN G C,e ta l.GAN-b a s e di m a g ep r i v a c yp r e s e r v a t i o n:B a l a n c i n gp r i v a c ya n du t i l i t yCI n t e r n a t i o n a lC o n f e r e n c eo nM a c h i n eL e a r n i n gf o rC y b e rS e c u r i