基于随机掩码和对抗训练的文本隐私保护实验_吴舟婷.pdf

实 验 技 术 与 管 理 第 40 卷 第 8 期 2023 年 8 月 Experimental Technology and Management Vol.40 No.8 Aug.2023 收稿日期:2023-03-31 基金项目:国家 242 信息安全专项（2019A021，2020A065）作者简介:吴舟婷（1988），女，安徽六安，博士，实验师，硕士研究生导师，研究方向为网络空间安全、自然语言处理等，。引文格式:吴舟婷，罗森林.基于随机掩码和对抗训练的文本隐私保护实验J.实验技术与管理,2023,40(8):72-76.Cite this article:WU Z T,LUO S L.Privacy preservation experiment based on random masking and adversarial training for text representationJ.Experimental Technology and Management,2023,40(8):72-76.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.08.011 基于随机掩码和对抗训练的文本隐私保护实验 吴舟婷，罗森林（北京理工大学 信息与电子学院，北京 100081）摘 要：针对深度学习文本表示隐私保护面临可用性与隐私性难以平衡的问题，该文提出一种基于随机掩码和对抗训练的文本表示隐私保护算法 RMAT。该算法首先对原始输入文本序列做随机掩盖，之后注入差分隐私噪声，并结合模拟攻击器与任务分类器间的对抗训练，实现深度学习文本表示的隐私脱敏。文章通过理论推导证明了算法满足差分隐私要求，并用 5 个公开数据集的实验结果验证了算法在提供完备隐私保障的同时提升了脱敏文本的可用性。通过本项实验，学生不仅对深度学习文本表示模型面临的安全风险有了更清晰的认识，还提升了利用深度学习方法分析和解决安全问题的能力。关键词：隐私安全；文本表示；差分隐私；对抗训练 中图分类号：TP391.1 文献标识码：A 文章编号：1002-4956(2023)08-0072-05 Privacy preservation experiment based on random masking and adversarial training for text representation WU Zhouting,LUO Senlin(School of Information and Electronics,Beijing Institute of Technology,Beijing 100081,China)Abstract:To address the problem of striking the privacy-utility balance for the privacy protection of deep-learning based text representation,this paper proposes a privacy preservation algorithm for text representation based on random mask and adversarial training.The algorithm first masks the original input text sequence randomly,and then injects differential privacy noise,and combines the adversarial training between the simulated attacker and the task classifier to realize the privacy preservation of deep learning text representation.Through theoretical derivation,the paper proves that the algorithm meets the differential privacy requirements,and verifies that the algorithm improves the usability of desensitized text while providing complete privacy protection with experimental results of five public datasets.Through this experiment,students not only have a clearer understanding of the security risks faced by the deep-learning text representation model,but also improve their ability to analyze and solve security problems by using the deep learning method.Key words:privacy security;text representation;differential privacy;adversarial training 1 研究背景 近年来，基于大规模语料训练的文本表示（text representation）1-2已成为大多数自然语言处理任务的基础模块。然而，深度文本表示在广泛应用的同时也增加了隐私数据泄露的风险3-4。通常，训练深度文本表示的语料内容非常广泛，可能携带个人隐私信息，包括姓名、性别、年龄等，而训练得到的文本向量()f x在传输和应用过程中可能遭遇隐私窃取攻击，进而导致隐私数据泄露5-6。例如，图 1 中用户可能为了获取语法校正、外文翻译等服务而向云端发送包含个人隐私信息的表示向量7，攻击者就可以通过窃取文本嵌入向量，恢复出原始文本中的敏感属性，甚至是原始文本8。因此，对文本表示提供隐私保护至关重要9。吴舟婷，等：基于随机掩码和对抗训练的文本隐私保护实验 73 图 1 针对深度文本表示的隐私攻击 目前文本表示隐私保护的方法大体上可分为基于对抗训练的经验类方法和基于差分隐私的理论类方法。Xie 等 10、Elazar 等11、Feyisetan 等12以及 Basu等13通过引入模拟攻击者实现隐私攻击与目标任务之间的对抗训练，基于目标函数中的攻击效果惩罚项实现隐私保护。然而，目前经验性的隐私保护方法仅从实验角度验证了文本表示模型具备隐私保护能力，未提供理论上严格证明的隐私保护效果，无法穷尽所有样本验证其隐私脱敏效果的完备性。另一类基于差分隐私机制的方法如 Lyu 等（2020）14和 Plant（2021）等15，通过在文本表示向量中加入标定噪声的方法实现-差分隐私16，提供理论严格证明的隐私脱敏效果。但是由于噪声的注入，文本表示的可用性也会随之下降。针对上述问题，本文提出一种基于随机掩码（random masking）和对抗训练（adversarial training）的差分隐私文本脱敏算法，简称 RMAT 算法。该算法首先对原始输入文本序列做随机掩码之后再注入差分隐私噪声，并结合模拟攻击者与目标任务的对抗训练，在确保隐私保护效果的同时提升文本可用性。本文通过理论证明，说明结合随机掩码的差分隐私方法仍然符合-差分隐私定义，可提供严格的隐私保护。同时，由于随机掩盖使得脱敏噪声仅叠加在部分输入单词上，可降低噪声对目标任务的影响，使本文算法具备更高的可用性。2 算法流程 2.1 算法模块 基于随机掩码和对抗训练的差分隐私文本脱敏算法流程如图 2 所述，具体可分为随机掩盖、文本编码、噪声注入以及对抗训练等模块。首先，随机掩盖模块生成与原始序列等长的 0、1 序列，0 值出现的概率由参数控制。将掩盖序列与原始序列点乘即可实现将输入序列随机遮盖掉。其次，文本编码模块利用预训练语言模型将输入的字符掩盖序列编码为表示向量。之后，DP 噪声注入模块首先生成拉普拉斯噪声，并叠加入表示向量，实现差分噪声注入。最后，对抗训练模块包含模拟隐私攻击和目标任务分类两部分，隐私攻击器的目的在于降低向量所包含的隐私信息，训练目标任务分类器则是为了确保文本表示仍保留有效的语义信息。算法 1：RMAT 差分隐私脱敏算法 输入：输入数据 x，标签 y，随机掩盖概率，隐私信息标签 z 对输入序列随机掩盖：,0,1Dmnn=xxII 文本编码：e()mf=xx 归一化表示向量：eeeemin/(maxmin)=-exxxxx 扰动噪声注入：e,Lap()erb=+?ixxr 对抗训练：;(),frpta=+LLLx y z 图 2 RMAT 差分隐私脱敏算法（算法 1）2.2 随机掩码模块 随机掩码模块的输入为原始文本序列12,w w=x Dw，iw表示输入单词，序列长度为 D。遮盖序列nI是长度为 D 的0,1序列，其中包含 0 的个数等于随机掩盖概率乘以序列长度 D。再通过文本序列与掩盖序列的点乘nxI得到随机遮盖序列m：x ,0,1Dmnn=xxII（1）2.3 编码器模块 编码器的功能是将输入文本映射到低维语义空间，因此编码器的效果与目标任务密切相关。考虑到预训练语言模型在 NLP 领域的成功，本文首先用BERT 模型获取原始文本序列的表示向量，之后利用两层全连接层进一步完成语义压缩，获得最终文本表示向量：e()mf=xx（2）2.4 噪声注入模块 噪声注入模块需要将扰动噪声叠加到文本表示向量ex上。扰动噪声向量r是维度与ex相同的向量，其中每一维ri则是服从拉普拉斯分布的独立同分布随机变量。拉普拉斯分布的位置参数为 0，尺度参数为/bf=。f则是输入函数的敏感度。考虑到确定一个无边界文本表示函数的灵敏度实际上是不可行的，参考 Shokri 和 Shmatikov（2015）的做法，ex的范围被限制为0,1。这样，函数的灵敏度在ex的各维上求和是相同的，即1f=。噪声注入后的向量为：ee=+?xxr（3）74 实 验 技 术 与 管 理 2.5 对抗训练模块 对抗训练模块包括隐私攻击器和目标分类器。隐私攻击器与任务分类器均采用相同的模型结构，由一层全连接层网络和一层 dropout 组成。对抗训练的过程分为两步，首先训练模拟隐私攻击器降低文本表示所包含的隐私信息；之后，训练目标任务分类器确保表示向量在注入噪声后仍保留有效的语义信息。隐私攻击器的输出为预测的隐私标签，采用交叉熵(,)aei?xzL作为目标函数。之后利用梯度反向传播更新分类器参数，分类器梯度计算公式为：11(,)maiaeizm=?xL（4）其中，zi表示第 i 个样本的隐私标签。为了达到抵御攻击和提升分类准确率的目的，将任务分类器的优化目标表示为目标预测损失和隐私预测损失的组合：;(),frata=+LLLx y z （5）其中，x表示原始文本序列，y表示任务分类器的分类标签，z表示隐私分类器的隐私标签，f表示文本编码器参数，r表示任务分类器参数，a表示攻击分类器参数。目标预测的输出为分类标签，采用交叉熵(,)te?L xy作为目标函数。隐私预算损失则利用参数更新后的隐私攻击器计算出相应损失aL，并利用超参实现可用性和隐私性的平衡。3 理论证明 差分隐私机制的目标在于，通过加入随机噪声来确保公开的输出结果不会因为一个个体是否在数据集中而产生明显的变化。其严格的定义意味着，无论攻击者拥有怎样的背景知识，都可通过差分隐私来保证数据隐私不会泄露，同时也能够保证数据的可用性。为了证明本文算法符合差分隐私定义，以下的理论证明分为差分隐私定义和算法有效性推导两部分。3.1 差分隐私定义和性质 定义定义 1：对于一个随机算法()xA，Range()A为算法()xA可以输出的所有值的集合。对于任意一对相邻数据集 D 和 D，Range()A的任意子集S满足：Pr()e Pr()AADSDS（6）则称算法()xA满足-差分隐私，其中参数为隐私保护预算。相邻数据集指的是两个数据集仅在一个样本记录存在差异。对于连续数值型输入例如表格数据、表示向量等，可以通过在输入中叠加拉普拉斯噪声的方法实现差分隐私。符合差分隐私的算法具有非常多的重要性质，包括顺序合成性质、平行合成性质、中凸性以及变换不变性。下面重点介绍变换不变性。性质 1：给定一个算法1A满足-差分隐私，则对于任意算法2A，在对1A做变换后得到算法21()()=AA A，该算法A满足-差分隐私。这个性质说明差分隐私对于后处理算法具有免疫性，如果一个算法的结果满足-差分隐私，那么在这个结果上进行的任何处理都不会对隐私保护有所影响。也就是说，本文算法在注入噪声进行对抗训练后，不会损害隐私保护效果。下文将进一步证明噪声注入前的随机掩盖模块对隐私保护效果的影响。3.2 随机掩盖差分隐私证明 定理 1：设算法()()f x=A符合-差分隐私，有一组包含 D 个词的词序列12,Dw ww=x和一组等长的 0/1 序列1,0DnI，nI的 0 值出现概率为，则算法()()()mnf=AAxxI符合DP-差分隐私，ln(1)exp()=+-。证明：假设1x和2x是分布式相互靠近的两个词序列输入。两者仅在第 i 个词不一致，即12,iivv=xx。对于任意的二值序列nI，有如下两种可能，即0ni=I或者1ni=I，下面分别讨论。1）第一种情况。由于0ni=I，而1x和2x在第 i 个词不一致，则在随机掩盖后120ii=xx，即12nn=xIxI。因此，则有：12()P(r)PrnnSS=AAxIxI（7）2）第二种情况。由于1ni=I，1x和2x在第 i 位的单词保留，则在随机掩盖后11,niv=xIx而22niv=xIx，与随机掩盖前保持一致。由于算法()xA符合DP-差分隐私，则有：12Pr()exp)r(P()nn=AAxISxIS（8）考虑上述两种情况，同时考虑到Pr0ni=I，则有：111222Pr()Pr()(1)Pr()Pr()(1)exp()Pr()(1)exp()Pr()nnnnnn=+-=+-=+-=AAAAAAxISxISxISxISxISxIS 2exp(ln(1)exp()Pr()n+-=A xIS（9）综上所述，结合随机掩盖的差分隐私方法满足差分隐私定义，同时隐私预算也被进一步压缩为ln=+(1)exp()-。其中，是在 01 之间变化的概率值，不同的取值会对隐私保护性和任务可用性产生影响。当0=时，即不做随机掩盖，隐私预算仍然为；当1=时，则表示将输入序列全部掩盖，不会造成任何隐私信息的泄露，即0=。但是，这样的序列也就完 吴舟婷，等：基于随机掩码和对抗训练的文本隐私保护实验 75 全无法用于目标任务，即严重破坏了序列的可用性。因此，通常情况下会选择较小的值来折中隐私性和可用性。4 实验效果 为了验证算法有效性，用 5 个公开数据集对近两年针对隐私保护的算法的隐私保护效果和目标任务分类效果进行对比研究。对比算法包括 DP2020 和ADS2021。DP2020 是利用局部差分隐私（LDP）实现对文本表示的隐私保护，ADS2021 是利用对抗网络去除文本表示中的隐私特征。实验采用的公开数据集包括 Funpedia、ConvAI2、Wizard、LIGHT 和 OpenSub，数据集的详细信息如表 1所示。这些数据集语料本身为对话文本，实验过程中将对话内容中谈论对象的性别作为隐私属性，将文本内容的情感分类作为目标下游任务。表 1 数据集统计结果 数据 集名称 隐私 属性 目标 任务 训练集/K 验证集/K 测试集/K Funpedia 性别 三分类情感分析24 2.9 2.9Wizard 性别 三分类情感分析3.5 0.1 0.1ConvAI2 性别 三分类情感分析69 4.5 4.5LIGHT 性别 三分类情感分析38 2.2 4.5OpenSub 性别 三分类情感分析210 25 29 本文算法以及对比算法在 5 个数据集上的隐私攻击（Priv）F 值和目标任务（Task）F 值如表 2 和表 3所示。模型效果评估要从隐私攻击和目标任务两方面来考虑，隐私攻击的 F 值越低越好，说明算法的隐私保护效果更好；目标任务的 F 值越高越好，说明噪声注入后的文本表示仍具有较高的可用性。（1）评估 RMAT 的隐私保护效果。从表 2 的实验结果可以看出，对比具备理论完备性的 DP2020 算法，RMAT 算法在 Convai2、Light、OpenSub、Funpedia和 Wizard 数据集上均取得更好的隐私保护脱敏效果，隐私脱敏 F 值分别下降 21.4%、2.4%、2.2%、1.1%和11.2%。表明原始文本序列通过随机掩码和对抗训练脱敏后，攻击者难以从中窃取隐私信息，验证了 RMAT算法具有良好的隐私保护效果。（2）评估 RMAT 的目标任务分类效果。从表 3的实验结果可以看出，对比具备理论完备性的 DP2020算法，RMAT 在 Light、OpenSub 和 Funpedia 数据集上均取得了较好的可用性，目标任务分类 F 值分别是相等、提升 0.1%和 0.2%。虽然目标分类效果 F 值在Convai2 和 Wizard 数据集有所降低，但考虑表 2 中隐私保护 F 值分别提升 20%和 10%以上，表明 RMAT 以少量的可用性损失显著提升了数据的隐私保护效果。对比基于经验训练的 ADS2021 算法，RMAT 在Funpedia 数据集上取得了更好的可用性，目标任务分类 F 值提升1.0%。尽管其余数据集的效果不及ADS2021，但RMAT算法以较少的可用性损失换取了完备的隐私保护效果，在数据安全敏感领域更具优势。表 2 公开数据集上的隐私攻击（Priv）F 值 Priv.Model Convai2LightOpenSub Funpedia.WizardADS202156 52.8 40.7 29.8 28.2 DP202052.2 51 50.4 31.8 48.4 RMAT 30.8 48.6 48.2 30.7 37.2 表 3 五个数据集上的目标任务（Task）F 值 Task Model Convai2LightOpenSub FunpediaWizardADS202195.3 92.396.9 90.2 85.8 DP2020 93.2 88.896.2 91 82.7 RMAT 89.3 88.896.3 91.2 75.3 5 结语 针对经验性隐私保护方法难以全面保障隐私保护效果以及-差分隐私方法可用性较低问题，提出一种随机掩码差分隐私与对抗训练相结合的文本表示隐私保护算法 RMAT。该算法对原始输入文本序列做随机掩盖后再注入差分隐私噪声，并结合模拟攻击器与任务分类器间的对抗训练，既可保障隐私保护的完备性，也可提升脱敏文本的可用性。本文的理论推导过程证明了结合随机掩码的差分隐私方法仍然符合-差分隐私定义，可提供严格的隐私保护；同时也证明了由于随机掩盖使得脱敏噪声仅叠加在部分输入单词上，可进一步压缩隐私预算值，降低噪声注入，提升脱敏文本的可用性。实验结果表明，RMAT 算法有效平衡了隐私性和实用性，降低了攻击者窃取用户隐私信息的风险，具有良好的实际应用价值。通过本项实验，学生不仅对于深度学习文本表示模型面临的安全风险有了更清晰的认识，还提升了利用深度学习方法分析和解决安全问题的能力。参考文献(References)1 DEVLIN J,CHANG M,LEE K,et al.BERT:Pre-training of deep bidirectional transformers for language understanding:Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies,Volume 1(Long and Short Papers)C.Minneapolis,Minnesota:Association for Computational Linguistics,76 实 验 技 术 与 管 理 2019:41714186.2 岳增营，叶霞，刘睿珩.基于语言模型的预训练技术研究综述J.中文信息学报，2021,35(9):1529.3 COAVOUX M,NARAYAN S,COHEN S.Privacy-preserving neural representations of text:Proceedings of the 2018 Conference on Empirical Methods in Natural Language ProcessingC.Brussels,Belgium:Association for Computational Linguistics,2018:110.4 PAN X,ZHANG M,JI S,et al.Privacy risks of general-purpose language models:Proceedingsof the 2020 IEEE Symposium on Security and Privacy(SP)C.San Francisco,CA,USA:IEEE Press.2020:13141331.5 谭作文，张连福.机器学习隐私保护研究综述J.软件学报，2020,31(7):21272156.6 郑海斌，陈晋音，章燕等.面向自然语言处理的对抗攻防与鲁棒性分析综述J.计算机研究与发展，2021,58(8):17271750.7 LI Y,BALDWIN T,COHN T.Towards robust and privacy-preserving text representations:Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics(Volume 2:Short Papers)C.Melbourne,Australia:Association for Computational Linguistics,2018:2530.8 SONG C,RAGHUNATHAN A.Information leakage in embedding models:Proceedings of the 2020 ACM SIGSAC Conference on Computer and Communications Security(CCS 20)C.New York,NY,USA:Association for Computing Machinery,2020:377390.9 纪守领，杜天宇，李进锋等.机器学习模型安全与隐私研究综述J.软件学报，2021,32(1):4167.10 XIE Q,DAI Z,DU Y,et al.Controllable invariance through adversarial feature learning:Proceedings of the 31st International Conference on Neural Information Processing Systems(NIPS17)C.NY,USA:Curran Associates Inc.,Red Hook.2017:585596.11 ELAZAR Y,GOLDBERG Y.Adversarial removal of demographic attributes from text data:Proceedings of the 2018 Conference on Empirical Methods in Natural Language ProcessingC.Brussels,Belgium:Association for Computational Linguistics.2018:1121.12 FEYISETAN O,BALLE B,DRAKE T,et al.Privacy-and utility-preserving textual analysis via calibrated multivariate perturbations:Proceedings of the 13th International Conference on Web Search and Data Mining(WSDM 20)C.New York,NY,USA:Association for Computing Machinery.2020:178186.13 BASU S,CHOWDHURY R,GHOSH S,et al.Adversarial scrubbing of demographic information for text classification:Proceedings of the 2021 Conference on Empirical Methods in Natural Language ProcessingC.Online and Punta Cana,Dominican Republic:Association for Computational Linguistics.2021:550562.14 LYU L,HE X,LI Y.Differentially private representation for NLP:Formal guarantee and an empirical study on privacy and fairness:Findings of the Association for Computational Linguistics:EMNLP 2020C.Online:Association for Computational Linguistics,2020:23552365.15 PLANT R,GKATZIA D,GIUFFRIDA V.CAPE:Context-aware private embeddings for private language learning：Proceedings of the 2021 Conference on Empirical Methods in Natural Language ProcessingC.Online and Punta Cana,Dominican Republic:Association for Computational Linguistics.2021:79707978.16 李效光，李晖，李凤华，等.差分隐私综述J.信息安全学报，2018,3(5):92104.（编辑：张文杰）