融合对抗增强和多任务优化的恶意短信检测方法.pdf

NETINFOSECURITY2023年第10 期入选论文doi:10.3969/j.issn.1671-1122.2023.10.004融合对抗增强和多任务优化的恶意短信检测方法全鑫1，金波1.2，王斌君1，翟晗名1，（1.中国人民公安大学信息网络安全学院，北京10 0 0 38；2.公安部第三研究所，上海2 0 0 0 31）摘要：现有恶意短信检测方法往往聚焦于提升检测准确率或速度，而忽略了模型自身的安全问题，因此，在真实场景中可能会遭受对抗样本攻击。为了解决上述问题，文章提出了一种融合对抗增强和多任务优化的恶意短信检测模型。在输入阶段，利用随机匹配池生成“原始文本一对抗样本”对作为输入，并且引入语义类型编码技术帮助模型区分数据边界。然后，使用基于ChineseBERT的单塔神经网络作为主干模型对短信的语义、拼音和字形特征进行挖掘。在输出阶段，使用监督的分类交叉熵损失和无监督的输入一致性损失作为多任务优化目标，以帮助模型学习文本对内在的关联特征并完成分类。基于公开数据集的实验结果表明，该方法的准确率和鲁棒性优于多种机器学习和深度学习检测方法。关键词：恶意短信；鲁棒性；对抗样本；多任务学习中图分类号：TP309文献标志码：A文章编号：16 7 1-112 2（2 0 2 3）10-0 0 2 1-10中文引用格式：全鑫，金波，王斌君，等.融合对抗增强和多任务优化的恶意短信检测方法J.信息网络安全，2 0 2 3，2 3（10）：2 1-30.英文引用格式:TONG Xin,JIN Bo,WANG Binjun,et al.A Malicious SMS Detection Method Blending AdversarialEnhancement and Multi-Task OptimizationJ.Netinfo Security,2023,23(10):21-30.A Malicious SMS Detection Method Blending AdversarialEnhancement and Multi-Task OptimizationTONG Xin,JIN Bol2,WANG Binjun,ZHAI Hanming(1.School of Information Network Security,Beijing 100038,China;2.The Third Research Institute of Ministry ofPublic Security,Shanghai 200031,China)Abstract:Existing malicious SMS detection methods often focus on improving thedetection accuracy or speed,ignoring the security problems of the model itself,thus likely tosuffer from adversarial examples attack in real-world scenarios.To alleviate this pain point,this paper proposed a malicious SMS detection model that blended adversarial enhancement收稿日期：2 0 2 3-0 5-0 6作者简介：全鑫（19 9 5一），男，河南，博士研究生，CCF会员，主要研究方向为网络空间安全和自然语言处理；金波（19 7 2 一），男，上海，研究员，博士，CCF会员，主要研究方向为网络空间安全；王斌君（19 6 2 一），男，北京，教授，博士，CCF会员，主要研究方向为人工智能安全；翟晗名（19 9 7 一），女，河北，硕士研究生，主要研究方向为自然语言处理。通信作者：金波21NETINFOSECURITY入选论文2023年第10 期and multi-task optimization.During the input stage,a random matching pool was used togenerate“original text-adversarial example pairs as input,and the semantic type encodingtechnique was adopted to help the model distinguish the data boundaries.Then,a single-tower neural network based on ChineseBERT was used as the backbone model to excavatethe semantic,pinyin,and glyph features of the SMS.In the output stage,the supervisedclassification cross-entropy loss and the unsupervised input consistency loss were used asmulti-task optimization objectives to help the model learn the correlated features of text pairsand complete the classification.Experimental results based on the public datasets show thatthe proposed method outperforms a variety of machine learning and deep learning detectionmethods in terms of accuracy and robustness.Key words:malicious SMS;robustness;adversarial examples;multi-task learning0引言随着移动通信技术的普及，短信在给人们日常通讯带来便利的同时也成为了滋生恶意行为的温床。大量的欺诈广告、钓鱼链接等通过短信渠道进行传播，对个人隐私财产和公共安全构成了严重威胁。36 0 集团发布的2 0 2 2 年度中国手机安全状况报告 指出，2 0 2 2 年其安全系统在全国范围内共截获各类恶意短信约9 1.6亿条，其中，广告推销短信占比9 5.8%；诈骗短信占比4.1%；其他违法短信占比0.1%。这些恶意短信不仅干扰了人们的正常生活，更为社会安全带来了严峻的挑战，因此，如何准确、高效地识别和拦截恶意短信，保障用户的安全和利益已成为网络安全领域的重要研究课题。近年来，机器学习尤其是深度学习技术的快速发展为文本分类任务提供了有效的解决方案，也为构建智能化的恶意短信检测系统提供了技术支持。但这些方法主要聚焦于提升模型的检测准确率或运行速度，而忽略了模型潜在的对抗攻击风险，进而影响到这些方法应用于真实场景的鲁棒性。为了缓解这一痛点，本文提出了一种融合对抗增强和多任务优化的鲁棒性恶意短信检测模型 AEMT-ChineseBERT（A d v e r s a r i a l En h a n c e m e n t a n dMulti-TaskChineseBERT），主要的贡献如下：1）构建了一种基于ChineseBERT2 的恶意短信检测模型。利用ChineseBERT模型在海量无标注数据上预训练得到的字义、字形和拼音等先验知识，实现了在无须构建额外特征网络的前提下，对包含多类型对抗扰动的恶意短信进行特征抽取与分析。2）提出了一种基于随机匹配的对抗增强策略。将原始短信文本和基于对抗增强的噪声样本经随机匹配池混合后作为模型的输入特征，并通过使用语义类型编码技术进行边界区分，避免后续在单塔主干网络中出现特征混淆问题而导致性能损失3）引人了一种多任务优化目标。在分类交叉熵的基础上增加了输人一致性损失作为优化目标，能够进一步帮助模型学习对抗样本和原始文本间的关联关系，从而提升模型的鲁棒性。在公开的恶意短信数据集上的实验表明，AEMT-ChineseBERT在处理常规短信时检测准确率能够达到99.42%，同时在检测包含对抗扰动的样本时准确率达到了9 8.18%，下降幅度仅为1.2 4%，效果和鲁棒性均优于目前主流的基于机器学习和深度学习的恶意短信检测方法。1相关研究1.1基于机器学习的检测方法传统的恶意短信识别系统主要根据敏感词、发送者标识符等信息来构建规则库进行判断，但这些规则方法往往存在着准确率低、维护困难、灵活性较差等缺点，因此，研究者尝试利用机器学习方法实现更智能化的短信识别。TAUFIQ3等人和HO4等人分别提出了基于朴素贝叶斯和图K最近邻（K-NearestNeighbor,KNN）的恶意短信检测模型，并在移动端完成了模型训练和推理部署，验证了机器学习在该任务上的可行性。HASSANI5等人尝试利用仿生优化算法辅助机器学习模型进行恶22NETINFOSECURITY2023年第10 期入选论文意邮件识别，采用二进制鲸鱼优化和二进制灰狼优化算法提取特征并使用KNN作为分类器，在UCI公开数据集上达到了9 7.6 1%的准确率，考虑到邮件与短信的相似性，该方法也适用于恶意短信检测场景。为了进一步优化短信样本的特征，ILHAN6等人提出了一种非线性的特征选择方法。具体来说，使用Copula聚类方法对短信样本进行特征筛选，然后使用随机森林作为分类器，结果表明，该方法效果优于传统的线性特征选择工具。在真实场景中，收集到的短信数据集往往存在正负样本分布不均衡的问题，ABID7等人基于TF-IDF和词袋两类特征与欠采样/过采样技术构建了一系列面向非均衡数据的恶意短信检测模型，结果表明，随机森林具有较高的准确率，优于支持向量机、朴素贝叶斯等模型。XIA8等人利用离散隐马尔可夫模型（HiddenMarkovModel，HMM）来捕获短信中的词序信息，该方法能够缓解样本中的低频词问题。在来自UCI短信数据集和中文数据集中的实验表明该方法优于基于TF-IDF特征的机器学习方法，并且对语言不敏感，可以在英文和中文数据上高精准地识别垃圾邮件。后续的研究9 在此基础上引人了面向短信文字的加权标注技术，不仅提升了HMM模型的检测准确率，而且增强了运行效率。与上述基于监督学习的检测方法不同，GIANNELLA10 等人提出了一种基于混合监督的恶意短信检测方法。该方法假设短信数据来自于概率生成模型，然后使用无标注或部分标注的短信语料和Gibbs采样来估计模型参数。在英文语料上的实验表明，该方法有效减少了标注短信数据的人工成本。1.2基于深度学习的检测方法深度学习已被证明在分析非结构化数据方面具有超越传统机器学习的能力，特别是在新闻分类、情感分析等自然语言处理任务中取得了显著的进展，因此吸引了研究者构建基于深度神经网络的恶意短信检测器ABAYOMII等人提出了一种基于BiLSTM的恶意短信检测模型，在UCI数据集和ExAIS_SMS数据集上的实验表明，该方法的效果相比传统的机器学习分类器有了显著的提升，证明了深度学习模型的优势。ROY12等人进一步对比了TextCNN模型和BiLSTM模型在恶意短信检测任务中的性能，结果证明，在处理非均衡数据时，TextCNN更具优势。上述的方法主要基于静态词向量构建，难以处理一词多义样本。为了缓解这一问题，WAJA13等人提出了一种基于混合词嵌人的多通道CNN模型，同时接收Word2Vec、Ra n d o m 和GloVe三个通道生成的词向量进行处理，最终在扩展的UCI短信数据集上取得了9 6.12%的准确率，相比基于静态词向量的方法具有较大的提升。相较浅层神经网络，预训练模型能够利用在无标注语料上的预训练过程来学习通用的语言特征，并可通过微调的方式进一步获取恶意短信检测等下游任务的领域知识，因此具有更强的表征能力。LIU14等人提出了一种基于Transformer模型的恶意短信检测方法，在均衡数据集和非均衡数据集上均取得了优于BiLSTM模型的表现。考虑到大多数研究无法动态化地增加检测关键词，OSWALD15等人开发了一种基于意图的恶意短信过滤方法，该方法通过13个预定义的意图标签来实现动态化短信的语义特征分析和关键字识别，并使用了预训练的BERT模型提取短信的文本嵌人，最终检测准确率达到了9 8.0 7%，且检测效果更具稳定性。1.3总体分析尽管这些基于机器学习和深度学习的检测模型被证明在准确率和灵活性方面相比传统方法具有优势，但现有方法往往聚焦于提升检测准确率或运行速度，忽略了模型的鲁棒性问题。研究表明，受训练封闭性、数据高维性、原理朴素性和模型不可解释性等的影响，即使是最先进的神经网络也存在对抗样本隐患16 ,即攻击者在发送恶意短信时通过对敏感的字符、词组和语句进行修改以生成对抗样本17,18 ,能够规避现有检测技术。一些基于对抗训练的方法19 能够缓解对抗样本风险，但这些方法可能会导致模型在检测常规数据集时准确率下降，同时现有鲁棒性增强方法大都忽略了针对对抗样本和常规样本之间的关联性分析，仍存在优化空间。因23NETINFOSECURITY入选论文2023年第10 期此，探索兼顾识别精度和鲁棒性的恶意短信检测方法对在真实场景落地和助力防范电信诈骗上具有重要意义。2AEMT-ChineseBERT模型2.1总体结构为了改善现有恶意短信检测模型存在的脆弱性问题，本文在中文预训练语言模型的基础上提出了融合对抗增强和多任务优化的鲁棒性检测模型。该模型的总体结构如图1所示，主要包含基于混合噪声的对抗增强输入、预训练特征分析网络和基于多任务优化的输出层3个主要部分。在输人模块，采用随机匹配池来构造“原始文本-对抗样本”对作为模型的输人，并且使用了语义类型编码技术提示模型对抗数据和常规数据之间的边界。在特征分析阶段，选择了基于ChineseBERT的单塔预训练模型作为主干网络，利用其在预训练阶段学习到的字形和字音先验知识完成特征提取和交互任务。在输出阶段，同时使用基于监督学习的分类交叉熵损失和无监督的输入一致性匹配损失作为优化目标，帮助模型进一步学习文本对内在的关联特征，最终实现针对恶意短信的分析和检测。主输出区输入一致性预测SoftmaxSoftmax工LinearLinear基于ChineseBERT的骨干网络0000000.Q0原始短信对抗性随机匹配池图1AEMT-ChineseBERT模型的总体结构2.2融合对抗增强的模型输入为了帮助模型能够兼顾学习常规的短信文本特征和对抗性的文本特征，AEMT-ChineseBERT模型接收“原始文本-对抗样本”对作为输入，对抗样本的生成使用了文献2 0 的扰动策略，如表1所示，能够以混合的方式生成字符级和词组级的对抗噪声。表1对抗扰动策略对抗扰动级别原始文本对抗文本形近字替换字符发票繁体字替换字符报销拼音改写字符链接Lian Jie词序扰动词组发票词语切分词组发票发票由于本文使用了一个基于Transformer(211架构的单塔神经网络对输入的常规短信和对抗文本这两类数据进行分析，所以需要在输入阶段增加额外的标识来帮助模型避免特征混淆和学习关联特征。因此，引人了语义类型编码，分别用0 和1标记输入的两条文本，并且在两种数据之间增加了特殊tokenSEP作为分割标志，过程如公式（1）所示，其中，h和u表示输人的文本对，Hoype和Utype分别表示两类数据的语义类型编码。h=CLS;h,hy+opeu=SEP;u;,u +ope为了让模型更好地学习文本数据的时序信息，原始的Transformer模型引人了三角函数绝对位置编码，位置编码矩阵P如公式（2）所示。(2)其中，pos代表当前字符的位置编号，i表示嵌人的维度，d代表嵌人维度的总数目。为了能够针对输入数ICLS)和SEP)编码据动态地调整位置编码，ChineseBERT使用了基于三角0文本位置编码语义类型编码对抗样本短信文本友嘌报銷票发函数编码改进得到的可学习的绝对位置编码，即利用一个参数矩阵计算每个输入的位置，并在模型训练时通过反向传播更新该参数矩阵。最终，将文本对进行拼接并添加位置编码后作为模型的输入，原理如公式（3）所示。x=Concat(h,u)+P考虑到在真实场景中短信的对抗性是未知的,如果在训练阶段固定原始文本和对抗文本的顺序可能会导致训练数据和真实的测试数据之间存在分布偏差，进而影响模型的精度。为了解决这一问题，本文在训练阶段额外增加了随机匹配池，用于生成不同组合的输入文本对，其主要原理如图2 所示。在测试阶段则将输入单样(1)(3)24NETINFOSECURITY2023年第10 期入选论文同一短信原始文本对抗样本输入文本对原始文本图2 融合对抗增强的随机匹配池本进行复制拼接构成输人文本对后输人模型。2.3基于ChineseBERT的主干网络为了在检测任务中向模型注人先验知识,本文使用了预训练的ChineseBERT作为主干网络。ChineseBERT是一种基于BERT22改进的预训练模型，主要是在模型的输人编码部分进行了优化，使得模型更适用于中文自其他短信对抗样本原始文本个字符的拼音序列后追加了一位声调位，最终使用长度固定为8 的序列来存储每个字符的拼音，当长度小于8时，使用特殊符号“”作为填充符。为了充分融合拼对抗样本音序列中字母的关联信息和固定输出向量的维度，拼音嵌人层还引人了宽度为2 的卷积层和最大池化层进行处理，将最终结果作为拼音的嵌人向量，总体过程如图4所示。拼音编码CNNzi字zi4一然语言处理任务，对于应对对抗样本攻击也具有积极意义。具体来说，与英文不同，汉字在字形和读音方面具有显著的规律和特征，例如，“燃烧”“烘培”等都与其偏旁“火”字的含义息息相关，同时根据“银行”和“行走”词语的读音，能够容易地判断出其中“行”字的具体含义。因此，ChineseBERT以这两大特征为出发点，将汉字的字形和拼音融入到了预训练过程中。对于字形的嵌人表征，ChineseBERT针对每个汉字选择了不同的3种字体图像作为输入以提升泛化性，分别是行楷、仿宋和隶书。具体过程如图3所示，每一种字体的图像被统一处理为2 4x24大小的灰度图。然后，将三种字体的图像按通道拼接构成尺寸为2 42 43的张量，经过展平（Flatten）操作后输人至全连接层处理以获得字形的嵌人表示。Flatten,字字1Flatten字Flatten字字3图3字形嵌入的生成过程对于拼音的嵌人，ChineseBERT首先使用开源工具包pypinyin将每个字符转换为拼音序列，该工具集成了规则系统与机器学习模型，相比其他工具具有更好的转换精度。考虑到汉语拼音具有4个声调，因此，又在每图4拼音嵌入的生成过程将字形嵌人、拼音嵌人和BERT原始的字符嵌人进行拼接并经全连接层处理后即可得到融合词嵌人，原理如图5所示。字符编码字字形编码字拼音编码zi4图5融合嵌入的生成过程再将融合词嵌入和位置编码进行合并，输入至Transformer编码器来进行特征分析，该过程主要是在多个特征子空间进行文本元素相关性分析的多头自注意力机制，如公式（4）所示。Attention(Q,K,V)=softmax(字形层MultiHead(Q,K,V)=Concat(head,字形编码head2,.,.head,)wo权重字2矩阵融合层权重矩阵QKTVdk字(where head,=Attention(QW),KWK,VW)然后，加人进行用于非线性映射的前馈网络，如公式（5）所示。为了加速训练收敛和避免梯度消失问题，Transformer编码器还增加了残差连接和层归一化机制。Z=FFN(X)=o(XW)W2(5)此外，在预训练任务方面，ChineseBERT同时使用了字符掩码和整词掩码机制，使得模型对于词级特征具融合编码字(4)25NETINFOSECURITY入选论文2023年第10 期有更好的提取能力。2.4多任务优化在模型的输出阶段,采用了一种基于多任务学习的优化目标。一方面，使用了一个基于softmax激活函数的线性分类层作为主输出，对短信的类型进行判断。另一方面，为了让模型能够进一步学习到原始文本和对抗文本的关联特征，额外添加了判断输人一致性的辅助输出，并使用无监督的方式进行优化。具体来说，增加了一个用于表示输人一致性的标签，将原始文本和其对应的对抗样本对标记为1，表示这对输入具备一致性，即属于同源样本。将当前样本和随机选择的其他非同源样本（常规的或对抗性的）拼接以构成新的样本，并将它们的标签值设置为0。然后将一致性判断定义为二分类任务进行训练。最终，模型总体的优化目标如公式（6）所示。其中，y表示真实标签，表示模型的预测输出，LMain表示主分类交叉损失，Lcons表示一致性判断交叉熵损失，几是用于调整两种损失重要性的平衡超参数。基于softmax的交叉熵函数如公式（7）所示，n表示批大小，C代表类别总数。对于非一致数据，模型的主输出是无意义的。因此，在主损失前增加了控制系数ycons，当ycons=0时，非一致数据的损失为0，使得相关梯度不会被反向传播，从而避免为主任务带来干扰。L=YConsXLMain(y Main yMain)+xLCons(YCons Cons)L(y,y)=-Z(ylny+(1-y)in(1-y)nc=23实验与分析3.1数据集和评估指标为了评估AEMT-ChineseBERT模型在恶意短信检测任务中的表现，本文基于多种恶意短信和正常短信构建了数据集，恶意短信涵盖了诈骗、反动、虚假宣传等多种类型的文本。在实验中，使用了50 0 0 条数据作为训练集，2 0 0 0 条数据作为验证集，50 0 0 条数据作为测试集，并且正负样本的分布是均匀的。实验所使用服务器的硬件配置和软件环境如表2 所示。在训练过程中，使用了AdamW优化器，批大小被设置为12 8，预训练模型和其他深度学习模型的训练轮数分别被设置为不超过10 轮和2 0 轮。表2 软硬件环境信息配置信息CPUIntel(R)Xeon(R)CPU E5-2690 v4GPUNVIDIA Tesla V100 SXM2(32GB)内存硬盘操作系统深度学习框架在评估指标方面，本文使用了准确率Accuracy、精度Precision、召回率Recall和F1得分衡量各个模型的检测效果，原理如公式（8）公式（11）所示。其中TP和TN代表真正例和真负例的数量，FP和FN代表伪正例和伪负例的数量。Accuracy=7TP+FN+FP+TNTPPrecision=TP+FPTPRecall=TP+FN2PrecisionRecallF1=Precision+Recall3.2对比实验在实验中,选取了统计机器学习和深度神经网络两(6)类方法作为基线。一方面,使用基于TF-IDF特征的朴素(7)贝叶斯（NaiveBayesian，NB）模型、决策树（DecisionTree，D T）模型、随机森林（RandomForest，RF）模型、支持向量机（SupportVectorMachine，SVM）模型和KNN作为对比模型。另一方面,选择了从零训练的字符和词组级TextCNN和BiLSTM进行对比。此外，还选择了多种预训练模型作为基线，包括BERT、Ro BERT a 2 3、XLNet24和原始的ChineseBERT模型。本文对常规短信数据集和对抗性短信数据集分别评估了各个模型的表现，实验结果如表3和表4所示。分析基于常规数据的实验可以看出，深度学习方法总体上相比统计机器学习方法表征能力更强，也具有32GB512GBSSDWindows 10PyTorch 1.11.0TP+TN(8)(9)(10)(11)26NETINFOSECURITY2023年第10 期入选论文表3基于常规短信数据集的检测效果对比方法模型NBDT机器RF学习SVMKNNWord-TextCNNWord-BiLSTMChar-TextCNNChar-BiLSTM深度BERT学习RoBERTaXLNetChineseBERTAEMT-ChineseBERT表4基于对抗性短信数据集的检测效果对比方法模型NBDT机器RF学习SVMKNNWord-TextCNN发现，各模型准确率均有不同程度的下降，平均降幅达AccuracyPrecision95.28%93.07%97.84%95.40%94.14%94.09%94.20%94.14%95.86%97.75%93.88%95.78%96.16%99.57%92.72%96.02%85.22%95.88%73.60%83.28%97.26%99.87%94.64%97.19%97.48%99.62%95.32%97.42%96.64%98.58%94.64%96.57%96.14%96.01%96.28%96.15%98.60%99.31%97.88%98.59%99.02%99.16%98.88%99.02%98.34%97.34%99.40%98.36%99.12%98.77%99.48%99.12%99.32%99.42%99.52%AccuracyPrecision88.46%83.33%96.16%89.29%78.06%91.98%61.48%73.70%77.52%97.25%56.64%71.59%80.18%98.96%61.00%75.48%76.18%94.86%55.36%69.92%63.76%100.0%27.52%43.16%RecallRecallF199.42%F1到了11.6 1%。为了更加清晰地观察下降幅度，本文对各个模型在两种数据集的表现差异性进行了可视化排序，如图6 所示，AVG表示平均降幅。可以看出基于词组特征的模型相比基于字符特征的模型下降更加严重。而AEMT-ChineseBERT由于使用了融合对抗增强和多任务学习的鲁棒性提升方法，因此效果改变程度较小，在对抗性数据集上的准确率仍超过了9 8%，下降幅度仅为1.24%。原始的ChineseBERT依赖其字形和拼音先验知识，对于形近和拼音替换噪声具有一定的鲁棒性，因此，准确率降幅也小于其他基线模型。35%30%25%15%10%5%32.9018.3415.9816.089:046.366.824.325.503.241.2433.505.60BERT11:61SMd-BiLSTMford-Word-BiLSTMChar-TextCNNChar-BiLSTM深度BERT学习RoBERTaXLNetChineseBERTAEMT-ChineseBERT更高的准确率。并且，基于预训练方法的模型效果往往能够超过从零开始训练的经典神经网络模型，这证明了预训练先验知识对恶意短信识别任务具有积极影响。本文所提出的AEMT-ChineseBERT模型更是取得了最优结果，准确率达到了9 9.42%，F1得分相比包括原始ChineseBERT在内基线也更具优势，这证明融合对抗增强和多任务优化的方法对于模型在常规数据集的检测效果并无负面影响，反而能够帮助ChineseBERT进一步学习短信文本的语义特征。观察各个模型在对抗性短信数据集上的表现可以64.58%100.0%29.16%45.15%91.14%98.31%83.72%90.43%90.54%96.47%84.16%89.90%92.24%96.89%87.28%91.84%95.38%98.13%92.52%95.24%94.02%92.47%95.84%94.13%95.88%98.64%93.04%95.76%98.18%98.98%97.36%98.16%图6 模型在对抗性短信数据集上的准确率下降幅度为了进一步分析模型的分类可靠性，本文选择了AEMT-ChineseBERT和最接近其性能的ChineseBERT和RoBERTa这三种模型作为代表,将三者在两种数据集上的ROC曲线和PR曲线进行了可视化，如图7 图10 所示，其中NRM表示基于常规短信的实验，ADV表示基于对抗数据的实验。AEMT-ChineseBERT模型的两种曲线在遭受对抗攻击时变化幅度最小，显著优于其他两种基线模型，证明了该模型具有更好的分类能力和鲁棒性，因此具备应用于真实场景的潜力。3.3消融分析为了验证AEMT-ChineseBERT模型各部分设计的有效性，本文进行了消融实验。选择完整的AEMT-ChineseBERT模型作为基线，尝试移除不同的组件以观察其对检测效果的影响，具体如下。1）A EM T-Ch i n e s e BER T w/o T E：删除了用于区分文本对边界的语义类型编码；27NETINFOSECURITY入选论文2023年第10 期Roc Curve1.000.950.900.850.800.750.700图7 3种模型处理正常样本时的ROC曲线RoCCurve1.000.950.900.850.800.750.700图8 3种模型处理对抗样本时的ROC曲线PR Curve1.000.950.900.800.75 0.701.000.950.900.850.800.75AEMT-ChineseBERT(NRM)(AUC=0.9998)ChineseBERT(NRM)(AUC=0.9993)RoBERTa(NRM)(AUC=0.9991)0.050.100.050.100.750.80图9 3种模型处理正常样本时的PR曲线AEMT-ChineseBERT(ADV)ChineseBERT(ADV)ROBERTa(ADV)0.700.750.150.20错误位置率AEMT-ChineseBERT(ADV)(AUC=0.9982)ChineseBERT(ADV)(AUC=0.9896)RoBERTa(ADV)(AUC=0.9924)0.150.20错误位置率AEMT-ChineseBERT(NRM)ChineseBERT(NRM)ROBERTa(NRM)0.850.90Recall0.800.250.300.250.300.951.000.85Recall图10 3种模型处理对抗样本时的PR曲线2）A EM T-C h i n e s e BER T w/o M T：移除了输人一致性损失，仅使用基于分类交叉熵的单任务损失作为模型训练的优化目标；3）A EM T-Ch i n e s e BER T w NA：移除随机匹配池，将基于随机匹配的输入文本对固定为“原始文本-对抗样本”的顺序；4）A EM T-C h i n e s e BER T w A N：原理同上，将输人文本对固定为“对抗样本-原始文本”的顺序；5）A d v-Ch i n e s e BER T：基于对抗训练得到的Chinese-BERT模型，移除了随机匹配输人和多任务优化；6）A EM T-R o BER T a：将ChineseBERT主干网络替换为RoBERTa的模型；7）A EM T-C h in e s e BER T w/o PT :C h in e s e BER T 主干网络不加载预训练参数，直接在本文数据集进行监督训练。实验结果如表5所示，其中Ori.Acc和Adv.Acc分别代表模型在常规数据和对抗样本数据集上的准确率，Decrease代表下降幅度。分析可得，修改后模型均呈现出不同程度的下降，证明了AEMT-ChineseBERT模型的组件对于恶意短信检测任务是有意义的。在删除类型编码后，模型难以区分输人文本与内在的关联关系，进而影响了挖掘对抗特征，因此使得模型鲁棒性下降，并且也导致模型在常规数据集上表现受限。删除多任务优化后模型的性能也受到了负面影响,因为此时训练过程近0.900.951.0028NETINFOSECURITY2023年第10 期入选论文似于对抗训练，但类型编码机制为模型分析两类样本提供了区分边界以避免特征混淆，所以效果仍优于对抗训练模型。进一步对比Adv-ChineseBERT和3.2 节的原始ChineseBERT模型的效果可以发现，使用对抗训练方式有可能为模型在常规数据的检测带来负面影响。采用两种固定文本对的输入顺序后，使得训练数据和测试数据差异较大，导致模型效果也出现了下降。此外，更改主干网络和不加载预训练参数会导致模型无法获取字形和拼音的先验知识，进而影响检测效果和鲁棒性。表5消融实验结果部分细节BaselineAEMT-ChineseBERTw/oTE模型输人AEMT-ChineseBERTwNAAEMT-ChineseBERTwANAEMT-ChineseBERTw/oMT训练目标Adv-ChineseBERTAEMT-RoBERTa主干网络AEMT-ChineseBERTw/oPT4结束语为了解决目前恶意短信检测方法存在的鲁棒性问题，本文提出了一种高效的融合对抗增强和多任务优化的检测方法。在输人部分，使用了基于对抗增强的随机匹配输入方式，使得模型同时能够接收多类型的输入数据，并使用语义类型编码避免特征杂。在主干网络部分，使用ChineseBERT预训练模型实现了对字义、字形和字音的特征抽取，以更好地学习对抗性特征。在模型输出部分，基于混合监督的多任务优化能够帮助模型更好地发现常规样本和对抗样本的关联关系以提升鲁棒性和检测效果。最终该模型在常规检测和对抗任务中的检测准确率分别达到了9 9.42%和9 8.18%，优于多种基线方法。在后续的研究中，将针对大模型的推理效率问题进一步优化，通过剪枝 2 5、蒸馏 2 6 等方法提升速度，减少硬件成本，以满足在真实检测场景中的实时性需求。参考文献：1 Beijing Qihoo Technology Co.,Ltd.2022 China Mobile PhoneSecurity Status ReportEB/OL.(2023-03-02)2023-03-16.https:/ 0 2 2 年度中国手机安全状况报告 EB/OL.(2023-03-02)2023-03-16.https:/ SUN Zijun,LI Xiaoya,SUN Xiaofei,et al.ChineseBERT:ChinesePretraining Enhanced by Glyph and Pinyin InformationC/ACL.Proceedings of the 59th Annual Meeting of the Association for ComputationalLinguistics and the 11th Intermational Joint Conference on Natural LanguageProcessing.New York:ACL,2021:2065-2075.3 TAUFIQ N M,LEE C,ABDULLAH M F A,et al.Simple SMS SpamFiltering on Independent Mobile Phonel.Security and CommunicationNetworks,2012,5(10):1209-1220.4 HO T P,KANG H S,KIM S R.Graph-Based KNN Algorithm forSpam SMS DetectionJ.Journal of Universal Computerence,2013,19(16):2404-2419.Ori.AccAdv.Acc99.42%98.18%下降0.40%下降0.56%上升0.16%下降0.36%下降1.2 4%上升0.8 8%下降0.52%下降0.8 4%上升0.32%下降0.6 6%下降1.36%上升0.7 0%下降0.7 8%下降1.50%上升0.7 2%下降0.2 8%下降0.32%上升0.0 4%下降1.6 0%下降1.32%下降0.2 8%Decrease1.24%5