基于超图神经网络的恶意流量分类模型.pdf

2023 年 10 月 Chinese Journal of Network and Information Security October 2023 第 9 卷第 5 期 网络与信息安全学报 Vol.9 No.5 基于超图神经网络的恶意流量分类模型 赵文博1,2,3，马紫彤1,2,3，杨哲1,2,3（1.苏州大学计算机科学与技术学院，江苏 苏州 215006；2.江苏省计算机信息处理技术重点实验室，江苏 苏州 215006；3.江苏省大数据智能工程实验室，江苏 苏州 215006）摘 要：随着网络的普及和依赖程度的不断增加，恶意流量的泛滥已经成为网络安全领域的严重挑战。在这个数字时代，网络攻击者不断寻找新的方式来侵入系统、窃取数据和破坏网络服务。开发更有效的入侵检测系统，及时发现并应对恶意流量，可以应对网络攻击的持续威胁，极大地减少网络攻击带来的损失。然而现有的恶意流量分类方法存在一些限制，其中之一是过度依赖对数据特征的选择。为了提高恶意流量分类的效果，提出了一种创新的方法，即基于超图神经网络的恶意流量分类模型。这一模型的核心思想是将流量数据表示为超图结构，并利用超图神经网络（HGNN，hypergraph neural network）来捕获流量的空间特征。HGNN 能够更全面地考虑流量数据之间的关系，从而更准确地表征恶意流量的特征。此外，为了处理流量数据的时间特征，引入了循环神经网络（RNN，recurrent neural network），进一步提高了分类模型的性能。最终，提取的时空特征被用于进行恶意流量分类，从而帮助检测网络中的潜在威胁。通过一系列消融实验，验证了HGNN+RNN模型的有效性，证明其能够高效提取流量的时空特征，从而改善了恶意流量的分类性能。在 3 个广泛使用的开源数据集，即 NSL-KDD、UNSW-NB15 和 CIC-IDS-2017 上，模型取得了卓越的分类准确率，分别达到了94%、95.6%和99.08%。这些结果表明，基于超图神经网络的恶意流量分类模型在提高网络安全水平方面具有潜在的重要意义，有望帮助网络安全领域更好地应对不断演变的网络威胁。关键词：恶意流量；网络攻击；超图神经网络；循环神经网络 中图分类号：TP399 文献标志码：A DOI:10.11959/j.issn.2096109x.2023069 Model of the malicious traffic classification based on hypergraph neural network ZHAO Wenbo1,2,3,MA Zitong1,2,3,YANG Zhe1,2,3 收稿日期：20220923；修回日期：20230818 通信作者：杨哲， 基金项目：国家自然科学基金（62072321）；教育部产学协同育人项目（220606363154256）；江苏省高校自然科学基金（20KJB520002）；江苏省未来网络科研基金（FNSRFP-2021-YB-38）；江苏高校优势学科建设工程资助项目 Foundation Items:The National Natural Science Foundation of China(62072321),The Project of the Ministry of Education onthe Cooperation of Production and Education(220606363154256),The Natural Science Foundation of the Jiangsu Higher EducationInstitutions of China(20KJB520002),The Future Network Research Foundation of Jiangsu Province(FNSRFP-2021-YB-38),Project Funded by the Priority Academic Program Development of Jiangsu Higher Education Institutions 引用格式：赵文博,马紫彤,杨哲.基于超图神经网络的恶意流量分类模型J.网络与信息安全学报,2023,9(5):166-177.Citation Format:ZHAO W B,MA Z T,YANG Z.Model of the malicious traffic classification based on hypergraph neuralnetworkJ.Chinese Journal of Network and Information Security,2023,9(5):166-177.第 5 期 赵文博等：基于超图神经网络的恶意流量分类模型 167 1.School of Computer Science and Technology,Soochow University,Suzhou 215006,China 2.Provincial Key Laboratory for Computer Information Processing Technology,Suzhou 215006,China 3.Provincial Key Laboratory for Intelligent Engineering in Big Data,Suzhou 215006,China Abstract:As the use and reliance on networks continue to grow,the prevalence of malicious network traffic poses a significant challenge in the field of network security.Cyber attackers constantly seek new ways to infiltrate systems,steal data,and disrupt network services.To address this ongoing threat,it is crucial to develop more effective intrusion detection systems that can promptly detect and counteract malicious network traffic,thereby minimizing the resulting losses.However,current methods for classifying malicious traffic have limitations,particularly in terms of excessive reliance on data feature selection.To improve the accuracy of malicious traffic classification,a novel malicious traffic classification model based on Hypergraph Neural Networks(HGNN)was proposed.The traffic data was represented as hypergraph structures and HGNN was utilized to capture the spatial features of the traffic.By considering the interrelations among traffic data,HGNN provided a more accurate representation of the characteristics of malicious traffic.Additionally,to handle the temporal features of traffic data,Recurrent Neural Networks(RNN)was introduced to further enhance the models classification performance.The extracted spatiotemporal features were then used for the classification of malicious traffic,aiding in the detection of potential threats within the network.Through a series of ablative experiments,the effectiveness of the HGNN+RNN method was verified.These experiments demonstrate the models ability to efficiently extract spatiotemporal features from traffic,resulting in improved classification performance for malicious traffic.The model achieved outstanding classification accuracy across three widely-used open-source datasets:NSL-KDD(94%accuracy),UNSW-NB15(95.6%accuracy),and CIC-IDS-2017(99.08%accuracy).These results underscore the potential significance of the malicious traffic classification model based on hypergraph neural networks in enhancing network security and its capacity to better address the evolving landscape of network threats within the domain of network security.Keywords:malicious traffic,cyberattack,hypergraph neural network,recurrent neural network 0 引言 互联网的飞速发展为人们的生活提供了极大的便利，每天各种联网设备会产生巨大的流量。然而在真实网络环境中，除了正常的网络流量外，恶意流量也无所不在1。恶意流量是指通过网络创建或接收的任何可疑链接、文件或连接而产生的流量。这些流量通过在应用层攻击 API、网站等，以达到获利的目的，也会损害国家、企业及个人的合法权益，严重影响互联网的安全。恶意流量的类型是多样的，即使是同一种类型的恶意流量之间也有很大区别，如网络攻击的流量可以细分为端口扫描、登录破解、漏洞利用、DDoS 攻击等类型2。恶意流量的分类是入侵检测系统的一个重要功能，自机器学习模型被应用于入侵检测以来，研究人员提出了多种基于传统机器学习的恶意流量分类模型。此类模型将支持向量机、随机森林、遗传算法等多种机器学习方法与不同的特征选择方法相结合，在相关数据集上取得了比较好的效果3-5。但是随着入侵攻击变得越来越多样化，网络流量的特征随之变得复杂，上述传统机器学习模型在不同数据集上的特征提取方面展现了相当大的局限性。深度学习的强大特征表达能力，可以从训练数据的有限特征中发现新特征，又可以很好地处理复杂的数据集，目前已被广泛应用于图像处理、音频处理、自然语言处理等领域6。而网络流量具有网络拓扑信息，且恶意流量的分布通常与时间相关，网络流量之间存在互相影响的空间特征和时间特征，因此可以使用深度学习直接学习流量数据的时空特征，从而使得流量分类不再依赖特定的特征选择方法。为了充分学习网络流量的时空特征，本文提出了一种新的恶意流量分类模型，主要工作包含168 网络与信息安全学报 第 9 卷 以下 3 个方面。1)将超图应用于流量分类领域，提出了一种基于超图神经网络的恶意流量分类模型。2)为网络流量数据构建超图数据结构，分别使用超图神经网络（HGNN，hypergraph neural network）与循环神经网络（RNN，recurrent neural network）在超图的空间和时间序列角度提取顶点特征，充分使用原有数据的空间和时间序列信息，大大提高了网络流量特征的提取能力。3)所提模型在 3 个代表性的恶意流量数据集（NSL-KDD、UNSW-NB15 和 CIC-IDS-2017）上取得了较好的检测效果。实验结果表明，所提模型优于传统机器学习模型及相关深度学习模型。1 相关工作 恶意流量分类是入侵检测系统的重要功能，对网络安全具有重要的现实意义7。研究人员在这方面进行了相当广泛的探索，提出了许多基于传统机器学习或者深度学习的模型。流量数据的特征较多，且包含部分无关特征与冗余特征，因此对于恶意流量分类这一任务，选择相对较好的特征非常重要8。许多恶意流量分类模型使用特征选择技术对流量特征进行筛选处理后，再进行机器学习模型的训练。Vijayanand 等9提出了一种基于遗传算法的特征选择和支持向量机分类器的入侵检测系统，并在 CIC-IDS2017 数据集上取得了较高的准确率。Lu 等10首先使用信息增益获取对分类结果影响较大的特征，再结合卷积神经网络（CNN，convolutional neural network）与 长短 期 记 忆（LSTM，long short-term memory）网络实现对恶意流量的分类，并使用 NSL-KDD 数据集验证了其方法的有效性。Tang 等11使用 41 个特征中的6 个基本网络特征，使用深度 神经网络在NSL-KDD 数据集上获得了 75.75%的准确率。Wang 等12在 CIC-IDS2017 数据集上首先使用决策树生成的特征重要性权重以选择特征，然后通过合成少数过采样技术（SMOTE，synthetic mi-nority over-sampling technique）优化样本类别的分布，再使用 LSTM 进行数据特征的提取及分类。特征选择技术虽然能提高分类效果、降低学习任务的难度，但是不同的数据集之间的特征相差较大，同样的特征选择方式很难在不同的数据集上都取得较好的结果13。为了解决这个问题，研究者尝试使用深度学习提取流量数据的特征，以提高网络流量的分类能力。Muna 等14使用深度前馈神经网络与深度自编码器构建了异常检测系统（ADS，anomaly detection system），使用深度学习模型自动分析原始 网 络 数 据 以 发 现 其 中 的 异 常 数 据，在UNSW-NB15 数据集上取得了不错的效果。Ahmim 等15针对 CIC-IDS-2017 数据集提出了一种由 3 个分类器组成的混合模型，通过不同分类器提取不同的特征，再综合不同分类器的输出获得最终的预测结果。这两种模型使用深度学习直接提取流量数据的潜在特征，没有考虑流量数据本身所具有的时间与空间特性。针对时间特征的提取，Yin 等16提出了一种基 于 RNN 的 入 侵检测 深 度学习 模 型，在NSL-KDD 数据集上的性能上优于其他传统的机器学习模型，表明 RNN 非常适合入侵检测。这种模型虽然有效提取了流量数据的时间特征，但是忽略了流量数据的空间特征。为了充分提取流量数据的时间特征与空间特征，Zhang 等17提出了使用 CNN 提取流量数据的空间信息、使用 LSTM 提取时间特征的模型，在UNSW-NB15 数据集上的实验结果表明，其模型有效提高了恶意流量分类的准确率。同样，Liu 等18的模型在流量的时间特征提取上也使用了 LSTM，不同的是在提取流量的空间特征时使用了简化的图卷积（SGC，simplified graph convolutional）网络，在 UNSW-NB15 数据集上也取得了较好的结果。以上模型充分考虑了流量时间与空间上的特性，但CNN 模型往往要求流量数据长度一致，故不能利用全部的数据，造成部分数据丢失。Liu 等18在空间特征的提取方面使用的 SGC 可以避免数据丢失，但由于图的结构只能表示二元关系，在对多元关系进行建模时往往会造成信息上的损失19。超图结构与图相比可以尽可能地保存多元关系的高阶信息，因此在过去的几年里，超图学习在许多领域得到了广泛的发展和应用。Zhou 等19最早将超图结构应用于机器学习，提出了一种超第 5 期 赵文博等：基于超图神经网络的恶意流量分类模型 169 图直推学习模型，该模型用来表示超图结构上的标签传播过程，从而可以使用超图进行样本的分类和聚类。由于卷积神经网络在很多领域取得了巨大的成功，受 Kipf 等20在图结构上提出的图卷积神经（GCN）网络的启发，Feng 等21在超图上提出了超图神经网络，通过超边卷积的方法使得超图的顶点可以获得邻居顶点的特征信息，从而提取拓扑图的空间特征。循环神经网络的结构特点使得其在处理序列信息时具有较大优势22，其隐藏层中的循环信息使得其在处理数据时充分使用了当前状态的输入以及上一状态隐藏层的输出。由于 RNN 具有强大的序列信息提取能力，目前已经被广泛使用在输入为序列信息的业务场景，因此可以使用 RNN提取网络流量中存在的时间特征。在相关的流量分类模型中16，基于 RNN 的模型展现出了强大的时间特征的提取能力。综上所述，本文提出了一种基于超图神经网络的恶意流量分类模型，使用超图神经网络提取网络流量的空间特征，使用 RNN 提取时间特征，分 别 使 用NSL-KDD、CIC-IDS-2017与UNSW-NB15 数据集来评估模型对恶意流量分类的性能，并与其他流量分类模型进行对比。2 模型设计 2.1 模型框架 网络流量存在空间与时间两个维度的特征。在对恶意流量进行分类时，充分利用这些信息，可以提高模型识别正常和恶意流量的性能。为了充分提取流量的时空特征，本文提出了一种基于超图神经网络和循环神经网络的恶意流量分类模型，使用 HGNN 提取流量的空间特征，使用 RNN提取流量的时间特征。图 1 为 HGNNRNN 模型结构示意，包括输入层、HGNN 层、RNN 层和输出层。输入层首先对原始流量数据进行预处理，然后为网络流量构建超图结构，将得到的超图结构输入 HGNN 层，提取其空间特征，将 HGNN层的输出输入 RNN 层提取时间特征。在 RNN 层之后，通过输出层输出预测结果。2.2 输入层 输入层主要对原始流量数据进行数据预处理并构建超图结构。其中，数据预处理流程如图 2所示，主要分为采样、数据清洗、标签编码、数值归一化、构建超图 5 个步骤。数据清洗可以清除数据集中的不完整、不准确、有问题的数据和记录，提高数据集的质量。标签编码的作用是将原始数据流量中的非数字特征转化为数字特征，保证所有数据都是数值型，方便模型的学习，同时可以通过标签编码重新划分样本的所属类别，将流量多分类任务转化为区分正常与恶意流量的二分类任务。流量特征转化为数值类型后，特征的取值大小不同，容易导致特征空间中样本点的聚类效果受个别特征值影响较大，受其他特征值影响较小。为了减小异常值的影响，需要使用归一化将特征 图 1 HGNNRNN 模型结构示意 Figure 1 Model structure based on HGNN and RNN 170 网络与信息安全学报 第 9 卷 值映射在(0,1。本文使用最大最小归一化方法，如式(1)所示。MinMaxMiniixx(1)其中，ix表示单个数据的取值，Min是数据所在列所有数据的最小值，Max是数据所在列所有数据的最大值。经过归一化后的数据减小了奇异样本导致的不良影响，可用于超图结构的构建。图 2 数据预处理流程 Figure 2 Data preprocessing process 2.3 超图神经网络层 超图神经网络层在模型中用于提取流量数据空间特征。流量数据空间特征指的是数据背后的网络拓扑结构，用超图结构来表示流量数据可以尽可能地保留原始流量的拓扑信息。超图是普通图的推广，与普通图相比，其最大特点是超图中的一条边可以连接两个以上的顶点，称为超边（hyperedge）23，即超边是超图中所有顶点的一个子集。基于此，可以将超图定义为式(2)中的形式。(,)GV E(2)上式表示具有顶点集（V）和超边集（E）的超图 G。与普通图的邻接矩阵类似，超图 G 可以用VE表示其关联矩阵 H，其中每个元素h可以根据式(3)定义。1,(,)0,veh v eve(3)超图及其关联矩阵如图3所示。已知超图中每个顶点都属于一个特定的类，则根据超图的关联矩阵和已知类别的顶点，就可以预测其他顶点所属的类别。图 3 超图及其关联矩阵 Figure 3 Hypergraph and incidence matrix 超边卷积层示意如图4所示，HGNN通过定 图 4 超边卷积层示意 Figure 4 Schematic of the hyperedge convolution layer 第 5 期 赵文博等：基于超图神经网络的恶意流量分类模型 171 义在频谱上的卷积操作，利用顶点边顶点的变换有效地提取超图上的高阶相关性。Feng等21将超边卷积表示为式(4)的形式。1/21T1/2vevYDHWDH DX(4)其中，vD为顶点的度对角矩阵，对于顶点vV，其度定义为()()(,)e Ed vw e h v e。eD为超边的度对角矩阵，对于一个超边eE，其度的定义如下，()(,)v Vd eh v e。W为超边权重的对角矩阵，即1diag(,)nwwW。卷积核12DDR是训练过程中要学习的参数，其应用于超图中的顶点通过超边卷积提取的特征。经过卷积操作后，各顶点获得相应邻居顶点的信息，得到2n DYR，即可用于分类。超图神经网络利用超边卷积的方法提取超图结构中隐含的高阶信息，可以利用式(5)构建一个超边卷积层。(1)1/21T1/2()()()lllvevXDHWDH DX(5)其中，()lN DRX表示第l层超图的特征信息，(0)XX，表示非线性激活函数。通过式(5)可以构建包含多层卷积的超图神经网络。超图神经网络中顶点边顶点的变换过程如图5所示，图中N为超图的顶点数量，E为超图的超边数量。首先，通过可学习的卷积核()l处理初始顶点1()n DlXR的特征以提取到2D维的顶点特征2n DXR。然后，根据超边聚集顶点的特征，通过TE NHR的乘法运算形成超边的特征2E DR，最后通过与矩阵H相乘，得到最终的输出，输出的顶点特征聚合了与其相关的超边特征。式(5)中vD和eD起到了归一化的作用。由于超图神经网络具有较好的提取空间特征能力，因此使用超图神经网络可以充分地提取流量数据空间特征，从而提升分类的精度。2.4 循环神经网络层 循环神经网络层在模型中的主要功能是对流量数据进行时序特征的提取。在流量数据中，前一个时间节点的流量特征对于当前时间的数据来说是非常重要的，如在拒绝服务（DoS）攻击的检测中，在较小的时间范围内会出现大量异常流量24。图 5 超图神经网络中顶点边顶点的转换过程 Figure 5 Process of the node-edge-node transform in HGNN 与传统的前馈神经网络不同，RNN可以记忆之前的信息并作用于当前的输出。循环神经网络包括输入单元、输出单元和隐藏单元，隐藏单元起到记忆信息的重要工作25。RNN模型的输出综合了从输入单元到隐藏单元的信息流以及从前一个状态的隐藏单元到当前状态隐藏单元的信息流，RNN结构示意如图6所示。图 6 RNN 结构示意 Figure 6 Schematic of RNN structure RNN中隐藏单元的值可以通过式(6)来计算。式中th为当前状态隐藏单元的值，tx为当前状态的输入，1th为上一状态隐藏单元的值。U是输入层到隐藏层的权重矩阵，W是上一隐藏层到前隐藏层的权重矩阵，b为偏置。U、W、b是整个网络共享的参数，f表示非线性激活函数。1()tttfhUxWhb(6)RNN的输出可以通过式(7)表示，式中ty为当前状态网络的输出，V为隐藏层到输出层的权重矩阵，c为偏置。与U、W、b相同，V与c同样是整个网络共享的参数，g表示非线性激活函数。172 网络与信息安全学报 第 9 卷 ()ttygcVh(7)由于隐藏单元的存在，此时网络的输出ty不仅包含当前状态的输入信息，同样获得了上一状态隐藏单元所包含的所有信息。在使用RNN处理流量数据时，可以将不同的时间节点表示为不同状态，因此可以通过RNN对流量数据进行时序特征的提取。由于恶意流量的特征通常与上一时间的流量状态相关，近些年使用RNN处理时序特征的方法被广泛应用于恶意流量分类16。2.5 输出层 本文所提模型中，RNN层的输入来源于HGNN层的输出，由于在HGNN层中进行了空间特征的提取，各顶点已包含邻居顶点的信息。经过RNN层之后，又获得了时间序列信息，这种特征处理方法使得网络充分提取了网络流量中潜在的时间、空间信息。RNN层处理后的特征即可以用于恶意流量分类模型最终的输出，将此结果输入全连接层，经过softmax函数即可获得待分类样本属于各类别的概率，再通过argmax操作即可获得待测样本的预测结果。3 实验 3.1 实验环境与数据 本文实验基于64位Windows 10操作系统，CPU为Intel Core i7-10700 2.9 GHz，内存为32 GB。算法实现使用Python 3.6作为基础语言环境，使用NumPy 1.19.5 进行数据格式转换和矩阵运算，相关深度学习模型框架的开发基于pytorch 1.10.0版本。为了验证本文所提模型对于不同数据集的泛化能力，本文选用NSL-KDD、UNSW-NB15和CIC-IDS-2017这3个广泛用于流量分类领域的数据集21。模型在这3个数据集上分别进行对比实验与消融实验，以验证模型对恶意流量分类的效果，以及添加RNN模块对于模型特征提取能力的提升。NSL-KDD数据集有效解决了KDD Cup 1999 数据集的样本冗余问题，同时调整了各样本的比例，使得数据集的类别更加均衡26。由于测试集中包含部分训练集中不存在的攻击类型，因此在NSL-KDD数据集上的实验结果可以很好地体现模型的实际恶意流量检测能力。UNSW-NB15是澳大利亚网络安全中心（ACSC，Australian Cyber Security Centre）的Cyber Range 实验室于 2015 年使用IXIA PerfectStorm工具生成的新数据集，包含真实的网络正常活动和攻击行为27-31。该数据集由47个属性特征和2 个类别特征组成，包含9种攻击类型。UNSW-NB15数据集的异常行为较为新颖与均衡，适合用于入侵检测研究。CIC-IDS-2017 数据集是在真实的流量中模拟黑客攻击，并通过监控器收集网络中的数据流量32。该数据集涵盖了非常广泛的流量，包括基于Web的攻击、常见渗透攻击、僵尸网络、网络扫描等。CIC-IDS-2017数据集中的每条数据包含79个特征，更容易提高恶意流量检测模型的准确性。3.2 评价指标 本 文 采 用 准 确 率（Accuracy）、精 确 率（Precision）、召回率（Recall）以及F1值（F1-score）作为评价指标，各指标的计算方法如下。准确率描述了正确预测的样本数与总样本数的比值。TP+TNAccuracy=TP+FP+TN+FN(8)精确率描述了预测为正的样本数与实际为正的样本数的比值。TPPrecision=TP+FP(9)召回率描述了预测为正的样本数与所有正样本数的比值。TPRecall=TP+FN(10)F1值是由准确率和召回率两个因素平衡构成的综合因子，是评价模型综合检测有效性的有效衡量指标。2 Recall Precision1Recall+PrecisionF(11)上述4个式子中，T（true）和F（false）分别代表正确和错误分类的样本，P（positive）和N（negative）分别表示预测结果是正样本和负样本。第 5 期 赵文博等：基于超图神经网络的恶意流量分类模型 173 数据集中的所有样本可以分为4类：TP、TN、FP和FN。其中，TP表示预测标签为正且分类正确，TN表示预测标签为负且分类正确，FP表示预测结果为正且分类错误，FN表示预测结果为负且分类错误。3.3 实验结果和分析 3.3.1 模型超参数选择 在模型的超参数选择上，主要包括学习率、丢弃率、隐藏层大小等。对所有的实验采用相同的超参数设置，首先采用网格搜索来进行超参数调 整：学 习 率0.001,0.005,0.01，丢 弃 率0,0.25,0.5r，隐藏层大小32,64d。使用模型在CIC-IDS-2017数据集上的准确率及训练时间作为参考依据，其中不同HGNN以及RNN层数下的模型性能表现如表1所示。以上实验分别取HGNN与RNN的03层搭建模型，考察模型的分类能力及时间。其中，HGNN层数取0时，为模型仅使用不同层数的RNN提取序列特征的情形；RNN层数取0时，为仅使用不同层数的HGNN提取空间特征的情形。较为特殊的是，HGNN与RNN均为0层时，输入数据与输出之间仅有单层全连接层。表 1 HGNN 以及 RNN 层数下的模型性能表现 Table 1 Model performance with different HGNN and RNN layer number HGNN 层数 RNN 层数 准确率 时间 0 0 88.90%14s 0 1 94.85%20s 0 2 97.45%57s 0 3 96.60%1m28s 1 0 96.35%2m17s 1 1 99.50%2m30s 1 2 99.45%2m39s 1 3 99.45%2m56s 2 0 98.90%4m35s 2 1 99.25%4m49s 2 2 99.30%4m55s 2 3 99.35%5m13s 3 0 98.95%6m50s 3 1 99.05%7m2s 3 2 99.10%7m13s 3 3 99.35%7m25s 通过对实验结果的分析可知，随着HGNN与RNN层数的增加，训练所需的时间也随着模型的复杂程度相应增加，但模型的分类能力并没有随着模型模块层数的堆叠而展现出更好的水平，图7展示了在不同参数组合下，CIC-IDS-2017数据集上模型的准确率分布情况。图 7 CIC-IDS-2017 数据集上模型的准确率分布 Figure 7 Model accuracy distribution on CIC-IDS-2017 dataset 由图7和表1可得，模型使用1层HGNN与1层RNN的组合时，获得了最佳的分类效果，更多层的堆叠对于提升分类效果并没有帮助，因此在本文实验中均采用单层HGNN与单层RNN的参数组合。3.3.2 对比实验 本文将所提模型与恶意流量分类实验中常用的机器学习经典模型分类回归树（CART，classification and regression tree）、支持向量机（SVM，support vector machine）、K近邻算法（KNN，K-nearest neighbors）以及其他相关深度学习模型对比，分别考察其在NSL-KDD、UNSW-NB15、CIC-IDS-2017数据集上准确率、精确率、召回率、F1值这4个指标的表现。表2给出了NSL-KDD 数据集上不同模型的分类性能比较，表中CART、SVM与KNN这3种模型的实验结果是在与本文模型相同环境以及实验设置情况下得出，其他模型的实验结果均引用自原论文中提供的结果。Yin等16提出的RNN-IDS获得了83.28%的准确率，Tang等11使用特征选择以及深度神经网络的模型获得了92.54%的准确率。结果表明，本文所提模型在准确率、精确率上大幅优于比较模型，相较表中相应指标的次优结果分别为174 网络与信息安全学报 第 9 卷 94.00%、94.12%，相较表中相应指标的次优结果分别提升了1.46%、11.54%，虽然召回率指标略低于部分比较模型，但是由于受精确率的影响，F1值在整体上依然优于所有比较模型，达到了94.06%，相较于SVM模型提升了5.26%。总体而言，本文模型的综合性能优于上述对比模型。表 2 NSL-KDD 数据集上不同模型的分类性能比较 Table2 Classification performance comparison of different model on NSL-KDD dataset 模型 准确率 精确率 召回率 F1 值 CART 87.03%79.56%96.04%87.03%SVM 89.02%82.58%96.04%88.80%KNN 83.33%74.04%97.36%84.11%RNN-IDS16 83.28%DNN11 92.54%90.90%本文 94.00%94.12%94.00%94.06%表3给出了UNSW-NB15数据集上不同模型的分类性能比较。SGC-LSTM指的是Liu等18使用的SGC结合 LSTM的模型，在UNSW-NB15上的准确率达到了91.67%，召回率达到了89.89%。Muna等14提出的ADS结合了深度前馈神经网络与深度自编码器，在此数据集上的准确率为92.40%，召回率为93.00%。本文模型在准确率、精确率、召回率、F1值这4个指标上均优于比较模型，相较表中其他模型在相应指标的次优结果准确率提升了3.2%，精确率提升2.62%，召回率提升2.46%，F1值提升5.32%，分别达到了95.60%、95.68%、95.46%、95.56%。表 3 UNSW-NB15 数据集上不同模型的分类性能比较 Table 3 Classification performance Comparison of different models on UNSW-NB15 dataset 模型 准确率 精确率 召回率 F1 值 CART 92.00%88.10%92.50%90.24%SVM 88.50%89.04%81.25%84.97%KNN 91.00%93.06%83.75%88.16%SGC-LSTM 18 91.67%89.89%ADS14 92.40%93.00%本文 95.60%95.68%95.46%95.56%表4给出了CIC-IDS-2017数据集上不同模型的分类性能比较，Hybrid IDS 是Ahmim等15提出的混合分类模型，在此数据集上达到了96.67%的准确率。SMOTE-LSTM 指的是Wang等结合少数过采样技术（SMOTE）与LSTM的分类模型12，在此数据集上的准确率、精确率、召回率、F1值分别为98.90%、98.90%、98.90%、98.90%。在该数据集上的多分类的结果表明，不同模型的4 个指标的表现相对NSL-KDD、UNSW-NB15都有较大提升，本文模型在准确率、精确率、召回率、F1值这4个指标上领先于比较模型，分别为99.08%、99.09%、99.08%、99.08%。与其他模型在相应指标的次优结果相比，准确率提升0.18%，精确率提升0.13%，召回率提升0.18%，F1值提升0.18%。表 4 CIC-IDS-2017 数据集上不同模型的分类性能比较 Table 4 Classification performance comparison of on CIC-IDS-2017 dataset 模型 准确率 精确率 召回率 F1 值 C