一种并行多尺度特征融合的入侵检测模型_李国燕.pdf

收稿日期：2021-07-30修回日期：2021-10-07基金项目：天津市教委科研计划基金资助项目（2016CJ12）作者简介：李国燕（1984-），女，天津人，副教授，博士。研究方向：下一代互联网技术、人工智能。通信作者：刘毅（1969-），男，天津人，教授，博士。研究方向：智能信息处理。*摘要：为解决现有入侵检测方法缺乏网络流量动态时空相关性而引起的分类准确率低和误报率高等问题，提出一种并行多尺度特征融合的入侵检测模型（parallel multi-scale feature fusion，PMMF）。该模型将网络流量数据以图像和序列两种形式表示，基于改进的多尺度残差卷积对流量图像进行空间特征提取和表示，引入 BiLSTM 模型学习流量序列的时间序列特征，将两个网络结构的输出特征融合再进行分类。在 NSL-KDD 数据集上测试，实验结果表明，PMMF 模型在降低误报率的同时有效地提高了准确率，具有较高的入侵检测性能。关键词：入侵检测；双向长短期神经记忆网络（BiLSTM）；残差卷积；多尺度中图分类号：TP393文献标识码：ADOI：10.3969/j.issn.1002-0640.2022.11.006引用格式：李国燕，周相茹，刘毅，等.一种并行多尺度特征融合的入侵检测模型 J.火力与指挥控制，2022，47（11）：29-35.一种并行多尺度特征融合的入侵检测模型*李国燕，周相茹，刘毅*，王丽（天津城建大学计算机与信息工程学院，天津300384）An Intrusion Detection Model of a Parallel Multi-scale Feature FusionLI Guoyan，ZHOU Xiangru，LIU Yi*，WANG Li（School of Computer and Information Engineering，Tianjin Chengjian University，Tianjin 300384，China）Abstract：In order to solve such problems as low classification accuracy rate high false alarm rateand others caused by the lack of dynamic spatiotemporal correlation of network traffic in the existingintrusion detection methods，a detection model of a parallel multi-scale feature fusion intrusion（PMMF）is proposed.The model represents the network traffic data with two forms of image and sequence，extracts and represents the space characteristics from the traffic images based on the improved multi-scale residual convolution，the BiLSTM model is introduced to learn the time series characteristics oftraffic sequence，and the output characteristics of the two network structures are fused and thenclassified and tested on NSL-KDD date sets.The experimental results on NSL-KDD model show thatPMMF model can effectively improve the accuracy while reducing the false alarm rate，and has higherintrusion detection performance.Key words：instrusion detection；bidirectional long and short term neural memory network；residualconvolution；multi-scaleCitation format：LI G Y，ZHOU X R，LIU Y，et al.An intrusion detection model of a parallel mul-ti-scale feature fusion J.Fire Control&Command Control，2022，47（11）：29-35.0引言随着 5G、云计算机、物联网等技术的不断发展，网络产生的海量数据给网络安全带来了巨大的挑战，甚至威胁到了国家安全1。网络入侵检测作为网络管理与网络安全的关键技术之一，不但能够优文章编号：1002-0640（2022）11-0029-07Vol.47，No.11Nov，2022火 力 与 指 挥 控 制Fire Control&Command Control第 47 卷第 11 期2022 年 11 月*29（总第 47-）火 力 与 指 挥 控 制2022 年第 11 期化网络配置，降低网络安全隐患，而且能够根据用户的行为分析提供更好的服务质量2。入侵检测受到越来越广泛的关注。通常将入侵检测中的流量分为正常流量和攻击流量两种类型，其中，攻击流量可以分为拒绝服务（DoS）、检测（Probe）、远程到本地（R2L）、用户到根（U2R）等类型。传统的流量分类方法有基于端口的方法3、基于深度报文解析（deep packet inspection，DPI）的方法4、基于统计的方法5、基于行为的方法6。基于端口和基于 DPI 的方法是基于规则的方法，人工成本高且无法识别出未知威胁。基于统计和基于行为的流量分类方法属于浅层学习，不能有效解决海量入侵数据分类问题。近年来，深度学习广泛应用于控制7、自然语言处理8、情感分析9等领域，体现了深度学习在数据分类领域的巨大潜力，同时也为网络异常检测准确度的提高提供了新的方法。吴峻等首先提出了基于 BP 神经网络和特征选择的入侵检测模型10。文献 11 使用深度神经网络的方法检测攻击类型，实验结果显示深度神经网络（deep neural network，DNN）的方法优于支持向量机、随机森林、贝叶斯网络等传统机器学习方法。文献 12 使用不同的降维方法去除冗余特征，然后将降维数据提供给卷积神经网络（convolutional neural network，CNN）网络，这种方法虽然取得了一定的效果，但是却掩盖了 CNN自动提取特征的优势。文献 13 使用 KDD99 数据集研究了 CNN 在 IDS 中的应用，经过广泛的分析，得出了 CNN 优于其他算法的结论。刘月峰等提出了一种将多尺度卷积神经网络应用到入侵检测的方法14。Kim 等于 2020 年针对网络数据提出了直接预处理技术，称为“加权”和“压缩”，使用此预处理的技术和 CNN 方法在 NSL-KDD 数据集中显示出了有意义的性能15。Yin 等于 2017 年把循环神经网络（recurrent neural network，RNN）应用到入侵检测中，与传统机器学习方法相比，该方法具有较高的准确度，但 RNN 更适合处理短期依赖，处理长期依赖的问题容易出现梯度消失16。文献 17 使用长短期记忆（long short term memory，LSTM）作为分类器进行研究，实验结果表明，LSTM 能够学习隐藏在训练数据中的所有攻击类。文献18提出了 CNN 和LSTM 混合网络入侵检测方法，在标准 NSL-KDD 数据集上实现了高精度。文献 19 提出了一种流量异常检测模型，结合 LSTM、CNN 和注意力机制，实验结果表明该模型可以很好地描述网络流量行为，有效提高异常检测能力。综上所述，现有的基于深度学习的流量模型的精度和误报率得到了提高，但是主要存在以下问题：1）单一模型准确率提升困难。单一模型无法充分考虑到网络流量的动态时空相关性，既要学习时间和空间局部特征，又要学习到序列上下文相关性信息，单一模型不能同时解决准确率低和误报率高的问题。2）单一卷积核对图像特征提取不全面。复杂模型容易出现过拟合，简单模型提取到图像特征单一，对流量图像的分类不能单单依靠局部特征，在多个条件下提取特征，才能得到流量特征的全面表达。基于以上问题，本文从网络流量空间特性和时间特性出发，提出一种并行多模型融合的深度学习入侵检测模型（PMMF 模型），并设计相应的网络结构。本文的贡献如下：1）使用并行多模型融合的方式提升分类准确率，将网络流量数据表示成序列和图像两种形式，卷积神经网络和双向长短期记忆网络分别提取了局部特征和时序特征，将两个网络结构的输出拼接后再进行分类。2）根据网络流量的数据特点，设计一种多尺度残差卷积神经网络，该网络连接了 3 个 INCE 模块，每个模块利用不同尺度的卷积核提取到不同大小不同方位的特征。同时在每个模块间加入残差学习防止网络出现退化问题。3）引入双向 LSTM 神经网络，采用双向长短期记忆（bidirectional long short term memory，BiLSTM）模型对长距离依赖特征进行特征提取，考虑序列数据中每个属性点的前后属性对特征提取的影响，从而达到降低网络入侵检测误报率的目的。1并行多尺度特征融合网络（PMMF）1.1网络结构网络流量的时间特征和空间特征是常用的两类特征，网络流量的时间特征指的是网络流中字节的时序关系；空间特征指的是字节信息转换成图片形式后的空间特征。本研究结合并行多模型融合的方法旨在提取更高层次的序列信息和更全面的流量特征，本文提出的 PMMF 模型如下页图 1 所示。首先将预处理过后的流量序列输入到 BiLSTM 层，再经过 3 层全连接层，获取流量特征的时间特征。其次，多尺度残差卷积模块部分，将预处理过后的向量转化成图像。处理后的特征图像经过第一个卷积层操作后，进入到 INCE（inception）模块，使用多个大小不同的卷积核来卷积，在不同尺度提取不同301884（总第 47-）1.2INCE 模型设计一种多尺度残差卷积神经网络，对流量图像进行特征提取和表示。卷积核尺寸决定了特征图感受野的大小，若感受野太大，会降低模型对微小差别的分类；若感受野太小，会使得网络忽略输入数据的全局信息。考虑到流量图像是稀疏二维矩阵形式，不同种类流量的纹理和特征存在差异较小，因此，特征需要从不同的范围中提取，选择较小的卷积核，获取更全面的特征信息。如图 2 所示，INCE模块正是多尺度特征提取和融合过程，其中，conv表示卷积操作，将输入的流量图像经过 3 个大小不同的卷积核（11，33，55），在 33 和 55 的卷积核前面加入 11 的卷积核，可以减少参数量，卷积后获得的 3 种尺度特征进行融合，增加了网络对细节信息的描述能力。模型输入样本 xi是 1111 的图像；把图像数据输入到第 1 层的卷积层，卷积部分是卷积神经网络重要部分，卷积函数如式（1）所示：hj=f（hj-1wj+bj）（1）式中，是卷积函数；f（x）是激活函数，使用 ReLU 非线性激活函数；hj是第 j 层的特征图；wj是第 j 层的卷积权重；bj是第 j 层的偏置。为了解决网络层数增加引起的网络退化问题，加入了残差结构，实现跳层连接，使得上一个残差块的信息没有阻碍就直接流入下一个残差块，既加快了收敛速度，又能更好地提取特征。1.3BiLSTMBiLSTM 将正向 LSTM 和反向 LSTM 连接起来，可以有效地学习数据的上下文信息。本文引入双向长短期神经网络学习流量特征之间的时序关系。BiLSTM 神经元的内部结构图如图 3 所示。图 3BiLSTM将流量的特征序列依次输入到 BiLSTM，当新信息到来的时候，LSTM 的输入门 i、遗忘门 f、输出门 o 对比单元状态 C，然后进行信息重写。信息进入LSTM 时，根据相关规则判断它是否有用，保留有用的信息，不一致的信息会被遗忘门忘记。设输入序列是（x0，x1，xt），BiLSTM 的隐藏状态（h0，h1，ht）。前一时刻的隐藏层 ht-1的输出和当前时刻的输入 xt作为遗忘门的输入，可以选择性地在记范围的特征信息，得到更全面的局部信息；每个INCE 模块间加入残差学习，防止网络出现退化问题。第 1 个 33 卷积层的输出与第 3 个 INCE 模型的输出特征跳跃连接，可以在全连接层中最大程度保留前面主要层的输出信息。最后，通过 Softmax 函数输出不同流量攻击类型。下面依次介绍各个核心模块。图 1PMMF 模型图 2INCE 模型李国燕，等：一种并行多尺度特征融合的入侵检测模型311885（总第 47-）火 力 与 指 挥 控 制2022 年第 11 期忆细胞 Ct中忘记一些信息，可以如下表示：（2）式中，W 是连接权重；b 是偏置向量；sigmoid 是激活函数。输入门和 tanh 激活函数一起控制新信息的增加，tanh 生成新的候选向量，输入门为每个记忆细胞产生一个 0-1 的值，控制要添加多少新的信息，具体公式如下：（3）（4）（5）输出门用来控制过滤多少当前的单元状态，具体公式如下：（6）对于 BiLSTM 模型，隐藏状态 ht是正向隐藏状态和反向隐藏状态的串联，可以表示为：（7）（8）（9）式中，表示点乘；x 表示输入序列；和分别表示前向 LSTM 和反向 LSTM 在 t 时刻的隐藏状态，1.4模型融合将 INCE 模块和 BiLSTM 网络输出的两种特征信息进行聚合，为了丰富原始流量表示，本文采用拼接的方式将两种类型的特征向量串联，再输入到分类函数中。本文处理的是多分类任务，选择 soft-max 函数，它将多个神经元的输出映射到（0，1）区间内，各个输出之和为 1，对应属于各个类型的概率，公式如下所示：（10）式中，yi是输入向量；n 是分类类别数。该层的输出即为样本属于每个类型的概率。损失函数选择适合多分类的交叉损失函数（categorical_crossentropy），公式如下所示：（11）式中，y 是训练样本的标签；是 softmax 的计算结果，即模型预测分类结果。2数据预处理2.1数据集为了验证模型的有效性，采用 NSL-KDD 数据集进行测试。NSL-KDD 数据集中有 5 种类别：正常、探针攻击（Probe）、拒绝服务（DoS）、用户到根（U2R）和远程到本地（R2L）。4 种攻击类型又可以细分为 39 小类，每类代表一种攻击类型，训练集中共出现了 22 个攻击类型，而剩下的 17 种只在测试集中出现。该数据集包含 KDDTrain+、KDDTrain+_20Percent、KDDTest+和 KDDTest-21 共 4 个子集，其中的每条数据记录包含 41 个特征属性和 1 个类标签。在本文实验中，选择 KDDTrain+作为训练集，KDDTest+和 KDDTest-21 都是测试集，其中，KD-DTest-21 包括了 17 种训练集不存在的额外攻击，测试结果更有真实性。其样本分布如表 1 所示。表 1流量类型2.2数据预处理1）数值化处理：数据的格式不统一，本文采用独热编码（one-hot）将数据集中的符号型特征转换成数字特征，特征 protocol_type 有 3 种协议类型：TCP、UDP、ICMP，这些协议通过独热编码转变成三维向量（1，0，0），（0，1，0），（0，0，1）；另外，service 服务类型特征有 70 种符号属性，通过编码转换成 70维二进制特征向量；flag 型的特征中包含的 11 种类型转换为 11 维二进制特征向量。通过数值化处理后，再加上原来的 38 维数字特征，数据集最后变成了 122 维二进制特征向量。2）归一化处理：连续型特征数据之间取值范围差异明显，如 num_shells 的取值范围是 0，5，而特征 num_root 的取值范围是 0，7 468，取值范围差距大，会带来运算不方便、对比没有标准等问题。本文采用归一化的方式，使得每个特征的取值范围统一TypeTrain+Test+Test-21Normal67 3439 7112 152DoS45 9277 4584 344U2R52200200R2L9952 7542 754Probe11 6562 4212 402Total125 97322 54311 850321886（总第 47-）在 0，1 区间内，归一化计算公式为：（12）式中，Xmax是指特征中的最大值；Xmin是特征的最小值。本文提出的 PMMF 模型有两个输入，一个作为LSTM 网络输入的序列数据；另一个是多尺度残差卷积网络的图像数据，归一化处理得到标准的序列数据作为 LSTM 网络的输入。然后对 122 维的数据，删除其中一位值始终为 0 的属性，得到了 121 维向量，通过数据转换的方式得到 1111 的二进制灰度图像，数据转换过程如图 4 所示。转化后的灰度图像就是多尺度残差卷积模块的输入。图 4数据转化过程3实验与结果分析3.1模型参数确定PMMF 模型中存在许多参数，模型进行 1 000次迭代训练，选择精度最高的超参数作为模型参数。将 learning rate 分别设置为 0.1、0.01、0.001 来优化模型，训练阶段要求损失值降低的同时提高准确率。从表 2 中可以看出，不同学习率在训练阶段的损失值（loss）和准确率（accuracy）随着学习率的降低，损失值减少，准确率将提高。但是在测试阶段，学习率为 0.001 的模型效果不如学习率为 0.01 的模型。这是因为对于入侵检测模型来说，学习率太小，训练阶段太精确，但模型没有很好地概括训练样本的特征。因此，模型可以很容易分类出训练集中的入侵，但无法识别出测试集中的新入侵实例。在表 2 中显示了不同学习率的精度（precision）、检测率（DR）和误报率（FAR），可以看出，当学习率为0.01时，模型各个指标都是最好的，因此，学习率选择 0.01 进行进一步评估。对于实验中其他参数，PMMF 模型在测试数据集进行了验证。经过大量的实验，Dropout 为 0.2，INCE 模块个数为 3，使用 SGD 优化器，Batch_size设置为 32，损失函数选择交叉熵损失函数（categori-cal_crossentropy）时，模型效果最优。3.2PMMF 的性能测试PMMF 模型在测试集 KDDTest+上生成的 5 分类混淆矩阵如图 5 所示，x 轴表示预测的流量种类，y 轴表示实际的流量种类，矩阵中斜对角线的数据表示正确预测出的数量。由图 5 可以看出，大多数样本集中在混淆矩阵的对角线上，表明整体分类性能很高，但是对于 R2L 和 U2R 攻击类型的分类效果略差。图 5Test+混淆矩阵PMMF 模型在 KDDTrian+和 KDDTest+数据集上的准确率比较如图 6 和下页图 7 所示，同时与DNN、LSTM、CNN、GRU 几种应用到入侵检测领域的深度学习模型相比，本模型的准确率要高于其他入侵对比模型，如图 6、图 7 所示。图 6KDDTrian+中不同模型的准确率比较3.3PMMF 性能分析为了客观地评价 PMMF 的准确率与差异性，将learning ratePrecision/%DR/%0.17958.970.018686.760.0018484.34表 2不同学习率的准确率指标李国燕，等：一种并行多尺度特征融合的入侵检测模型331887（总第 47-）火 力 与 指 挥 控 制2022 年第 11 期PMMF 模型与 CNN、DNN、LSTM、CNN-LSTM几种方法对比，这几种方法在入侵检测方面具有高度代表性和相关性，入侵流量分类结果具有高准确率。对比不同深度学习方法在两种测试数据集的效果，如图 8 所示。在 KDDTest+数据集中，CNN、LSTM 和CNN-LSTM 精确度分别是 77%、72.21%和 80.17%，DNN 的效果最差，只达到了 39%，PMMF 模型精确度可达到 87.37%，与 CNN-LSTM 模型相比提高了7%。KDDTest-21 数据集中存在训练集中不存在的流量类型，所以效果会稍差一些。图 8不同数据集上准确率图 8 在不同数据集中对比了不同模型的准确率，以下采用准确率、精确度、检测率和误报率衡量不同模型的性能。其中，准确率、精确度、检测率的值都是越高越好，而误报率是越低越好。图 9 展示了 5 种算法对 5 种攻击类型准确率的比较，PMMF模型对 Normal、Dos、U2L、R2L、Probe 的准确率分别是 80.44%、91.18%、90.09%、99.18%、95.08%，与其他几种模型的准确率相比有所提高。从图 10 可以直观地看出，PMMF 比其他几种方法精确度更高，这是因为 PMMF 同时考虑了空间特征和时序特征，并且在 CNN 上添加多尺度残差卷积，空间特征信息提取更加全面。图 11 显示 5 种算法对不同攻击的检测率，几种网络模型在正常流量上的表现相差不多。对于R2L 类型的攻击流量，CNN-LSTM 网络的检测率是96.42%，PMMF 模型的检测率比 CNN-LSTM 提高了1.55%。而 U2R 类型的攻击流量，PMMF 模型比CNN-LSTM 提高了 16.54%。从图 12 中可以看出，PMMF 模型的误报率也更低。图 115 种算法对不同攻击的检测率图 125 种算法对不同攻击的误报率图 7KDDTest+测试集中不同模型的准确率比较图 95 种算法对不同攻击的准确率图 105 种算法对不同攻击的精确度341888（总第 47-）所有方法对 U2R 和 R2L 的分类性能都不是很好。该类型在训练集中包含的样本数量非常少，在训练过程中，分类器对这些攻击类型给予较少的优先级。尽管这个问题不能完全解决，本文提出的方法大大提高了 U2R 的检测率，证明了该方法有效地改善了少数类检测率低的问题。4结论本文提出一种并行多尺度特征融合的深度学习入侵检测模型 PMMF，该模型是一种新的网络流量入侵检测方法。所提方法首先对数据进行预处理操作，然后将预处理后的数据输入到多尺度残差卷积和 BiLSTM 的并行网络中训练，通过同时学习样本特征的时空性，改善模型检测性能。实验结果表明，PMMF 模型很大程度提升小样本攻击类型的精度和检测率，有效地提高入侵检测的准确率和识别入侵类型的能力。为应对实际环境，下一步工作将通过半监督学习算法，完善模型应对未知攻击的检测能力，以达到更优异的检测效果。参考文献：1邓若伊，余梦珑，于艺，等.以法制保障网络空间安全构筑网络强国网络安全法 和 国家网络空间安全战略解读 J.电子政务，2017（2）：2-35.2王勇，周慧怡，俸皓，等.基于深度卷积神经网络的网络流量分类方法 J.通信学报，2018，39（1）：14-23.3郭楚栩，施勇，薛质.基于机器学习的端口扫描入侵检测J.通信技术，2020，53（2）：421-426.4高筱娴，龙春，魏金侠，等.基于端到端记忆神经网络的可解释入侵检测模型 J.计算机系统应用，2018，27（10）：170-176.5朱文波.流统计特征在网络流量分类中的应用研究 D.杭州：杭州电子科技大学，2015.6曹峰.基于改进行为特征分析的网络入侵检测研究 J.网络安全技术与应用，2020，20（2）：18-20.7YAN Z，XU Y.A multi-agent deep reinforcement learningmethod for cooperative load frequency control of a multi-areapowersystem J.IEEETransactionsonPowerSystems，2020，35（6）：4599-4608.8孙红，陈强越.融合 BERT 词嵌入和注意力机制的中文文本分类 J/OL.小型微型计算机系统：1-6 2021-09-04.http：/ J.吉林大学学报（理学版），2021，59（4）：929-935.10吴峻，李洋.基于 BP 神经网络和特征选择的入侵检测模型 J.计算机工程与应用，2008，45（30）：114-117.11 TAO M，FEN W，JIANJUN C，et al.A hybrid spectralclustering and deep neural network ensemble algorithm forintrusion detection in sensor networks J.Sensors，2016，16（10）：1701.12MISHRA P，VARADHARAJAN V，TUPAKULA U，et al.Adetailed investigation and analysis of using machine learningtechniques for intrusion detection J.IEEE CommunicationsSurveys&Tutorials，2019，21（1）：686-728.13WANG W，ZHU M，ZENG X W，et al.Malware traffic clas-sification using convolutional neural network for representa-tion learningC/International Conference on InformationNetworking，2017：712-717.14刘月峰，王成，张亚斌，等.用于网络入侵检测的多尺度卷积 CNN 模型J.计算机工程与应用，2019，55（3）：90-95，153.15JO W，KIM S，LEE C，et al.Packet preprocessing in CNN-Based network intrusion detection system J.Electronics，2020，9（7）：1151.16YIN C，ZHU Y，FEI J，et al.A deep learning approach forintrusion detection using recurrent neural networksJ.IEEE Access，2017（5）：21954-21961.17麻文刚，张亚东，郭进，等.基于 LSTM 与改进残差网络优化的异常流量检测方法J.通信学报，2021，42（5）：23-40.18NGUYEN M T，KIM K.Geneic convolutional neural networkfor intrusion detection systems J.Future Generation Com-puter Systems，2020（113）：418-427.19SU T，SUN H，ZHU J，et al.BAT：deep learning methods onnetwork intrusion detection using NSL-KDD datasetJ.IEEE Access，2020（8）：29575-59585.李国燕，等：一种并行多尺度特征融合的入侵检测模型欢 迎 订 阅欢 迎 投 稿351889