基于TCN-BiLSTM的网络安全态势预测.pdf

第 卷第 期 年 月系统工程与电子技术 文章编号：（）网址：收稿日期：；修回日期：；网络优先出版日期：。网络优先出版地址：基金项目：国家自然科学基金（）；国防自然科学基金（）；陕西省高校科协青年人才托举计划（）；中国陕西省创新能力支持计划（）资助课题通讯作者引用格式：孙隽丰，李成海，曹波基于 的网络安全态势预测系统工程与电子技术，（）：犚犲 犳 犲 狉 犲 狀 犮 犲犳 狅 狉犿犪 狋：，（）：基于犜犆犖 犅 犻 犔犛犜犕的网络安全态势预测孙隽丰，李成海，曹波（空军工程大学防空反导学院，陕西 西安 ；中国人民解放军第 部队，江苏 南京 ）摘要：针对现有网络安全态势预测模型预测精确度低和收敛速度慢的问题，提出一种基于时域卷积网络（，）和双向长短期记忆（，）网络的预测方法。首先，将处理时间序列问题的优势应用到态势预测上学习态势值的序列特征；随后，引入注意力机制动态调整属性的权值；然后，利用 模型学习态势值的前后状况，以提取序列中更多的信息进行预测；利用粒子群优化（，）算法进行超参数寻优，提升预测能力。实验结果表明，所提预测方法的拟合度可达 ，其拟合效果和收敛速度均优于其他模型。关键词：网络安全；态势预测；时域卷积网络；双向长短期记忆网络；粒子群优化；注意力机制中图分类号：文献标志码：犇犗犐：犖犲 狋 狑狅 狉 犽狊 犲 犮 狌 狉 犻 狋 狔狊 犻 狋 狌 犪 狋 犻 狅 狀狆 狉 犲 犱 犻 犮 狋 犻 狅 狀犫 犪 狊 犲 犱狅 狀犜犆犖 犅 犻 犔犛犜犕 ，（犃 犻 狉犇犲 犳 犲 狀 狊 犲犪 狀犱犃狀 狋 犻犿犻 狊 狊 犻 犾 犲犛 犮 犺 狅 狅 犾，犃 犻 狉犉狅 狉 犮 犲犈狀犵 犻 狀 犲 犲 狉 犻 狀犵犝狀 犻 狏 犲 狉 狊 犻 狋 狔，犡犻犪 狀 ，犆犺 犻 狀 犪；犝狀 犻 狋 狅 犳狋 犺 犲犘犔犃，犖犪 狀 犼 犻 狀犵 ，犆犺 犻 狀 犪）犃犫 狊 狋 狉 犪 犮 狋：，（）（），（），犓犲 狔狑狅 狉 犱 狊：；（）；（）；（）；引言随着网络环境日益复杂，网络安全问题已经成为当前时代国家重点关注的问题之一，网络安全态势预测任务应运而生。预测网络未来的安全态势可以为网络防御提供指导，从而降低网络攻击所带来的不利影响。近年来，各行各业都将引入人工智能作为行业发展的方向，网络安全态势预测任务也不例外。其中，将神经网络 系统工程与电子技术第 卷应用到网络安全态势预测领域已成为当前研究者们所重点关注的方向。相比传统方法，神经网络可以有效地逼近和拟合非线性时间序列数据，在态势预测领域取得了较好的效果。文献提出了一种基于经验模式分解和改进粒子群优化（，）算法优化双向门控循环单元神经网络的网络安全态势预测方法，该方法对网络安全态势数据序列进行经验模式分解后分别建立预测模型，最终将预测结果进行叠加，取得了较高的预测精度。文献提出了一种网络安全态势预测方法，该方法利用门控循环单元（，）对样本的特征进行降维后，输入 提取具有时序关系的特征，降低了训练时间，提升了预测精度。文献提出了一种改进遗传算法优化极限学习机的网络安全态势预测方法，该方法对遗传算法进行改进，虽然收敛速度加快，但是样本数目和滑动窗口数的设置对预测精度有很大影响。文献提出了一种基于改进的综合学习的（，）算法优化径向基函数（，）神经网络的网络安全态势预测方法，该方法利用改进的算法对神经网络的聚类半径进行优化，使得模型准确性更高，收敛效果更好。文献提出了一种基于注意力机制的神经网络安全态势预测方法，该方法融合了和注意力机制，并用算法进行超参数寻优，在网络安全态势预测中取得了较好的效果。为更好地学习网络安全各要素之间的关系对态势预测的影响，本文提出一种网络安全态势预测方法，该方法的主要贡献如下：（）利用时域卷积网络（，）在时间维度上学习网络态势值的序列特征；（）引入注意力机制突出对态势值影响较大的特征，提升态势值的预测精度，并加快模型的收敛速度；（）引入双向长短期记忆（，）网络进一步学习数据的前后状况以提取特征，并得到该时刻的网络安全态势值；（）通过算法优化网络模型的超参数，提升模型的预测精度，降低预测误差。基于犜犆犖 犅 犻 犔犛 犜犕的网络安全态势预测方法 模型构建该方法的网络模型主要包括个部分：输入层、编码器层、注意力层和 预测层，具体结构如图所示。图基于 预测方法的网络模型 （）输入层选取国家互联网应急中心的安全数据作为实验数据，每周进行态势评估得到态势值，将态势值进行归一化处理、滑动窗口处理，将其转换为时间步长输入维度的形式。数据重构以滑动窗口狊为例，数据重构结果如表所示。表数据重构结果犜 犪 犫 犾 犲犚犲 狊 狌 犾 狋 狊狅 犳犱 犪 狋 犪狉 犲 犮 狅 狀 狊 狋 狉 狌 犮 狋 犻 狅 狀输入样本输出样本，（）编码器层是 等于 年提出的，主要用于时序数据处理。与普通一维卷积相比添加了两个操作：因果卷积和空洞卷积，并在各网络层之间使用残差连接，在对序列特征进行提取的同时，避免了梯度消失或爆炸现象的产生。其因果卷积与空洞卷积结构如图（）所示，残差模块如图（）所示。本文将引入网络安全态势预测任务中，其因果卷积的应用可以有效地保证态势信息从未来到过去不出现“泄露”现象，进而保证数据的完整性。而空洞卷积的应用则可使以较少层数拥有较大的感受野，从而接收更长的历史数据；激活函数、和恒等映射网络能够有效抑制网络过拟合现象，从而提高网络第 期孙隽丰等：基于 的网络安全态势预测 学习速度和准确率。具体而言，假设对于一个输入狓犚狀的一维序列和一个卷积核犳：，犽犚，对序列中的元素狊的空洞卷积运算犉被定义为犉（狊）（狓犱 犳）（狊）犽犻犳（犻）狓狊犱犻（）式中：犱是膨胀因子；犽是卷积核大小；狊犱犻表示过去看的方向。在使用空洞卷积时，犱通常会随着网络层数犻的深度呈指数型增加，即犱犗（犻），确保感受野增大的同时覆盖输入时间序列的所有有效输入。图网络模型 由于的感受野依赖于网络深度狀、卷积核大小犽和膨胀因子犱，残差连接的引入可以使的感受野在网络深度很深的情况下依旧稳定，其残差模块由网络犉和输入狓组成：狅 （狓犉（狓）（）（）注意力层深度学习中的注意力机制 的主要作用为从大量信息中筛选出对当前任务目标最为重要的信息，凸显出重要特征的作用。本文引入注意力机制，对中不同时刻输出的向量权重进行计算，可以有效地突出对态势值影响较大的特征。数据经提取特征后输出犜，将其输入到注意力层中得到初始状态向量犪狋，之后将其赋予权重系数狋，得到最终输出的状态向量犢，具体计算过程如下：犲狋 （狑狋犪狋犫狋）（）狋 （犲狋）狋犻犲狋（）犢狀狋狋犪狋（）式中：犲狋代表犪狋对应的能量值；狑狋、犫狋分别代表第狋个特征向量所对应的权重系数和偏置。（）网络预测层为解决传统循环神经网络的梯度爆炸或消失问题，年，等 提出长短期记忆（，）网络，通过门控机制实现信息选择性的传递，其内部结构如图所示。图基本结构 其中，犳狋表示遗忘门；犻狋表示输入门；狅狋表示输出门；狓狋表示当前时刻的输入信息；犺狋和犺狋分别表示上一时刻和当前时刻的细胞输出值；犮狋和犮狋分别表示上一时刻和当前时刻的记忆单元；表示 激活函数；狋表示 激活函数。输入门犻狋用于控制细胞信息更新的程度。犮狋 （犠犮犺狋，狓狋犫犮）（）犻狋（犠狋犺狋，狓狋犫犻）（）遗忘门犳狋用于控制从细胞状态中丢弃的信息。犳狋（犠犳犺狋，狓狋犫犳）（）犮狋犳狋犮狋犻狋犮狋（）输出门狅狋用于控制细胞输出值的信息量。狅狋（犠狅犺狋，狓狋犫狅）（）犺狋狅狋 （犮狋）（）式中：犠和犫分别代表权重矩阵和偏置项。系统工程与电子技术第 卷在网络安全态势预测任务中，当前时刻网络的状况往往与之前之后都有关联，若单一地使用模型，则无法获取从后到前的信息。为提升预测效果，本文引入 网络 进行网络安全态势预测。由正向和反向叠加而成，其结构如图所示。图 网络模型 正向和反向网络分别对正向输入和逆向输入的态势值进行计算，得到隐藏层状态输出珤犎犺犔，犺犔，犺犔狋与珣犎犺犚狋，犺犚狋，犺犚，而后将正向和反向的隐藏层状态输出的向量进行拼接，得到 网络层的最终输出：犎珤犎，珣犎（）模型训练优化算法本文提出的 模型中采用 优化算法 ，通过求解代价函数的最优化问题来求解模型的参数。将 和 等个组件结合在一起，既结合了 能够获取更好泛化性能的优点，又融合了其他组件的各项优点。的具体算法如算法所示。算法 优化算法输入训练集输出最优模型参数：随机目标函数为犳狋（），学习率为，权重衰减因子，衰减速率、，用于数值稳定的小常数、，自适应梯度裁剪阈值 ，更新频率犽 ，迭代次数为狋，学习率预热迭代次数狋 狋，学习率慢化迭代次数狋 狋 模型初始化：设置模型参数为近似的随机值参数更新初始化一阶动量：犿初始化二阶动量：狏初始化二阶最大动量：狏 狋 狋 从训练集中采集包含犿个样本狓（），狓（犿）的小批量，对应目标为狔（犻）计算梯度：犵狋犳狋（狋）梯度裁剪：狉（犵狋）犵狉狋（狉狋，）犵狉狋 （狉狋，）犵狉狋犵狉狋 梯度中心化：犵狋犵狋 （犵狋）更新一阶动量估计：犿狋犿狋（）犵狋 修正偏差：犿狋（）犿狋犿狋狋 更新二阶动量估计：狏狋狏狋（）犵狋 更新二阶最大动量估计：狏 （狏狋，狏）修正偏差：狏狋狏 狋 更新矢量：狌狋犿狋（）槡（狏狋槡）自动调整学习率：狋 ，狋，狋狋（），狋 狋狋（）权重衰减：犱狋狋 （狏狋槡）狋（）狋 应用更新：狋狋狋狌狋狋犱狋 ：狋犽 犾狋犽 犾狋犽（）狋 狋犾狋犽 犘 犛犗算法优化模型超参数在实际应用中，超参数选取的不同将会对模型训练结果产生影响。本文采用算法 对模型中的个超参数：神经元数 、和 、批处理大小 、优化器的学习率 进行寻优，以找到模型参数的最优解，具体算法详见算法。算法算法输入训练集输出最优模型参数配置：种群大小为，迭代次数为，惯性权重狑为，学习因子犮、犮为，狉、狉为（，）的随机数生成种群粒子：（，）初始化粒子的位置：狓犻，犑狓犻，狓犻，狓犻，狓犻，狓犻，初始化粒子的速度：狏犻，犑狏犻，狏犻，狏犻，狏犻，狏犻，设置粒子的适应度函数：模型的损失函数计算每个粒子的初始适应值将初始的适应值作为每个粒子的局部最优解。计算并保存每一次迭代每个粒子的最优位置。第犱次迭代中各个粒子的最优位置为犘犱犻，犑狆犱犻，狆犱犻，狆犱犻，狆犱犻，狆犱犻，第 期孙隽丰等：基于 的网络安全态势预测 截至第犱次迭代找到最优值，将其作为全局最优解的初值，并记录其位置犵犱犑犵犱，犵犱，犵犱，犵犱，犵犱更新粒子的速度：狏犱犻，犼狑狏犱犻，犼犮狉（狆犱犻，犼狓犱犻，犼）犮狉（犵犱犼狓犱犻，犼）更新粒子的位置：狓犱犻，犼狓犱犻，犼狏犱犻，犼 重新计算每个粒子的适应度函数并更新个体最佳位置和群体最佳位置 当迭代次数或粒子的适应度函数趋于稳定时停止，将群体最佳位置的粒子作为本次求得的最优参数组合 网络安全态势预测方法的预测步骤基于 的网络安全态势预测方法主要步骤如下：步骤获取数据集，读取数据并进行清洗，随后进行归一化处理、滑动窗口处理，并划分出训练集和测试集。步骤初始化中的相关参数，设定待优化的粒子中每个维度的取值范围及粒子群算法的适应度函数，通过粒子群算法获得最优参数赋予模型。步骤将预处理后的训练集送往参数优化后的 网络进行训练。首先利用学习态势值的序列特征，之后引入注意力机制动态调整属性的权值，然后利用 学习态势值的前后状况以提取序列中的更多信息，最后将训练好的模型保存下来。步骤将测试集送入步骤，以最终保存的 网络进行预测，得到预测态势值，并分析结果。实验仿真 实验数据获取与环境配置采用国家互联网应急中心发布的安全态势周报数据作为实验基础。本文选取该网站发布的自 年第 期至 年第 期（共计 期）的态势周报数据为基础进行实验验证，其数据主要从个角度进行评估。为了直观体现网络安全态势，本文采用文献 提到的态势评估方法进行量化，根据对网络安全威胁的程度高低分配不同权重，权重分配结果具体如表所示，之后计算每周的态势值：犻犻犻 犻（）式中：犻代表某周某种网络安全威胁的数量（犻代表安全威胁的种类）；犻 代表选取的 期数据中该种安全威胁的最大数量；犻代表其对应的权重。经计算，网络安全态势值如图所示。表网络安全威胁权重分配犜 犪 犫 犾 犲犠犲 犻 犵 犺 狋狅 犳犮 狔 犫 犲 狉狊 犲 犮 狌 狉 犻 狋 狔狋 犺 狉 犲 犪 狋 狊境内感染网络病毒的主机数量境内被篡改网站的总数境内被植入后门的网站总数境内网站的仿冒页面数量新增信息安全漏洞数量 图网络安全态势值 模型及所做的所有实验均在 深度学习框架下进行，具体实验环境如表所示。表实验环境配置犜 犪 犫 犾 犲犈狓 狆 犲 狉 犻 犿犲 狀 狋 犪 犾犲 狀 狏 犻 狉 狅 狀犿犲 狀 狋犮 狅 狀 犳 犻 犵 狌 狉 犪 狋 犻 狅 狀实验环境具体配置操作系统 （）（）内存 硬盘 开发框架 开发语言 实验数据预处理数据归一化可以将特征的方差减少到一定的范围，减少异常值的影响，提升模型的收敛速率。本文采用 归一化的方法将特征数据规范到和之间，其计算公式如下所示：狓 狓 （狓）（狓）（狓）（）式中：狓 为狓映射到区间，的数据；（狓）和（狓）是数据集中的最小值和最大值。实验设置与评价标准为验证所提 态势预测算法的性能，本文设置多组实验。实验：不同优化算法分析实验：不同池化方式分析实验：模型超参数优化实验：不同模型预测精度对比实验：拟合度对比实验：收敛性分析为评价本文所提预测模型的效果，选取平均绝对误差（，）、均方误差（，）以及拟合优度决定系数（，犚）个参数作为评价指标，评价指标的计算公式如下：犖犖犻狔犻狔犻（）系统工程与电子技术第 卷犖犖犻（狔犻狔犻）（）犚犖犻（狔犻狔）（狔犻狔犻）犖犻（狔犻狔）犖犻（狔犻狔犻）（）式中：狔犻代表某样本的真实值；狔犻代表某样本的预测值；犖代表样本个数；狔犻代表真实值的平均值；狔犻代表预测值的平均值。实验结果分析 不同优化算法分析为验证本文选用的 算法的有效性，将其自适应矩估计（，）、随机梯度下降（，）、自适应梯度（，）优化算法进行对比实验，不同优化算法预测对比结果如图所示。图不同优化算法预测对比 从图可以看出，相比 算法、算法、算法，选用 算法对网络训练具有更快的收敛速度，且预测的拟合度均优于其他种优化算法。实验结果表明，选用 算法对网络训练优化具有一定的促进作用。不同池化方式分析为进一步提高模型的特征提取能力，本文在编码阶段采用最大池化方法和平均池化方法同时提取特征 ，并将提取到的特征进行融合。为了验证该方法的有效性，本文分别采用平均池化、最大池化、平均池化最大池化种不同的方案进行对比，其评价指标对比如表所示。表不同池化方式评价指标对比犜 犪 犫 犾 犲犆 狅犿狆 犪 狉 犻 狊 狅 狀狅 犳犲 狏 犪 犾 狌 犪 狋 犻 狅 狀犻 狀 犱 犻 犮 犪 狋 狅 狉 狊狅 犳犱 犻 犳 犳 犲 狉 犲 狀 狋狆 狅 狅 犾 犻 狀 犵狑 犪 狔 狊池化方式犚平均池化最大池化 平均池化 最大池化 实验结果表明，同时采用平均池化和最大池化的方案的各项指标均优于单独使用一种池化方式。经分析，原因为：最大池化和平均池化能够分别有效提取带有局部和全局意义的特征，通过池化融合将两者提取的特征相结合，能够更好地反映数据的本质，因此取得了更好的效果。模型超参数优化为更好地实现预测效果，本文采用算法对这些超参数进行寻优，以找到模型参数的最优解。算法相关参数设置如下：种群大小为，迭代次数为，惯性权重为，学习因子犮、犮为。为加快收敛速度，防止粒子在搜索空间中漫无目的地搜索，现对寻优参数设置界限如下：神经元数取值范围为，批处理大小取值范围为 ，优化器的学习率取值范围为 ，。图展示了算法优化 模型的训练结果。图优化 模型的超参数变化 从图中可以看出，训练误差随着算法的更新逐渐收敛并趋于稳定，验证了算法的有效性。经过算法优化后的网络模型参数具体如表所示。第 期孙隽丰等：基于 的网络安全态势预测 表优化后的模型参数设置犜 犪 犫 犾 犲犗狆 狋 犻 犿 犻 狕 犲 犱犿狅 犱 犲 犾狆 犪 狉 犪犿犲 狋 犲 狉狊 犲 狋 狋 犻 狀 犵 狊模型参数参数设置优化算法 学习率 卷积核膨胀因子 神经单元数 批处理大小 预测精度对比为有效对比本文所提模型与其他模型预测能力的差别，本文设置以下实验：在相同的实验条件下设置滑动窗口数，分别用 、自适应输入选择的（，）、这种模型进行预测，得到预测值与真实值对比图如图所示；不同模型评价指标如表所示。图不同模型预测的态势值对比 表不同模型评价指标对比犜 犪 犫 犾 犲犆狅犿狆 犪 狉 犻 狊 狅 狀狅 犳犲 狏 犪 犾 狌 犪 狋 犻 狅 狀犻 狀 犱 犻 犮 犪 狋 狅 狉 狊狅 犳犱 犻 犳 犳 犲 狉 犲 狀 狋犿狅 犱 犲 犾 狊模型 从图可以看出，所有模型均可达到预测效果，而本文所提 预测模型融合了和 在提取时间序列之间关系的特性，同时融入了注意力机制，预测结果更加准确。从表可以看出，本文所提 预测模型的误差值最小，相比其他模型有很大的优势。与模型相比，降低了 ，降低了 ；与模型相比，降低了 ，降低了 ；与 模型相比，降低了 ，降低了 ；与 模型相比，降低了 ，降低了 ；与 模型相比，降低了 ，降低了 ；与 模型相比，降低了 ，降低了 。结果表明，模型对于网络安全态势值的预测较为有效，且相比其他模型预测精度较高。拟合度对比为进一步验证本文所提 模型的有效性，对不同模型拟合度进行对比，如表所示。表不同模型拟合度对比犜 犪 犫 犾 犲犆狅犿狆 犪 狉 犻 狊 狅 狀狅 犳犳 犻 狋 狋 犻 狀 犵犱 犲 犵 狉 犲 犲狅 犳犱 犻 犳 犳 犲 狉 犲 狀 狋犿狅 犱 犲 犾 狊模型犚 从表可以看出，在相同模型中引入注意力机制后，模型拟合度明显提高，证明了引入注意力机制可以提升模型的预测精度。模型的拟合度相较其他种模型最高，拟合度相比其他种模型均提升了 以上，进一步证明了本文所提 预测模型所得到的预测曲线相较其他模型更加准确。同时，也证明了 预测模型在预测态势值时的有效性和准确性。收敛性分析图给出了模型训练误差随迭代步数变化的曲线图。从图可以看出，在相同模型中引入注意力机制后，模型收 系统工程与电子技术第 卷敛速度明显变快，证明了加入注意力机制可以提升模型的收敛速度；本文所提 预测模型在收敛速度和收敛精度上均优于其他模型，证明了本文所提模型能够充分学习时序数据的特征，效果较好。图误差值随迭代次数的变化曲线 结束语本文将和 网络进行了融合，并引入注意力机制及算法，提出了一种基于 的网络安全态势预测方法，将处理时间序列问题的优势与 能够学习序列前后状况的优势结合起来，更好地提取态势值的序列特征。之后引入注意力机制，为属性分配不同的权值，并利用算法对模型进行超参数寻优，提升了预测能力。本文通过不同优化算法分析实验、不同池化方式分析实验模型超参数优化实验、预测精度对比实验、拟合度对比实验、收敛性分析实验证明了模型在处理网络安全态势数据时具有的较强的特征提取能力、较高的预测精度和预测效率，验证了本文模型的有效性。参考文献，：赵冬梅，李志坚基于 的网络安全态势预测华中科技大学学报（自然科学版），（）：，（），（）：唐延强，李成海，王坚，等 ：一种网络安全态势预测模型电光与控制，（）：，：，（）：，：，（）：何春蓉，朱江基于注意力机制的神经网络安全态势预测方法系统工程与电子技术，（）：，（）：中国互联网信息中心 至 年网络安全信息与动态周报 ：，：，（），（）：，：，：，：，（）：，（），：，：，：，：，：，：，第 期孙隽丰等：基于 的网络安全态势预测 ，：，（）：，（）：，：，（）：，：，：，：，（）：，（）：，：，：，（）：作者简介孙隽丰（），男，硕士研究生，主要研究方向为网络安全态势预测。李成海（），男，教授，硕士，主要研究方向为网络安全态势感知、嵌入式操作系统。曹波（），男，硕士研究生，主要研究方向为网络安全态势感知。