网络安全告警降噪基线的智能生成方法.pdf

信息安全研究第9 卷第10 期2 0 2 3年10 月Journalof Information Security ResearchVol.9No.10Oct.2023DOl:10.12379/j.issn.2096-1057.2023.10.08网络安全告警降噪基线的智能生成方法王星凯2吴复迪童明凯1（绿盟科技集团股份有限公司北京100089)2（清华大学信息科学技术学院北京100084)(wangxingkainsfocus,com)Intelligent Generation Method of Noise Reduction Baseline forCybersecurity Alert薛见新1张润滋Wang Xingkail.2,Wu Fudi,Tong Mingkai,Xue Jianxin,and Zhang Runzi1(NSFOCUS Technologies Group Co.,Ltd.,Beijing 100089)2(School of Information Science and Technology,Tsinghua University,Beijing 100084)Abstract The operators often filter alerts through some preset baseline rule groups incybersecurity operation.It is difficult to deeply adapt to the specific network and businessenvironment of the enterprise.With the continuous expansion of enterprise information services,the complex cyberattack is usually hidden in tons of alerts.It causes the alert fatigue,whichreduces the efficiency of security operation center.We propose a cybersecurity alert baselinemethod based on intelligence algorithm to generate interpretable alert noise reduction baselines,which can filter alerts without understanding the companys environment and business.It canimprove the efficiency of cybersecurity operation.This method can effectively filter alerts in theactual production environment of a large company.Key words alert;payload;interpretable baseline;alert noise reduction;security operation摘要网络安全运营往往通过预置的基线规则组等方法来过滤告警，在复杂的场景中难以深入适配企业的具体网络和业务环境.随着企业信息化业务的不断扩展，复杂的网络攻击通常隐藏在海量告警中，造成告警疲劳的现象，严重影响安全运营团队的运营效率.提出一种智能的算法用于生成可解释的网络安全告警降噪基线.面向告警载荷进行数据挖掘建立基线，帮助运营人员在不了解公司环境和业务的情况下对海量的告警进行过滤，提升安全运营的效率.最终，在某大型公司的实际生产环境验证发现生成的降噪基线可以有效地过滤告警关键词告警；载荷；可解释基线；告警降噪；安全运营中图法分类号TP391收稿日期：2 0 2 2-0 9-0 3基金项目：北京市科技新星计划项目（Z211100002121150）引用格式：王星凯，吴复迪，童明凯，等。网络安全告警降噪基线的智能生成方法J.信息安全研究，2 0 2 3，9（10)：98 6-992986学术论文.ResearchPapers随着网络攻防对抗的升级，安全研究人员提出多种类型的威胁检测引擎用于检测各种网络威胁11.在网络安全运营中，由于攻击产生的数据包往往与正常活动产生的数据包较为相似，如果攻击检测规则较为敏感，会产生大量告警误报2 .在实际生产环境中，安全运营人员需要对各种防护系统的告警进行排查.为了过滤低价值告警，运营人员通常会在长期的监控值守工作中，基于自身的专家知识梳理并形成一套基线，基于基线进行告警的分类分级，从而减轻自身的运维工作量，如脚本代码、运营系统的自定义配置或者专有的操作文档和流程等.但是建立此类基线高度依赖于运营人员的自身技术水平和运营场景的环境复杂度，要求运营人员具备大量的专业知识，对企业正常业务特征能进行识别，并且需要耗费较长时间才能完成.因此，为了应对上述问题，本文提出一种智能的算法用于生成可解释的网络安全告警降噪基线。为了对告警载荷进行数据挖掘，本文提出一种告警载荷攻击意图特征提取方法，对告警载荷中的编码块进行递归识别和解码，通过分组消重和计数统计得到统计特征向量，使用潜在狄利克雷分配（LDA)聚类方法选出具有代表性的样本，训练支持向量回归(SVR)模型提取告警载荷攻击意图向量.结合变种SimHash算法生成向量化表示，一方面表示告警载荷的攻击意图，另一方面对告警载荷相似度进行评估.为了智能地生成告警降噪基线，将向量输人深度自编码器中，标注重构误差较大的原始告警为异常，按原始告警的结构化特征分组，确保在不匹配异常告警的前提下寻找生成过滤规则中匹配最多告警的规则集合，通过规则矫正器后得到降噪基线，以提升网络安全运营效率。1纟缓解告警疲劳的研究进展面向网络攻击检测/防护系统产生的原始告警日志，安全运营中心（securityoperations center，SOC)通过多种攻击行为聚合规则、告警类型过滤基线以及各种机器学习算法模型等方案对告警进行处理.但是信息过载导致的告警疲劳现象仍然是SOC所面临的普遍问题之一3,研究人员对此提出不同的解决方案.文献4提出一种基于全流量的网络安全基线生成方法，对网络全流量数据进行预处理，将处理后的数据进行聚合等操作生成网络安全基线，降低网络安全基线生成的技术门槛；文献5提出一种基于安全基线模型的网络数据安全检测方法，针对不同的时间窗口长度分别构造不同的安全基线模型，通过生成基线之间的对比发现网络环境异常状态的告警.上述2 种方案均以原始网络流量作为模型输人，且不包含专家知识的输入，从而导致误报较多，在复杂真实的工业场景中应用效果并不好.文献6 提出一种基于用户行为和实体分析技术（UEBA)进行异常行为事件判断的方法，通过对用户的异常行为进行判断,缓解数据灾难的发生.基于UEBA建立基线的方案，容易受到正常业务波动的影响.针对告警的UEBA方案，大多都只考虑包括告警规则在内的结构化特征，然而网络攻击检测系统的误报率普遍较高，很多告警的类型和描述与对应的实际网络行为不符，导致面向告警的UEBA方案通常性能较低.在CPU等故障运维7 领域，通常基于黄金指标等进行特征工程，构建模型来缓解告警疲劳.由于多种网络协议和业务类型混合的网络攻击告警领域存在高危告警标签少且告警指标定义困难等因素，导致其他领域的方案8-12 无法应用.在紧迫的安全应急事件中，如果未能提前在对应领域提取有效的特征，则无法人工建立有效的基线，面对海量的告警数量会影响攻击的检出率，进而导致响应速度降低.本文所提出的方法可以帮助网络安全运营人员在不了解公司环境和业务的情况下智能地生成告警降噪基线，过滤无用告警，减少待研判的低价值告警数量，缓解SOC面临的数据灾难，提升告警管理的有效性和及时性。2降噪基线的生成方法智能化网络安全告警降噪基线流程如图1所示.首先，采集一定时间的原始告警，通过预设的规则组进行过滤，如剔除不直接指示任何攻击行为的告警（故障告警、日志类告警等），此类告警通常属于低价值的告警.然后，对数据进行预处理，采用攻击意图评估方法和变种SimHash算法处理载荷得到向量表示.将向量输入智能化基线生成模型中得到降噪基线，经后处理模块研判后生成有网址http:/ 卷第10 期2 0 2 3年10 月Journalof Information Security ResearchVol.9No.10Oct.2023规则组过滤攻击意图智能化基线生成模型原始告警采集数据处理向量表示降噪基线剩余告警运营专家变种SimHash图1降噪基线流程效的告警降噪基线，原始告警输人基线得到过滤2.1.1载荷攻击意图提取后的告警，提供给运营专家研判.在真实的场景中，攻击意图较为复杂，本文通2.1特征提取过试探性和利用性2 个方面衡量各种攻击意由于基线的生成需要挖掘告警载荷，提取向图13，攻击意图量化表示如图2 所示，其中，试探量表示，因此，删除告警载荷为空的告警.此外，性分值表示确定漏洞是否存在的攻击行为，利用OSI传输层及以下的协议包的告警载荷通常与具性分值表示构成实际危害的攻击行为，如第二象体的应用攻击方法无关，需要删除告警载荷中对限（低试探性、高利用性)的告警为高危类型的告应内容。警，即需要运营人员高度关注的告警.高利用性如果存在漏洞即构成攻击高信心的漏洞利用C&C会话后处理批量抓鸡蠕虫传播低试探性不在意漏洞是否存在高试探性想确认漏洞是否存在误报告警非恶意行为不打算实际利用漏洞图2 攻击意图量化表示首先，去除无法评估攻击意图的告警（如故障中选取概率最高的若干个样本，对其试探性和利告警、日志类告警等)和有明显的攻击意图的告警用性分值进行人工标注，得到标注训练集A.对已（如扫描器告警、蠕虫告警等），并对告警载荷中的知攻击行为的告警标注试探性和利用性分值，得编码块进行递归识别和解码，对解码前后内容中到标注训练集B.将标注训练集A和B合并，训练的常见模式（如文件路径、IP地址等)进行分组消SVR模型.将实时告警数据产生的统计特征向量重和计数统计，将计数结果作为统计特征向量.对输人该模型，得出告警的试探性和利用性分值的统计特征向量执行LDA聚类，在输出的每个主题估计值，经专家验证分值有误的进行修改加入标9881漏洞扫描信息收集低利用性学术论文.ResearchPapers注集，并重新训练模型.最终，将统计特征向量作为训练好的SVR模型的输人得到表示攻击意图的特征向量.2.1.23变种SimHash算法为了使向量表示能反映数据的相似度，需计算告警载荷的相似度.由于有些告警载荷是二进制，无法使用基于切词的文本相似度计算方法.本文提出一种变种SimHash提取告警载荷的哈希值.SimHash算法14 是Google提出用于解决亿万级别的网页去重任务的算法.在告警载荷处理中，如果按标准SimHash算法，滑动窗口步长为1,告警载荷长度为L，滑动窗口大小为W，则每次计算SimHash含L一W+1次常规哈希计算.原始告警数量庞大，且KW，该算法无法实时处理告警.如果滑动窗口步长大于1,设步长为S（S 1），虽然能够提升计算效率，但当原始数据中插人或移除N个字节，且N不是S的倍数时,可能会导致变更点之后的哈希值发生变化，无法有效地评估告警载荷数据相似性.因此，本文提出一种基于RSync和CRC32的变种SimHash算法15，可快速有效地进行告警载荷相似度评估.首先，设定超参数RSync窗口大小为W，平均切片大小为P.然后，在输人数据上运行RSync算法，当某个位置的RSync校验和除以P的余数为0时，在该位置进行切片.再对每2 个相邻切片合并计算CRC32校验和，对每个校验和按位展开为32维向量，并将0 替换为一1.这样处理后向量叠加则不需要进一步的标准化处理，且向量的模与数据原始长度成正相关.最终，将展开后的所有向量相加，作为变种SimHash算法输出的向量表示.其中,P值越大，计算速度越快，SimHash精度越低.2.2基线生成首先，采用无监督学习的稀疏深度自编码器16 进行异常检测，将告警载荷攻击意图的特征向量和SimHash向量拼接，作为训练样本的矩阵X输入到自编码器中.如式（1)所示，通过编码函数Enc()把数据映射到低维特征空间中，再利用解码函数Dec（)重构特征空间的表示,在编码解码过程中多层网络和激活函数能捕获高维输人数据的非线性信息，当自编码器输出的重构误差大于预设重构误差阈值时，则确定所述告警载荷对应的告警为异常.其中，自编码的参数和阈值均应根据实际场景中业务复杂程度进行调整.由于告警载荷的分布并不均匀，按告警载荷的SimHash向量分组，并统计次数，将次数的对数作为权重，形成自监督学习样本.例如，将相同的待训练的哈希值分为一组，该组中包括n个哈希值,则该组的训练权重为lgn.min Edist(X,Dec(EncX).由于业务变化，任何模型在不同的攻击场景中都无法做到异常告警召回率为10 0%.为了得到更有效且具备可解释性的降噪基线，本文将告警按可识别特征字段的组合进行分组，从告警数据字段中选取一些可直接识别的特征字段（如源地址、目的地址、目的端口、告警规则ID等），假设特征字段共有M个,记为F=（f 1，f 2，f M）,统计每个分组内的总告警数以及是否包含异常告警,得到一个列表A。，其中，每个元素都是三元组（特征字段列表及其取值的字典，告警数，是否包含异常告警），搜索最佳的告警过滤规则集，具体步骤如下：1）初始化.设定超参数最大基线规则数为N，最小特征数为m，m.ResearchPapers0.07规则数量在一定范围内，选择Top50的告警过滤规则作为As.针对每日过滤规则去重累加后对抗期间共生成有效的规则12 1条，对当天告警的有效过滤百分比最高可以达到8 1.1%.如图5所示.从图5可以看出周六（12 月18 日）和周日（12 月19日)的告警过滤基线与周一（12 月2 0 日）的告警时过滤情况对比有所下滑，而后3天的过滤效果再次表现为不断提升，其主要原因是周末与工作日的业务不同导致引发的告警不同.表1告警过滤规则效果告警过滤过滤规则集AsTop700规则集As对抗时间规则集As包含高危告警第1天7944第2 天8836第3天8656第4天8372第5天81711.00.90.80.70.60.512月18 日12月19日12月2 0 日12月2 1日12月2 2 日(周六）(周日)图5累计基线过滤比由于本文研究是首个以自编码器等黑盒模型为基础方法生成可解释告警过滤基线的方案，因此，并没有能进行对比的方法，所以通过在实际运营中的效果来佐证上述方法的有效性.针对其中1天的规则过滤进行人工分析，如图6 所示，横轴为过滤规则ID,纵轴为该规则的过滤告警比，包括3部分：规则矫正器之前的过滤规则、经过矫正器后的告警过滤规则以及人工排查确定有效的告警规则.从图6 可以看出经过矫正器后的告警过滤规则相比规则矫正器之前的过滤规则过滤数量有所减少,将减少的告警筛选出来，经专家排查后，发现均为告警载荷明显不同于其他告警的情况，这表明规则矫正器可以修正载荷类型不一致告警的过滤，以免导致载荷变动的告警中存在真实攻击.此外，通过图6 对比人工排查确定有效的告警规则和规则矫正器之前的过滤规则可以看出，规则ID为14和规则ID为30 的过滤规则被专家删除，该2 条规则均为Web业务开发不规范引起的SQL注人告警,并非由算法误判而生成.由此可以看出本文提出的网络安全告警降噪基线的智能生成方法能有效地针对不同场景建立智能的告警过滤基过滤高危告警线，从而提升安全运营效率。12103940158016601370(周一)(周二)日期规则矫正器之前的过滤规则0.06一经过矫正器后的告警过滤规则+人工排查确定有效的告警规则0.050.040.030.020.0100图6 12 月18 日告警过滤规则过滤告警比4结语随着全球数字经济的蓬勃发展，如何打造(周三)智能化的网络安全防护成为学术界和工业界的研究热点.基于人工智能的安全运营技术方案(AISecOps)17将大幅提升威胁检测、风险评估、自动化响应等关键运营环节的处理效率，大幅减少对专家经验的依赖18 ，助力网络安全运营产业的技术升级,其中，缓解网络安全领域海量告警的问题是 AISecOps 所面临的关键问题之一.本文提出一种智能化网络告警降噪基线的生成方法，帮助网络安全运营人员在不了解公司环境和业务的情况下建立降噪基线过滤告警，以此减轻运营人员的工作量，降低威胁分析与响应的周期，对于提升重大网络安全事故预警和风险防控水平具有重要的科学意义和应用价值.网址http:/ 卷第10 期2 0 2 3年10 月Journalof Information Security ResearchVol.9No.10Oct.202313吴复迪，刘文懋，薛见新，等。一种攻击意图识别方法及装参考文献置：中国，CN202011038322.7PJ.2020-09-2814Manku G S,Jain A,Das Sarma A.Detecting near-duplicates for Web crawling CJ/Proc of the 16th Int Conf1Pa r k a r P,Bi l i m o r i a A.A s u r v e y o n c y b e r s e c u r i t y ID Son World WideWeb.New York:ACM,2007:141-150using ML methods C/OL/Proc of the 5th Int Conf on15吴复迪，薛见新，张润滋，等。一种检测攻击告警的方法、Intelligent Computing and Control Systems(ICICCS).装置、检测设备及存储介质：中国，CN202111558765.32021:352-3602023-09-11J.https:/www.researchgate.P.2021-12-20net/publication/351910729_A_Survey_on_Cyber_Security_16AAbadi M,Barham P,Chen J,et al.TensorFlow:AIDS_using_ML_Methodssystem for large-scale machine learning C/Proc of the2Pietraszek T,Tanner A.Data mining and machinelearningTowards reducing false positives in intrusiondetection J.Information Security Technical Report,2005,10(3):169-1833Alahmadi B A,Axon L,Martinovic I.99%false positives:A qualitative study of SOC analysts perspectives on securityalarms CJ/Proc of the 31st USENIX Security Symp(USENIX Security).Berkeley,CA:USENIX Association,2022:10-124徐砚，李鹏，许爱东.一种基于全流量的网络安全基线生成方法：中国，CN201811589819.0P.2019-02-225叶晓舟，李超鹏。一种基于安全基线模型的网络数据安全检测方法及系统：中国，CN201710834724.XP.2019-03-226魏明，阮安邦，王佳帅，等.基于UEBA进行异常行为事件的判断方法，装置及相关产品：中国，CN202011323857.9P.2021-03-027Zhao N,Jin P,Wang L,et al.Automatically and adaptivelyidentifying severe alerts for online service systems C/Procof the IEEE Conf on Computer Communications.Piscataway,NJ:IEEE,2020:2420-24298Zhao N,Chen J,Peng X,et al.Understanding andhandling alert storm for online service systems CJ/Procof the 42nd IEEE/ACM Int Conf on Software Engineering:Software Engineering in Practice(ICSE-SEIP).Piscataway,NJ:IEEE,2020:162-1719Li Z,Chen J,Jiao R,et al.Practical root cause localizationfor microservice systems via trace analysis CJ/Proc ofthe 29th IEEE/ACM Int Symp on Quality of Service(IWQOS).Piscataway,NJ:IEEE,2021:1-101oA k s a r B,Zh a n g Y,A t e s E,e t a l.Pr o c t o r:A s e m i-supervised performance anomaly diagnosis framework forproduction HPC systems C/Proc of Int Conf on HighPerformance Computing.Berlin:Springer,2021:195-21411Tuncer O,Ates E,Zhang Y,et al.Online diagnosis ofperformance variation in HPC systems using machinelearning JJ.IEEE Trans on Parallel and DistributedSystems,2018,30(4):883-89612Ma M,Yin Z,Zhang S,et al.Diagnosing root causes ofintermittent slow queries in cloud databases JJ.Proceedingsof the VLDB Endowment,2020,13(8):1176-118999212th USENIX Symp on Operating Systems Design andImplementation(OSDI 16).Berkeley，CA:U SENIXAssociation,2016:265-28317绿盟科技.智能安全运营技术白皮书EB/OL.20202022-12-18.https:/ 0 2 2，8（3）：292-300王星凯博士.主要研究方向为网络安全数据分析。吴复迪主要研究方向为智能安全运营。童明凯硕士.主要研究方向为DNS安全和数据驱动的安全运营。薛见新博士.主要研究方向为图形学习、安全知识图、攻击源、威胁搜索。张润滋博士.主要研究方向为数据驱动的安全运营和威胁搜索。