人工鱼群特征选择的网络入侵检测系统.pdf

收稿日期:网络出版时间:基金项目:陕西省自然基金(J M )作者简介:刘景美(),女,副教授,E m a i l:j m l i u m a i l x i d i a n e d u c n通信作者:闫义博(),女,西安电子科技大学硕士研究生,E m a i l:y i b o y a n m a i l x i d i a n e d u c n网络出版地址:h t t p s:/k n s c n k i n e t/k c m s/d e t a i l/T N h t m ld o i 敭 j 敭i s s n 敭 敭 敭 人工鱼群特征选择的网络入侵检测系统刘 景 美,闫 义 博(西安电子科技大学 通信工程学院,陕西 西安 )摘要:入侵检测领域中,数据的冗余和无关特征不仅减缓了分类的过程,而且会妨碍分类器做出准确的决策,导致入侵检测系统性能下降.针对入侵检测高维数据集带来的系统准确率较低的问题,提出人工鱼群特征选择的网络入侵检测系统.首先对原始数据集预处理,对数据进行清洗并标准化;然后结合自适应参数变化和多目标优化算法,提出一种改进的多目标人工鱼群算法,通过动态优化搜索空间,提升搜索能力,选择最优的特征子集;最后提出一种基于遗传算法和C a t B o o s t的改进多目标人工鱼群优化方法的入侵检测模型,对生成的多组特征子集输入C a t B o o s t进行分类并进行特征评估,检验特征选择的有效性.通过在N S L K D D数据集上验证,提出的特征选择算法使用 维特征得到约 的准确率,在UN S W N B 数据集上,算法使用 维特征得到约 的准确率.仿真结果表明,所提算法在维度低的同时可获得高准确率,与现有特征选择方法相比具有一定优势.关键词:入侵检测;特征选择;人工鱼群;多目标优化中图分类号:T P 文献标识码:A文章编号:()A r t i f i c i a l f i s hf e a t u r e s e l e c t i o nn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mL I UJ i n g m e i Y ANY i b o C o l l e g eo fC o mm u n i c a t i o n sE n g i n e e r i n g X i d i a nU n i v e r s i t y X i a n C h i n a A b s t r a c t I nt h ef i e l do f i n t r u s i o nd e t e c t i o n r e d u n d a n c ya n de x t r a n e o u sf e a t u r e sn o to n l ys l o wd o w nt h ec l a s s i f i c a t i o np r o c e s s b u ta l s op r e v e n tt h ec l a s s i f i e rf r o m m a k i n ga c c u r a t ed e c i s i o n s r e s u l t i n gi ni n t r u s i o nd e t e c t i o ns y s t e m p e r f o r m a n c ed e g r a d a t i o n 敭 A n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m b a s e do na r t i f i c i a lf i s hf e a t u r es e l e c t i o ni sp r o p o s e dt oa d d r e s st h ep r o b l e mo fl o ws y s t e ma c c u r a c yi n d u c e db yh i g h d i m e n s i o n a ld a t as e t si ni n t r u s i o nd e t e c t i o n 敭 F i r s t t h eo r i g i n a ld a t as e ti sp r e p r o c e s s e d w i t ht h ed a t ac l e a n e da n ds t a n d a r d i z e d 敭 T h e n a ni m p r o v e d m u l t i o b j e c t i v ea r t i f i c i a lf i s hs w a r m a l g o r i t h m A F S A i sp r e s e n t e db ym e r g i n gt h ea d a p t i v ep a r a m e t e rm o d i f i c a t i o n sa n d t h em u l t i o b j e c t i v eo p t i m i z a t i o na l g o r i t h m敭 B yd y n a m i c a l l yo p t i m i z i n gt h es e a r c hs p a c e t h es e a r c ha b i l i t yi si m p r o v e d a n dt h eo p t i m a lf e a t u r es u b s e ti ss e l e c t e d 敭F i n a l l y a ni n t r u s i o nd e t e c t i o n m o d e li se s t a b l i s h e db a s e do nag e n e t i ca l g o r i t h ma n dC a t B o o s ti m p r o v e dm u l t i o b j e c t i v ea r t i f i c i a l f i s hs w a r mo p t i m i z a t i o na p p r o a c h 敭 T h eg e n e r a t e dm u l t i f e a t u r e s u b s e t sa r e c l a s s i f i e db yC a t B o o s t f o r f e a t u r ee v a l u a t i o n a n dt h ee f f e c t i v e n e s so f f e a t u r es e l e c t i o ni st e s t e d 敭 T h ep r o p o s e df e a t u r es e l e c t i o na p p r o a c he m p l o y s d i m e n s i o n a lf e a t u r e st oa c h i e v ea na c c u r a c yo f 敭 o nt h eN S L K D Dd a t a s e t w h i l ei tu s e s d i m e n s i o n a lf e a t u r e st oa c h i e v ea na c c u r a c yo f 敭 o nt h e UN S W N B d a t a s e t 敭 S i m u l a t i o nr e s u l t ss h o wt h a t t h ep r o p o s e da l g o r i t h mc a na c h i e v eah i g ha c c u r a c yw h i l eh a v i n ga l o wd i m e n s i o n w h i c hh a sc e r t a i na d v a n t a g e sc o m p a r e dw i t he x i s t i n gf e a t u r es e l e c t i o nm e t h o d s 敭 年月第 卷第期西安电子科技大学学报J OURNA LO FX I D I ANUN I V ER S I TYA u g V o l N o h t t p:/j o u r n a l x i d i a n e d u c n/x d x bK e yW o r d s i n t r u s i o n d e t e c t i o n s y s t e m f e a t u r e s e l e c t i o n a r t i f i c i a lf i s h s w a r m a l g o r i t h m m u l t i o b j e c t i v eo p t i m i z a t i o n 引言对于入侵检测来说,高维数据中存在较多冗余或不相关特征,可能会影响分类速度,甚至降低分类精度,因此数据维度在入侵检测问题中是关键因素.文献 中设计了一种自适应分箱特征选择方法,有效缩减了数据维度,在保证准确率下实现快速模型训练.文献 介绍了部署在各个领域入侵检测的最先进的群体智能方法.文献 在传统鸽群算法中结合新的适应度函数、二进制离散化新方法,余弦相似度的连续离散化算法,并没有对群智能算法本身做出改进.由于贪心步骤的缘故,鸽群无法飞到差于自己的位置,特征子集的搜索空 间 受 到 限 制.文 献 提 出 了 一 种 基 于 人 工 蜂 群(A r t i f i c i a lB e eC o l o n y,A B C)和 人 工 鱼 群(A r t i f i c i a lF i s hS w a r m,A F S)算法的混合分类方法,并在N S L K D D、UN SW N B 数据集上进行了验证.人工鱼群算法虽然具有鲁棒性强、收敛性能好的优点,但搜索效率上仍存在盲搜、优化结果准确率低等缺点.针对以上问题,笔者提出了一种基于多目标人工鱼群的特征选择算法,用来处理入侵检测数据集中的冗余特征,从而提升检测阶段的准确率.将传统的人工鱼群进行改进,并与经典的遗传算法、多目标优化算法等进行结合,用于入侵检测的特征选择,在保证较高准确率的条件下缩小数据维数.在入侵检测经典数据集N S L K D D、UN SW N B 对所提出的系统进行对比实验,验证所提方法的检测性能.基于人工鱼群特征选择的网络入侵检测系统 人工鱼群算法人工鱼是真实鱼抽象化、虚拟化的一个实体,其中封装了状态数据和行为准则,针对身边环境的刺激,做出相应的活动.算法主要利用鱼的三大基本行为:觅食、聚群和追尾.()觅食行为:由鱼趋向食物的特性抽象而来.设人工鱼当前的状态为Xi,相应的食物浓度为Yi,鱼会在可视域范围内随机选取下一状态Xj,计算公式如式().其对应食物浓度为Yj.如果YjYi,则鱼游向Xj,下一状态为式(),否则按式()随机移动一步:XjXiV R(),()Xt iXtiXjXtiXjXtiS R(),()Xt iXtiV R(),()其中,V为视野范围,S为步长,R()为生成随机数函数.()聚群行为:对鱼躲避危害来保证自身生存的行为进行抽象.人工鱼Xi计算可视域中鱼群数量与中心位置Xc.如果食物浓度YcYi并且nf/n(nf为当前邻域中的同伴数量,n为全部鱼个数),则表示其视野中心Xc具有较高的食物密度,且周围不拥挤,Xi游向Xc,下一状态为式(),否则执行其他行为.Xt iXtiXcXtiXcXtiS R().()()追尾行为:当有一条人工鱼发现解空间中食物浓度高的地方,周围的人工鱼会尾随而来.人工鱼Xi探索可视域内食物浓度最高的人工鱼Xj的位置;若YjYi,且Xj周围不拥挤,则Xi游向Xj,下一状态为式(),否则执行其他行为.Xt iXtiXjXtiXjXtiS R().()用于特征选择的二进制人工鱼群优化算法应用于入侵检测的特征选择时需将个体状态设为二进制,用来表示对特征的取舍问题.个体的维数设置为数据的列数,每一维由和组成,表示选择该维数对应的特征,代表不选择,如图所示.每第期刘景美等:人工鱼群特征选择的网络入侵检测系统h t t p:/j o u r n a l x i d i a n e d u c n/x d x b图二进制特征选择方法一个人工鱼的状态对应选取的一组特征子集.改进的人工鱼群算法在算法的初始阶段,搜索空间为整个解空间.每条人工鱼拥有较大的可视域,在可视域中执行聚群、觅食、追尾等行为.传统的鱼群算法寻优范围固定,会导致收敛缓慢甚至退化.为了改善搜索能力,得出最佳的特征子集,文中对视野范围进行了动态调整.初始阶段扩大寻优范围,加强全局搜索能力.定位到最优解的大致位置后,加强局部搜索能力.令鱼群的视野适当减小以加快收敛速度,增加收敛精度.群体视野范围根据式()自适应调整,聚群行为视野范围根据式()自适应调整.所选出的最优特征子集维数递减,其视野范围根据最优特征子集维数发生变化.VLf e aLf e a_b e s tni t e r aii t e r a,()Vs w a r m(nii t e r a),()其中,Lf e a为数据集特征维数,Lf e a_b e s t为当前选出的最优特征子集维数,ni t e r a为总迭代次数,ii t e r a为当前的迭代次数,n为鱼群中个体数.在鱼群觅食行为中的试探次数根据最优个体状态进行调整,依据先全局最优后局部最优的准则,对试探次数进行递减,如式()所示.搜索全局最优时尝试觅食次数大,便于寻找到最优解.最优特征子集维数降低,视野范围随之降低,其尝试次数变少;除上述改进外,在鱼群的聚群、追尾、觅食行为的基础上添加消亡操作.公告板经过多次迭代尚未更新时,会触发消亡操作.目的是将未执行动作的部分鱼群(劣解)抛弃,增大鱼群搜索位置的随机性,加快寻优收敛速度.重新分配到当前的最优个体周围,即假定当前最优附近存在更优状态,从而增强搜索全局最优值的能力.tn u m b e rc|Lf e a_b e s tV|.()其中,c 为向上取整函数.基于遗传算法和C a t B o o s t的改进多目标人工鱼群优化方法的入侵检测模型模型整体框图如图所示,具体过程如下.图模型框架()数据层对数据预处理.数据转换:首先使用归一化,将数值转化为,范围,归一化如式()所示.之后,对数据集中的标签值特征进行数值化处理.以NK L K D D中“p r o t o c o l_t y p e”属性 为例,其取 值分别为“T C P”“UD P”“I CMP”,转化为、.对UN SW N B 数据集中的字符特征,在保证训练集及测试集中各特征类别个数相同的基础上进行独热化编码.西安电子科技大学学报第 卷h t t p:/j o u r n a l x i d i a n e d u c n/x d x bxn e wxxm i nxm a xxm i n,()其中,xm a x、xm i n分别为样本数据的最大值、最小值.数据清洗:删除空值及特征值唯一的特征,以准备对数据集的多维特征进行特征选择.()在特征选择层,通过节 改进的人工鱼群算法,即在传统人工鱼群算法的基础上结合自适应更改参数、消亡操作等,与遗传算法、多目标优化算法有机结合,进一步改进搜索空间、内存空间和算法收敛速度.结合多种算法的优点来实现包装器特征选择,达到数据降维的目的.利用改进的人工鱼群算法进行初步选择.在每次迭代之后,使用遗传算法设定交叉变异轮数,在每轮交叉变异中随机挑选两个个体,在此基础上生成新的个体.降低单个个体的适应能力,防止其越界影响所有种群的适应能力,进而减少重复性并增加随机性,以便跳出种群的局部最优陷阱.由于单目标人工添加的加权值具有较大的主观性,因此在特征选择层的最后执行多目标优化.在多目标优化中最重要的是设置系统目标,文中旨在寻找维度小、精度高的特征子集,因此将维度与精确度作为多目标的两个目标函数.算法侧重全局寻优,引入N S GA I I拥挤距离机制,对拥挤度进行排序,其计算方法如式().按拥挤距离越大则越优的原则,在外部档案集中选取非支配解替换鱼群中的劣解.idmj(|fi jfi j|),()其中,id表示i点的拥挤度,fi j表示i点的第j个目标函数值,fi j表示i点的第j个目标函数值.()经过特征选择后,将低维数据传入C a t B o o s t中生成模型评估结果.利用鱼群算法中公告板记录的历史最优个体群,即特征选择层选出的不同特征子集对数据进行分类,得出多组预测结果,与原始分类标签生成一个新的数据集,作为C a t B o o s t预测的数据集.C a t B o o s t节点分类时,采用余弦相似度方法遍历所有候选特征及分裂阈值,余弦相似度的计算表示为ciaigiiaiigi,()其中,i标识样本i的权重,减少过拟合;ai标识样本在树上的输出值;gi为样本i的梯度,依据迭代轮次的结果计算每个样本的梯度,得到根节点中每个样本的梯度向量.实验仿真结果与分析 数据集与性能指标实验采用入侵检测通用数据集N S L K D D、UN SW N B.N S L K D D数据集共有 条流量数据,其中 条为正常类,条为攻击类.UN SW N B 共有 条流量数据,其中 条数据为正常类,条数据为攻击类.为验证方法的有效性,使用准确率(A c c u r a c y,A)、精确率(P r e c i s i o n,P)、召回率(R e c a l l,R)、F分数作为实验的性能指标.准确率是数据集所有样本中被正确判断的概率.精确率表示预测为某类的样本有多少是正确的.召回率表示样本中的正例有多少被正确预测.F分数综合描述了模型精确率和召回率的性能.ATPTNTPTNFPFN,()PTPTPFP,()RTPTPFN,()FPR,()第期刘景美等:人工鱼群特征选择的网络入侵检测系统h t t p:/j o u r n a l x i d i a n e d u c n/x d x b其中,TP(真阳性)与TN(真阴性)表示数据集中属于被正确预测为正常类及入侵类的样本数量;FN(假阴性)、FP(假阳性)表示数据集中被错误预测为正常类、入侵类的样本数量.算法不同阶段精确率对比比较算法更新阶段下对入侵检测的性能,验证所提算法的有效性.传统人工鱼群A F S A、节 提出的改进的人工鱼群算法(I m p r o v e dA r t i f i c i a lF i s hS w a r m A l g o r i t h m,I A F S A)、添加多目标优化的人工鱼群算法(M u l t i o b j e c t i v eA r t i f i c i a lF i s hS w a r m A l g o r i t h m,MA F S A),与文中所提改进的人工鱼群算法的比较如表所示.表人工鱼群算法比较特征选择特征维数准确率/精确率/F分数全部特征 A F S A I A F S A MA F S A 文中算法 传统的A F S A算法维数为,准确率约为,易陷入局部最优,寻优效果维度多,准确率低.使用节 中改进的人工鱼群算法,得到维数为,准确率约为,证明了此改进在入侵检测中的效果.在此基础上加入多目标优化后,维度下降,精度上升,体现了多目标优化的有效性.文中算法在维度低的情况下,依然获得了较高的准确率,说明改良的人工鱼群算法与多目标优化都有其优势,对这两方面同时进行改进,准确率在传统人工鱼群上提升约,得到比单个优势更为突出的效果.文中算法与C a t B o o s t结合在使用N S L K D D数据集的情况下的入侵检测性能如图所示.随着公告板更新次数的增加,准确率不断提升,最终达到约 ,证实了鱼群算法中历史最优个体群对算法整体寻优的可靠性.表、表分别显示了使用文中算法对N S L K D D、U N S W N B 筛选出的个特征子集的性能指标.图算法迭代过程对性能指标的优化表N S L K D D不同特征子集性能特征选择特征维数准确率/精确率/F分数召回率/全部特征 特征子集 特征子集 特征子集 西安电子科技大学学报第 卷h t t p:/j o u r n a l x i d i a n e d u c n/x d x b表U N SW N B 不同特征子集性能特征选择特征维数准确率/精确率/F分数召回率/全部特征 特征子集 特征子集 特征子集 不同入侵检测系统性能对比现有的入侵检测系统方法可分为类:包装器选择、过滤器选择和无特征选择.表列出了在N S L K D D实验的现有特征选择方法的性能.可以看出,文中算法能以最少的特征获得较高的总检出率,在表中所有特征选择方法中总检出率最好.与P C AGH S OM p r、F D Rk e r n e lP C A、P S O和S i g m o i d_P I O相比,文中算法实现了高准确率和低维度.表不同特征选择方法性能比较特征选择方法特征维数准确率/精确率/召回率/()无特征选择R a n d o mf o r e s t D e c i s i o nt r e s s A d a B o o s t ()过滤器特征选择S N D A ER F P C AGH S OM p r F D Rk e r n e lP C A ()包装器特征选择S i g m o i d_P I O P S O MGWO 文中算法 结束语最近的研究表明,构建入侵检测系统有两个重要组成部分:鲁棒的分类方法和高效的特征选择算法.在特征选择方面基于人工鱼群算法、多目标优化算法、遗传算法等进化算法,提出了一种新的入侵检测系统攻击检测方法.在分类算法方面,利用鱼群算法中公告板记录的全部历史最优个体群,而非单独使用当前最优个体,其对应的特征子集更有代表性.在N S L K D D、UN SW N B 数据集上进行仿真,实验结果验证了所提算法在准确率、特征子集维数等方面的有效性.虽然提出的算法已经显示出令人鼓舞的性能,但其还可以通过优化搜索策略进一步增强.此外,样本分布不平衡对入侵检测系统的影响需要在未来的研究中仔细考虑.参考文献:刘景美 高源伯敭自适应分箱特征选择的快速网络入侵检测系统 J 敭西安电子科技大学学报 敭L I UJ i n g m e i G A O Y u a n b o 敭 F a s tN e t w o r kI n t r u s i o nD e t e c t i o nS y s t e m U s i n g A d a p t i v eB i n n i n gF e a t u r eS e l e c t i o n J 敭J o u r n a l o fX i d i a nU n i v e r s i t y 敭 NA S I R M H KHANSA KHAN M M e ta l 敭 S w a r mI n t e l l i g e n c eI n s p i r e dI n t r u s i o nD e t e c t i o nS y s t e m saS y s t e m a t i c第期刘景美等:人工鱼群特征选择的网络入侵检测系统h t t p:/j o u r n a l x i d i a n e d u c n/x d x bL i t e r a t u r eR e v i e w J 敭 C o m p u t e rN e t w o r k s 敭 A L A Z Z AM H S HA R I EHA S A B R IKE敭 AF e a t u r eS e l e c t i o nA l g o r i t h mf o r I n t r u s i o nD e t e c t i o nS y s t e mB a s e do nP i g e o nI n s p i r e dO p t i m i z e r J 敭 E x p e r tS y s t e m sw i t hA p p l i c a t i o n s 敭 HA J I S A L EM V B A B A I E S 敭 A H y b r i dI n t r u s i o n D e t e c t i o nS y s t e m B a s e do n A B C A F S A l g o r i t h mf o r M i s u s ea n dA n o m a l yD e t e c t i o n J 敭 C o m p u t e rN e t w o r k s 敭 Z HANG X L I AN L Z HU F敭 P a r a m e t e rF i t t i n go fV a r i o g r a m B a s e do n H y b r i d A l g o r i t h m o fP a r t i c l eS w a r m a n dA r t i f i c i a lF i s hS w a r m J 敭 F u t u r eG e n e r a t i o nC o m p u t e rS y s t e m s 敭 AMB U S A I D I M A HE X NAN D A P e ta l 敭 B u i l d i n ga nI n t r u s i o n D e t e c t i o nS y s t e m U s i n gaF i l t e r B a s e dF e a t u r eS e l e c t i o nA l g o r i t h m J 敭 I E E ET r a n s a c t i o n so nC o m p u t e r s 敭 MOU S TA F A R S L AYJ 敭 UN S W N B AC o m p r e h e n s i v eD a t aS e t f o rN e t w o r kI n t r u s i o nD e t e c t i o nS y s t e m s UN S W N B N e t w o r kD a t aS e t C M i l i t a r yC o mm u n i c a t i o n s a n d I n f o r m a t i o nS y s t e m sC o n f e r e n c e M i l C I S 敭 P i s c a t a w a y I E E E 敭 李晓磊敭一种新型的智能优化方法人工鱼群算法 D 敭浙江 浙江大学 敭 S HON E N NG O C T N P HA IV D e ta l 敭 A D e e p L e a r n i n g A p p r o a c ht o N e t w o r kI n t r u s i o n D e t e c t i o n J 敭 I E E ET r a n s a c t i o n so nE m e r g i n gT o p i c s i nC o m p u t a t i o n a l I n t e l l i g e n c e 敭 D EL A HO ZE D E L A HO ZE O R T I Z A e ta l 敭 F e a t u r eS e l e c t i o nb y M u l t i O b j e c t i v eO p t i m i s a t i o n A p p l i c a t i o nt oN e t w o r kA n o m a l yD e t e c t i o nb yH i e r a r c h i c a lS e l f O r g a n i s i n gM a p s J 敭 K n o w l e d g e B a s e dS y s t e m s 敭 D EL A HO ZE O R T I ZA O R T E GAJ e ta l 敭 N e t w o r kA n o m a l yC l a s s i f i c a t i o nb yS u p p o r tV e c t o rC l a s s i f i e r sE n s e m b l ea n d N o n L i n e a r P r o j e c t i o n T e c h n i q u e s C I n t e r n a t i o n a l C o n f e r e n c e o n H y b r i d A r t i f i c i a lI n t e l l i g e n c e S y s t e m s 敭H e i d e l b e r g S p r i n g e r 敭 A L Z AQ E B AH A A L J A R AHI A L KA D IO e ta l 敭 A M o d i f i e dG r e y W o l fO p t i m i z a t i o n A l g o r i t h mf o ra nI n t r u s i o nD e t e c t i o nS y s t e m J 敭 M a t h e m a t i c s 敭(编辑:牛姗姗)西安电子科技大学学报第 卷