基于启发式规则的入侵检测技术研究样本.doc

资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。摘 要北京朱文杰代写论文不付款, 特此公告之计算机和网络技术的普及, 在给人们的生活带来极大便利的同时, 也将安全隐患传播到整个网络。正是由于网络的普及率越来越高, 一旦发生有目的、 大规模的网络入侵行为, 其造成的影响就越恶劣。做为保护网络安全手段之一的入侵检测技术, 一直被广大国内外学者所关注。由于网络规模的不断扩大, 网络流量的不断增长和黑客技术 的不断发展, 对入侵检测的性能提出了更高的要求。本文以提高入侵检测技术的检测正确率, 降低误警率和漏警率以及提高检测效率为技术目标, 在检测技术、 告警融合和分布式入侵检测系统的体系结构等方面进行了深入系统的研究, 取得了一些创新性的研究成果, 主要内容包括: 入侵检测技术分为异常检测和误用检测两大类。本文分别针对异常检测和误用检测技术中存在的问题, 研究了其改进方法, 并提出一种基于启发式规则的混合入侵检测模型。论文首先介绍了入侵检测技术的研究现状和发展趋势, 对当前常见的入侵检测技术和方法进行了归类和分析, 同时比较了各种入侵检测方法的优势和不足, 指出了入侵检测技术存在的问题。其次, 论文讨论了误用入侵检测中模式识别算法, 针对模式匹配方法存在的匹配速度慢、 误报率较高、 模型库动态更新难等问题, 论文提出了一种改进的AC-BM算法, 进一步提高了算法的匹配速度, 设计的MRRT规约树能支持多线程归约和在线动态调整, 特别适用于大规模多模式匹配。再次, 论文针对异常检测技术存在计算量大、 训练时间长、 在小样本情况下分类精度低的问题, 论文研究了特征选择和SVM分类器, 经过SVM在训练过程中主动挑选学习样本, 从而有效地减少训练样本数量, 缩短训练时间。该检测方法解决了异常检测中大量训练样本集获取困难的问题。最后, 论文提出了一种基于启发式规则的混合入侵检测模型, 系统经过各对连接上下行数据分别采用误用检测方法和异常检测方法, 并对检测到得结果进行拟合, 经过分析向用户发布告警入侵行为。该模型具有数据处理效率高, 误报率低, 协作性好, 自学习能力强, 安全性高等特点。论文最后对所作的研究工作进行了总结, 并指出了今后的研究方向。关键词: 入侵检测, 模式识别, 启发式, 特征选择, 支持向量机ABSTRACTIntrusion Detection has shown great potential in network security research. Most existing intrusion detection methods treat all data in the network as a whole. However, in reality, data in the network could be divided into two categories: upload data and download data. When intrusion takes place,these two types of dataflow may have different characters. Based on this discovery,we proposed a novel intrusion detection method (U-D method) taking both upload and download data into consideration. With the enhanced separately analysis method,we could figure out the intrusion clues more effectively and efficiently. We wonder the relationships between these data might contain some instinct clue for discovering important intrusions. Experiment results demonstrate the effectiveness of our approach.Key Words: Intrusion detection, SVM, Upward IP Data, Down-ward IP Data目 录第一章 绪 论11.1 研究背景11.2 国内外研究现状31.3 本文的主要工作81.4 本文的组织结构9第二章 入侵检测技术研究综述112.1 检测技术的发展史112.2 检测技术的分类122.3 检测技术的评价指标132.4 误用检测技术142.4.1 基于规则匹配的检测技术152.4.2 基于条件概率的检测技术152.4.3 基于状态转移分析的检测技术162.4.4 基于模型推理误用的检测技术162.5 异常检测技术172.5.1 基于统计方法的检测技术172.5.2 基于贝叶斯推理的检测技术182.5.3 基于神经网络的检测技术182.5.4 基于遗传算法的检测技术192.5.5 基于数据挖掘的检测技术202.5.6 基于人工免疫的检测技术202.5.7 基于支持向量机的检测技术202.6 入侵检测系统结构分析212.6.1 集中式IDS212.6.2 等级式IDS222.6.3 分布式IDS242.7 规则描述语言252.8 实验数据292.9 本章小结33第三章 误用入侵检测中的模式识别算法研究353.1 引言353.2 AC-BM算法363.3 AC-BM算法改进383.3.1 问题分析383.3.2 改进方案393.3.3 算法构造403.4 实验及分析523.5 本章小结61第四章 基于启发式搜索的特征选择624.1 搜索策略624.2 评价准则634.3 特征选择算法644.4 基于变量相似性特征选择664.4.1 线性相关系数准则和最大信息压缩准则674.4.2 基于变量相似性的特征选择算法684.5 实验及分析694.6 本章小结71第五章 异常入侵检测中的SVM分类器研究735.1 引言735.2 传统SVM分类器745.3 INN-SVM分类器构造765.3.1 问题分析765.3.2 改进方案785.3.3 分类器构造795.4 实验及分析845.5 本章小结87第六章 基于启发式规则的混合入侵检测系统886.1 引言886.2 传统IDS896.3 基于启发式规则的混合入侵检测模型906.3.1 设计思路906.3.2 模型构造906.4 实验及分析966.4.1 吞吐率976.4.2 匹配性能976.4.3 分类器性能996.5 本章小结100第七章 总结与展望1017.1 本论文对相关项目的贡献1017.2 本论文的总结1017.3 关于未来研究的展望102参考文献103致 谢105在读期间发表的学术论文与取得的其它研究成果106 第一章 绪 论1.1 研究背景随着网络和计算机技术的不断发展, 人类社会进入了一个崭新的互联网时代。科技发展的日新月异, 对推动社会发展和人类进步具有不可忽视的重要意义。而以计算机和网络技术为代表的IT产业更是位于科技发展的技术前沿, 而且直接引导了互联网的一次次技术革命, 人类社会的各个领域都在发生着前所未有的重大变革, 人类社会正在走进信息化社会。然而随着网络技术、 网络规模和网络应用的高速发展, 个人和各种组织, 包括政府、 企业、 军队, 都越来越依赖于信息系统、 通信网络以及与之相关的自动化应用。同时也为网络攻击提供了便利条件, 攻击技术快速发展, 呈现出多元化、 复杂化和智能化的发展趋势, 攻击频度和规模逐年递增。以国家计算机网络应急技术处理协调中心(CNCERT/CC)在 发布的报告为例, , CNCERT/CC接收的网络仿冒、 垃圾邮件和网页恶意代码等非扫描类网络安全事件报告总数为4390件, 大大超出去年同期水平, 与 相比, 网络仿冒事件增长1.4倍, 垃圾邮件事件增长1倍, 网页恶意代码事件增长2.6倍。同时据抽样显示, , 境内外控制者利用木马控制端对主机进行控制的事件中, 木马控制端IP地址总数为433, 429个, 被控制端IP地址总数为2, 861, 621个, 比去年同期均有较大幅度的增长。下面对当前的网络安全现状进行具体分析。首先, 在当前的网络状况下, 各种病毒和攻击方法不断更新换代, 安全威胁的种类越来越多, 升级的频率越来越快, 所能影响的范围也越来越广。当前存在的安全威胁主要有以下几种: 1)系统破坏: 入侵行为往往对系统造成极大的破坏, 主要表现在网络性能变差, 影响网络服务的质量甚至无法提供正常的服务, 主机速度变慢, 程序运行异常, 系统无法正常工作, 严重时导致系统崩溃。系统遭到破坏产生的直接后果就是用户无法使用电脑进行正常工作。当前, 网络已经成为许多企业和用户工作的重要工具, 系统的破坏将严重影响企业的正常运营和用户的工作, 对企业和个人造成重大的经济损失。2)信息泄漏: 企业网络及个人的主机上有许多重要信息和资料, 有些保密级别很高, 不能对外公开。对于个人来说, 个人隐私的泄漏会给人们带来许多不必要的麻烦, 如各种电话、 短信、 垃圾邮件的骚扰等, 严重时会对人们的生活造成极大的影响。另外, 个人网上银行账户的泄漏会对个人的财产造成重大的损失, 某些网络账号和密码的被窃, 会被入侵者用来做一些违背用户个人意愿的事情, 有时甚至会是违法的事情。对于企业来说, 商场如战场, 而商机往往由及时可靠的信息获取来决定, 许多公司企业的网络中往往会存在一些涉及商业机密的重要文件, 这些文件往往成为一些商业计划成败的关键, 一旦泄漏, 对公司企业的打击是沉重的。信息泄漏的危害很大, 甚至会威胁到政府和国家的安全。政府的重要文件和国家机密作为一个国家最为重要的信息, 往往决定着国家的重大决策, 把握着国家的经济命脉, 影响范围十分广泛, 涉及国家金融、 经济、 军事、 安全的各个方面, 现在政府都建立了自己的网站, 方便政府的办公, 可是同时也增加了这些重要的文件及机密泄漏的风险。因此信息泄漏是网络安全领域的重要问题, 危害十分严重。3)数据损毁: 网络中最重要的资源就是数据, 网络提供的一切服务以及在网络中传输的任何信息, 其实就是一堆数据。数据损毁主要是对数据完整性的破坏, 包括数据的损坏和丢失, 导致数据损毁的原因是多方面的, 有人为的因素, 如入侵者的删除和蓄意破坏用户个人的错误操作, 误删或没有保存。也有来自系统本身的原因, 如系统崩溃导致数据损毁, 存储介质故障导致数据损毁。还有一些外来的因素, 如突然断电造成的数据损毁。其中, 因为入侵行为而导致的数据损毁是最为常见而又很难防范的。在没有很好的数据保护管理机制的情况下, 重要数据的损毁对企业和个人往往是灾难性的, 很多人面对重要数据的丢失往往是欲哭无泪, 诉求无门。4)非法控制: 入侵者在成功入侵某些机关、 企业或个人的主机后, 往往会在被入侵主机中植入木马, 留下后门, 方便其对主机进行长期的非法控制。在这种情况下, 除了可能出现前面提到的三种情况外, 还可能会出现一些意想不到的严重后果, 造成灾难性的危害。 , 美国海军航空中心的电脑被黑客入侵, 经过对被入侵电脑的控制, 该黑客甚至能够操控军用导弹的发射, 一场人为的灾难就因为网络系统的安全问题而掌握在入侵者的一念之间, 其后果多么可怕。网络和计算机技术的进步, 在给人类的生活带来极大便利的同时, 也为黑和恶意攻击者提供了入侵的手段和条件。同时, 正是由于当前的网络规模不断大, 所涉及的用户范围不断增加, 一旦发生有组织, 大规模的网络入侵事件, 所造成的影响也就越恶劣, 据国际网络安全专家分析, 当前世界范围内的网络安全防护依然处于薄弱状态: 百分之九十五的网络攻击没有被检测到, 而所检测到的网络攻击也只有百分之十五被报告; 中国国内80的网站存在安全隐患, 20的网站有严重安全问题。这无疑给网络安全技术提出了新的挑战。1.2 国内外研究现状入侵检测的研究可追溯到20世纪80年代, 早在1980年, Anderson等人就给出了入侵检测的概念, 并提出利用审计信息来跟踪用户可疑行为的入侵检测方法。随着网络的兴起, 网络的安全问题日益严重, 入侵检测得到了重视, 广泛的发展起来。当前国内外关于信息安全的国际会议已有上百个, 比较有影响的有IFIP/SEC, ACM CCS, ISC, ICICS, CIS, CNCC, NDSS等。ACM, Springer, Elsevier, IEEE等国际知名组织和出版商每年都会刊登大量的相关文章, 出版相应的论文集。其中, 国际信息处理联合会IFIP召开的世界计算机大会(IFIP/WCC)下面的安全会议(IFIP/SEC)是信息安全领域的国际顶级学术会议, 因其引领技术潮流而备受各国信息安全界的关注, 而入侵检测一直是IFIP/SEC会的主要议题之一。IFIP/SEC主要由IFIP信息安全专委会TC11负责, 第一届IFIP/SEC信息安全国际会议于1983年5月在瑞典斯德哥尔摩召开, 每年召开一次, 到 已召开24届。需要特别提到的是 世界计算机大会IFIP/WCC 在北京举行, 江泽民主席在会议开幕式上致词, 国内著名信息安全专家卿斯汉为IFIP/SEC 程序委员会主席, 充分说明信息安全问题在中国已经受到了足够的关注和重视, 相关的研究已经与国际社会接轨, 并得到国际社会的认可。国际信息与通信安全会议ICICS是国内信息安全领域的顶级会议, 也是国际公认的第一流国际会议, 由中科院软件研究所主办。ICICS为国内外信息安全学者与专家齐聚一堂, 探讨国际信息安全前沿技术提供了难得的机会, 对促进国内外的学术交流, 促进中国信息安全学科的发展做出了重要的贡献。国外从事信息安全入侵检测研究的主要机构有: 乔治敦大学, 普渡大学COAST实验室, SRI公司计算机科学实验室(SRI/CLS ), Haystack实验室, 加州大学戴维斯分校, 加州大学圣塔芭芭拉分校, 洛斯阿拉莫斯国家实验室、 哥伦比亚大学、 新墨西哥大学等。其中, SRI/CSL、 普渡大学、 加州大学戴维斯分校、 洛斯阿拉莫斯国家实验室、 哥伦比亚大学、 新墨西哥大学等机构在这些方面的研究代表了当前的最高水平。国内从事信息安全入侵检测研究的主要机构有: 中科院, 国防科技大学、 哈尔滨工业大学、 上海交通大学、 北京邮电大学等。近年来, 以信息安全专家卿斯汉、 方滨兴、 冯登国、 李建华、 周仲义、 陈恭亮、 唐正军为代表的众多国内信息安全研究人员在入侵检测领域取得了丰硕的研究成果, 发表了大量的文献和专著。卿斯汉等人定期会撰写介绍入侵检测研究现状的文章, 发表在国内权威期刊上, 这对于国内信息安全研究人员了解相关领域的研究动态起了很好的帮助作用。近几年, 随着人们对信息安全的认识不断提升, 信息安全问题越来越引起人们的重视, 入侵检测系统的市场更是飞速发展, 许多公司投入到这一领域, 推出了自己的产品。国外的企业及其产品有: Sourcefire公司(现被Barracuda Networks INC收购)的Snort, ISS(Internet Security System)公司的RealSecure, Cisco公司的Secure IDS(前身为NetRanger ), Axent Technologies公司(现被Symantec收购)的Netprowler/Intruder Alert, CA公司的SessionWall-3/eTrust Intrusion Detection, NFR公司的NID, NAI公司的C如erCop Monitor等。国内在入侵检测研究方面虽然起步较晚, 但发展很快, 当前在公安部取得销售许可证的安全厂商已有30余家, 主要的企业及其产品有: 启明星辰(VenusTech)的天闻、 北方计算中心的NIDS detector、 远东科技的黑客煞星、 金诺网安的KIDS、 绿盟的冰之眼IDS等。经过二十来年的研究与发展, 入侵检测已经从最初简单的基于审计信息的单机检测模式, 发展到以网络为平台, 研究内容丰富, 涉及领域广泛的一门综合性学科。网络入侵检测各领域研究现状如下: 1) IDS体系结构研究IDS体系结构研究的内容是系统各功能部件以及部件之间的联系, 它定义了IDS的各个功能模块以及模块间的关系, 决定了IDS的功能、 性能以及适用的场合。(1)集中式: 这种结构的工DS可能有多个分布于不同主机上的审计程序, 但只有一个中央入侵检测服务器。审计程序把当地收集到的数据发送给中央服务器进行分析处理。这种结构的IDS无法适应大规模网络环境, 在可伸缩性、 可配置性方面存在致命缺陷: 随着网络规模的增加, 导致网络性能大大降低。系统安全性脆弱, 一旦中央服务器出现故障, 整个系统就会陷入瘫痪; 根据各个主机不同需求配置服务器也非常复杂。(2)等级式: 为了克服集中的缺点, 等级式IDS被提出来。它用来监控大型网络, 定义了若干个分等级的监控区, 每个IDS负责一个区, 每一级IDS只负责所监控区的分析, 然后将当地的分析结果传送给上一级IDS。这种结构仍存在两个问题: 当网络拓扑结构改变时, 区域分析结果的汇总机制也需要做相应的调整; 这种结构的IDS最后还是要把各地收集到的结果传送到最高级的检测服务器进行全局分析, 因此系统的安全性并没有实质性的改进。(3)分布式: 将中央检测服务器的任务分配给多个基于主机的IDS, 这些IDS不分等级, 各司其职, 负责监控当地主机的某些活动。因此, 其可伸缩性、 安全性都得到了显著的提高, 但维护成本却高了很多, 而且增加了所监控主机的工作负荷, 如通信机制、 审计开销、 踪迹分析等。2)网络攻击模型研究网络攻击模型的建立对于了解网络攻击原理, 分析网络入侵过程, 评估网络安全程度有着重要的意义, 对于IDS的部署有着重要的指导作用。网络攻击模型的建模方法主要有四种, 分别是攻击树、 攻击网、 状态转移图和攻击图。其中攻击图的建模方法最为有效, 也是当前研究的重点。早期, 攻击图由Red Teams经过对系统的脆弱性分析, 手动生成, 当网络规模较大时, 这种方式效率很低。当前, 网络攻击图自动生成的研究主要有两种方法: 基于模型检测技术的方法和基于图论的方法。3)入侵行为特征提取方法研究数据源是入侵检测系统的重要模块, 为入侵检测提供原始数据, 面对网络系统中大量的数据信息, 有效的提取入侵行为的特征对于入侵检测的检测率、 可靠性及实时性都有着重要的影响。网络系统中的数据源有两种: 一种是主机系统中的审计数据、 安全日志、 行为记录等信息; 一种是网络协议数据包。特征提取的目的就是对这些原始数据进行分析, 提取攻击特征, 经过适当的编码将其加入入侵模式库。一个特征应该是一个数据独有的特性, 提取出来的特征应该能够准确、 完整的描述该数据或行为, 从而为判断入侵提供依据。提取入侵行为的特征, 就是对入侵行为进行形式化的描述, 对其进行准确地分类。当前, 网络攻击分类方法主要有四种: 基于经验术语的分类方法、 基于单一属性的分类方法、 基于多属性的分类方法、 基于应用的分类方法。其中基于多属性的攻击分类方法将攻击看成是一个动态的过程, 并将其分解成相互关联的多个独立的阶段, 再对每个阶段的属性进行独立的描述, 具有很好的扩展性, 能够全面地、 准确地表述攻击过程, 得到了广泛的研究和应用。近几年, 基于主成分分析(Principal Component Analysis, PCA)和独立成分分析( Independent Component Analysis, ICA)的特征提取方法成为研究的热点。PCA技术能够将数据从高维数据空间变换到低维特征空间, 能够保留属性中那些最重要的属性, 从而更精确的描述入侵行为。ICA也是一种用于数据特征提取的线性变换技术, 与PCA的主要区别是: PCA分析仅利用数据的二阶统计信息, 所得的数据特征彼此正交; 而ICA分析利用了数据的高阶统计信息, 强调的是数据特征之间的独立性。4)入侵检测方法研究入侵检测方法能够分为两类: 异常入侵检测(Anomaly Detection)、 误用入侵检测(Misuse Detection)和混合型入侵检测(Hybrid Detection)。(1)异常(Anomaly)IDS: 异常检测也叫基于行为的检测, 是利用统计的方法来检测系统的异常行为。异常检测假设: 任何对系统的入侵和误操作都会导致系统异常。它首先建立统计概率模型, 明确所观察对象的正常情况, 然后决定在何种程度上将一个行为标为”异常”, 再经过检测系统的行为或使用情况的变化来完成对”异常”行为的检测。异常检测只能识别出那些与正常过程有较大偏差的行为, 由于对各种网络环境的适应性不强, 且缺乏精确的判定标准, 异常检测经常会出现误报的现象。(2)误用的(Misuse)IDS: 误用检测也叫基于知识的检测, 是指运用已知的攻击方法, 根据已定义好的入侵模式, 经过判断这些入侵模式是否出现来检测入侵。这种方法由于依据具体特征库进行判断, 因此对已知的攻击类型非常有效; 而且因为检测结果有明确的参照, 也为系统管理员做出相应措施提供了方便。但这种方法对攻击的变种和新的攻击几乎无能为力; 同时由于对具体系统的依赖性太强, 系统移植性不好, 维护工作量大, 而且检测范围受已知知识的局限。(3)混合型(Hybrid)IDS: 由于基于误用的IDS和基于异常的IDS各有其优越性和不足, 因而在许多IDS中同时采用了这两种不同的入侵检测方法, 这种IDS称为混合型IDS。混合型IDS中异常检测器和误用检测器之间应该是互相约束的。由于异常检测难以克服其局限性, 因而许多商用IDS基本上采用的都用基于误用的入侵检测方法。许多科研人员正在努力研究能应用于实际入侵检测系统的异常检测器。 异常入侵检测能够识别新的入侵行为, 具有较低的漏警率, 可是却有很高的误警率。而误用入侵检测无法识别新的入侵行为, 只能识别那些在其规则库中存在的入侵行为, 具有较高的漏警率, 可是却有很低的误警率。因此, 异常入侵检测方法与误用入侵检测方法在功能上是互补的。考虑到这些特性, 当前大多数入侵检测系统都同时采用了这两种方法, 即混合型检测方法, 主要有: 基于规范的检测方法, 基于生物免疫的检测方法, 基于伪装的检测方法, 基于入侵报警的关联检测方法。混合型入侵检测方法综合了异常和误用检测的优点, 是当前入侵检测研究的重点, 其设计目标是提高入侵检测的可靠性、 准确性, 降低检测的误警率和漏警率。5)IDS响应机制研究IDS响应机制是入侵检测的重要功能模块。响应机制根据入侵检测的结果, 采取必要和适当的动作, 阻止进一步的入侵行为或恢复受损害的系统, 同时对数据源和入侵检测的分析引擎产生影响。针对数据源, 响应机制能够要求数据源提供更为详细的信息、 调整监视策略、 改变收集的数据类型; 针对分析引擎, 能够更改检测规则、 调整系统运行参数等。(1)被动响应IDS: 系统检测到入侵后, 仅仅记录所检测到的异常活动信息, 并将警报信息报告给系统管理员, 由系统管理员决定接下来应该采取什么措施。在早期的入侵检测系统中, 都是采取被动响应方式。(2)主动响应IDS: 系统检测到入侵后, 采取某种响应手段或措施阻塞攻击的进程或者改变受攻击的网络环境配置, 以尽可能减小危害或阻止入侵。主动响应采取的措施有: 追踪入侵、 切断攻击发起主机或网络的连接、 反向攻击入侵主机等, 更为先进的主动响应手段包括自动修补目标系统的安全漏洞、 动态更改检测系统的检测规则集合等方法, 甚至包括与”蜜罐”(HoneyPort)系统密切合作, 积极收集攻击行为的信息和入侵证据等。在实际应用中响应机制最重要的要求是在系统被入侵后能及时进行响应, 如果响应不及时, 系统可能已经遭到严重的破坏, 入侵检测将失去意义, 这就是实时响应的要求。传统的响应方法是系统自动根据事先定制的规则进行反应, 由于新的入侵手段的出现以及规则库的相对低智能, 这种方法很难实现准确无误的响应。代理技术的发展为实时响应提供了支持, 基于分布式智能代理技术的实时响应机制是当前研究的重点。分布式智能代理技术是当前远程通信发展最快的领域之一, 它是指在分布式环境中, 一组不同的代理彼此协作, 互相通信, 使各代理能够做出最理想的决策。它具有高度的智能化能够独立做出各种决策来检测入侵并消除负面影响。基于分布式智能代理技术的实时响应机制与入侵检测系统的体系结构研究休戚相关, 采用的是主体型体系结构, 需要有效设计系统中的各个功能模块及它们之间的通信协议。6) IDS标准化随着网络规模的扩大, 网络入侵方式、 类型及特征日趋多样化, 入侵活动变得复杂而又难以捉摸, 某些入侵行为单靠单一的入侵检测系统无法检测出来, 需要多种安全措施协同工作才能有效保障网络系统的安全, 这就要求各安全系统之间能够交换信息, 相互协作, 形成一个整体有效的安全保障系统, 这就是入侵检测系统的标准化制定。自1997年起, 美国国防高级研究计划署(DARPA)和互联网工程任务组(IETF)的入侵检测工作组(IDWG)发起制定了一系列建议草案, 从体系结构、 API、 通信机制、 语言格式等方面规范了IDS的标准。当前入侵检测标准化工作取得的成果有: DARPA提出的公共入侵检测框架(Common Intrusion Detection Framework, CIDF )和IDWG制定的数据格式和交换规程。CIDF的规格文档主要包括4部分: 体系结构、 IDS通信机制、 通用入侵描述语言( Common Intrusion Specification Language, CISL )、 应用编程接口API。IDWG定义了数据格式和交换规程, 用于入侵检测与响应系统之间与需要交互的管理系统之间的信息共享, 包括三部分: 入侵检测消息交换格式(IDMEF )、 入侵检测交换协议(IDXP)、 隧道轮廓(Tunnel Profile )。入侵检测系统的标准化工作提高了IDS产品、 组件与其它安全产品之间的互操作性和互用性, 使得多种安全技术及其产品能够协同工作, 共同保障系统安全。1.3 本文的主要工作 入侵检测在网络安全防护中发挥着重要的作用, 具有重大的研究意义。如上所述, 入侵检测研究的领域很多, 本文对其中若干子课题作了研究, 分别是网络攻击模型研究、 入侵检测方法研究以及IDS体系结构研究。本文所作的主要工作如下: 1)对入侵检测模式匹配算法作了研究, 提出了一种改进的AC-BM多模式匹配算法。AC-BM算法在误用入侵检测基于规则的模式匹配中得到广泛的应用, 然而在实际的应用中还存在以下问题: 对短模式处理效果差; 不支持多用户等 。本文分析了这些问题存在的原因, 并对算法作了改进: 首先, 将短模式与长模式分开进行处理, 避免了短模式对长模式的影响, 并经过直接计算哈希值的方法来对短模式串进行匹配, 提高了短模式串的匹配速度; 最后, 采用地址过滤的方法避免了链表的遍历, 同时节省了原有算法中用于计算前缀哈希值的时耗; 其次, 为进一步提高了算法的匹配速度, 设计MRRT规约树能支持多线程归约和在线动态调整, 特别适用于大规模多模式匹配。改进后的AC-BM算法具有更好的性能, 提高了入侵检测中模式匹配的速度。2)基于启发式搜索的特征选择, 在进行模式分类时, 只有特征向量中包含足够的类别信息, 分类器才能实现正确分类, 而特征中是否包含足够的类别信息却很难确定, 为了提高识别率, 我们总是最大限度地提取特征信息, 结果不但使特征维数增大, 而且其中可能存在较大的相关性和兀余性, 这给特征的进一步处理和入侵检测模型的实现都带来很大的困难。因而, 需要在不降低(或尽量不降低)检测准确度的前提下, 采用一定的算法, 尽量降低特征空间的维数, 这就是特征选择。2)对IDS中的SVM分类器作了研究, 提出了一种基于超球面边界样本点筛选算法的SVM分类器。在异常入侵检测中SVM分类器可用于对未知入侵进行检测, 而SVM分类器的构造当前主要受到两个方面的困扰: 一是当训练样本规模较大时, 分类器的训练时间过长; 二是离群点的存在严重影响分类器的泛化能力。为了消除离群点并精简训练样本集, 考虑到分类器的划分结果主要由位于两类样本点边界处占样本数少部分的支持向量决定, 本文采用了以下方法对样本集进行处理: 首先采用KNN算法对离群点进行消除; 然后构造以样本点为球心的超球面, 经过判断超球面内样本点类别的异同来判断该作为球心的样本点是否位于边界, 从而提取边界样本点。实验结果表明经过选择适当的临近点个数及超球面半径, 能够有效的提取边界样本点, 达到消除离群点和精简训练样本集的目的, 而且精简后的样本集不会影响分类器的泛化能力。该分类器在异常入侵检测中表现出较好的性能。3)提出了一种基于启发式规则的混合入侵检测系统模型。模型专门设计了混合入侵检测引擎, 结合误用入侵检测和异常入侵检测技术, 降低了入侵检测的误警率和漏警率。整个模型具有很好的可扩展性、 可靠性、 稳定性和可用性, 能够适用于大规模的高速的网络环境。1.4 本文的组织结构本文的章节安排如下: 第一章, 绪论。详细分析了论文的研究背景、 意义及技术难点, 给出了论文的主要研究工作和创新点。第二章, 入侵检测技术研究综述。介绍了入侵检测的概念和通用模型以及入侵检测的技术分类, 系统结构分析, 以及使用的规则描述语言和实验数据等内容。第三章, 误用入侵检测中的模式识别算法研究。介绍了误用入侵检测模式匹配问题, 重点分析介绍了AC-BM多模式匹配算法, 提出了一种改进的AC-BM算法IAC-BM, 比较分析了两种算法入侵检测的性能。第四章, 基于启发式搜索的特征选择。介绍我们提出的基于变量相似性的特征选择算法。第五章, 异常入侵检测中的SVM分类器研究。介绍了异常入侵检测分类问题, 对传统的SVM分类器作了介绍, 针对传统S VM分类器存在的主要问题, 提出了一种基于超球面边界样本点筛选算法的SVM分类器(INN-SVM), 比较分析了INN-SVM分类器与其它SVM分类器对入侵检测的性能。第六章, 基于启发式规则的混合入侵检测模型。介绍了IDS系统体系结构的发展, 提出了一种基于启发式规则的混合入侵检测模型, 把连接上下行数据分别采用误用检测技术和异常检测技术, 并对检测到得结果经过混合分析引擎拟合, 对模型的性能作了测试。第七章, 总结与展望。对本文的工作进行总结, 并对进一步的研究工作进行展望。第二章 入侵检测技术研究综述本章综述了入侵检测技术的发展历程, 对现有的入侵检测技术进行了分类, 介绍了入侵检测技术的评价指标, 并以典型的入侵检测技术为例, 分别介绍其技术要点, 指出了它们的优缺点。最后介绍了入侵检测系统的体系结构、 规则描述语言和实验数据等。2.1 检测技术的发展史早在20世纪80年代就已经展开了对入侵检测技术的研究, 发展至今已有近30年的历程。根据所检测数据的来源不同, 入侵检测技术经历了基于主机的入侵检测技术、 基于网络的入侵检测技术和分布式入侵检测技术三个发展时期。1980年, James P.Anderson先生在她的开山之作Computer Security Threat Monitoring and Surveiliance冲首次提出了入侵检测的概念, 由此开始了对入侵检测技术的研究。在这篇文章中, 她提到了审计数据对于入侵检测的重要性, 经过监视和存储相关的审计数据信息, 建立用户审计信息模型, 再根据这些统计模型发现系统当中存在的异常行为。这是首次对入侵的检测提出原创性的解决方法, 也是日后异常检测方法的原型。1987年, Dorothy Denning博士提出了IDS的抽象模型, 模型主要由主体( Subjects )、 对象(Objects )、 审计记录(Audit Records )、 行为轮廓(Profiles )、 异常记录(Anomaly Records)及活动规则(Activity Rules)组成, 这是一个入侵检测系统的通用框架。在这篇文章中将入侵检测技术与加密、 认证、 访问控制等安全技术相比, 肯定了入侵检测对于保证系统安全的重要作用。这篇文献能够看成是在入侵检测技术的发展历史中具有里程碑意义的重要论著。1988年, Denning博士提出的模型由SRI International公司实现, 称之为入侵检测专家系统(Intrusion Detection Expert System, IDES。该系统能够用于检测主机系统上发生的入侵行为, 是一个与系统平台无关的专家检测系统。这也是日后的误用检测方法的系统原型。后来入侵检测的原型系统被陆续开发, 如下一代入侵检测系统( Next-Generation Intrusion Detection System, NIDES )、 Haystack系统等。从上面的描述可知, 在入侵检测技术发展的初期, 所检测的数据都是主机系统的待审计数据, 然而随着网络技术的发展和网络应用的普及, 针对网络的攻击事件不断发生, 对入侵检测技术的研究也随之进入了第二阶段, 即网络入侵检测技术。1990年, 由L.T.Heberlein开发了第一个网络入侵检测系统网络安全监视器( Network Security Monitor, NSM ), 经过在共享网段上对通信数据的监听和采集, 检测所有数据包的包头信息, 分析可能出现的攻击现象, 从而达到对整个网段的入侵检测和保护。网络入侵检测技术经过分析数据包包头信息、 网络流量和网络连接的各个特征属性来检测网络中存在的入侵行为, 区分正常网络应用和恶意攻击。这种方法扩展了入侵检测技术的应用范围, 同时由于采用的是监听的方式获取待检测数据, 没有增加网络负担, 也不会占用网络上其它主机的资源。然而不论是基于主机的入侵检测系统还是基于网络的入侵检测系统, 早期的结构都是集中式的, 数据采集模块和数据分析模块都位于同一台机器上, 这和网络逐渐走向分布式、 异构性的趋势并不符合。而且随着分布式网络攻击的出现, 分布式入侵检测技术也应运而生。 1991年提出的分布式入侵检测系统(Distributed Intrusion Detection System, DIDS)是第一个分布式的系统, 它将主机入侵检测和网络入侵检测结合, 能适应异构环境。该系统由三个部分组成: 主机管理单元、 网络管理单元和中央管理