入侵检测.pptx

大纲n概述n入侵检测技术n入侵检测体系n入侵检测发展概述nIDS基本结构n入侵检测的分类n基本术语n入侵检测系统及起源IDS存在与发展的必然性n网络安全本身的复杂性，被动式的防御方式显得力不从心。n有关防火墙：网络边界的设备；自身可以被攻破；对某些攻击保护很弱；并非所有威胁均来自防火墙外部。n入侵很容易：入侵教程随处可见；各种工具唾手可得入侵检测系统（IDS）n入侵检测（Intrusion Detection）的定义：通过从计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和遭到袭击的迹象的一种安全技术。n入侵检测系统（IDS）：进行入侵检测的软件与硬件的组合。入侵检测的起源n审计技术：产生、记录并检查按时间顺序排列的系统事件记录的过程。n1980年，James P.Anderson的计算机安全威胁监控与监视（Computer Security Threat Monitoring and Surveillance）第一次详细阐述了入侵检测的概念计算机系统威胁分类:外部渗透、内部渗透和不法行为提出了利用审计跟踪数据监视入侵活动的思想这份报告被公认为是入侵检测的开山之作入侵检测的起源n1984年到1986年，乔治敦大学的Dorothy Denning和SRI/CSL的Peter Neumann研究出了一个实时入侵检测系统模型IDES（入侵检测专家系统）n1990年，加州大学戴维斯分校的L.T.Heberlein等人开发出了NSM（Network Security Monitor）该系统第一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控异种主机入侵检测系统发展史翻开了新的一页，两大阵营正式形成：基于网络的IDS和基于主机的IDS入侵检测的起源n1988年之后，美国开展对分布式入侵检测系统（DIDS）的研究，将基于主机和基于网络的检测方法集成到一起。DIDS是分布式入侵检测系统历史上的一个里程碑式的产品。n从20世纪90年代到现在，入侵检测系统的研发呈现出百家争鸣的繁荣局面，并在智能化和分布式两个方向取得了长足的进展。IDS基本结构nIDS通常包括以下功能部件：n事件产生器n事件分析器n事件数据库n响应单元事件产生器n负责原始数据采集，并将收集到的原始数据转换为事件，向系统的其他部分提供此事件。n收集内容：系统、网络数据及用户活动的状态和行为n需要在计算机网络系统中的若干不同关键点（不同网段和不同主机）收集信息系统或网络的日志文件网络流量系统目录和文件的异常变化程序执行中的异常行为事件产生器n入侵检测很大程度上依赖于收集信息的可靠性和正确性要保证用来检测网络系统的软件的完整性特别是入侵检测系统软件本身应具有相当强的坚固性，防止被篡改而收集到错误的信息事件分析器n接收事件信息，对其进行分析，判断是否为入侵行为或异常现象，最后将判断的结果转变为告警信息。n分析方法：模式匹配：将收集到的信息与已知的网络入侵和系统误用模式数据库进行比较，从而发现违背安全策略的行为统计分析：首先给系统对象（如用户、文件、目录和设备等）创建一个统计描述，统计正常使用时的一些测量属性（如访问次数、操作失败次数和延时等）；测量属性的平均值和偏差将被用来与网络、系统的行为进行比较，任何观察值在正常值范围之外时，就认为有入侵发生完整性分析（往往用于事后分析）：主要关注某个文件或对象是否被更改事件数据库n存放各种中间和最终数据的地方。n从事件产生器或事件分析器接收数据，一般会将数据进行较长时间的保存。响应单元n根据告警信息做出反应，是IDS中的主动武器。n可做出：强烈反应：切断连接、改变文件属性等简单的报警入侵检测的分类n按照分析方法/检测原理n按照数据来源n按照体系结构n按照工作方式入侵检测性能关键参数n误报(false positive)：实际无害的事件却被IDS检测为攻击事件。n漏报(false negative)：一个攻击事件未被IDS检测到或被分析人员认为是无害的。入侵检测的分类n按照分析方法/检测原理异常检测（Anomaly Detection):首先总结正常操作应该具有的特征（用户轮廓），试图用定量的方式加以描述，当用户活动与正常行为有重大偏离时即被认为是入侵误用检测（Misuse Detection)：收集非正常操作的行为特征，建立相关的特征库，当监测的用户或系统行为与库中的记录相匹配时，系统就认为这种行为是入侵异常检测n前提：入侵是异常活动的子集n用户轮廓(Profile):通常定义为各种行为参数及其阀值的集合，用于描述正常行为范围n指标:漏报率低,误报率高异常检测特点n异常检测系统的效率取决于用户轮廓的完备性和监控的频率n不需要对每种入侵行为进行定义，因此能有效检测未知的入侵n系统能针对用户行为的改变进行自我调整和优化，但随着检测模型的逐步精确，异常检测会消耗更多的系统资源误用检测n前提：所有的入侵行为都有可被检测到的特征n攻击特征库:当监测的用户或系统行为与库中的记录相匹配时，系统就认为这种行为是入侵n指标:误报低、漏报高误用检测n如果入侵特征与正常的用户行为能匹配，则系统会发生误报；如果没有特征能与某种新的攻击行为匹配，则系统会发生漏报n特点：采用模式匹配，误用模式能明显降低误报率，但漏报率随之增加。攻击特征的细微变化，会使得误用检测无能为力。入侵检测的分类n按照数据来源基于主机：系统获取数据的依据是系统运行所在的主机，保护的目标也是系统运行所在的主机基于网络：系统获取的数据是网络传输的数据包，保护的是网络的正常运行混合型基于主机的入侵检测系统（HIDS）HIDS的工作原理HIDSn监视与分析主机的审计记录和日志文件n主要用于保护运行关键应用的服务器n最适合于检测那些可以信赖的内部人员的误用以及已经避开了传统的检测方法而渗透到网络中的活动n能否及时采集到审计记录n如何保护作为攻击目标的HIDS基于网络的入侵检测系统（NIDS）基于网络入侵检测系统工作原理NIDSn在共享网段上对通信数据进行侦听采集数据n主机资源消耗少n提供对网络通用的保护n如何适应高速网络环境n非共享网络上如何采集数据n典型产品代表：Snort两类IDS监测软件入侵检测的分类n按照体系结构集中式：有多个分布于不同主机上的审计程序，但只有一个中央入侵检测服务器。审计程序把当地收集到的数据踪迹发送给中央服务器进行分析处理。（可伸缩性、可配置性差）分布式：将中央检测服务器的任务分配给多个HIDS，它们不分等级，负责监控当地主机的可疑活动。（可伸缩性、安全性高；但维护成本高，监控主机的工作负荷重）入侵检测的分类n按照工作方式离线检测：非实时工作，在行为发生后，对产生的数据进行分析。（成本低，可分析大量事件、分析长期情况；但无法提供及时保护）在线检测：实时工作，在数据产生的同时或者发生改变时进行分析（反应迅速、及时保护系统；但系统规模较大时，实时性难以得到实际保证）基本术语n Alert（警报）n Signatures（特征）n Promiscuous（混杂模式）Alert（警报）n当一个入侵正在发生或者试图发生时，IDS将发布一个alert信息通知系统管理员n如果控制台与IDS同在一台机器，alert信息将显示在监视器上，也可能伴随有声音提示n如果是远程控制台，那么alert将通过IDS的内置方法（通常是加密的）、SNMP（简单网络管理协议，通常不加密）、email、SMS（短信息）或者以上几种方法的混合方式传递给管理员Signatures（特征）n攻击特征是IDS的核心，它使IDS在事件发生时触发n特征信息过短会经常触发IDS，导致误报或错报；过长则会影响IDS的工作速度n有人将IDS所支持的特征数视为IDS好坏的标准，但是有的厂商用一个特征涵盖许多攻击，而有些厂商则会将这些特征单独列出，这就会给人一种印象：好像它包含了更多的特征，是更好的IDSPromiscuous（混杂模式）n默认状态下，IDS网络接口只能“看到”进出主机的信息，也就是所谓的non-promiscuous（非混杂模式）n如果网络接口是混杂模式，就可以“看到”网段中所有的网络通信量，不管其来源或目的地n这对于网络IDS是必要的入侵检测技术n误/滥用检测技术n高级检测技术n异常检测技术n入侵诱骗技术n入侵响应技术异常检测技术n 概率统计异常检测n 特征选择异常检测n 贝叶斯推理异常检测n 贝叶斯网络异常检测n 模式预测异常检测n 神经网络异常检测n 机器学习异常检测n 数据挖掘异常检测概率统计异常检测方法n是异常检测技术中应用最早也是最多的一种方法n根据异常检测器观察主体的活动，然后产生刻划这些活动的行为轮廓（用户特征表）n每一个轮廓保存记录主体当前行为，并定时将当前轮廓与历史轮廓合并形成统计轮廓（更新），通过比较当前轮廓与统计轮廓来判定异常行为n用于描述特征的变量类型及具体操作概率统计异常检测方法n优点：可应用成熟的概率统计理论n缺点：由于用户行为的复杂性，要想准确地匹配一个用户的历史行为非常困难，容易造成系统误报和漏报定义入侵阈值比较困难，阈值高则误报率提高，阈值低则漏报率增高基于神经网络异常检测方法n基本思想：用一系列信息单元（命令）训练神经元n神经网络的输入层是用户当前输入的命令和已执行过的W个命令；用户执行过的命令被神经网络使用来预测用户输入的下一个命令n若神经网络被训练成预测用户输入命令序列集合，则神经网络就构成用户的轮廓框架，于是网络对下一事件的预测错误率在一定程度上反映了用户行为的异常程度基于神经网络异常检测方法n优点：更好地表达了变量间的非线性关系，能更好地处理原始数据的随机特征，即不需要对这些数据做任何统计假设，并且能自动学习和更新有较好的抗干扰能力n缺点：网络拓扑结构以及各元素的权重很难确定误/滥用检测技术n主要假设：具有能够被精确地按某种方式编码的攻击，并可以通过捕获攻击及重新整理，确认入侵活动是基于同一弱点进行攻击的入侵方法的变种n误用入侵检测：指通过按预先定义好的入侵模式以及观察到入侵发生情况进行模式匹配来检测n入侵模式说明了那些导致安全突破或其它误用的事件中的特征、条件、排列和关系。一个不完整的模式可能表明存在多种构造方式的入侵企图滥用入侵检测方法n条件概率滥用检测n专家系统滥用检测n状态转换分析滥用检测n键盘监控滥用检测n模型推理滥用检测专家系统滥用入侵检测方法n是滥用检测技术中运用最多的一种方法n通过将安全专家的知识表示成IfThen结构的规则（if部分：构成入侵所要求的条件；then部分：发现入侵后采取的相应措施）形成专家知识库，然后运用推理算法检测入侵n注意：需要解决的主要问题是处理序列数据和知识库的维护（只能检测已知弱点）；专家系统滥用入侵检测方法n具体实现中所面临的问题：全面性问题：难以科学地从各种入侵手段中抽象出全面地规则化知识；效率问题：需要处理的数据量过大n商业产品一般不采用专家系统状态转换分析滥用入侵检测方法n主要思想：将入侵过程看作一个行为序列，该行为序列导致系统从初始状态转入被入侵状态。分析时，需要针对每一种入侵方法确定系统的初始状态和被入侵状态，以及导致状态转换的转换条件（导致系统进入被入侵状态必须执行的操作/特征事件）；然后用状态转换图来表示每一个状态和特征事件。n缺点：不善于分析过分复杂的事件，也不能检测与系统状态无关的入侵高级检测技术n 文件完整性检查n 计算机免疫检测n 遗传算法n 模糊证据理论n 数据挖掘n 数据融合文件完整性检查n主要思想：检查计算机中自上次检查后文件的变化情况。首先保存保护文件的信息摘要数据库，每次检查时，重新计算文件的数字摘要并与之进行比较，并判断文件是否被更改。n典型产品代表：Tripwiren优点：几乎不可能攻破（数学上分析）；有效的检测文件是否被更改的工具；灵活性好n缺点：依赖于本地的文摘数据库，可能被入侵者修改；做完整的文件完整性检查非常耗时计算机免疫检测n受生物免疫机制的启发：生物系统中的脆弱性因素都是由免疫系统来妥善处理的，而这种免疫机制在处理外来异常时呈现了分布的、多样性的、自治的和自修复的特征，免疫系统通过识别异常或以前未出现的特征来确定入侵。n主要思想：通过正常行为（以系统处理为中心）的学习来识别不符合常态的行为序列。n缺点：难以获得程序运行的所有情况的执行轨迹；检测不出利用程序合法活动进行非授权存取的攻击。数据挖掘n数据挖掘（Data Mining）：从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息，提取的知识一般可表示为概念、规则、规律、模式等形式。n数据挖掘技术是一种决策支持过程，它是一门交叉性学科，主要基于AI，机器学习、模式识别、统计学、数据库等技术，能高度自动化地分析原有数据，做出归纳性推理，从而提取出有用信息。n数据挖掘过程：数据准备、数据清理和集成、数据挖掘、知识表示、模式评估数据挖掘n运用关联分析，能够提取入侵行为在时间和空间上的关联，可以进行的关联包括源IP关联、目标IP关联、数据包特征关联、时间周期关联、网络流量关联等n可以解决的问题：弥补模式匹配技术对未知攻击无能为力的弱点使检测模型的构建自动化，发展异常检测方法n数据挖掘技术在入侵检测中的主要应用方向：发现入侵的规则、模式，与模式匹配检测方法相结合找出用户正常行为，创建用户的正常行为库入侵诱骗技术n定义：用特有的特征吸引攻击者，同时对攻击者的各种攻击行为进行分析，并进而找到有效的对付方法。n它是试图将攻击者从关键系统引诱开的诱骗系统。n 它是其他安全策略所不可替代的一种主动防御技术。其设计目的是：从现存的各种威胁中提取有用的信息，以发现新型的攻击工具、确定攻击的模式并研究攻击者的攻击动机。入侵诱骗技术n蜜罐技术（Honeypot）n蜜网技术（Honeynet）蜜罐（Honeypot）技术n定义：是一种被侦听、被攻击或已经被入侵的资源。n注意：Honeypot并非一种安全解决方案，它只是一种工具，而且只有Honeypot受到攻击，它的作用才能发挥出来。例：蜜罐与蠕虫捕获n蜜罐与反病毒领域的结合趋势始于2002年，成熟于2004年。n用于蠕虫捕获的蜜罐完全以获得蠕虫样本为目的。n用于蠕虫捕获的蜜罐系统主要针对获取系统控制权且主动传播的扫描溢出/口令猜测型蠕虫样本，使这些蠕虫扫描到蜜罐节点的时候，其样本文件或其他载体形态被获取。蜜罐的价值n蜜罐主要的价值是：第一时间捕获流行的扫描型蠕虫，例如第一时间截获冲击波、震荡波以及他们的变种都在某种程度上依赖于蜜罐体制。n蜜罐具有统计意义，能够对流行情况/节点压力进行比较准确的判断和分析。入侵响应技术n分类：主动响应：入侵检测系统在检测到入侵后能够阻断攻击、影响进而改变攻击的进程；被动响应：入侵检测系统仅仅简单地报告和记录所检测出的问题。n注意：二者并不互斥，无论采用哪种响应机制，入侵检测系统均应以日志的形式记录下检测结果。主动响应n主动响应：检测到入侵后立即采取行动。n形式：由用户驱动；系统本身自动执行n基本手段：n 对入侵者采取反击行动严厉方式：警告攻击者、跟踪攻击者、断开危险连接、对攻击者进行攻击等温和方式：记录安全事件、产生告警信息、记录附加日志、激活附加入侵检测工具等介于严厉和温和之间的方式：隔离入侵者IP、禁止被攻击对象的特定端口和服务、隔离被攻击对象等主动响应n 修正系统环境这种策略类似于实时过程控制系统的反馈机制，用目前系统处理过程的输出来调整和优化下一个处理过程。n 收集额外信息对于保护必须在有敌意威胁的环境中运行的系统或易遭受大量攻击的系统具有重要意义。如：Honeypot被动响应n被动响应：只向用户提供信息而依靠用户去采取下一步行动的响应。n常用的被动响应技术：告警和通知：形式多样的告警方式SNMP（简单网络管理协议）陷阱和插件：结合网络管理工具使用SNMP：提供从运行网络管理软件的中央计算机对网络主机进行管理的方法。入侵检测体系n入侵检测模型n入侵检测体系结构入侵检测模型nDenning模型：最早的入侵检测模型，Denning于1987年提出虽然与具体系统和具体输入无关，但是对此后的大部分实用系统都有很大的借鉴价值nCIDF（Common Intrusion Detection Framework）模型：内容：IDS的体系结构、通信机制、描述语言和APIDenning 模型（1）主体（Subjects）：在目标系统上活动的实体，如用户；（2）对象（Objects）：系统资源，如文件、设备、命令等；（3）审计记录（Auditrecords）：由如下的一个六元组构成。活动（Action）是主体对目标的操作，对操作系统而言，这些操作包括读、写、登录、退出等；异常条件（Exception-Condition）是指系统对主体的该活动的异常报告，如违反系统读写权限；资源使用状况（Resource-Usage）是系统的资源消耗情况，如CPU、内存使用率等；时间戳（Time-Stamp）是活动发生时间；（4）活动简档（ActivityProfile）：用以保存主体正常活动的有关信息，具体实现依赖于检测方法，在统计方法中从事件数量、频度、资源消耗等方面度量，可以使用方差、马尔可夫模型等方法实现；（5）异常记录（AnomalyRecord）：由组成。用以表示异常事件的发生情况；（6）活动规则：规则集是检查入侵是否发生的处理引擎，结合活动简档用专家系统或统计方法等分析接收到的审计记录，调整内部规则或统计信息，在判断有入侵发生时采取相应的措施。Denning 模型nDenning模型基于这样一个假设：由于袭击者使用系统的模式不同于正常用户的使用模式，通过监控系统的跟踪记录，可以识别袭击者异常使用系统的模式，从而检测出袭击者违反系统安全性的情况。nDenning模型独立于特定的系统平台、应用环境、系统弱点以及入侵类型，为构建入侵检测系统提供了一个通用的框架。CIDFn为解决入侵检测系统之间的互操作性，国际上的一些研究组织开展了标准化工作，目前对IDS进行标准化工作的有两个组织：IETF的Intrusion Detection Working Group（IDWG）和Common Intrusion Detection Framework（CIDF）。CIDF早期由美国国防部高级研究计划局赞助研究，现在由CIDF工作组负责，是一个开放组织。CIDFnCIDF阐述了一个入侵检测系统（IDS）的通用模型。它将一个入侵检测系统分为以下组件：事件产生器（Event generators），用E盒表示；事件分析器（Event analyzers），用A盒表示；响应单元（Response units），用R盒表示；事件数据库（Event databases），用D盒表示。nCIDF模型的结构如下：E盒通过传感器收集事件数据，并将信息传送给A盒，A盒检测误用模式；D盒存储来自A、E盒的数据，并为额外的分析提供信息；R盒从A、E盒中提取数据，D盒启动适当的响应。A、E、D及R盒之间的通信都基于GIDO（generalized Intrusion detection objects，通用入侵检测对象）和CISL（common intrusion specification language，通用入侵规范语言）。如果想在不同种类的A、E、D及R盒之间实现互操作，需要对GIDO实现标准化并使用CISL。入侵检测体系结构n主机入侵检测n网络入侵检测n混合入侵检测n分布式入侵检测主机入侵检测n主机入侵检测系统：安装在单个主机或服务器系统上，对针对主机或服务器系统的入侵行为进行检测和响应，对主机系统进行全面保护的系统。n主要优点：性价比高更加细腻误报率较低适用于加密和交换的环境对网络流量不敏感确定攻击是否成功主机入侵检测n局限性：它依赖于主机固有的日志与监视能力，而主机审计信息存在弱点：易受攻击，入侵者可设法逃避审计；IDS的运行或多或少影响主机的性能；HIDS只能对主机的特定用户、应用程序执行动作和日志进行检测，所能检测到的攻击类型受到限制；全面部署HIDS代价较大。网络入侵检测n网络入侵检测系统：使用原始的网络分组数据包作为攻击分析的数据源，通常利用工作在混杂模式下的网卡来实时监听整个网段上的通信业务，通过实时捕获网络数据包，进行分析，能够检测该网段上发生的网络入侵。n主要优点：隐蔽性好实时检测和响应攻击者不易转移证据不影响业务系统能够检测未成功的攻击企图HIDS与NIDS的主要差别分布式入侵检测系统（DIDS）n传统的集中式入侵检测模型的缺陷：系统的弱点或漏洞分散在网络的各个主机上，这些弱点有可能被入侵者一起用来攻击网络。入侵行为不再是单一的行为，而是表现出相互协作入侵的特点。入侵检测所依靠的数据来源分散化，收集原始检测数据变得困难。网络传输速度加快，网络的流量大，集中处理原始数据的方式往往造成检测瓶颈，从而导致漏检。DIDSn分布式入侵检测系统一般由多个协同工作的部件组成，分布在网络的各个部分，完成相应的功能，分别进行数据采集、数据分析等。通过中心的控制部件进行数据汇总、分析、对入侵行为进行响应等。n在这种结构下，不仅可以检测到针对单独主机的入侵，同时也可以检测到针对整个网段主机的入侵。入侵检测发展n入侵技术的发展与演化n入侵检测技术的主要发展方向入侵技术的发展与演化n 入侵和攻击的复杂化与综合化n 入侵主体的间接化n 入侵和攻击的规模扩大n 入侵和攻击技术的分布化n 攻击对象的转移入侵检测技术的主要发展方向n 功能与性能提高n 检测和防范分布式攻击和拒绝服务攻击n 应用层入侵检测n 响应策略与恢复研究n 入侵检测评测方法n 全面的安全防御IDS的部署n当实际使用IDS时，首先面临的问题是：决定在系统的什么位置部署检测和分析入侵行为用的嗅探器或检测引擎。nHIDS：通常直接将检测代理安装在受监控的主机系统上nNIDS：检测引擎的部署稍微复杂NIDS的部署位置