异常流量检测要点.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,系统功能构造,综合分析数据采集能力,方案特点:,全网流量数据采集,无需探针,数据传播量微小,保守计算公式:实际物理流量每 10 Gbps,产生流的带宽不不小于 4 Mbps,10 Gbps 对应于:2500 flow/second(1:500采样比)size=2500*200*8=4 Mbps,全网性能数据采集，无需探针，性能数据传播量微小,保守计算公式:500个拨测性能测量，数据传播量不不小于 50 Kbps,采用DFI(深度流检测)技术实现全网异常行为(包括袭击行为，如 DoS/DDoS,蠕虫等)监测及控制,DFI,技术监测网络异常行为技术实现原理,DoS/DDoS,行为如,:TCP Flodd,等及未知,DoS/DDoS,行为,异常行为监测流程,DFI包头特性检测,(Pattern Signature),特性扫描,DFI Session行为,检测(基于记录分析),异常,(,否,),异常,(,否,),模板特性库,特性DoS/DDoS 如:Smurf等,特性蠕虫如:SQL Slammer等,DarkIP,私有,IP,，协议异常等,自定义异常行为检测,未知,WORM,行为，包括模板库中未定义的蠕虫行为,恶意扫描行为，包括网络扫描及主机扫描,异常,(,是,),异常,(,是,),流量、数据包、,session,基准线检测,异常,(,是,),基准线异常,异常行为特性汇聚及异常行为控制,异常明细数据记录(细化到会话数据),可以联动xSensor协议分析仪,异常,(,否,),正常流,流数据,DFI技术监测网络异常行为-流包头扫描特性,此类检测的特点是逐流检测，计算量小，检测响应时间快，缺陷是必须是已知异常行为:如已知异常DoS/DDoS,已知蠕虫病毒，其检测逻辑如下:,流数据,流数据解析得到数据包头,信息，迅速匹配异常特性,库,动态加载已知及顾客定义,异常特性库,动态并行,Bloom,匹配算法,匹配到异常,特性DoS/DDoS 如:Smurf等,特性蠕虫如:SQL Slammer等,DarkIP,私有,IP,，协议异常等,自定义异常行为检测,未匹配到异常,其他类型检测,DFI技术监测网络异常-网络行为记录分析,基于目的IP的session,缓存记录(5秒Buffer),基于源IP的session,缓存记录(5秒Buffer),基于源IP+目的端口的,session缓存记录,(5秒Buffer),网络边界定义,(,内网范围,),基于内网边界,过滤流数据,流数据,基于,TCP Flag,过滤可疑,流数据,可疑流,基于缓存数据检测session,速率与否到达探测器阈值,阈值验证,到达阈值,DoS/DDoS,行为如,:TCP Flodd,等及未知,DoS/DDoS,行为,未知,WORM,行为，包括模板库中未定义的蠕虫行为,恶意扫描行为，包括网络扫描及主机扫描,其他检测,附属边界,边界范围外,异常特性,学习,此类检测的特点是可以在全网范围内检测异常行为，重要是session异常，网络中发生的异常大多属于session级异常此类session级异常是基于三类特性，即固定目的IP如DoS/DDoS,固定源IP如恶意扫描，固定源IP+固定目的端口如蠕虫病毒，它是基准线session异常的补充，由于基准线session异常在运行商及大型网络中很难发现，例如，顾客骨干网上的一条40 Gbps链路中产生session的速率为:10,000 sessions/second,发生一种异常行为DoS/DDoS,session速率增长:1000 sessions/second,这样的状况，基准线一般检测不到(session速率的变化率为:1%),基于三类行为特性的检测可以检测此类异常，它是弥补基准线粗粒度检测的局限性,同步这种检测可以检测网络中的未知DoS/DDoS,未知蠕虫等。其检测逻辑如下:,DFI,技术监测网络异常,-,异常行为跟踪,异常行为特性汇聚了:,源IP集合，目的IP集合、源端口集合、目的端口集合、应用协议、TCP Flag,基于异常行为特性过于异常明细会话信息,从异常行为特性中得到,异常开始时间,(检测时间与异常开始实际时间误差,特性扫描:毫秒级,记录分析session行为:5-10秒,基准线检测:5-10分钟,基于行为特性,行为明细数据记录,粗粒度:直接记录异常流会话数据,细粒度:结合xSensor协议分析仪或第三方,DPI设备详细记录异常流过程数据包内容,根据实时异常行为的结束,时间判断与否结束异常明细,数据记录,否,记录结束,是,DFI,技术监测网络异常,-,异常行为控制,异常行为特性汇聚了:,源IP集合，目的IP集合、源端口集合、目的端口集合、应用协议、TCP Flag产生控制方略,基于ACL、QoS等技术实现结合异常行为,袭击拓扑，在最有效点布署控制方略,及规则,实现正常流与异常流的分离及控制,与发流源网络设备互动,整合第三方清洗设备接口,思科,Guard,华为清洗设备,Eudmemon,其他防火墙、,IDS/IPS,等,目的IP固定类异常，如DoS/DDoS,通过限速、阻断等手段控制,源,IP,固定类异常，如蠕虫、恶意扫描等通过限速、阻断等手段控制,基准线类异常通过限速方式控制,基于,DFI,技术、,DPI,技术的安全及异常监测对比,这两类技术在技术层面上是互相补充和互动的关系，他们之间的互补能更好地处理顾客网络安全检测问题。,不过由于技术实现手段及原理的不一样，目前针对DFI和DPI技术实现异常行为检测的不一样点，概述如下:,DFI由于采用流数据技术的行为检测，很轻易实现全网范围，尤其是内网范围的网络异常行为检测，DPI技术,重要基于数据包捕捉技术进行解析数据包分析，这样在全网内部布署代价非常昂贵，且轻易导致网络单点故障,的也许性。,DPI技术采用基于会话的保留状态信息的异常检测措施由于既有网络流量的不停变大将逐渐受到限制,并且网络,构造的调整对其检测和布署影响非常大，而DFI技术基于流数据并且基于流量特性向量的检测，网络构造及环,境的调整对其影响不大,与老式的基于数据包检测技术的异常检测(如:IDS/IPS)等对比而言，基于流的DFI检测异常行为技术，可以实现全,网范围内的异常检测，比较适合于运行商、大型网络的内网安全检测。,基于,DFI,技术、,DPI,技术的安全及异常监测对比,老式的入侵检测措施分为两种：基于误用检测（misused-based）措施和基于异常检测。,基于误用检测措施需要袭击样本，通过描述每一种袭击的特殊模式来检测。该措施的查准率很高，并且可提供,详细的袭击类型和阐明，是目前入侵检测商业产品中使用的重要措施。然而通过长时间的研究和应用，该措施,也暴露出一定的弱点，由于基于特性的入侵检测系统是依托人为的预先设定报警规则来实现，因此在面对不停,变化的网络袭击时有其自身固有的缺陷，例如，运用这种措施时需要维护一种昂贵的袭击模式库、只能检测,已知的袭击等。另首先，袭击者可以通过修改自己的袭击特性模式来隐藏自己的行为，并且有些袭击措施,主线没有特定的袭击模式。,(2)基于异常检测措施重要针对处理误用检测措施所面临的问题。,这两类措施都存在如下问题:,可扩展性较差,由于既有的异常检测系统大多采用一种或几种单一的网络特性向量作为学习和判断的根据，对网络流量的异常描,述较为单薄；,(2)在入侵检测系统协同运行中网络特性向量选获得较少就也许会影响检测系统的可扩展性，基于会话的保留状态,信息的异常检测措施由于既有网络流量的不停变大将逐渐受到限制。因而在DARPA1998年总结出的判断每一,个正常与异常TCP/IP连接的41个特性向量的实时使用就变得越来越难以实现。,DFI异常检测是基于将网络流量特性向量分层划分的思想实现的。,将流量特性分为两个层次：基本特性集合和组合特性集合。,其中基本特性集合是实时从网络流量中提取的某些网络流量的基本特性数据，例如流量的大小、包长的信息、协议,的信息、端口流量的信息、TCP标志位的信息等。这些基本特性比较详细地描述了网络流量的运行状态组合特性集,合是可以根据实际需要实时变化设置的。,针对某种特定的袭击行为，将波及该袭击行为的基本特性的子集作为描述该种袭击行为的特性。例如对于SYN,FLOOD袭击，组合特性就可以选用sessions/s、平均包长、SYN包的个数等信息。运用以往基本特性集合的数据,对该种袭击行为的特性进行学习和训练，就可以实时得到该袭击行为组合特性的正常和异常模型。,用此模型就可以实时地对网络上该种袭击行为进行检测。,提纲,系统总体方案,系统功能及特色,系统软硬件布署,项目实行及售后服务,实际案例简介,技术澄清&应答,方案 特 点,-,系统总体特点,告警监视,/,故障定位,全网性能,/KPI,监控,全网异常行为监控,全网流量监控,WEB PORTAL,Web,浏览器,移动,客户机,纯,B/S,架构,客户端无须安装任何插件，只需有浏览器即可访问系统，真正做到了随时、随地访问业务系统。,人性化设计,系统主动适应用户操作习惯，如：数据的组织呈现方式等功能，完全仿造,windows,操作。,方案 特 点,数据探测特点,全网范围采集，无需附加探测硬件探针,方案采用的技术确保数据探测无需附加硬件探针，对于未来网络结构调整及增加设备、扩容等无需附件额外的硬件探针成本,部署灵活,方案采用数据,(,流量数据、性能数据,),探测技术，与用户网络特性无关，这与采用探针技术的数据探测方式,(,需要紧密结合用户网络特性,),不同，不需要用户考虑增加硬件探针的部署点等，更有甚者，比如,:,用户网络内部被外来系统基于技术渗透方式感染蠕虫，如果内网任何角度没有部署探针或者由于用户网络结构调整、设备更新等造成探针没有探测整个内网，就会导致安全监测漏洞，采用本方案的探测技术，无论网络如何变化，没有任何硬件成本附件即可进行全网任何位置进行安全监测，这样渗透进来的蠕虫病毒将无处可藏。,系统自维护成本低,基于被监控设备及网络的技术特点进行的数据探测技术与基于硬件探针技术进行的数据探测技术相比，在系统自维护方面，成本几何数量降低是显而易见的。,方案 特 点,异常行为监测,(NBA),DFI,深粒度异常流,行为检测,异常,行为,监测,异常,行为,跟踪,全局,策略,管理,异常,行为,清洗,管控,xFlow,Traffic,一体化安全防御异,监测及管控措施论,大型网络、全网、运行级、高性能、分布式动态监测异常流量行为,旁路布署系统，不影响现存顾客网络运行,集中式方略管理,易于方略布署、实行异常流量引流、清洗及管控方略,方案 特 点,异常行为监测,(NBA),系统可以在全网中发生异常事件或行为时，实时记录异常明细数据,包括异常行为过程中的各个会话数据,包括,源IP,源端口,源掩码,目的IP,目的端口,目的掩码,协议类型,TCP/Flag,源设备接口,目的设备接口,流量大小，,数据包数，数据包大小等详细信息,基于监测的异常行为，系统可以自动汇聚异常行为的特性及关联受影响的资源(如设备接口，有关联的,MPLS/VRF,BGP/AS等信息,并深入可以形成异常行为拓扑，以便有效的布署方略进行异常防御及清洗,方案 特 点,异常行为监测,(NBA),系统内置异常行为控制模块，可以跟行为特性中受影响设备最重要的设备联动，布署方略进行控制，目前,支持恶意扫描、网络蠕虫及病毒的控制及异常基准线行为的限速控制，对于DoS/DDoS类的袭击基于受影响,设备的异常行为拓扑关系，最大程度控制DoS/DDoS行为，保护顾客自身网络，假如想彻底消除DoS/DDoS行,为的影响提议采用流量引流方案,由于引流对于DoS/DDoS效果最佳,(2)流量引流及清洗，系统支持与第三方设备整合，如思科Guard或华为SIG设备,方案 特 点,异常行为监测,(NBA),一、全网流量基准线自学习,流量基准线支持流量、数据包、Session及关键性能指标(KPI),如设备及关键路由的动态学习及监测,(2)基准线采用entropy动态算法，相比较老式的记录均方差的算法而言，该算法更精确及敏捷,(3)系统可以根据网络异常状况，自动学习基准线及切换学习和监测模式,方案 特 点,异常行为监测,(NBA),系统内置18种DoS/DDoS袭击行为特性库,容许顾客根据实际状况动态添加DoS/DDoS行为,支持未知类型的DoS/DDoS袭击监测,异常行为特性(DoS/DDoS类行为),方案 特 点,异常行为监测,(NBA),系统内置7种Worm袭击行为特性库,容许顾客根据实际状况动态添加Worm行为,支持未知类型的网络病毒及蠕虫袭击监测,异常行为特性(网络病毒及蠕虫类行为),方案 特 点,异常行为监测,(NBA),异常行为特性(自定义异常行为),方案 特 点,流量监控,(Traffic Engineering),整网流量快照重要反应整网异常事件趋势及明细、整网设备及接口流量排名，关键链路流量排名、,关键子网流量排名、关键业务应用流量排名,方案 特 点,流量监控,(Traffic Engineering),系统提供关联链路流量记录分析及多种链路构成链路组的流量分析及记录,链路/电路流量细分明细及分布趋势,系统可以识别P2P流量及自定义应用流量并能基于特性识别Skype,SIP,L2TP,FTP,Telnet等应用流量，对于,不能识别的应用可以显示协议及端口,方案 特 点,流量监控,(Traffic Engineering),系统提供关联链路流量记录分析及多种链路构成链路组的流量分析及记录,链路/电路流量细分明细及分布趋势,系统可以识别P2P流量及自定义应用流量并能基于特性识别Skype,SIP,L2TP,FTP,Telnet等应用流量，对于,不能识别的应用可以显示协议及端口,方案 特 点,流量监控,(Traffic Engineering),BGP/MPLS流量部分支持设备VRF,整网VPN等多种流量分析,方案 特 点,性能监控,(Performance),网络应用性能综合视图重要分析网络中关键应用的响应时间(毫秒)、交易量(Transactons),最慢运行应用的服务器,(IP地址)排名，最慢运行应用的顾客或Site排名,应用交易量趋势及应用性能告警分析等,最慢业务应用响应时间,大客户综合业务性能监控,最慢网络来回(Round Trip)响应时间站点,最慢业务服务器应用响应时间,业务交易响应时间,方案 特 点,性能监控,(Performance),VOIP,视频等业务应用性能综合监控：业务响应时间、业务流量、业务数据包大小分布、业务抖动测量、,数据丢包 等,RTP/RTCP,H.323,H.225,H.245,等,FRF.11,FRF.12,等,方案 特 点,故障定位,(TroubleShooting),异常行为定位,方案 特 点,故障定位,(TroubleShooting),异常性能辅助定位,基于客户应用反应的性能问题迅速识别故障域,通过响应时间细分确认故障引起类别(应用、服务器、网络),通过使用一下多种灵活的过滤器，在”返回时间点”缩小排查范围，从而深入定位,方案 特 点,异常告警,(Alerting),告警系统发现重要的网络/应用性能变化或下降。告警系统会在事故发生时告知您，和继续记录事故严重性的演变。,你可以通过告警系统提取出发告警的应用汇报来找出事故的原因。,系统可学习性能基线，如 SCT,NRT和EURT.顾客可以以学习基线加上其原则偏差的倍数来定义门限或容忍度。,也可以手动设定门限值,方案 特 点,异常告警,(Alerting),产生告警的条件,链路层流量状态,运用率,广播包数量,错误包数量,组播包数量,包数,应用响应时间,可用性,响应量,应用流量,特定应用运用率,特定应用数据包数量,基线,虚链路流量运用率,方案 特 点,异常告警,(Alerting),告警告知手段,屏幕显示,电子邮件,Syslog,SNMPTRAP,等,方案 特 点,报表中心,(Reporting),根据监控采集数据生成短期、,中期、长期汇报（日报、,周报、月报）,自动基准分析汇报,自定义汇报,按计划定期自动生成汇报,方案 特 点,报表中心,(Reporting),根据监控采集数据生成短期、,中期、长期汇报（日报、,周报、月报）,自动基准分析汇报,自定义汇报,按计划定期自动生成汇报,方案 特 点,系统管理,(System Admin),系统的访问授权采用原则的3A认证、权限管理机制,方案 特 点,系统管理,(System Admin),与顾客既有4A系统整合，整合开发量很小,系统需要与既有顾客的4A系统进行整合，本系统提供开放的API，,可以很轻易与既有4A系统(Java构造)进行二次开发及整合，从技术整合角度，该整合不存在技术难度,