基于大数据平台的攻击方式检测PPT学习课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2,#,基于大数据分析的网络攻击检测,目录,CONTENTS,常见的网站攻击方式,当今攻击方式的特点,基于大数据平台的攻击检测方法,相对于传统检测方法的优势之处,当今攻击方式的特点,1,、目标明确,当今受到攻击最多的是高校、企业、科研机构、政府机构。,2,、隐蔽性强、潜伏期长,NSA,的,shotgaint,计划，入侵华为,7,年才被发现,美国针对伊朗核项目的震网（,Stuxnet,）病毒，使整个伊核进程拖延两年,丰收行动、摩柯草事件、曼灵花行动、,MOONSOON,事件,3,、灵活多变,目前被曝光的知名,APT,事件中，社交攻击、,0day,漏洞利用、,物理摆渡等方式层出不穷,4,、“三年不开张，开张吃三年”,大学,40%,政府机构,25%,企业,18%,科研机构,11.1%,其他,5.6%,数据来源：,2016,年中国高级持续性威胁,APT,研究报告,APT,的攻击的实施过程：,侦查准备阶段,1.,基于大数据分析的隐私挖掘,2.,基于社会工程学的信息收集,代码传入阶段,1.,直接传入（鱼叉式钓鱼攻击）,2.,间接传入（通过在目标用户常访问的第三方网站中植入恶意代码）,初次入侵阶段,攻击者利用,0day,或其他漏洞实施入侵，执行恶意代码使感染机建立起,C&C,连接，下载运行后续恶意代码,保持访问阶段,窃取用户的合法访问证书与感染机建立,C-S,关系，在目标网络中植入更多模块。,扩展行动阶段,根据收集到合法用户的行为来欺骗安全监测，搜集网络的拓补结构和重要情报。,攻击收益阶段,窃取内部敏感资料，传输到一个内部服务器并压缩，为隐藏传输过程，采用,SSL,和,TSL,等安全传输协议。,APT,的攻击的实施过程：,传统攻击检测方式的面临困境,1.,数据和业务更加集中、网络和应用边界模糊，基于单一边界的传统安全设备逐渐难以应对,2.,传统安全监测方式面对越来越多的日志文件、数据包等海量数据力不从心。,3.,传统攻击检测方式数据来源单一、大规模数据关联能效低无法满足新常态下情报挖掘分析需求。,需要解决的问题,1.,解决内部数据源与外部数据源大规模数据的采集、预处理和采集问题,2.,解决流式数据的实时分析、大规模历史数据的离线分析,3.,解决日志、网络流量、日志情报、用户行为等多源异构数据快速复杂关联分析与检索问题,大数据平台天生的优势,1.,批量数据处理技术,数据存储,HDFS,、,Hbase,、,Hive,等,数据存储,提取数据、批量处理,图,1,批量数据处理示意图,流式数据,流数据处理,提取数据,批量处理,图,2,流处理数据示意图,交互式信息查询技术：,Hbase,、,Hive,、,MangoDB,等,NoSQL,类型数据库,1.,强调人作为安全分析的主题与需求主体,2.,历史数据PB,级数据量秒级检索,典型的交互式系统有,Apache Spark,和,Google Dremel,，,Spark,的内存计算机制使其天生具有对数据,的快速交互式查询处理能力,图计算处理技术：,很多大数据都是以大规模的图或者网络的形式呈现，许多非图数据往往要转化成图结构之后再做处理,常用的图计算产品有,Google Pregel,，,CMU GraphLab,Spark Graphx,什么是图计算,基于大数据的网络安全分析的整体架构,数据采集层,结构化数据,半结构化数据,非结构化数据,日志,SNMP,用户,行为,DNS,流量,身份认证,Web,Service,数据,存储层,Hadoop,HDFS,NoSQL,关系型,数据库,sqoop,数据分析层,关联规则,MapReduce,机器学习,流式计算,聚类分析,图计算,特征提取,查询引擎,数据展示层,安全分析,可视化引擎,检索,安全预警,系统安全监测分析框架,原始数据获取,海量网络,流量信息,海量程序,特征,海量社交网络结构与内容属性,网络流量异常监测,恶意代码异常监测,社交网络安全事件挖掘,大量网络,入侵事件,大量恶意代码,大量用户行为安全事件,安全事件关联分析,提取攻击的特征、,类型和强度等信息,原始数据获取,宽应用域数据关联分析,宽事件域数据关联分析,研究现状：,网络流量异常检测技术现状,以网络流数据为输入、通过统计分析、数据挖掘、机器学习等方法，发现异常的网络数据分组,与异常网络交互信息,数据属性提取方法,异常检测算法,优点,缺点,直接以网络流量数据分组头的各维数值作为数据属性的检测方法,基于无监督学习的异常监测,基于监督学习的异常监测,基于半监督学习的异常监测,可以自动提取异常模式,算法的检测准确性较优,在准确性与标记成本之间有较好的折中,算法的检测准确性较低,需要大量标记样本,对非均匀非平衡的数据样本检测结果较差,以网络流量特征作为数据属性的检测方法,基于单链路流量的异常监测,基于全网络流量的异常监测,监测效率较高,充分利用流量的时间相关性和空间相关性,无法检测分布式攻击,检测效率较低,各类网络流量检测方法的优缺点,恶意代码检测技术现状,1.,静态特征提取法：,使用文件结构分析、反编译、反汇编、数据流分析等技术在不运行程序的条件下检测代码的特征。,2.,动态特征提取法：,使用,Anubis,、,CWSandbox,、,Norman,、,Sandbox,、,Joebox,等工具在真实或虚拟条件下运行程序，进而提取出程序的,API,操作、文件系统操作、函数访问、函数调用等动态行为特征,目前工程上普遍采用的是基于特征码的异常检测，这种方法本身自带滞后性的缺点，无法应对爆发式增长的恶意代码带来的威胁，所以目前该领域研究的热点在基于行为的恶意代码研究方面。,社交网络安全事件挖掘技术研究现状,1.,从社交网络信息内容和联系关系中挖掘用户的正常行为模式与信任关系，通过在线监控将违背正常行为模式和信任关系的行为归纳为威胁事件,2.,从社交网络数据中发现可以攻击者的社会属性信息，为攻击事件溯源和攻击意图识别提供指导,数据来源？,因为社交网络上的攻击信息有限，该技术需要配合流量和恶意代码检测才能更有效的,检测识别出攻击,基于大数据入侵检测的优势：,1,、检测大范围攻击行为,2,、提高准确度,3,、提高效率,4,、协调相应措施,DoS,攻击：,1)SYN Flood,伪造大量只有,syn,标志位的,tcp,连接请求，使服务器建立连接，当连接数,超过服务器的最大连接数目时，合法用户的连接请求也无法被相应,2)IP,欺骗,DoS,攻击者伪造正常用户的,IP,地址向发送带有,RST,位的数据包，使服务器认为,已建立的连接出现错误进而清除该连接，正常用户必须重新建立连接才可以访问。,3),带宽,DoS,攻击,攻击者向服务器发送大量无用数据包来消耗服务器的宽带资源，使正,常访问无法进行。,4),自身消耗,DoS,攻击者将数据包的源地址与端口号伪造成与服务器相同，使服务器给,自己发送,TCP,请求连接,SQL,注入攻击：,是指通过对web连接的数据库发送恶意的SQL语句而产生的攻击，从而产生安全隐患和对网站的威胁，可以造成逃过验证或者私密信息泄露等危害。SQL注入的原理是通过在对SQL语句调用方式上的疏漏，恶意注入SQL语句，获取服务器的数据库内容。,CSRF,（,Cross Site request forgery,）：,攻击者盗取受害者的身份信息，以受害者的什么发送恶意请求。,挂马攻击：,获取站点管理员口令,登录后台获取,webshell,篡改网页内容，植入恶意代码,返回,