网络空间安全态势感知与大数据分析平台建设方案V1.0.doc

网络空间安全态势感知与大数据分析平台建设方案网络空间安全态势感知与大数据分析平台建立在大数据基础架构的基础上，涉及大数据智能建模平台建设、业务能力与关键应用的建设、网络安全数据采集和后期的运营支持服务。1.1 网络空间态势感知系统系统建设平台按系统功能可分为两大部分：日常威胁感知和战时指挥调度应急处置。日常感知部分包括大数据安全分析模块、安全态势感知呈现模块、等保管理模块和通报预警模块等.该部分面向业务工作人员提供相应的安全态势感知和通报预警功能，及时感知发生的安全事件,并根据安全事件的危害程度启用不同的处置机制。战时处置部分提供从平时网络态势监测到战时突发应急、指挥调度的快速转换能力，统筹指挥安全专家、技术支持单位、被监管单位以及各个职能部门，进行协同高效的应急处置和安全保障，同时为哈密各单位提升网络安全防御能力进行流程管理，定期组织攻防演练。1.1.1 安全监测子系统安全监测子系统实时监测哈密全市网络安全情况，及时发现国际敌对势力、黑客组织等不法分子的攻击活动、攻击手段和攻击目的，全面监测哈密全市重保单位信息系统和网络,实现对安全漏洞、威胁隐患、高级威胁攻击的发现和识别，并为通报处置和侦查调查等业务子系统提供强有力的数据支撑。安全监测子系统有六类安全威胁监测的能力：一类是网站云监测，发现网站可用性的监测、网站漏洞、网站挂马、网站篡改（黑链/暗链)、钓鱼网站、和访问异常等安全事件第二类是众测漏洞平台的漏洞发现能力，目前360补天漏洞众测平台注册有4万多白帽子，他们提交的漏洞会定期同步到态势感知平台，加强平台漏洞发现的能力。第三类是对流量的检测,把重保单位的流量、城域网流量、电子政务外网流量、IDC机房流量等流量采集上来后进行检测，发现webshell等攻击利用事件.第四类把流量日志存在大数据的平台里，与云端IOC威胁情报进行比对，发现APT等高级威胁告警.第五类是把安全专家的分析和挖掘能力在平台落地，写成脚本，与流量日志比对，把流量的历史、各种因素都关联起来，发现深度的威胁.第六类是基于机器学习模型和安全运营专家，把已经发现告警进行深层次的挖掘分析和关联，发现更深层次的安全威胁。1、网站安全数据监测：采用云监测、互联网漏洞众测平台及云多点探测等技术，实现对重点网站安全性与可用性的监测，及时发现网站漏洞、网站挂马、网站篡改（黑链/暗链）、钓鱼网站、众测漏洞和访问异常等安全事件。2、DDOS攻击数据监测：在云端实现对DDoS攻击的监测与发现，对云端的DNS请求数据、网络连接数、Netflow数据、UDP数据、Botnet活动数据进行采集并分析,同时将分析结果实时推送给本地的大数据平台数据专用存储引擎；目前云监控中心拥有全国30多个省的流量监控资源，可以快速获取互联网上DDoS攻击的异常流量信息,利用互联网厂商的云监控资源，结合本地运营商抽样采集的数据,才能快速有效发现DDoS攻击,同时对攻击进行追踪并溯源。3、僵木蠕毒数据监测：通过云端下发本地数据，结合流量数据进行分析，快速发现本省市感染“僵木蠕毒”的数据。僵木蠕毒监测主要来自两种方面：一是360云端僵木蠕毒平台对国内终端的僵木蠕毒感染信息进行采集，如果命中本省市终端僵木蠕毒感染数据，通过对IP地址/范围筛选的方式，筛选出属于本省市的数据，利用加密数据通道推送到态势感知平台；二是对本地城域网流量抽样和重点单位全流量进行检测，将流量数据进行报文重组、分片重组和文件还原等操作后，传送到流检测引擎和文件检测引擎，通过流特征库、静态文件特征检测、启发式检测和人工智能检测方式及时的发现重点保护单位的僵木蠕毒事件4、高级威胁数据监测：安全监测子系统需要结合全部的网络流量日志和威胁情报继续持续性的攻击追踪分析。云端IOC威胁情报覆盖攻击者使用的域名、IP、URL、MD5等一系列网络基础设施或攻击武器信息，同时威胁情报中还包含了通过互联网大数据分析得到的APT攻击组织的相关背景信息,这对于APT攻击监测将提供至关重要的作用。1.1.2 态势感知子系统态势感知系统基于多源数据支持安全威胁监测以及安全威胁突出情况的分析展示。综合利用各种获取的大数据，利用大数据技术进行分析挖掘，实时掌握网络攻击对手情况、攻击手段、攻击目标、攻击结果以及网络自身存在的隐患、问题、风险等情况，对比历史数据，形成趋势性、合理性判断，为通报预警提供重要支撑。该模块支持对网络空间安全态势进行全方位、多层次、多角度、细粒度感知，包括但不限于对重点行业、重点单位、重点网站，重要信息系统、网络基础设施等保护对象的态势进行感知.态势感知子系统分为两部分：态势分析和态势呈现态势分析:针对重保单位、网站数据采集分析，通过安全监测子系统对DDos攻击监测、高级威胁攻击检测与APT攻击检测、僵木蠕毒检测、IDS检测等功能，通过恶意代码检测、异常流量分析、威胁分析等技术进行宏观分析后，以监管单位为视角，对本项目监管范围下的单位安全状态进行监测。并且根据系统内置的风险评估算法给出当前被监管单位的整体安全评估。态势呈现:通过城市安全指数、区域安全指数、单位安全指数、威胁来源、攻击分析、威胁同比、威胁环比、告警详细等呈现整体安全态势。1.1.3 通报预警子系统通报预警根据威胁感知、安全监测、追踪溯源、情报信息、侦查打击等模块获取的态势、趋势、攻击、威胁、风险、隐患、问题等情况，利用通报预警模块汇总、分析、研判，并及时将情况上报、通报、下达，进行预警及快速处置.可采用特定对象安全评估通报、定期综合通报、突发事件通报、专项通报等方式进行通报。1.1.4 等保管理子系统等保管理模块针对全省信息安全等级保护建设工作进行监管，通过等保信息系统管理、等保管理工作处置、等保检查任务管理、等保系统资产管理、等保安全事件管理和等保综合分析报表对列管单位及其重要信息系统相关的备案信息、测评信息、整改信息和检查信息等业务数据进行管理。1.1.5 追踪溯源子系统追踪溯源子系统在发生网络攻击案（事）件或有线索情况下，对攻击对手、其使用的攻击手段、攻击途径、攻击资源、攻击位置、攻击后果等进行追踪溯源和拓展分析，为侦查打击、安全防范提供支撑。追踪溯源子系统针对高级威胁攻击、DDoS攻击、钓鱼攻击、木马病毒等恶意行为通过云端数据进行关联分析、拓展扩线，进行事件溯源，为案件侦破提供技术、数据的支撑。通过关联分析、同源分析、机器学习等技术手段对互联网端的海量数据(典型如：Whois数据、恶意软件样本MD5、DNS数据、网站访问数据等）进行数据梳理与数据挖掘，扩充互联网的恶意行为线索信息，还原出本次恶意行为大体的原貌，并可以通过恶意网络行为的一个线索扩展发现出更多的诸如攻击所用的网络资源，攻击者信息，受害人信息等线索。具备根据源ip、源端口、宿ip、宿端口、传输层协议等条件搜集数据,具备联通日志、dns解析数据以及网络安全事件日志的关联挖掘能力等。1.1.6 威胁情报子系统威胁情报子系统通过采集360云端获取APT及高级威胁事件分析、黑产事件分析、影响范围较广的关键漏洞分析等威胁情报信息,将其中抽取出来的攻击手法分析、攻击组织分析、攻击资源分析等信息,利用通报处置核心组件接口,向本地其他核心组件及有关部门进行情报报送。利用情报数据确定和处置安全事件后情报信息核心组件提供情报处置审计追踪的功能，对基于情报处置的安全事件进行处置流程、处置结果、处置经验等信息进行审计追踪并归档，便于后续安全事件的分析处置，提高安全事件处置工作效率。1.1.7 指挥调度子系统指挥调度模块主要用于在重要会议或重大活动期间，加强网络安保人员调度，全方位全天候掌握我省与活动相关的单位、系统和网站安全状况，及时通报预警网络安全隐患，高效处置网络安全案事件。协同多家技术支撑单位、互联网安全厂商、网络安全专家以及其他职能部门保障整个过程的网络安全和数据安全，实现网络安全的态势感知、监测预警、指挥调度、通知通告、应急处置及协同技术支持等能力，对网络安全威胁、风险、隐患、突发事件、攻击等进行通报预警,对重点保护对象进行全要素数据采集,重点保护,并进行全要素显示和展示，实现重保期间全方位全天候的指挥调度能力。1.1.8 侦查调查子系统侦查调查核心组件主要涉及网络案事件的处置工作,在案事件发生后，办案民警利用该功能模块进行调查、取证，查找攻击来源、攻击手段以及攻击者等基本情况，形成案件线索，有必要时可以提供给网综平台，协助网络案情的侦查打击.同时提供案事件处置状态的跟踪与沟通，实现对案事件的闭环业务处理。1.1.9 应急处置子系统应急处置根据安全监测发现的网络攻击、重大安全隐患等情况及相关部门通报的情况，下达网络安全事件快速处置指令。指令接收部门按照处置要求和规范进行事件处置，及时消除影响和危害，开展现场勘察，固定证据，快速恢复。对事件处置情况、现场勘察情况以及证据等方面情况及时建档、归档并入库.1.1.10 移动APP提供手机APP应用功能，用于发布信息安全通报、信息安全通告、等保政法规、风险提示等信息。通报预警、快速处置等可以通过平台与移动APP相结合的方式进行通报实现。预警通报可以采用移动APP通知相关负责人.经过网安专网下发到相关单位，使相关单位能够及时接收并处置，移动APP支持多级组织机构管理，针对公安用户提供网络安全监测和通报数据管理的功能,针对重保单位用户提供通报消息通知和公开预警通报查看功能。1.1.11 运营工作台子系统运营工作台子系统为安服人员提供日常工作的待办提醒以及快捷入口并能体现日常工作的成果，日常工作包括:资产维护、告警分析确认、安全事件深度分析（攻击者、受害者、攻击链）、相关通告的下发、现场检查、应急响应、各类报告的定期生成。提供日常运营常用工具的使用。具备平台日常的设备、服务、数据的状态监听功能。前场安服人员，能够在系统的规范下，更好的运营系统，最大限度的发挥平台的价值。1.2 网络空间安全数据采集系统建设安全数据采集能力建设是平台建设的基础，为大数据安全分析、安全态势呈现、通报预警、应急处置、等保管理、追踪溯源、威胁情报和指挥调度等业务模块提供数据资源.安全数据采集能力建设主要包括以下内容:1. 流量采集与分配2. 高级威胁监测与采集3. 僵木蠕毒监测与采集4. 云端威胁情报采集5. DDoS攻击监测与采集6. 网站云安全监测与采集7. 等级保护数据采集8. 其他业务系统数据采集1.2.1 流量采集与分配根据项目情况可采集城域网流量、重保单位出口流量、IDC机房流量、电子政务外网流量:重保单位出口流量：根据业务需要在重保单位出口进行全流量采集，采集的流量通过流量采集设备做全量的镜像流量分析和检测，并还原成标准化日志.城域网流量：根据业务需要可在城域网出口进行流量抽样采集,采集的流量通过流量采集设备做全量的镜像流量分析和检测，并还原成标准化日志。IDC机房流量：根据业务需要可在IDC机房进行流量抽样采集,采集的流量通过流量采集设备做全量的镜像流量分析和检测，并还原成标准化日志。电子政务外网流量：根据业务需要可在电子政务外网机房进行全流量采集，采集的流量通过流量采集设备做全量的镜像流量分析和检测,并还原成标准化日志。采集方式如下：分流:正常业务数据的分流功能，按照五元组规则将同一个会话的所有报文（即一个上网用户的所有数据）输出到同一台数据处理设备，并且为所有后台数据处理设备提供相对均衡的流量,保证数据的处理能力,提高网络的灵活性和可用性。抽样:未命中规则的报文采样井口采集直接输出，命中标准规则的报文采样在还原设备上软件实现，然后通过SDN交换网转发给第三方用户使用。复制：对重点IP报文数据的复制，然后转发给第三方用户使用。流量自动迁移：当后台个别数据处理设备出现因硬件或软件故障死机时，SDN分流设备自动将数据分发到其他机器上，待设备恢复正常后，再将数据迁移到该设备上,从而保证数据的完整性。1.2.2 高级威胁监测与采集高级威胁包括高级持续性威胁攻击(APT）、未知威胁攻击等，采用流量特征检测、自动连接关联、行为特征分析和端口匹配技术，对城域网的流量进行分析,结合第三方威胁情报数据，及时发现针对我省重保单位的高级威胁攻击。具体流量还原使用以下技术：流量特征检测：流量特征识别方式主要分为两种：一种是有标准协议的识别，标准协议规定了特有的消息、命令和状态迁移机制，通过分析应用层内的这些专有字段和状态，就可以精确可靠地识别这些协议;另一种是未公开协议的识别，一般需要通过逆向工程分析协议机制解密后，采用报文流的特征字段来识别该通信流量。行为特征分析:针对一些不便于还原的数据流量，可以采用行为特征的方法进行分析。这种方法不试图分析出链接上面的数据，而是使用链接的统计特征,如连接数、单个IP的连接模式、上下行流量的比例、数据包发送频率等指标来区分应用类型。端口匹配技术：端口匹配指协议与端口的标准对应关系，根据TCP/UDP的端口来识别应用。这种方式具有检测效率高的优点,弱点是容易被伪造，因此在端口检测的基础上,还需要增加特征检测的判断和分析,进一步处理数据。通过以上技术,采集重保单位全流量并进行还原分析,存储到大数据存储分析平台，为感知平台提供进一步高级威胁检测及溯源追踪的数据基础。1.2.3 僵木蠕毒监测与采集僵木蠕毒监测主要来自两种方面：一是对本地城域网抽样流量和重点单位全流量在检测引擎上进行检测；二是360云端僵木蠕毒平台对国内终端的僵木蠕毒感染信息进行采集，通过对IP地址/范围筛选的方式，筛选出属于本省市的数据推送到态势感知平台.该数据来源于360云端安全数据采集，由于传统僵木蠕毒检测往往需要对全部镜像流量进行分析，而整个项目骨干链路较大，如果对全部流量进行僵木蠕毒分析将带来巨大的资金消耗,也增加系统维护的复杂度.而360云端监测方式获取的主机僵木蠕毒告警信息可以很好的满足安全态势方面的需求。360云端僵木蠕毒监测数据对平台本地监测数据进行补充，根据哈密相关的域名、IP地址等信息,对全国网络安全数据筛选出XX僵木蠕毒数据数据，按一定的时间规则推送到本地数据中心,是对本地安全监测数据资源的重要补充.1.2.4 云端威胁情报采集高级威胁情报来源于360互联网云端安全数据采集，需要依赖于360的互联网大数据技术，针对互联网上活跃的数百亿样本以及样本的行为做到实时追踪分析，并结合机器学习、高级人员运营等手段对特定样本做到事先预测和深入分析，逐渐挖掘出一系列与APT攻击相关的组织和攻击行为信息等情报信息，还有通过其他方式获取的攻击者(敌对国家、敌对势力、恐怖组织、黑客组织、不法分子等）情报信息、攻击方法手段、攻击目标等情报信息.1.2.5 DDoS攻击监测与采集这部分数据来源于360云端安全数据采集。通过互联网可以对DDoS攻击的控制端进行监控,在云端实现对DDoS攻击的监测与发现,对云端的DNS请求数据、网络连接数、Netflow数据、UDP数据、Botnet活动数据进行采集并分析，同时将分析结果实时推送给本地的大数据平台数据专用存储引擎,利用360数据资源可以对DDoS监控提供整网意义上的追踪.1.2.6 网站云安全监测与采集网站的监测数据主要依托于利用360网站云监测系统,针对重点网站进行漏洞、篡改、可用性、众测漏洞、挂马以及钓鱼网站的监测。360公司根据本项目网安提供的列表，对网站进行持续的安全监测，并将监测结果推送到本地分析中心。网站监测数据包含如下几类数据：网站暗链数据、网站挂马数据、网页篡改数据、钓鱼网站数据、网站漏洞数据、网站众测数据、网站可用性数据.1.2.7 众测漏洞平台数据360补天漏洞平台是漏洞众测平台，目前平台注册4万多白帽子，他们会将发现的漏洞提交到补天漏洞平台，在本项目中可将所辖区域的漏洞同步到态势感知平台，第一时间通告最新披露的本地网站的漏洞信息。1.2.8 等级保护数据等级保护数据采集为等保管理模块提供重要的数据支撑，采用批量导入或手工录入方式采集等级保护单位基本信息、系统定级备案信息、系统测评报告、检查信息和整改信息等数据。通过将等级保护数据与监测数据深度关联，全面反映我省重要信息系统的安全状况。等级保护数据采集的结果存入等级保护基础库，作为大数据中心基础资源库的重要组成部分.1.2.9 其他业务系统数据可以与“网安综合应用平台通过调用查询接口、实时布控接口以及数据资源调用接口进行对接，获得网络安全恶意行为数据以及相关虚拟身份、网络行为数据等数据.也可以将平台关联分析与转化,形成的网络攻击重点人、历史重大网络安全事件数据等共享给“网安综合应用平台”供网安业务部门使用。1.3 网络违法犯罪发现预警系统建设模型名称模型说明企业法人股东传销经历预警如果企业的法人、股东曾经是传销组织的核心成员,对企业进行预警疑似传销企业网络舆情预警如果网络中出现咨询、怀疑、举报、曝光企业涉嫌传销的舆情，对企业进行预警110报警疑似传销企业预警发生对某企业传销的110报警,对企业进行预警网站程序具有传销特征预警分析ICP备案网站或企业的网站网页代码,如果符合以往发现的传销网站的代码特征,对企业进行预警企业法人股东亲属传销经历预警如果企业的法人、股东的亲属曾经是传销组织的核心成员，对企业进行预警企业法人股东与传销人员同住预警如果出现企业的法人、股东频繁和历史传销组织核心成员多次同住,对企业进行预警疑似传销企业被法院裁判预警如果企业曾经被法院裁判过,对企业进行预警疑似传销企业被行政处罚预警如果企业曾经被行政处罚过，对企业进行预警疑似传销企业纳税异常预警如果企业的营业流水和纳税差异很大，对企业进行预警企业法人股东经济犯罪前科预警如果企业的法人、股东曾经有过经济犯罪前科，对企业进行预警企业地址频繁变更异常预警如果企业注册地址短期内多次变更，对企业进行预警产品宣传疑似传销预警如果企业的理财产品、实物产品、商城商品的销售具有返利、积分、会费、多级提成等传销特征，对企业进行预警企业/法人集中投资异常预警如果出现企业/法人在短期内在各地注册多家分支机构、投资多家企业，快速扩张的情况，对企业进行预警疑似传销企业招聘异常预警如果出现企业招聘信息和企业的经营范围不符合的情况（如高科技研究企业大量招聘低学历的业务人员），对企业进行预警疑似传销企业租赁异常预警如果出现企业全国各地进行短期租房的情况(疑似进行传销传播活动），对企业进行预警传销人员流入流出异常预警监控历史传销组织核心成员流入贵阳的情况，如果每月流入大于流出，即进行预警传销人员同行、同住、聚集异常预警如果出现历史传销组织核心成员出现频繁同行、同住、聚集(多人）的情况，即进行预警疑似传销人员手机通讯录异常预警如果手机通联记录中出现历史传销组织核心成员，对通联密切的人员进行预警100报警疑似传销窝点预警发生对某小区（楼栋）在进行传销活动的110报警,对小区(楼栋）进行预警110报警疑似传销项目预警发生对传销项目的110报警，对传销项目进行预警疑似传销QQ群信息异常预警如果QQ群中高频出现传销黑名单中内容、或传销传播相关关键词（如返利、积分、会费、提成、财富、成功等），对QQ群进行预警疑似传销微信群信息异常预警如果微信群中高频出现传销黑名单中内容、或传销传播相关关键词（如返利、积分、会费、提成、财富、成功等),对微信群进行预警上述模型是已经在以往项目中实现的模型，基于大数据建模，可根据哈密业务特点、所获得的数据特点有针对性的建立业务模型。1.4 设备清单与预算（拟每秒20G流量，存储时间90天，计算流量采集和存储分析专用设备）硬件设备购置费（万元)序号类型硬件设备名称性能或参数单位数量单价(万)总价（万）1数据采集设备IDC流量汇聚节点网络流量探针多核AMP+架构,同时开启网络流量采集、威胁数据采集和日志上报功能情况下混合流（模拟企业级网络真实场景流量）吞吐量20Gbps，HTTP并发连接数1200万，HTTP新建连接速率50万/秒；3U机箱,冗余电源，标准配置1个10/100/1000M专用管理接口，1个Console口，8个接口扩展板卡插槽（根据实际需求，灵活选配接口板卡类型），报价中包括一年全功能特征库升级服务，包括3年硬件维修服务。台155552互联网数据采集设备专用设备,用于接收云端数据前置机后置机，软硬件一体化产品，设备为2U机架式硬件，专用高容错率企业级硬盘4T,41GE电口,AC 220V 550w冗余电源,32G内存,26核CPU,支持日志采集性能20万Eps，解析性能2万Eps。台213.5273存储分析设备态势感知应用基础平台专用设备，设备为2U机架式硬件，专用高容错率企业级硬盘4T12块，41GE电口，AC 220V 550W冗余电源,256G内存,26核CPU。支持日志采集性能20万EPS,解析性能4万EPS。该平台集成数据库集群管理和应用软件管理功能.可根据实际需求扩展安全监测组件、综合态势组件、通报预警组件、指挥调度组件、追踪溯源组件、快速处置组件等模块。台213.827。64专用存储分析引擎设备（ES)专用设备，软硬件一体化产品,设备为2U机架式硬件，专用高容错率企业级硬盘4T12块,41GE电口，AC 220V 550w冗余电源，256G内存，26核CPU，支持日志采集性能20万Eps，解析性能4万Eps。支持与多个从存储分析引擎实现集群部署能力。台9211895态势感知态势感知子系统包括安全监测组件、态势感知组件、通报预警组件、等级保护组件、威胁情报组建、指挥调度组件、侦查调查组建、追踪溯源组件、应急处置组件、移动APP、运营工作台组件。套13953956网络违法犯罪发现预警系统网络违法犯罪发现预警子系统企业法人股东传销经历预警疑似传销企业网络舆情预警110报警疑似传销企业预警网站程序具有传销特征预警企业法人股东亲属传销经历预警企业法人股东与传销人员同住预警疑似传销企业被法院裁判预警疑似传销企业被行政处罚预警疑似传销企业纳税异常预警企业法人股东经济犯罪前科预警企业地址频繁变更异常预警产品宣传疑似传销预警企业/法人集中投资异常预警疑似传销企业招聘异常预警疑似传销企业租赁异常预警传销人员流入流出异常预警传销人员同行、同住、聚集异常预警疑似传销人员手机通讯录异常预警100报警疑似传销窝点预警110报警疑似传销项目预警疑似传销QQ群信息异常预警疑似传销微信群信息异常预警数据的展现根据本地特点进行模型改进.(维语转换等)注：部分模型需采集公安数据套14204207蓝信蓝信移动通讯系统及服务器设备为2U机架式硬件,专用高容错率企业级硬盘1T2块，41GE电口，AC 220V 550w冗余电源，32G内存，26核CPU，台18585合计1198.6 11 / 11