DataCloudSec安数云大数据态势感知系统技术白皮书.docx

安数云DataCloudSeiDataCloudSec安数云大数据态势感知系统技术白皮书北京安数云信息技术2产品概述2.1概述安数云大数据态势感知系统是一款基于大数据技术的综合平安处理系统，其 目标是为用户构建一个综合性的平安运维分析预警平台，真正将平安工作有效落 地，形成闭环。系统通过对全网信息资产以及相关环境的数据采集、统一管理与 平安分析，实现全网综合平安感知，通过智能平安处理保护信息环境稳定平安, 同时通过持续检查与预警实现7*24小时平安防护。其具体建设目标如下：1）与用户现有网络设备、安防设备、业务系统对接；2）实现对整体平安态势的感知3）实现对入侵攻击态势的感知；4）实现对威胁态势的感知；5）实现对内部违规行为、处置态势的感知；6）实现对告警信息进行通报预警及处置；7）实现对流量信息的态势感知；8）实现对资产的平安态势监控；9）协助用户将平安运维落地，形成管理闭环；2.2平台架构本系统分为四层基础架构：数据采集层、数据存储层、数据分析层、平台管 理层。各层功能如下：数据采集层：资产发现与管理、数据志采集、威胁情报采集等数据存储层：数据预处理、数据统一存储等数据分析层：异常行为智能感知、高级威胁智能感知、平安事件审计平台管理层：态势可视化、智能分析可视化、平安告警可视化系统架构图如下列图所示：平台架构数据采集层数据采集层支持网络环境平安类、管理类、流量数据以及资产、用户的基本数据的采集。支持采集的数据类型如下表所示：序号数据类型采集引擎采集方式1流量数据全流量审计引擎镜像采集2网络设备、平安设备日志日志采集引擎协议采集3DNS日志日志采集引擎协议采集4操作系统进程数据日志采集引擎协议采集5邮件日志、证书相关数据日志采集引擎接口采集6资产、用户数据采集接口接口采集7主机日志采集AgentAgent采集针对网络流量，通过部署全流量深度分析引擎DPI的方式对网络流量进行 采集分析，该引擎基于双向流量检测，采用深度包检测(DPI)、深度流检测(DFI) 等技术，可精准识别上千种应用数据，同时可记录完整会话信息并交于大数据平 台进行深度的挖掘分析。DPI引擎通过对网络中的流量数据进行深度即系、采集、 分析，包括协议深度解析、应用会话分析、告警风险分析、合规行为等，支持全 网双向流量、流向等行为的审计。能够对全网流量进行实时监控和大数据分析, 通过对全流量实时监控、分析和汇总，可以全面的展示出全流量趋势和风险事件 趋势信息。数据存储层数据存储层负责将收集到日志进行标准化处理，将不同格式的日志转化成为 内部的统一格式，并且将转换好的日志，进行集中存储和索引。数据存储层用于 对采集上来的不同类型的数据进行分类存储，以满足数据分析的要求。支持多种 数据格式的存储，提供多种存储方式。数据存储中支持的数据类型、存储方式、 存储要求、存储周期等。数据存储根据数据结构类型的不同，其中非结构化数据： 包括所有格式的文本文件、图片、原始数据等；结构化数据：可以用二维关系表 结构来表示，具备结构化数据的模式和内容；半结构化数据：介于非结构化数据 和结构化数据之间等。数据分析层数据分析层通过采用大数据分析技术，实现多维大数据关联分析，实现全网 的平安要素分析、异常行为快速发现的能力以及实现整体网络的平安态势可视化 能力。数据分析层可实现扩充本地威胁情报的能力，将恶意文件、高级持续攻击 者的ip、平安事件等数据，扩充至本地威胁情报库，并进行联动分析，实现网 络平安事件的自动发现和整体网络平安环境的动态防御能力。平台管理层平台管理层作为统一的配置管理中心，可展示全局的平安状况，提供WEB 访问操作控制台。平台管理层提供集中实时查看平安检测过程中，对截获的平安 日志进行深入调查分析以及对事件的自动响应，提供对攻击的过程回溯和展示的 能力。平台管理层在业务应用上扩充为通报预警子系统、大数据智能分析子系统、 态势监测子系统、资产监测子系统、流量监测子系统、高级威胁检测子系统、大 数据智能平安分析子系统等。1 背景介绍错误!未定义书签。1.1 背景错误!未定义书签。1.2 必要性错误!未定义书签。2 产品概述错误!未定义书签。2.1 概述错误!未定义书签。2.2 平台架构错误!未定义书签。2.2.1 数据采集层.错误!未定义书签。2.2.2 数据存储层.错误!未定义书签。2.2.3 数据分析层.错误!未定义书签。2.2.4 平台管理层.错误!未定义书签。3 产品功能错误!未定义书签。3.1 平安态势可视化门户错误!未定义书签。3.2 平安告警与运维管理错误!未定义书签。3.3 资产平安监测错误!未定义书签。3.4 大数据全文检索引擎错误!未定义书签。3.5 全流量2-7层平安检测错误!未定义书签。3.6 平安分析溯源错误!未定义书签。3.7 系统管理错误!未定义书签。4 产品价值错误!未定义书签。4.1 PB级大数据存储错误!未定义书签。4.2 平安分析及风险预警错误!未定义书签。4.3 快速检索及溯源错误!未定义书签。4.4 与威胁情报相结合错误!未定义书签。4.5 平安态势可视化错误!未定义书签。4.6 平安管理落地错误!未定义书签。5 关键技术错误!未定义书签。5.1 基于FLUME设计的大数据采集引擎错误!未定义书签。5.2 多源异构日志的快速分词与解析错误!未定义书签。53基于搜索引擎的检索与存储错误!未定义书签。5.4大数据关联分析引擎错误!未定义书签。6 部署方式错误!未定义书签。6.1 单机部署错误!未定义书签。6.2 集群部署错误!未定义书签。7 服务支持错误!未定义书签。声明Copyright2017北京安数云信息技术所有，保存一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的局部或 全部，并不得以任何形式传播。免责条款本文档依据现有版本制作，其内容如有更改，恕不另行通知。北京安数云信息技术在编写该文档的时候已尽最大努力保证其内容准 确可靠，北京安数云信息技术不对本文档中的遗漏或错误导致的损失承 担责任。1背景介绍1.1背景20世纪80年代，美国空军就提出了态势感知的概念，覆盖感知(感觉)、 理解和预测三个层次。90年代，态势感知的概念开始被逐渐被接受，并随着网 络的兴起而升级为“网络态势感知(CybcrspaceSituationAwarcncss, CSA), 是指在大规模网络环境中对能够引起网络态势发生变化的平安要素进行获取、理 解、显示以及最近开展趋势的顺延性预测，而最终的目的是要进行决策与行动。 随着网络平安重要性的凸显，态势感知开始在网络平安领域展露头角。2009年， 美国白宫在公布的网络空间平安战略文件中明确提出要构建态势感知能力，并梳 理出具备态势感知能力和职责的国家级网络平安中心或机构，包含了国家网络安 全中心(NCSC)、情报部门、司法与反间谍部门、US-CERT、网络作战部门的网络 平安中心(CybcrsccurityCcntcr)等,覆盖了国家平安、情报、司法、公私合 作等各个领域。2016年4月19 H,习总书记在与网络平安业界人士座谈会上明 确指出：“加快构建关键信息基础设施平安保障体系，全天候全方位感知网络安 全态势，增强网络平安防御能力和威慑能力。”当前网络与信息平安领域，正在面临多种挑战。一方面，企业和组织平安体 系架构日趋复杂，各种类型的平安数据越来越多，随着内控与合规的深入，传统 的分析能力明显力不从心，越来越需要分析更多的平安信息、并且要更加快速的 做出判定和响应。另一方面，新型威胁的兴起，高级可持续攻击要求有长时间的 数据才能分析入侵行为和评估遭受的损失。传统的SIEM很难处理多样化的非结 构数据，并R传统的应用/数据库架构局限了系统的性能，其能存储的历史数据 时长、存储事件的汇总度、查询分析的速度均受到极大的限制。信息平安也面临 大数据带来的挑战。我们需要更深层次的事件关联处理、分析和展现，而当前分 布式计算，存储和通信，内存计算，智能分析等技术己经逐步成熟应用，平安数 据分析需要使用这些新技术在事件关联、处理和展现能力上进行提升。为了应对日益严重的网络平安威胁，各单位、各部门在网络上部署了大量的网络设备、平安防护设备和应用服务系统，网管人员采用网络管理系统监控网络 设备产生的事件信息，运用入侵检测、防火墙、网络防病毒等单一类型或独立设 备的管理系统监控平安防护设备产生的事件信息，利用应用服务系统自身机制监 控相应的事件信息，利用操作系统的事件机制监控事件信息，对产生的各类事件 信息进行分析，根据研究判断情况实施相应的应急响应，保证网络运行平安顺畅。 实际上，这些设备（系统）产生的事件格式不同，事件风险等级划分标准各异, 由于缺乏海量事件信息的自动、综合的分析手段，无法快速抽取、定位、汇总重 要的平安事件，难以有效地评估当前网络的平安态势，实施应急响应缺少必要的 科学依据，影响了平安防护保障的效果。为保证网络平安运行，必须实施有效的 平安防护保障。计算机网络平安防护保障是防护、监测、响应的有机结合，当前 平安防护保障手段主要存在以下缺乏：（1）维度单一。筑高墙、堵漏洞、防入 侵等传统的单维度性防御技术显得力不从心。网络管理者单凭一种或几种平安工 具很难应对复杂的平安问题，并且平安工具彼此之间存在较大差异，网络平安管 理人员很难选择出适合自己网络状况的平安工具。（2）信息冗余。网络运行设 备、平安防护设备和应用服务系统产生的海量、冗余的告警容易让网络平安管理 人员关注于细枝末节或大量重复信息，对网络平安事件缺乏宏观认识、难以聚焦。（3）融合困难。网络中部署的各类平安防护设备独立运行、独立管理，系统之 间缺乏信息的交互与融合，形成了多个独立的“平安孤岛”，平安管理员无法获 知当前网络的平安状况。网络中部署的平安防护设备越多，“平安孤岛”问题越 严重。因此，研究如何整合网络中的各类资源，集监控管理、分析管理和响应 管理于一体，通过全面、集中的平安事件管理，智能、综合的事件分析，及时、 有效的协同响应或辅助决策支持，使各类管理系统发挥作用，形成合力，实现网 络整体防御，提高平安防护保障能力，不仅具有重要的理论意义，也具有十分重 要的实用价值。1.2必要性近年来很多入侵事件对被攻击方造成重大损失，网络空间的攻防对抗正在技 术手段和威胁烈度方面都在不断升级，这些网络攻防对抗极易造成重大损失，甚 至直接影响国家平安。一方面国家支持型黑客攻击事件将持续增加，或造成国际 政治格局震荡。2017年，国家支持型黑客攻击事件频发。被认为由俄罗斯政府 支持的黑客组织APT28,不仅被指干涉美国2016年的总统大选，还被曝出试图 干涉2017年法国大选、攻击黑山共和国以及罗马尼亚外交部网络等重量级事件。 而疑似与越南政府有关的黑客组织APT32也一直活跃在东南亚地区执行网络间 谍任务。鉴于APT28利用社交媒体发布言论、试图控制社会舆论的事件，这类利 用虚假新闻企图控制舆论走向的情况将会在2018不断上演，可能会出现在美国 国会大选、德国大选、利比亚大选以及柬埔寨、泰国等东南亚国家大选等重要事 件之中。而国家间的网络间谍活动一直以来都是各国进行网络平安防范的重点， 随着世界各国对网络攻击这种“不对称”武器的重视，以及网络攻击技术的飞速 更迭，预计2018年国家支持的黑客攻击规模和影响将不断增强，而未来爆发国 家级“网络战”的可能性也会增大（尤其是美国与朝鲜、伊朗以及俄罗斯之间）， 或造成国际政治格局震荡。另一方面关键基础设施将成为网络攻击重灾区，或严 重影响民生平安及社会平安。2017年，针对关键基础设施发起的网络攻击不胜 枚举，如6月丹麦航运公司马士基遭遇Petya勒索事件、10月瑞典交通信息署 信息系统遭遇黑客攻击、10月美国工控系统被爆出遭朝鲜黑客入侵、12月火眼 披露某能源工厂平安系统被黑并造成了工厂停工事件。北美R前主导着关键基础 设施保护市场，因为该地区先进技术的高产区，同时也是早期采用网络平安的地 区，但据预测，亚太地区关键基础设施市场的增长空间巨大、增长率最高。预计 2018年针对关键基础设施的网络攻击将不断增加，由于关键基础设施存在硬件 过时、用户认证较弱、从业人员平安意识薄弱、系统易攻击等多种防御弱点，假设 成功入侵，或将严重影响民生平安乃至社会平安。第三方面云服务依旧呈增长趋 势，但云平安问题亟待解决。2017年，云服务或云计算得以快速开展和应用， 但同时也带来了很多平安问题，如在2017年的数据泄露中，AWS S3云存储桶变 成为数据泄露的重灾区，多起敏感数据泄露事件源自于此。尽管如此，在2018 年，云服务依旧会呈增长趋势，据IDC最新数据显示，中国云服务市场在2020 年将突破80亿美金，而目前总计6亿TB的全球存储容量将在2018年到达11 亿TBo鉴于此，为了保障云服务的质量、维护云端数据的平安性，此前出现的 云平安问题及有可能造成数据泄露的平安问题亟待解决。综合来看，网络平安威胁形式依旧十分严峻。与此同时，信息平安总是随着信息化开展而开展的，传统的用户网络系统架 构主要包括互联网、运营商、网络、存储、服务、终端等内容，其中又以运营商 边界为界限，分为内网与外网。在传统网络架构上，对于用户来说，平安主要是 指内网的平安，而威胁来自两个方面：来自外网的非法攻击威胁，和来自内网的 平安使用威胁。为了方便用户管理以及平安防护，传统的用尸网架构会进行多个管理域或安 全域的划分，不同的平安域之间存在明确的边界，而从外网而来平安威胁也会跨 过边界，进行为纵深突破，直达服务或者数据，以实现信息窃取或者服务控制的 非法企图。而用户也常常因为平安意识薄弱，不平安的使用习惯，导致不经意间 对信息系统或者数字资产带来平安威胁。以信息或数据为中心从“以网络或系统为中心”的策略，转变为“以信息或数据为中心”的策略。用户的TT设施将逐步开展为基于云的服务模式，用户对网络、服务器、系 统或应用软件都不在具备控制权,在大局部情况卜用户仅仅控制了信息（数据）。 信息平安策略上，从一个“自下而上”的以网络为中心的战略，转变为“自上而 下”的“以信息为中心”的策略，平安能力集中在信息（数据）本身。以人为核心的平安从“以控制为中心的平安”演进至“以人为核心的平安以控制为中心的传统防护体系的思路将会被一个现代化的、有效的、本钱更 低的以人为中心的平安（PCS）替代。PCS基于一系列的的关键原那么，个体权利以 及相关的责任等。每个个体都有一定的权利但是也必须遵循相关的职责。如何个 体的行为不是按照正常的行为方式，这些人将受到控制或处理。PCS是以人的行 为为控制点，采用行为分析的方式来发现平安异常。快速检测和响应能力平安能力从“防范”为主转向“快速检测和响应能力”的构建面对高级的定向攻击（APT）,我们不能完全阻止控制攻击者进来，能有效的做法是控制其行为，防止进一步的攻击和破坏。此局部的重点工作:1、按照以信息为中心的平安策略，监控的重点可以根据场景的不同，监控 对应用、数据库、文件系统、内容管理系统的访问。2、重点监测的工作首先对用户最关键的信息资产一一典型的财务和客户数 据库，然后扩展到其他敏感的数据。3、使用场景化的情报描述，可以提高结果的准确度。4、端点监控(Endpoint)仍是关键。可以让原厂商提供内置的日志和审计 功能。5、未来五年内，随着大数据的规模增大，信息平安监测的量级会越来越大。6、用户的访问行为很关键，可以通过全面的监控措施，比方DAP、IAM来综 合分析确定用户的访问行为,在云计算环境下，CASBs(cloud access security brokers)的可以有效的记录用户的访问行为。平安情报驱动平安防护从“个体或单个组织”的防护，转变为“平安情报驱动”的信息共 享、集体协作方式。面对高级的定点攻击，任何用户单打独斗都缺乏以对抗攻击者。用户需要有 更好的平安情报提供(包括攻击者的位置、方式、使用的工具武器、技术手段、 攻击目标等)，只有通过内部的监控、外部情报的共享，产生更全面更详尽的基 于场景的可视化的数据以提供平安决策。根据响应能力(authority)不同，情报 主要来源可分为vendor sand government (服务商和政府)主导提供，或者通 过在同行业用户之间的联盟(coalitions among enterprises in the same industry)来提供情报。