基于事件过滤的安全分析平台.doc

成果上报申请书
成果名称
基于事件过滤的安全分析平台
成果申报单位
湖北 省（自治区/直辖市）公司
成果承担部门
/分公司
网优中心

成果专业类别*
安全
所属专业部门*
安全线条
成果研究类别*
其他类成果
省内评审结果*
优秀
关键词索引（3～5个）
安全管控、安全分析、KETTLE
应用投资
0 万元（指别的省引入应用大致需要的投资金额）
产品版权归属单位
中国移动湖北公司
对企业现有标准规范的符合度：（按填写说明5）
符合网络安全管控平台功能规范《融合通信安全总体技术要求》要求，编号QB-F-015-2014，建议在原有规划增加安全分析平台的功能。
成果来源：如果该成果来源于集团研发计划内项目，请填写研发项目年度、项目名称及类型；否则填写“计划外项目”（按填写说明6）
省内自立项目
专利情况：如果该成果产出相关专利，且专利处于国知局专利申请审查阶段或已授权，请说明专利名称、类型、申请号、状态、是否海外申请等情况。（按填写说明7）
无
成果简介：简要描述成果目的和意义，解决的问题，取得的社会和经济效益。
随着集中优化的进程不断加快，湖北移动网优中心承担了全省无线OMC，以及各类IT系统的集中安全管控工作。在日常的网络安全管理中，重点监控绕行问题、弱口令问题整改、合规问题整改和接入问题核查等问题，非常耗时耗力，如果不及时处理将引起重大的安全隐患。2014年湖北移动省网优中心牵头排查无线网安全问题隐患，成立安全数据问题分析专班，特别是针对安全管控平台及合规平台问题进行事件分析和过滤进行专题研究，探索一条自动化的网络安全管理机制。主要的思路是首先梳理集团的安全管控要求，提取其中的安全管控点，以及每个管控点对应的安全事件；第二是利用ETL中间件，定时采集和过滤异常安全事件，并给出分地市的量化评分，第三是建立地市派单机制，对安全问题进行闭环管控，这样一来就实现了在省中心对全省网络安全问题的集中管控水平，保障了网络的安全。
结合KETTLE中间件的强大数据处理能力，对无线网设备的安全问题进行事件过滤和分析。不仅提高了日常工作效率而且大大提高了安全事件的处理能力和安全管控能力。
项目创新点如下：
创新点1：提高安全隐患排查效率
通过事件过滤工具可以及时发现网络安全隐患问题，组织问题整改，便于跟踪管理，较人工排查效率明显提高。真正的成为安全防护的第一道坚实防线。
创新点2：自由便捷的白名单管理
由于大量的程序账号及内部系统登录连接，导致大量的登录地址需要剔除。在安全问题日益重要的当今，便捷的白名单管理可以大大提升安全隐患排查效率。
创新点3：基于KETTLE组件具有高开发效率和低开发成本。
KETTLE是开源ETL中间件（免费），支持对结构化和非结构化数据导入，以及全图形化设计过程，让开发人员将主要的精力放在规则上，以期提高开发效率。从使用效果来说，这些工具能够快速地构建一个工程来处理某个数据，相比较于传统的开发模式，节省60%的开发成本。
省内试运行效果：描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。
效果一：安全异常事件的数量变少
以前异常事件的核查都是采用人工处理，需要至少三四人天的时间去核查事件问题，而kettle在处理大量的数据时有着明显的优势，能够更快更准确的定位出问题，给安全管理人员节省出更多的时间去解决问题和优化安全管理流程，安全事件基本为由2014年第一季度的600件减少到2015年的第一季度的82件

效果二：通过工单形成的闭环处理
如下图所示，在KETTLE软件的帮助下，通过工单事件形成了闭环处理。在第一时间发现问题，然后就可以立刻发送工单，督促OMC厂家或者地市去解决的问题。用8个月发现了OMC厂家和地市的1400个安全问题，发出工单数约为500个，均督促相关厂家和设备商进行及时处理。

效果三：集团考核安全指标的提升
Kettle截止今日已经试运行了9个月，如下图所示，在这三个季度以来，集团安全指标由原来的不达标到现在的指标优秀。
安全异常事件类型
14年第三度
15年第一季度
绕行事件
65.74%
0.40%
弱口令事件
4.43%
0.12%
合规事件
43.23%
98.34%
接入事件
0%
99.80%

“成果上报申请书”的填写说明：
1、“成果专业类别”指：核心网、无线、传输、IP、网管、业务支撑、管理信息系统、市场研究、数据业务、数据网络、通信电源、空调、其他。
2、“成果研究类别”指：超前研究、新产品开发、相关网络解决方案、现有业务优化、其他。
3、“所属专业部门”指：完成该成果的单位在省公司或地市分公司所属的专业部门线条。可填写：规划计划线条、网络线条、业务支撑线条、管理信息系统线条、数据线条、市场线条、集团客户线条、其他。
4、“省内评审结果”指：优秀、通过。
5、“对企业现有标准规范的符合度”指：列举该成果使用并符合的中国移动统一发布的企业标准的名称和编号，详细描述该成果在现有的企业标准基础上所需新增的功能要求（如业务流程的改变、设备新增的功能要求等）。
6、成果来源指：如果该成果来源于集团研发计划内项目，请填写研发项目的年度、项目名称和类型（类型包括：集团重大研发项目、集团重点研发项目、省公司自立项目）。未列入集团研发计划的，请填写“计划外项目”。（集团研发计划请见集团每年的发文，或登录科技创新平台查阅。）
7、专利情况指：
1)类型：发明、实用新型、外观
2）名称：该成果申请专利的名称
3）申请号：由知识产权审查机构授予的该成果专利申请号
4）状态：申请中、已授权
8、“文章主体”：根据不同科技成果分类实施不同的主体要求，具体如下：
1）超前研究类成果主体包括：
ü 背景情况
ü 技术特点分析
ü 标准化情况
ü 其他运营商应用情况（可选）
ü 技术发展趋势
ü 引入策略分析
2）相关网络解决方案类成果主体包括：
ü 背景情况
ü 技术方案：概述、网络解决方案（如果涉及到网络方面的改造，信令改造，路由改造等，应有详细的描述）、设备及系统改造/建设要求、码号资源需求
ü 效果（解决了哪些问题）
ü 本省应用推广情况
3）新产品开发类成果主体包括：
ü 业务及功能简介：业务概述、业务主要功能介绍
ü 技术实现方案：包括业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程、码号要求等
ü 业务申请和开通：包括用户范围及业务使用范围、业务申请与注销等
ü 业务商务模式及资费：包括商务模式、业务资费模式、业务收费方式等
ü 市场前景分析
4）现有业务优化类成果主体包括：
ü 业务及功能简介：业务概述、业务主要功能介绍
ü 现有业务存在的问题：现有缺陷分析、解决问题的思路
ü 原有业务方案/流程：业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程
ü 优化后的方案/流程：业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程
ü 优化后达到的效果，产生的经济效益
5）其他类成果主体，参考1）－4）的成果主体要求，阐述清楚项目背景、实现方案、解决的问题、取得的社会和经济效益等。
基于事件过滤的安全管控平台
1 事件过滤项目背景

安全管控是一个关系公司安全和产权、信息稳定、公司文化继承和发扬的重要问题。其重要性，正随着全球信息化步伐的加快越来越重要。
中国移动拥有庞大的信息数据体系以及丰富的支撑平台，因此公司的安全与发展与安全管控系统的防护息息相关。根据工信部《关于开展基础电信企业网络与信息安全责任考核有关工作的指导意见》（工信部联保〔2012〕551号），以及《2013年省级基础电信企业网络与信息安全工作考核要点与评分标准》（工信厅保〔2012〕247号）中涉及网络维护部门的相关要求，完成年初网络工作会部署的任务，2013年湖北省按照网络与信息安全责任分工，围绕控制重要系统的主要风险，以技术手段建设和应用为抓手，深化基础性安全工作，完善生产流程和评价方法，整体提升网络与信息安全工作水平。
如下图2-1所示，集团要求信息安全管控重点检查绕行问题、合规问题、弱口令问题和接入问题。传统的信息安全管控是通过定期抽查其中部分事件，进行手动分析处理，然后对问题地市和厂家进行派单。这种方式费时费力，无法及时针对重大质量问题及时处理，而且不能对整个网络安全有个整体的把控。2014年湖北移动省网优中心牵头排查无线网安全问题隐患，成立安全数据问题分析专班，特别是针对安全管控平台及合规平台问题进行事件分析和过滤进行专题研究，结合KETTLE中间件的强大数据处理能力，对无线网设备的安全问题进行事件过滤和分析。提出并开发了一种高效的基于事件过滤的安全管控平台，它实现了定时自动提取OMC等安全相关数据，根据安全管理员量身定制的算法对数据分析处理，结果推送等功能。这样就避免因为员工疏忽和数据不全面，导致不必要的错误，同时也节省了许多人力和物力资源，大大提高了安全管理的工作效率。

图2-1 安全管控的整体框架
2 亟待解决的安全管控平台问题
2.1 待解决问题分析
安全管控平台主要事件包括登录问题事件、合规问题事件、弱口令问题事件、绕行问题事件、接入核查事件等。每个问题事件过滤所需的数据源类型多样，数据量大，这不仅需要大量的人力和物力进行处理，而且人员疏忽和数据处理样本过小的问题也导致处理结果准确性不足够高。
对需求进行了充分了解后，研制出准确的数据分析模型和时间处理框架，以便轻松的将结果呈现出来。本次实现模式采用大数据处理模式——ETL，对数据进行抽取、清洗、下载。目前安全管控平台安全问题分析主要存在以下问题及难点。
1）时间有限：通信工作人员使用和开发编程能力欠缺，数据提取及处理费时费力。
2） 购买预算：单独组织集成商开发成本较高，且存在维护困难的问题。
3） 事件数量：管控平台中需要核查的问题事件多样化，因此数据采集和结果运算算法复杂。
4）数据源多样化：安全管控涉及的主设备厂家较多，数据源多样化，需要各种数据输入形式。
5）可扩展性：人员变更和白名单内数据需要根据需要随时进行更新调整。
问题1：数据量大，人工分析时间长
随着4G网络的不断发展必然要造成网络规模迅速扩大，这使我们在整个网络安全管控方面有了新的挑战。如果再以传统模式中事件抽取的方式进行处理，不但会占用越来越多的人力物力，另外也无法对于安全管控平台的问题情况进行量化评估和针对重大问题及时分析处理。下面简单列举出基本数据的提取及处理时长：
表2-1下列数据以网优中心现有网络规模进行统计
数据类型
规模
提取时长（小时）
处理时长（小时）
接入设备
约1000台
13.5
2.5
安全管控平台绕行数据
100万
8
3
合规问题整改数据
10万
4
1
弱口令问题整改数据
10万
4
1

面对如此庞大的数据库，人工处理时长太长，而且处理周期频繁，安全管理人员的工作越来越繁重，所以急需一种高效的数据问题核查及分析方案，实现通过对数据问题分析和安全隐患排查的管理。
问题2：事件选取集小，分析不全面
安全问题是一直是中国移动非常核心的一部分，但是每年都要有一两千个安全问题出现，问题解决进展很缓慢。其中一个重要原因就是问题事件较多，而选取用来分析的集合较少，很难较为全面的去把控整个流程。

图2-2 安全管控问题分析流程

2.2 解决对策
2.2.1 安全事件模型
如下图2-3所示，整个网络安全管理重点监控处理的事件有四个：绕行问题、弱口令问题整改、合规问题整改、接入问题核查。
主要事件用例分为：
1、 设定自动运行机制，自动从厂家OMC、安全管控平台等提取日志数据；
2、 通过公式计算得到绕行率、弱口令率、合规整改率、接入率。
1）绕行事件：
如下图2-4所示，绕行事件分为白名单登录、4A登录、直连登录、桥接登录。
4A绕行率=count(直连登录+桥接登录)/count（白名单+4A登录+直连登录+桥接登录）。
2）弱口令事件：
如下图2-5所示，弱口令事件的检测结果有两种：检测为弱口令、检测为非弱口令。
弱口令率=count(检测为弱口令)/count(检测为弱口令+检测为非弱口令)；
3）合规事件：
如下图2-6所示，合规事件的核查结果也有两种：合规和不合规。对不合规的厂家地市进行派单整改。
合规率=count（合规）/count（合规+不合规）。
4）接入事件：
如下图2-7所示，接入事件是与资源库中IP地址比对，因此检测结果分为两类：资源库匹配和资源库不匹配。
接入率=count（匹配）/count(匹配+不匹配)。
3、 得到不符合规定绕行、弱口令、需要整改、接入有问题的详细厂家或者主机IP。
4、 对问题地市和厂家派单后续处理。
5、 地市和厂家可以通过4A平台连接远程服务器，下载有问题的IP地址详单。

图2-3 网络管理总概况图

图2-4 绕行事件

图2-5 弱口令事件

图2-6 接入事件

图2-7 合规事件
2.2.2 工具选用
结合上述要素，最后选择了Kettle作为ETL的开发中间件。kettle是一款国外开源的ETL工具，纯java编写；可以在Window、Linux、Unix上运行，绿色无需安装；数据抽取高效稳定，大大提高了效率；图形化设计界面，应用以及开发人员上手快。

KETTLE组件处理数据的优势：
ETL中间件使得网优人员只需要关注哪些数据需要导入，而不需要关注如何导入。
1、 多数据源输入
Ø 支持多种数据库连接：kettle可连接数据库多达十多种，例如Postgresql、MySQL、Oracle、Informax等等
Ø 支持各种格式的文件输入：如txt、csv、xls、xml、自定义表格等等
2、 易于理解
Ø 可视化编程：基于图形界面设计，无需编码
Ø 可复用插件 :提供大量的插件，规范开发过程
Ø 模块化组装：数据挖掘过程通过模块拼装实现
3、 易于变化
Ø 模块化结构：方通过局部修改来完善功能。
Ø 第三方插件：ETL中间件可以作为插件平台
Ø 平台无关：不依赖底层硬件，方便集群部署
2.2.3 闭环管理
如下图2-8所示，在省网优、地市和厂家之间通过工单事件形成了闭环处理。省网优安全管理人员在第一时间发现问题，然后就可以立刻发送工单，督促OMC厂家或者地市去解决的问题。地市和设备商会根据具体情况进行整改和优化，然后回复工单。这种闭环形式可以督促跟踪行家解决问题，提高办事效率。使用8个月以来，发现了OMC厂家和地市的1400个安全问题，发出工单数约为500个，均督促相关厂家和设备商进行及时处理。

图2-8 闭环管理示意图
3 详细技术方案
整个流程框架是基于kettle设计，Kettle 中文名称叫水壶，该项目的架构师MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
如下图3所示，按照现在安全管理问题核查需求，针对四个问题进行概率核查和详情输出。将整个安全管控系统的实现模型分为四个模块：绕行率计算、接入率计算、合规率计算、弱口令率计算。如下图4所示，每个模块的实现模型都是按照ETL大数据处理方式进行设计，模块流程包括：事件数据搜集、事件过滤清洗、分析数据、问题结果呈现。针对每个问题的计算流程大体类似，现已绕行率计算模块为例，对每个模块的实现技术进行一一详述。

图3-1 项目实现框架

图3-2 4A绕行率方案的总实现Job模块
3.1 项目需求分析
利用KETTLE中间件开发一套基于时间过滤的安全管控平台，该平台主要实现的功能为：自动从数据库中提取出所需要的源数据；利用KELLE中间件中和问题核查算法计算问题结果；将结果放到指定文件夹或者数据库表，供使用者查看。

图3-3 整体需求模块

l 支持从各类平台以及各类型OMC上导出安全日志至工具中；
l 使用kettle工具开发的安全分析平台分析数据数据；
l 将结果结果保存在远程务器或者存储到数据库中；
l 省网优、厂家和地市都可以登录服务器或者数据库客户端对分析结果进行浏览和下载。
3.2 关键点分析（文本处理特性）
3.2.1 支持多文档类型
如上图3-3所示，借助于kettle工具的优势，本安全分析平台支持多数据输入：txt、csv、xml、xls、log等等文档类型，并且可以连接大多数数据库，如DB2、MySQL、PostGreSQL、SQLServer、ORACLE、Informax等等。
如下图3-4所示，实现将文本文件归一化到数据库中需要经过如下kettle流程。整个数据库中数据表字段为IP地址、厂家制式、地市、时间、是否绕行。下图3-5是每个组件具体实现功能。

图3-4 实现模型

图3-5 kettle组件功能
3.2.2 数据分析
数据分析过程中要产生两个输出结果：概率和祥表。例如对绕行而言，要输出绕行率和绕行的IP地址。其实最核心的步骤就是数据输入，数据归一化到数据库中，计算概率通过简单的SQL代码即可实现。
表输入，从数据库中将祥表数据数据到kettle中进行数据分析。此步骤可以在数据输入的过程中对字段进行分析处理，例如计算绕行率，首先计算绕行IP地址和总的IP地址的数量，然后二者相除即可得到绕行率。
Microsoft Excel Writer，将结果输出到指定位置的excel文档中。

图3-6 数据分析组件
3.3 项目整体方案
如下图3-7所示，将华为、大唐、诺西、中兴、爱立信的OMC日志文件自动导入到Postgresql数据库中，实现数据归一化。图3-8为爱立信实现将.log格式的文件信息归一化到运算所需的信息表中。

图3-7 数据导入集成模块

图3-8 立信数据导入实现组件
3.3.1 数据导入思路:
实现将OMC不同类型的日志文件导入到postgresql数据库中进行归一化，整体思路为：日志文件内容和日志文件名称信息按照需要导入到数据库表中。

日志文件名称：中兴_4G或中兴_2G。
祥表字段：
序号
字段名称
PG数据类型
字符类型
1
IP
Varchar
字符型
2
时间
timestamp
时间
3
用户名
varchar
字符型
4
制式
text
文本
5
地市
text
文本
6
是否绕行
Int2
整形
3.3.2 祥表中字段信息来源解析
从上面解析过程来看， 如下图所示kettle实现过程按照实现流程依次为：获取厂家制式、获取地市、获取时间、增加字段是否绕行、字段删留和记录过滤。
图3-9 kettle实现整体流程图
3.3.3 4A绕行率计算
4A绕行率计算公式为：绕行IP数量/（绕行IP数量+非绕行IP数量），在将OMC日志信息归一化到数据库详表中后，数据表字段中有个字段：是否绕行。计算记录“是”记为count1.同时计算IP总数为count2。4A绕行率=count1/count2。具体实现是通过SQL代码实现，实现组件为“执行SQL脚本”。
3.3.4 数据清空
执行SQL脚本：实现数据表清空。目的有两个：1）为了防止同一天执行两次，所以在每次生成新数据前都把当天数据给删除。2）结果中没有时间记录，因此无法区分每次运行结果，因此系统只保留当天时间数据。
3.3.5 自动运行配置
项目设计完毕，就可以利用windows任务计划按一定周期去调度项目，实现自动运行，每天会按照指定的时间将结果推送到数据库中或文件夹中供使用者查看。图3-10是自动运行领域对象模型图，设定任务计划，每天按照计划内容调度运行项目，得到分析结果。图3-11为设定好的任务计划，本项目任务计划名称为wangyou0023。

图3-10自动运行示意图

图3-11 任务计划界面
3.3.6 Navicate客户端查看和下载结果
项目使用者个人电脑上可安装一个navicate客户端，直接连接服务器的postgresql数据库，查看或下载分析结果。Navicat 是以视觉化的图形用户界面而建的，让你可以以安全并且简单的方式创建、组织、访问并共用信息。Navicate for PostgreSQL界面如下图3-12所示：

图3-12 navicate客户端界面
Navicate客户端可实现功能如下：
ü 查看数据表：双击要查看表格即可
ü 下载数据表：查询数据，然后根据导出向导导出数据
ü 修改数据表字段：右键点击表设计
ü 新建表、删除表、清空表
4 取得的成效
安全管控平台日常、周常需要处理数据量大，数据具有一定的规律性。Kettle工具的使用提高了处理数据的效率和准确性，使得更多的人力可以投入到问题的解决处理、数据的优化升级中。安全工作优化的突有表现：
4.1 实现安全管理工作的规范化
基于事件过滤模型和分析平台，一方面明确了工作的要求，同时也很分便进行工作的标准化作业，这个是一个特别核心的效果。
在KETTLE软件的帮助下，问题概率核查比较方便，可以在第一时间发现问题，然后就立即发送工单督促OMC厂家或者地市去解决问题，形成了一系列的闭环问题处理过程。根据需要，网优中心安全管理人员又将绕行率、合规率、弱口 令率、接入率指标纳入到厂家和地市考核当中。厂家、地市的周考核细化到了每天的日常统计中，极其快速的定位到了问题原因，并且为问题解决预留了更长时间，有利于充分解决问题。仅8个月发现了OMC厂家和地市的1400个安全问题，均督促相关人员对问题快速解决。

图4-1 闭环处理流程图
4.2 提升安全问题分析效率
1、如下表所示，以前的安全管控数据提取和数据处理都是采用人工手动方式，该方式占用3~4天的时间去核查指标的概率，而现在利用kettle工具，可以自动运算数据结果，准确定位问题，不占用使用者任何的处理时间，在客户端直接下载数据表即可。
2、如下图4-1所示，由于大量的程序账号及内部系统登录连接，导致大量的登录地址需要增加和删除。在本项目中将白名单直接存放至数据库表中，方便增删，因此便捷的白名单管理也大大提升安全隐患排查效率。
表4-1 安全分析中提取和处理数据时间
数据类型
提取时长（小时）
处理时长（小时）
总时间(小时)
设备接入数据
13.5
2.5
16
安全管控平台绕行数据
8
3
11
合规问题整改数据
4
1
5
弱口令问题整改数据
4
1
5

图 4-2 2014年4个季度白名单增删数量图
4.3 安全异常事件减少
如下图所示，基于事件过滤的安全管控系统至9月份试运行以来效果比较显著，安全问题明显减少。主要原因有两个：1）kettle在处理大量数据时有着明显的优势，更快更准确定位出问题，给安全管理人员省出更多的时间去解决问题，优化问题。2）该系统对安全问题实时监控，能及时发现网络设备安全管控平台中的隐性问题，大大降低了安全问题的发生率。
无线网设备安全管控平台应用情况：2014年已完成全省所有无线网设备接入安全管控平台，接入率由年初的0%达到12月底的100%；安全管控平台使用率达到99.77%；合规率由年初的16.31%提升到12月份86.71%；弱口令率由51.33%下降至12月份的0%，上述4项指标均达到省公司下达的任务要求，同时也顺利完成了集团公司网络安全管控平台应用组巡检查的配合工作。

表4-2 14年和15年第一季度各事件概率对比表

安全异常事件类型
14年第三度
15年第一季度
绕行事件
65.74%
0.40%
弱口令事件
4.43%
0.12%
合规事件
43.23%
98.34%
接入事件
0%
99.80%

5 展望
通过采用网优中心自行研发的基于事件过滤的安全管控平台，将安全管控平台海量采集数据的“黑匣子”打开，使得网优中心安全管控人员可以及时、准确的掌握全省的安全质量情况，为公司的稳定和各类平台安全的应用提供了基础保障。
基于事件过滤的安全管控平台应用及后期开发，可以实现在降低总体投入情况下，可集中优势兵力集中防护，保证各种安全保障措施形成系统、高效的安全保障体系，形成合力，提高组织的预警能力、隐患发现能力、安全防护能力、应急反应能力。