资源描述
数据治理体系
目 录
1. 范围 1
2. 规范性引用文件 1
3. 术语、定义和缩略语 5
4. 总体说明 8
4.1. 概述 8
4.2. 目标 9
4.3. 标准 9
5. 数据治理体系 10
5.1. 总体框架 10
5.2. 组织架构 11
5.2.1. 组织组成 11
5.2.2. 角色职责 12
5.3. 系统架构 12
5.3.1. 系统功效框架 12
5.3.2. 系统模块步骤 14
5.4. 系统边界 15
5.4.1. 和企业级省大数据平台关系 16
5.4.2. 和对外能力开放平台关系 16
5.4.3. 和平台运维系统关系 16
6. 数据治理关键模块 17
6.1. 数据标准管理 17
6.1.1. 背景 17
6.1.2. 18
6.1.3. 目标及标准 19
6.1.4. 业务分类和定义 19
6.1.5. 技术功效要求 23
6.1.6. 本期建设范围及内容 26
6.1.7. 实施要求 27
6.2. 元数据管理 27
6.2.1. 背景和定义 27
6.2.2. 元数据运行模式 29
6.2.3. 元模型标准 29
6.2.4. 元数据运维 33
6.2.5. 本期关键建设内容 34
6.3. 数据质量管理 34
6.3.1. 和传统经营分析系统区分 34
6.3.2. 范围和标准 35
6.3.3. 和其它功效模块关系 36
6.3.4. 本期数据质量功效需求 38
6.3.5. 本期数据质量运维要求 39
6.4. 数据资产管理 40
6.4.1. 数据资产概述 40
6.4.2. 数据资产范围 41
6.4.3. 和其它功效模块关系 42
6.4.4. 本期数据资产功效需求 42
6.4.5. 本期建设内容 45
6.5. 数据安全管理 45
6.5.1. 数据安全概述 45
6.5.2. 建设标准 46
6.5.3. 建设内容 46
6.5.4. 边界关系 46
6.5.5. 技术功效 47
6.5.6. 管理要求 48
7. 数据治理场景 52
7.1. 背景描述 52
7.2. 场景一:银行伪卡交易判别 52
7.2.1. 背景介绍 52
7.2.2. 场景描述 53
7.3. 场景二:银行手机贷业务 54
7.3.1. 背景介绍 54
7.3.2. 场景描述 54
8. 附录 55
附录一:数据标准框架 55
附录二:数据标准体系定义内容示例 56
前 言
本规范制订是为了愈加好地实现中国移动企业级省大数据平台数据治理子系统建设和管理,为省大数据平台上各类基础技术和应用提供支撑,加强省大数据平台上数据管控力度,增强数据治理子系统本身管理能力。
本规范关键包含以下几方面内容:总体说明、数据治理体系、数据治理关键模块、数据治理场景等。
本规范是中国移动企业级大数据平台系列规范之一。该系列规范结构、名称或估计名称以下:
序号
标准编号
标准名称
[1]
QB-Y-***-
中国移动企业级大数据平台目标架构
[2]
QB-Y-***-
中国移动企业级省大数据平台技术规范总册
[3]
QB-Y-***-
中国移动企业级省大数据平台技术规范分册
[4]
QB-Y-***-
中国移动企业级省大数据平台技术规范技术方案分册
[5]
QB-Y-***-
中国移动企业级省大数据平台技术规范数据模型分册
[6]
QB-Y-***-
中国移动企业级省大数据平台技术规范外部接口分册
[7]
QB-Y-***-
中国移动企业级省大数据平台技术规范服务开放分册
[8]
QB-Y-***-
中国移动企业级省大数据平台技术规范服务开放技术方案分册
[9]
QB-Y-***-
中国移动企业级省大数据平台技术规范数据治理分册
[10]
QB-Y-***-
中国移动企业级省大数据平台技术规范数据治理技术方案分册
[11]
QB-Y-***-
中国移动企业级省大数据平台技术规范运行维护分册
[12]
QB-Y-***-
中国移动企业级省大数据平台技术规范安全管理技术方案
本规范由中移技﹝××﹞××印发。
本规范由中国移动通信集团企业业务支撑系统部提出,集团企业技术部归口。
本规范起草单位:中国移动通信集团企业业务支撑系统部。
本规范关键起草人:段云峰、汪新勇、赵静、周立、、任怡健、王保强、潘刚、刘童桐、王金金、陶涛、刘虹、张红星、魏春辉。
1. 范围
本规范要求了中国移动企业级省大数据平台数据治理子系统建设内容,适适用于中国移动各省(直辖市、自治区)企业企业级省大数据平台数据治理子系统建设。
2. 规范性引用文件
下列文件中条款经过本规范引用而成为本规范条款。通常标注日期引用文件,其随即全部修改单(不包含勘误内容)或修订版均不适适用于本规范。然而,激励依据本规范达成协议各方对是否使用这些文件最新版本进行研究。通常不标注日期引用文件,其最新版本适适用于本规范。
[1]
《中国移动省级经营分析系统业务规范(v1.0)》
中国移动通信
[2]
《中国移动省级经营分析系统技术规范(v1.0)》
中国移动通信
[3]
QB-J-010-
《中国移动省级经营分析系统数据质量管理系统建设方案(v1.5)》
中国移动通信
[4]
QB-J-006-
《中国移动省级经营分析系统数据仓库逻辑数据模型说明(v1.5)》
中国移动通信
[5]
QB-J-007-
《中国移动省级经营分析系统数据集市业务技术规范(v1.5)》
中国移动通信
[6]
QB-J-008-
《中国移动省级经营分析系统和源系统接口规范(v1.5)》
中国移动通信
[7]
QB-J-009-
《中国移动省级经营分析系统和BOSS系统互动技术规范(v1.5)》
中国移动通信
[8]
QB-J-003-
《中国移动省级经营分析系统业务规范(v1.5)—基础业务分册》
中国移动通信
[9]
QB-J-004-
《中国移动省级经营分析系统业务规范(v1.5)—数据业务分册》
中国移动通信
[10]
QB-J-005-
《中国移动省级经营分析系统业务规范(v1.5)—集团用户分册》
中国移动通信
[11]
QB-J-001-
《中国移动业务运行支撑系统(BOSS)业务技术规范营销资源管理分册(2.0版)》
中国移动通信
[12]
QB-J-001-
《中国移动业务运行支撑系统(BOSS)业务技术规范客服信息分册(2.0版)》
中国移动通信
[13]
QB-J-001-
《中国移动业务运行支撑系统(BOSS)业务技术规范(2.0版)》
中国移动通信
[14]
QB-J-021-
《中国移动省级经营分析系统数据仓库逻辑数据模型规范(v2.0)》
中国移动通信
[15]
QB-J-020-
《中国移动省级经营分析系统和源数据接口规范(v2.0)》
中国移动通信
[16]
QB-J-022-
《中国移动省级经营分析系统数据集市业务技术规范(v2.0)》
中国移动通信
[17]
QB-J-019-
《中国移动省级经营分析系统业务规范渠道运行管理分析监控分册(v1.0)》
中国移动通信
[18]
QB-J-018-
《中国移动省级经营分析系统业务规范用户服务分册(v2.0)》
中国移动通信
[19]
QB-J-017-
《中国移动省级经营分析系统业务规范集团用户分册(v2.0》
中国移动通信
[20]
QB-J-016-
《中国移动省级经营分析系统数据质量管理系统业务技术规范(V2.0)》
中国移动通信
[21]
《中国移动业务支撑网4A安全技术规范》
中国移动通信
[22]
《中国移动省级经营分析系统技术规范总册(v2.0全量版)》
中国移动通信
[23]
《中国移动省级经营分析系统技术规范逻辑模型分册(v2.0全量版)》
中国移动通信
[24]
《中国移动省级经营分析系统技术规范数据集市分册(v2.0全量版)》
中国移动通信
[25]
《中国移动省级经营分析系统技术规范数据质量管理子系统分册(v2.0全量版)》
中国移动通信
[26]
《中国移动省级经营分析系统业务规范(v2.0全量版)》
中国移动通信
[27]
《中国移动省级经营分析系统技术规范源系统接口分册(v2.0全量版)》
中国移动通信
[28]
QB-J-002-
《中国移动省级NG1-BASS技术规范总册(v1.0)》
中国移动通信集团企业
[29]
QB-J-003-
《中国移动省级NG1-BASS技术规范数据集市分册(v1.0)》
中国移动通信集团企业
[30]
QB-J-004-
《中国移动省级NG1-BASS技术规范逻辑模型分册(v1.0)》
中国移动通信集团企业
[31]
QB-J-005-
《中国移动省级NG1-BASS技术规范源系统接口分册(v1.0)》
中国移动通信集团企业
[32]
QB-J-006-
《中国移动省级NG1-BASS技术规范元数据管理分册(v1.0)》
中国移动通信集团企业
[33]
QB-J-007-
《中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v1.0)》
中国移动通信集团企业
[34]
QB-J-008-
《中国移动省级NG1-BASS业务技术规范用户分析及运行分册(v1.0)》
中国移动通信集团企业
[35]
QB-J-001-
《中国移动省级NG1-BASS业务规范(v1.0)》
中国移动通信集团企业
[36]
QB-Y-003-
《中国移动省级NG1-BASS技术规范总册(v2.0)》
中国移动通信集团企业
[37]
QB-Y-004-
《中国移动省级NG1-BASS技术规范数据集市分册(v2.0)》
中国移动通信集团企业
[38]
QB-Y-005-
《中国移动省级NG1-BASS技术规范逻辑模型分册(v2.0)》
中国移动通信集团企业
[39]
QB-Y-006-
《中国移动省级NG1-BASS技术规范外部接口分册(v2.0)》
中国移动通信集团企业
[40]
QB-Y-007-
《中国移动省级NG1-BASS技术规范元数据管理分册(v2.0)》
中国移动通信集团企业
[41]
QB-Y-008-
《中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v2.0)》
中国移动通信集团企业
[42]
QB-Y-002-
《中国移动省级NG1-BASS业务规范(v2.0)》
中国移动通信集团企业
[43]
QB-Y-052-
《中国移动省级NG2-BASS(v3.0)业务规范》
中国移动通信集团企业
[44]
QB-Y-053-
《中国移动省级NG2-BASS(v3.0)技术规范总册》
中国移动通信集团企业
[45]
QB-Y-054-
《中国移动省级NG2-BASS(v3.0)技术规范数据集市分册》
中国移动通信集团企业
[46]
QB-Y-055-
《中国移动省级NG2-BASS(v3.0)技术规范逻辑模型分册》
中国移动通信集团企业
[47]
QB-Y-056-
《中国移动省级NG2-BASS(v3.0)技术规范外部接口分册》
中国移动通信集团企业
[48]
QB-Y-057-
《中国移动省级NG2-BASS(v3.0)技术规范元数据管理分册》
中国移动通信集团企业
[49]
QB-Y-058-
《中国移动省级NG2-BASS(v3.0)技术规范数据质量管理子系统分册》
中国移动通信集团企业
[50]
QB-Y-059-
《中国移动省级NG2-BASS(v3.0)技术规范多OP能力交互分册》
中国移动通信集团企业
[51]
QB-Y-060-
《中国移动省级增值业务综合运行平台业务规范(v1.0)》
中国移动通信集团企业
[52]
QB-Y-061-
《中国移动省级增值业务综合运行平台技术规范(v1.0)》
中国移动通信集团企业
[53]
QB-Y-062-
《中国移动省级增值业务综合运行平台技术规范-数据管理分册(v1.0)》
中国移动通信集团企业
[54]
QB-Y-063-
《中国移动省级增值业务综合运行平台接口规范》
中国移动通信集团企业
[55]
QB-Y-039-
《中国移动省级NG2-BASS(v3.5)业务规范》
中国移动通信集团企业
[56]
QB-Y-038-
《中国移动省级NG2-BASS(v3.5)技术规范总册》
中国移动通信集团企业
[57]
QB-Y-040-
《中国移动省级NG2-BASS(v3.5)技术规范数据集市分册》
中国移动通信集团企业
[58]
QB-Y-041-
《中国移动省级NG2-BASS(v3.5)技术规范逻辑模型分册》
中国移动通信集团企业
[59]
QB-Y-042-
《中国移动省级NG2-BASS(v3.5)技术规范外部接口分册》
中国移动通信集团企业
[60]
QB-Y-043-
《中国移动省级NG2-BASS(v3.5)技术规范元数据管理分册》
中国移动通信集团企业
[61]
QB-Y-044-
《中国移动省级NG2-BASS(v3.5)技术规范数据质量管理子系统分册》
中国移动通信集团企业
[62]
QB-Y-045-
《中国移动省级NG2-BASS(v3.5)技术规范OP能力交互分册》
中国移动通信集团企业
[63]
QB-Y-046-
《中国移动省级增值业务综合运行平台业务规范(v1.5)》
中国移动通信集团企业
[64]
QB-Y-047-
《中国移动省级增值业务综合运行平台技术规范(v1.5)》
中国移动通信集团企业
[65]
QB-Y-048-
《中国移动省级NG2-BASS技术规范系统安全管理分册(v1.5)》
中国移动通信集团企业
[66]
QB-Y-044-
《中国移动省级NG2-BASS(v4.0)业务规范》
中国移动通信集团企业
[67]
QB-Y-045-
《中国移动省级NG2-BASS(v4.0)技术规范总册》
中国移动通信集团企业
[68]
QB-Y-045.1-
《中国移动省级NG2-BASS(v4.0)技术规范数据集市分册》
中国移动通信集团企业
[69]
QB-Y-045.2-
《中国移动省级NG2-BASS(v4.0)技术规范逻辑模型分册》
中国移动通信集团企业
[70]
QB-Y-045.3-
《中国移动省级NG2-BASS(v4.0)技术规范外部接口分册》
中国移动通信集团企业
[72]
QB-Y-045.4-
《中国移动省级NG2-BASS(v4.0)技术规范元数据管理分册》
中国移动通信集团企业
[73]
QB-Y-045.5-
《中国移动省级NG2-BASS(v4.0)技术规范数据质量管理子系统分册》
中国移动通信集团企业
[74]
QB-Y-046-
《中国移动省级增值业务综合运行平台业务规范V2.0.0》
中国移动通信集团企业
[75]
QB-Y-047-
《中国移动省级增值业务综合运行平台技术规范V2.0.0》
中国移动通信集团企业
[76]
QB-Y-047.1-
《中国移动省级增值业务综合运行平台技术规范数据管理分册V2.0.0》
中国移动通信集团企业
[77]
QB-Y-044-
《中国移动省级NG2-BASS(v4.5)业务规范》
中国移动通信集团企业
[78]
QB-Y-045-
《中国移动省级NG2-BASS(v4.5)技术规范总册》
中国移动通信集团企业
[79]
QB-Y-045.1-
《中国移动省级NG2-BASS(v4.5)技术规范数据集市分册》
中国移动通信集团企业
[80]
QB-Y-045.2-
《中国移动省级NG2-BASS(v4.5)技术规范逻辑模型分册》
中国移动通信集团企业
[81]
QB-Y-045.3-
《中国移动省级NG2-BASS(v4.5)技术规范外部接口分册》
中国移动通信集团企业
[82]
QB-Y-045.4-
《中国移动省级NG2-BASS(v4.5)技术规范元数据管理分册》
中国移动通信集团企业
[83]
QB-Y-045.5-
《中国移动省级NG2-BASS(v4.5)技术规范数据质量管理子系统分册》
中国移动通信集团企业
[84]
QB-Y-045.6-
《中国移动省级NG2-BASS(v4.5)技术规范安全管理技术方案》
中国移动通信集团企业
[85]
QB-Y-046-
《中国移动省级增值业务综合运行平台业务规范V2.5.0》
中国移动通信集团企业
[86]
QB-Y-047-
《中国移动省级增值业务综合运行平台技术规范V2.5.0》
中国移动通信集团企业
[87]
QB-Y-047.1-
《中国移动省级增值业务综合运行平台技术规范数据管理分册V2.5.0》
中国移动通信集团企业
3. 术语、定义和缩略语
下列术语、定义适适用于本规范:
字母
名词
解释
C
CWM
CWM标准是OMG组织定义数据仓库和相关系统国际元数据标准,给出了多种元数据结构标准定义。CWM标准目标在于:使数据仓库和商业智能软件元数据在异构数据分析工具、数据仓库平台、元数据存放库等系统之间进行交互。
E
ETL
特指从数据源系统到大数据平台数据抽取、转换和加载。
G
管理元数据
描述大数据平台中管理领域相关概念、关系、规则数据,关键包含人员角色、岗位职责、管理步骤等信息。
H
关键元模型
大数据平台关键元模型是以CWM为基础扩展形成,针对大数据平台物理模型、逻辑模型、数据处理过程、接口单元、指标和维度编码等关键实体进行正确定义,并要求各省大数据平台统一遵照元模型。定义关键元模型目标是建立大数据平台统一元数据管理标准,为元数据管理功效层和应用层解耦、为企业级总部大数据平台和企业级省大数据平台元数据交换和相互了解提供统一语义基础。
H
关键元模型参考表
关键元模型参考表是对关键元模型中枚举类型属性进行枚举值定义编码表。参考表为枚举类型属性每个枚举值定义了唯一编码,并明确该编码语义,是关键元模型标准化定义关键组成部分。
J
技术元数据
描述大数据平台中技术领域相关概念、关系、规则数据。关键包含对数据结构、数据处理方面特征描述,覆盖大数据平台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部数据处理步骤。
S
数据处理过程
数据从数据源系统到大数据平台前端使用整个处理过程,包含大数据平台数据仓库内部数据抽取、转换和加载。
S
数据采集点
覆盖大数据平台数据处理步骤、获取每个步骤运行状态实体。该实体能够是程序实体也能够是任务实体
S
数据质量汇报
数据质量汇报是对数据质量日常监控和质量评定等过程累积多种信息进行汇总、梳理、统计和分析,形成统计汇报
S
数据质量监控
经过获取大数据平台各步骤数据质量监控信息,结合元数据库中相关检验规则,对各个步骤数据质量情况进行判定,并立即向数据质量监控人员汇报。
S
数据质量规则库
数据质量规则库是对数据质量管理活动所用到多种判定及校验规则进行归类和存放存放结构,存放内容包含采集规则、监控规则、告警规则和审计规则等
S
数据质量信息库
数据质量管理子系统存放层上存放结构,用于存放数据质量信息采集程序采集数据质量信息、质量评定信息、问题处理方案和问题处理步骤信息等
S
省企业
中国移动通信集团各省(直辖市、自治区)移动通信。
S
SQL脚本
自动解析
SQL脚本自动解析指经过对SQL脚本词法、语法和语义进行分析,自动生成满足CWM规范要求数据处理过程技术元数据功效。
Y
业务元数据
描述大数据平台中业务领域相关概念、关系、规则数据。关键包含业务术语、信息分类、指标定义(指标口径)、业务规则等信息。
Y
元模型
元模型是描述元数据基础模型结构,用于说明元数据对象多种属性、结构和关系。
Y
元数据
元数据是描述数据间关系数据。大数据平台中元数据泛指描述数据概念(Concepts)、数据间关系(Roles)、数据处理规则(Rules)数据,其中,领域语义(Semantics)和知识(Knowledge)也属于元数据范围。
D
数据标准
指在中国移动台企业级省大数据平台下为了使企业内外部使用和交换数据是一致和正确,经协商一致制订并由大数据治理委员会主管机构同意,含有行业特点且共同使用和反复使用一个规范性约束。
D
数据标准体系
指数据标准根据中国移动企业级省大数据平台需求对数据进行标准化划分归类。
D
数据标准内容
根据数据标准体系划分要求分别给出各数据标准制订规范内容。
D
行业参考模型实体
中国移动规范中原定义或新增加逻辑数据模型LDM实体。
D
公共代码标准
需要引用外部公共标准机构标准。如:世界各国和地域名称代码等。
下列略缩语适适用于本规范:
缩写
英文描述
汉字描述
AST
Abstract Syntax Tree
抽象语法树
BOSS
Business Operation Support System
业务运行支撑系统
CWM
Common Warehouse Metamodel
公共仓库元模型
ETL
Extraction Transformation Loading
抽取、转换和加载
OLAP
On-line Analysis Process
在线分析处理
XMI
XML Metadata Interchange
XML元数据交换
BI
Business Intelligence
商务智能
REST
Representational State Transfer
表述性状态转移
4. 总体说明
4.1. 概述
本规范用于指导企业级省大数据平台数据治理子系统建设,要求了省大数据平台数据治理范围和要求,明确了数据治理子系统体系结构,制订了数据治理子系统功效和处理步骤。数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功效模块。本方案借鉴资产管理方法理论来管理数据,将数据作为一个特殊资产,对进入平台数据进行标准化规范约束,并以元数据作为驱动,连接数据标准管理、数据质量管理、数据数据安全管理各个阶段,形成统一、完善数据治理体系,以处理实际业务问题为导向,增强数据治理子系统对业务发展支撑能力。
4.2. 目标
数据治理子系统建设为数据治理工作提供强有力系统支撑。本期规范建设目标是以元数据为驱动,建立省大数据平台完整数据治理体系。从组织架构、系统功效等方面增强数据宏观管控,并实现精细化管理,具体包含:
l 数据治理组织架构管理:定义数据治理所需人员组织上岗位和职责,从管理角度支撑数据治理工作落地和实施。
l 数据标准管理:建立企业级省大数据平台数据标准体系,并制订数据标准运维管控制度和步骤。
l 元数据管理:降低元数据使用难度、提升用户体验,使大数据平台各类用户均能参与到元数据运行维护当中。
l 数据质量管理:为内、外部用户提供平台化数据质量监控;经过扩充和优化公共规则库、确保数据完整性、一致性、正确性、立即性、正当性,提升用户使用感知;并提供数据质量应用满足个性化需求。
l 数据资产管理:关键建设从计划、注册、运维到注销全步骤管理体系,使数据资产管理系统化、可视化。
l 数据安全管理:建立体系化数据安全管控策略,经过用户安全管理、数据安全管理实现全方位数据安全管控机制,经过技术手段和管理方法相结合方法落实数据安全,做到事前可管、事中可控、事后可查。
4.3. 标准
企业级省大数据平台数据治理子系统建设应遵照以下基础标准:
1. 有效性标准
表现大数据平台数据治理过程中数据标准、质量、价值、管控有效性、高效性。
2. 价值化标准
表现数据治理过程中以数据资产为价值关键,最大化大数据平台数据价值。
3. 统一性标准
表现大数据平台架构统一、标准统一、元数据统一、质量步骤统一、资产价值统一一体化管控平台体系。
4. 开放性标准
表现平台化、开放性运维思想,实现人人参与数据治理、人人参与数据运维。
5. 产品化标准
表现大数据平台数据治理能力显性化,经过产品化互联网思维服务大数据平台数据生态圈用户。
6. 安全性标准
表现安全关键性、必需性,保障大数据平台数据安全和数据治理过程中数据安全可控。
5. 数据治理体系
5.1. 总体框架
数据治理总体框架包含组织架构、数据治理模块、数据运维三部分。经过组织架构建立管理措施,制订工作步骤,确定角色职责。数据治理模块关键包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理,各模块协同运行,确保大数据平台数据一致、安全、有效。数据运维贯穿整个数据治理体系步骤中,实现平台化运维管理思绪。数据治理总体框架如Error! Reference source not found.所表示:
关键领域
大数据平台
数据治理工具
数据安全管理
数据资产管理
元数据管理
数据质量管理
数据标准管理
组织架构
组织架构定义
角色和职责
计划和策略
管理措施
数据运维
质量运维
管控运维
资产运维
组织架构适宜吗
图51数据治理体系框架
5.2. 组织架构是否模糊化,简明说一下数据治理需要由专员、专职负责,不明说建立专业机构。
数据治理组织构建意在经过建立数据治理组织架构明确各级角色和职责,保障数据治理各项管理措施、工作步骤实施,推送数据治理工作有序开展。
5.2.1. 组织组成
数据治理组织架构关键由数据治理委员会、数据治理中心和各业务部门组成。组织架构划分和角色设定如Error! Reference source not found.所表示:
图 52 数据治理组织架构图
5.2.2. 角色职责
组织责任体系是数据治理责任落地保障,数据治理组织架构经过明确各角色职责,实施认责制度,让数据治理工作愈加好融入到数据日常使用和相关工作中,从而推进数据运维自治实现,如表5-1。
表5-1数据治理组织架构角色职责定义内容
组织结构
角色
角色描述
角色关键职责
数据治理委员会
数据管理决议者
由企业主管领导和各业务部门领导组成
负责牵头数据治理工作;制订数据治理政策、标准、规则、步骤,协调认责冲突;
对数据事实治理,确保数据质量和隐私;
在数据出现质量问题时负责仲裁工作。
数据治理中心
数据平台运行者
数据管理中心机构平台运行人员
负责提交数据标准要求及数据质量规则和业务规范,解释数据业务规则和含义;监督各项数据规则和规范约束落实情况;
负责数据治理平台中整体数据管控步骤制订和平台功效系统支撑实施;
负责平台整体运行、组织、协调。
各业务部门
数据提供者
相关数据开发提供人员
负责数据及相关系统开发,有责任实施数据标准和数据质量内容;
负责从技术角度处理数据质量问题;
作为数据出现质量问题时关键责任者。
数据维护者
数据维护人员
制订相关数据标准、数据制度和规则;
遵守和实施数据标准管控相关步骤,依据数据标准要求提供相关数据规范;
作为数据出现质量问题时次要责任者。
数据消费者
数据使用人员,包含内部用户和外部用户
作为数据治理平台数据管控步骤最终参与使用者;
是数据资产价值获益人;
作为数据治理平台数据闭环步骤提议人。
5.3. 系统架构
5.3.1. 系统功效框架
数据治理功效框架明确了数据治理在企业级省大数据平台中定位,并以合理功效层次划分指导数据治理系统相关功效建设。系统功效框架如图53所表示。
图53数据治理功效框架图
l 企业级省大数据平台门户:
企业级省大数据平台统一访问接口,供企业内、外部用户、第三方独立开发者访问及使用数据治理相关产品或功效,并负责统一访问认证及日志统计。
l 能力开放平台:
企业级省大数据平台统一对外服务层,数据治理相关产品及应用均经过这个层次进行注册、公布,并对内、外部开放。
l 数据治理系统:
Ø 数据标准:在数据标准管理组织架构推进和指导下,遵照协商一致制订数据标准规范,借助标准化管控步骤得以实施数据标准化整个过程。
Ø 元数据:采取集中式管理模式进行元数据管理,全企业元数据逻辑集中,即元数据管理模块作为企业元数据统一公布源,集中管理元数据,提供元数据集中创建、维护、查询功效。
Ø 数据质量:对数据从计划、获取、存放、共享、维护、应用、消亡生命周期每个阶段里可能引发各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并经过改善和提升组织管理水平使得数据质量取得深入提升。
Ø 数据资产:计划、控制、提供数据及信息资产一组业务职能,包含开发、实施和监督相关数据计划、政策、方案、项目、步骤、方法和程序,从而控制、保护、提升数据资产价值。
Ø 数据安全:经过计划、制订、实施数据安全政策和安全策略方法,为企业级大数据平台数据和信息提供行之有效认证、授权、访问和审计。
Ø 数据运维在左侧目录里缺乏一个模块
:包含数据资产运维、数据质量运维,借鉴互联网思维,经过产品化运维工具来整体提升企业级大数据平台数据运维效率。
l 企业级省大数据平台:
Ø 大数据基础平台,负责数据接入、存放、管理、应用及相关基础功效支撑。
5.3.2. 系统模块步骤
图54数据治理系统功效各模块关系图
如Error! Reference source not found.所表示,数据治理系统各模块之间,依据数据操作步骤产生相互关联,各模块业务步骤关系说明以下:
L1:数据标准管理模块将标准定义映射到元数据信息上,实现数据标准规范要求落地。
L2:元数据管理模块为数据资产管理模块提供存放模型、属性信息查询服务。
L3:元数据管理模块为数据质量管理模块提供元数据相关属性信息。
L4:用户经过元数据定义大数据平台数据结构。
L5:数据质量管理模块依据采集需求从大数据平台采集数据。
L6:数据质量管理模块将数据质量问题反馈给大数据平台。
L7:数据质量管理模块向资产模块提交数据质量评定结果。
L8:元数据管理模块为数据安全管理模块提供隐私等级定义服务。
L9:数据资产管理模块提议资产访问申请,由数据安全管理模块控制用户访问权限,控制数据资产增加、删除、变更操作权限,对访问数据内容、数据属性等操作进行管控。
L10:数据安全管理模块为大数据平台提供数据访问权限策略。
5.4. 系统边界
企业级省大数据平台数据治理子系统和其它子系统之间存在数据交互、功效调用、步骤穿插等关联。数据治理子系统和大数据平台系统内其它子系统关系示意如图55所表示:
数据治理
元数据管理
数据标准管理
数据质量管理
数据资产管理
数据安全管理
数据服务平台
企业级省大数据平台
平
台
运
维
图55数据治理子系统和各子系统边界图
5.4.1. 和企业级省大数据平台关系
企业级省大数据平台上数据资产是数据治理关键对象;数据治理为企业级省大数据平台提供数据标准指导、元数据定义、数据质量监控、数据安全等方面全方面支撑,使大数据平台上数据资产清楚、有序、安全、可控。
5.4.2. 和对外能力开放平台关系
数据治理为对外能力开放平台提供元数据查询、数据安全管理支持;对外能力开放平台为数据治理提供统一数据治理产品及功效注册、公布、使用服务。
5.4.3. 和平台运维系统关系
数据治理子系统支撑大数据平台数据管控步骤,并和平台运维交互协调,共同支撑大数据平台整体安全运维、数据运维和管理运维。
6. 数据治理关键模块
6.1. 数据标准管理
6.1.1. 背景
中国移动企业级省大数据平台数据标准是在经营分析系统数据管控要求基础之上,借鉴互联网企业数据治理经验而提出。数据标准是指在中国移动企业级省大数据平台下,保障企业内外部使用和交换数据一致性和正确性,含有行业特点且共同使用一个规范性约束。
数据标准是企业级省大数据平台数据治理基础性工作,是数据治理建设中首要步骤。首先,数据标准为企业级省大数据平台提供统一数据标准定义和平台逻辑模型。其次,数据标准是企业级省大数据平台进行数据治理依据和根本。再次,数据标准是衡量企业级省大数据平台数据资产运行和管理评定依据。最终,中国移动经过数据标准管理实施,实现对企业级省大数据平台全网数据统一运行管理。
企业级省大数据平台数据治理体系中数据标准管理如Error! Reference source not found.所表示,包含制订数据标准规范性文件、进行数据标准化管控及数据标准管理组织。
图61数据标准管理内容
企业级省大数据平台数据标准管理和原经营分析系统数据管控区分以下Error! Reference source not found.所表示:
表61企业级省大数据平台数据标准管理和原经营分析系统数据管控区分
企业级省大数据平台数据标准管理
原经营分析系统数据管控
数据范围
包含企业内外部数据运行相关数据,包含BOM三域数据、外部数据。
数据仅限于市场经营活动B域和部分O,M域数据。
业务应用模式
以数据标准为基础数据治理体系,实现数据资产化,贯穿整个数据运行全步骤,形成以中国移动大数据平台为关键大数据生态圈,服务于企业内外部用户。
以支撑企业内部经营分析为主。
服务对象
服务于整个大数据生态圈。
原经营分析系统使用人员。
6.1.2. 目标及标准
数据标准管理总体目标:经过统一数据标准制订和公布,结合制度约束、系统控制等手段,实现中国移动企业级省大数据平台数据完整性、有效性、一致性、规范性、开放性和共享性管理,提升企业级省大数据平台数据治理水平。
数据标准制订标准:
l 开放性:标准制订人人参与。
l 共享性:数据标准化信息在大数据生态圈共享使用。
l 完整性:涵盖用户、产品、服务、帐务、资源、网络等全部关键数据信息。
l 有效性:信息正确度高、了解上不存在歧义。
l 一致性:做到“五统一”,定义统一、口径统一、名称统一、起源统一、参考统一。
l 规范性:制度规范、步骤控制、系统管理等。
6.1.3. 业务分类和定义
6.1.3.1. 数据标准体系分类
数据标准制订如图62所表示,包含数据标准体系划分和数据标准内容制订,数据标准体系可分为基础类数据标准和指标类数据标准。
图62数据标准体系划分
6.1.3.2. 数据标准内容制订
数据标准内容制订根据数据标准体系分类要求分别给出数据标准制订规范要求。
1、基础类数据标准
基础类数据标准是经过多种业务处理产生或各类渠道采集基础性数据,在全国范围内必需是唯一定义,如“用户品牌”、“归属地市”。基础类数据标准分为行业参考模型实体标准和公共代码标准。
行业参考模型实体标准指根据行业需求和中国移动省级数据逻辑模型实体规范要求,继承以往数据逻辑模型实体规范,将各域逻辑模型实体定义抽象为模型实体标准要求。行业参考模型实体数据标准体系定义内容如Error! Reference source not f
展开阅读全文