大数据治理解决方案共页.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,大数据治理解决方案,如何实现有效的数据治理？数据治理要素,从事数据管理决策、,规划、实施、管理、,监控的团队的工作团,队人员及组织结构,组织架构,数据治理过程中必,须遵守的相关政策,与规章制度，以及,从事数据治理规划,、实施、管理、监,控的团队之间协同,工作、报告、评估,流程,基于数据治理平台,的实施包括数据治,理的相关数据范围,确定、梳理，以及,数据的初始化及持,续更新,平台实施,制度流程,为顺利从事数据治理,工作而必须准备的支,持环境、包括软硬件,环境、系统环境、数,据字典、元数据等,平台功能,2,如何实现有效的数据治理？数据治理建设思路,组织架构,制度流程,平台功能,平台实施,3,组织架构,高层领导办公会,1,数据治理管理委员会,2,委员会主任,业务主管,技术主管,工作组,部门1,3,部门N,3,数据治理小组,3,系统A数据所有者,系统X数据所有者,元数据管理员,系统B数据所有者,系统Y数据所有者,数据质量管理员,数据标准管理员,4,系统开发,数据经理1,数据经理2,数据经理M,5,系统运维,数据保管者1,数据保管者2,数据保管者M,4,数据治理建设思路,组织架构,制度流程,平台功能,平台实施,5,数据管理（管控）思路：基于数标的全流程数据管理,数据质量模块,映射匹配检查,元数据完整承诺,检核方法检查,导出报表,系统集成测,数标存在映射检查,试,检核任务检查,需求中修,退回通知,审批退回,N,检核方法检查,需求中增,改标准,数标需求关闭,全部测试通过,测试管理,系统集成测试完成后,用户验收测试,加标准,N,N,审批通过通,数标,需求数据,更新,检核任务检查,标准查询选择,需求首次,生成,需求,需求暂存框,（退回修改需求）,提交,审批,审批判断,（初审）,审批判断,（复审）,Y,知,开放查询,开发完成后,引用,Y,数标需求关联,元数据模,导入,数标需求查,数据和映射块，录入元,需求中删除标准,业务主动,申请退回,询,OA形成行内,需求格式，引用数管需求编号,修改通知,IT申请修改,IT开发,6,数据质量流程,数据标准,告需生成检核系统检查、报,邀请专家提供意见,度量规则修改,度量规则删除,导出报表,模块,标准批量方法计划,生成度量规则,度量规则暂,存池（含退回）,初审,Y,复审,Y,审批通过通知提出人,修订通知使用度量规则的检核任务编写人员,度量,规则数据,标准,N,度量规则查询,单项添加度量规则,新增,N,审批退回,N,修改,N,删除退回,N,修订退回通,知,退回通知,级联停用,启用通知,检核方法启用,导出报表,通知具体编,申请退回通,知,映射信息,元数据,需求生成检核计划,检核方法完成通知,检核方法审批,检核方法审批通知,检核方法,写人员,检核方法,编写申请,检核方法查询,检核方法数据,编写超时预警,编写,检核方法分配,存量生成检核计划,检核方法修改,检核方法停用,申请修改编写人,通知检核方法IT编写,手工录入检核计划,级联停用,检核任务,检核任务删除,检核任务,检核任务,默认预警级别定义,停用,修改,启用,检核方法生成检核任务,制定预警级别,设置执行时间（周期）,选择执行系统,检核任务待执行池,任务超时预警,检核执行,生成sql,通知IT执行,源系统执行,生成结果导入,结果反馈其他模块,执行结果分析,反馈,结果检核,通知具体编写人员,存在质量问题,导出质量问题报表,导出报表,IT任务分,配,主动录入质量问题,质量问题,生成报告,数据质量明细报告,数据质量评分,选择质量问题主管部门,质量问题级别判断,Y问题关闭,数据质量仪表盘,通知检核方法IT修改,通知主管业务部门,N,反馈问题,信息中心审批,度量规则,检核任务,修改检核方法,申请主动关闭,信息中心审批,判断是否质量问题,确认质量问题,及改进计填写问题情况说明划,数据质量提升需求,提交问题提升方案报告,7,元数据管理流程,Y要求停用映射,映射管理,判断是否为长度、字段类型,N,IT审批,元数据删除,Y要求先删除,判断是否,存在映射,Y要求停用映射,元数据单项修改,修改技元,业务确认是否修改,Y,映射修改,信息中心审批,依赖对象,修改类型,是否存在,应用场景,Y,映射,N,N,修改成,功,N,版本更新通知,元数据批量,判断,修改业元,IT审批,N,删除失败通知,IT审批,映射管理,元数据版本管理,导入,修改映射,修改场景,IT审批,业务确认是否修改,Y,映射修,改,信息中心,映射管理,映射,审批,元数据变更,导入失败通知,修改失败通知,（左上所有审批失败后）,查询,N,元数据版本查询,元数据结构修订,增量元数据,导入技术元数据和业务元数据仅导入技术元数据IT审批,N,N,导入,血缘分析,元数据录入确认,导入类型判断,导入技术元数据、业务元数据和应用场景NN,IT审批,Y,业务审核,Y,存在潜在判断是否映射,Y,标准选择,信息中心审批,过程映射分析,单项添加,N,元数据数据,影响分析,元数据结构信息,元数据结构导入,只导入映射,关联度分析,导入技术元数据、业务元数据、应用场景、映射,IT审批,Y,业务审核,Y,判断是否需要修改,N,发布,差异分析,映射管理,映射Y,导出元数据,元数据结构,导出结构信,映射修改,信息中心审批,元数据查询,查询,息,8,数据治理建设思路,组织架构,制度流程,平台功能,平台实施,9,数据治理统一架构逻辑架构,数据治理流程管理,接口,权限,集,成,应,用,元数据应用,数据质量应用,数据标准应用,辅助业务应用,数据质量监控,数据标准分析,数,据访,问,辅助开发运维,数据质量分析,元数据管理,数据质量管理,数据标准管理,分析,服,务,元数据管理功能,检核规则管理,检核任务管理,标准体系浏览,元数据技术功能,数据标准管理,功,能,检核方法管理,质量问题管理,二,次,开发,元数据分析功能,数据标准文档管理,知识库管理,信息管理,元模型管理,标准综合查询,系,统,管,理,角色管理,权限管理,参数管理,密码管理,用户管理,日志管理,配置管理,在线用户,1,0,数据治理统一架构各模块关系,数据治理,数据质量,数据标准,1.标准相关的,指标检核结果,2.度量规则、检,核指标存储到元数据,1.准信息访问提供数据标,核对象1.提供检,2.提供标,准代码,1.提出度量,规则和检核,方法,2.问题存储数据质量,3.需求数据质量,1.质量检核,结果作为质,量问题,2.工作结果质量提升,2.标准代码匹配系统代码与,情况,3.数据标准执,行情况,数据标准,存储到元数据,数据标准,执行情况,1.准定义提供数据标,2.更数据标准变,元数据,报表需,求存储,1.访问报表需求,影响分1.采集模型,2.报表使用,析,情况,反馈检,核结果,采集基准库、影响分元数据,对象库,2.度量,规则修改,析,采集,流程,系统,数据质量流,报表需求流,数据模型流,元数据流程,数据交换流,数据标准流,程,程,程,程,程,数据治理建设思路,组织架构,制度流程,平台功能,平台实施,12,平台实施示例元数据实施范围,技,术,元,数,据,业,务,元,数,据,物理模型,CWM,业务术语,元模型,元,数,据管,理,范围,ETL元数据,业务指标,Powercenter,过程元数据,ETL元数据,维度度量,shell日志,Cognos元数据,表记录数,系统信息,报表访问数,元,数据,元,数据,数,据,流,数,据,源,分析、报表工具,EDW,DM,数据挖掘工具,12、基础类数据标准、逻辑模型（ERWin）,度量规则和检核方法建立映射关系,凡是引用数据标准字典的模型，以客户名称为例，其字段中文描述必须是,1)系统、库、1)数据交换,电力购销、资产全寿命周期、供电服务、产业发展、金融领域等全流程,案例2：数据问题流程化的闭环处理机制,元数据管理是整个数据管控实施的,数据管理与应用整体框,应用场景-系统升级影响定位,(Web/App/),凡是引用数据标准字典的模型，以客户名称为例，其字段长度不能大于32位。,2普元数据管理体系框架,7普元数据管理总体解决方案数据共享发布管理,dataStage采集,字段间关系）、基础指标和复,平台实施示例数据质量检核实施,数据的检核过程,2,检核类别确定,1检核需求提出,22,3,5,ETLServer,制定度量规则模板,4制定检核方法模板,征集度量规则,根据模板填写度量规则内容,度量规则和检核方法建立映射关系,6收集检核方法内容,数,据,质,量,系,统,根据模板填写检核方法内容,数,据,仓,库,平,台,公共检核组件,7检核方法审核,将收集的检核模板文件导入质量系统,审核不通过，反馈，修改,8,生成检核脚本,检核任务调度,9,依赖其他作业,11生成检核任务,10,作业触发,执行检核组件,12,质量系统调度作业,仓库依赖作业,13生成检核结果,14检核结果问题汇总,16,15,21问题知识库,20检核结果问题总结,19问题数据分析,数据质量多角度分析报告,检核结果分析,17,18,问题数据治理流程,仓库内数据治理,仓库外源数据协调治理,启动问题处理流程,平台外交互线,15,平台内交互线,普元数据治理平台,数据管控流程管理,接口,权限,集,成,应,用,元数据应用,数据质量应用,数据标准应用,辅助业务应用,数据质量监控,标准执行监控,数据,访,问,辅助开发运维,数据质量改进,辅助标准执行,元数据管理,数据质量管理,数据标准管理,分析,服,务,元数据基础管理,检核指标管理,质量问题管理,标准体系浏览,功,能,元数据分析服务,检核执行调度,知识库管理,标准综合查询,二次,开,发,元数据采集,数据标准管理,数据探查,元模型管理,数据标准采集,系,统,管,理,角色管理,权限管理,参数管理,密码管理,用户管理,日志管理,配置管理,在线用户,16,16,普元数据治理平台组成和相互关系,数据管控平台,数据质量,数据标准,1.提供检,核对象,2.准代码提供标,1.标准相关的,指标检核结果,2.检核指标存储度量规则、,到元数据,1.准信息访问提供数据标,2.系统代码与,标准代码匹,配情况,3.行情况数据标准执,数据标准,存储到元,数据,1.提出度量,核方法规则和检,2.数据质量,问题存储3.数据质量,需求,1.质量检核,质量问题结果作为,2.质量提升,工作结果,数据标准,执行情况,1.提供数据,标准定义2.数据标准,变更,元数据,报表需,求存储,1.求访问报表需,2.报表使,用情况,反馈检,核结果,采集基准,库、对象,库,系流,统程,数据质量流程,报表需求流程,元数据流程,数据标准流程,17,数据治理的核心要素元数据管理,元数据管理是整个数据管控实施的,核心要素之一，是数据管控的核心,基础设施,18,应用场景-从全局了解企业数据资产,需求场景,难以了解企业中数据的全貌，也难以了解系统间数据关系,处理方案,通过自动化采集，自动分析数据关系，形成数据全貌地图,19,应用场景-系统升级影响定位,应用场景,因国际业务系统升级，在“ACCT_MASTER”表中修改字段：非贸交易类型,NONTRADE_TYPE_NORE，长度由2修改为10，需要定位本次升级对后续相关系统的影响,处理方案,对元数据“非贸交易类型NONTRADE_TYPE_NORE”进行影响分析，发现对下游的,II,ODM,SDM,FDM都有影响，IT部门定位到影响之后修改相应程序，有利于快速锁定影响提高,效率和质量,业务系统升级,IT部门对相关元数据,解决问题消除升级,进行影响分析,影响,修改字段长度，可能会导,借助元数据管理系统的影,响分析功能分析对下游的,通过定位影响并做相应修,改，达到消除影响的效果,致对后续系统产生影响,影响,20,应用场景-辅助报表问题定位,应用场景,某客户经理发现“产品营销分析”报表数据存在质量问题,处理方案,客户经理向IT部门提出异议，技术人员通过元数据平台血统分析发现“产品营销分,析”受到上游FDMEDM_CRM等各层的影响，从而定位问题的源头，有利于快速,低成本解决问题,客户经理提出异,IT部门核查问题,基于问题定位解决报,议,表数据问题,报表数据存在质量问题,通过元数据管理系统对问,题报表进行血统分析，发,IT人员通过血统分析定位,可能的问题路径，分析程,序解决报表数据问题,现与其相关的上游元数据,21,应用场景-元数据辅助开发运维,数,据,情,况,宏观系统数据库（上游）,数据ETL处理,数据仓库（下游）,ETL,4.通过执行DDL更,新下游库表,DDL,应,用,过,程,3.建议确定下游库表的设计人员根据变更,变更并可从系统中导,出DDL脚本,1.监测上游库,表变化,元数据管理系统,2.1、发现变化后,及时将变化情况通,知相关人员,2.2.利用影响分析功能，锁定变化影,响的下游库表，依据ETL策略，系统,给出下游库表变更建议。,模型/ETL设计人员,应用场景-基于元数据的模型设计示例,需求场景,某表）、“IT部门负责人在检查审核多个系统设计时，发现各系统设计时没有统一设计规范，如各系统对字段“用户USER_ID”（用户信息表）等形式，另外，各系统之间的设计复用程度非常低，如多个系统都有账户表，但设计形式却各不相同ID”取英文名有“USERID”（按户审批权限,处理方案,建立企业级元数据管理制度，对数据标准的公共代码，对共性的技术元数据模型化组织、规则标准化，这些元数据统一存储到元数据管理系统，为设计人员设计过程提供支持，对设计人员的产出物进行审计,统之间没有统一设计规IT部门负责人发现多系,建立企业级元数据管理,解决设计不规范及共享,范及复用,制度,度低问题,各系统设计时没有统一设计规范或遵循度低,各系统之间的设计复用程度非,数据标准的公共代码、共性的技术元数据标准化到元数据系,通过元数据管理系统的规范化查询服务提高设计标准化程度，为数据,统并提供查询服务,集成及系统间信息共享奠定基础,常低,对设计产出物建立元数据审计制度,确保设计产出物的质量通过元数据管理系统的规范化审计,24,平台功能,辅助业务应用,接口服务,应,用,代码管理,辅助EDW开发,数据访问,分析服务,权限集成,二次开发,元数据基础管理,元数据分析服务,元数据维护,元数据检索,元数据统计,影响分析,血统分析,元数据导出,版本管理,变更管理,全链路分析,视图管理,数据地图,差异分析,功,能,元数据采集管理,采集模板管理,采集适配器管理,元数据关系管理,元数据入库管理,采集,适,配器,注释采集,dataStage采集,DB数据字典,DB数据记录,DB数据字典DDL,cognos10,Powercenter9,ERWin7.3,Excel模板,Perl日志,PowerDesigner,元模型管理,管理系统,角色管理,配置管理,参数管理,系统缓存管理,2,6,案例效果：数据地图,数据管控的首要目的数据质量管理,29,数据质量产品逻辑架构,应用,层,数据质量剖析,数据质量监控,数据质量需求,数据质量监控,数据质量分析,数据质量报告,问题处理,业务检核需求,技术检核需求,度量规则配置,单表问题分析,报告生成,报告查询,报告发布,问题划分,功,能,层,检核方法配置,启动处理流程,清洗校正反馈,监控管理,告警管理,趋势分析,影响分析,血统分析,权限管理,知识库管理,系统配置,知识生成,知识应用,数据质量规则库,数据质量检核信息库,存,储,层,度量规则库,异常数据信息库,汇总数据信息,明细数据信息,数据质量知识库,考核指标库,告警数据信息库,获,取,层,文件日志,系统日志,执行脚本结果集,数据库,基于元数据的数据监控及问题管理特性,根据规则分析机制制定,规则，基于规则监控数,推送数据质量问题给责任人，,发起数据处理流程，问题处,据状况，提供数据告警,和分析报告,理方案纳入问题知识库，提,供问题解决参考,数据质量监控,问题处理及知,识库管理,元数据管理,提供IT系统统一视图，为问题分析提供支,撑，圈定影响范围，明确数据质量影响。,规则库的管理统一展现数据质量执行程度。,数据质量核心功能清单,基于数据剖析的自动化规则分析功能,度量规则管理功能,检核方法管理功能,数,据,采,集,功,能,检核执行管理功能,数据质量监控功能,数据质量报告管理功能,数据质量问题处理功能,33,数据管控体系建设策略,支持,环境,人文环境,技术平台,组织,架构,角色和技能岗位和分工,负责和汇报,数据管控从来都不是一个简单,的技术工具或一个实施项目，,而是一个系统工程，一般采取,咨询实施技术平台的方式,加以建设，最终是将数据管控,的思想融入到企业文化之中，,成为全体人员的行为准则和工,作习惯,策略,方法,原则,标准和指导,方法和技术实施策略,处理,流程,功能分解与工作流程,阶段、任务和步骤,前提条件和依赖关系,规章,制度,纲领原则,制度,2.2普元数据管理体系框架,以元数据管理为核心，以数据的事前、事中和事后管理为步骤，构建以一个份采集、一份,存储、一份管理为思路的企业级数据流程化管控平台。,数据,定义,数据,创建,数据,数据全生命管理,应用,数据,存储,数据,共享,数据标准建立,数据质量监控,元数据管理,数据处理监控,数据共享发布,以数标为指导，以核心系统为参考，制定企业,级数据字典，规范技术落标，确定数据技术属,性质量检核依据；,以数标技术规范为依据，实现数据规范化检核规,则；以落标映射为依托，实现数据质量自动化质,量校验；,以企业数据字典为基础，提供业务、技术模型设,计平台，实现企业元素据的事前管理，以审批,流为约束，实现规范管控；,采集各调度工具操作元数据信息，实现企业数,据抽取、加工、装载数据处理的监控，实现企,业数据流和调度流的立体化管理；,实现统一的数据服务发布和开放，实现数据自,助化、即席化、异构透明化、高效率、安全、,可管控的数据集约化管理；,普元数据管理平台,数据管理保障体系（组织、制度、管理流程）,2.2普元数据管理体系框架各模块间关系,数据质量,数据调度监控,数据共享发布,过程数据质量监控,发布数据质量监控,元,数,数,据,质,量,监,控,数据规范,数据审核,据,应,用,元,数,据,管,控,标准执行监控,数据标准,业务元数据,映射,技术元数据,元数据管理,2.3普元数据管理总体解决方案数据标准管理,数据标准管理,标准体系概览,标准综合查询,数据标准管理,基础,类标,分析,类标,主题,数据,模型,数据,标准,发布,数据,标准,变更,标准需求管理,业务元,数据、,设计元,数据存,准,准,标准变更流程,制定、评审、发布,标准执行,储,数据标准执行体系,业务技术元数据,业务元数据设计,度量规则制定,映射,标准变更,业务元数据对标,技术元数据规则,标准落地报告,标准复审,制定,财务数据标准,客户数据标准,协议数据标准,.数据标准,2.3.1数据标准管理基于元数据的数据标准管理,元数据采集数据标准业务、技术元数据，通过系统的方式支持数据标准的试用，梳理制定数标,的元数据约束和质量约束。,数据管控平台,业务,标准展现,标准查询,标准维护,标准发布,数据标准平台,标信信信,序号类准大息小息息,使用信,需求别,部门,信息项描述,/息类长度字段名称类型字段约束相关,别类类项,支,持,客描述银行为统一管理，根据既定营,户规则生成并分配运,文户号客.custome_Varc32,1,元数据管理平台,客名称给客户的唯一编码，在全行内具中心,本长度nameher,数标业务,数标技术,元模型,标基本户管客有唯一性记录负责该客户。,2准信理户的客户经理员工,员,数据,数据,代工编,码号长度.,息信息经理编号客户管理职责。,承担相应的,元数据约束规则,数标质量检验规则,元数据存储,主记录主办该客户,办分业务的分行信息，编号构编号.,行填写机构代码。,机,3,长度,模型设,计平台,数据调度,监控平台,数据质,量平台,数据共享,发布平台,2.3.2数据标准管理方案企业级数据字典制定,以基础类数据标准为指导，以关键系统数据模型为参考，梳理制定企业级数据字典（逻辑模型、,物理模型），进而规范、推动标准落地；建立元数据和数据的质量规范化校验依据。,序号,标准类信息大类信息小,信息项,信息项描述,业务使用/需求部,信息类别,长度,别,类,门,1,客户名称,描述银行为统一管理在全行内具有唯一性。，根据既定规则生成并分配给客户的唯一编码，营运中心,文本,客户号.长度,2,标准,基本信息客户管理信息客户经理,记录负责该客户的客户经理员工编号,承担相应的客户管理职责。,编号,员工编号.长度,3,主办分行记录主办该客户业务的分行信息，填写机构代码。,编号,机构编号.长度,以关键系统物理模型为基础，,梳理标准体系内相符的信息,项技术属性，结合标准信息,类别、长度等综合评定指标，,确定企业级数据字典，制定,出字段业务名称、字段英文,名称、字段类型、字段长度、,元数据约束规范、数据约束,规范。,企业级,客户名称数据字典,制定过程,客户名称,CRM系统,custome,customer_name,_name,varchar(32),varchar(32),核心系统,varchar(16)user_name,元数据约束,数据约束,落标约束,信贷系统,userNa,nvarchar(10),2.3.3数据标准管理方案数据标准执行监控,以企业级数据字典为依据，制定元数据元数据检核规范、制定数据质量检核和监控规则、制定,数据标准引用约束规范。支撑数据管控的落实。,元数据采集,元数,据约,凡是引用数据标准字典的模型，以客户名称为例，其字段中文描述必须是,客户名称,束,“客户名称”，字段名称必须是“custome_name”,字段类型必须是,custome,“varchar”，长度必须是“32”，精度必须是“X”，,_name,varchar(32),数据,约束,元数据约束,凡是引用数据标准字典的模型，以客户名称为例，其字段长度不能大于32位。,数据约束,落标约束,落标,约束,凡是引用数据标准字典的模型，都会记录系统模型和企业数据字典的引用,关系。,2.4普元数据管理总体解决方案数据质量管理,数据质量管理,规则体系,数据质量监督检查,问题处理,数据,标准,度量规则,元数,据检,核规,业务,数据,检核,规则,业务,源系,数据平台,数据,应用,汇总问题,ODS,明细问题,过程元,数据、,管理元,数据存,统,EDW,共享发布,系统-,则,DM,反馈机制,检核类别,检核方法,数据ETL调度环节,知识库,储,考核评价体系,业务驱动良好标准基本框架,企业数字化运营要求,2.4.1数据质量管理数据质量管理流程化,业务元数,度量规则,数据检核,错误数据,问题处理,据检核,实例化,分析,1.新建系统,2.已有系统,数据标准,检核任务制,业务，科技,紧急修正处,定,分析问题,理,业务元数据,七大质量维,数据检核,1.字段问题,2.报表问题,存量数据修,梳理,度定规则（共性）,正,业务元数,七大质量维,流程驱动,问题整改,增量优化数,据对标,度定规则（个性）,反馈业务,部门质量,据修正,（1.单字,段对标；,2.存量对,1.紧急质量,问题,问题处理,流程（非,常态数据,业务，技术,1.汇总报表,2.明细报表,标；,元数据映射,3.需求对,为基础,流程落实）质量管理,标）,2.存量数,据质量修正流程,3.增量优,化质量处理流程,检核规则实,例化,2.4.2数据质量管理规则实现自动化,采用模板配置和页面参数配置方式输入检核规则，通过系统内置SQL引擎，实现检核脚本自动化生成。,降低业务规则转化为技术实现的成本，提高业务规则的实现效率。,定时调,度,参数化配置,SQLEngine,T01）基础类检核规则,B01空值检核,B02码值检核,B03非法值检核,B04主键重复检核,B05主外键检核,B06主外键检核,B07记录数检核,模板直接导入,T02）复杂业务检核规则,C01业务逻辑Sql,C02存储过程,2.4.2数据质量管理数据标准执行检核规则,全流程信贷,中小企业信贷,核心系统,CRM系统,.,产品主题,客户主题,资产主题,公共代码,营销主题,数据标准模块,财务标准,交易标准,协议标准,渠道主题,数据管理系统,产品种类正确性,产品种类完整性,表外产品一致性,客户类别完整性,客户是否金融机构完整性,客户是否金融机构与金融机构类型一致性,客户金融机构类型与金融机构许可证代码一致性,企业出资人经济成分完整性,债权性质分类完整性,合同状态正确性,数据标准检核涉及物理模型,2.5普元数据管理总体解决方案元数据管理,元数据管理是贯穿于数据整个生命周期。通过事前、事中和事后三个步骤实现对数据整个生命周期全方,位管理。,事前预防,数据定义阶段,将各领域数据,管理要求融入,到系统研发当,D01)建立企业数据字典。结合企业内数据标准梳理出业务术语与技术要素之间,的关系，并通过元数据平台进行管理。,D02)通过数据模型工具，实现企业数据字典指导物理模型设计。,D03)数据接口定义，数据交换需求审批,D04)数据模型变更审批,中,企业级元,事中监测,数据创建阶段,数据存储阶段,数据共享阶段,数据应用阶段,数据归档阶段,数据管理,1）数据标准,落地（业务,标准落地；,技术标准落地）,2）元数据质,量检核规则,1)系统、库、1)数据交换,表、字段、,字段业务含,集义元数据采,2)硬件、软,件信息等,1)报表、维,度,2)指标（基,础类指标、,衍生类指标）,1)系统、库、,表、字段、,字段业务含,义元数据采,集,在日常业务开,展和IT运维发,接口（批量、,ESB实时）,2)ETL息作业信,3)作业运行,日志,（三步骤、,现问题跟踪治,理,六阶段）,事后评估,对系统的元数据质量、数据分布、数据生命周期、数据服务时效等状况进行,定期对系统进,行评估和整改,全面评估，建立元数据质量、元数据变更影响、数据标准落地评估指标。,2.5.1元数据管理元数据管理范围划分,将数据生命周期划分为数据定义阶段、数据存储、数据加载转换以及数据应用、数据归档阶段。下图从,元数据类型角度说明了每个阶段管理的元数据范围。,2.5.2元数据管理数据模型管理（事前）,系统设计（设计态）,系统测试（上线前）,生产环境（运行态）,新,数标落地自动校验,1）一致性校验；,2）元数据质量校验；,数据字典发布,建,系,统,导出建库脚本,模型设计服务,辅助系统上线,数据管理提供统一的建模计工具,数据管理与开发平台结合,模型变更服务,一致性校验,模板变更发布,存,量,系,统,导出变更脚本,辅助系统运维,数据库表逆向数据模型,元数据采集适配器,存量系统物理库表,2.5.3元数据管理方案元数据采集机制（事中）,与第三方调度工具有效集成，保证元数据采集的实时性、安全性。通过元数据系统内部元数据质量,检核功能，保证元数据采集准确性。,业务元数据,元数据采集器（Extractor）,12、基础类数据标准、逻辑模型（ERWin）,3、报表、指标、维度,45、业务术语等、。,DB（Teradata、oracle、,SQLSERVERNetezza、AS400、DB2）、GP、,SQL解析(Teradata、,Oracle、DB2),元,数,据,管,理,系,统,技术元数据,Xml、xls批量元数据导,入,元数,据比,对分,1、DB对象（库、,表、字段、视图,等）；2、ESB交换接口,3、数据加工关系,4、。,数,据,源,管,理,EXCEL批量元数据导入,析/增,量和,全量,入库,ETL(Powercenter、,DataStage),操作元数据,1志、ETL作业运行日,2、作业间关系,3、。,分析类应用（Cognos、,Microstrategy）,采集作业/采集调度,独立客户端（InstallAnywhere）,与第三方调度集成,元数据采集与ETL同步,2.6普元数据管理总体解决方案数据处理监控,元数据管理,ETL调度监控（操作元数据）,运行监控,性能分析,作业流分析,作业告警,元数据采集器（Extractor）,数据记录采集,Powercenter采集,DataStage采集,模板采集适配器,Perl脚本采集,第三,方,工,具,开放,接,口,文件,监控,数据,监控,资源,监控,运行,监控,运行,干预,性能,调,度,监,控,系,统,分析,数,据,库,直连,计划,调度,事件,调度,手工,触发,消息,推送,JOB,JOB,JOB,JOB,ETLJOB,DataEx,作业,基础,平台,WebService,Perl,SHEL,其他,JAVA,ETL工具,L,2.6.1数据处理监控全过程监控,项目背景,问题处理/跟踪,评估和整改,F01)短信/,邮件通知,F02)严重问,题告警,F03)问题,处理跟踪,F01)ETL调度执,行指标体系,F02)ETL务时效考核作业服,问题发现与分析,F01)误作业统计跨系统错,F02)跨系统作,业影响分析,F03)跨系统数,据影响分析,F04)执行及,时性分析,F05)作业错误,原因统计分析,3,全局调度监控整合,操作元,数据,1,ETL调度作业采集；,2,ETL运行日志采集,ETL,业务系统间接口,业务系统与ODS接口,EDW各层接口,数据应用,调度,作业,来源,ODS,2.7普元数据管理总体解决方案数据共享发布管理,作为内部应用与数据中心、对外部提供数据的主要甚至唯一的标准化出口，以数据服务化的形,式提供高可用、可管控、快捷的数据开放共享服务。,数据应用层,数据可视化,数据服务层,数,据,运,营,管,理,数据共享发布,数据,治理,数据整合层,数据计算层,业务,活动,监控,流数据,大数据存储/分析/挖掘,处理,（Hadoop、MPP-DB、BDM）,(引擎),数据存储层,数据收集层,统一数据采集,2.7.1数据共享发布管理统一数据服务,1.实现统一的安全的数据服,内部应用,外部创新应用,(业务/管理/支持),(Web/App/),务发布和开放,2.实现多种类型数据源与目,标服务形式的灵活转换,【数据共享发布】,(自助化、即席化、异构透明化、高效率、安全、可管控、,目标,),3.实现对数据服务的监控、,统计分析和计量,多源异构数据共享来源,4.提供受控的数据加工处理,(应用DB、MPP-DB、OLTP池、主数据库、非结构化、),环境激发应用创新,2.7.1数据共享发布管理典型应用场景,数据访问可被监控,基于元数据的服务开发,内存网格实现高性能,数据访问可被审计,业务化配置化的服务开发,分布式集群实现高可用,数据质量可被分析,即席配置即时发布,异步文件传输保障高可用,等等,等等,等等,安全可控的数据访问,自助即席的数据服务开发,高效高可用的数据访问,【数据共享发布】,(自助化、即席化、异构透明化、高效率、安全、可管控、),案例2：国家电网大数据中心数据治理,2012年，国家电网公司总部和省（区、市）公司两级运营监测（控）,中心正式启动建设。运营监测（控）中心实现对国家电网公司经营管理,全天候即时在线监测分析，实现对规划、建设、运行、检修、营销、人,资、财务、物资等业务全方位监测分析，实现对计划预算、资金收支、,电力购销、资产全寿命周期、供电服务、产业发展、金融领域等全流程,监测分析。,2013年运营监测中心在运行中，各省分公司与总部的数据存在数据质,量问题。国家电网总部再2013年底开始启动对整个国家电网公司各省,分公司的数据质量考核。,案例2：全局了解数据资产情况,点：,线：,面：,系统信息、数据库信息、区域,信息、文件信息、报表信息、,表信息、字段信息、维度信息、,系统间关系信息、数据库间关,基于数据关系的系统组织,信息,系、ETL加工关系（表间关系、,字段间关系）、基础指标和复,杂指标的关系、指标和指标主,指标信息、,题的关系,案例2：快速定位数据问题,基建管理信息,系统的推送指,ID_IDX_BUILD,ID_ONEIDX_B,重大风险作业数指,_INCE,UILD,标,标表,快速问题定位,ODS_WEBSERVICE_JJGK.ID_IDX_BUILD_INCE（基建管理信息系统的推送指标表）,-ODS_YYJC_BUF.ID_IDX_BUILD_INCE（ODS缓冲区的指标接收表）,-CALC_OWNER.ID_IDX_BUILD_INCE（数据中心计算区的指标表）,-SG_ALARM.ID_ALARMIDX_DAY（数据中心预警区的预警表）,-SG_ODS.ID_ONEIDX_BUILD（数据中心统一视图区的指标推送表）,-VISU.Z_VISU_DATA_BUILD（大屏的指标视图）,案例2：数据资产分析业务变更影响,管理视角,管理子视角,指标,数据,管理视角,电网供电水平,资产全寿命物资集约化,电网供电水平,管,理视,角库,供电资产,指标,安全,环保,成本,最优,产品,质量,服务,水平,管理子视角,能力,效能,E,供电,SEC,供电效能指,资产效能指,EMPD,指标库,M,系统等效利用,可靠性频率,电网事故,人身事故,运输成本,仓储成本,标,标,合格率电压合格率,事故设备,故障处置成本,资产投资,报废成本,P,检修成本,运维成本,D,备数量退役设,设备可用系数,退役设备缺陷数,业务变更影响,资产效,能指标,资产效,能指标,资产效,能指标,重大风,险作业,数指标,电网供电水平,管理视角指标,-,供电效能、资产效能,管理子视角指标,-,供电可靠性、系统等效性、频率合格率、,电压合格率，,业务视角,案例2：综合分析寻找数据质量问题,电网供电水平,指标,业,务,影,响,维,度,分,析,资产效能,供电效能,指标,指标,重大风险作业数指,资产效,能指标,资产效,能指标,资产效,能指标,标,数据加工维度分析,数,据,质,量,监,控,基建管理信息,系统的推送指,ID_IDX_BUILD,ID_ONEIDX_B,_INCE,UILD,标表,及时性准确性完整性,ETL过程质量监控,检核,案例2：数据问题流程化的闭环处理机制,1、基于模板的,规则定义，量化,处理，减少人力,2、订阅式的通,知机制,问题发现,3、技术问题,指标计算率不高，通过资产管理血统分析，,定位，如供电量0，发生异常，快速定,位出供电量指标加工血脉，分析出供电量,加工环节，达到快速定位问题的目的。,数据质量通报,评价,问题定位,问题知识库,问题处理,4、基于元数据认责管理的问题处理支撑,数据管理与应用框架体系,1.数据标准,2.数据管控,3.数据应用支持,4.数据应用,数据管理制度与流程体系,数据标准设计,数据质量管理,数据模型管理,接口管理,统一报表管理,数据服务管理,补录数据管理,管,理,度维,数据标准维护,数据平台调度与监控管ODS优化与持续建设,数据标准应用,元数据管理,主数据管理,理,ETL设计管理,IT系统建设需求管理,数据安全/审计/权限管理,数据平台安全管理,业务流程优化管理,外部数据管理,数据归档管理,数据平台数据变更管理,(数据质量相关业务流程),数据集市/仓库管理,数据库统一管理,1,数据管理系统-标准模块,数据管理系统质量模块,ODS,2,业务生产系统,技,术,维度,数据管理系统元数据模块,数据仓库,管理分析系统,主数据管理系统,数据集市,数据接口,内部监管系统,统一授权管理系统,数据安全管理工具,数据平台监控与调度系统,外部报送系统,数据归档系统,统一数据库监控系统,数据管理框架的设计原则,全面覆盖,尽量精简,确保执行,数据管理与应用整体框,架涵盖了数据在我行的,对相似度较高的管理要,求进行充分整合，避免,通过管理流程对管理办,法的执行提供明确指导，,通过技术规范对管理流,程的执行提供明确的技,术规范，从多个层面将,管理要求层层分解并逐,级对上形成支撑，从而,确保数据管理制度与流,程体系的可执行性,产生和应用的总体流程，,包含的内容较多，相应,的数据管理制度与流程,体系必须确保能够全面,覆盖整体框架的所有