2022年集团企业大数据分析数据治理平台建设方案.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,2,0,1,9,集团企业大数据分析数,据治理平台建设方案,XXX集团数据分析综合服务平台,XXX集团,上下游产业,政府部门,大数据决策中心,能源云综合服务中心,能源云监管中心,大数据分析应用,辅助决策支持,行业分析服务,金融机构,数据开放服务,能源统计与能效分析,产业发展布局,生产监控指挥,专业领域服务,用户评价/用户画像,能源交易服务,工业宏观调控,减排,输电,成本数据,交易结算上网,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,经济能源数据电量,互联,网数据,相关,环境数据,集团云,企业,部门数据,数据中心,上网电量,计算,法人,数据,地理,信息数据,生产,系统,上网量,用能,数据,财务,系统,企业内部,数据,手工填报,资金,SIS,大数据治理概述,某行数据现状及问题,目录,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,大数据治理阶段目标,成效和特点,数据管理系统建设情况,第一,部分,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,大数据治理概述,集团大数据应用四步法,集团大数据应用之路,数据梳,理,数据汇,聚,互联互,通,数据利,用,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,第一步,第二步,第三步,第四步,建立数据资源目录全,集，理清组织数据家,底，理清数据之间的,关系,借助数据交换平台，,以物理+逻辑的混合,汇聚模式形成组织大,数据中心,借助语义表述与语,义关联等技术，实,现各类数据融合联,通,借助大数据分析平台,实现数据共享、开放、,引导全员发掘数据应,用价值,集团大数据应用之数据梳理,现状分析,价值能力蓝图,信息架构,应用现状分析,业务战略,企业数据架构,数据现状分析,价值能力愿景,数据资源规划,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,技术现状分析,BIO,支撑系统改进建议,最佳实践,企业现状图,分析价值能力图,数据支持能力图,集团大数据应用之数据汇聚数据标准化,导入工作台,数据辨识与匹配,数据源历史,整合记录,标准化,匹配与去重,补充,验证,汇集,清洗,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,浪潮,MDM,访问与搜索,发布与订阅,传送与链接,报表,发布,监管,归档与更新,变更管理,目录资源,事件与政策,集团大数据应用之数据汇聚各类数采集,四大采集工具：,数据分析平台,企业大数据,内部数据,外部数据,经营数据：聚数IDI,设备数据：Storm,网络数据：,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,droData,SRMOA,1.经营数据,3.填报数据,HR,CRM,ERP,填报数据：直报SR,2.设备数据,4.互联网数据,大数据治理意义、作用和价值,意义,是构建完善、共享、统一管理数据环境的基本保障和重要组成部分,是把数据作为资产来管理的有效手段,作用,确定了一系列岗位角色和相应的责任及管理流程,保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,价值,企业进行大数据治理的最大驱动力来自数据质量，通过提高数据质量实现更多的业务价值,将实现业务目标作为数据管理和服务的核心驱动力，优化数据架构，提升数据仓库/信息化管理系统,建设，支持管理能力的提高、精细化和决策的科学性,大数据治理框架,数据战略,数据应用与服务,数据服务管,数据需求管理,数据服务,应用系统建,促进,理,设,实现,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,数据管理,数据架构,模型管与,数据保,留与归档,数据标准管理,元数据管理,数据质量管理,主数据管理,数据安全管理,内容管理,支撑,支撑,理,管理,保障机制,数据战略与规划,数据组织与职责,数据制度与管理流程,数据架构,数据源,数据平台,数据服务,数据应用,内部数据,贴源层,整合层,汇总层,基础,数,据平,统计,报表,数据集市,业务系统,数据结构化转换,台,数据,挖掘,数据交换平台,大,数,据,数据接口,大数据分析计算,高管驾驶,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,其他系统分布式数据库,平台,数据切分,舱,分布式文件系统,外部数据,数据调度与处理,数据传输,数据,管理,平台,互联网,数据生命周期管理,数据质量检核,物联网,元数据管理,川,l,11,11,11,1,1,数据平台建设原则,一、应用（需求）驱动主导数据平台的实现，加强业务的关注和参与,应用是展现数据总线建设效果的门户，因此需要建设业务人员最紧迫和最关注的需求和应用，让业务部门最快参与数据总线的建设当中。,二、初期能够快速见效并体现建设价值，不盲目投入,实施周期不易过长，规模不易过大，能够快速的见到数据总线带来的效果和价值。,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,三、借鉴同业的成功经验和成果，选择成熟技术架构和解决方案,尽量参考同行业、同规模、同类型企业行的建设经验，适当创新。,四、重视内部人员培养，建设配套运营制度和管理体系,前期让公司内的建设中，后期角色以管理为主，尽量与合作伙伴共同IT人员尽量更多、更深入的参与到数据总线,建设二期以上。配套的管理规范、技术规范、运营体系。,第二,部分,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,题,某行数据现状及问,数据应用现状分析-总体情况,业务职能不清晰或,相互重叠，观察数据视角不尽相同，缺少,数据标准与业务统一定义，语轨不一致,门级应用为主（如计财、IT架构中中都是以部,资金计划部等），缺乏从大的管理职能（财务、,风险、运营等）综合方面的数据整合、数据标,准和统一业务定义,行领导,贷款余额,客户信息,.,贷款余额客户信息,客户信息,客户信息,客户信息,.,.,.,.,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,业务人员,财务会计部,信贷管理部,国际业务部,资金计划部,.,X?5,67,综合报表平台,数据交换平台,综合业务系统,信贷管理,国际业务系统,债券管理系统,缺乏数据梳理，造成行领,导看到的数据相互冲突和矛盾,由于业务系统输入的随意性，,导致部分关键业务数据质量较,数据应用现状分析-数据架构方面,由于全行的数据散落在各个业务系统中，没有进行有效整合，形成竖井式架构，造成多个信息孤岛，,整体架构缺少一个稳定的、抗源变化的保存最细粒度历史数据的数据层。无法支撑未来共享性应用。,缺少一个稳定的、,竖井式架构，造成信息孤,抗源变化的数据层,业务表现,岛,其它,报表,客户,报表风险,客户,一部,报表,中间,业务报表,支付,报表,信息孤岛,数据冗余,共享性差,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,客户风险客户一部中间业务,历史数据缺失,绩效考核,客户管理,支付业务,主题层,报表应用共用主题数据,集市层,问题,汇总数据层,没有进行整合，无法,数据分散，难以管理,没有一个稳定的，抗源变,ODS层,共享，不能支持如客,户管理等共享性应用,BDS,层DEP层,化的数据层,源系统,综合业务,信贷管理,国际结算,债券核算,数据应用现状分析-数据应用难题,客户风险集市,缺少统一的应用分析标准,业务表现,我想看本期贷款,余额，看哪个呢？,期末余借据号,各集市系统指标存在重复,各集市系统在保有存量的同时，不断,主营业务收入额,负债总额。,产生新的指标（增量）,客户一部集市,用户,集市指标派生无法实现,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,借据编,我想看客户经营情况信息，有哪,指标逻辑视图（指标分类）不一致,号期末贷款余额,总资产。,些呢？,问题,重复投入,数据不一致,指标设计、口径不一致,指标难以共享,用户,资金计划部,活期存款指标数据,怎么不一致呢？,数据应用现状分析-数据应用难题,缺少统一的基础数据标准,核心贷款分户账表,业务含义一致，,名称定义不一致,业务表现,各系统存在冗余数据,各系统存在业务含义一致，名称定义不一致的属,贷款主档代码贷款余,额五级分类标志,计息方式。,数据冗余,性,各系统存在含义不一致，名称定义一致的情况,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,相同业务代码定义不一致,业务代码定义混乱,信贷管理借据表,问题,核心五级分类代码,信贷管理五级分类代码,重复投入,数据不一致、不准确,难以利用和管理,各系统数据难以共享,贷款账号,贷款余额5级分类标志,期借据计息周。,1正常,2关注,3次级（不良）,4可疑（不良）,5损失（不良）,01正常,02关注,03次级,04可疑,05损失,数据应用现状分析-数据质量方面,没有归纳并总结数据质量问题，缺少反馈机制,导致长期存在各类数据质量问题。,业务表现,指标难以共享,数据不一致、不准确,由于信贷管理系统业务人员没有填写或填写错误借据的五级,分类信息，导致报表数据不准确，需要手工补录修改,问题,部分关键业务数据缺失,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,客户号客户简称,源系统校验关系缺失及业务人员,操作随意,75682839,综合厂,不同系统相同客户号,97326762,国鑫资产,对应的客户简称不一致,客户号,客户简称,75682839,18,97326762,粮食局粮油综合,乳山市国鑫资产,数据应用现状分析-总,结,随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数,据种类不断丰富完善，数据量的不断增大，如果不采取有效手段解决,数据架构、数据标准、,数据质量,问题，随着信息化建设的深入，这些问题将像雪球一样越滚越大，越积越多。,综合报表平台,适应性升级改,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,造阶段（问题,增加为451个）,综合报表平台建,设阶段（问题,339个）,第三,部分,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,标,大数据治理阶段目,数据平台逻辑架构,源数据,数据仓库,数据应用,CBS,贴源层,整合层,汇总层,集市层,非现场报表,综合业务系统,CM2006,国际结算系统,债券管理系统,ETL,外汇资金系统,当事人,机构,客户,账户,.,非现场监管集,财会报表,CM2006,协议,事件,市,客户风险报,ETL,ETL,财会报表集市,风险报表集市,高管驾驶舱集,表,EE,当事人资产,.,报文清算系统,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,BOND,报价引擎系统,作,.,作作,市,高管驾驶舱,业调,度,业调,业调,.,切分数据,度,度,PE,数据调度与处理,数据传输,数,据管,理,系统,FES,元数据管理,MCS,数据生命周期管理,数据质量检查系统,数据平台部署架构,省行1：,总行：,新购置Web应用负载均衡器,状态线,新购置Web应用负载均衡器,心跳,三层交换机,三层交换机,数据加载程序（完善后）,省行数据库服务器,数据传输平台配置库,新购置明细报表应用服务器（6台）Weblogic 11g,ireport v4.3BIreport v3.2,新建客户风险报表应用数据切分应用（完善后）原有应用节点扩充,元数据管理应用,（188.1.6.107/188.1.6.108）已有应用服务器（2台）,ireport v4.3BIreport v3.2,中间业务报表应用客户一部报表应用,心跳,省行应用服务器,数据传输平台应用,ireport v4.3,Red Hat Enterprise Linux 5新购置数据平台ETL服务器(8台),(Advanced)MOIA4.4 agent,三层交换机,三层交换机,心跳,新购置调度服务器（1台）,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,调度平台代理节点数据平台,DataStage 8.5 EE（内置Websphere）,ETL工程,Linux server release 5.5Red Hat EnterpriseMOIA4.4 server,省行文件服务器,IBM MQ 7.0.1,DS8.5管理应用,调度平台主节点,心跳,心跳,心跳,心跳,心跳,网络,5(Advanced)新购置数据传输服务器(2台)Red Hat Enterprise Linux,IBM MQ 7.0.1Weblogic 11g,数据传输平台应用,服务器（2台）新购置数据平台数据库,Oracle11g,新购置明细报表数据库服务器（2台）Oracle11g,（188.1.6.109/188.1.6.110）MOIA4.4 agent已有ETL服务器（2台）（188.1.6.105/188.1.已有数据库服务器（2台）,数据整合层、汇总层,（188.1.6.111/已有文件服务器（2台）,农发行内网,客户风险应用数据库元数据配置库,（内置Websphere）,调度平台代理节点,DataStage 8.5 EE,平台DS8.5ETL管理应用工程（优化后）,集市物理模型数据传输平台配置库,6.106）,MOIA,Oracle10g188.1.6.112）,配置库,DS8.5资料库,省行230,SAN FC Switch,FC 阵列,SAN FC Switch,11111,数据平台项目建设目标,1、发现数据质量问题，推动大数据治理工作的开展，建立数据质量检,核系统,对源系统进行数据质量检核，发现数据质量问题并统计影响到的报表,对数据质量问题进行归类总结，分析成因和改进建议,2,、分析、梳理业务系统，推动数据标准的建立，统一全行口径,建设数据质量检核系统,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,建立基础标准和指标标准框架,3、建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的,确定标准化范围，对重要属性进行标准化,数据仓库,引进业内具有先进水平的金融数据模型，进行客户化改造后，建成符合某行,特点的数据仓库模型框架,覆盖某行主要业务系统数据，以便快速高效的为应用系统提供数据,存储历史数据，解决新报表上线才有数的问题。,标准映射智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案业务相关技术相关,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案BOND报价引擎系统作.,人员的有效沟通，制定出以,对源系统进行数据质量检核，发现数据质量问题并统计影响到的报表,1业务驱动循环数据源到,营分析我行的各类报告管理报表,务状况的典型指标口径稳定不易变化的指标,保品信息、抵质押品信息等，将这种信息进行整合和归并,灵活定制自定义检核规则，实现可视化,源系统字段长度和类型,并根据我行业务实际需求对主题进行新增和合,目标建设方法-发现数据质量问题,分析源系统表数据，从及时性、完,整性、准确性、有效性、一致性方,面对源系统数据进行数据校验，发,现并记录数据质量问题，生成数据质量问题报告,建设数据质量检核系统，对源系统基础,业务数据的进行全面的数据质量检查，,并实现重要业务数据质量的周期性动态,检查，对发现的数据质量问题生成数据,质量报告，反馈给业务部门,建设,内容,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,目标建设方法-发现数据质量问题,1,源系统分析阶段,全面分析主要源业务系统,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,工作,2数据质量问题检查阶段,阶段,根据制定的检查规则编写程序，对源系统数据进行检查,3,数据质量问题分析阶段,分析有质量问题数据对现有应用的影响；提出解决措,施,源系统分析阶段,1、工作内容,技术角度分析调研,产出物,全面分析和消化主要源业务系统,源系统表结构，包括主,2,、工作依据,重点分析核心业务系统和信贷两个系统,键、外键、唯一性约束,源系统表间关系,源系统字段长度和类型,源系统文档：,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,源系统操作手册、源业务系统,设计说明书、源系统数据字典业务角度分析调研,源系统表和字段的业,务含义源系统业务规则和流,3,、工作重点,源系统环境及调研数据,系统内：梳理业务流程、业务逻辑、业务关联、数据,程,库表和字段的设计,系统间：梳理业务关联关系、数据关联关系,数据质量检查阶段,1、工作内容,梳理和制定数据质量检查规则，定义标准模板,依据数据检查规则，编写程序，对核心业务系统、信贷,2、工作依据,管理系统的进行检查,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,系统调研和分析成果,数据质量检查规则的依据调研成果的以下内容进行梳理：,业务流程、业务逻辑,3、工作重点,数据逻辑设计,重点报表用到的表进行分析,报表数据应用,数据质量分析阶段,1、工作内容,分析有质量问题数据对现有报表应用的影响,对数据质量问题的成因进行分析和总结,2,、工作依据,对数据质量问题的解决措施进行分析和总结,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,数据质量检查结果,源数据与报表依赖关系,3、工作重点,重点分析报表平台的1104等报表存在的部分数据质,量问题,数据质量反馈系统概述,建设目标,对业务数据进行数据质量检核，准确掌握业务系统各种数据质量问题，促进基础业务数据质量的提高,建设内容,实现质量检查规则,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,的灵活定制,系统按照预定义的数据质量检查规则，对数据的准确性、有效性、关联性、一致性、及时性进行检查，,生成并保存的数据质量检查信息。,生成不同类型的数据质量检查报表，对不同的数据质量问题进行分析和展示,质量检查规则定制,数据质量检查,数据质量分析报告,架构和功,能,系统架构,系统功能,数据质量检核与反馈系统,功能分类,功能名称,功能说明,检核对象管理,对象编辑,修改导入表，修改表和字段的相关属性,检核对象管理,导入、查询、修,改、删除检查对象,调度管理,权限管,有效性,贴源层,关联性,灵活定制自定义检核规则，实现可视化,规则配置和管理,户用,理,权限,建,检核规则管理,一致性,整合层,检核规则管理,管,准确性,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,新增、删除、修立理,及时性,改检核规则,质量监控周期频度，可按日、周、月、,年等频度制定检核时间,汇总层,问题报,检查频度管理,检核频度管理,检查频度管理,制定检查周期和时间,问题,告,查询,规则查询,打包下载,.,集市层,问题管理,问题管理,对发现的数据质量问题进行进一步的描,述和分析，并划分问题归属业务分类,问题管理,维护并管理发现,的数据质量问题,报告管理,日志查,报告管理,报告管理,质量问题报告查询，并可按照部门、系,统、问题进行汇总查询,询系统管理,权限管理,管理员、操作员权限设置,检核对象配置,管理需检核的表,数据质量检查及反馈系统界面,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,数据质量管理建,议,通过逐套的解决,报表数据质量问,题，以数据标准为依据，来切实,解决基层手工修,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,定位问题，解决问中，形成数据质量,管理层面,源头负责制，谁,录入谁修改,IT系统建设层,将数据质量问题检,面,查规则固化到系统,台账，为解决数据质量问题和考核提,供依据,形成数据质量管理的机制：发现问题，,改报表的问题,题的管理流程,操作层面,数据纠错,数据平台项目建设目标,1、发现数据质量问题，推动大数据治理工作的开展，建立数据质量检,核系统,对源系统进行数据质量检核，发现数据质量问题并统计影响到的报表,对数据质量问题进行归类总结，分析成因和改进建议,2,、分析、梳理业务系统，推动数据标准的建立，统一全行口径,建设数据质量检核系统,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,建立基础标准和指标标准框架,3、建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的,确定标准化范围，对重要属性进行标准化,数据仓库,引进业内具有先进水平的金融数据模型，进行客户化改造后，建成符合某行,特点的数据仓库模型框架,覆盖某行主要业务系统数据，以便快速高效的为应用系统提供数据,存储历史数据，解决新报表上线才有数的问题。,数据标准梳理及归纳,定义,定义,对我行日常业务开展过程中所产生基础性,数据，从业务方面、技术方面、管理三个,方,面，对数据的业务表达、数据格式、数,据关系等方面进行一致约定，从而,通过对我行经营管理资料的分析，并参考,同,业的类似成果以及监管部门要求，梳理,和筛选出直接反映我行业务经营管,理,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,规范数据在全行内外共享和使用中的一致性和准确性,作用,数据标准,务状态的重要指标，并对指标的业,一和规范，明确数据的定义、格式、,规则以及数据与数据间的关系,准则,对数据的管理、应用过程进行统,梳理及归纳,含义、业务规则、统计口径等内,作用,统一全行对各项经营指标的理解和容进行标准化定义，形成全行,一,认识，促进各项经营指标在经营管理,决策中的运用；统一全行指标标准的致的指标数据标准,为系统开发实施提供全行统一的规范,业务含义、计算口径等内容，从而解决我,行取数口径不一致、业务含义不清晰、指,标分类不清晰的情况，促进部门间数据共,享,为数据加工和应用提供统一来源和依据,准,数,秋,目标建设方法-数据标准解决的问题,制定了全行统一的标准，,对于数据质量造成的数据准确,性、一致性等问题，找出造成,这些问题的原因，违背业务和,约束的数据不进入标准体系中,实现了业务数据信息统一,定义，统一命名、统一来,源,数据孤岛,数据质量,例如：在标准制定过程当中，,对于业务数据之间关联不上,的问题，首先要找出关联不,上的原因，之后通过和业务,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,取数来源不同而造成差异，通过,例如：不同部门的贷款余额由于,人员的有效沟通，制定出以,哪一类数据为准的标准，比,如信贷管理系统的贷款余额,和核心系统的贷款余额不一,致，在制定“协议金额”标,准的过程当中，必须明确以,那个系统的贷款余额为准，,且以此贷款余额制定全行标,准，从而解决此类问题。,建立完整的分析数据标准体系后，,统一了业务定义和取数口径，有,利于全行范围内重复利用，杜绝,出现各业务部门多次重复定义类,似的指标，并且因为标准的权威,性和标准的严格管理，有效防止,指标定义和口径的二义性。,举,例,目标建设方法-数据标准-建设步骤,基础数据标准,指标数据标准,标,业务含义、业务规则、业务描述、数据来源,业务定义、业务规则、业务含义、计算口径,准,定,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,义标,数据源和基础标准数据映射,数据源和分析标准数据映射,数,据,标,准,准,映,射标,基础数据标准发布执行,分析数据标准发布执行,准,执,行,目标建设方法-数据标准-建设内容,1.,现状分析,2.,标准定义,3.,标准映射,4.,执行建议,目前存在问题,业务访谈,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,对定义初稿征求意见和讨论制定源系统与标准的映射规,系统调研,结合最佳实践分析、诊断,形成标准化定义初稿和框架,确定映射的系统范围,提出标准在未来各影响面,执行的遵循原则,就标准与现状的实际差异,给出具体的执行建议,根据意见反馈和讨论结果和,修正并形成数据标准,则,根据数据验证映射规则,目标建设方法-数据标准-基础数据标准调,研,源业务系业务字,模,实体属性,整合层模型,段统,型,匹配,性实体属实体属性性实体属,实体属性实体属性性实体属,实体属性实体属性实体属性,实体属性性实体属实体属性,实体属性实体属性性实体属,题当事人主,实体属性实体属性实体属性,性实体属实体属性性实体属,性实体属实体属性性实体属,性实体属性实体属实体属性,性实体属实体属性性实体属,产品主题,协议主题,渠道主题,调研分析,整合,当事人资产主题,地址主题,事件主题,代码主题,分析调研记录,财务主题,数据质量,反馈主题,源,是,否代,业,含务,业,规务,业,务描,对,主应,对,应实,对,应属,系,名表,字段名,核心,统,客户信息,客户名称,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,否,码,xxxxx,义,xxxxx,则,xxxxx,述,xxxxx,题体性,管理信贷,信息贷款客户,名称贷款客户,否,1、名称不同，业务含义相同,xxxxxxxxxxxxxxx,xxxxx,客户,对公客户,对公客户名称,核心,账表贷款分户,贷款余额,否,xxxxx,xxxxx,xxxxx,xxxxx,管理信贷,贷款借据表,贷款余额,否,2、名称相同，业务相同,xxxxxxxxxxxxxxx,xxxxx,协议,协议金额表,贷款余额,信贷管理,信贷,台账贷款展期,贷款基本,贷款方式,是,xxxxx,xxxxxxxxxx,xxxxx,协议,信息表贷款展期,抵押方式,贷款方式,是,同3、名称相同，业务含义不相,xxxxxxxxxxxxxxx,xxxxx,协议,贷款信息,XXXX,表,贷款方式,管理,信息,XXX,XXX,XXXXX,XXX,XXXXX,X,xxxxx,xxxxx,xxxxx,xxxxx,1v,目标建设方法-数据标准-基础数据标准框架梳理,分析调研记录,源,统系,表,字,段名,是否,务业,务业,业务,对应,对应,对应,名,代,码,.,规,则,含,义,描,述,主,题,实,属,体,性,基,筛选保留,整合合并,重命名,分类,参考补充,础数,据标,准,框,架梳,理,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,标准,主题,标准,分类,中文标准,名称,英文标准,名称,业务,含义,业务,规则,业务,描述,相关,标准,标准,依据,源系,信贷管,统,理,xxxx,信贷管理,数据,类型,数据,格式,长度,xxx,xxxx,标准管,理部门,客户,协议,对共客户,xxx,贷款协议,名称客户,xxxx,xxxx,xxxx,xx,xxx,xx,xxxxx,xx,xxxxx,xxx,xxx,xxx,xxxx,协议,贷款,xxxx,xx,xxxx,xxxx,xxxxx,xx,xxxx,账户,合同余额,存款账户贷款账户,参考：,、同业标准体系框架,模型的结构与分类,目标建设方法-数据标准-基础数据标准定义及确认,整合.定义,补充.完善,业务人,员,补充.完善,技术人,员,沟通.确认,沟通.确认,业务部分,技术部分,基,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,础数,据,标准,化,方,案,代码标准方案,标准,信息标准,xxxx,类,分类标准,中文标准,标准英文,业务含义,规则业务,业务描述,标准相关,依据标准,源系统,数据类型,格式数据,长度,理部管,xxx,xxx,xx,名称,xx,名称,xx,xxx,xx,xxxxx,xx,xxxxx,xxx,xxxx,xxx,xxx,xxx,xxxx,xxx,xxxx,门,xxxx,xxxx,xxxx,xx,xxx,xx,xxxx,xx,xxxx,xxxx,xx,xxxxx,xx,xxxx,基础数据标准,目标建设方法-基础标准-制定框架,基础数,据标准框架属,性参考人民银,行标准规范文,档和他行标准，,由3部分22个,属性项组成，,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,分别为业务属,性、技术属性、,管理属性。,目标建设方法-基础标准-指标标准建设思路,1、筛选重要业务指标,（1）研读经营管理资料，,梳理重要指标列表,（2）参考外部资料，补充,完善指标列表,（3）讨论指标列表，筛选、,确定指标范围,2、制定指标标准框架,（1）梳理、确定指标分类体系,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,（2）梳理、确定指标标准属性，形成指标,标准化定义模板,（,3、制定指标标准,1）指标分析：分析指标,的定义、口径、规则、数据,来源等内容,（2）标准技术定义：技术,部门逐项定义指标标准化属,性,（3）标准业务确认：业务,部门修订、确认指标标准,管理、管理会计、信用风,贷款事智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案存款事库存管资金调拨、支付结算、现代化支付；,用政策分析、业务关联分,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案别设置和管理财务预算,对数据质量问题进行归类总结，分析成因和改进建议,我行模型包括以下资产信息：,并根据我行业务实际需求对主题进行新增和合,源系统字段长度和类型,风险、运营等）综合方面的数据整合、数据标,对业务数据进行数据质量检核，准确掌握业务系统各种数据质量问题，促进基础业务数据质量的提高,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,目标建设方法-基础标准-指标标准筛选方法,统一全行指标标准的致的指标数据标准,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案工作2数据质量问题检查阶段,源和目标代码映射关系表,目标建设方法-基础标准-指标标准筛选方法,1、研读经营管理,3、筛选、确定指,2、参考外部资料,资料,标范围,经营管理资料：,行领导讲话,外部资料：,筛选、确认方式：,我行各业务部门的业务经,营分析我行的各类报告管理报表,同业相关建设资料城商行银行,项目组内部讨论筛选,外部需求调研，进行补充,筛选原则：,国有银行建设银行,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,人民银行、银监会监管指标要求和确认,筛选原则：,监管部门有强制监管要求,反映我行规模、风险、盈利、业务增长等各方面业,务状况的典型指标口径稳定不易变化的指标,的指标,同业用到，与我行业务有关的指标,目标建设方法-基础标准-指标标准框架制定方,法,1、梳理、设计指标分类体系,2、设计标准化属性,设计依据：,指标的业务共性的归纳及提炼,设计依据：,人民银行JRT 0105-2014银行数据标准,参考行内资料我行业务分类,设计原则：,可以从业务、技术、管理不同角度对标准,定义规范外部资料,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,源业务系统操作手册及业务简介文档统计集中系统指标分类,参考外部资料,监管部门的管指标及指标分同业相关资料的指标分类,进行全面定义对指标标准必须清晰、明确满足未来对满足标准进行管理的需要,设计原则,分类体系覆盖筛选出的所有业务指标，并能为每个指标确定唯一的分类,易于根据业务和指标变化进行扩展,目标建设方法-基础标准-指标数据标准框架,指标数据标准框架,业务属性,技术属性,管理属性,指标编码,指标中文名,指标英文名称,指标范围类称,指标落地系统,数据来源系统,归口业务部门,业务负责人,指标别名,指标定义,指标大类,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,别计算公式数据格式反馈结果描述,数据源表,技术负责人,指标小类,指标来源,业务规则,度量单位,取值范围,相关指标标,是否手工录准,口径明细,指标生成频度,取数口径,入显示精度,相关基础类,数据标准,取值精度,指标应用-高管驾驶舱,功能简介,从经,营概,况到,具,体,指标,分析,主驾驶舱,我的指标,热点地图,经营概览,专项分析,指标总览,规模分析,利润分析,风险分析,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,今日快报,指标总览,按分类展现全部指标,专项分析,主驾驶舱,全行7项核心,的本期值及与往期的,从业务角度对一组反映类似业务的指标进,选取13个行领导重点,业务指标的展现和分析,比较值的列表,行分析,关注的指标展示,最重要管指标进行3项监,经营概览,热点地图,我的指标,展现和分析,对某一具体指标进行,显示全国地图，可以,根据用户对指标的重,比较、结构、趋势等方面的分析,展示各一级分行重要的经营简报数据,视程度，实现指标的个性化定制,指标应用-高管驾驶舱-界面截图,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,数据平台项目建设目标,1、发现数据质量问题，推动大数据治理工作的开展，建立数据质量检,核系统,对源系统进行数据质量检核，发现数据质量问题并统计影响到的报表,对数据质量问题进行归类总结，分析成因和改进建议,2,、分析、梳理业务系统，推动数据标准的建立，统一全行口径,建设数据质量检核系统,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,建立基础标准和指标标准框架,3、建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的,确定标准化范围，对重要属性进行标准化,数据仓库,引进业内具有先进水平的金融数据模型，进行客户化改造后，建成符合某行,特点的数据仓库模型框架,覆盖某行主要业务系统数据，以便快速高效的为应用系统提供数据,存储历史数据，解决新报表上线才有数的问题。,数据仓库层次架构,主题,逻辑视图（子主题）,主题是模型按业务划分的最顶层的分类,根据我行业务实际，划分10个业务主题,逻辑视图是根据实体涉及的业务，将实体划分为不同子集,同一实体可属于不同逻辑视图,实体,属性组成的集合，是描述和构实体是一组具有业务相关性的,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,成业务逻辑、业务流程的基本单位,属性,一个实体可能涉及多类业务,模型最明细一级结构,对应具体的业务数据项（字段）,炼,数据仓库层次架构,当事人主题,当事人主题当事人主题当事人主题当事人主题,主题,对公,内部,风,逻辑视图,客,户,机,构,险评,级,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,对公对公对公,不良贷款,信息,客户,领导信息,客户资本,金构,对公客户,信息,客户,信息管理,财