银行数据应用中台建设方案.pptx

单击此处编辑母版标题样式,Click to edit Master text styles,Second level,Third level,#,银行数据,应,用中台建,设方,案,技术创新，变革未来,项目需求分析,我们的总体方案,方案建设要点,项目实施计划,方案总结和案例分享,Demo,展示,议题,银行在,IT,建设上成就卓著，但,是近年来和其它城商行一样需要,对,IT,尤其是数据应用和管理进,行优化以适应业务的快速发展和市场变,化，我们认为需,从应用、系统、管理三大方面逐一突,破，通过建设数据中心平台，并增强实施数据治理来提升对经营管理分析的支撑,应用突破,系统突破,管理突破,需求多了,数据 不一致,时间短了,压力大了,资源紧张,扩容难了,系统分散,整合难了,数据孤岛,数据冗余,应用讲效果,投资要效益,面临挑战,突破方向,战术目,标,构建数据中心平台,，增强数据治理,应对手,段,本项目的目的是立足于全行数据治理的基础之上，整合所有业务系统的源数据，准确完整地分,析银,行现有的数据、流向以及数据使用标准，建设一套高数据标准、高数据质量、高可用、高性能、高稳定的数据中心系统，为各个业务部门的管理分析提供统一而且完整的数据支持，为今后各个面向主题的分析型应用的开发建设提供数据基础和技术基础。,数据中心应用平台不是一个单一项目，需要一系列项目按照规划渐进上行，,IBM,从,四个方面来进行项目的规划与路线图,的定制，这样才能,保证项目投资,的连续性和良好的投资回报率,项目划分,及优先级,对业务战略及业务运营的支持,对管理改进的支持,对其它,IT,系统的影响,项目实施紧急程度,项目所需的资源,，包括实施服务、硬件和软件投资，,IT,与业务人员投入等,项目实施所需的管理、业务和技术能力,业务,的准备度,项目,实施难度,技术,与方案成熟度,变革的管理难度,项目利益分析,项目所需资源与能力,项目风险分析,项目内部的关系，包括系统模块间和实施业务单元间的依赖及主从关系,项目之间的实施依赖关系,项目之间的依赖关系,价值提升,时间,1 2,年,8 11,个月,8,个月,前期：平台建设,数据仓库平台建设,元数据管理平台,数据质量管理平台,分析型应用门户建立,基础业务报表,原有分析系统数据迁移,中期：深化业务分析,深化报表平台,综合统计分析与,KPI,监控,客户价值分析,风险计量与监控,产品创新支撑,远期：企业战略,全面风险管理,高端业务分析,提升决策支持,客户关系管理,Basel II,数据管理,资产负债管理,报表功能增强,KPI,梳理与计量,经济资本计量,客户细分,风险计量,统一视图,平台建设,分析型门户建立,2 3,年,根据,我们所理解的银行,当前所面临的问题和业务部门的需求，我们建议参考如下的数据中心应用平台实施规划,本期建设的重点目标管理驾驶舱,充分利用数据中心应用平台的建设成果，建立全面、便捷、直观的关键经营指标展示平台，以压力表盘、雷达图等多种方式直观的显示企业关键经营指标，为高层管理提供,一站式,决策信息,服务对象,银行决策层,展示内容,全行的关键,指标（,KPIs),展示手段,时间、机构维度,历史趋势、机构排位,计划完成情况、预警,业务,财务,风险,客户,关键经营指标,包含,采用,IBM,基于价值树的,KPI,体系梳理方法，梳理出符合银行业务的关键指标体系,示例,管理驾驶舱专页示例,行长首页：将行长最关心的业务指标以非常直观的方式在一个页面上进行集中展现，让行长能够快速、全面的掌握银行的经营状况。并且这些页面我们可以在移动终端上进行脱机访问,各分支行经营状况,经济资本指标趋势,存贷比仪表盘,产品回报率排名,客户前十回排名,示例,以,统一数据架构，统一展现交互，统一需求管理三个统一为核心思想构建统一的报表平台，提升数据报表的质量，用户体验和收益,整合系统,依,托现有系统强,大的数,据加工能力，将分散于系统中的报表统计信息进,行,集中化,信息协同,分离报表的管理和加工运算过程，将报表的分类、定义、指标口径等信息分离出来，形成面向业务需求统一的报表管理中心,智慧决策,积累客户认识、市场,分析等过程,中的智慧,，在整合之后,，,辅,以先进的,IT,技术,手段,，,向,分析性报表平台过度,项目需求分析,我们的总体方案,方案建设要点,项目实施计划,方案总结和案例分享,Demo,展示,议题,整体架构,概念模型,参考,IBM,佳实践和参考架构，制定银行数据,平台的总体,技术架构方案,，从应用架构、数据架构,、,ETL,架构和管控架构等,几个,方面设计入手，达到完整、全面,、,详细的要求，可全程直接指导项目的具体实施,灵活的架构与集成方案,友好的用户操作和体验,可落地的管控实施办法,先进,的软件工具和平台,整体,架构,组件模型概览,业务分析,数据分析,发现数据特征,试图解释和说明数据特征,声明数据应该遵循的规则,利用数据对声明的数据规则进行验证,质量,内容,结构,有价值的数据源分析过程是需要数据分析与业务分析相结合的过程,借鉴,IBM,标准数据模型落地的经验完成银行数据标准的模型化，,数据模型是数据标准落地的产物，是基,于银,行的数据的数据标准的体现，要符,合银,行现有数据的标准体系和要求,全行统一,数据标准,企业级数据模型,应用,级数据模型,1.,数据标准实施方案建议,2.,数据标准实施演进路线,3.,数据标准数据质量,检验,4.,数据标准执行,差异,5.,数据标准日常问题,收集,标准落地的思路和流程,各类模版和系统,不断的反馈和评估增强标准的生命力，并使标准适应业务的发展需要,数据,标准,模型,化,过程,一般,分为,四个步骤，,1,）数据标准到概念模型，,2,）概念模型到逻辑模型，,3,）物理模型建立，,4,）,ETL,和应用的,映射,，这期间逻辑模型是核心，即要从业务角度体现数据标准，又能满足数据中心灵活可扩展的需求,为了,能够更方便快捷地从分析应用系统中抽取所需要的信息进行全面、综合、灵活多样的查询和分析，支持决策分析，就需要重新有效地组织原有业务系统中的数据，满足以下要求，这就是逻辑数据模型的引入,逻辑数据模型（,Logical Data Model,）是一种图形的展现方式，采用面向主题的方法有效组织来源多样的各种业务数据，同时能全面反映复杂的业务规则，支持大量的分析应用,。,逻辑数据模型使用统一的逻辑语言描述业务，是数据管理的分析工具和交流的有力手段；同时还能够很好地保证数据的一致性，是实现业务智能（,Business Intelligence,）的重要基础。,模型,物,理化是基于模型工具导出,的物理模型,。制定统一的命名规范，标准字段、根据,DB2/DPF,特性 指定表实体的存储空间、分区键、主键、索引,工具化的模型设计使用,流程图,数据,源业务分析,引入参考模型的建模工具,建模,工具,自动输出的,Erwin,数据模型,映射,工具,自动输出的,ETL,Mapping,结果,基于,ETL,Mapping,结果自动生成的,DS,Job,数据源分析,结果导入建模工具,中,在建模工具中完成逻辑,和物理数据模型的设计工作,在,ETL,映射工具中,完成数据源,到数据模型的,ETL,Mapping,工作,输出,Erwin,数据模型,输出,ETL,Mapping,结果,基于,ETL,Mapping,结果自动生,成,DataStage,Job,模版,银行业务和数据结构复杂，应该采用专业的,ETL,工具和具有丰富实施经验的团队，,ETL,是数据仓库建设中最为繁重，与仓库建设效率最密切的核心开发内容，我们在长期的数据仓库项目实施中积累了大量的最佳实践并将其有机的用于各种数据处理的项目实施过程中,综合展现平台功能概览,应用功能（业务用户）,业务报表,监控上报,查看报表,报表管理（管理员，,IT,，业务用户）,报表定制,报表上传,系统管理（管理员）,菜单管理,角色管理,部门维护,机构维护,机构汇总关系设置,外汇折算率维护,数据维护（管理员，业务用户）,报表修改,用户管理,综合展现平台,组管理,管理报表,报表覆盖,报表状态,报表审批,参数维护,公告维护,监管报表,即席查询,我的收藏夹,换肤介绍,修改密码,查看公告,查询报表,以,PDF,格式查看,导出为,EXCEL,导出为,CSV,打印报表,报表信息管理,数据模型,会话时长设置,在线人员监控,用户权限查询,目录权限,数据权限,日志查询,系统操作日志,报表明细日志,快速查询,综合报表平台展现案例,建议的物理架构方案,如下：根据当前业务系统存量数据,，以及,项目,数据容量的需求，我们依据,IBM,BCU,方案，,配置,2,台,P750,服务器作为数据仓库服务器，两台服务器相互,HA,。两台,PC,Server,作为平台管,控服务器,。,DB2 Interconnect,磁,盘,阵列,DS5300(21T),SAN,交换机,P750A,PC Server,2CPU,4G MEM,备份,/,系统监控服,务器,磁带,库,利用已有,PC Server,可考虑利用已有的,SAN,和存储,利用已有磁带库,配置两台,P750,，目的是实现,HA,，避免单点故障，未来可进行垂直和水平扩展。,P750B,文件服务器，平台管控服务器,数据仓库服务器,InfoSphere Warehouse,16C,64G,16C,64G,HA,PC,Server,A,4Core,32G,MEM,PC,Server,B,4Core,32G,MEM,HA,项目需求分析,我们的总体方案,方案,建设要点,项目实施计划,方案总结和案例分享,Demo,展示,议题,数据质量提升：数据中心应用平台将构建质量检测机制，识别源数据当中存在的各种数据质量问题，并根据预订的规则解决质量问题，如总分不平等。对于无法根据规则解决的问题，将按照数据质量管理流程反馈给相关人员。,数据质,量,监测机制,数据质量评估维度,Cust,#,Cust,Name Gender Comments,001 Smith M Frequent,002 Jones F New,003 Watson F,004 Terrance U,Canadien,005 Phillips M,004 Gabriel M Existing,有效性,唯一性,完整性,一致性,可用性,准确性,精确性,Enterprise Definition,LOB Definition 1,LOB Definition 2,LOB Definition.n,数据质量,规则,&,结果,数据质量,检查规则,1,通过数据质量管理流程确定,增加数据质量检查内容,记录检查,表级检查,业务指标检查,4,质检脚本文件,ETL,服务器,2,文件校验报告,记录检验报告,表检验报告,指标检验报告,手工质检报告,5,6,文件检查,文件记录检查,3,业务数据标准,&,规,则,总分核对,平衡检查,其它业务规则,建设数,据质量管理问题跟踪平,台，实现端到端的沟通和管理，数据质量问题定位到人，解决过程流程化，解决成果文档化，提升数据质量解决的效率和效果,数据质量管理平台记录了所有数据质量问题解决的过程,下一个责任人,数据质量问题的描述,数据质量问题解决流程启动,问题管理,报表、分析,数据集市,数据仓库,ETL,过程,数据源,数据,轮廓,分析,数据的影响力分析,技术元数据管理方案：构建技术元数据管理平台，提供对数据的影响力分析和血缘分析，提高数据质量，降低系统开发、维护工作量。,集成企业调度，元数据管理，数据质量管理过程的统一的数据仓库管控平台,统一的数据,仓库,管控平台,同时集成数据仓库统一调度监控平台，为运营维护人员和系统开发人员提供统一一致的日常工作平台,演示,移动,BI,，,IBM Cognos Mobile,简介,IBM Cognos Active Report,新的交互式可快速响应的,静态报表类型,.,关键能力,快速的交互式的仪表盘,可以保存为,MHT,应用，允许离线使用,可调度和分发给广泛的各种类型的用户,Active Report,对于浏览器的要求：,至少,Microsoft Internet Explorer 7,版本,以上,如果使用,Firefox,查看需安装,UnMHT,附加组件,IBM Cognos Mobile,在,IPAD,上的使用,IBM Cognos Mobile,界面,IBM Cognos Mobile,IBM Cognos Mobile,欢迎界面，含用户登陆和注销功能,我的,Ipad,上的报表,列出报表查看历史，可迅速导航到常查看的报表，也可对其管理,获取更多报表,登陆到,IBM Cognos Connection,查看服务器上的报表，系统自动将查看过的报表保存到本地,IBM Cognos Mobile,在,Iphone,等移动终端上的使用,查看报表,项目需求分析,我们的总体方案,方案,建设要点,项目实施计划,方案总结和案例分享,Demo,展示,议题,在项目开展四个半多月左右，需求、规划、建模阶段结束。此时，后续的项目需求已经很明确、技术路线也已经规划清晰,。在,项目启动,6,个月左右，项目的所有开发和单元测试工作都已经结束，开始启动系统集成测试工作,Activities,1,2,3,4,5,6,7,8,（,月）,统一报表平台,ETL,开发，单元测试,模型设计,规划及设计,数据源分析,需求分析,项目管理,指标体系,移动,驾驶舱,仓库管控平台,集成测试,UAT,及上线,开发结束,建模结束,SIT,结束,上线,项目管理办公室,陈斌,郭韫锋,吴占山,需求分析组,组长,:,数据源分析组,组长,模型设计组,组长,:,ETL,组,组长,:,应用组,组长,:,平台管控组,组长,:,架构与规划组,郭韫锋,吴占山,业务,需求组,项目管理委员会,李昂,/,魏,永明,专家顾问组,田学涛,IBM,银行,合作伙伴,IBM,银行,合作伙伴,IBM,银行,合作伙伴,IBM,银行,合作伙伴,IBM,银行,合作伙伴,IBM,银行,合作伙伴,本项目计划核心人员简历,郭韫锋，项目经理兼总体架构师，,10,年,金融,IT,行业建设,经验,IBM,中国开发中心软件实验室,服务部,InfoSphere,Services&Solution Leader,。,HSBC EDW,咨询顾问。浙商银行数据仓库项目数据集成专家，浙江农信信息集成数据库复制专家。华为,EDW,项目咨询顾问。上海银行信息架构咨询项目信息架构师，龙江银行数据管控项目,顾问,尹晓中,，拟数据模型组长，,14,年金融,IT,行业建设经验，,10,年银行,BI,系统建设经验，,7,年,IBM,企业级数据仓库建设经验。,IBM,中国开发中心软件实验室服务部架构师，资深模型设计师。参与的项目有中国工商银行大集中，中国建设银行大集中，中国建设,ODS,，中国建设银行对公,CRM,，浙商银行企业级数据仓库，杭州联合银行,CRM,。,邢善斌，拟管控平台组长，,6,年金融,IT,经验，龙江银行,数据仓库项目 架构师，浙江农信数据仓库项目,ETL,专家，泰隆,银行,ECIF,项目,ETL,专家，,IBM OATS,数据仓库集成项目,ETL,专家,本项目计划核心人员简历IBM,建议,的关键,团队,人员安排如下：,吴占山,，拟需求分析组长，,6,年,IBM,企业级数据仓库建设经验。,IBM,中国开发中心软件实验室服务部技术专家，参与的项目有浙商银行，浙江农信、齐鲁银行，吉林农信等数据仓库,，数据管控类,项目,项目,时吉明,，拟,ETL,组长，,6,年金融行业,IT,经验，,4,年信息整合技术服务经验。,IBM,中国软件部信息管理部门,-,数据服务器平台产品专家。齐鲁证券，齐鲁银行，吉林农信,ETL,架构师及组长,范春华，拟数据源分析组长，,4,年,IBM,企业级数据仓库建设经验。,IBM,中国开发中心软件实验室服务部技术专家，参与的项目有齐鲁银行，吉林农信，浙江农信等数据仓库，数据治理类项目项目,郭强,，拟应用开发组长,，,6,年,Cognos,Portal,产品支持与咨询经验，参与实施了中国工商银行网管报表系统、中国农业银行新核算报表系统、华夏银行网上银行报表系统，齐鲁银行综合报表平台等众多报表平台和门户项目。,数据中心平台项目实施周期长，涉众多，需要成熟的实施方法论支持。,IBM,数据仓库方法论涵盖了项目管理、风险管理和实施流程相关的所有内容,阶段,活动,任务,角色,项目制品或提交物,技术白皮书,项目需求分析,我们的总体方案,方案,建设要点,项目实施计划,方案总结和案例分享,Demo,展示,议题,IBM,银行数据仓库解,决,方案整合,IBM,多,年银行数据仓库建设领域的多方资产，包括特定的业务的解决方案、成熟的软硬件,平台,、先进的数据计算引擎、友好的用户体验,Information,Server,Information,Server,Banking Data Warehouse Model,预设的灵活、可以适应国,内银,行现状,的应用模版,适,合国,内银,行的丰富、灵活的管理层仪表盘、分析模板,和报,表,+,可客户化的适,合国,内银,行,的,先进的数,据仓,库模,型,+,业界领先的软硬件技术,全球银行业最佳实践经验,整合的优秀解决方案,+,+,Information,Server,将存储、处理、数据库和分析融入到一个高性能数据仓库设备,+,Data Warehouse,一个成功的数据仓库平台包含众多致胜因素,IBM,软件实验室服务团队实施了大量的数据质量项目，并在项目实施过程中积累了大量的可重用的资产，可加速项目的实施和提升实施质量,数据仓库平台项目,项目规划,项目路线,图,项目计划,项,目实施方法,常,规管理与风,险控制,经,验和项目资产复用,ETL,流程设计,ETL Mapping,ETL,调度设计,ETL,开发管理,数据标准,数据模型,物理模型,元数据管理,数据质量管理,平台管理,平台监控,软硬件维护,架构规划,架构设,计,参考架构,软件方案,硬件平台,软硬件拓扑,IBM,行业,解决方案,在国内，,IBM,中国实验室拥有最强大的数据仓库相关的技术人员,基于,IBM,的软硬件产品，为中国客户提供量身定制的解决方案及相关软件服务；,分别在北京、上海、香港和台北设有分支机构，目前由,200,多位咨询顾问、架构师、技术专家和项目经理组成，背后依托于由,4000,多名工程师所组成的中国软件研发中心；,自,2002,年以来，在中国及亚太地区银行业参与了众多项目的成功实施，尤其在流程银行、数据仓库及商业智能领域，具备丰富的业务、技术实战经验,。,最终客户,架构设计咨询,联合开发咨询,IBM,软件技术支持,系统测试运维咨询,项目管理,IBM,硅谷实验室,IBM,多伦多实验室,IBM Dublin,实验室,IBM,中国实验室,IBM,中国数据仓库与商业智能部分实施案例清单,金融行业部分案例,浙商银行企业级数据仓库系统,浙江农信企业级数据仓库系统,龙江银行企业级数据仓库系统,(,目前正在实施项目二期）,齐鲁银行企业级数据仓库系统,(,目前正在实施项目一期）,吉林农信企业级数据仓库系统,(,目前正在实施项目一期）,上海银行商业智能信息架构咨询项目,(,目前正在实施项目一期）,香港富邦银行企业级数据仓库系统,中银,(,香港,),企业级数据仓库,齐鲁证券企业级数据仓库系统,中国银行稽核系统,中国建行,CRM,系统,电信行业部分案例,山东联通企业级数据仓库系统（项目一期实施）,广东移动经分系统（,BI,咨询）,河北移动经分系统（,BI,咨询）,其它行业数据仓库与,BI,咨询项目,国家监督认证委员会企业级数据仓库系统,(,目前正在实施项目一期）,参考案例,参考案例,参考案例,移动,BI Demo,展示,